(57)【要約】【課題】車載カメラの位置ずれに関する判定を適切に行うことを可能とする技術を提供する。【解決手段】車載カメラで撮影された撮影画像を処理する画像処理装置は、検出部と、ずれ判定部と、を備える。前記検出部は、前記車載カメラを搭載する車両が所定の移動をしたときの前記撮影画像中の特徴点の動きを検出する。前記ずれ判定部は、前記検出部の検出結果に基づいて前記車載カメラの位置ずれに関する判定を行う。【選択図】図１
2018160732.tif 000002
【特許請求の範囲】
【請求項１】
車載カメラで撮影された撮影画像を処理する画像処理装置であって、
前記車載カメラを搭載する車両が所定の移動をしたときの前記撮影画像中の特徴点の動きを検出する検出部と、
前記検出部の検出結果に基づいて前記車載カメラの位置ずれに関する判定を行うずれ判定部と、
を備える、画像処理装置。
【請求項２】
前記検出部は、前記車載カメラが撮影領域の水平方向または奥行き方向に移動するように前記車両が移動したときの、撮像領域を左右に均等分割する中心線付近にある、少なくとも一つの前記特徴点の動きを検出する、請求項１に記載の画像処理装置。
【請求項３】
前記車載カメラは前記車両の前方を撮影するカメラ又は前記車両の後方を撮影するカメラであって、
前記検出部は、
第１のモードにおいて、前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が移動したときのみの前記特徴点の動きを検出し、
第２のモードにおいて、前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が移動したときの前記特徴点の動き、及び、前記車載カメラが撮影領域の水平方向に移動するように前記車両が移動したときの前記特徴点の動きを検出する、請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記車載カメラは前記車両の側方を撮影するカメラであって、
前記検出部は、
第１のモードにおいて、前記車載カメラが撮影領域の水平方向に移動するように前記車両が移動したときのみの前記特徴点の動きを検出し、
第２のモードにおいて、前記車載カメラが撮影領域の水平方向に移動するように前記車両が移動したときの前記特徴点の動き、及び、前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が移動したときの前記特徴点の動きを検出する、請求項１又は請求項２に記載の画像処理装置。
【請求項５】
前記検出部は、前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が移動したときの、前記撮影領域の水平方向にずれて存在する複数の前記特徴点の動きを検出し、
前記ずれ判定部は、前記検出部の検出結果に基づいて複数の前記特徴点の消失点を検出し、検出した前記消失点の位置に基づいて前記車載カメラの位置ずれに関する判定を行う、請求項１に記載の画像処理装置。
【請求項６】
前記検出部は、
単一の前記特徴点について、
前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が第１の位置から移動したときの前記特徴点の動きを検出し、
前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が第２の位置から移動したときの前記特徴点の動きを検出し、
前記第１の位置と前記第２の位置とは前記車載カメラの撮影領域の水平方向にずれており、
前記ずれ判定部は、前記検出部の検出結果に基づいて単一の前記特徴点の消失点を検出し、検出した前記消失点の位置に基づいて前記車載カメラの位置ずれに関する判定を行う
、請求項１に記載の画像処理装置。
【請求項７】
前記車両が前記所定の移動をしたときの前記車両の速度情報を取得する取得部を備え、
前記ずれ判定部は、前記検出部の検出結果に基づいて前記車両の速度を推定し、推定した前記車両の速度と、前記取得部によって取得された前記車両の速度情報との比較結果に基づいて前記車載カメラの位置ずれに関する判定を行う、請求項１に記載の画像処理装置。
【請求項８】
請求項１〜７のいずれか一項に記載の画像処理装置と、
ドライバーの運転操作によらずに前記車両に前記所定の移動を行わせる自動運転制御部と、を備える、カメラずれ判定システム。
【請求項９】
車載カメラで撮影された撮影画像を処理する画像処理方法であって、
前記車載カメラを搭載する車両が所定の移動をしたときの前記撮影画像中の特徴点の動きを検出する検出工程と、
前記検出工程の検出結果に基づいて前記車載カメラの位置ずれに関する判定を行うずれ判定工程と、
を備える、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラの位置ずれを判定する技術に関する。
【背景技術】
【０００２】
従来、車載カメラを用いて、例えば車両の駐車支援等の運転支援が行われている。車載カメラは、車両を工場から出荷する前に、車両に固定状態で取り付けられる。しかしながら、車載カメラは、例えば不意の接触や経年変化等によって、工場出荷時の取付状態から位置ずれを起こすことがある。車載カメラの位置（車両のボディに対する車載カメラの相対位置）がずれると、カメラ画像を利用して判断されるハンドルの操舵量等に誤差が生じるために、車載カメラの位置ずれを検出することは重要である。
【０００３】
特許文献１には、車載カメラの光軸ずれを検出する技術が開示される。特許文献１における車載カメラの光軸ずれ検出装置は、画像処理手段と判断手段とを備える。画像処理手段は、運転支援する車体部上のマーキングを含む範囲を撮影する車載カメラの撮影画像から該マーキングの位置情報を検出する。判断手段は、初期設定されたマーキング位置情報と、新たに検出されたマーキングの位置情報とを比較することにより、撮影光軸ずれを判断する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１７３０３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
車載カメラの撮影画像には、車両周囲の風景等が映るために、例えばマーキングがボンネットの一部の特定形状である場合、当該特定形状を簡単に抽出できないことがある。当該特定形状が誤検出されると、車載カメラの光軸ずれが正確に判断されない可能性がある。
【０００６】
なお、車両周囲に大きさ、形状、及び車両との相対位置が既知のマーカーが存在する場合や走行車線に描かれている白線の消失点を検出できる場合には、これらの情報を使用することで車載カメラの位置ずれに関する判定が可能となる。しかしながら、例えばバレーパーキングにおいて車両の自動運転機能を利用して自動出庫を行うときのようなイグニッションスイッチがオンになった直後に自動運転を実施する状況を考えた場合、既知のマーカーに関する情報や白線の消失点に関する情報を取得することができない。
【０００７】
本発明は、上記課題に鑑みて、車載カメラの位置ずれに関する判定を適切に行うことを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、車載カメラで撮影された撮影画像を処理する画像処理装置であって、前記車載カメラを搭載する車両が所定の移動をしたときの前記撮影画像中の特徴点の動きを検出する検出部と、前記検出部の検出結果に基づいて前記車載カメラの位置ずれに関する判定を行うずれ判定部と、を備える構成（第１の構成）である。
【０００９】
上記第１の構成の画像処理装置において、前記検出部は、前記車載カメラが撮影領域の水平方向または奥行き方向に移動するように前記車両が移動したときの、撮像領域を左右に均等分割する中心線付近にある、少なくとも一つの前記特徴点の動きを検出する構成（第２の構成）であってもよい。
【００１０】
上記第１又は第２の構成の画像処理装置において、前記車載カメラは前記車両の前方を撮影するカメラ又は前記車両の後方を撮影するカメラであって、前記検出部は、第１のモードにおいて、前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が移動したときのみの前記特徴点の動きを検出し、第２のモードにおいて、前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が移動したときの前記特徴点の動き、及び、前記車載カメラが撮影領域の水平方向に移動するように前記車両が移動したときの前記特徴点の動きを検出する構成（第３の構成）であってもよい。また、上記第１又は第２の構成の画像処理装置において、前記車載カメラは前記車両の側方を撮影するカメラであって、前記検出部は、第１のモードにおいて、前記車載カメラが撮影領域の水平方向に移動するように前記車両が移動したときのみの前記特徴点の動きを検出し、第２のモードにおいて、前記車載カメラが撮影領域の水平方向に移動するように前記車両が移動したときの前記特徴点の動き、及び、前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が移動したときの前記特徴点の動きを検出する構成（第４の構成）であってもよい。
【００１１】
上記第１の構成の画像処理装置において、前記検出部は、前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が移動したときの、前記撮影領域の水平方向にずれて存在する複数の前記特徴点の動きを検出し、前記ずれ判定部は、前記検出部の検出結果に基づいて複数の前記特徴点の消失点を検出し、検出した前記消失点の位置に基づいて前記車載カメラの位置ずれに関する判定を行う構成（第５の構成）であってもよい。
【００１２】
上記第１の構成の画像処理装置において、前記検出部は、単一の前記特徴点について、前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が第１の位置から移動したときの前記特徴点の動きを検出し、前記車載カメラが撮影領域の奥行き方向に移動するように前記車両が第２の位置から移動したときの前記特徴点の動きを検出し、前記第１の位置と前記第２の位置とは前記車載カメラの撮影領域の水平方向にずれており、前記ずれ判定部は、前記検出部の検出結果に基づいて単一の前記特徴点の消失点を検出し、検出した前記消失点の位置に基づいて前記車載カメラの位置ずれに関する判定を行う構成（第６の構成）であってもよい。
【００１３】
上記第１の構成の画像処理装置において、前記車両が前記所定の移動をしたときの前記車両の速度情報を取得する取得部を備え、前記ずれ判定部は、前記検出部の検出結果に基づいて前記車両の速度を推定し、推定した前記車両の速度と、前記取得部によって取得された前記車両の速度情報との比較結果に基づいて前記車載カメラの位置ずれに関する判定を行う構成（第７の構成）であってもよい。
【００１４】
本発明のカメラずれ判定システムは、上記第１〜第６いずれかの構成の画像処理装置と、ドライバーの運転操作によらずに前記車両に前記所定の移動を行わせる自動運転制御部と、を備える構成（第８の構成）である。
【００１５】
本発明の画像処理方法は、車載カメラで撮影された撮影画像を処理する画像処理方法であって、前記車載カメラを搭載する車両が所定の移動をしたときの前記撮影画像中の特徴点の動きを検出する検出工程と、前記検出工程の検出結果に基づいて前記車載カメラの位置ずれに関する判定を行うずれ判定工程と、を備える構成（第９の構成）である。
【発明の効果】
【００１６】
本発明によると、車載カメラの位置ずれに関する判定を適切に行うことを可能とする技術を提供できる。
【図面の簡単な説明】
【００１７】
【図１】カメラずれ判定システムの構成を示すブロック図
【図２】４つの車載カメラが車両に配置される位置を例示する図
【図３】カメラずれ判定システムによるカメラずれの検出フローの一例を示すフローチャート
【図４】フロントカメラで撮影した画像の一例を示す模式図
【図５】車両と特徴点との位置関係を示す模式図
【図６】フロントカメラで撮影した画像の一例を示す模式図
【図７】フロントカメラで撮影した画像の一例を示す模式図
【図８】フロントカメラで撮影した画像の一例を示す模式図
【図９】フロントカメラで撮影した画像の一例を示す模式図
【図１０】左サイドカメラで撮影した画像の一例を示す模式図
【図１１】左サイドカメラで撮影した画像の一例を示す模式図
【図１２】左サイドカメラで撮影した画像の一例を示す模式図
【図１３】左サイドカメラで撮影した画像の一例を示す模式図
【図１４】車両と特徴点との位置関係を示す模式図
【図１５】フロントカメラで撮影した画像の一例を示す模式図
【図１６】フロントカメラで撮影した画像の一例を示す模式図
【図１７】右サイドカメラで撮影した画像の一例を示す模式図
【発明を実施するための形態】
【００１８】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」とする。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の右側から左側に向かう方向を「左方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の左側から右側に向かう方向を「右方向」とする。また、本明細書では、カメラの位置ずれのことを、単にカメラずれと表現する場合がある。
【００１９】
＜１．カメラずれ判定システムの概略＞
図１は、本実施の形態に係るカメラずれ判定システムＳＹＳ１の構成を示すブロック図である。カメラずれ判定システムＳＹＳ１は、車載カメラの位置ずれを判定するシステムである。カメラずれ判定システムＳＹＳ１は、画像処理装置１と、撮影部２と、センサ部３と、車両制御装置４と、を備える。
【００２０】
画像処理装置１は、車載カメラで撮影された撮影画像を処理する装置である。画像処理装置１は、車載カメラを搭載する車両ごとに備えられる。本実施の形態では、画像処理装置１は、撮影部２から撮影画像を取得して処理する。また、画像処理装置１は、センサ部３から情報を取得して、取得情報に基づいて画像処理に関する判断を行う。なお、センサ部３は、場合によっては、カメラずれ判定システムＳＹＳ１に含まれなくてもよい。
【００２１】
本実施の形態では、画像処理装置１は、撮影部２で撮影された撮影画像を処理して、カメラずれの検出を行う。
【００２２】
本実施の形態では、画像処理装置１は、表示装置５と運転支援装置６とに処理情報を出力する。なお、画像処理装置１は、これらの装置５、６から情報を受け取り、受け取った情報に基づいてカメラずれの判定処理を行ってもよい。この場合、これらの装置５、６もカメラずれ判定システムＳＹＳ１に含まれてよい。
【００２３】
表示装置５は、画像処理装置１から出力される情報を画面表示する装置であり、例えば液晶表示装置であってよい。表示装置５は、例えばタッチパネル方式等の入力部を備えて、外部から情報を入力できる構成であってよい。
【００２４】
運転支援装置６は、撮影部２で撮影された画像を用いて運転を支援する装置であり、例えば自動運転支援装置、自動駐車支援装置、自動緊急ブレーキ装置等を含んでよい。運転支援装置６は、例えば、エンジンの始動とともに自動的に運転支援を開始する構成であってよい。また、運転支援装置６は、例えば運転者によってボタン等が押された場合に運転支援を開始する構成であってよい。
【００２５】
撮影部２は、車両周辺の状況を監視する目的で設けられる。撮影部２は、４つのカメラ２１〜２４を備える。４つのカメラ２１〜２４は、車載カメラである。図２は、４つの車載カメラ２１〜２４が車両７に配置される位置を例示する図である。
【００２６】
車載カメラ２１は車両７の前端に設けられる。このため、車載カメラ２１をフロントカメラ２１とも呼ぶ。フロントカメラ２１の光軸２１ａは上からの平面視で車両７の前後方向に沿っている。フロントカメラ２１は車両７の前方向を撮影する。車載カメラ２２は車両７の後端に設けられる。このため、車載カメラ２２をバックカメラ２２とも呼ぶ。バックカメラ２２の光軸２２ａは上からの平面視で車両７の前後方向に沿っている。バックカメラ２２は車両７の後方向を撮影する。フロントカメラ２１及びバックカメラ２２の取付位置は、車両７の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００２７】
車載カメラ２３は車両７の左側ドアミラー７１に設けられる。このため、車載カメラ２３を左サイドカメラ２３とも呼ぶ。左サイドカメラ２３の光軸２３ａは上からの平面視で車両７の左右方向に沿っている。左サイドカメラ２３は車両７の左方向を撮影する。車載カメラ２４は車両７の右側ドアミラー７２に設けられる。このため、車載カメラ２４を右サイドカメラ２４とも呼ぶ。右サイドカメラ２４の光軸２４ａは上からの平面視で車両７の左右方向に沿っている。右サイドカメラ２４は車両７の右方向を撮影する。なお、車両７がいわゆるドアミラーレス車である場合には、左サイドカメラ２３は左サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく取り付けられ、右サイドカメラ２４は右サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく取り付けられる。
【００２８】
各車載カメラ２１〜２４の水平方向の画角θは１８０度以上である。このため、車載カメラ２１〜２４によって、車両７の水平方向における全周囲を撮影することができる。また、車載カメラ２１〜２４によって撮影される画像には、車載カメラ２１〜２４を搭載する車両７のボディが映り込む。
【００２９】
なお、本実施の形態では、車載カメラの数を４つとしているが、この数は適宜変更されてよく、複数であっても単数であってもよい。例えば、車両７がバックで駐車することを支援する目的で車載カメラが搭載されている場合には、車載カメラは、バックカメラ２２、左サイドカメラ２３、右サイドカメラ２４の３つで構成されてもよい。
【００３０】
図１に戻って、センサ部３は、車載カメラ２１〜２４が搭載される車両７に関する情報を検出する複数のセンサを有する。車両７に関する情報には、車両自体の情報と、車両周辺の情報とが含まれてよい。本実施の形態では、センサ部３は、例えば、車両の速度を検出する車速度センサ、ステアリングホイールの回転角を検出する舵角センサ、車両の変速装置のシフトレバーの操作位置を検出するシフトセンサ、車両周辺の照度を検出する照度センサ等を含む。本実施の形態では、センサ部３で検出された情報は、画像処理装置１に直接入力される構成としているが、これは例示にすぎない。例えば、センサ部３で検出された情報は、車両制御装置４又は運転支援装置６を介して画像処理装置１に入力されてもよい。
【００３１】
車両制御装置４は、車両の動作全般に関わる制御を行う。車両制御装置４は、例えばエンジンを制御するエンジンＥＣＵ（Electronic Control Unit）、ステアリングを制御するステアリングＥＣＵ、ブレーキを制御するブレーキＥＣＵ、シフトを制御するシフトＥＣＵ、電源制御用ＥＣＵ、ライトを制御するライトＥＣＵ、電動ミラーを制御するミラーＥＣＵ等を含む。本実施の形態では、車両制御装置４は、画像処理装置１と情報をやり取りする。車両制御装置４は、ドライバーの運転操作によって車両の移動を制御する手動運転制御機能を有するだけでなく、ドライバーの運転操作によらずに車両の移動を制御する自動運転制御機能も有する。したがって、車両制御装置４は、自動運転制御機能を実現する自動運転制御部４１を有する。
【００３２】
図３は、カメラずれ判定システムＳＹＳ１によるカメラずれの検出フローの一例を示すフローチャートである。図３に示すように、例えば自動車メーカー等の工場において、各車両７に対して４つの車載カメラ２１〜２４が取り付けられる（ステップＳ１）。各車載カメラ２１〜２４は、所定の向きに光軸２１ａ〜２４ａが合された状態で、所定の取付位置に固定される。
【００３３】
また、工場においては、車載カメラの初期位置（車両のボディに対する車載カメラの相対初期位置）に関するデータが取得される（ステップＳ２）。車載カメラの初期位置に関するデータは、車載カメラ２１〜２４を搭載した車両７が市場に出された後において、車載カメラ２１〜２４の位置ずれが発生しているか否かの判定を行うために使用されるデータである。本実施の形態において、車載カメラの初期位置に関するデータは、画像処理装置１を用いて、各車載カメラ２１〜２４に対して取得される。取得された車載カメラの初期位置に関するデータは、画像処理装置１が備える後述の記憶部１２に記憶される。
【００３４】
本実施の形態においては、車載カメラ２１〜２４を搭載した車両７が市場に出された後、画像処理装置１によってカメラずれに関する判定処理が行われる。カメラずれに関する判定処理は、各車載カメラ２１〜２４に対して行われる。画像処理装置１は、カメラずれに関する判定を開始するタイミングか否かを判断する（ステップＳ３）。画像処理装置１は、ステップＳ３でＮｏの場合、カメラずれに関する判定を開始するタイミングか否かの判断を繰り返す。
【００３５】
カメラずれに関する判定を開始するタイミングは、例えば車両７のエンジン始動を検出したタイミングであってもよい。これにより、運転支援装置６による車両７の運転支援が開始される前にカメラの状態を確認することができ、運転支援の安全性を向上することができる。また、カメラずれに関する判定を開始するタイミングは、例えばバレーパーキングにおいて車両の自動運転機能を利用して自動出庫を行うタイミングであってもよい。また、バレーパーキングにおいて車両の自動運転機能を利用して自動入庫を行うタイミング等も含み得る、車両停止状態から自動運転を開始するタイミングであってもよい。これにより、車両停止状態から自動運転が開始される前にカメラの状態を確認することができ、自動運転の安全性を向上することができる。
【００３６】
また、画像処理装置１は、例えば、表示装置５等から運転者が入力するカメラずれの検出指示によって、カメラずれの検出タイミングであることを認識してもよい。また、画像処理装置１は、車両制御装置４又は運転支援装置６からの指示によって、カメラずれの検出タイミングであることを認識してもよい。
【００３７】
画像処理装置１は、カメラずれに関する判定を開始するタイミングであると判断すると（ステップＳ３でＹｅｓ）、車載カメラ２１〜２４による撮影画像を取得して車両７が所定の移動をしたときの撮影画像中の特徴点の動きを検出する（ステップＳ４）。ドライバーの負担を軽減する観点又はバレーパーキングにおいて車両の自動運転機能を利用して自動出庫若しくは自動入庫を行う場合等のドライバーが車内にいない場合でも車両の移動を可能とする観点から、ドライバーの運転操作によらずに車両制御部４の自動運転制御部４１が車両７に所定の移動を行わせることが好ましい。特徴点とは、際立って検出できる点であり、例えば、建物のコーナー、駐車車両のコーナー、路面に描かれた白線のエッジ、路面上のヒビ、路面上のシミ、路面上の砂利等を挙げることができる。特徴点の動きの詳細については後述する。
【００３８】
特徴点の動きを抽出すると、画像処理装置１は、検出された特徴点の動きに基づいて車載カメラ２１〜２４の位置ずれに関する判定を行う（ステップＳ５）。位置ずれに関する判定を行うに際しては、前述の車載カメラの初期位置に関するデータも利用される。位置ずれに関する判定の詳細については後述する。
【００３９】
車載カメラ２１〜２４の位置ずれが発生していないと判定された場合（ステップＳ５でＹｅｓ）、画像処理装置１は、ステップＳ３に戻り、次の判定開始タイミングを検出した場合にカメラずれに関する判定処理を繰り返す。カメラの位置ずれが発生していないと判定された場合、画像処理装置１は、例えば運転支援装置６等に車載カメラが正常であることを通知してもよい。
【００４０】
車載カメラ２１〜２４の位置ずれが発生していると判定された場合（ステップＳ５でＮｏ）、画像処理装置１は、車載カメラ２１〜２４の位置ずれが発生したことを報知する（ステップＳ６）。本実施の形態では、画像処理装置１は、車載カメラ２１〜２４の位置ずれが発生したことを表示装置５によって報知する。カメラの位置ずれ発生の報知には、音声等が使用されてもよい。さらに、画像処理装置１は、車両７に搭載されている不図示の通信装置を利用して、ドライバーが所持するスマートフォン等の外部機器にカメラの位置ずれ発生を報知する表示信号や音声信号を送信してもよい。また、画像処理装置１は、運転支援装置６に車載カメラ２１〜２４の位置ずれの発生を通知して、運転支援装置６による運転支援を停止させる。なお、本実施の形態では、４つの車載カメラ２１〜２４が存在するが、４つの車載カメラ２１〜２４のうちの１つでも位置ずれが発生した場合には、上記報知処理及び停止処理が行われることが好ましい。
【００４１】
なお、車載カメラ２１〜２４の位置ずれが発生していると判定された場合（ステップＳ５でＮｏ）、自動運転制御部４１の制御によって、判定開始タイミングを検出した時点の位置に車両７を戻しておくことが好ましい。判定開始タイミングを検出した時点の位置が車両７の安全を確保できる場所（例えば駐車枠内）である可能性が高いからである。
【００４２】
カメラずれの発生に伴い、車両のユーザは、例えばディーラにカメラの取付調整を依頼する。これに応じて、ディーラは、車載カメラの取付調整を行う（ステップＳ７）。また、ディーラは、画像処理装置１を用いて、上述した車載カメラの初期位置に関するデータの再取得処理を行う（ステップＳ８）。この後は、ステップＳ３に戻って、画像処理装置１は、判定開始タイミングを検出すると、再取得した車載カメラの初期位置に関するデータに基づいて、カメラの位置ずれを判定する。
【００４３】
なお、本実施の形態では、カメラずれが発生していると判定された場合に、車載カメラの取付調整が行われる構成としているが、これは例示にすぎない。カメラずれが発生していると判定した場合に、画像処理装置１は、車載カメラの位置ずれを補正して撮影画像を用いる構成としてもよい。例えば、車載カメラの取付調整を前提とした、ずれ発生の報知処理や、運転支援の停止処理は、車載カメラのずれ状態が不明な場合にのみ行う構成としてもよい。カメラのずれ状態が不明とは、例えば、カメラがどの程度位置ずれや角度ずれを起しているかが不明な状態を指す。車載カメラのずれ状態が明確で補正して使用できる場合には、画像処理装置１は、ずれ発生の報知処理や、運転支援の停止処理を行わない構成としてよい。
【００４４】
＜２．画像処理装置の詳細＞
図１に戻って、画像処理装置１は、マイコン１１及び記憶部１２を含んで構成される。マイコン１１は、不図示のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む。記憶部１２は、不揮発性のメモリである。マイコン１１は、記憶部１２に記憶されたプログラムに基づいて情報の処理及び送受信を行う。マイコン１１は、有線又は無線で、撮影部２、センサ部３、車両制御装置４、表示装置５、及び、運転支援装置６に接続される。
【００４５】
マイコン１１は、検出部１１１と、ずれ判定部１１２と、を備える。マイコン１１が備えるこれらの各部１１１、１１２の機能は、プログラムに従ってＣＰＵが演算処理を行うことによって実現される。
【００４６】
検出部１１１は、車両７が所定の移動をしたときの車載カメラ２１〜２４で撮影された撮影画像中の特徴点の動き（オプティカルフロー）を検出する。本実施の形態では、車載カメラ２１〜２４の数は４つであり、検出部１１１による検出処理は、各車載カメラ２１〜２４ごとに行われる。
【００４７】
ずれ判定部１１２は、検出部１１１の検出結果に基づいて車載カメラ２１〜２４の位置ずれに関する判定を行う。本実施の形態では、車載カメラ２１〜２４の数は４つであり、ずれ判定部１１２による判定処理は、各車載カメラ２１〜２４ごとに行われる。
【００４８】
カメラの位置ずれには、カメラが鉛直軸回りに回転するＰＡＮ（パン）、カメラが水平軸回りに回転するＴＩＬＴ（チルト）、及びカメラが光軸又は光軸に平行な軸回りに回転するＲＯＬＬ（ロール）からなる３つの方向のずれが存在する。
【００４９】
図４は、フロントカメラ２１で撮影した撮影画像Ｐ１の一例を示す模式図である。フロントカメラ２１は、画角θが１８０度以上であり、図４に示すように、撮影画像Ｐ１には、車両７のボディ７０が映り込む。図４（ａ）は、フロントカメラ２１が初期位置のまま固定されている状態で撮影された画像である。すなわち、フロントカメラ２１が正常な状態で撮影された画像である。図４（ｂ）は、フロントカメラ２１が初期位置からＰＡＮ方向にずれ光軸が車両の右側に傾いた状態で撮影された画像である。図４（ｃ）は、フロントカメラ２１が初期位置からＴＩＬＴ方向にずれ光軸が上向きに傾いた状態で撮影された画像である。図４（ｄ）は、フロントカメラ２１が初期位置からＲＯＬＬ方向にずれ撮影領域が反時計回りに回転した状態で撮影された画像である。
【００５０】
本実施の形態では、車両７が所定の移動をしたときの車載カメラ２１〜２４で撮影された撮影画像中の特徴点の動きが車載カメラ２１〜２４の位置ずれに応じて異なることを利用して、車両７が所定の移動をしたときの車載カメラ２１〜２４で撮影された撮影画像中の特徴点の動きに基づいて車載カメラ２１〜２４の位置ずれに関する判定が行われている。したがって、撮影画像中の特徴点が存在し、且つ、車両７が所定の移動を行うことができる場所に停車しているという条件さえ満たせば、ボンネットの特定形状を簡単に抽出できない場合、既知のマーカーに関する情報や白線の消失点に関する情報を取得することができない場合等でも、車載カメラの位置ずれに関する判定を適切に行うことが可能である。
【００５１】
次に、前述の検出処理及び判定処理について具体例を挙げて説明する。
【００５２】
（２−１．第１の具体例）
以下に説明する検出処理及び判定処理によって、フロントカメラ２１がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているか否かを検知することができる。
【００５３】
図５は、車両と特徴点との位置関係を示す模式図である。図５に示すように、判定開始タイミングを検出した時点で中央位置Ｌ０に停止していた車両７は、例えば、中央位置Ｌ０→前進移動位置Ｌ１→中央位置Ｌ０→左移動位置Ｌ２→中央位置Ｌ０→右移動位置Ｌ３の順番で、前進移動位置Ｌ１、左移動位置Ｌ２、及び右移動位置Ｌ３の３箇所に移動する。そして、前進移動位置Ｌ１、左移動位置Ｌ２、及び右移動位置Ｌ３それぞれで特徴点Ｆ１を含む撮影画像を撮影する。前進移動位置Ｌ１で撮影された撮影画像において、特徴点Ｆ１は撮影領域を左右に均等分割する中心線ＣＬ１付近に存在する（図６（ａ）及び図７（ａ）参照）。なお、特徴点Ｆ１を見失わないように、画像処理装置１は、中央位置Ｌ０で特徴点Ｆ１を検出した後、車両７の移動中も特徴点Ｆ１を追跡する。
【００５４】
フロントカメラ２１がＰＡＮ方向及びＲＯＬＬ方向のいずれにもずれていない場合、例えば、前進移動位置Ｌ１、左移動位置Ｌ２、及び右移動位置Ｌ３それぞれでの撮影画像は図６（ａ）〜（ｃ）となる。その結果、フロントカメラ２１が撮影領域の水平方向左側に移動するように車両７が移動したときの特徴点Ｆ１のオプティカルフローＯＦ１と、フロントカメラ２１が撮影領域の水平方向右側に移動するように車両７が移動したときの特徴点Ｆ１のオプティカルフローＯＦ２との関係は、車両７の左右対称移動に応じて図６（ｄ）に示すように略左右対称になる。
【００５５】
一方、フロントカメラ２１がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれている場合、例えば、前進移動位置Ｌ１、左移動位置Ｌ２、及び右移動位置Ｌ３それぞれでの撮影画像は図７（ａ）〜（ｃ）となる。その結果、フロントカメラ２１が撮影領域の水平方向左側に移動するように車両７が移動したときの特徴点Ｆ１のオプティカルフローＯＦ１と、フロントカメラ２１が撮影領域の水平方向右側に移動するように車両７が移動したときの特徴点Ｆ１のオプティカルフローＯＦ２との関係は、車両７が左右対称に移動しているにもかかわらず、図７（ｄ）に示すように左右非対称になる。
【００５６】
図６（ｄ）と図７（ｄ）の比較から明らかなように、フロントカメラ２１がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているか否かを、車両７が左右方向に移動したときの特徴点Ｆ１の動きから判定することができる。
【００５７】
なお、中心線ＣＬ１付近に無い特徴点はカメラずれがあってもなくても動きは非対称になるが、カメラずれのある場合とカメラずれのない場合とで特徴点の動きが異なることから、カメラずれの有無を判定することは可能である。
【００５８】
中心線ＣＬ１付近に無い特徴点の動きからフロントカメラ２１の位置ずれの有無を判定する場合は、カメラずれのない場合の特徴点の動きを正常値（フロントカメラ２１の初期位置に関するデータ）として記憶部１２が記憶しておき、車両７が左右方向に移動したときの特徴点の動きが記憶部１２に記憶された正常値と異なっていればフロントカメラ２１の位置ずれが生じていると判定すればよい。この中心線ＣＬ１付近に無い特徴点の動きからフロントカメラ２１の位置ずれの有無を判定する手法と比較すると、上述した中心線ＣＬ１付近にある特徴点Ｆ１を用いてフロントカメラ２１の位置ずれの有無を判定する手法は、正常値を記憶していなくてもフロントカメラ２１の位置ずれの有無を判定できるというメリットを有している。
【００５９】
なお、バックカメラ２２の場合は、前進移動位置Ｌ１、左移動位置Ｌ２、及び右移動位置Ｌ３それぞれで特徴点Ｆ２を含む撮影画像を撮影して同様の処理を行えばよい。
【００６０】
前述した例とは異なり、フロントカメラ２１の場合は、図５に示す中央位置Ｌ０、中央左寄り位置Ｌ４、及び中央右寄り位置Ｌ５それぞれで特徴点Ｆ１を含む撮影画像を撮影してもよく、図５に示す後進位置Ｌ６、後方左寄り位置Ｌ７、及び後方右寄り位置Ｌ８それぞれで特徴点Ｆ１を含む撮影画像を撮影してもよい。また、バックカメラ２２の場合は、図５に示す中央位置Ｌ０、中央左寄り位置Ｌ４、及び中央右寄り位置Ｌ５それぞれで特徴点Ｆ２を含む撮影画像を撮影してもよく、図５に示す後進位置Ｌ６、後方左寄り位置Ｌ７、及び後方右寄り位置Ｌ８それぞれで特徴点Ｆ２を含む撮影画像を撮影してもよい。
【００６１】
また、以下に説明する検出処理及び判定処理によっても、フロントカメラ２１がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているか否かを検知することができる。
【００６２】
図５に示すように、判定開始タイミングを検出した時点で中央位置Ｌ０に停止していた車両７は、例えば、中央位置Ｌ０→前進移動位置Ｌ１→後進移動位置Ｌ６の順番で、前進移動位置Ｌ１及び後進移動位置Ｌ６の２箇所に移動する。そして、前進移動位置Ｌ１、中央位置Ｌ０、及び後進移動位置Ｌ６それぞれで特徴点Ｆ１を含む撮影画像を撮影する。なお、特徴点Ｆ１を見失わないように、画像処理装置１は、中央位置Ｌ０で特徴点Ｆ１を検出した後、車両７の移動中も特徴点Ｆ１を追跡する。
【００６３】
フロントカメラ２１がＰＡＮ方向及びＲＯＬＬ方向のいずれにもずれていない場合、例えば、前進移動位置Ｌ１、中央位置Ｌ０、及び後進移動位置Ｌ６それぞれでの撮影画像は図８（ａ）〜（ｃ）となる。その結果、フロントカメラ２１が撮影領域の奥行き方向に移動するように車両７が移動したときの、特徴点Ｆ１のオプティカルフローＯＦ３は、図８（ｄ）に示すように中心線ＣＬ１上に略位置している。
【００６４】
一方、フロントカメラ２１がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれている場合、例えば、前進移動位置Ｌ１、中央位置Ｌ０、及び後進移動位置Ｌ６それぞれでの撮影画像は図９（ａ）〜（ｃ）となる。その結果、フロントカメラ２１が撮影領域の奥行き方向に移動するように車両７が移動したときの、特徴点Ｆ１のオプティカルフローＯＦ３は、図９（ｄ）に示すように中心線ＣＬ１からずれている。
【００６５】
図８（ｄ）と図９（ｄ）の比較から明らかなように、フロントカメラ２１がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているか否かを、車両７が前後方向に移動したときの特徴点Ｆ１の動きから判定することができる。
【００６６】
なお、バックカメラ２２の場合は、前進移動位置Ｌ１、中央位置Ｌ０、及び後進移動位置Ｌ６それぞれで特徴点Ｆ２を含む撮影画像を撮影して同様の処理を行えばよい。
【００６７】
前述した例とは異なり、前進移動位置Ｌ１及び後進移動位置Ｌ６のうちのいずれか１箇所にのみ移動してもよい。
【００６８】
以上、フロントカメラ２１がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているか否かを検知する手法について２つの例を説明した。ここで、２つの例を組み合わせて実施する場合の例について説明する。後述する第１のモードは車両７の移動容易性を重視したモードであり、後述する第２のモードは判定精度を重視したモードである。検出部１１１は、第１のモードと第２のモードを択一的に選択することができる。
【００６９】
第１モードでは、検出部１１１は、フロントカメラ２１が撮影領域の奥行き方向に移動するように車両７が移動したときのみの特徴点の動きを検出する。これにより、車両７の移動量を低減することができるとともに、車両７の移動が直進のみですむため車両７の移動制御の容易性及び正確性が向上する。
【００７０】
一方、第２のモードでは、検出部１１１は、フロントカメラ２１が撮影領域の奥行き方向に移動するように車両７が移動したときの特徴点の動き、及び、フロントカメラ２１が撮影領域の水平方向に移動するように車両７が移動したときの特徴点の動きを検出する。そして、いずれかの特徴点の動きにおいてフロントカメラ２１がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれていることが検知された場合には、フロントカメラ２１がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているとずれ判定部１１２が判定すればよい。これにより、フロントカメラ２１の位置ずれが見過ごされることを低減できる。その結果、フロントカメラ２１の位置ずれに関する判定精度が向上する。
【００７１】
バックカメラ２２の場合も、上述したフロントカメラ２１の場合と同様の組み合わせ方での実施が可能である。
【００７２】
（２−２．第２の具体例）
以下に説明する検出処理及び判定処理によって、左サイドカメラ２３がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているか否かを検知することができる。
【００７３】
図５に示すように、判定開始タイミングを検出した時点で中央位置Ｌ０に停止していた車両７は、例えば、中央位置Ｌ０→前進移動位置Ｌ１→後進移動位置Ｌ６の順番で、前進移動位置Ｌ１及び後進移動位置Ｌ６の２箇所に移動する。そして、前進移動位置Ｌ１、中央位置Ｌ０、及び後進移動位置Ｌ６それぞれで特徴点Ｆ３を含む撮影画像を撮影する。中央位置Ｌ０で撮影された撮影画像において、特徴点Ｆ３は撮影領域を左右に均等分割する中心線ＣＬ１付近に存在する（図１０（ｂ）及び図１１（ｂ）参照）。なお、特徴点Ｆ３を見失わないように、画像処理装置１は、中央位置Ｌ０で特徴点Ｆ３を検出した後、車両７の移動中も特徴点Ｆ３を追跡する。
【００７４】
左サイドカメラ２３がＰＡＮ方向及びＲＯＬＬ方向のいずれにもずれていない場合、例えば、前進移動位置Ｌ１、中央位置Ｌ０、及び後進移動位置Ｌ６それぞれでの撮影画像は図１０（ａ）〜（ｃ）となる。その結果、左サイドカメラ２３が撮影領域の水平方向右側に移動するように車両７が移動したときの特徴点Ｆ３のオプティカルフローＯＦ４と、左サイドカメラ２３が撮影領域の水平方向左側に移動するように車両７が移動したときの特徴点Ｆ３のオプティカルフローＯＦ５との関係は、車両７の前後対称移動に応じて図１０（ｄ）に示すように略左右対称になる。
【００７５】
一方、左サイドカメラ２３がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれている場合、例えば、前進移動位置Ｌ１、中央位置Ｌ０、及び後進移動位置Ｌ６それぞれでの撮影画像は図１１（ａ）〜（ｃ）となる。その結果、左サイドカメラ２３が撮影領域の水平方向右側に移動するように車両７が移動したときの特徴点Ｆ３のオプティカルフローＯＦ４と、左サイドカメラ２３が撮影領域の水平方向左側に移動するように車両７が移動したときの特徴点Ｆ３のオプティカルフローＯＦ５との関係は、車両７が前後対称に移動しているにもかかわらず、図１１（ｄ）に示すように左右非対称になる。
【００７６】
図１０（ｄ）と図１１（ｄ）の比較から明らかなように、左サイドカメラ２３がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているか否かを、車両７が前後方向に移動したときの特徴点Ｆ３の動きから判定することができる。
【００７７】
なお、中心線ＣＬ１付近に無い特徴点はカメラずれがあってもなくても動きは非対称になるが、カメラずれのある場合とカメラずれのない場合とで特徴点の動きが異なることから、カメラずれの有無を判定することは可能である。
【００７８】
中心線ＣＬ１付近に無い特徴点の動きから左サイドカメラ２３の位置ずれの有無を判定する場合は、カメラずれのない場合の特徴点の動きを正常値（左サイドカメラ２３の初期位置に関するデータ）として記憶部１２が記憶しておき、車両７が前後方向に移動したときの特徴点の動きが記憶部１２に記憶された正常値と異なっていれば左サイドカメラ２３の位置ずれが生じていると判定すればよい。この中心線ＣＬ１付近に無い特徴点の動きから左サイドカメラ２３の位置ずれの有無を判定する手法と比較すると、上述した中心線ＣＬ１付近にある特徴点Ｆ３を用いて左サイドカメラ２３の位置ずれの有無を判定する手法は、正常値を記憶していなくても左サイドカメラ２３の位置ずれの有無を判定できるというメリットを有している。
【００７９】
なお、右サイドカメラ２４の場合は、前進移動位置Ｌ１、中央位置Ｌ０、及び後進移動位置Ｌ６それぞれで特徴点Ｆ４を含む撮影画像を撮影して同様の処理を行えばよい。
【００８０】
また、以下に説明する検出処理及び判定処理によっても、左サイドカメラ２３がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているか否かを検知することができる。
【００８１】
図５に示すように、判定開始タイミングを検出した時点で中央位置Ｌ０に停止していた車両７は、例えば、中央位置Ｌ０→前進移動位置Ｌ１→中央左寄り位置Ｌ４→前進移動位置Ｌ１→中央右寄り位置Ｌ５の順番で、中央左寄り位置Ｌ４及び中央右寄り位置Ｌ５の２箇所に移動する。そして、中央左寄り位置Ｌ４、中央位置Ｌ０、及び中央右寄り位置Ｌ５それぞれで特徴点Ｆ３を含む撮影画像を撮影する。なお、特徴点Ｆ３を見失わないように、画像処理装置１は、中央位置Ｌ０で特徴点Ｆ３を検出した後、車両７の移動中も特徴点Ｆ３を追跡する。
【００８２】
左サイドカメラ２３がＰＡＮ方向及びＲＯＬＬ方向のいずれにもずれていない場合、例えば、中央左寄り位置Ｌ４、中央位置Ｌ０、及び中央右寄り位置Ｌ５それぞれでの撮影画像は図１２（ａ）〜（ｃ）となる。その結果、左サイドカメラ２３が撮影領域の奥行き方向に移動するように車両７が移動したときの、特徴点Ｆ３のオプティカルフローＯＦ６は、図１２（ｄ）に示すように中心線ＣＬ１上に略位置している。
【００８３】
一方、左サイドカメラ２３がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれている場合、例えば、中央左寄り位置Ｌ４、中央位置Ｌ０、及び中央右寄り位置Ｌ５それぞれでの撮影画像は図１３（ａ）〜（ｃ）となる。その結果、左サイドカメラ２３が撮影領域の奥行き方向に移動するように車両７が移動したときの、特徴点Ｆ３のオプティカルフローＯＦ６は、図１３（ｄ）に示すように中心線ＣＬ１からずれている。
【００８４】
図１２（ｄ）と図１３（ｄ）の比較から明らかなように、左サイドカメラ２３がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているか否かを、車両７が左右方向に移動したときの特徴点Ｆ３の動きから判定することができる。
【００８５】
なお、右サイドカメラ２４の場合は、中央左寄り位置Ｌ４、中央位置Ｌ０、及び中央右寄り位置Ｌ５それぞれで特徴点Ｆ４を含む撮影画像を撮影して同様の処理を行えばよい。
【００８６】
前述した例とは異なり、中央左寄り位置Ｌ４及び中央右寄り位置Ｌ５のうちのいずれか１箇所にのみ移動してもよい。
【００８７】
以上、左サイドカメラ２３がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているか否かを検知する手法について２つの例を説明した。ここで、２つの例を組み合わせて実施する場合の例について説明する。後述する第１のモードは車両７の移動容易性を重視したモードであり、後述する第２のモードは判定精度を重視したモードである。検出部１１１は、第１のモードと第２のモードを択一的に選択することができる。
【００８８】
第１モードでは、検出部１１１は、左サイドカメラ２３が撮影領域の水平方向に移動するように車両７が移動したときのみの特徴点の動きを検出する。これにより、車両７の移動量を低減することができるとともに、車両７の移動が直進のみですむため車両７の移動制御の容易性及び正確性が向上する。
【００８９】
一方、第２のモードでは、検出部１１１は、左サイドカメラ２３が撮影領域の水平方向に移動するように車両７が移動したときの特徴点の動き、及び、左サイドカメラ２３が撮影領域の奥行き方向に移動するように車両７が移動したときの特徴点の動きを検出する。そして、いずれかの特徴点の動きにおいて左サイドカメラ２３がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれていることが検知された場合には、左サイドカメラ２３がＰＡＮ方向及びＲＯＬＬ方向の少なくとも一方にずれているとずれ判定部１１２が判定すればよい。これにより、左サイドカメラ２３の位置ずれが見過ごされることを低減できる。その結果、左サイドカメラ２３の位置ずれに関する判定精度が向上する。
【００９０】
右サイドカメラ２４の場合も、上述した左サイドカメラ２３の場合と同様の組み合わせ方での実施が可能である。
【００９１】
（２−３．第３具体例）
以下に説明する検出処理及び判定処理によって、車載カメラ２１〜２４がずれているか否かを検知することができる。なお、上述のように、４つの車載カメラ２１〜２４のそれぞれに対してずれているか否かが検知される。
【００９２】
図１４は、車両と特徴点との位置関係を示す模式図である。特徴点Ｆ１と特徴点Ｆ１’とは、互いにフロントカメラ２１及びバックカメラ２２の撮影領域の水平方向にずれて存在している特徴点である。特徴点Ｆ２と特徴点Ｆ２’とは、互いにフロントカメラ２１及びバックカメラ２２の撮影領域の水平方向にずれて存在している特徴点である。特徴点Ｆ３と特徴点Ｆ３’とは、互いに左サイドカメラ２３及び右サイドカメラ２４の撮影領域の水平方向にずれて存在している特徴点である。特徴点Ｆ４と特徴点Ｆ４’とは、互いに左サイドカメラ２３及び右サイドカメラ２４の撮影領域の水平方向にずれて存在している特徴点である。
【００９３】
検出部１１１が、車載カメラ２１〜２４が撮影領域の奥行き方向に移動するように車両７が移動したときの、撮影領域の水平方向にずれて存在する複数の特徴点の動きを検出する。そして、ずれ判定部１１２が、検出部１１１の検出結果に基づいて複数の特徴点の消失点を検出し、検出した前記消失点の位置に基づいて前記車載カメラの位置ずれに関する判定を行う。例えば、フロントカメラ２１の場合、図１５に示すように、特徴点Ｆ１のオプティカルフローＯＦ３の延長線と特徴点Ｆ１’のオプティカルフローＯＦ７の延長線との交点である、特徴点Ｆ１及びＦ１’の消失点Ｄ１を検出すればよい。フロントカメラ２１のＰＡＮ方向、ＲＯＬＬ方向、及びＴＩＬＴ方向のいずれにもずれていない場合の消失点Ｄ１の位置が把握できるデータを、フロントカメラ２１の初期位置に関するデータとして記憶部１１２が記憶しておくことで、フロントカメラ２１がＰＡＮ方向、ＲＯＬＬ方向、及びＴＩＬＴ方向の少なくとも一つの方向にずれているか否かを判定することができる。一例としては、消失点が画面の中心線から左または右方向に大きくずれているときは、少なくともＰＡＮ方向、ＲＯＬＬ方向にズレが発生していると判断できる。また、画面内における消失点の垂直方向の高さが、正常時の位置から大きくずれているときは少なくともＴＩＬＴ方向にずれが発生していると判断できる。
【００９４】
なお、検出部１１１が各撮影画像において特徴点を１つしか検出できない場合であっても、車両７の移動を工夫することによって検出部１１１は特徴点の消失点Ｄ１を検出することができる。例えば、図５に示すように、判定開始タイミングを検出した時点で中央位置Ｌ０に停止していた車両７は、例えば、中央位置Ｌ０→左移動位置Ｌ２→後方左寄り位置Ｌ７→右移動位置Ｌ３→後方右寄り位置Ｌ８の順番で移動する。そして、画像処理装置１は、中央位置Ｌ０で特徴点Ｆ１を検出した後、車両７の移動中も特徴点Ｆ１を追跡する。また、画像処理装置１は、中央位置Ｌ０で特徴点Ｆ４を検出した後、車両７の移動中も特徴点Ｆ４を追跡する。
【００９５】
図１６に示すように、検出部１１１は、単一の特徴点Ｆ１について、フロントカメラ２１が撮影領域の奥行き方向に移動するように車両７が左移動位置Ｌ２から移動したときの特徴点Ｆ１の動きを検出し、フロントカメラ２１が撮影領域の奥行き方向に移動するように車両７が右移動位置Ｌ３から移動したときの特徴点Ｆ１の動きを検出することによって、特徴点Ｆ１のオプティカルフローＯＦ８Ｌの延長線と特徴点Ｆ１のオプティカルフローＯＦ８Ｒの延長線との交点である、特徴点Ｆ１の消失点Ｄ１を検出することができる。なお、図１６中において符号Ｆ１の隣に車両７の位置を示す符号をかっこ書きで記載している。
【００９６】
図１７に示すように、検出部１１１は、単一の特徴点Ｆ４について、右サイドカメラ２４が撮影領域の奥行き方向に移動するように車両７が右移動位置Ｌ３から移動したときの特徴点Ｆ４の動きを検出し、右サイドカメラ２４が撮影領域の奥行き方向に移動するように車両７が後方右寄り位置Ｌ８から移動したときの特徴点Ｆ４の動きを検出することによって、特徴点Ｆ４のオプティカルフローＯＦ９Ｌの延長線と特徴点Ｆ４のオプティカルフローＯＦ９Ｒの延長線との交点である、特徴点Ｆ４の消失点Ｄ１を検出することができる。なお、図１７中において符号Ｆ４の隣に車両７の位置を示す符号をかっこ書きで記載している。
【００９７】
また、以下に説明する検出処理及び判定処理によっても、車載カメラ２１〜２４がＴＩＬＴ方向にずれているか否かを検知することができる。マイコン１１が、車両７が所定の移動をしたときの車両７の速度情報をセンサ部３から取得する不図示の取得部を備える。そして、ずれ判定部１１２は、検出部１１１の検出結果、より具体的には特徴点のオプティカルフローに基づいて車両７の速度を推定し、推定した車両７の速度と、前述の取得部によって取得された車両７の速度情報との比較結果に基づいて車載カメラ２１〜２４の位置ずれに関する判定を行う。
【００９８】
ずれ判定部１１２は、推定した車両７の速度とセンサ部３から取得した情報から求まる車両７の速度との大小関係によって、車載カメラ２１〜２４が下方に傾いているかそれとも上方に傾いているかを検知することができる。推定した車両７の速度とセンサ部３から取得した情報から求まる車両７の速度より遅い場合、ずれ判定部１１２は、車載カメラ２１〜２４が下方に傾いていることを検知する。逆に、推定した車両７の速度とセンサ部３から取得した情報から求まる車両７の速度より速い場合、ずれ判定部１１２は、車載カメラ２１〜２４が上方に傾いていることを検知する。推定した車両７の速度とセンサ部３から取得した情報から求まる車両７の速度と一致している場合、ずれ判定部１１２は、車載カメラ２１〜２４にＴＩＬＴ方向の位置ずれが発生していないことを検知する。ここで、計算誤差等を考慮し、推定した車両７の速度とセンサ部３から取得した情報から求まる車両７の速度との差が所定値未満である場合には、推定した車両７の速度とセンサ部３から取得した情報から求まる車両７の速度とが一致していなくても、ずれ判定部１１２は、車載カメラ２１〜２４にＴＩＬＴ方向の位置ずれが発生していないことを検知するようにしてもよい。
【００９９】
なお、車両７が所定の移動をしている期間の全てにおいて、車両７の車速が一定となるわけではないので、車両７が所定の移動をしている期間の中で車両７の車速が一定となっている区間を抽出し、その抽出した区間で上記の位置ずれ判定を行うことが好ましい。
【０１００】
＜３．変形例等＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で組み合わせて実施されてよい。
【０１０１】
以上に示した実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的にマイコンの各種の機能が実現されていると説明したが、これらの機能のうちの少なくとも一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの少なくとも一部は、ソフトウェア的に実現されてもよい。
【０１０２】
また、図５及び図１４においては、中央位置Ｌ０−前進移動位置Ｌ１間の距離と中央位置Ｌ０−後進移動位置Ｌ６間の距離とを等しくしているが、各距離間の比率が把握出来ていれば位置ずれの判定を正しく行うことができるので、中央位置Ｌ０−前進移動位置Ｌ１間の距離と中央位置Ｌ０−後進移動位置Ｌ６間の距離とは異なっていてもよい。同様に、図５及び図１４においては、中央位置Ｌ０−中央左寄り位置Ｌ４間の距離と中央位置Ｌ０−中央右寄り位置Ｌ５間の距離とを等しくしているが、各距離間の比率が把握出来ていれば位置ずれの判定を正しく行うことができるので、中央位置Ｌ０−中央左寄り位置Ｌ４間の距離と中央位置Ｌ０−中央右寄り位置Ｌ５間の距離とは異なっていてもよい。
【符号の説明】
【０１０３】
１  画像処理装置
７  車両
２１  フロントカメラ（車載カメラ）
２２  バックカメラ（車載カメラ）
２３  左サイドカメラ（車載カメラ）
２４  右サイドカメラ（車載カメラ）
４１  自動運転制御部
１１１  検出部
１１２  ずれ判定部
【図１】
2018160732.tif 000003
【図２】
2018160732.tif 000004
【図３】
2018160732.tif 000005
【図４】
2018160732.tif 000006
【図５】
2018160732.tif 000007
【図６】
2018160732.tif 000008
【図７】
2018160732.tif 000009
【図８】
2018160732.tif 000010
【図９】
2018160732.tif 000011
【図１０】
2018160732.tif 000012
【図１１】
2018160732.tif 000013
【図１２】
2018160732.tif 000014
【図１３】
2018160732.tif 000015
【図１４】
2018160732.tif 000016
【図１５】
2018160732.tif 000017
【図１６】
2018160732.tif 000018
【図１７】
2018160732.tif 000019