(57)【要約】【課題】車載カメラの光軸ずれを適切に検出することを可能とする技術を提供する。【解決手段】画像処理装置は、車載カメラで撮像されたカメラ画像を処理する。画像処理装置は、前記カメラ画像に基づいて、前記車載カメラを搭載する車両のボディの検査画像を取得する検査画像取得部を備える。前記検査画像取得部は、車種毎のボディ形状に応じて予め設定される前記ボディのエッジの探索領域を除いて画像のマスク処理を行い、前記検査画像を取得する。【選択図】図１
2018101898.tif 000002
【特許請求の範囲】
【請求項１】
車載カメラで撮像されたカメラ画像を処理する画像処理装置であって、
前記カメラ画像に基づいて、前記車載カメラを搭載する車両のボディの検査画像を取得する検査画像取得部を備え、
前記検査画像取得部は、車種毎のボディ形状に応じて予め設定される前記ボディのエッジの探索領域を除いて画像のマスク処理を行い、前記検査画像を取得する、画像処理装置。
【請求項２】
前記検査画像取得部は、前記マスク処理後に得られるエッジ画像のうち、前記ボディの設計値から想定されるエッジと異なると判断されるエッジを除去して前記検査画像を取得する、請求項１に記載の画像処理装置。
【請求項３】
前記車両に正常に取り付けられた前記車載カメラで撮像された前記カメラ画像を処理して得られた前記ボディの基準画像を記憶する記憶部と、
前記基準画像と前記検査画像とを比較処理して前記車載カメラの光軸ずれを検出するずれ検出部と、
を更に備える、請求項１又は２に記載の画像処理装置。
【請求項４】
前記検査画像取得部は、前記マスク処理後に、前記探索領域より狭い狭探索領域を除いてマスクを施す再マスク処理を行い、前記検査画像を取得する、請求項３に記載の画像処理装置。
【請求項５】
前記検査画像中においてエッジとして検出された画素の数が所定の第１閾値より少ない場合に、前記ずれ検出部は、前記検査画像の再取得を要求する、請求項３又は４に記載の画像処理装置。
【請求項６】
前記検査画像取得部は、前記マスク処理後に、前記探索領域より狭い狭探索領域を除いてマスクを施す再マスク処理を行い、
前記検査画像の再取得を行う場合に、前記検査画像取得部は、先の前記検査画像の取得時に比べて、前記探索領域と前記狭探索領域とのうちの少なくとも前記狭探索領域を拡大して前記検査画像を取得する、請求項５に記載の画像処理装置。
【請求項７】
前記検査画像の再取得を行う場合に、前記検査画像取得部は、外部から取得される前記車両に関する情報に基づいて前記カメラ画像の取得タイミングを判断して、前記検査画像を取得する、請求項５又は６に記載の画像処理装置。
【請求項８】
前記ずれ検出部は、前記検査画像の再取得を所定の回数繰り返しても前記画素の数が前記所定の第１閾値より少ない場合には、前記車載カメラが光軸ずれしていると判定する、請求項５から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記ずれ検出部は、前記検査画像を複数の領域に分けて、当該複数の領域のそれぞれについて前記基準画像との比較処理を行い、得られた複数個の比較処理結果に基づいて前記光軸ずれの判定を行う、請求項３から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記基準画像は、前記カメラ画像に比べて少ない画素数を有する、請求項３から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記ずれ検出部は、複数の前記検査画像に対して前記基準画像との比較結果を取得し、複数回の比較結果に応じて前記光軸ずれの判定を行う、請求項３から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記検査画像取得部は、異なるタイミングで撮像された複数の前記カメラ画像のそれぞれに対して前記マスク処理を含む処理を行って複数の合成前画像を取得し、前記複数の合成前画像を合成処理して前記検査画像を取得する、請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１３】
前記検査画像取得部は、合成処理用メモリに記憶される画像に前記合成前画像をアルファブレンドして前記合成処理用メモリに記憶される画像を更新する処理を順次繰り返して前記検査画像を取得する、請求項１２に記載の画像処理装置。
【請求項１４】
前記合成処理用メモリに記憶される初期画像は、前記基準画像を所定の濃度に調整した画像である、請求項１３に記載の画像処理装置。
【請求項１５】
前記検査画像取得部は、前記合成前画像の信頼度に基づいて、当該合成前画像を前記合成処理用メモリに記憶される初期画像とするか否かを判断する、請求項１３に記載の画像処理装置。
【請求項１６】
前記検査画像取得部は、前記合成前画像の信頼度と、外部から取得される前記車両に関する情報とのうちの少なくともいずれか一方に基づいて、アルファブレンドのブレンド率を変化させる、請求項１３から１５のいずれか１項に記載の画像処理装置。
【請求項１７】
前記検査画像取得部は、外部から取得される前記車両に関する情報に基づいて前記カメラ画像を取得するタイミングを判断する、請求項１から１６のいずれか１項に記載の画像処理装置。
【請求項１８】
前記検査画像取得部は、車両のＡＣＣオン、且つ、エンジン停止を検出した場合に、前記カメラ画像を取得する、請求項１７に記載の画像処理装置。
【請求項１９】
前記検査画像取得部は、前記車両周辺の照度が所定の第２閾値より低いと判断される場合に、前記車両のライト点灯を指示した後に前記カメラ画像を取得する、請求項１から１８のいずれか１項に記載の画像処理装置。
【請求項２０】
前記車載カメラが複数である場合、前記車載カメラ毎に画像処理条件が決定される、請求項１から１９のいずれか１項に記載の画像処理装置。
【請求項２１】
画像処理装置によって、車載カメラで撮像されたカメラ画像を処理する画像処理方法であって、
前記カメラ画像に基づいて、前記車載カメラを搭載する車両のボディの検査画像を取得する検査画像取得工程を備え、
前記検査画像取得工程は、車種毎のボディ形状に応じて予め設定される前記車両のエッジの探索領域を除いて画像のマスク処理を行い、前記検査画像を取得する、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、車載カメラを用いて、例えば車両の駐車支援等の運転支援が行われている。車載カメラは、車両を工場から出荷する前に、車両に固定状態で取り付けられる。しかしながら、車載カメラは、例えば不意の接触や経年変化等によって、工場出荷時の取付状態から光軸ずれを起こすことがある。車載カメラの光軸がずれると、カメラ画像を利用して判断されるハンドルの操舵量等に誤差が生じるために、車載カメラのずれを検出することは重要である。
【０００３】
特許文献１には、車載カメラの光軸ずれを検出する技術が開示される。特許文献１における車載カメラの光軸ずれ検出装置は、画像処理手段と判断手段とを備える。画像処理手段は、運転支援する車体部上のマーキングを含む範囲を撮影する車載カメラの撮像画像から該マーキングの位置情報を検出する。判断手段は、初期設定されたマーキング位置情報と、新たに検出されたマーキングの位置情報とを比較することにより、撮影光軸ずれを判断する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１７３０３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
車載カメラの撮影画像には、車両周囲の風景等が映るために、例えばマーキングがボンネットの一部の特定形状である場合、当該特定形状を簡単に抽出できないことがある。当該特定形状が誤検出されると、車載カメラの光軸ずれが正確に判断されない可能性がある。
【０００６】
本発明は、上記課題に鑑みてなされたものであり、車載カメラの光軸ずれを適切に検出することを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために本発明の画像処理装置は、車載カメラで撮像されたカメラ画像を処理する画像処理装置であって、前記カメラ画像に基づいて、前記車載カメラを搭載する車両のボディの検査画像を取得する検査画像取得部を備え、前記検査画像取得部は、車種毎のボディ形状に応じて予め設定される前記ボディのエッジの探索領域を除いて画像のマスク処理を行い、前記検査画像を取得する構成（第１の構成）になっている。
【０００８】
上記第１の構成の画像処理装置において、前記検査画像取得部は、前記マスク処理後に得られるエッジ画像のうち、前記ボディの設計値から想定されるエッジと異なると判断されるエッジを除去して前記検査画像を取得する構成（第２の構成）が好ましい。
【０００９】
上記第１又は第２の構成の画像処理装置は、前記車両に正常に取り付けられた前記車載カメラで撮像された前記カメラ画像を処理して得られた前記ボディの基準画像を記憶する記憶部と、前記基準画像と前記検査画像とを比較処理して前記車載カメラの光軸ずれを検出するずれ検出部と、を更に備える構成（第３の構成）が好ましい。
【００１０】
上記第３の構成の画像処理装置において、前記検査画像取得部は、前記マスク処理後に、前記探索領域より狭い狭探索領域を除いてマスクを施す再マスク処理を行い、前記検査画像を取得する構成（第４の構成）が好ましい。
【００１１】
上記第３又は第４の構成の画像処理装置において、前記検査画像中においてエッジとして検出された画素の数が所定の第１閾値より少ない場合に、前記ずれ検出部は、前記検査画像の再取得を要求する構成（第５の構成）であってよい。
【００１２】
上記第５の構成の画像処理装置において、前記検査画像取得部は、前記マスク処理後に、前記探索領域より狭い狭探索領域を除いてマスクを施す再マスク処理を行い、前記検査画像の再取得を行う場合に、前記検査画像取得部は、先の前記検査画像の取得時に比べて、前記探索領域と前記狭探索領域とのうちの少なくとも前記狭探索領域を拡大して前記検査画像を取得する構成（第６の構成）であってよい。
【００１３】
上記第５又は第６の構成の画像処理装置において、前記検査画像の再取得を行う場合に、前記検査画像取得部は、外部から取得される前記車両に関する情報に基づいて前記カメラ画像の取得タイミングを判断して前記検査画像を取得する構成（第７の構成）であってよい。
【００１４】
上記第５から第７のいずれかの構成の画像処理装置において、前記ずれ検出部は、前記検査画像の再取得を所定の回数繰り返しても前記画素の数が前記所定の第１閾値より少ない場合には、前記車載カメラが光軸ずれしていると判定する構成（第８の構成）であってよい。
【００１５】
上記第３から第８のいずれかの構成の画像処理装置において、前記ずれ検出部は、前記検査画像を複数の領域に分けて、当該複数の領域のそれぞれについて前記基準画像との比較処理を行い、得られた複数個の比較処理結果に基づいて前記光軸ずれの判定を行う構成（第９の構成）であってよい。
【００１６】
上記第３から第９のいずれかの構成の画像処理装置において、前記基準画像は、前記カメラ画像に比べて少ない画素数を有する構成（第１０の構成）であってよい。
【００１７】
上記第３から第１０のいずれかの構成の画像処理装置において、前記ずれ検出部は、複数の前記検査画像に対して前記基準画像との比較結果を取得し、複数回の比較結果に応じて前記光軸ずれの判定を行う構成（第１１の構成）であってよい。
【００１８】
上記第１から第１０のいずれかの構成の画像処理装置において、前記検査画像取得部は、異なるタイミングで撮像された複数の前記カメラ画像のそれぞれに対して前記マスク処理を含む処理を行って複数の合成前画像を取得し、前記複数の合成前画像を合成処理して前記検査画像を取得する構成（第１２の構成）が好ましい。
【００１９】
上記第１２の構成の画像処理装置において、前記検査画像取得部は、合成処理用メモリに記憶される画像に前記合成前画像をアルファブレンドして前記合成処理用メモリに記憶される画像を更新する処理を順次繰り返して前記検査画像を取得する構成（第１３の構成）が好ましい。
【００２０】
上記第１３の構成の画像処理装置において、前記合成処理用メモリに記憶される初期画像は、前記基準画像を所定の濃度に調整した画像である構成（第１４の構成）であってよい。
【００２１】
上記第１３の構成の画像処理装置において、前記検査画像取得部は、前記合成前画像の信頼度に基づいて、当該合成前画像を前記合成処理用メモリに記憶される初期画像とするか否かを判断する構成（第１５の構成）であってよい。
【００２２】
上記第１３から第１５のいずれかの構成の画像処理装置において、前記検査画像取得部は、前記合成前画像の信頼度と、外部から取得される前記車両に関する情報とのうちの少なくともいずれか一方に基づいて、アルファブレンドのブレンド率を変化させる構成（第１６の構成）であってよい。
【００２３】
上記第１から第１６のいずれかの構成の画像処理装置において、前記検査画像取得部は、外部から取得される前記車両に関する情報に基づいて前記カメラ画像を取得するタイミングを判断する構成（第１７の構成）が好ましい。
【００２４】
上記第１７の構成の画像処理装置において、前記検査画像取得部は、車両のＡＣＣオン、且つ、エンジン停止を検出した場合に、前記カメラ画像を取得する構成（第１８の構成）であってよい。
【００２５】
上記第１から第１８のいずれかの構成の画像処理装置において、前記検査画像取得部は、前記車両周辺の照度が所定の第２閾値より低いと判断される場合に、前記車両のライト点灯を指示した後に前記カメラ画像を取得する構成（第１９の構成）であってよい。
【００２６】
上記第１から第１９のいずれかの構成の画像処理装置において、前記車載カメラが複数である場合、前記車載カメラ毎に画像処理条件が決定される構成（第２０の構成）が好ましい。
【００２７】
上記目的を達成するために本発明の画像処理方法は、画像処理装置によって、車載カメラで撮像されたカメラ画像を処理する画像処理方法であって、前記カメラ画像に基づいて、前記車載カメラを搭載する車両のボディの検査画像を取得する検査画像取得工程を備え、前記検査画像取得工程は、車種毎のボディ形状に応じて予め設定される前記車両のエッジの探索領域を除いて画像のマスク処理を行い、前記検査画像を取得する構成（第２１の構成）になっている。
【発明の効果】
【００２８】
本発明によると、車載カメラの光軸ずれを適切に検出することを可能とする技術を提供できる。
【図面の簡単な説明】
【００２９】
【図１】カメラずれ検出システムの構成を示すブロック図
【図２】４つのカメラが車両に配置される位置を例示する図
【図３】カメラずれ検出システムによるカメラずれの検出フローの一例を示すフローチャート
【図４】基準画像の取得フローの一例を示すフローチャート
【図５】フロントカメラで撮像したカメラ画像の一例を示す模式図
【図６】車種毎に準備されるマスクデータのイメージ図
【図７】マスク処理後のエッジ画像を例示する模式図
【図８】基準画像の一例を示す模式図
【図９】記憶部に記憶される基準画像の一例を説明するための模式図
【図１０】第１実施形態のカメラずれの検出フロー例を示すフローチャート
【図１１】再マスク処理を説明するためのイメージ図
【図１２】パターンマッチング処理の処理フロー例を示すフローチャート
【図１３】検査画像と基準画像との比較イメージを示す模式図
【図１４】第１実施形態のカメラずれの検出フローの変形例を示すフローチャート
【図１５】ずれ検出部によるずれ判定の変形例を説明するための模式図
【図１６】第２実施形態のカメラずれの検出フロー例を示すフローチャート
【図１７】合成処理について説明するための模式図
【図１８】合成処理の変形例を説明するための模式図
【発明を実施するための形態】
【００３０】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」とする。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の右側から左側に向かう方向を「左方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の左側から右側に向かう方向を「右方向」とする。また、本明細書では、カメラの光軸ずれのことを、単にカメラずれと表現する場合がある。
【００３１】
＜＜１．第１実施形態＞＞
＜１−１．カメラずれ検出システムの概略＞
図１は、第１実施形態のカメラずれ検出システムＳＹＳ１の構成を示すブロック図である。本実施の形態のカメラずれ検出システムＳＹＳ１は、車載カメラの光軸ずれを検出するシステムである。カメラずれ検出システムＳＹＳ１は、画像処理装置１と、撮像部２と、センサ部３と、車両制御装置４と、を備える。
【００３２】
画像処理装置１は、車載カメラで撮像されたカメラ画像を処理する装置である。画像処理装置１は、車載カメラを搭載する車両ごとに備えられる。本実施の形態では、画像処理装置１は、撮像部２からカメラ画像を取得して処理する。また、画像処理装置１は、センサ部３から情報を取得して、取得情報に基づいて画像処理に関する判断を行う。なお、センサ部３は、場合によっては、カメラずれ検出システムＳＹＳ１に含まれなくてもよい。
【００３３】
本実施の形態では、画像処理装置１は、撮像部２で撮像されたカメラ画像を処理して、カメラずれの検出を行う。また、本実施の形態では、画像処理装置１は、撮像部２で撮像されたカメラ画像を処理して、カメラずれを検出するための基準画像の取得も行う。なお、基準画像の取得を行う画像処理装置は、画像処理装置１とは別に設けられる他の画像処理装置であってもよい。この場合、他の画像処理装置も本発明の画像処理装置の一例となる。
【００３４】
本実施の形態では、画像処理装置１は、表示装置５と運転支援装置６とに処理情報を出力する。なお、画像処理装置１は、これらの装置５、６から情報を受け取り、受け取った情報に基づいてカメラずれの検出処理を行ってもよい。この場合、これらの装置５、６もカメラずれ検出システムＳＹＳ１に含まれてよい。
【００３５】
表示装置５は、画像処理装置１から出力される情報を画面表示する装置であり、例えば液晶表示装置であってよい。表示装置５は、例えばタッチパネル方式等の入力部を備えて、外部から情報を入力できる構成であってよい。
【００３６】
運転支援装置６は、撮像部２で撮像された画像を用いて運転を支援する装置であり、例えば自動運転支援装置、自動駐車支援装置、自動緊急ブレーキ装置等を含んでよい。運転支援装置６は、例えば、エンジンの始動とともに自動的に運転支援を開始する構成であってよい。また、運転支援装置６は、例えば運転者によってボタン等が押された場合に運転支援を開始する構成であってよい。
【００３７】
撮像部２は、車両周辺の状況を監視する目的で設けられる。撮像部２は、４つのカメラ２１〜２４を備える。４つのカメラ２１〜２４は、車載カメラである。図２は、４つのカメラ２１〜２４が車両７に配置される位置を例示する図である。
【００３８】
カメラ２１は車両７の前端に設けられる。このため、カメラ２１をフロントカメラ２１とも呼ぶ。フロントカメラ２１の光軸２１ａは上からの平面視で車両７の前後方向に沿っている。フロントカメラ２１は車両７の前方向を撮影する。カメラ２２は車両７の後端に設けられる。このため、カメラ２２をバックカメラ２２とも呼ぶ。バックカメラ２２の光軸２２ａは上からの平面視で車両７の前後方向に沿っている。バックカメラ２２は車両７の後方向を撮影する。フロントカメラ２１及びバックカメラ２２の取付位置は、車両７の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００３９】
カメラ２３は車両７の左側ドアミラー７１に設けられる。このため、カメラ２３を左サイドカメラ２３とも呼ぶ。左サイドカメラ２３の光軸２３ａは上からの平面視で車両７の左右方向に沿っている。左サイドカメラ２３は車両７の左方向を撮影する。カメラ２４は車両７の右側ドアミラー７２に設けられる。このため、カメラ２４を右サイドカメラ２４とも呼ぶ。右サイドカメラ２４の光軸２４ａは上からの平面視で車両７の左右方向に沿っている。右サイドカメラ２４は車両７の右方向を撮影する。
【００４０】
各カメラ２１〜２４の水平方向の画角θは１８０度以上である。このため、カメラ２１〜２４によって、車両７の水平方向における全周囲を撮影することができる。また、カメラ２１〜２４によって撮像される画像には、カメラ２１〜２４を搭載する車両のボディが映り込む。
【００４１】
なお、本実施の形態では、車載カメラの数を４つとしているが、この数は適宜変更されてよく、複数であっても単数であってもよい。例えば、車両７がバックで駐車することを支援する目的で車載カメラが搭載されている場合には、車載カメラは、バックカメラ２２、左サイドカメラ２３、右サイドカメラ２４の３つで構成されてもよい。
【００４２】
図１に戻って、センサ部３は、カメラ２１〜２４が搭載される車両７に関する情報を検出する複数のセンサを有する。車両７に関する情報には、車両自体の情報と、車両周辺の情報とが含まれてよい。本実施の形態では、センサ部３は、例えば、車両の速度を検出する車速度センサ、ステアリングホイールの回転角を検出する舵角センサ、車両の変速装置のシフトレバーの操作位置を検出するシフトセンサ、車両周辺の照度を検出する照度センサ等が含まれる。本実施の形態では、センサ部３で検出した情報は、画像処理装置１に直接入力される構成としているが、これは例示にすぎない。例えば、センサ部３で検出した情報は、車両制御装置４を介して画像処理装置１に入力されてもよい。
【００４３】
車両制御装置４は、車両の動作全般に関わる制御を行う。車両制御装置４は、例えばエンジンを制御するエンジンＥＣＵ、ステアリングを制御するステアリングＥＣＵ、ブレーキを制御するブレーキＥＣＵ、シフトを制御するシフトＥＣＵ、電源制御用ＥＣＵ、ライトを制御するライトＥＣＵ、電動ミラーを制御するミラーＥＣＵ等を含む。なお、ＥＣＵは、「Electronic Control Unit」の略である。本実施の形態では、車両制御装置４は、画像処理装置１と情報をやり取りする。
【００４４】
図３は、カメラずれ検出システムＳＹＳ１によるカメラずれの検出フローの一例を示すフローチャートである。図３に示すように、例えば自動車メーカー等の工場において、各車両７に対して４つのカメラ２１〜２４が取り付けられる（ステップＳ１）。各カメラ２１〜２４は、所定の向きに光軸２１ａ〜２４ａが合された状態で、所定の取付位置に固定される。
【００４５】
また、工場においては、基準画像の取得が行われる（ステップＳ２）。基準画像は、カメラ２１〜２４を搭載した車両７を市場に出した後、カメラ２１〜２４の光軸がずれているか否かを検出する際に、基準として用いられる画像である。本実施の形態において、基準画像は、車両７に正常に取り付けられた車載カメラ２１〜２４で撮像されたカメラ画像を処理して得られた車両７のボディのエッジ画像である。基準画像は、画像処理装置１を用いて、各カメラ２１〜２４に対して取得される。基準画像の取得方式の詳細については後述する。
【００４６】
本実施の形態においては、カメラ２１〜２４を搭載した車両が市場に出された後、画像処理装置１によってカメラずれの検出が行われる。カメラずれの検出は、各カメラ２１〜２４に対して行われる。画像処理装置１は、カメラずれを検出するタイミングか否かを判断する（ステップＳ３）。画像処理装置１は、ステップＳ３でＮｏの場合、カメラずれの検出タイミグか否かの判断を繰り返す。本実施の形態では、カメラずれの検出タイミングは、画像処理装置１が自動的に判断する。当該自動判断の詳細については後述する。
【００４７】
なお、画像処理装置１は、例えば、表示装置５等から運転者が入力するカメラずれの検出指示によって、カメラずれの検出タイミングを認識してもよい。また、画像処理装置１は、運転支援装置６からの指示が有った場合に、カメラ画像を取得する構成であってもよい。
【００４８】
画像処理装置１は、カメラずれの検出タイミングになると（ステップＳ３でＹｅｓ）、カメラ画像を取得するとともに処理して検査画像を取得する（ステップＳ４）。画像処理装置１は、取得した検査画像と、工場で予め取得した基準画像との比較を行う（ステップＳ５）。画像処理装置１は、比較の結果、検査画像と基準画像とが一致しているか否かの判断を行う（ステップＳ６）。なお、ステップＳ３〜ステップＳ６を含むカメラずれの検出方式の詳細については後述する。
【００４９】
検査画像と基準画像とが一致していると判断される場合（ステップＳ６でＹｅｓ）、画像処理装置１は、カメラの光軸ずれが発生していないと判断する（ステップＳ７）。この場合、画像処理装置１は、例えば運転支援装置６等にカメラが正常であることを通知してもよい。画像処理装置１は、ステップＳ３に戻って、次の検出タイミグを検出することよって、カメラずれの検出を繰り返す。
【００５０】
検査画像と基準画像とが一致していないと判断される場合（ステップＳ６でＮｏ）、画像処理装置１は、カメラの光軸ずれが発生していると判断する（ステップＳ８）。本実施の形態では、画像処理装置１は、カメラずれが発生したことを表示装置５によって報知する。また、画像処理装置１は、運転支援装置６にカメラずれの発生を通知して、運転支援装置６による運転支援を停止させる。なお、本実施の形態では、４つのカメラ２１〜２４が存在するが、４つのカメラ２１〜２４のうちの１つでも光軸ずれが発生した場合には、上記報知処理及び停止処理を行うことが好ましい。
【００５１】
カメラずれの発生に伴い、車両のユーザは、例えばディーラにカメラの取付調整を依頼する。これに応じて、ディーラは、カメラの取付調整を行う（ステップＳ９）。また、ディーラは、上述した基準画像の再取得処理を行う（ステップＳ１０）。この後は、ステップＳ３に戻って、画像処理装置１は、カメラずれの検出タイミングを検出すると、再取得した基準画像に基づいて、カメラずれの検出を行う。
【００５２】
なお、本実施の形態では、カメラずれを検出した場合に、カメラの取付調整を行う構成としているが、これは例示にすぎない。カメラずれを検出した場合に、画像処理装置１は、カメラの光軸ずれを補正してカメラ画像を用いる構成としてもよい。例えば、カメラの取付調整を前提とした、ずれ発生の報知処理や、運転支援の停止処理は、カメラのずれ状態が不明な場合のみ行う構成としてもよい。カメラのずれ状態が不明とは、例えば、カメラがどの程度位置ずれや角度ずれを起しているかが不明な状態を指す。カメラのずれ状態が明確で補正して使用できる場合には、画像処理装置１は、ずれ発生の報知処理や、運転支援の停止処理を行わない構成としてよい。
【００５３】
＜１−２．画像処理装置の詳細＞
図１に戻って、画像処理装置１は、マイコン１１及び記憶部１２を含んで構成される。マイコン１１は、不図示のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む。記憶部１２は、不揮発性のメモリである。マイコン１１は、記憶部１２に記憶されたプログラムに基づいて情報の処理及び送受信を行う。マイコン１１は、有線又は無線で、撮像部２、センサ部３、車両制御装置４、表示装置５、及び、運転支援装置６に接続される。
【００５４】
マイコン１１は、第１検査画像取得部１１１と、比較処理部１１２と、第２検査画像取得部１１３と、ずれ検出部１１４と、を備える。マイコン１１が備えるこれらの各部１１１〜１１４の機能は、プログラムに従ってＣＰＵが演算処理を行うことによって実現される。
【００５５】
第１検査画像取得部１１１は、車載カメラ２１〜２４で撮像されたカメラ画像に基づいて、車載カメラ２１〜２４を搭載する車両７のボディの検査画像を取得する。本実施の形態では、車載カメラ２１〜２４の数は４つであり、第１検査画像取得部１１１は、各カメラ２１〜２４で撮像されるカメラ画像ごとに検査画像を取得する。なお、第１検査画像取得部１１１は、本発明の検査画像取得部の一例である。
【００５６】
比較処理部１１２は、第１検査画像取得部１１１で取得した検査画像と、車両７のボディ形状の設計データとの比較処理を行う。比較処理部１１２は、比較の結果、検査画像が正常な画像であると判断した場合には、当該検査画像を基準画像として記憶部１２に記憶する。比較処理部１１２は、比較の結果、検査画像が正常な画像でないと判断した場合には、基準画像の取得に失敗したことを報知する。報知手段としては、例えば表示装置５が利用されてよい。
【００５７】
なお、第１検査画像取得部１１１及び比較処理部１１２は、基準画像を取得する機能を発揮する機能部である。画像処理装置１とは別の画像処理装置で基準画像の取得を行う場合には、画像処理装置１は、第１検査画像取得部１１１及び比較処理部１１２を備えなくてもよい。
【００５８】
第２検査画像取得部１１３は、第１検査画像取得部１１１と同様に、車載カメラ２１〜２４で撮像されたカメラ画像に基づいて、車載カメラ２１〜２４を搭載する車両７のボディの検査画像を取得する。本実施の形態では、車載カメラ２１〜２４の数は４つであり、第２検査画像取得部１１３は、各カメラ２１〜２４で撮像されるカメラ画像ごとに検査画像を取得する。本実施の形態では、第２検査画像取得部１１３は、第１検査画像取得部１１１と若干異なる処理を利用して検査画像を取得する。なお、第２検査画像取得部１１３は、本発明の検査画像取得部の一例である。
【００５９】
ずれ検出部１１４は、基準画像と検査画像とを比較処理して車載カメラ２１〜２４の光軸ずれを検出する。基準画像は、記憶部１２に記憶されている。本実施の形態では、基準画像と比較される検査画像は、第２検査画像取得１１３によって取得された検査画像である。また、本実施の形態では、車載カメラ２１〜２４の数は４つであり、ずれ検出部１１４は、各カメラ２１〜２４に対してカメラずれの検出を行う。
【００６０】
なお、第２検査画像取得部１１３及びずれ検出部１１４は、市場においてカメラずれを検出する機能を発揮する機能部である。
【００６１】
（１−２−１．基準画像取得方式）
記憶部１２に記憶される基準画像は、上述のように、工場において取得される。本実施の形態では、画像処理装置１が基準画像の取得処理を行う。工場において実施される基準画像の取得方式について説明しておく。図４は、基準画像の取得フローの一例を示すフローチャートである。なお、上述のように、４つのカメラ２１〜２４それぞれに対して基準画像が取得されるが、いずれのカメラ２１〜２４においても基準画像の取得方式は同じである。このために、ここでは、フロントカメラ２１に対する基準画像が取得される場合を代表例として説明し、その他のカメラに対する基準画像の取得については説明を省略する。
【００６２】
図４に示すように、まず、第１検査画像取得部１１１は、車両７に正常に取り付けられたフロントカメラ２１からカメラ画像を取得する（ステップＳ１１）。カメラ画像の取得にあたって、車両７のボディのエッジの誤検出を生じないように、例えば照明条件、路面の濃淡等の条件を適切に設定しておくことが好ましい。
【００６３】
図５は、フロントカメラ２１で撮像したカメラ画像の一例を示す模式図である。フロントカメラ２１は、画角θが１８０度以上であり、図５に示すように、車両７のボディ７０がカメラ画像に映り込む。なお、図５において、ボディ７０は、ハッチングを施した部分が該当する。ボディ７０の路面８との境界部分は、円弧状の曲線７０ａとなっている。
【００６４】
図４に戻って、第１検査画像取得部１１１は、取得したカメラ画像に対して、前処理（ぼかし）を行う（ステップＳ１２）。前処理は、カメラ画像を平滑化する処理であり、ノイズを低減する目的で行われる。前処理は、例えば、ガウシアンフィルタ処理やメディアンフィルタ処理であってよい。また、前処理は、カメラ画像の部位ごとに処理条件を変更して実施されてもよい。例えば、カメラ画像の中央側が先鋭であり、端側がぼやけた印象である場合には、画像の真ん中側のぼかしが端側より強調された処理となるように、カメラ画像の部位ごとに処理条件が変更されてよい。
【００６５】
第１検査画像取得部１１１は、前処理を行ったカメラ画像に対して、エッジ検出を行う（ステップＳ１３）。エッジは、画像内の画素の画素値が急激に変化している部分であり、画像内のオブジェクトの輪郭を表す線である。第１検査画像取得部１１１は、カメラ画像内の画素の画素値を微分処理することにより、カメラ画像内のエッジを検出する。カメラ画像内の画素の画素値を微分処理すると、カメラ画像内の画素の画素値が急激に変化している部分の微分値が大きくなる。第１検査画像取得部１１１は、予め決められた基準に基づいて、微分値が大きい部分をエッジとして検出する。なお、エッジ検出の手法としては、例えばＣａｎｎｙ法等が用いられてよい。
【００６６】
第１検査画像取得部１１１は、エッジ検出を行って得られたエッジ画像に対して、マスク処理を行う（ステップＳ１４）。本実施の形態では、第１検査画像取得部１１１は、車種毎のボディ形状に応じて予め設定される車両７のエッジの探索領域を除いて画像のマスク処理を行う。このために、例えば風景等の不要なエッジを適切に除去することができ、ボディ７０のエッジを誤検出する可能性を低減することができる。これにより、基準画像を迅速に取得することが可能になる。
【００６７】
図６は、車種毎に準備されるマスクデータ９のイメージ図である。マスクデータ９は、カメラ画像と同じ画素数を有する。図６に示すように、マスクデータ９は、マスク領域９ａと、探索領域９ｂとを有する。図６において、探索領域９ｂは、弓形状の部分（ハッチングを施した部分）である。
【００６８】
本実施の形態においては、エッジ画像のうち、マスク領域９ａと重なる部分は、マスク処理によって黒とされる。詳細には、マスク領域９ａと重なる部分の各画素値は０とされる。エッジ画像のうち、探索領域９ｂと重なる部分は、マスクされないために、マスク処理前後で画素値は変更されない。
【００６９】
カメラ画像のどの範囲に、車両７のボディ７０のエッジが映り込むかは、車種毎に設計値によって予め特定できる。カメラの取付誤差等によって、カメラ画像から得られる車両７のボディ７０のエッジは、設計値によって想定されるエッジに対して多少のずれを生じる可能性がある。このために、探索領域９ｂは、設計値によって想定されるエッジを囲む、幅を有する領域とされている。本実施の形態では、マスクデータ９を用いたマスク処理によって、車両７のボディ７０のエッジが映り込む可能性がある領域を除いて、マスクが施される。
【００７０】
図４に戻って、第１検査画像取得部１１１は、マスク処理後に得られるエッジ画像に対して、不要なエッジを除去する処理を行う（ステップＳ１５）。本実施の形態では、第１検査画像取得部１１１は、マスク処理後に得られるエッジ画像のうち、車両７のボディ７０の設計値から想定されるエッジと異なると判断されるエッジを除去する処理を行う。このために、不要なエッジを適切に除去することができ、ボディ７０のエッジを誤検出する可能性を低減することができる。
【００７１】
図７は、マスク処理後のエッジ画像を例示する模式図である。図７に示すように、マスク処理後においても、エッジ画像中には、ボディ７０のエッジ以外の不要エッジ１０が存在する。本実施の形態では、第１検査画像取得部１１１は、エッジ画像中において分断された各エッジの角度検出及び長さ検出を行う。第１検査画像取得部１１１は、例えば、設計値から想定されるエッジの角度及び長さと大きく隔たりがあるエッジについては、不要エッジとして除去する。
【００７２】
以上の前処理、エッジ検出、マスク処理、及び、不要エッジ除去によって、基準画像として採用して問題がないか否かを検査する検査画像が取得される。
【００７３】
図４に戻って、比較処理部１１２は、検査画像を取得すると、マッチング処理を行う（ステップＳ１６）。本実施の形態では、比較処理部１１２は、車種毎に形状の設計値によって決まるエッジの設計ラインと、検査画像とを用いてテンプレートマッチング処理が実施される。この際、カメラの取付誤差範囲等を考慮して、設計ラインは、適宜、位置がずらされたり、回転されたりされる。その他、場合によっては、設計ラインは、拡大されたり、縮小されたりする。
【００７４】
次に、テンプレートマッチングによって、検査画像が、正常な画像であるか否かが判断される（ステップＳ１７）。想定範囲内の移動等によって、検査画像のエッジと、設計ラインとが一致していると判断される場合には、検査画像が正常な画像であると判断され（ステップＳ１７でＹｅｓ）、比較処理部１１２は、取得した検査画像を基準画像として記憶部１２に記憶する（ステップＳ１８）。
【００７５】
図８は、基準画像の一例を示す模式図である。図８に示すように、基準画像中には、車両７のボディ７０のエッジを示すラインＬが存在する。なお、テンプレートマッチング処理の際に、車両７のボディ７０のエッジとは異なる不要なエッジが検出されることもある。このような場合には、例えば、テンプレートマッチング処理後に不要なエッジを除去し、不要なエッジが除去された画像を基準画像として記憶部１２に記憶する構成としてよい。
【００７６】
なお、記憶部１２に記憶される基準画像は、カメラ画像と同じ画素数である構成でもよいが、カメラ画像より少ない画素数を有する構成であってもよい。図９は、記憶部１２に記憶される基準画像の一例を説明するための模式図である。
【００７７】
図９に示す例では、テンプレートマッチング処理後に、基準画像として決定された画像Ｒの一部の範囲ｒのみが抽出されて記憶部１２に記憶される。一部の範囲ｒは、基準画像に映るボディ７０のエッジＬは削ることなく残して、その他の不要な部分を削った範囲である。なお、この際、抽出した範囲を特定するために、一部の座標点Ｘ,Ｙも画像と共に記憶しておく必要がある。図９に示す例では、四角の抽出枠の１つの角部の座標Ｘ,Ｙが記憶される。このように記憶部１２に記憶される基準画像の画素数を少なくすることによって、記憶部１２に占める基準画像の容量を小さくすることができる。記憶部１２への基準画像の記憶に際しては、画像の圧縮処理が用いられてもよい。圧縮処理として、例えばランレングス圧縮等が挙げられる。
【００７８】
図４に戻って、検査画像が設計ラインと一致しない場合には、検査画像が正常な画像ではないと判断され（ステップＳ１７でＮｏ）、比較処理部１１２は、基準画像の取得に失敗したことを通知する（ステップＳ１８）。当該エラーの通知は、例えば画像表示によって行われる。エラー通知によって、基準画像の取得のやり直しが行われる。基準画像の取得のやり直しに際しては、車両位置、照明位置等の環境条件の変更や、画像処理におけるパラメータ変更等が行われる。
【００７９】
なお、基準画像の取得に失敗した要因が明確である場合は、失敗要因を画面表示等によって通知する構成としてもよい。これにより、失敗要因に応じた対処を行うことができ、迅速に基準画像を取得することが可能になる。例えば、テンプレートマッチング処理において、画像の中央部や端部等だけが一致するといった傾向が得られた場合には、車両位置や照明条件が失敗の原因と推測できる。このために、このようなテンプレートマッチングにおける処理状況が通知される構成としてもよい。
【００８０】
以上に示した基準画像の取得方式では、マスク処理がエッジ検出処理後に行われる構成としたが、これは例示である。例えば、マスク処理は、エッジ検出処理の前に行われる等してもよい。また、前処理や不要エッジ除去処理は、場合によっては省略されてもよい。
【００８１】
（１−２−２．カメラずれ検出方式）
次に、本実施の形態の画像処理装置１を用いたカメラずれの検出方式について説明する。図１０は、第１実施形態のカメラずれの検出フロー例を示すフローチャートである。なお、上述のように、４つのカメラ２１〜２４それぞれに対してカメラずれの検出が実施されるが、いずれのカメラ２１〜２４においてもカメラずれの検出方式は同じである。このために、ここでは、フロントカメラ２１のカメラずれの検出が取得される場合を代表例として説明し、その他のカメラに対するカメラずれの検出については説明を省略する。
【００８２】
図１０に示すように、まず、第２検査画像取得部１１３が、検査画像を取得するためのカメラ画像（検査用のカメラ画像）の取得タイミングであるか否かを判断する（ステップＳ２１）。第２検査画像取得部１１３は、検査用のカメラ画像の取得タイミングとなるまで、当該確認を繰り返す。検査用のカメラ画像の取得タイミングは、車両の走行中であってもよいし、停止中であってもよい。検査用のカメラ画像の取得タイミングは、車両７のボディ７０と路面との階調差が大きくなるタイミングが好ましい。また、検査用のカメラ画像の取得タイミングは、車両７のボディ７０と路面との境界に、白線や車両の影等の、エッジの誤検出要因が無いタイミングが好ましい。
【００８３】
第２検査画像取得部１１３は、外部から取得される車両７に関する情報に基づいてカメラ画像を取得するタイミングを判断してよい。車両７に関する情報としては、例えば、車速情報、走行距離情報、舵角情報、車両周辺の照度情報等が挙げられる。これらの情報は、例えばセンサ部３等から取得することができる。検査用のカメラ画像を取得するタイミグに関して、車両７に関する情報を考慮することによって、例えば、常に同じ位置に影が存在すると行ったシチュエーションを避けたり、車両７のボディ７０が画像中に鮮明に映り難いシチュエーションを避けたりすることができる。このために、ボディ７０のエッジの誤検出が発生する可能性を低減することができる。
【００８４】
また、第２検査画像取得部１１３は、車両７のＡＣＣオン、且つ、エンジン停止を検出した場合に、カメラ画像を取得する構成としてよい。ＡＣＣのオンオフ状態、及び、エンジンの動作状態は、例えば車両制御装置５から取得することができる。エンジンが停止している状態で検査用のカメラ画像を取得することによって、エンジンの振動による影響を除去した画像を取得することができるために、ボディ７０のエッジを正確に検出ことが可能になる。
【００８５】
また、第２検査画像取得部１１３は、車両７の周辺の照度が所定の閾値（本発明の第２閾値の一例）より低いと判断される場合に、車両７のライト点灯を指示した後にカメラ画像を取得する構成としてよい。本構成によれば、例えば夕方や夜間等の車両７の周辺が暗い場合においても、検査用のカメラ画像中に、鮮明に車両７のボディ７０を映り込ませることができる。このために、検査画像を取得する際に、ボディ７０のエッジが検出できない事態や、エッジを誤検出するといった事態が発生する可能性を低減することができる。車両７の周辺の照度は、例えばセンサ部３に含まれる照度センサから取得することが可能である。別の例として、検査用のカメラ画像を取得する前に、カメラ画像を取得し、当該カメラ画像から車両７の周辺の照度を判定してもよい。
【００８６】
点灯されるライトは、車両７が有する複数のライトの中から適宜選択されればよく、１つでもよいが複数であってもよい。点灯されるライトには、例えば、ヘッドライト、スモールライト、バックライト、ナンバー灯、及び、ウェルカムランプのうちの少なくともいずれか１つが含まれてよい。目的のカメラ画像を取得した後におけるライトの消灯については、例えば、エンジン作動時にはオートライト機能に従う構成とし、エンジン停止時には目的のカメラ画像を取得後に即消灯する構成等としてもよい。
【００８７】
また、例えば車両７のエンジンが停止した時点等の所定のタイミングでカメラ２１〜２４の位置が移動される車両７が存在する。例えば、電動式サイドミラーが自動で折り畳まれる構成ではカメラ２３、２４の位置が移動する。また、カメラ２１〜２４を保護する目的で、カメラ２１〜２４が筐体の中に自動で格納される車両７がある。これらの車両７については、第２検査画像取得部１１３は、検査用のカメラ画像を取得する前に、カメラ２１〜２４の位置が、検査に適した位置に存在するか否かを判断する構成としてもよい。
【００８８】
検査に適した位置にカメラ２１〜２４が存在しない場合に、第２検査画像取得部１１３は、車両制御部４に対してカメラの位置を検査に適した位置に移動させるように指示し、当該指示後に検査用のカメラ画像を取得する構成としてもよい。また、別の例として、検査に適した位置にカメラ２１〜２４が存在しない場合には、第２検査画像取得部１１３は、検査用のカメラ画像を取得しない構成としてもよい。この場合には、運転支援装置６による運転支援は禁止される構成としてよい。
【００８９】
その他、第２検査画像取得部１１３は、車両７に対する衝撃情報を検出した場合に、カメラずれの検出を行う構成としてもよい。衝撃情報を検出した場合には、運転支援装置６による運転支援が、カメラずれが生じていないことが確認されるまで禁止される構成としてよい。
【００９０】
第２検査画像取得部１１３は、検査用のカメラ画像を取得するタイミングであると判断すると（ステップＳ２１でＹｅｓ）、検査用のカメラ画像を取得する（ステップＳ２２）。この後、前処理（ステップＳ２３）、エッジ検出（ステップＳ２４）、マスク処理（ステップＳ２５）、不要エッジ除去（ステップＳ２６）が行われる。これらの処理は、基準画像の取得方式（図４参照）で説明した処理と同様であるために、詳細な説明は省略する。
【００９１】
第２検査画像取得部１１３は、車種毎のボディ形状に応じて予め設定されるボディ７０のエッジの探索領域９ｂ（図６参照）を除いて画像のマスク処理を行う。このために、第２検査画像取得部１１３は、例えば風景等の不要なエッジを適切に除去することができ、ボディ７０のエッジを誤検出する可能性を低減することができる。また、第２検査画像取得部１１３は、検査画像を迅速に取得することができる。また、第２検査画像取得部１１３は、マスク処理後に得られるエッジ画像のうち、車両７のボディ７０の設計値から想定されるエッジと異なると判断されるエッジを除去する処理を行う。このために、第２検査画像取得部１１３は、ボディ７０のエッジを誤検出する可能性を低減することができる。なお、マスク処理は、例えば、エッジ検出の前に行われてもよい。
【００９２】
図１０に示すように、第２検査画像取得部１１３は、マスク処理後に、探索領域９ａより狭い狭探索領域を除いてマスクを施す再マスク処理を行う（ステップＳ２７）。本実施の形態では、マスク処理と再マスク処理の間に、不要エッジ除去処理が行われる。ただし、マスク処理後の不要エッジ除去処理は、場合によっては省略されてもよい。また、例えば、不要エッジ除去処理は、再マスク処理の後に行われてもよい。
【００９３】
図１１は、再マスク処理を説明するためのイメージ図である。図１１に示すように、本実施の形態では、狭探索領域９ｃは、探索領域９ｂによって周辺全体を囲まれる。第２検査画像取得部１１３は、基準画像におけるボディ７０のエッジ（ラインＬ）を基準として、周辺（図１１において上下左右方向）にｎ画素ずつ広げた領域を狭探索領域９ｃとする。ｎ画素は、数画素であるのが好ましく、狭探索領域９ｃが探索領域９ｂと重なったり、はみ出たりしない範囲で設定される。
【００９４】
再マスク処理においては、第２検査画像取得部１１３は、狭探索領域９ｃを除いて、エッジ画像に対してマスクを施す。詳細には、マスクを施す部分は、画素値がゼロにされる。マスクが施されない狭探索領域９ｃにおいては、再マスク処理前後で画素値は変更されない。本実施の形態では、第２検査画像取得部１１３は、エッジ画像の再マスク処理によって検査画像を取得する。
【００９５】
本実施の形態では、最初のマスク処理より更に広い範囲に対してマスクを施すために、ボディ７０のエッジ近傍に存在する不要エッジをより適切に除去することができる。例えば、本実施の形態によれば、ボディ７０のエッジの近傍に存在する白線や、ボディ７０のエッジの近傍に存在したりボディ７０に映り込んだりする影等の不要エッジを適切に除去することが可能になる。このために、エッジの誤検出が発生する可能性を低減することができる。また、カメラ２１〜２４は、車両７に強固に固定されるために、カメラずれは、簡単には発生しない。このために、検査画像における車両７のボディ７０のエッジは、基準画像のエッジラインの近傍に発生する確率が高い。このために、本実施の形態のように再マスク処理を行うと、大概の場合において、カメラずれの確認処理を正確且つ迅速に行うことができる。
【００９６】
図１０に戻って、検査画像が取得されると、ずれ検出部１１４は、検査画像と基準画像とのパターンマッチング処理を行う（ステップＳ２８）。基準画像は、記憶部１２から読み出される。ここで、図１２及び図１３を参照しながら、パターンマッチング処理の詳細な説明を行う。図１２は、パターンマッチング処理の処理フロー例を示すフローチャートである。図１３は、検査画像と基準画像との比較イメージを示す模式図である。
【００９７】
図１２に示すように、ずれ検出部１１４は、まず、検査画像中においてエッジとして検出された画素（以下、エッジ画素と表現することがある）の数が所定の閾値（本発明の第１閾値の一例）以上であるか否かを確認する（ステップＳ２８０）。本実施の形態では、検査画像は２値化されている。エッジが無い部分の画素値は０であり、エッジがある部分の画素値は１である。このために、検査画像中において、画素値が１である部分がエッジ画素となる。なお、検査画像は２値化されることは必須ではない。２値化されない場合には、例えば画素値が所定の値以上であるか否かを判断して、所定の値以上の画素値を有する画素をエッジ画素と判断する構成としてよい。
【００９８】
エッジ画素の数が少なすぎる場合には、信頼性の高いずれ検出を行うことができない。このために、本実施の形態では、ずれ検出部１１４は、検査画像中においてエッジとして検出された画素（エッジ画素）の数が所定の閾値（第１閾値）より少ない場合（ステップＳ２８０でＮｏ）、検査画像の再取得を要求する（ステップＳ２８１）。本実施の形態では、ずれ検出部１１４は第２検査画像取得部１１３に検査画像の再取得を要求する。これにより、信頼性の高い検査画像を用いてカメラずれの判定を行えるために、カメラずれの検出確度を向上することができる。
【００９９】
ずれ検出部１１４は、検査画像の再取得を要求した場合、一旦、パターンマッチング処理を終了する。検査画像の再取得を要求された第２検査画像取得部１１３は、先の条件と同様の条件で検査画像の取得を行ってもよいが、異なる条件で検査画像の再取得を行うことが好ましい。これにより、検査画像の再取得要求が繰り返される可能性を低減することができる。
【０１００】
例えば、検査画像の再取得を行う場合に、第２検査画像取得部１１３は、外部から取得される車両７に関する情報に基づいてカメラ画像の取得タイミングを判断して検査画像を取得する構成であることが好ましい。車両７に関する情報に基づいて検査用のカメラ画像を取得するタイミングを判断する構成とすると、先の検査画像の取得時と、異なる環境下で検査用のカメラ画像を取得することが可能になる。すなわち、再取得した検査画像は、先の検査画像と異なったエッジ画像となることが期待できる。このために、検査画像の再取得要求が繰り返される可能性を低減することができる。
【０１０１】
車両７に関する情報としては、例えば、センサ部３に含まれる舵角センサからの情報が挙げられる。第２検査画像取得部１１３は、舵角センサによってハンドル操作があったと判断される場合に、検査用のカメラ画像を取得するタイミングであると判断する。このように構成すると、先に検査画像が取得された場合と比較して、車両７の方向が変わった状態で検査画像を取得することができる。車両７の向きが変わると、例えば、影の発生状況が変化する可能性が高く、検査画像の再取得要求が繰り返される可能性を低減することができる。
【０１０２】
また、車両７に関する情報は、走行距離等であってもよい。先に検査用のカメラ画像が取得されたタイミングから車両７の位置がある程度以上離れると、例えば路面の白線状況等が変化する可能性が高くなり、検査画像の取得結果が変わることが期待できるためである。また、車両７に関する情報は、車両周辺の照度であってもよい。照度が変わると、例えば車両が鮮明に撮影されたり、影の発生状況が変化したりする可能性が高くなり、検査画像の取得結果が変わることが期待できるためである。
【０１０３】
また、例えば、検査画像の再取得を行う場合に、第２検査画像取得部１１３は、先の検査画像の取得時に比べて、探索領域９ｂと狭探索領域９ｃとのうちの少なくとも狭探索領域９ｃを拡大して検査画像を取得する構成としてよい。再取得要求が繰り返される場合には、例えば、第２検査画像取得部１１３は、検査画像の再取得処理ごとに、狭探索領域９ｃの範囲を徐々に拡げる構成としてもよい。狭探索領域９ｃを拡げても再取得要求が繰り返される場合には、探索領域９ｂの範囲を拡げてもよい。本構成のようにすることで、例えば、カメラ２１に大きな光軸ずれが生じている場合でも、パターンマッチング処理を行って、どの程度の光軸ずれが生じているかを確認することが可能になる。
【０１０４】
また、ずれ検出部１１４は、検査画像の再取得を所定の回数繰り返しても検査画像中のエッジ画素の数が所定の閾値より少ない場合には、車載カメラ２１が光軸ずれしていると判定することが好ましい。このように構成することによって、カメラずれの検出に要する時間が必要以上に長くなることを避けることができる。なお、カメラ２１が光軸ずれを生じていると判断された場合には、その旨が、表示装置５によって表示され、運転支援装置６による運転支援が禁止される構成としてよい。
【０１０５】
また、再取得が所定の回数繰り返された場合に、光軸ずれと判断する代わりに、検査画像の取得環境が劣悪であるために判定不能となっていると判断してもよい。この場合、例えば、所定の時間以上経過した後に、カメラずれの検出が行われるようにしてもよい。また、判定不能と判断された場合には、その旨が、表示装置５によって表示され、運転支援装置６による運転支援が禁止される構成としてよい。
【０１０６】
また、以上では、ずれ検出部１１４は、検査画像中のエッジ画素の数が少ない場合に、検査画像の再取得を要求する構成としているが、これは例示である。ずれ検出部１１４は、エッジ画素の数が少ない場合に、単に、ずれ判定不能であると判断する構成でもよい。ずれ判定不能と判断された場合には、その旨が、表示装置５によって表示され、運転支援装置６による運転支援が禁止される構成としてよい。
【０１０７】
ずれ検出部１１４は、検査画像中のエッジ画素の数が所定の閾値以上であると判断した場合には（ステップＳ２８０でＹｅｓ）、検査画像中の複数のエッジ画素の中から、基準画像との比較対象となるエッジ画素を順番に１つずつ抽出する（ステップＳ２８２）。図１３の例を用いて説明すると、ずれ検出部１１４は、検査画像中の８つのエッジ画素Ｅ１〜Ｅ８の中から、まず、エッジ画素Ｅ１を抽出する。なお、図１３において、複数の小さな四角の領域は画素を指す。また、文字が記載されていない画素は、エッジ画素ではない。
【０１０８】
次に、ずれ検出部１１４は、基準画像において、検査画像から抽出したエッジ画素と同位置にエッジ画素が存在するか否かを判断する（ステップＳ２８３）。図１３の例を用いて説明すると、基準画像には、エッジ画素Ｅ１と同じ位置にエッジ画素ｅ１が存在する。このために、ずれ検出部１１４は、検査画像のエッジ画素Ｅ１については、基準画像の同位置にエッジ画素が存在すると判断する。なお、本実施の形態では、基準画像も２値化処理されたエッジ画像であり、エッジ画素の画素値は１であり、その他の画素値は０である。ただし、これは例示であり、基準画像と同様に２値化されていなくてもよい。
【０１０９】
ずれ検出部１１４は、抽出したエッジ画素と同位置にエッジ画素が存在すると（ステップＳ２８３でＹｅｓ）、完全一致のスコアをカウントアップする（ステップＳ２８４）。完全一致のスコアの初期値は０である。図１３の例を用いて説明すると、エッジ画素Ｅ１については、完全一致のスコアがカウントアップされ、スコアが０から１になる。
【０１１０】
ずれ検出部１１４は、完全一致のスコアをカウントアップすると、検査画像中の全エッジ画素に対して基準画像との比較による判定を行ったか否かを確認する（ステップＳ２８５）。全てのエッジ画素に対する判定を行った場合には（ステップＳ２８５でＹｅｓ）、ずれ検出部１１４はパターンマッチング処理を終了する。全てのエッジ画素に対する判定を行っていない場合には（ステップ２８５でＮｏ）、ステップＳ２８２に戻って処理が繰り返される。
【０１１１】
図１３の例では、エッジ画素Ｅ１の判定が行われた後、エッジ画素Ｅ２の判定が行われる。基準画像には、エッジ画素Ｅ２と同じ位置にエッジ画素ｅ２が存在するために、エッジ画素Ｅ１と同じ処理が繰り返され、完全一致のスコアが２となる。次に行われるエッジ画素Ｅ３については、基準画像中の同じ位置にエッジ画素が存在しない。このために、ずれ検出部１１４は、基準画像の同位置にエッジ画素が存在しないと判断し（ステップＳ２８３でＮｏ）、探索範囲を周囲１画素まで拡大する（ステップＳ２８６）。図１３の基準画像中に示すように、ずれ検出部１１４は、エッジ画素Ｅ３と同位置の画素の周囲８つの画素にまで探索範囲を拡大する。
【０１１２】
ずれ検出部１１４は、拡大した基準画像の探索範囲にエッジ画素が存在するか否かを確認する（ステップＳ２８７）。探索範囲内にエッジ画素が存在する場合（ステップＳ２８７でＹｅｓ）、ずれ検出部１１４は、１画素ずれのスコアをカウントアップする（ステップＳ２８８）。１画素ずれのスコアの初期値も０である。なお、拡大した探索範囲内に１つではなく、複数のエッジ画素が存在する場合もあるが、いずれの場合でも、カウントアップの数は１である。当該カウントアップの後は、上述のステップＳ２８５に進んで全てのエッジ画素の判定が終了したか否かが確認される。一方、ずれ検出部１１４は、探索範囲内にエッジ画素が存在しない場合（ステップＳ２８７でＮｏ）、上述のステップＳ２８５に進んで全てのエッジ画素の判定が終了したか否かを確認する。
【０１１３】
図１３の例では、検査画像中のエッジ画素Ｅ３については、ステップＳ２８７において、基準画像の探索範囲内にエッジ画素が存在しないと判断されるために、完全一致のスコア及び１画素ずれのスコアのいずれもカウントアップされない。検査画像中のエッジ画素Ｅ４、Ｅ５については、完全一致のスコアがカウントアップされる。検査画像中のエッジ画素Ｅ６については、基準画像中の同位置にエッジ画素が存在しないために完全一致のスコアはカウントアップされないが、周囲１画素まで拡大した探索範囲にエッジ画素ｅ５、ｅ６が存在するために、１画素ずれのスコアがカウントアップされる。検査画像中のエッジ画素Ｅ７、Ｅ８については、完全一致のスコアがカウントアップされる。エッジ画素Ｅ８の判定が終了した時点で、ステップＳ２８５にて、全てのエッジ画素の判定が終了したと判定されて、パターンマッチング処理が終了する。図１３に示す例では、終了時において、完全一致のスコアは６であり、１画素ずれのスコアは１である。
【０１１４】
なお、以上の例では、周囲１画素までしか探索範囲を拡大しなかったが、これは例示にすぎない。例えば、周囲１画素まで探索範囲を拡大してもエッジ画素が見つからなかった場合には、周囲２画素まで探索範囲を拡大するという形式で、周囲ｎ画素まで徐々に探索範囲を拡大する構成としてもよい。ｎ値を大きくすることで、検査画像と基準画像とのずれの詳細を把握することが可能になる。
【０１１５】
図１０に戻って、ずれ検出部１１４は、パターンマッチング処理が終了すると、パターンマッチング処理の結果に基づいてカメラずれの判定を行う（ステップＳ２９）。本実施の形態では、ずれ検出部１１４は、以下の式（１）によって検査画像の基準画像に対する一致率を算出する。
一致率（％）＝（完全一致のスコア＋周囲ｎ画素ずれのスコア）／（検査画像中のエッジ画素の総数）×１００    （１）
なお、本実施の形態では、式（１）におけるｎは１である。ｎの数は適宜変更されてよい。また、図１３の例では、一致率（％）＝８７．５（＝（６＋１）／８×１００）となる。
【０１１６】
本実施の形態では、ずれ検出部１１４は、一致率が所定の閾値以上である場合には、カメラずれが発生していないと判定する。ずれ検出部１１４は、一致率が所定の閾値より小さい場合にはカメラずれが発生していると判定する。本実施の形態では、マスク処理及び再マスク処理によって、エッジの誤検出を低減しながら検査画像が得られるために、ずれ検出部１１４は、迅速且つ正確にカメラずれを判定することができる。
【０１１７】
なお、ずれ検出部１１４がずれ判定する際の判定基準は、一定であってもよいが、検査画像の取得状況によって変更されてもよい。例えば、エンジン始動直後に取得された検査画像については、他のタイミングで取得された検査画像に比べて、上述の一致率の大小を判定する所定の閾値が小さくされたり、基準画像と比較する範囲が特定の範囲に狭められたりしてもよい。
【０１１８】
図１４は、第１実施形態のカメラずれの検出フローの変形例を示すフローチャートである。図１４に示す変形例において、第２検査画像取得部１１３による検査画像の取得工程（ステップＳ２１〜ステップＳ２７）、及び、ずれ検出部１１４によるパターンマッチング処理（ステップＳ２８）は、上述の構成と同様である。図１４に示す変形例では、ずれ検出部１１４は、複数の検査画像に対して基準画像との比較結果を取得し、複数回の比較結果に応じてカメラの光軸ずれの判定を行う。この点が、上述した構成と異なる。
【０１１９】
ずれ検出部１１４は、パターンマッチング処理が終了すると、規定回数の処理結果が得られたか否かを判断する（スッテプＳ２８´）。規定回数の処理結果が得られた場合（ステップＳ２８´でＹｅｓ）、ずれ検出部１１４は、複数回の処理結果に基づいてカメラずれの判定を行う（ステップＳ２９）。例えば、複数回の結果の平均値がカメラずれの判定に用いられてよい。一方、規定回数の処理結果が得られていない場合（ステップＳ２８´でＮｏ）、ずれ検出部１１４は、第２検査画像取得部１１３に更に検査画像の取得処理を行うように指示する。これにより、ステップＳ２１に戻って、第２検査画像取得部１１３は、更に検査画像を取得する。
【０１２０】
本変形例では、ずれ検出部１１４は、各回のパターンマッチング処理の結果を、例えばマイコン１１が備えるＲＡＭ（不図示）に記憶する処理を行う。これにより、ずれ検出部１１４は、複数回の処理結果を比較処理することができる。本実施の形態では、複数の検査画像を用いてカメラずれの判定が行われるために、カメラずれの判定精度を向上させることができる。
【０１２１】
図１５は、ずれ検出部１１４によるずれ判定の変形例を説明するための模式図である。以上においては、ずれ検出部１１４は、検査画像の全領域に対する一致率を算出する構成としたが、これは例示である。ずれ検出部１１４は、検査画像を複数の領域に分けて、当該複数の領域のそれぞれについて基準画像との比較処理を行い、得られた複数個の比較処理結果に基づいてカメラの光軸ずれの判定を行う構成としてもよい。
【０１２２】
例えば図１５に示すように、ずれ検出部１１４は、検出画像を破線で区画された３領域Ｒ１〜Ｒ３に分割し、３つの領域Ｒ１〜Ｒ３のそれぞれについて、基準画像と比較して一致率を算出してよい。当該例では、１つの検査画像に対して３つの一致率が得られる。ずれ検出部１１４は、３つの領域Ｒ１〜Ｒ３の一致率に基づいてカメラずれを総合的に判定することができる。このために、カメラずれをより適切に検出することが可能になる。なお、分割領域の数は３つに限られず、その数は適宜変更されてよい。また、検出画像における領域の分割の仕方は、画像の横方向の位置で区切る構成に限定されない。例えば、複数の領域は、それぞれ、始点座標と、当該始点座標を基準とした縦及び横の画素数で指定されてもよい。各領域において縦及び横の画素数は同じでもよいし、異なってもよい。
【０１２３】
ずれ検出部１１４は、例えば、３つの領域Ｒ１〜Ｒ３の全てにおいて、一致率が閾値以上である場合にのみ、カメラずれが生じていないと判定してもよい。本構成の判定方法によれば、全体として一致率を判定した場合には、カメラずれが無いと判定されるような状況においても、分割した領域のいずれかに低い一致率が認められると、カメラずれを検出する。カメラずれが発生した場合、例えば、３つの領域の１つに偏ってずれが発生する場合がある。このために、本構成の判定方法によれば、カメラずれの発生を見落とす可能性を低減できる。
【０１２４】
別の例として、ずれ検出部１１４は、カメラずれが発生した場合における３つの領域Ｒ１〜Ｒ３に対する影響度に応じて、カメラずれの判定に対する重みづけを変更してカメラずれを判定してもよい。例えば、カメラずれが発生した場合に、中央領域Ｒ２の一致率に大きな影響を与え、端領域Ｒ１、Ｒ３の一致率に小さな影響しか与えない場合がある。このような場合には、中央領域Ｒ２と、端領域Ｒ１、Ｒ３とで一致率に対する判定基準を変更してよい。これにより、カメラずれの判定を正確且つ迅速に行うことができる。
【０１２５】
また、３つの領域Ｒ１〜Ｒ３のうちの１つでも一致率が高い領域が有る場合には、カメラずれを外部に通知することなく、カメラ画像の補正を行いながら使用する構成としてもよい。
【０１２６】
また、図１４に示すように、複数回の比較結果を用いてカメラずれの判定を行う構成の場合、各回で検査画像と基準画像との比較領域を変更する構成としてよい。例えば、初回は、左端領域Ｒ１の比較を行い、２回目は中央領域Ｒ２の比較を行い、３回目は右端領域の比較を行うといった方式で、順次、比較領域を変更してよい。このように構成すると、各回における比較処理の負荷を軽減することができる。
【０１２７】
＜＜２．第２実施形態＞＞
＜２−１．カメラずれ検出システム＞
第２実施形態のカメラずれ検出システムは、第１実施形態の構成と同様である。このために、カメラずれ検出システムの説明は省略する。
【０１２８】
＜２−２．画像処理装置の詳細＞
第２実施形態の画像処理装置の大まかな構成は、第１実施形態の構成と同様である。また、第２実施形態の画像処理装置によって実行される基準画像の取得方式も、第１実施形態と同様である。このために、これらに関する説明は省略する。また、第１実施形態と重複する構成については、同一の符号を付して説明する。第２実施形態の画像処理装置１は、カメラずれの検出方式について、第１実施形態と異なる部分を有する。以下、異なる部分に重点をおいて説明する。
【０１２９】
（２−２−１．カメラずれ検出方式）
第２実施形態の画像処理装置１も、第２検査画像取得部１１３とずれ検出部１１４とを備える。そして、これらが、第１実施形態と同様に、カメラずれを検出する機能を発揮する。
【０１３０】
ただし、第２実施形態では、第２検査画像取得部１１３は、異なるタイミングで撮像された複数のカメラ画像のそれぞれに対して上述のマスク処理を含む処理を行って複数の合成前画像を取得し、複数の合成前画像を合成処理して検査画像を取得する構成である点が異なる。このような構成とすると、カメラ画像１枚から取得される検査画像と、基準画像との比較によってカメラずれの判定を行う場合に比べて、カメラずれの判定結果に対する信頼度を向上することができる。
【０１３１】
図１６は、第２実施形態のカメラずれの検出フロー例を示すフローチャートである。第２実施形態でも、第１実施形態と同様に、第２検査画像取得部１１３は、検査用のカメラ画像を取得するタイミングを判断し（ステップＳ３１）、取得タイミングとなるとカメラ画像を取得する（ステップＳ３２）。第２検査画像取得部１１３は、取得したカメラ画像に対して、前処理（ステップＳ３３）、エッジ検出（ステップＳ３４）、マスク処理（ステップＳ３５）、不要エッジ除去（ステップＳ３６）、及び、再マスク処理（ステップＳ３７）を順次行う。ステップＳ３１〜ステップＳ３７の詳細は、第１実施形態と同様であるために説明を省略する。
【０１３２】
第２検査画像取得部１１３は、ステップＳ３７で取得した合成前画像を用いて合成処理を行う（ステップＳ３８）。本実施の形態では、第２検査画像取得部１１３は、合成処理用メモリに記憶される画像に、ステップＳ３７で取得した合成前画像をアルファブレンドして合成処理用メモリに記憶される画像を更新する処理を行う。合成処理用メモリは、例えばマイコン１１が備えるＲＡＭ（不図示）であってよい。
【０１３３】
第２検査画像取得部１１３は、合成処理用メモリに記憶される画像を更新すると、合成処理を終了して良いか否かを確認する（ステップＳ３９）。合成処理の終了は、例えば、合成処理を行った回数が規定回数を超えたか否かで判断してもよい。合成処理が終了の場合（ステップＳ３９でＹｅｓ）、この時点で合成処理用メモリに記憶される画像が検査画像とされる。一方、合成処理が終了でない場合（ステップＳ３９でＮｏ）、第２検査画像取得部１１３は、ステップＳ３１に戻って、次の合成前画像の取得処理を行う。
【０１３４】
図１７は、合成処理について詳細に説明するための模式図である。図１７を参照しながら、本実施の形態の合成処理について更に詳細に説明する。図１７に示すように、第２検査画像取得部１１３は、検査用のカメラ画像の取得タイミングとなった時点でカメラ画像Ａを取得し、上述の処理を行って合成前画像Ａを取得する。なお、本実施の形態では、合成前画像は、２５６階調のグレースケール画像であり、各画素の画素値は０〜２５５のいずれかの数値で表される。
【０１３５】
第２検査画像取得部１１３は、合成処理用メモリに記憶される初期画像を読み出す。第２検査画像取得部１１３は、読み出した初期画像に合成前画像Ａをアルファブレンドして更新画像Ａを取得する。アルファブレンドのブレンド率は、適宜決定されてよいが、例えば１０％とされる。すなわち、初期画像が９０％、合成前画像Ａが１０％の割合でブレンド処理が行われる。
【０１３６】
本実施の形態では、合成処理用メモリに記憶される初期画像は、基準画像を所定の濃度に調整した画像である。詳細には、初期画像は、基準画像のエッジ画素の画素値を低階調化した画像である。例えば、基準画像のエッジ画素の画素値が２５５であるとする。この場合、エッジ画素を基準画像の２０％程度に低階調化することを想定すると、エッジ画素の画素値は５０とされる。
【０１３７】
第２検査画像取得部１１３は、ブレンド処理によって更新画像Ａを取得すると、合成処理用メモリに記憶される初期画像を更新画像Ａに更新する。第２検査画像取得部１１３は、更新画像Ａを取得すると、合成処理を終了する段階でない場合には、次の合成前画像の取得を行う。
【０１３８】
なお、合成処理の終了は、上述のように合成処理の回数で判断されてもよいが、別の手法によって判断されてもよい。例えば、合成処理の終了は、アルファブレンドによって得られた画像のエッジ画素の画素値が所定の閾値を超えたか否かで判断してもよい。全てのエッジ画素の画素値が所定の閾値を超えた時点で終了としてもよいが、所定の閾値を超えるエッジ画素の割合が所定の割合を超えた時点で終了としてもよい。また、別の例として、合成処理回数と、エッジ画素の画素値との両方を基準として、合成処理の終了判断が行われてもよい。合成処理回数が極端に少ない場合、合成画像におけるエッジの信頼度が低い可能性がある。このために、合成処理回数が所定の回数を超えない場合は、エッジ画素の画素値が所定の閾値を超えている場合でも、合成処理は終了しない構成としてもよい。
【０１３９】
図１７に示す例では、第２検査画像取得部１１３は、合成処理用メモリに記憶される初期画像を更新画像Ａに更新した後に、検査用のカメラ画像の取得タイミングとなった時点でカメラ画像Ｂを取得する。カメラ画像Ｂの取得タイミングは、例えば、先の検査用のカメラ画像を取得したタイミングや、合成処理用メモリの画像を更新したタイミングを基準として、所定の時間が経過した時点としてもよい。これとは別に、例えば、ハンドルの舵角が変更された等の車両情報に変動があった場合や、車両周辺の照度が変わった等の車両周辺情報に変動があった場合等に、カメラ画像Ｂは取得されてよい。
【０１４０】
第２検査画像取得部１１３は、カメラ画像Ｂを取得すると、カメラ画像Ａの場合と同様にして、合成前画像Ｂを取得する。第２検査画像取得部１１３は、合成処理用メモリに記憶される更新画像Ａを読み出し、更新画像Ａに合成前画像Ｂをアルファブレンドして更新画像Ｂを取得する。第２検査画像取得部１１３は、合成処理用メモリに記憶される更新画像Ａを更新画像Ｂに更新する。アルファブレンドのブレンド率は、更新画像Ａを得た場合と同じである。
【０１４１】
その後、第２検査画像取得部１１３は、合成処理の終了と判断されるまで、更新画像Ｂを合成処理用メモリに記憶した場合と同じ手順で、更新画像Ｃ、更新画像Ｄ・・・と、合成処理用メモリに記憶される画像を更新する処理を順次繰り返して検査画像を取得する。例えば、車両７の走行シーン等では、影、白線、障害物等、ノイズ源が多く、１つのカメラ画像のみを処理して得られる検査画像だけでは、車両７のボディ７０のエッジの抽出が難しい場合がある。この点、本構成では、異なるタイミングで取得した複数のカメラ画像を順次ブレンド処理する構成である。影等のノイズは、例えば車両７の移動等によって同じ箇所に出続けず、一方、車両７のボディ７０は同じ箇所に出続ける。このために、本構成のように、ブレンド処理すると、ボディ７０のエッジ強度を強めつつ、影や白線等の不要なエッジの強度を弱めた検査画像を取得することができる。
【０１４２】
また、本実施の形態では、アルファブレンドのベース画像（初期画像）として、基準画像を低階調化した画像を利用している。カメラずれは、通常は、簡単に生じないために、検査画像のエッジ位置は、基準画像のエッジ位置からずれないことが通常である。このために、本実施の形態のように構成することによって、多くの場合において、画像の合成処理回数を低減することが可能であり、カメラずれの検出処理に要する時間を短縮することが可能である。
【０１４３】
図１６に戻って、アルファブレンドを利用した検査画像が取得されると、ずれ検出部１１４は、パターンマッチング処理を行う（ステップＳ４０）。第２実施形態では、検査画像のうち、所定の閾値を超える画素値を有する画素をエッジ画素とみなす。この点は、第１実施形態と異なるが、その他については、第２実施形態で行われるパターンマッチング処理は、第１実施形態と概ね同様である。第２実施形態では、画素値が所定の閾値を超える複数の画素を用いて、基準画像との一致率が算出される。なお、所定の閾値を超えない画素についても、画素値が０でない、或いは、画素値が極端に小さくない場合には、パターンマッチング処理を行い、暫定の一致率を算出する構成としてもよい。
【０１４４】
ずれ検出部１１４は、パターンマッチング処理によって得られた一致率に基づいて、カメラずれの判定を行う（ステップＳ４１）。カメラずれの判定手法は、第１実施形態と同様であるので、説明を省略する。本実施の形態では、パターンマッチング処理に用いる検査画像の信頼性を向上できるために、カメラずれの判定の信頼度も向上できる。
【０１４５】
以上においては、最初の合成前画像を取得した時点で、合成処理用メモリに初期画像が記憶されている構成とした。これは例示にすぎない。図１８は、合成処理の変形例を説明するための模式図である。図１８に示すように、最初に取得した合成前画像Ａが、合成処理用メモリに記憶される初期画像とされてもよい。図１８に示す例において、初期画像が設定された後の処理は、図１７に示す例と同様である。
【０１４６】
なお、最初に取得した合成前画像の信頼度が低い場合、このような画像を初期画像とすると、合成処理の終了までに長時間を要したり、合成処理によって得た検査画像に誤エッジが多く含まれたりする可能性がある。このために、第２検査画像取得部１１３は、合成前画像の信頼度に基づいて、当該合成前画像を合成処理用メモリに記憶される初期画像とするか否かを判断する構成とすることが好ましい。
【０１４７】
合成前画像の信頼度は、例えば、合成画像中において、エッジと判断される画素の数で判断することができる。例えば、エッジと判断される画素の数が極端に低い場合には、信頼度が低いと判断される。第２検査画像取得部１１３は、最初に取得した合成前画像の信頼度が高いと判断される場合には、当該合成前画像を合成処理用メモリに記憶される初期画像とする。一方、第２検査画像取得部１１３は、最初に取得した合成前画像の信頼度が低いと判断される場合には、信頼度の高い合成前画像が得られるまで、合成前画像の取得を繰り返す。第２検査画像取得部１１３は、信頼度の高い合成前画像が得られた時点で、当該合成前画像を初期画像とする。なお、信頼度が高いか否かは、例えば、エッジと判断される画素の数が所定の閾値に到達しているか否かで判断すればよい。このように構成することにより、合成処理の終了までの時間が極端に長くなったり、合成処理によって得た検査画像に誤エッジが多く含まれたりする可能性を低減することができる。
【０１４８】
また、以上においては、各回のアルファブレンドにおけるブレンド率が一定とされる構成とした。しかし、これは例示である。例えば、第２検査画像取得部１１３は、合成前画像の信頼度と、外部から取得される車両７に関する情報とのうちの少なくともいずれか一方に基づいて、アルファブレンドのブレンド率を変化させる構成としてもよい。
【０１４９】
例えば、信頼度の高い合成前画像のブレンド率は大きくされ、信頼度の低い合成前画像のブレンド率は小さくされる構成としてよい。信頼度の低い合成前画像については、場合によってはブレンド率を０とし、ブレンド処理を行わない構成としてもよい。このようにすることで、ボディ７０のエッジ強度を強めつつ、影や白線等の不要なエッジの強度を弱めた検査画像を効率良く取得することができる。
【０１５０】
ブレンド率を変化させるか否かを判断するための車両７に関する情報には、例えば、車速情報、走行距離情報、舵角情報、車両周辺の照度情報のうちの少なくともいずれか１つが含まれてよい。これらの情報は、例えば、センサ部３から取得することができる。照度については、カメラ画像から取得してもよい。
【０１５１】
例えば、カメラ画像取得時における車速が速い場合にブレンド率が大きくされ、当該車速が遅い場合にブレンド率が小さくされる構成としてよい。これは、車速によって、先に取得したカメラ画像と比較した場合における、走行シーンの変化の大小が変わることを考慮している。走行シーンの変化が大きいと、影や白線等の不要エッジの抽出原因となる要素に変化が生じ、ブレンド処理によって不要エッジの強度を弱めることができる。
【０１５２】
同様の考え方により、例えば、先のカメラ画像を取得してから今回のカメラ画像を得るまでの走行距離が長い場合にブレンド率が大きくされ、当該走行距離が短い場合にブレンド率が小さくされてよい。走行距離の違いによって走行シーンの変化状況が異なることを考慮している。また、例えば、先のカメラ画像を取得してから今回のカメラ画像を得るまでに舵角の大きな変化があった場合にブレンド率が大きくされ、当該舵角に大きな変化がなかった場合にブレンド率が小さくされてよい。進行方向の違いによって走行シーンの変化状況が異なることを考慮している。
【０１５３】
また、例えば、先のカメラ画像を取得してから今回のカメラ画像を得るまでにおける車両７の照度変更が大きい場合にブレンド率が大きくされ、当該照度変更が小さい場合にブレンド率が小さくされてよい。また、カメラ画像取得時に一定の照度がない場合には、ブレンド率が小さくされたり、ブレンド率が０とされたりしてよい。車両周辺の照度の違いによって、エッジ検出のされ方が大きく変わることを考慮している。例えば、左右のサイドカメラ２３、２４周辺は、夜間に光源がなく、エッジ検出を行えない可能性があり、カメラずれの誤検出防止のために、ブレンド処理が行われない方が好ましい場合がある。
【０１５４】
その他、一旦、カメラずれに関する誤検出が行われた場合には、以降のブレンド率が変更されることが好ましい。
【０１５５】
＜＜３．留意点＞＞
本明細書における実施形態や変形例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてもよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。
【０１５６】
車載カメラが複数である場合、車載カメラ毎に画像処理条件が決定されてよい。画像処理条件には、例えば、エッジ検出のパラメータ、マッチング処理のパラメータ、アルファブレンドのブレンド率等が含まれてよい。カメラの取付位置等に合せてパラメータ等を変更することによって、正確なカメラずれの検出が可能になる。
【０１５７】
デバッグ用途として、カメラずれを検出した場合には、ずれの検出に用いられた各種のデータを保存しておくことが好ましい。例えば、ずれ判定に用いられた検査画像が、ずれ判定データ（エッジ画素の数、一致率やずれ率等）と共に保存されることが好ましい。ずれ判定データは画像に重畳されてよい。また、検査画像の元になったカメラ画像も保存されることが好ましい。また、複数枚のカメラ画像を合成処理して検査画像が得られる場合には、合成処理のパラメータ（ブレンド率等）や、合成処理前の画像等も保存されることが好ましい。
【０１５８】
また、以上に示した実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能のうちの少なくとも一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの少なくとも一部は、ソフトウェア的に実現されてもよい。
【符号の説明】
【０１５９】
１・・・画像処理装置
７・・・車両
９ｂ・・・探索領域
９ｃ・・・狭探索領域
１２・・・記憶部
２１・・・フロントカメラ
２２・・・バックカメラ
２３・・・左サイドカメラ
２４・・・右サイドカメラ
７０・・・ボディ
１１１・・・第１検査画像取得部
１１３・・・第２検査画像取得部
１１４・・・ずれ検出部
【図１】
2018101898.tif 000003
【図２】
2018101898.tif 000004
【図３】
2018101898.tif 000005
【図４】
2018101898.tif 000006
【図５】
2018101898.tif 000007
【図６】
2018101898.tif 000008
【図７】
2018101898.tif 000009
【図８】
2018101898.tif 000010
【図９】
2018101898.tif 000011
【図１０】
2018101898.tif 000012
【図１１】
2018101898.tif 000013
【図１２】
2018101898.tif 000014
【図１３】
2018101898.tif 000015
【図１４】
2018101898.tif 000016
【図１５】
2018101898.tif 000017
【図１６】
2018101898.tif 000018
【図１７】
2018101898.tif 000019
【図１８】
2018101898.tif 000020