(57)【要約】【課題】車載カメラの位置ずれを適切に判定することを可能とする技術を提供する。【解決手段】画像処理装置は、画像中の、車載カメラが搭載された車両のボディのエッジラインを用いて前記車載カメラの位置ずれを判定するずれ判定部を備える。前記ずれ判定部は、前記エッジラインの一部のエッジを含む複数の検出範囲ごとの、前記エッジの信頼度に応じて定められた判定範囲における前記検出範囲に含まれる前記エッジと、前記検出範囲に関して予め記憶された基準エッジとに基づき、前記車載カメラの位置ずれを判定する。【選択図】図１
2019087144.tif 000002
【特許請求の範囲】
【請求項１】
車載カメラで撮像された画像を処理する画像処理装置であって、
前記画像中の、前記車載カメラが搭載された車両のボディのエッジラインを用いて前記車載カメラの位置ずれを判定するずれ判定部を備え、
前記ずれ判定部は、前記エッジラインの一部のエッジを含む複数の検出範囲ごとの、前記エッジの信頼度に応じて定められた判定範囲における前記検出範囲に含まれる前記エッジと、前記検出範囲に関して予め記憶された基準エッジとに基づき、前記車載カメラの位置ずれを判定する画像処理装置。
【請求項２】
前記信頼度は、前記検出範囲に含まれる前記エッジの本数及び長さに基づいて導出される請求項１に記載の画像処理装置。
【請求項３】
１つの前記検出範囲に複数の前記エッジが含まれる場合に、複数の前記エッジの中間に新たなエッジを設ける補完処理を行う補完部を備える請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記補完部は、前記信頼度が所定値以上の２つの前記検出範囲の間の領域に対して前記エッジの補完処理を行う請求項３に記載の画像処理装置。
【請求項５】
前記信頼度が所定値未満である場合に、前記検出範囲の大きさを従前より小さく変更して前記エッジを検出する請求項１から請求項４のいずれかに記載の画像処理装置。
【請求項６】
車載カメラで撮像された画像を処理する画像処理方法であって、
前記画像中の、前記車載カメラが搭載された車両のボディのエッジラインを用いて前記車載カメラの位置ずれを判定するずれ判定工程を含み、
前記ずれ判定工程は、前記エッジラインの一部のエッジを含む複数の検出範囲ごとの、前記エッジの信頼度に応じて定められた判定範囲における前記検出範囲に含まれる前記エッジと、前記検出範囲に関して予め記憶された基準エッジとに基づき、前記車載カメラの位置ずれを判定する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、車載カメラを用いて、例えば車両の駐車支援等の運転支援が行われている。車載カメラは、車両を工場から出荷する前に、車両に固定状態で取り付けられる。しかしながら、車載カメラは、例えば不意の接触や経年変化等によって、工場出荷時の取付状態から位置ずれを起こすことがある。車載カメラの位置がずれると、例えば運転支援等において車載カメラで撮像された画像を利用して判断されるハンドルの操舵量等に誤差が生じる虞がある。このため、車載カメラの位置ずれを検出することは重要である。
【０００３】
特許文献１には、車載カメラの光軸ずれを検出する技術が開示される。特許文献１に記載の光軸ずれ検出装置は、車載カメラによって撮像される画像内のリアバンパ等が本来観測されるべき位置と、車載カメラの光軸ずれを検出する際の、実画像内のリアバンパ等の位置とを比較し、車載カメラの光軸のずれを検出する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１６５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
車載カメラで撮像された画像は、反射やフレアなどの光学系の外乱の影響を受け易いため、車両のボディ全体のエッジラインのうち、例えばエッジラインの一部が検出できないことがある。このような場合に、車載カメラの位置ずれを適切に判定することができない虞があった。
【０００６】
本発明は、上記の課題に鑑みなされたものであり、車載カメラの位置ずれを適切に判定することを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、車載カメラで撮像された画像を処理する画像処理装置であって、前記画像中の、前記車載カメラが搭載された車両のボディのエッジラインを用いて前記車載カメラの位置ずれを判定するずれ判定部を備え、前記ずれ判定部は、前記エッジラインの一部のエッジを含む複数の検出範囲ごとの、前記エッジの信頼度に応じて定められた判定範囲における前記検出範囲に含まれる前記エッジと、前記検出範囲に関して予め記憶された基準エッジとに基づき、前記車載カメラの位置ずれを判定する構成（第１の構成）である。
【０００８】
また、上記第１の構成の画像処理装置において、前記信頼度は、前記検出範囲に含まれる前記エッジの本数及び長さに基づいて導出される構成（第２の構成）であっても良い。
【０００９】
また、上記第１または第２の構成の画像処理装置において、１つの前記検出範囲に複数の前記エッジが含まれる場合に、複数の前記エッジの中間に新たなエッジを設ける補完処理を行う補完部を備える構成（第３の構成）であっても良い。
【００１０】
また、上記第３の構成の画像処理装置において、前記補完部は、前記信頼度が所定値以上の２つの前記検出範囲の間の領域に対して前記エッジの補完処理を行う構成（第４の構成）であっても良い。
【００１１】
また、上記第１から第４の構成の画像処理装置において、前記信頼度が所定値未満である場合に、前記検出範囲の大きさを従前より小さく変更して前記エッジを検出する構成（第５の構成）であっても良い。
【００１２】
また、本発明に係る画像処理方法は、車載カメラで撮像された画像を処理する画像処理方法であって、前記画像中の、前記車載カメラが搭載された車両のボディのエッジラインを用いて前記車載カメラの位置ずれを判定するずれ判定工程を含み、前記ずれ判定工程は、前記エッジラインの一部のエッジを含む複数の検出範囲ごとの、前記エッジの信頼度に応じて定められた判定範囲における前記検出範囲に含まれる前記エッジと、前記検出範囲に関して予め記憶された基準エッジとに基づき、前記車載カメラの位置ずれを判定する構成（第６の構成）である。
【発明の効果】
【００１３】
本発明の構成によれば、ボディのエッジラインに沿って予め定められた複数の検出範囲に含まれるエッジに基づき、車載カメラの位置ずれが判定される。エッジライン全体よりも短いエッジラインの一部であるエッジが含まれる大きさの検出範囲を定めることで、車両のボディ全体のエッジラインが画像から検出できない場合であっても、車載カメラの位置ずれを適切に判定することが可能になる。
【図面の簡単な説明】
【００１４】
【図１】実施形態の画像処理装置の構成を示すブロック図
【図２】４つの車載カメラが車両に配置される位置を例示する図
【図３】画像処理装置による車載カメラの位置ずれの判定フローの一例を示すフローチャート
【図４】右サイドカメラで撮像された基準画像の一例を示す模式図
【図５】右サイドカメラで撮像された判定画像の一例を示す模式図
【図６】右サイドカメラで撮影された判定画像に検出範囲を適用した一例を示す模式図
【図７】検出範囲のエッジの信頼度評価を説明するための模式図
【図８】判定範囲が定められた判定画像の一例を示す模式図
【図９】エッジの補完処理が行われた判定画像の一例を示す模式図
【図１０】基準画像と判定画像との比較処理を説明するための模式図
【図１１】検出範囲の変更に係る画像処理装置の変形例を示す模式図
【発明を実施するための形態】
【００１５】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。なお、本発明は以下の内容に限定されるものではない。
【００１６】
以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向（前方）」とする。車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向（後方）」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の右側から左側に向かう方向を「左方向」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の左側から右側に向かう方向を「右方向」とする。
【００１７】
＜１．画像処理装置の概略＞
図１は、実施形態の画像処理装置１の構成を示すブロック図である。画像処理装置１は、例えば撮像部２と、センサ部３と、車両制御装置４と、を含む車載カメラの位置ずれ判定システムに組み込まれる。車載カメラの位置ずれ判定システムは、車載カメラの位置ずれを判定するシステムである。
【００１８】
画像処理装置１は、車載カメラで撮像された画像を処理する装置である。画像処理装置１は、車載カメラを搭載する車両ごとに備えられる。本実施形態では、画像処理装置１は、撮像部２から画像を取得して処理する。また、画像処理装置１は、センサ部３から情報を取得し、取得情報に基づいて画像処理に関する判断を行う。なお、センサ部３は、場合によっては、車載カメラの位置ずれ判定システムに含まれなくても良い。
【００１９】
本実施形態では、画像処理装置１は、撮像部２で撮像された画像を処理して、車載カメラの位置ずれの判定を行う。また、本実施形態では、画像処理装置１は、撮像部２で撮像された画像を処理して、車載カメラの位置ずれを判定するために用いる基準画像の取得も行う。なお、この「基準画像」に対して、車載カメラの位置ずれの判定時において撮像される画像を「判定画像」と呼ぶ。
【００２０】
また、本実施形態では、画像処理装置１は、表示装置５及び運転支援装置６に処理情報を出力する。
【００２１】
表示装置５は、画像処理装置１から出力される情報を画面表示する装置であり、例えば液晶表示装置であって良い。表示装置５は、例えばタッチパネル方式等の入力部を備えて、外部から情報を入力できる構成であって良い。
【００２２】
運転支援装置６は、撮像部２で撮像された画像を用いて運転を支援する装置であり、例えば自動運転支援装置、自動駐車支援装置、自動緊急ブレーキ装置等を含んで良い。運転支援装置６は、例えばエンジンの始動とともに自動的に運転支援を開始する構成であって良い。また、運転支援装置６は、例えば運転者によってボタン、スイッチ等が押された場合に運転支援を開始する構成であって良い。
【００２３】
撮像部２は、車両周辺の状況を監視する目的で設けられる。撮像部２は、４つのカメラ２１〜２４を備える。４つのカメラ２１〜２４は、車載カメラである。図２は、４つの車載カメラ２１〜２４が車両７に配置される位置を例示する図である。
【００２４】
車載カメラ２１は車両７の前端に設けられる。このため、車載カメラ２１をフロントカメラ２１とも呼ぶ。フロントカメラ２１の光軸２１ａは上からの平面視で車両７の前後方向に沿って延びる。フロントカメラ２１は車両７の前方向を撮像する。車載カメラ２３は車両７の後端に設けられる。このため、車載カメラ２３をバックカメラ２３とも呼ぶ。バックカメラ２３の光軸２３ａは上からの平面視で車両７の前後方向に沿って延びる。バックカメラ２３は車両７の後方向を撮影する。フロントカメラ２１及びバックカメラ２３の取付位置は、車両７の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であっても良い。
【００２５】
車載カメラ２２は車両７の右側ドアミラー７２に設けられる。このため、車載カメラ２２を右サイドカメラ２２とも呼ぶ。右サイドカメラ２２の光軸２２ａは上からの平面視で車両７の左右方向に沿って延びる。右サイドカメラ２２は車両７の右方向を撮影する。車載カメラ２４は車両７の左側ドアミラー７１に設けられる。このため、車載カメラ２４を左サイドカメラ２４とも呼ぶ。左サイドカメラ２４の光軸２４ａは上からの平面視で車両７の左右方向に沿って延びる。左サイドカメラ２４は車両７の左方向を撮影する。
【００２６】
車載カメラ２１〜２４それぞれの水平方向の画角θは１８０度以上である。このため、車載カメラ２１〜２４によって、車両７の水平方向における全周囲を撮影することができる。また、車載カメラ２１〜２４によって撮像される画像には、車載カメラ２１〜２４を搭載する車両のボディが映り込む。
【００２７】
なお、本実施形態では、車載カメラの数を４つとしているが、この数は複数であれば適宜変更されて良い。例えば、車両７がバックで駐車することを支援する目的で車載カメラが搭載されている場合には、車載カメラは、バックカメラ２３、左サイドカメラ２４、右サイドカメラ２２の３つで構成されても良い。
【００２８】
図１に戻って、センサ部３は、車載カメラ２１〜２４が搭載される車両７に関する情報を検出する複数のセンサを有する。車両７に関する情報には、車両自体の情報と、車両周辺の情報とが含まれて良い。本実施形態では、センサ部３は、例えば車両の速度を検出する車速度センサ、ステアリングの回転角を検出する舵角センサ、車両の変速装置のシフトレバーの操作位置を検出するシフトセンサ、車両周辺の照度を検出する照度センサ等が含まれる。本実施形態では、センサ部３で検出された情報は、画像処理装置１に直接入力される構成としているが、これは例示にすぎない。例えば、センサ部３で検出された情報は、車両制御装置４または運転支援装置６を介して画像処理装置１に入力されても良い。
【００２９】
車両制御装置４は、車両の動作全般に関わる制御を行う。車両制御装置４は、例えばエンジンを制御するエンジンＥＣＵ（Electronic Control Unit）、ステアリングを制御するステアリングＥＣＵ、ブレーキを制御するブレーキＥＣＵ、シフトを制御するシフトＥＣＵ、電源制御用ＥＣＵ、ライトを制御するライトＥＣＵ、電動ミラーを制御するミラーＥＣＵ等を含む。本実施形態では、車両制御装置４は、画像処理装置１と情報をやり取りする。
【００３０】
＜２．画像処理装置の詳細＞
図１に戻って、画像処理装置１は、マイコン１１及び記憶部１２を含んで構成される。
【００３１】
マイコン１１は、不図示のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む。記憶部１２は、不揮発性のメモリである。マイコン１１は、記憶部１２に記憶されたプログラムに基づいて情報の処理及び送受信を行う。マイコン１１は、有線または無線で、撮像部２、センサ部３、車両制御装置４、表示装置５、及び運転支援装置６に接続される。
【００３２】
マイコン１１は、画像取得部１１１と、検出部１１２と、補完部１１３と、ずれ判定部１１４と、を備える。マイコン１１が備えるこれらの各構成要素それぞれの機能は、プログラムに従ってＣＰＵが演算処理を行うことによって実現される。
【００３３】
画像取得部１１１は、車載カメラ２１〜２４で撮像された画像を取得する。本実施形態では、車載カメラ２１〜２４の数は４つであり、画像取得部１１１は、各車載カメラ２１〜２４ごとに撮像された画像を取得する。画像の取得に際し、車両７のボディのエッジの誤検出が生じないように、例えば照明条件、路面の濃淡等の条件を適切に設定しておくことが好ましい。例えば、画像の取得は、車両７のボディと路面との階調差が大きくなる状態であることが好ましい。
【００３４】
また、画像取得部１１１は、取得した画像に対して、車両７のボディのエッジの検出範囲を設定する。なお、本実施形態において、ボディのエッジとは、画像に含まれるボディの像の領域を囲むエッジライン全体のうち、当該検出範囲に含まれる一部のことである。エッジの検出範囲は、車両７の前後方向または左右方向に沿って延びるボディのエッジライン全体に対して、局所的に複数箇所に設けられる。エッジの検出範囲に係る詳細については、具体例を用いて後述する。
【００３５】
検出部１１２は、車載カメラ２１〜２４で撮像された画像から、車載カメラ２１〜２４が搭載された車両７のボディのエッジラインを検出する。本実施形態では、車載カメラ２１〜２４の数は４つであり、検出部１１２は、各車載カメラ２１〜２４で撮像された画像ごとにボディのエッジラインを検出する。
【００３６】
エッジは、画像中の画素の画素値が急激に変化する部分であり、画像中のオブジェクトの輪郭を表す線である。検出部１１２は、車載カメラ２１〜２４で撮像された画像中の画素の画素値を微分処理することにより、画像中のエッジを検出する。画像中の画素の画素値を微分処理すると、画像中の画素の画素値が急激に変化している部分の微分値が大きくなる。検出部１１２は、予め決められた基準に基づき、画像中の画素の微分値が大きい部分をエッジとして検出する。なお、エッジ検出の手法としては、例えばＣａｎｎｙ法等が用いられて良い。
【００３７】
また、検出部１１２は、検出した車両７のボディのエッジラインに対して、検出範囲に含まれるエッジの信頼度を導出する。エッジの信頼度は、エッジの検出範囲に含まれるエッジの本数及び長さに基づいて導出される。エッジの信頼度に係る詳細については、具体例を用いて後述する。
【００３８】
補完部１１３は、車載カメラ２１〜２４の画像から検出されたエッジラインの補完処理を行う。補完部１１３は、例えば車両７のボディのエッジが検出範囲に複数存在する場合、またエッジが検出範囲で欠損する場合に、エッジラインの該不具合箇所を補完する補完処理を行う。ここで言う補完処理とは、車両７の前後方向または左右方向に沿って延びるボディのエッジラインの連続性、一定性に基づき、該不具合箇所においてボディのエッジラインが車両７の前後方向または左右方向に繋がっていると、画像処理装置１の内部において認識する処理を意味する。
【００３９】
ずれ判定部１１４は、画像中の、車載カメラ２１〜２４が搭載された車両７のボディのエッジラインを用いて車載カメラ２１〜２４の位置ずれを判定する。ずれ判定部１１４は、基準画像に含まれるボディのエッジラインと、判定画像に含まれるボディのエッジラインとを比較処理して車載カメラ２１〜２４の位置ずれを判定する。なお、基準画像は、例えば工場出荷時に撮像、取得され、記憶部１２等に予め記憶される画像である。言い換えると、車両７の最適な位置や角度に車載カメラ２１〜２４を設置して撮影した画像が基準画像となる。本実施形態では、車載カメラ２１〜２４の数は４つであり、ずれ判定部１１４は、車載カメラ２１〜２４それぞれで撮像された画像に含まれるボディのエッジラインを用いて車載カメラの位置ずれを判定する。
【００４０】
＜３．車載カメラの位置ずれの判定＞
図３は、画像処理装置１による車載カメラ２２の位置ずれの判定フローの一例を示すフローチャートである。なお、車載カメラの位置ずれの判定は、４つの車載カメラ２１〜２４それぞれに対して実施されるが、ここでは、車載カメラ２２（右サイドカメラ２２）の位置ずれの判定を例として掲げて説明する。
【００４１】
また、車載カメラ２１〜２４の位置ずれの判定は、例えばユーザが表示装置５等から入力指示を行うことで、判定の開始を画像処理装置１が認識する。また、シフトレバーの操作位置に基づき、車両７の出庫時、または入庫時に自動的に、画像処理装置１が、車載カメラ２１〜２４の位置ずれの判定の開始を認識することにしても良い。また、車載カメラの位置ずれの判定は、車両７の走行中に実施しても良い。
【００４２】
図３に示すように、まず、基準画像の読み込みが行われる（ステップＳ１０１）。基準画像は、例えば工場出荷時において予め記憶された記憶部１２から、マイコン１１内のメモリに読み込まれる。
【００４３】
基準画像は、車載カメラ２１〜２４を搭載した車両７を市場に出した後、車載カメラ２１〜２４に位置ずれが発生しているか否かを判定する際に、基準として用いられる画像である。本実施形態において、基準画像は、車両７の最適な位置や角度に取り付けられた車載カメラ２１〜２４で撮像された画像を処理して得られた車両７のボディのエッジラインの像を含む画像である。基準画像は、画像処理装置１を用いて、車載カメラ２１〜２４それぞれに対して取得され、例えば記憶部１２に予め記憶される。
【００４４】
図４は、右サイドカメラ２２で撮像された基準画像Ｐｓの一例を示す模式図である。右サイドカメラ２２は、画角θが１８０度以上であり、図４に示すように、基準画像Ｐｓには、車両７のボディ７０の像と、ボディ７０のエッジラインＬｓの像とが含まれる。
【００４５】
さらに、基準画像Ｐｓには、エッジラインＬｓの検出範囲ｒ１〜ｒ８が予め定められる。検出範囲ｒ１〜ｒ８は、車両７の前後方向に沿って延びるボディ７０のエッジラインＬｓ全体に対して、局所的に複数箇所（例えば８箇所）に予め定められる。検出範囲ｒ１〜ｒ８は、その中央部をエッジラインＬｓが通る位置に配置される。すなわち、検出範囲ｒ１〜ｒ８それぞれの画素領域には、車載カメラ２２の位置ずれの判定に必要なエッジラインＬｓの像の一部であるエッジＬｓ１〜Ｌｓ８が含まれることになる。このため、基準画像Ｐｓの検出範囲ｒ１〜ｒ８に含まれるボディ７０のエッジラインを、基準エッジＬｓ１〜Ｌｓ８とも呼ぶ。
【００４６】
エッジラインＬｓの検出範囲ｒ１〜ｒ８は、外形が例えば矩形であり、基準画像Ｐｓ中の位置（座標）が予め設定され、記憶される。なお、検出範囲の外形は、矩形に限定されるわけではなく、円形や他の形状であっても良く、サイズも任意に設定することができる。複数の検出範囲それぞれの外形の形状、大きさはすべて同じである必要はなく、ボディ７０の位置に応じて任意に定めることができる。検出範囲の数は、８箇所に限定されるわけではなく、８箇所より少なくても良いし、多くても良い。また、本実施形態では、図４に示すように、複数の検出範囲は、互いが間隔を空けて配置されるが、互いに隣接させて配置されても良い。
【００４７】
図３に戻って、次に、画像処理装置１は、車載カメラ２２の位置ずれの判定に必要な判定画像を、車載カメラ２２（右サイドカメラ２２）から取得する（ステップＳ１０２）。
【００４８】
図５は、右サイドカメラ２２で撮像された判定画像Ｐｄの一例を示す模式図である。図５に示すように、判定画像Ｐｄには、車両７のボディ７０の像と、ボディ７０のエッジラインＬｄ１の像とが含まれる。エッジラインＬｄ１は、ボディ７０の領域を囲むラインである。さらに、判定画像Ｐｄには、車載カメラ２２の位置ずれの判定時における床面の模様Ｃ１、Ｃ２のエッジラインＬｃ１、Ｌｃ２の像が含まれる。エッジラインＬｃ１、Ｌｃ２は、床面の模様Ｃ１、Ｃ２の領域を囲むラインである。
【００４９】
図３に戻って、次に、画像処理装置１は、判定画像Ｐｄに、エッジラインＬｄ１の検出範囲ｒ１〜ｒ８を適用する（ステップＳ１０３）。
【００５０】
図６は、図５で説明した右サイドカメラ２２で撮影された判定画像Ｐｄに検出範囲ｒ１〜ｒ８を適用した一例を示す模式図である。図６に示すように、判定画像Ｐｄには、８箇所の検出範囲ｒ１〜ｒ８が適用される。図６に示すこれらの検出範囲ｒ１〜ｒ８は、図４に示す基準画像Ｐｓに設けたエッジラインＬｓの検出範囲ｒ１〜ｒ８と、同じ配置、同じ形状、同じ大きさである。したがって、画像処理装置１は、判定画像Ｐｄに適用したエッジラインＬｄ１の検出範囲ｒ１〜ｒ８それぞれの画素領域に含まれるエッジラインＬｄ１の像の一部に基づき、以下の処理フローで、車載カメラ２２の位置ずれを判定する。
【００５１】
図３に戻って、次に、画像処理装置１は、判定画像Ｐｄから、ボディ７０のエッジラインＬｄ１の像の一部を検出する（ステップＳ１０４）。
【００５２】
図６によれば、判定画像Ｐｄの検出範囲ｒ１の画素領域には、上側から右方下側に向かって延びる２本のエッジＬｄ１１、Ｌｄ１２が含まれる。判定画像Ｐｄの検出範囲ｒ２、ｒ３それぞれの画素領域には、左右両端間にわたってほぼ真っ直ぐに延びる１本のエッジＬｄ１３、Ｌｄ１４が含まれる。判定画像Ｐｄの検出範囲ｒ４の画素領域には、左方から下側に向かって延びる比較的短い１本のエッジＬｄ１５が含まれる。判定画像Ｐｄの検出範囲ｒ５、ｒ８には、エッジラインＬｄ１の一部、及びその他の特徴的な像がほとんど含まれていない。なお、エッジＬｄ１１、Ｌｄ１２、Ｌｄ１３、Ｌｄ１４、Ｌｄ１５それぞれが、エッジラインＬｄ１の一部である。
【００５３】
また、判定画像Ｐｄの検出範囲ｒ６、ｒ７には、ボディ７０のエッジラインＬｄ１が含まれておらず、床面の模様Ｃ２のエッジラインＬｃ２の像の一部であるエッジＬｃ２１、Ｌｃ２２が含まれる。この場合、画像処理装置１は、床面の模様Ｃ２のエッジＬｃ２１、Ｌｃ２２を、車載カメラの位置ずれの判定時におけるボディ７０のエッジラインの一部として検出する。
【００５４】
図３に戻って、次に、画像処理装置１は、判定画像Ｐｄの検出範囲ｒ１〜ｒ８において、エッジの信頼度を導出する（ステップＳ１０５）。エッジの信頼度は、エッジラインの検出範囲ｒ１〜ｒ８に含まれるエッジの本数及び長さに基づいて導出される。
【００５５】
エッジの信頼度の評価基準は、本実施形態において、例えば次に説明するとおりに予め定められるが、これに限定されるわけではない。
【００５６】
例えば、エッジの信頼度の第１順位（最高順位）は、検出範囲内において、エッジが１本存在し、且つ検知範囲の対向する両端間にわたって長く延びる状態である。エッジの信頼度の第２順位は、検出範囲内において、エッジが１本存在し、且つ検知範囲の対向する両端間よりも短い状態である。エッジの信頼度の第３順位は、検出範囲内において、エッジが２本存在する状態である。エッジの信頼度の第４順位（最低順位）は、検出範囲内において、エッジが無い、若しくはエッジが３本以上存在する状態である。
【００５７】
図７は、検出範囲ｒ１〜ｒ８のエッジの信頼度評価を説明するための模式図である。図７に示すように、判定画像Ｐｄの検出範囲ｒ２、ｒ３、ｒ７は、左右両端間にわたってほぼ真っ直ぐに延びる１本のエッジＬｄ１３、Ｌｄ１４、Ｌｃ２２が含まれるので、最高順位の信頼度である。判定画像Ｐｄの検出範囲ｒ４、ｒ６は、比較的短い１本のエッジＬｄ１５、Ｌｃ２１が含まれるので、第２順位の信頼度である。判定画像Ｐｄの検出範囲ｒ１は、２本のエッジＬｄ１１、Ｌｄ１２が含まれるので、第３順位の信頼度である。判定画像Ｐｄの検出範囲ｒ５、ｒ８には、エッジラインＬｄ１の一部、及びその他の特徴的な像がほとんど含まれていないので、最低順位の信頼度である。なお、本実施形態の判定画像Ｐｄの検出範囲の一例ではないが、図７に示す検出範囲ｒｘのように、エッジＬｄｘが３本以上存在する状態も、最低順位の信頼度である。
【００５８】
図３に戻って、次に、画像処理装置１は、検出範囲ｒ１〜ｒ８に対して、検出範囲の選択を実施する（ステップＳ１０６）。画像処理装置１は、検出範囲ｒ１〜ｒ８に対して、検出範囲ｒ１〜ｒ８ごとのエッジの信頼度に応じて、検出範囲を選択することで、車載カメラの位置ずれの判定に用いるエッジラインの判定範囲を定める。
【００５９】
図８は、判定範囲が定められた判定画像Ｐｄの一例を示す模式図である。本実施形態では、例えばエッジの信頼度が第１順位から第３順位までの検出範囲を、車載カメラの位置ずれの判定に用いる範囲として選択する。言い換えると、エッジの信頼度が第４順位の検出範囲は、車載カメラの位置ずれの判定に用いる範囲としては選択されない。これにより、画像処理装置１は、図８に示すように、検出範囲ｒ１〜ｒ４、ｒ６〜ｒ７を、車載カメラの位置ずれの判定を実施するためのエッジラインの判定範囲として定める。なお、エッジの信頼度がどの順位以上の検出範囲を車載カメラの位置ずれの判定に用いる範囲として選択するか、どの順位未満の検出範囲を車載カメラの位置ずれの判定に用いる範囲として選択しないかは、任意に定めることができる。
【００６０】
図３に戻って、次に、画像処理装置１は、判定範囲の検出範囲が所定数以上であるか否かを判別する（ステップＳ１０７）。ここで本実施形態では、例えば基準画像Ｐｓで予め定められた検出範囲全体の数の３割以上の数を所定数として閾値を定め、判定範囲の検出範囲がこの所定数以上か否かを判別する。すなわち、画像処理装置１は、判定範囲の検出範囲が、８箇所のうち３箇所以上か否かを判別する。なお、判定範囲の検出範囲の、この所定数は任意に定めることができる。
【００６１】
判定画像Ｐｄの検出範囲が所定数（例えば３箇所）以上である場合（ステップＳ１０７のＹｅｓ）、画像処理装置１は、補完部１１３を用いて、検出範囲のエッジラインＬｄ１の補完処理を行う（ステップＳ１０８）。補完部１１３は、エッジが複数存在する検出範囲、またエッジが存在しない検出範囲に対して画像処理を行い、エッジラインが車両７の前後方向に沿って適正に延びる形態に補完する。
【００６２】
補完処理前の状態を示す図８によれば、判定画像Ｐｄの検出範囲ｒ１には、２本のエッジＬｄ１１、Ｌｄ１２が含まれる。また、判定画像Ｐｄの検出範囲ｒ４、ｒ６の間は、検出範囲ｒ５がエッジの信頼度に基づいて先のステップで選択されなかったため、エッジラインが存在しないことになっている。
【００６３】
図９は、エッジの補完処理が行われた判定画像Ｐｄの一例を示す模式図である。図９に示すように、従前の検出範囲ｒ１に対して、補完部１１３は、２本のエッジＬｄ１１、Ｌｄ１２の中間に、新たなエッジＬｄ２１を設ける補完処理を行う。これに関して、補完部１１３は、検出範囲ｒ１のエッジＬｄ２１との連続性、一定性が保たれるように検出範囲ｒ２のエッジＬｄ１３を修正し、検出範囲ｒ２にも新たなエッジＬｄ２２を設ける。
【００６４】
従前の検出範囲ｒ４、ｒ６の間に対しては、補完部１１３は、検出範囲ｒ４、ｒ６のエッジの信頼度が所定値以上であることに基づき、検出範囲ｒ４と検出範囲ｒ６との間の領域に対してエッジの補完処理を行う。補完部１１３は、検出範囲ｒ４、ｒ６の間に、近似曲線として新たなエッジＬｄ２４を設ける補完処理を行う。これに関して、検出範囲ｒ４、ｒ６の間に、検出範囲ｒ５が再び定められる。そして、補完部１１３は、検出範囲ｒ４、ｒ５、ｒ６の間で、エッジラインの連続性、一定性が保たれるようにエッジの新設、修正を行い、検出範囲ｒ４、ｒ５、ｒ６に新たなエッジＬｄ２３、Ｌｄ２４、Ｌｄ２５を設ける。
【００６５】
このようにして、画像処理装置１は、図９に示す判定画像Ｐｄにおいて新たなエッジラインＬｄ２を取得する。なお、補完処理で設けたエッジＬｄ２１、Ｌｄ２２、Ｌｄ２３、Ｌｄ２４、Ｌｄ２５それぞれは、判定画像ＰｄのエッジラインＬｄ２の一部である。また、検出範囲ｒ３、ｒ７は、信頼度が高い従前のエッジＬｄ１４、Ｌｃ２２が新たなエッジラインＬｄ２の一部として採用される。従前のエッジラインＬｄ１、Ｌｃ２は、以後のフローで使用されない。
【００６６】
図３に戻って、次に、画像処理装置１は、ずれ判定部１１４を用いて、基準画像Ｐｓと、判定画像Ｐｄとを比較処理する（ステップＳ１０９）。そして、画像処理装置１は、車載カメラ２２に位置ずれが発生しているか否かを判定する（ステップＳ１１０）。
【００６７】
本実施形態では、ずれ判定部１１４は、基準画像Ｐｓと判定画像Ｐｄとの比較処理において、テンプレートマッチングを行う。テンプレートマッチングによる画像の比較手法としては、例えばＳＡＤ（Sum of Absolute Difference）が用いられる。ＳＡＤでは、２つの画像の画素値の差分の絶対値和により、２つの画像の類似度が評価される。ＳＡＤでは、数値が小さいほど類似度が高いことを示す。なお、テンプレートマッチングによる画像の比較手法として、ＳＳＤ（Sum of Squared Difference）、ＮＣＣ（Normalized Cross Correlation）などの他の比較手法が用いられることにしても良い。
【００６８】
図１０は、基準画像と判定画像との比較処理を説明するための模式図である。ずれ判定部１１４は、基準画像Ｐｓの基準エッジラインＬｓの検出範囲ｒ１〜ｒ７と、判定画像ＰｄのエッジラインＬｄ２の検出範囲ｒ１〜ｒ７との間で、ＳＡＤを利用して類似度を評価する。図１０に示すように、ずれ判定部１１４は、検出範囲ｒ１において５７０、検出範囲ｒ２において２８０、検出範囲ｒ３において２４０などといったＳＡＤ値を導出する。各検出範囲に関して導出されたＳＡＤ値には、閾値（例えば３００）が予め定められ、類似度が評価される。これにより、ずれ判定部１１４は、ＳＡＤ値が閾値未満である検出範囲ｒ２、ｒ３において、ボディ７０のエッジが一致すると判定し（図１０中の「○」）、ＳＡＤ値が閾値以上である検出範囲ｒ１、ｒ４〜ｒ７において、ボディ７０のエッジが一致しないと判定する（図１０中の「×」）。
【００６９】
そして、ずれ判定部１１４は、ボディ７０のエッジが一致する検出範囲が所定数未満であるかどうかに基づき、車載カメラ２２に位置ずれが発生しているか否かを判定する。このようにして、画像処理装置１は、判定範囲における検出範囲ｒ１〜ｒ７に含まれるエッジと、検出範囲ｒ１〜ｒ７に関して予め記憶された基準エッジとに基づき、車載カメラ２２の位置ずれを判定する。
【００７０】
車載カメラ２２に位置ずれが発生していることが判定された場合（ステップＳ１１０のＹｅｓ）、画像処理装置１は、車載カメラ２２に位置ずれが発生したことを報知する（ステップＳ１１１）。画像処理装置１は、例えば車載カメラ２２に位置ずれが発生したことを表示装置５によって報知する。車載カメラの位置ずれの発生の報知には、音声等が使用されても良い。また、画像処理装置１は、例えば運転支援装置６に車載カメラの位置ずれの発生を通知して、運転支援装置６による運転支援を停止させることにしても良い。
【００７１】
車載カメラ２２に位置ずれが発生していないことが判定された場合（ステップ１１０のＮｏ）、車載カメラ２２の位置ずれの判定フローが終了される。なお、画像処理装置１は、例えば車載カメラ２２に位置ずれが発生していないこと（正常であること）を表示装置５によって通知しても良い。また、画像処理装置１は、例えば運転支援装置６に車載カメラ２２が正常であることを通知しても良い。
【００７２】
一方、判定画像Ｐｄの検出範囲が所定数（例えば３箇所）未満である場合（ステップＳ１０７のＮｏ）、画像処理装置１は、車載カメラ２２の位置ずれの判定が不可であることを報知する（ステップＳ１１２）。すなわち、車載カメラ２２の位置がエッジラインを検出できないほど大きくずれている場合に、画像処理装置１は、車載カメラ２２の位置ずれの判定が不可であることを表示装置５によって報知する。車載カメラの位置ずれの判定不可の報知には、音声等が使用されても良い。
【００７３】
なお、車載カメラの位置ずれの判定は、例えば屋外では太陽光などの影響があって正確な判定が行い難く、屋内では太陽光などの影響がないので正確な判定が行い易い。したがって、例えば判定を行う場所や時間などを変更し、車載カメラの位置ずれの判定フローを複数回実施することで、画像が反射やフレアなどの光学系の外乱の影響を受けているために検出範囲でエッジが検出されていないのか、車載カメラに大きな位置ずれが発生しているのか、を判断することができる。
【００７４】
上記実施形態の画像処理装置１は、ずれ判定部１１４が、エッジラインの一部のエッジを含む複数の検出範囲ごとの、エッジの信頼度に応じて定められた判定範囲における検出範囲ｒ１〜ｒ７に含まれるエッジと、検出範囲ｒ１〜ｒ７に関して予め記憶された基準エッジとに基づき、車載カメラ２２の位置ずれを判定する。エッジライン全体よりも短いエッジラインの一部であるエッジが含まれる大きさの検出範囲を定めることで、車両７のボディ７０全体のエッジラインが画像から検出できない場合であっても、車載カメラ２２の位置ずれを適切に判定することが可能になる。
【００７５】
また、エッジの信頼度は、エッジラインの検出範囲に含まれるエッジの本数及び長さに基づいて導出される。これにより、容易に、且つ簡便な方法でエッジの信頼度を導出することができる。
【００７６】
また、上記実施形態の画像処理装置１は、検出範囲に複数のエッジが含まれる場合に、複数のエッジの中間に新たなエッジを設ける補完処理を行う補完部１１３を備える。これにより、複数のエッジの中間に、ボディ７０の適切なエッジとして、より確からしいエッジを導出することができる。したがって、ボディ７０全体のエッジラインが画像から検出できない場合であっても、車載カメラ２２の位置ずれを適切に判定することが可能になる。
【００７７】
また、補完部１１３は、信頼度が所定値以上の２つの検出範囲の間の領域に対してエッジの補完処理を行う。これにより、信頼度が所定値以上の２つの検出範囲の間の領域において、ボディ７０の適切なエッジとして、より確からしいエッジを導出することができる。したがって、ボディ７０全体のエッジラインが画像から検出できない場合であっても、車載カメラ２２の位置ずれを適切に判定することが可能になる。
【００７８】
＜４．その他＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の技術的範囲は上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。また、上記の複数の実施形態及び実施例は可能な範囲で組み合わせて実施しても良い。
【００７９】
例えば、画像処理装置は、エッジの信頼度が所定値未満である場合に、検出範囲の大きさを従前より小さく変更してエッジを検出することにしても良い。図１１は、検出範囲の変更に係る画像処理装置の変形例を示す模式図である。図１１に示すように、例えば検出範囲ｒ３に複数のエッジＬｘ１、Ｌｙ１が含まれ、検出範囲ｒ４に複数のエッジＬｘ２、Ｌｙ２、Ｌｚ１が含まれる場合に、車載カメラの位置ずれの判定過程で、検出範囲ｒ３、ｒ４を大きさがより一層小さい検出範囲ｒ３１〜ｒ３３、ｒ４１〜ｒ４３に変更しても良い。これにより、エッジの候補の絞り込みを行うことができ、エッジの誤検出の要因になる虞がある他の像を削減することができる。したがって、ボディ７０のエッジラインを適切に検出する効果を高めることが可能である。
【００８０】
また、上記実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能のうちの一部は電気的なハードウェア回路によって実現されても良い。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されても良い。
【符号の説明】
【００８１】
１    画像処理装置
７    車両
１２    記憶部
２１    フロントカメラ（車載カメラ）
２２    右サイドカメラ（車載カメラ）
２３    バックカメラ（車載カメラ）
２４    左サイドカメラ（車載カメラ）
１１２    検出部
１１３    補完部
１１４    ずれ判定部
【図１】
2019087144.tif 000003
【図２】
2019087144.tif 000004
【図３】
2019087144.tif 000005
【図４】
2019087144.tif 000006
【図５】
2019087144.tif 000007
【図６】
2019087144.tif 000008
【図７】
2019087144.tif 000009
【図８】
2019087144.tif 000010
【図９】
2019087144.tif 000011
【図１０】
2019087144.tif 000012
【図１１】
2019087144.tif 000013