(57)【要約】【課題】解像度が低いカメラを用いても精度よく変化点を検出することができる地図変化点検出装置を提供する。【解決手段】車両１の周辺を撮像するカメラ１１０と、カメラ１１０が撮像した画像を俯瞰画像に変換する俯瞰変換部と、路面地図を含んだ高精度地図１５１を記憶する地図記憶部１５０と、俯瞰画像と路面地図とを照合して、路面地図に対して、実際の路面に変化が生じた位置である変化点が存在するか否かを決定する照合処理部１６４とを備える。カメラ１１０が撮像した画像を俯瞰画像に変換することで、車両１からの距離によらず、道路幅が、実際の道路と同様に一定幅の画像になる。また、建物、樹木など、路面ではない場所に存在している種々の物体を除去することもできる。俯瞰画像から生成した白線強度画像を高精度地図１５１の一部である路面地図と照合する画像とするので、精度よく変化点を検出することができる。【選択図】図１
2019003606.tif 000002
【特許請求の範囲】
【請求項１】
車両に備えられ、前記車両の周辺を撮像するカメラ（１１０）と、
前記カメラが撮像した画像を俯瞰画像に変換する俯瞰変換部（Ｓ６）と、
路面地図を含んだ道路地図（１５１）を記憶する地図記憶部（１５０）と、
前記俯瞰画像と前記路面地図とを照合して、前記路面地図に対して、実際の路面に変化が生じた位置である変化点が存在するか否かを決定する照合処理部（１６４）とを備える地図変化点検出装置。
【請求項２】
前記俯瞰画像から検出できる道路区画線の本数に基づいて、前記俯瞰画像から照合に用いる車両幅方向の領域を決定する照合領域特定部（１６３）を備える請求項１に記載の地図変化点検出装置。
【請求項３】
前記俯瞰画像に対して、前記路面地図に含まれている物体の色を指定し、指定した色以外は黒に変換することで、前記俯瞰画像に含まれている障害物を除去する障害物除去処理部（Ｓ７）を備え、
前記照合処理部は、前記障害物が除去された後の前記俯瞰画像と前記路面地図とを照合する請求項１または２に記載の地図変化点検出装置。
【請求項４】
前記照合処理部は、前記路面地図を距離変換し、距離変換した後の前記路面地図を前記俯瞰画像と照合する請求項１〜３のいずれか１項に記載の地図変化点検出装置。
【請求項５】
請求項２において、
前記照合領域特定部は、前記俯瞰画像から検出できる道路区画線の本数に基づいて、照合に用いる前記俯瞰画像から、照合に用いる領域である照合領域を抽出するとともに、前記路面地図から、現在位置を基準として定まる一定領域をマッチング対象領域に特定し、
前記照合処理部は、
前記路面地図の前記マッチング対象領域に対する、照合に用いる前記俯瞰画像の前記照合領域の相関値を、前記照合領域の位置を変化させつつ算出することで、前記マッチング対象領域に対する前記照合領域の相対位置と前記相関値との関係である相関値マップを作成する相関値マップ作成部（Ｓ２２、Ｓ５４）と、
現在位置が最も確からしさが高く前記現在位置から離れるほど係数が低くなるスコアリングマップと前記相関値マップとを掛け合わせて得られるスコアを、前記マッチング対象領域に対する前記照合領域の位置別に算出し、前記スコアが最も高い前記照合領域の位置をマッチング位置に決定するマッチング位置決定部（Ｓ２３、Ｓ５５）を備え、
前記照合領域の位置を前記マッチング位置として、照合用の前記俯瞰画像と前記路面地図の前記路面地図とを照合する地図変化点検出装置。
【請求項６】
請求項５において、
前記照合処理部は、
前記カメラにより撮像された複数のフレームを合成して最初の照合領域（４０１）を生成し、
前記相関値マップ作成部（Ｓ５４）による前記相関値マップの作成および前記マッチング位置決定部（Ｓ５５）によるマッチング位置の決定を、前記最初の照合領域から開始し、
前記マッチング位置決定部による前記マッチング位置の決定後、１つの前記照合領域に含まれるフレーム数が最終フレーム数よりも大きい場合には、前記照合領域から部分領域（４０２）を決定し、
決定した前記部分領域を前記照合領域として、前記相関値マップ作成部による前記相関値マップの作成および前記マッチング位置決定部による前記マッチング位置の決定を、前記照合領域に含まれるフレーム数が前記最終フレーム数になるまで繰り返す地図変化点検出装置。
【請求項７】
前記カメラが撮像した画像に対して、ディストーション補正およびボリューム歪補正を行う歪補正処理部（Ｓ２）と、
前記歪補正処理部により補正された後の画像から消失点を検出する消失点検出部（Ｓ４）と、
前記消失点検出部が検出した前記消失点と画像中心との位置の差に基づいて前記カメラの光軸の向きを検出するカメラ向き検出部（Ｓ５、Ｓ５Ａ）とを備え、
前記俯瞰変換部は、前記カメラ向き検出部が検出した前記カメラの光軸の向きを、上方から下方に向かう変換をすることで、前記カメラが撮像した画像を前記俯瞰画像に変換する請求項１〜５のいずれか１項に記載の地図変化点検出装置。
【請求項８】
請求項７において、
前記歪補正処理部により補正された後の画像の一部であって、前記消失点検出部により検出された前記消失点に基づいて定まる領域の画像である消失点領域画像を逐次決定し、時間的に連続する２つの前記消失点領域画像をマッチングさせる際、２つの前記消失点領域画像のうち前の時間の前記消失点領域画像を基準として、後の時間の前記消失点領域画像を画像上下方向へ移動させる移動量を算出する移動量算出部（Ｓ４１、Ｓ４２、Ｓ４３）と、
前記移動量算出部が算出した画像上下方向への移動量の積分値である位置ずれ積分値を算出する積分値算出部（Ｓ４４）と、
前記積分値算出部が算出した前記位置ずれ積分値の移動平均値を逐次算出し、前記移動平均値と、前記移動量算出部が算出した前記移動量との差であるピッチ変動量（δｙ）を算出するピッチ変動量算出部（Ｓ４５、Ｓ４６）とを備え、
前記カメラ向き検出部（Ｓ５Ａ）は、前記消失点検出部が検出した前記消失点と画像中心との位置の差と、前記ピッチ変動量とに基づいて、前記カメラの光軸の向きを検出する地図変化点検出装置。
【請求項９】
前記車両の位置を検出する車両位置検出部（１６１）と、
前記俯瞰画像に基づいて定まる地図画像を、前記俯瞰画像を生成した画像が撮像されたときの前記車両の位置の前記地図画像とすることで、前記俯瞰画像から地図を生成する地図生成部（２６５）を備える請求項１〜６のいずれか１項に記載の地図変化点検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
道路地図の変化点を検出する地図変化点検出装置に関する。
【背景技術】
【０００２】
計測台車を走行させて、高精度に白線位置を計測する技術が知られている。特許文献１に記載の計測台車は、オドメトリ装置、３台のＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）、３台のジャイロセンサ、レーザレーダ、カメラ、計算機を備えている。計測台車により計測された白線位置は、高精度地図に用いられる。高精度地図には、白線などの道路標示が正確に描かれる。特許文献２は、トップビュー変換処理を開示した文献である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２１８７０５号公報
【特許文献２】特開２００９−２１２７３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
新規道路が開通することがある。新規道路が開通すれば、高精度地図も更新する必要がある。また、既存の道路でも、高精度地図を更新する必要が生じる変更が行われることがある。たとえば、一番右の車線が右折専用レーンに変更になるなどが、その例である。
【０００５】
高精度地図は、実際の道路の変化に対応して速やかに更新されることが好ましい。以下では、高精度地図に示されている道路に対して、実際の道路に変化が生じた位置を変化点とする。
【０００６】
計測台車を頻繁に走行させて、作成済みの高精度地図と、計測台車が計測して得た地図とを比較すれば、変化点を検出できる。しかし、計測台車は、上述した種々の装置を備えているので高価であり、多くの台数を用意して、頻繁に種々の道路を走行させることは困難である。つまり、計測台車により変化点を迅速に検出することは困難である。
【０００７】
一般の車両には、ドライブレコーダーなど、カメラを備えた機器が搭載されることが増えてきている。そこで、一般の車両に搭載されているカメラにより撮像された画像を用いて変化点を検出することが考えられる。しかし、一般の車両に搭載されているカメラで撮像した画像を用いて変化点を検出することは容易ではない。この理由は次の通りである。
【０００８】
カメラが撮像した画像に写る道路は、実際には同じ道路幅であっても、遠方ほど狭幅に写る。そのため、カメラが撮像した画像を、単純に、高精度地図に描かれている道路部分の画像と照合することができない。
【０００９】
また、一般の車両に搭載されているカメラは、他車両など、カメラが搭載された車両の周辺に存在する障害物を撮像するために設けられており、当然、カメラにより撮像された画像には、路面上にない種々の障害物が写っている。変化点を精度よく検出するためには、カメラにより撮像された画像から、変化点の検出に不要な障害物を除去することが好ましい。
【００１０】
しかし、一般の車両に搭載されているカメラは計測車両に搭載されているものよりも解像度が高くない。そのため、画像から精度よく障害物を検出して除去できない恐れもある。
【００１１】
これらの理由により、一般の車両に搭載されている解像度が低いカメラで撮像した画像を用いて、変化点を精度よく検出することは容易ではなかったのである。
【００１２】
本開示は、この事情に基づいて成されたものであり、その目的とするところは、解像度が低いカメラを用いても精度よく変化点を検出することができる地図変化点検出装置を提供することにある。
【課題を解決するための手段】
【００１３】
上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、技術的範囲を限定するものではない。
【００１４】
上記目的を達成するための開示の一つは、
車両に備えられ、車両の周辺を撮像するカメラ（１１０）と、
カメラが撮像した画像を俯瞰画像に変換する俯瞰変換部（Ｓ６）と、
路面地図を含んだ道路地図（１５１）を記憶する地図記憶部（１５０）と、
俯瞰画像と路面地図とを照合して、路面地図に対して、実際の路面に変化が生じた位置である変化点が存在するか否かを決定する照合処理部（１６４）とを備える地図変化点検出装置である。
【００１５】
この地図変化点検出装置は、カメラが撮像した車両周辺の画像を俯瞰画像に変換する。俯瞰画像に変換することで、車両からの距離によらず、道路幅が、実際の道路と同様に一定幅の画像になる。また、俯瞰画像に変換することで、建物、樹木など、路面ではない場所に存在している種々の物体を除去することができる。この俯瞰画像を路面地図と照合する画像として用いるので、解像度が低くても、精度よく変化点を検出することができる。
【図面の簡単な説明】
【００１６】
【図１】第１実施形態の道路地図情報更新システム１００の構成を示すブロック図である。
【図２】図１の画像処理部１６２が実行する処理を示すフローチャートである。
【図３】カメラ１１０が撮像する前方画像１８０を示す図である。
【図４】図２のＳ２で生成する補正後前方画像１８１を示す図である。
【図５】実像高Ｙ、理想像高Ｙ０、入射角θ、焦点距離ｆの関係を示す図である。
【図６】補正前画像の各点（ｕ、ｖ）と、理想像の直交座標（ｕ０、ｖ０）の関係を示す図である。
【図７】前方画像１８０を示す図である。
【図８】ディストーション補正画像１８５を示す図である。
【図９】ディストーション補正前の画像を説明する図である。
【図１０】ボリューム歪補正後の画像を説明する図である。
【図１１】区画線１８２と消失点１８３の関係を示す図である。
【図１２】障害物を除去する前の俯瞰画像を示す図である。
【図１３】障害物を除去した後の俯瞰画像を示す図である。
【図１４】照合領域特定部１６３が実行する処理を示すフローチャートである。
【図１５】白線強度Ｇを算出する方法を説明する図である。
【図１６】白線強度Ｇから白線中心を検出する方法を説明する図である。
【図１７】検出した線分のパターンと走行レーンとの関係を示す図である。
【図１８】照合処理部１６４が実行する処理を示すフローチャートである。
【図１９】距離変換する前の高精度地図を示す図である。
【図２０】距離変換した後の高精度地図を示す図である。
【図２１】図１８のＳ２２において実行する拡大縮小処理を示す図である。
【図２２】図１８のＳ２２において実行する射影変換を示す図である。
【図２３】図１５のＳ２３で実行するスコアリングを説明する図である。
【図２４】第２実施形態の道路地図情報更新システム２００の構成を示すブロック図である。
【図２５】図２０の地図生成部２６５が実行する処理を示すフローチャートである。
【図２６】画像処理部１６２で生成した照合処理用の俯瞰画像を示す図である。
【図２７】図２５から、図２１のＳ３１で抽出する画像を説明する図である。
【図２８】第３実施形態で画像処理部１６２が実行する処理を示すフローチャートである。
【図２９】図２８のＳ４Ａの詳細処理を示すフローチャートである。
【図３０】１フレーム前の消失点領域画像３８６である。
【図３１】最新のフレームで得た消失点領域画像３８６である。
【図３２】ピッチ変動量δｙを説明する図である。
【図３３】ピッチ補正をしていない俯瞰画像である。
【図３４】ピッチ補正をした俯瞰画像である。
【図３５】第４実施形態で照合処理部１６４が実行する処理を示すフローチャートである。
【図３６】最初の照合領域４０１と１回目の部分領域４０２との関係を示す図である。
【図３７】１回目の部分領域４０２ａと２回目の部分領域４０３との関係を示す図である。
【発明を実施するための形態】
【００１７】
以下、実施形態を図面に基づいて説明する。図１は、地図変化点検出装置としての機能を備えた道路地図情報更新システム１００の構成を示すブロック図である。
【００１８】
［全体構成］
道路地図情報更新システム１００は、カメラ１１０、パラメータ記憶部１２０、ＧＰＳ受信機１３０、挙動検出センサ１４０、地図記憶部１５０、演算部１６０、蓄積データ記憶部１７０を備えている。この道路地図情報更新システム１００は車両１に搭載される。
【００１９】
カメラ１１０は、車両１の前方を撮像できる向きに取り付けられており、車両１の周辺のうち車両１の前方を撮像する。以下では、カメラ１１０が撮像した画像を前方画像１８０とする。図３に前方画像１８０の一例を示している。
【００２０】
本実施形態では、このカメラ１１０は、ドライブレコーダーが備えるカメラである。車両１にドライブレコーダーが搭載されていれば、道路地図情報更新システム１００が別途、カメラ１１０を備える必要はない。ドライブレコーダーが備えるカメラ１１０であるので、カメラ１１０は広角レンズを備え、画角が広角になっている。
【００２１】
パラメータ記憶部１２０は、画像処理に必要なカメラ１１０のパラメータを記憶している。このパラメータは具体的には、カメラ１１０の焦点距離ｆ、カメラ光軸のヨー角ｒｘおよびチルト角ｒｙである。カメラ１１０の焦点距離ｆは、製品により定まる値であり、パラメータ記憶部１２０に予め記憶されている。
【００２２】
一方、カメラ光軸のヨー角ｒｘおよびチルト角ｒｙは、カメラ１１０の取り付け姿勢により変化する。そこで本実施形態では、前方画像１８０を解析して、これらヨー角ｒｘおよびチルト角ｒｙを計算する。そして、計算結果をパラメータ記憶部１２０に記憶する。パラメータ記憶部１２０には、計算結果を記憶できるようにするために、書込み可能な記憶部が用いられる。
【００２３】
ＧＰＳ受信機１３０は、衛星航法システムの一つであるＧＰＳ（Global Positioning System）が備える航法衛星が送信する航法信号を受信し、受信した航法信号に基づいて現在位置を逐次算出する。
【００２４】
挙動検出センサ１４０は、車両１の挙動を検出するセンサである。加速度センサ、車速センサ、ジャイロセンサが、挙動検出センサ１４０の具体例である。
【００２５】
地図記憶部１５０には高精度地図１５１が記憶されている。高精度地図１５１は、計測台車を走行させて計測した地図であり、道路区画線などの路面標示が画像のような詳細な状態で表されている。また、高精度地図１５１には、路面よりも上方の立体物、たとえば電柱、ガードレール、道路標識も詳細に表されている。以降の説明の便宜上、この高精度地図１５１のうち路面部分を路面地図とする。また、路面地図を含んでいる高精度地図１５１は道路地図に相当する。
【００２６】
演算部１６０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータであり、ＣＰＵが、ＲＡＭの一時記憶機能を利用しつつ、ＲＯＭなどの非遷移的実体的記録媒体(non-transitory tangible storage medium)に記憶されているプログラムを実行する。これにより、演算部１６０は、車両位置検出部１６１、画像処理部１６２、照合領域特定部１６３、照合処理部１６４として機能する。これらの機能を実行すると、プログラムに対応する方法が実行される。
【００２７】
なお、演算部１６０が備える機能ブロックの一部または全部は、一つあるいは複数のＩＣ等を用いて（換言すればハードウェアとして）実現してもよい。また、演算部１６０が備える機能ブロックの一部又は全部は、ＣＰＵによるソフトウェアの実行とハードウェア部材の組み合わせによって実現されてもよい。
【００２８】
蓄積データ記憶部１７０は、照合処理部１６４の処理により検出した変化点および変化点に関する道路情報を蓄積しておく記憶部である。変化点は、高精度地図１５１に示されている道路に対して、実際の道路に変化が生じた位置である。変化点に関する道路情報は、変化点において、具体的に、道路にどのような変化が生じたのかを示す情報である。たとえば、道路に新たに追加された道路標示の文字などが、変化点に関する道路情報である。
【００２９】
次に、演算部１６０が備える各部の処理を説明する。
【００３０】
［車両位置検出部１６１の処理］
車両位置検出部１６１は、衛星航法と自立航法とを組み合わせたハイブリッド航法により、車両１の現在位置を逐次検出する。衛星航法は、ＧＰＳ受信機１３０から供給される信号に基づいて現在位置を推定する方法であり、自立航法は、挙動検出センサ１４０が検出する車両挙動に基づいて車両位置の相対軌跡を検出する方法である。なお、これに限られず、衛星航法のみで車両１の現在位置を逐次検出してもよい。車両位置検出部１６１は、検出した現在位置を画像処理部１６２に出力する。
【００３１】
［画像処理部１６２の処理］
画像処理部１６２は、カメラ１１０が逐次撮像した前方画像１８０を処理して俯瞰画像を生成する。この画像処理部１６２が実行する処理を、図２に示すフローチャートを用いて説明する。画像処理部１６２は、図２に示す処理を、道路地図情報更新システム１００の起動状態において周期的に実行する。
【００３２】
ステップ（以下、ステップを省略する）Ｓ１ではカメラ１１０が撮像した前方画像１８０が入力される。Ｓ２では、Ｓ１で入力された前方画像１８０の歪みを補正する処理を行って、図４に例示する補正後前方画像１８１を生成する。Ｓ２は歪補正処理部に相当する。
【００３３】
前方画像１８０は、広角レンズで撮像されているため大きく歪みが生じる。歪みが大きい場合、変化点の検出精度が低下する。そのため、前方画像１８０の歪みを補正する。ここでの歪みはカメラ１１０への入射角に応じて画像の中心に引き寄せられて撮像される現象であり、ディストーションと呼ばれる。広角レンズの場合、ディストーションにより画像隅部ほど画像の上下中心あるいは左右中心に引き寄せられた樽型画像となる。
【００３４】
画像の射影方式には正射影、等距離射影などがあり、射影方式に対応した歪み補正処理を行う。本実施形態では、等距離射影に対応する歪み補正処理を行う。等距離射影関係式は、式１で表される。式１において、Ｙは実像高、Ｙ０は理想像、ｆは焦点距離、θは入射角である。図５に、これら実像高Ｙ、理想像高Ｙ０、入射角θ、焦点距離ｆの関係を図示する。
【数１】
2019003606.tif 000003
【００３５】
補正前画像の各点の直交座標（ｕ、ｖ）を、実像高Ｙと極座標系における角度φとを用いて表現すると式２になる。
【数２】
2019003606.tif 000004
【００３６】
また、理想像の直交座標（ｕ０、ｖ０）は式３で示される。
【数３】
2019003606.tif 000005
【００３７】
図６に、補正前画像の各点（ｕ、ｖ）と、理想像の直交座標（ｕ０、ｖ０）と、極座標との関係を示す。歪み補正処理では、まず、（ｕ、ｖ）を式２により極座標（Ｙ、φ）に変換する。次いで、極座標のＹを、式１から得た理想像高Ｙ０に置き換える。その後、式３から、直交座標（ｕ０、ｖ０）を得る。
【００３８】
ここまでの処理で得た画像をディストーション補正画像１８５とする。図７には、図３とは別の前方画像１８０を示しており、図８には、図７の前方画像１８０を補正して得られたディストーション補正画像１８５を示している。
【００３９】
図６におけるＹとＹ０の関係からも分かるように、図８に示すディストーション補正画像１８５は、画像の端部に写し出された立体物が画像の端方向に引っ張られたような像になる。これをボリューム歪像という。
【００４０】
歪み補正処理では、ボリューム歪像を補正する処理も行う。ボリューム歪像を補正するため、図１０に示すように、画像の周縁部ほど画像の中心に向かって近づける非線形の変換を行う。この変換をボリューム歪像補正という。ボリューム歪像補正は、図９に示す直線を、図１０の式４８に示す曲線に変換する補正である。また、この補正により、画像左右方向の大きさは、図１０に示す破線まで縮められることになり、縮み率は画像の左右端ほど高くなっている。
【００４１】
ボリューム歪像補正を行った後の画像が、図４に示した補正後前方画像１８１である。補正後前方画像１８１では、道路や橋梁はほぼ直線となり、また、画像の周縁部に写し出されたビルもまっすぐに立っている。
【００４２】
Ｓ３では、補正後前方画像１８１から直線を検出する。直線を検出するために、画像の濃淡を検出するエッジ検出処理を行う。検出したエッジは、点の集合で示される。このエッジの点の集合をハフ変換することで道路の区画線等の直線を検出する。
【００４３】
Ｓ４では補正後前方画像１８１の消失点１８３を検出する。Ｓ４は消失点検出部に相当する。消失点１８３を検出するために、まず、Ｓ３で検出した直線から、補正後前方画像１８１内の中心付近に延びている平行線を抽出する。図４に示すように、直線として４本の区画線１８２が検出できた場合、たとえば、車両１が走行する車線を区画する２本の区画線１８２を用いる。これら２本の区画線１８２が交差する点を消失点１８３とする。図１１には、区画線１８２と消失点１８３の関係を図示している。
【００４４】
Ｓ５ではカメラ１１０の向きを検出する。Ｓ５はカメラ向き検出部に相当する。カメラ１１０の向きとは、カメラ１１０の光軸の向きを意味する。カメラ１１０は、ドライブレコーダーが備えるカメラであるので、車両購入後に取り付ける場合が多く、かつ、取り付け後も、カメラ１１０の向きを変えることができる場合が多い。したがって、カメラ１１０の向きは、車両１ごとに異なる。そこで、このＳ５で、カメラ１１０の向きを検出する。
【００４５】
カメラ１１０の向きは、具体的には、ヨー角ｒｘとチルト角ｒｙである。ヨー角ｒｘとチルト角ｒｙは、それぞれ、式４、式５で表すことができる。式４において、Δｘは、図１１に示すように、補正後前方画像１８１における画像中心１８４と消失点１８３とのｘ方向の距離である。式５において、Δｙは、図１１に示すように、補正後前方画像１８１における画像中心１８４と消失点１８３とのｙ方向の距離である。
【数４】
2019003606.tif 000006
【数５】
2019003606.tif 000007
【００４６】
Ｓ５においてカメラ１１０の向きが検出できたら、次に、Ｓ６において、補正後前方画像１８１に対してトップビュー変換処理（すなわち俯瞰変換）を行い、車両１の上方に視点がある俯瞰画像を生成する。Ｓ６は俯瞰変換部に相当する。
【００４７】
トップビュー変換処理は、カメラ１１０の光軸を、上方から下方へ向かう方向に変換する処理である。トップビュー変換処理は、特許文献２などに記載されている。
【００４８】
補正後前方画像１８１を俯瞰画像に変換する際には、補正後前方画像１８１のうち、車両１の上方から見たときにも見える部分を俯瞰画像に変換することになる。つまり、補正後前方画像１８１のうち路面およびその周囲を俯瞰画像に変換する。俯瞰画像に変換する範囲は、消失点１８３およびカメラ１１０の画角に基づいて定める。
【００４９】
Ｓ７では、Ｓ６で生成した俯瞰画像から、障害物を除去する。Ｓ７は障害物除去処理部に相当する。俯瞰画像にすることで、補正後前方画像１８１に写っていた障害物のうち、俯瞰画像に変換する範囲の外に写っていた障害物は除去される。これによって、変化点の検出精度の低下原因となる障害物の多くは除去できる。しかし、俯瞰画像にも、先行車両や落下物など、道路設置物以外のものが写っている場合がある。そこで、俯瞰画像から障害物を除去する処理を行う。
【００５０】
障害物を除去する方法は、指定した色を抽出し、その他の色は黒にする方法である。指定する色は、除去したくない路面標示や、道路区画線に対応する色である白やオレンジ色である。
【００５１】
図１２に、障害物である先行車両が写っている俯瞰画像を示し、図１３に、Ｓ７を実行して障害物を除去した後の画像を示す。先行車両の部分が黒に変換されることで、図１３の画像では、先行車両が除去されている。なお、一定の大きさよりも小さい障害物は、その後の処理に支障がないとみなして、元の色に復元してよい。
【００５２】
Ｓ８では、俯瞰画像内で最も輝度の高い部分が白の輝度となるように、俯瞰画像の全体の輝度を調整する。輝度調整をする理由は、俯瞰画像の輝度は、天候や時間帯、トンネル内など、カメラ撮像時の周辺環境の影響を受けるため、輝度調整をしないと、変化点を誤検出する恐れが高くなるからである。このＳ８における輝度調整を行った後の俯瞰画像が、照合処理用の俯瞰画像である。
【００５３】
Ｓ９では、車両位置検出部１６１から供給された現在位置と、Ｓ８の処理により得られた照合処理用の俯瞰画像を、照合領域特定部１６３に出力する。
【００５４】
［照合領域特定部１６３の処理］
照合領域特定部１６３は、画像処理部１６２が生成した照合処理用の俯瞰画像から、照合領域を特定する。照合領域特定部１６３は、照合処理用の俯瞰画像から道路区画線を検出し、その道路区画線の本数に基づいて、照合領域の車両幅方向の範囲を決定する。
【００５５】
照合領域特定部１６３が実行する処理を図１４に示す。照合領域特定部１６３の詳しい処理は図１４を用いて説明する。照合領域特定部１６３は、照合処理用の俯瞰画像が生成された場合に、図１４に示す処理を実行する。
【００５６】
図１４において、Ｓ１１では白線検出処理を実行する。白線検出処理は、俯瞰画像の各画素に対して、次に示すフィルタ処理を行って白線らしさを数値化する。この値を白線強度Ｇとする。
【００５７】
白線強度Ｇは、注目画素（ｍ、ｎ）を中心として、想定白線幅Ｓの範囲内の画素値を合計したものを、その面積で割った値である。注目画素（ｍ、ｎ）は、白線強度Ｇを算出する画素であり、全画素について白線強度Ｇを順番に算出する。
【００５８】
白線強度Ｇは、式６、式７、式８により表される。式６は左側白線強度ＧＬを示している。式６の右辺第１項の分子は、想定白線幅Ｓの範囲内の画素値の合計であり、式６の右辺第２項の分子は、想定白線幅Ｓの左側の範囲外画素値の合計である。
【００５９】
式７は右側白線強度ＧＲを示している。式７の右辺第１項の分子は、式６の右辺第１項と同じく想定白線幅Ｓの範囲内の画素値の合計である。式７の右辺第２項の分子は、想定白線幅Ｓの右側の範囲外画素値の合計である。式６、式７の右辺第１項、第２項の分子がそれぞれ算出している画素値合計の範囲を図１５に示している。
【００６０】
画像上の白線が明確であるほど、式６および式７において、右辺第１項の値は大きくなり、かつ、右辺第２項の値は小さくなる。したがって、式６、式７は、白線強度Ｇを示しているのである。
【００６１】
式８は、左側白線強度ＧＬと右側白線強度ＧＲとを一つの値にまとめるために二乗和平方根を算出している。画像処理においてエッジ強度の算出方法として二乗和平方根を用いる手法は一般的である。
【数６】
2019003606.tif 000008
【数７】
2019003606.tif 000009
【数８】
2019003606.tif 000010
【００６２】
なお、図１５は、画面横方向の白線強度Ｇである。Ｓ１１では、画面横方向の白線強度Ｇに加えて画面縦方向の白線強度Ｇも算出する。
【００６３】
白線強度Ｇを算出したら、次いで、白線中心を検出する。白線中心を検出するために、横方向の白線強度Ｇは縦方向に１ラインずつ強度の強い部分を探し、横方向の白線強度Ｇは縦方向に１ラインずつ強度の強い部分を探し、白線中心とする。図１６には、横方向の白線強度Ｇの大きさを１ラインずつ示している。図１６に示すピークを白線中心とする。
【００６４】
Ｓ１２では、走行レーンを認識する。走行レーンの認識処理においては、Ｓ１１で検出した白線中心が縦、横、斜め方向に連続している部分をグルーピングして（すなわちマージして）１つの線分とする。グルーピング後の画像を白線強度画像とする。また、マージした線分に含まれる白線強度Ｇの累積値をマージした線分の白線強度Ｇとし、マージした白線強度Ｇが最も強い線分を基準線とする。
【００６５】
この基準線から左右それぞれの想定レーン幅位置付近に線分を探索する。線分は、自車位置を基準として左右２本目まで探索をする。また、線分の長さから、実線と破線を区別する。
【００６６】
そして、検出した線分のパターンから、図１７に示す関係に従い、走行レーンを認識する。認識する情報は、走行している道路が、何車線の道路であるか、および、車両１がどの走行レーンを走行しているかである。
【００６７】
Ｓ１３では、Ｓ１２で生成した白線強度画像から照合領域を抽出する。抽出する領域は、縦方向すなわち自車の前後方向の領域は固定し、横方向を可変とする。照合領域の縦方向の範囲は、白線強度画像の自車両側の端から一定範囲である。
【００６８】
照合領域の横方向の範囲は、Ｓ１２で認識した走行レーンに対応している。たとえば、Ｓ１２で認識した走行レーンの数が３車線の場合には、白線強度画像の全体を照合領域の横幅とする。Ｓ１２で認識した走行レーンの数が２車線の場合には、両端の線分の中心を抽出領域の中心として、２車線分の想定車線幅＋αを抽出領域の横方向の範囲とする。このＳ１３で抽出される画像は矩形の画像になる。これにより、俯瞰画像から検出できる道路区画線の本数に応じた適切な大きさの俯瞰画像を照合領域とすることができる。なお、前方車両、並走車両が写っている部分など、Ｓ７の障害物除去により除去された部分は照合領域として使わないようにしてもよい。
【００６９】
Ｓ１４では、高精度地図１５１の路面地図から、マッチング対象領域を特定する。マッチング対象領域は、現在位置を基準として定まる一定領域である。マッチング対象領域の縦横の大きさは、白線強度画像の照合領域をマッチング対象領域に対してずらしつつ、照合判定が行えるようにするために、白線強度画像の照合領域よりも大きい大きさに設定されている。
【００７０】
［照合処理部１６４の処理］
照合処理部１６４は、Ｓ１３で抽出した照合領域の白線強度画像と、Ｓ１４で特定したマッチング対象領域の高精度地図１５１の路面地図とを照合することで、変化点を検出する。照合処理部１６４の詳しい処理は図１８を用いて説明する。照合処理部１６４は、照合領域とマッチング対象領域が決定された場合に、図１８に示す処理を実行する。
【００７１】
図１８において、Ｓ２１では、Ｓ１４で特定したマッチング対象領域の高精度地図１５１に対して距離変換を行う。ここでの距離変換は、画像処理において広く用いられている距離変換と同じであり、０画素から、最も近い非０画素までの距離を、全ての０画素に対して計算し、０画素の画素値をその距離に置き換える変換である。
【００７２】
高精度地図１５１と白線強度画像をそのままマッチングすると、レーンの幅が少し相違しているだけでも相関値が低くなってしまう。そこで、マッチング対象領域の高精度地図１５１に対して距離変換を行う。
【００７３】
式９に距離変換の式を示す。式９において、左辺が置き換える距離、ｘは非０ピクセルまでの水平距離、ｙは非ゼロピクセルまでの垂直距離、Ｎは予め設定した係数である。
【数９】
2019003606.tif 000011
【００７４】
図１９、図２０に距離変換前後の地図を示す。図１９が距離変換前の地図、すなわち、高精度地図１５１である。距離変換を行うと、図２０に示すように、白線がぼやけた状態になる。
【００７５】
Ｓ２２では、白線強度画像の照合領域の位置を所定値ずつ変化させつつ、Ｓ２１で距離変換を行った後の高精度地図１５１のマッチング対象領域と白線強度画像の照合領域との相関値を算出する。白線強度画像の照合領域の位置を所定値ずつ変化させつつ相関値を算出することで、相関値マップが作成できる。相関値マップは、マッチング対象領域に対する照合領域の相対位置と相関値との関係を表している。
【００７６】
相関値の算出においては、白線強度画像に描かれている道路区画線の間隔と、距離変換後の高精度地図１５１に描かれている道路区画線の間隔とが合わない場合には、白線強度画像を拡大縮小したり、白線強度画像を射影変換したりする。図２１に、白線強度画像を拡大縮小する図を示し、図２２に、白線強度画像を射影変換する図を示している。これら拡大縮小や射影変換などにより、高精度地図１５１の区画線と、白線強度画像の区画線とが一致するように、白線強度画像の全体の大きさを調整する。Ｓ２２は相関値マップ作成部に相当する。
【００７７】
Ｓ２３では、スコアリングを行う。スコアリングは、白線強度画像の照合領域の位置の確からしさを数値化することである。具体的には、Ｓ２３では、まず、スコアリングマップを作成する。スコアリングマップは、車両位置検出部１６１が検出した車両１の現在位置が最も確からしさが高いとして係数を１とし、そこから離れるほど係数が低くなるマップである。
【００７８】
図２３に示すように、このスコアリングマップと、Ｓ２２で作成した相関値マップを掛け合わせることでスコアリングを行う。そして、スコアが最も高い位置を、マッチング位置とする。Ｓ２３はマッチング位置決定部に相当する。
【００７９】
Ｓ２４では、白線強度画像をグレースケールに変換し、Ｓ２３で決定した白線強度画像の位置に対応する高精度地図１５１と、白線強度画像との差分の絶対値を求める。この絶対値が所定値以上であれば、変化点に決定する。
【００８０】
また、高精度地図１５１と白線強度画像との差分の絶対値をＨＳＶ色空間に置き換えて出力する。具体的には、ＨＳＶ空間に置き換える際、Ｓ（彩度）、Ｖ（明度）は固定にし、Ｈ（色相）の値を変換する。また、上記差分の絶対値を０〜２５５に正規化する。この正規化した値をＨの値とする。そして、Ｈの赤と青を入れ替えて、青が０、赤が２５５になるように割り当てる。これにより、道路情報としてペイントの増減等の変化点が色の違いで表される。
【００８１】
このようにして検出された変化点は、蓄積データ記憶部１７０に蓄積される。また、変化点の位置は、外部のシステムである更新情報活用システム２に提供される。更新情報活用システム２では、変化点を地図上にプロットしたり、リストを生成し、変化点すなわち道路が更新されたことを意味する道路更新情報を管理したりする。また、道路更新情報を期間別に比較できるようにして、どの期間に新しい道路が開通したかを確認できるようにしてもよい。
【００８２】
［実施形態の効果］
以上、説明したように、道路地図情報更新システム１００は、カメラ１１０が撮像した前方画像１８０を俯瞰画像に変換する。俯瞰画像に変換することで、車両１からの距離によらず、道路幅が、実際の道路と同様に一定幅の画像になる。また、俯瞰画像に変換することで、建物、樹木など、路面ではない場所に存在している種々の物体を除去することができる。
【００８３】
この俯瞰画像から生成した白線強度画像を、高精度地図１５１の一部である路面地図と照合する画像として用いるので、カメラ１１０の解像度が低くても、精度よく変化点を検出することができる。
【００８４】
また、本実施形態では、Ｓ７の処理を実行することで俯瞰画像から障害物を除去している。これにより、より精度よく変化点を検出することができる。
【００８５】
また、本実施形態では、マッチング処理での相関値が最も高くなる白線強度画像の位置を、そのままマッチング位置とはせずに、車両位置検出部１６１が計測した現在位置に基づいて定まるスコアリングマップで相関値を補正している。これにより、より変化点の検出精度が向上する。
【００８６】
＜第２実施形態＞
次に、第２実施形態を説明する。この第２実施形態以下の説明において、それまでに使用した符号と同一番号の符号を有する要素は、特に言及する場合を除き、それ以前の実施形態における同一符号の要素と同一である。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態を適用できる。
【００８７】
図２４に、第２実施形態の道路地図情報更新システム２００の構成を示す。第２実施形態の道路地図情報更新システム２００は、演算部２６０が地図生成部２６５を備えている点が、第１実施形態の道路地図情報更新システム１００と相違する。また、蓄積データ記憶部１７０には、生成地図画像１７１が記憶されている。生成地図画像１７１は、俯瞰画像を合成した地図である。
【００８８】
地図生成部２６５は、照合処理部１６４が変化点を検出した場合に、変化点の情報を反映した地図を生成する。地図生成部２６５の詳しい処理は図２５を用いて説明する。
【００８９】
図２５において、Ｓ３１では、重ね合わせ用の俯瞰画像を抽出する。具体的には、画像処理部１６２で生成した照合処理用の俯瞰画像から、Ｓ１３で抽出した白線強度画像の照合領域に対応した領域を抽出する。図２６に、画像処理部１６２で生成した照合処理用の俯瞰画像を示し、図２７に、Ｓ３１で抽出する重ね合わせ用の俯瞰画像を示す。なお、抽出した俯瞰画像に路面情報以外の物体が写っている箇所は使用領域から除く。Ｓ３１で抽出する画像が地図画像である。
【００９０】
Ｓ３２では、生成地図画像１７１に対して、Ｓ３１で抽出した俯瞰画像を追加する位置を決定する。この位置は、Ｓ２３で決定したマッチング位置である。
【００９１】
Ｓ３３では、Ｓ３２で決定した追加位置のうち、すでに生成地図画像１７１に画像が存在している部分について平均化画像を生成する。平均化画像は、すでにある画像と、今回追加する画像とを平均化した画像である。平均化することで、車両１の影等の路面以外の物体により生じる一時的な変化の影響を低減することができる。
【００９２】
また、平均化の際、図２７にも示すように、カメラ１１０に近い側ほどウェイトを高くして、すでに存在している画像と平均化処理を行う。俯瞰画像の特性上、カメラ１１０に近いほど画像の解像度が高いからである。
【００９３】
Ｓ３４では、画像の重ね合わせを行い、生成地図画像１７１を更新する。重ね合わせの際、すでに生成地図画像１７１に画像が存在している部分については、Ｓ３３で生成した平均化画像を、生成地図画像１７１に重ね合わせる。まだ生成地図画像１７１に画像が存在していない部分については、Ｓ３１で抽出した俯瞰画像をそのまま生成地図画像１７１に重ね合わせる。
【００９４】
このようにして逐次更新する生成地図画像１７１は、変化点の画像を含むので、変化点における変化を画像により認識できる。そのため、計測台車を走行させることなく変化点を認識できるので、高精度地図１５１の更新コストを低減できる。また、更新内容を、一時的な情報として自動運転など車両制御に利用することもできる。
【００９５】
＜第３実施形態＞
第３実施形態では、画像処理部１６２は図２８に示す処理を実行する。図２８に示す処理は、図２に示す処理に対して、Ｓ４とＳ５の間にＳ４Ａが追加されている。また、Ｓ５に代えてＳ５Ａを実行する。
【００９６】
Ｓ４Ａでは、補正後前方画像１８１のピッチ変動量を算出する。Ｓ４Ａの詳細処理は図２９に示す。図２９において、Ｓ４１では、消失点領域画像３８６を決定する。図３０、図３１に例示しているように、消失点領域画像３８６は、補正後前方画像１８１において消失点を基準として定まる領域の画像である。図３０および図３１に示している消失点領域画像３８６は、消失点１８３（図１１参照）を中心とし、１対の短辺が垂直、１対の長辺が水平な横長の矩形領域である。
【００９７】
Ｓ４２では、前回のフレームで得た消失点領域画像３８６、すなわち前回の図２８の実行において決定した消失点領域画像３８６と、このＳ４２の直前に実行したＳ４１で得た消失点領域画像３８６とをマッチングさせるマッチング処理を行う。図３０は前回のフレームで得た消失点領域画像３８６であり、図３１は今回のフレームで得た消失点領域画像３８６である。マッチング処理では、前回のフレームで得た消失点領域画像３８６を基準として、今回のフレームで得た消失点領域画像３８６を移動させて、２つの消失点領域画像３８６が最も一致するように今回のフレームで得た消失点領域画像３８６を移動させる。
【００９８】
Ｓ４３では、今回のフレームで得た消失点領域画像３８６のＳ４２における移動量を算出する。この移動量は、１フレームの間に車両１に生じたピッチ変動を意味する値として利用する。ここまでのＳ４１〜Ｓ４３が移動量算出部に相当する。
【００９９】
Ｓ４４では、前方画像１８０が入力される毎に繰り返し実行する図２８、図２９の処理において逐次Ｓ４３で算出した移動量を積分する。以下、積分した値を位置ずれ積分値とする。この位置ずれ積分値は、ピッチ変動による消失点領域画像３８６の位置ずれと、ピッチ変動以外の静的な理由による消失点領域画像３８６の位置の変化を含む。ピッチ変動以外の静的な理由は、たとえば、車両１が上り坂を走行していることによるカメラ光軸の変化である。このＳ４４が積分値算出部に相当する。
【０１００】
Ｓ４５では、Ｓ４４で算出した位置ずれ積分値の移動平均値を算出する。移動平均する区間は予め設定されている。移動平均値は、車両の静止状態での消失点領域画像３８６の位置を示すものとして用いる。位置ずれ積分値には、ピッチ変動以外の静的な理由に起因した値の変化も含まれている。移動平均値は、この静的な理由に起因する値を算出するものであり、移動平均区間は、この静的な理由に起因する値を算出できる区間に設定される。
【０１０１】
Ｓ４６では、Ｓ４４で算出した位置ずれ積分値と、Ｓ４５で算出した移動平均値との差を算出する。この差をピッチ変動量δｙとする。ピッチ変動量δｙを、位置ずれ積分値−移動平均値とするか、移動平均値−位置ずれ積分値とするかは、予め定められていれば、いずれでもよい。Ｓ４５、Ｓ４６がピッチ変動量算出部に相当する。図３２には、位置ずれ積分値、移動平均値、ピッチ変動量δｙを示している。
【０１０２】
Ｓ４６を実行後は、図２８のＳ５Ａに進む。Ｓ５Ａではカメラ１１０の向きを検出する。カメラ１１０の向きは、第１実施形態で説明したように、具体的には、ヨー角ｒｘとチルト角ｒｙである。ヨー角ｒｘは、第１実施形態で説明した式４から求める。チルト角ｒｙは、式１０から求める。式１０に示すように、ヨー角ｒｘは、画像中心１８４と消失点１８３とのｙ方向の距離Δｙと、ピッチ変動量δｙから算出する。
【数１０】
2019003606.tif 000012
【０１０３】
Ｓ５Ａを実行した後の処理は第１実施形態と同じである。Ｓ６〜Ｓ９までを実行して、照合処理用の俯瞰画像と現在位置とを照合領域特定部１６３に出力する。
【０１０４】
［ピッチ補正の効果］
図３３にピッチ補正をしていない俯瞰画像を示し、図３４にピッチ補正をした俯瞰画像を示している。ピッチ補正をした俯瞰画像が図２８を実行して得られた俯瞰画像である。ピッチ補正をしていない俯瞰画像では下側から上側に向かうに従い、白線の間隔が広がっている。一方、ピッチ補正をした俯瞰画像では、白線の間隔は、ほぼ平行になっている。
【０１０５】
このようにピッチ補正をすることで、俯瞰画像内での白線の間隔を平行に近づけることができる。したがって、この俯瞰画像に基づいて行うその後の処理の精度が向上する。
【０１０６】
＜第４実施形態＞
次に第４実施形態を説明する。第１実施形態では、照合処理部１６４は、１フレームごとにマッチング位置を別々に決定していた。これに対して、第４実施形態では、最終的には１フレームごとにマッチング位置を決定するが、その前処理として、複数フレームを結合させた画像に対してマッチング位置を決定する。その後、順次、マッチング位置を決定する画像を小さくする。以下、詳しく説明する。
【０１０７】
第４実施形態では、上述したように、複数フレームを結合させた画像に対してマッチング位置を決定する。したがって、画像処理部１６２は、複数フレーム分の前方画像１８０が入力された場合に処理を実行する。第４実施形態において画像処理部１６２が実行する処理の内容は、処理対象とする前方画像１８０が複数フレーム分である以外は、これまでの実施形態と同じである。
【０１０８】
複数フレームの数は、適宜設定することができる。たとえば、ドライブレコーダーにおいて１イベントで録画された総フレームとすることができる。
【０１０９】
照合領域特定部１６３は、画像処理部１６２が生成した照合処理用の俯瞰画像の全部に対して照合処理領域を特定する。第４実施形態において照合処理部１６４が実行する処理の内容は、処理対象とする俯瞰画像が複数フレームである以外は、これまでの実施形態と同じである。
【０１１０】
第４実施形態では、照合処理部１６４は図３５に示す処理を実行する。照合処理部１６４は、照合領域特定部１６３が照合領域を特定した場合に、図３５に示す処理を実行する。
【０１１１】
Ｓ５１では、最初の照合領域４０１（図３６参照）を決定する。最初の照合領域４０１は、複数フレーム分の白線強度画像の照合領域を結合させて得られる領域である。図３６に示した最初の照合領域４０１は、ドライブレコーダーの１イベント分の画像データに含まれる全部のフレームからそれぞれ決定した白線強度画像の照合領域を結合させて得られる領域である。
【０１１２】
Ｓ５２では、Ｓ５１で決定した最初の照合領域４０１に基づいて定まる、高精度地図のマッチング対象領域に対して、図１８のＳ２１と同じ処理を行う。照合領域特定部１６３は、図１４のＳ１４で説明したように、照合領域をもとにして高精度地図１５１の路面地図からマッチング対象領域を決定している。つまり、照合領域特定部１６３が１フレーム分の照合領域に対する路面地図のマッチング対象領域を決定している。したがって、このＳ５２では、照合領域特定部１６３が決定した１フレーム分の照合領域に対する路面地図のマッチング対象領域を、Ｓ５１で決定した最初の照合領域４０１に含まれる全フレーム分、足し合わせた領域に対して距離変換を行う。
【０１１３】
Ｓ５３では、Ｓ５１で決定した最初の照合領域４０１に含まれる全部の白線強度画像の照合領域を重ね合わせる。重ね合わせる処理は、第２実施形態で説明した地図生成部２６５と同じ処理である。
【０１１４】
Ｓ５４では、照合領域に対してマッチング処理を行い、相関値マップを作成する。照合領域は、Ｓ５１〜Ｓ５３を実行した後の初回のＳ５４の実行であれば、Ｓ５１で決定した最初の照合領域４０１である。その後の照合領域は、後述するＳ５９が実行されて決定される。Ｓ５４の処理は、領域が異なる以外は、図１８のＳ２２の処理と同じである。したがって、Ｓ５４は相関値マップ作成部に相当する。
【０１１５】
Ｓ５５では、スコアリングおよびマッチング位置の決定を行う。このＳ５５の処理は、図１８のＳ２３と同じである。したがって、Ｓ５５はマッチング位置決定部に相当する。
【０１１６】
Ｓ５６では、全部の照合領域のマッチング位置の決定が終了したか否かを判断する。最初の照合領域４０１は１つであるが、後述するＳ５９を実行することで、１つの照合領域から複数の部分領域が決定される。そして、各部分領域が次の照合領域になる。したがって、照合領域が複数存在することがある。照合領域が複数存在している場合、順次、マッチング位置を決定することになる。そこで、このＳ５６では、全部の照合領域に対するマッチング位置の決定が終了したか否かを判断する。
【０１１７】
Ｓ５６の判断がＮＯである場合には、Ｓ５７において、マッチング位置を決定する照合領域を、まだマッチング位置を決定していない照合領域に変更する。その後、Ｓ５４、Ｓ５５を実行して、マッチング位置を決定する。
【０１１８】
Ｓ５６の判断がＹＥＳであればＳ５８に進む。Ｓ５８では、マッチング位置を決定した照合領域が１フレーム分であるか否かを判断する。１フレームは最終フレーム数に相当している。本実施形態では、最終フレーム数を１フレームとしているが、それよりも多いフレーム数（たとえば２フレーム）を最終フレーム数とすることもできる。Ｓ５８の判断がＮＯであればＳ５９に進む。
【０１１９】
Ｓ５９では、各照合領域を分割して部分領域を作成する。図３６には、最初の照合領域４０１と、部分領域４０２ａ、４０２ｂ、４０２ｃ、４０２ｄ、４０２ｅが示されている。また、図３６には、高精度地図１５１の路面地図も示されている。部分領域４０２ａ、４０２ｂ、４０２ｃ、４０２ｄ、４０２ｅを区別しないときは、部分領域４０２と記載する。部分領域４０２は、２回目の照合領域になる部分である。
【０１２０】
部分領域４０２は、最初の照合領域４０１に含まれる領域であって、最初の照合領域４０１の一部の領域である。また、部分領域４０２は、最初の照合領域４０１から区画線である可能性がある部分を含む範囲である。区画線である可能性は、たとえば、エッジ強度の変化から決定する。
【０１２１】
最初の照合領域４０１に対する部分領域４０２の大きさは、たとえば、半分あるいはそれ以上である。最初の照合領域４０１に対して部分領域４０２が小さすぎると、少しずつ位置合わせをすることで誤ったマッチング位置を決定してしまうことを抑制する効果が得られにくくなるからである。部分領域４０２の数は、１または複数であり、任意に設定できる。ただし、複数に設定することが好ましい。図３６の例では、部分領域４０２の数は５である。
【０１２２】
また、部分領域４０２の数を複数に設定している場合、それぞれの部分領域４０２は、互いに一部が重なるようにすることが好ましい。ある部分領域４０２の一部が他の部分領域４０２の一部にもなっていると、部分領域４０２に対するマッチング位置が誤った位置になってしまうことを抑制できるからである。
【０１２３】
作成した部分領域は次の照合領域となる。次の照合領域を決定した後、Ｓ５４以下を実行する。２回目以降のＳ５５の実行においては、マッチング対象領域は、直前のＳ５９で部分領域を作成する対象とした照合領域である。Ｓ５４〜Ｓ５９を実行することで、照合領域が１フレームになるまで、照合領域を順次小さくしつつ、照合領域のマッチング位置を決定する。
【０１２４】
図３７には、１回目の部分領域４０２ａから作成した２回目の部分領域４０３ａ、４０３ｂ、４０３ｃ、４０３ｄ、４０３ｅを例示している。部分領域４０３ａ、４０３ｂ、４０３ｃ、４０３ｄ、４０３ｅを区別しないときは、部分領域４０３と記載する。部分領域４０３は、３回目の照合領域になる部分である。
【０１２５】
部分領域４０３ａ、４０３ｂ、４０３ｃ、４０３ｄ、４０３ｅは、部分領域４０２ａの一部の領域である。また、各部分領域４０３ａ、４０３ｂ、４０３ｃ、４０３ｄ、４０３ｅは区画線である可能性がある部分を含む範囲である。なお、区画線である可能性がある部分が、部分領域４０３を決定しようとしている照合領域の縁部付近にある場合、部分領域４０３の一部が照合領域の外に位置するように、部分領域４０３を決定してもよい。つまり、照合領域から決定する部分領域は、その一部が照合領域の外に位置していてもよい。区画線が縁部よりも中央寄りに位置するようにすることで、部分領域４０３の縁部に区画線が位置している場合と比較して、マッチング位置の精度が向上するからである。なお、図３７を例にして、部分領域４０３ａ、４０３ｂ、４０３ｃ、４０３ｄ、４０３ｅに対するマッチング対象領域は、部分領域４０２ａになる。
【０１２６】
２回目の部分領域４０３は、１回目の部分領域４０２と同様、５つ作成されており、互いに一部が重複するように作成されている。３回目以降の部分領域（すなわち４回目以降の照合領域）の作成も、１回目、２回目の部分領域４０２、４０３と同様にして作成する。
【０１２７】
Ｓ５９で複数の照合領域が作成され、かつ、照合領域の一部が互いに重複している場合、重複領域については、その重複領域を持つ複数の照合領域から、それぞれマッチング位置が得られる。つまり、重複領域については、複数のマッチング位置が得られる。重複領域の位置は、複数のマッチング位置を平均するなど、複数のマッチング位置を両方とも考慮して決定する。照合領域のうち重複領域以外の領域も、重複領域の位置に合わせて、位置を決定する。このように重複領域の位置を、複数の照合領域のマッチング位置を考慮して決定することで、重複領域がないように照合領域を決定する場合に比較して、照合領域のマッチング位置を誤った位置に決定してしまうことを抑制できる。
【０１２８】
照合領域が１フレーム分になると、Ｓ５８の判断がＹＥＳになりＳ６０に進む。Ｓ６０では、変化点を抽出する。Ｓ６０の処理は図１８のＳ２４と同じである。
【０１２９】
第４実施形態の照合処理部１６４は、上述したように、大きな照合領域でマッチング位置を決定し、順次、その照合領域を小さくしつつマッチング位置を決定する。これにより、小さい領域では、ある照合領域の画像に類似する画像がその照合領域の本来の位置とは異なる位置にも存在していたとしても、マッチング位置を誤った位置に決定してしまうことが抑制できる。
【０１３０】
以上、本実施形態を説明したが、本開示は上述の実施形態に限定されるものではなく、次の変形例も開示範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施できる。
【０１３１】
＜変形例１＞
第２実施形態の地図生成部２６５が行う処理の一部を、車両１の外部にあるセンタが行ってもよい。この場合には、Ｓ３１で抽出した画像をセンタへ送信する。そして、センタで、Ｓ３２以降の処理を行う。
【０１３２】
＜変形例２＞
第２実施形態の生成地図画像１７１は、照合処理用の俯瞰画像を、生成地図画像１７１を生成する画像としていた。しかし、生成地図画像１７１を生成する画像として白線強度画像を用いてもよい。
【０１３３】
＜変形例３＞
画像処理部１６２、照合領域特定部１６３、照合処理部１６４の機能をセンタが備え、車両１は、前方画像１８０と、車両位置検出部１６１が検出した車両１の現在位置を、逐次センタに送信するようにしてもよい。また、画像処理部１６２の処理までを車両１で行い、照合領域特定部１６３および照合処理部１６４の処理をセンタで行ってもよい。また、照合領域特定部１６３の処理までを車両１で行い、照合処理部１６４の処理をセンタで行ってもよい。これらの場合には、車両１は、センタと通信するための通信部を備える。
【０１３４】
なお、照合領域特定部１６３の処理を車両１で行う場合、センタは車両１へ、処理を行うエリアを指定することもできる。そして、指定したエリアについての高精度地図１５１のみを車両１へ送信してもよい。これにより、車両１は、高精度地図１５１を記憶するための容量および通信量を削減でき、また、センタも処理負荷を軽減できる。
【０１３５】
＜変形例４＞
カメラ１１０として、車両の後方を撮像するカメラを用いてもよい。
【符号の説明】
【０１３６】
１：車両    ２：更新情報活用システム    １００：道路地図情報更新システム    １１０：カメラ    １２０：パラメータ記憶部    １３０：ＧＰＳ受信機    １４０：挙動検出センサ    １５０：地図記憶部    １５１：高精度地図    １６０：演算部    １６１：車両位置検出部    １６２：画像処理部    １６３：照合領域特定部    １６４：照合処理部    １７０：蓄積データ記憶部    １７１：生成地図画像    １８０：前方画像    １８１：補正後前方画像    １８２：区画線    １８３：消失点    １８４：画像中心    １８５：ディストーション補正画像    ２００：道路地図情報更新システム    ２６０：演算部    ２６５：地図生成部    ３８６：消失点領域画像    ４０１：最初の照合領域    ４０２：部分領域    Ｓ２：歪補正処理部    Ｓ４：消失点検出部    Ｓ５：カメラ向き検出部    Ｓ６  俯瞰変換部、  Ｓ７  障害物除去処理部    Ｓ２２、Ｓ５４：相関値マップ作成部    Ｓ２３、Ｓ５５：マッチング位置決定部    Ｓ４１、Ｓ４２、Ｓ４３：移動量算出部    Ｓ４４：積分値算出部    Ｓ４５、Ｓ４６：ピッチ変動量算出部    δｙ：ピッチ変動量
【図１】
2019003606.tif 000013
【図２】
2019003606.tif 000014
【図３】
2019003606.tif 000015
【図４】
2019003606.tif 000016
【図５】
2019003606.tif 000017
【図６】
2019003606.tif 000018
【図７】
2019003606.tif 000019
【図８】
2019003606.tif 000020
【図９】
2019003606.tif 000021
【図１０】
2019003606.tif 000022
【図１１】
2019003606.tif 000023
【図１２】
2019003606.tif 000024
【図１３】
2019003606.tif 000025
【図１４】
2019003606.tif 000026
【図１５】
2019003606.tif 000027
【図１６】
2019003606.tif 000028
【図１７】
2019003606.tif 000029
【図１８】
2019003606.tif 000030
【図１９】
2019003606.tif 000031
【図２０】
2019003606.tif 000032
【図２１】
2019003606.tif 000033
【図２２】
2019003606.tif 000034
【図２３】
2019003606.tif 000035
【図２４】
2019003606.tif 000036
【図２５】
2019003606.tif 000037
【図２６】
2019003606.tif 000038
【図２７】
2019003606.tif 000039
【図２８】
2019003606.tif 000040
【図２９】
2019003606.tif 000041
【図３０】
2019003606.tif 000042
【図３１】
2019003606.tif 000043
【図３２】
2019003606.tif 000044
【図３３】
2019003606.tif 000045
【図３４】
2019003606.tif 000046
【図３５】
2019003606.tif 000047
【図３６】
2019003606.tif 000048
【図３７】
2019003606.tif 000049