(57)【要約】【課題】高精度な線地図を生成することができる。【解決手段】地図生成装置３０は、線分検出部２０、線分対応付部２４、平均化部２６、及び統合部２８を備える。線分検出部２０は、車両２に搭載された撮像部１２により、同一の走行区間が撮影された複数の撮像画像の各々から、特徴点の組を線分として検出することで、複数の撮像画像の各々から複数の線分を検出する。線分対応付部２４は、複数の撮像画像毎に、系列とした複数の線分について、他系列の線分の端点と、自系列の線分の端点との位置の誤差が、各系列における複数の線分全体で最も小さくなる系列間における線分の対応付けを行う。平均化部２６は、線分対応付部２４により対応付けられた２系列各々の線分に対し、線分の中間の位置に新たな線分を生成する。統合部２８は、平均化部２６が生成した新たな線分に基づいて、複数の系列間で対応付けられた複数の線分を統合する。【選択図】図１
2020140566.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された撮像部により、同一の走行区間が撮影された複数の撮像画像の各々から、複数の線分を検出する線分検出部と、
前記複数の撮像画像毎に、前記撮像画像から検出された線分の両端点と、他の撮像画像から検出された線分の両端点との位置差分量を算出し、算出された位置差分量に基づいて、前記撮像画像から検出された線分からなる系列と、他の撮像画像から検出された線分からなる系列との２系列間で、前記位置差分量が小さくなるように、線分の対応付けを行う線分対応付部と、
前記線分対応付部により対応付けられた２系列間の線分の対応付けに基づいて、対応付けられた線分の間の位置に新たな線分を生成し、前記新たな線分からなる系列を生成する平均化部と、
前記平均化部が生成した、前記新たな線分からなる系列同士の２系列について、前記線分対応付部による対応付け、及び前記平均化部による生成を行わせて、前記新たな線分からなる系列同士の２系列を統合する統合部と、
を備えた地図生成装置。
【請求項２】
前記統合部は、対応付けられた前記線分の位置を中心位置に収束させることで、前記２系列を統合する、
請求項１に記載の地図生成装置。
【請求項３】
前記線分検出部が検出した複数の線分の各々について、前記複数の撮像画像の各々に対応付けられている、前記車両の位置情報に基づいて、各線分の位置を表す座標を絶対座標に変換する投影部をさらに備え、
前記線分対応付部は、前記両端点の前記絶対座標に基づく位置に基づいて、対応付けを行う、
請求項１または請求項２に記載の地図生成装置。
【請求項４】
前記投影部は前記両端点を表す座標を、鳥瞰図における前記絶対座標に変換する、
請求項３に記載の地図生成装置。
【請求項５】
前記線分検出部は、前記複数の撮像画像各々から区画線の芯線を線分として検出する、
請求項１から請求項４のいずれか１項に記載の地図生成装置。
【請求項６】
前記平均化部は、前記系列の集合内で位置誤差の大きい上位ｎ（ｎは１以上の整数）組の系列と、前記ｎ組以外の系列を平均化する場合、前記ｎ組以外の系列の線分の位置に近寄らせた線分を生成する、
請求項１から請求項５のいずれか１項に記載の地図生成装置。
【請求項７】
前記統合部は、前記平均化部で線分の一致性が高い上位の出力系列を選別し、系列の集合を再構築する、
請求項１から請求項６のいずれか１項に記載の地図生成装置。
【請求項８】
コンピュータを、
車両に搭載された撮像部により、同一の走行区間が撮影された複数の撮像画像の各々から、複数の線分を検出する線分検出部、
前記複数の撮像画像毎に、前記撮像画像から検出された線分の両端点と、他の撮像画像から検出された線分の両端点との位置差分量を算出し、算出された位置差分量に基づいて、前記撮像画像から検出された線分からなる系列と、他の撮像画像から検出された線分からなる系列との２系列間で、前記位置差分量が小さくなるように、線分の対応付けを行う線分対応付部、
前記線分対応付部により対応付けられた２系列間の線分の対応付けに基づいて、対応付けられた線分の間の位置に新たな線分を生成し、前記新たな線分からなる系列を生成する平均化部、
前記平均化部が生成した、前記新たな線分からなる系列同士の２系列について、前記線分対応付部による対応付け、及び前記平均化部による生成を行わせて、前記新たな線分からなる系列同士の２系列を統合する統合部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、地図生成装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、車両に搭載されたカメラ等の撮像装置により撮像された複数の撮像画像を用いて地図を生成する技術が知られている。例えば、特許文献１及び２に記載の技術では、カメラにより撮像された複数の撮像画像から、道路の車線（区画線）等の線分等を検出して、地図の作成に用いている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１８２５６４号公報
【特許文献２】特開２０１７−１０３９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の技術では、車線等の線分の位置に測位誤差が生じていたり、誤検出をした線分が含まれていたりする場合がある。また、上記従来の技術では、未検出の車線が生じている場合もある。このような場合、上記従来の技術では、誤差等を検出できず、また、未検出の車線については補間されないため、実際の位置にある線分が検出されない場合がある。
【０００５】
本開示は上記の技術を考慮してなされたものであり、高精度な線地図を生成することができる地図生成装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本開示の第１の態様の地図生成装置は、車両に搭載された撮像部により、同一の走行区間が撮影された複数の撮像画像の各々から、複数の線分を検出する線分検出部と、前記複数の撮像画像毎に、前記撮像画像から検出された線分の両端点と、他の撮像画像から検出された線分の両端点との位置差分量を算出し、算出された位置差分量に基づいて、前記撮像画像から検出された線分からなる系列と、他の撮像画像から検出された線分からなる系列との２系列間で、前記位置差分量が小さくなるように、線分の対応付けを行う線分対応付部と、前記線分対応付部により対応付けられた２系列間の線分の対応付けに基づいて、対応付けられた線分の間の位置に新たな線分を生成し、前記新たな線分からなる系列を生成する平均化部と、前記平均化部が生成した、前記新たな線分からなる系列同士の２系列について、前記線分対応付部による対応付け、及び前記平均化部による生成を行わせて、前記新たな線分からなる系列同士の２系列を統合する統合部と、を備える。
【０００７】
本開示の第２の態様の地図生成装置は、第１の態様の地図生成装置において、前記統合部は、対応付けられた前記線分の位置を中心位置に収束させることで、前記２系列を統合する。
【０００８】
本開示の第３の態様の地図生成装置は、第１の態様または第２の態様の地図生成装置において、前記線分検出部が検出した複数の線分の各々について、前記複数の撮像画像の各々に対応付けられている、前記車両の位置情報に基づいて、各線分の位置を表す座標を絶対座標に変換する投影部をさらに備え、前記線分対応付部は、前記両端点の前記絶対座標に基づく位置に基づいて、対応付けを行う。
【０００９】
本開示の第４の態様の地図生成装置は、第３の態様の地図生成装置において、前記投影部は前記両端点を表す座標を、鳥瞰図における前記絶対座標に変換する。
【００１０】
本開示の第５の態様の地図生成装置は、第１の態様から第４の態様のいずれか１態様の地図生成装置において、前記線分検出部は、前記複数の撮像画像各々から区画線の芯線を線分として検出する。
【００１１】
本開示の第６の態様の地図生成装置は、第１の態様から第５の態様のいずれか１態様の地図生成装置において、前記平均化部は、前記系列の集合内で位置誤差の大きい上位ｎ（ｎは１以上の整数）組の系列と、前記ｎ組以外の系列を平均化する場合、前記ｎ組以外の系列の線分の位置に近寄らせた線分を生成する。
【００１２】
本開示の第７の態様の地図生成装置は、第１の態様から第６の態様のいずれか１態様の地図生成装置において、前記統合部は、前記平均化部で線分の一致性が高い上位の出力系列を選別し、系列の集合を再構築する。
【００１３】
また、上記目的を達成するために本開示の第８の態様のプログラムは、コンピュータを、車両に搭載された撮像部により、同一の走行区間が撮影された複数の撮像画像の各々から、複数の線分を検出する線分検出部、前記複数の撮像画像毎に、前記撮像画像から検出された線分の両端点と、他の撮像画像から検出された線分の両端点との位置差分量を算出し、算出された位置差分量に基づいて、前記撮像画像から検出された線分からなる系列と、他の撮像画像から検出された線分からなる系列との２系列間で、前記位置差分量が小さくなるように、線分の対応付けを行う線分対応付部、前記線分対応付部により対応付けられた２系列間の線分の対応付けに基づいて、対応付けられた線分の間の位置に新たな線分を生成し、前記新たな線分からなる系列を生成する平均化部、前記平均化部が生成した、前記新たな線分からなる系列同士の２系列について、前記線分対応付部による対応付け、及び前記平均化部による生成を行わせて、前記新たな線分からなる系列同士の２系列を統合する統合部、として機能させるためのものである。
【発明の効果】
【００１４】
本開示によれば、高精度な線地図を生成することができる、という効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】実施形態の地図生成システムの全体構成の一例を示すブロック図である。
【図２】本開示の技術の一例の概要を示す図である。
【図３】実施形態の地図生成装置のハードウエア構成の一例を示す図である。
【図４】地図生成装置により実行される線地図生成処理の手順の一例を示すフローチャートである。
【図５】撮像画像から線分検出部により検出された線分を、投影部によりＥＮ座標にプロットした図（ＥＮ座標図）の一例を示す図である。
【図６】平行移動により重なる特徴点の組をインライアと判定する例を説明するための図である。
【図７】線分対応付部による線分の対応付けを説明するための図である。
【図８】線分対応付部による平行移動量の補間を説明するための図である。
【図９】平均化部による線分の平均化処理を説明するための図である。
【図１０】統合部による複数の系列の統合について説明するための図である。
【図１１Ａ】線分対応付部により２系列の線分が対応付けられた状態の一例を示す図である。
【図１１Ｂ】統合部による図１１Ａに示した系列の線分の統合結果の一例を示す図である。
【図１１Ｃ】図１１Ａに示した各系列の線分全体を平行移動させた場合の統合結果の一例を示す図である。
【図１２Ａ】系列Ｐの線分の一例を示す投影図である。
【図１２Ｂ】系列Ｑの線分の一例を示す投影図である。
【図１２Ｃ】線分対応付部により図１２Ａ及び図１２Ｂの２系列の線分が対応付けられた状態の一例を示す図である。
【図１２Ｄ】統合部による図１２Ｃに示した系列の線分の統合結果の一例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１７】
まず、本実施形態の地図生成システムの全体構成について説明する。
図１は、本実施形態の地図生成システム１の全体構成の一例を示すブロック図である。本実施形態の地図生成システム１は、車両２に搭載された撮像部１２により撮像された撮像画像から地図を生成する地図生成システムである。
【００１８】
図１に示すように、地図生成システム１は、地図生成装置１０、撮像部１２、測位部１４、撮像画像データベース１５、及び地図データベース１８を備える。
【００１９】
撮像部１２及び測位部１４は、車両２に搭載されている。撮像部１２は、具体的にはカメラ等であり、車両２の前方の道路を被写体とし、動画像の撮影、または所定のタイミングで静止画像の撮影を行う。測位部１４は、車両２の現在位置を計測する機能を有しており、例えば、ＧＰＳ（Global Positioning System）装置等が挙げられる。
【００２０】
車両２からは、撮像部１２により撮像された撮像画像に、当該撮像画像を撮像した際の測位部１４の測位結果である車両２の位置が対応付けられた状態で、撮像画像データベース１５に出力される。
【００２１】
本実施形態の地図生成システム１では、同一の走行区間について、当該走行区間を走行する車両２に搭載された撮像部１２により撮像された複数の撮像画像が、測位部１４により得られた車両２の位置と対応付けられた状態で、撮像画像データベース１５に記憶される。換言すると、撮像画像データベース１５は、同一走行区間が撮影された複数の撮像画像を、撮像位置と対応付けられた状態で記憶する。
【００２２】
なお、図１には車両２を１台のみ図示したが、１台の車両２が、当該走行区間を複数回走行し、走行する毎に撮像部１２により撮像された撮像画像を取得する形態であってもよいし、複数の車両２が同一の走行区間を走行する際に撮像部１２により撮像された撮像画像を取得する形態であってもよい。図２に示す、本開示の技術の一例の概要では、車両２１〜２４の４台の車両の各々が、撮像部１２及び測位部１４を搭載しており、道路Ｒを走行した際に、道路Ｒを撮像した形態を示している。この場合、撮像画像データベース１５には、道路Ｒの撮像画像に、道路Ｒに対応する各車両２１〜２４の位置が撮影位置として対応付けられた状態で記憶される。
【００２３】
地図生成装置１０は、線分検出部２０、投影部２２、線分対応付部２４、平均化部２６、及び統合部２８を備える。
【００２４】
図３は地図生成装置１０のハードウエア構成の一例を示す図である。図３に示すように、地図生成装置１０は、各種制御及び各種演算を行うコンピュータとして構成されている。即ち、地図生成装置１０は、ＣＰＵ（Central Processing Unit）３０Ａ、ＲＯＭ（Read Only Memory）３０Ｂ、ＲＡＭ（Random Access Memory）３０Ｃ、不揮発性記憶部３０Ｄ、入出力インターフェース（Ｉ／Ｏ）３０Ｅ、及び通信部３１を備えている。ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、不揮発性記憶部３０Ｄ、及びＩ／Ｏ３０Ｅの各々は、バス３０Ｆを介して接続されている。
【００２５】
通信部３１は、Ｉ／Ｏ３０Ｅに接続されている。通信部３１は、通信回線を介して撮像画像データベース１５や地図データベース１８等の外部装置と通信を行うためのインターフェースである。
【００２６】
本実施形態の地図生成装置１０では、ＲＯＭ３０Ｂには、後述する「線地図生成処理」を実行するためのプログラムが記憶されている。ＣＰＵ３０Ａは、ＲＯＭ３０Ｂに記憶されたプログラムを読み出し、ＲＡＭ３０Ｃをワークエリアとして使用してプログラムを実行する。ＣＰＵ３０Ａが、ＲＯＭ３０Ｂに記憶されたプログラムを実行することにより、ＣＰＵ３０Ａが、線分検出部２０、投影部２２、線分対応付部２４、平均化部２６、及び統合部２８の各々として機能する。
【００２７】
線分検出部２０は、撮像画像データベース１５から取得した複数の撮像画像の各々から、特徴点の組を線分として検出する。線分検出部２０は、撮像画像から、道路Ｒの区間線分等を含む複数の線分を検出する。線分検出部２０は、線分の検出結果と、撮像位置が対応付けられた撮像画像とを、投影部２２に出力する。
【００２８】
投影部２２は、線分検出部２０が検出した複数の線分の各々について、各撮像画像の撮像位置に基づいて、各線分の位置を表す座標を絶対座標に変換する。以下、説明の便宜上、各撮像画像から検出された複数の線分を、絶対座標に変換した画像を「投影画像」という。図２に示した例では、車両２１１により撮像された撮像画像からは、区画線９０を表す線分９１１を含む投影画像５０１が得られる。同様に、車両２１２により撮像された撮像画像からは、区画線９０を表す線分９１２を含む投影画像５０２が得られ、車両２１３により撮像された撮像画像からは、区画線９０を表す線分９１３を含む投影画像５０３が得られ、車両２１４により撮像された撮像画像からは、区画線９０を表す線分９１４を含む投影画像５０４が得られる。
【００２９】
なお、以下では、各投影画像（撮像画像）毎に検出した複数の線分を１つの系列として扱う。
【００３０】
線分対応付部２４は、各系列の線分について、他系列の線分の端点と、自系列の線分の端点との位置の誤差が、各系列における複数の線分全体で最も小さくなるように各線分の対応付けを行う。線分対応付部２４は、各線分についての対応付結果を平均化部２６に出力する。
【００３１】
平均化部２６は、線分対応付部２４により対応付けられた２系列各々の線分に対し、線分の中間の位置に新たな線分を生成する。図２に示した例では、投影画像５０１における線分の系列と、投影画像５０２における線分の系列とに対し、線分対応付部２４による線分対応付けを行い、平均化部２６により、線分９２１２を生成した状態を示している。また、投影画像５０３における線分の系列と、投影画像５０４における線分の系列とに対し、線分対応付部２４による線分対応付けを行い、平均化部２６により、線分９２３４を生成した状態を示している。
【００３２】
統合部２８は、平均化部２６が生成した線分に基づいて、複数の系列間で対応付けられた複数の線分を統合する。具体的には、統合部２８は、上記線分対応付部２４及び平均化部２６の各処理を繰り返し行わせ、各線分の位置を、収束させる。図２に示した例では、統合部２８は、線分９２１２を含む系列と、線分９２３４を含む系列とについて、線分対応付部２４及び平均化部２６の各処理を繰り返させて、線分９２１２と線分９２３４とを、線分９４１２３４の位置に収束させる。なお、本実施形態での統合部２８は、複数の系列について、線分対応付部２４及び平均化部２６の各処理を繰り返させる際、平均化部２６で線分音一致性が高い系列を選別することで、複数の系列により成る集合を再構築する（詳細後述）。
【００３３】
統合部２８により収束された線分の位置を表す情報は、地図データベース１８に出力される。地図生成装置１０は、複数の走行区間毎に、上記線分検出部２０〜統合部２８の処理を繰り返し、各線分の位置を表す情報を地図データベース１８に出力する。本実施形態の地図生成システム１では、各走行区間毎の各線分の位置を表す情報を、走行区間の位置に応じて繋げることで、線地図が得られる。
【００３４】
次に、本実施形態の地図生成装置１０の作用について詳細に説明する。ＣＰＵ３０ＡがＲＯＭ３０Ｂに記憶されたプログラムを実行することによって、図４に示す線地図生成処理が実行される。図４には、本実施形態の地図生成装置１０で実行される線地図生成処理の流れの一例を表すフローチャートが示されている。なお、一例として本実施形態の地図生成装置１０では、予め定められたタイミング毎や、各走行区間毎に予め定められた数の撮像画像が撮像画像データベース１５に格納されたタイミング毎に、図４に一例を示した線地図生成処理が実行される。
【００３５】
ステップＳ１００で線分検出部２０は、撮像画像データベース１５から取得した撮像画像から線分を検出する。線分検出部２０が、撮像画像から線分を検出する方法は特に限定されないが、一例として本実施形態の線分検出部２０は、撮像画像から、区画線の芯線を表す線分を、二値化、距離変換、及びハフ変換を行うことにより検出する。線分検出部２０は、距離変換した撮像画像の各行に対し、距離値について、当該距離値が左右の画素における距離値よりも大きい峰部分をハフ空間に投影する。検出する線分の上下の端点は、距離値が０（ゼロ）ではない上限及び下限より求められる。
【００３６】
なお、本実施形態の線分検出部２０は、同一走行区間を撮像した複数の撮像画像について、本処理及び以下の処理を行う。
【００３７】
次のステップＳ１０２で投影部２２は、上記ステップＳ１００で検出した線分を投影し、鳥瞰図における絶対座標にする。一例として、本実施形態の投影部２２は、検出した線分を右が東、上が北となるＥＮ（East-North）座標に変換する。下記（１）式〜（４）式の変換式により、各線分の端点の座標を変換する。
【００３８】
具体的には、撮像画像の撮像面が、道路Ｒの路面に対し、ほぼ垂直と仮定した場合の、撮像画像の座標と、撮像部１２の中心座標との変換を、（１）式及び（２）式により行う。
ｆ：（ｖ−ｖ０）＝ｚ：ｙ    ・・・（１）
ｆ：（ｕ−ｕ０）＝ｚ：ｘ    ・・・（２）
【００３９】
なお、上記（１）式及び（２）式において、（ｕ，ｖ）は、撮像画像中の座標［pix］であり、（ｘ、ｚ）は、撮像部１２の中心座標、右手方向ｘ［m］と進行方向ｚ［m］である。また、ｆは、撮像部１２の焦点距離［pix］であり、ｙは、車両２における撮像部１２が設置されている位置の高さ［m］であり、（ｕ０，ｖ０）は、撮像画像中の消失点の座標［pix］である。
【００４０】
また、撮像部１２の中心座標からＥＮ座標への変換には、下記（３）式及び（４）式を用いる。
ｅ＝ｅ０＋（ｘ＋Δｘ）ｃｏｓθ＋（ｚ＋Δｚ）ｓｉｎθ    ・・・（３）
ｎ＝ｎ０＋（ｘ＋Δｘ）ｓｉｎθ＋（ｚ＋Δｚ）ｃｏｓθ    ・・・（４）
【００４１】
なお、上記（３）式及び（４）式において、（ｅ，ｎ）は、ＥＮ座標［m］であり、（ｅ０，ｎ０）は、測位部１４により得られた車両２の基準位置のＥＮ座標［m］である。また、（Δｘ，Δｚ）は、車両２の基準位置に対する撮像部１２の相対位置［m］であり、θは、車両２の方位角（北が０で、時計回りを正とする）［rad］である。
【００４２】
図５には、車両２の撮像部１２により撮像された撮像画像から線分検出部２０により検出された線分を、投影部２２によりＥＮ座標にプロットした図（ＥＮ座標図）の一例を示す。図５に例示したように、区間線以外の不要物体の線分等も後検出されている。
【００４３】
次のステップＳ１０４で線分対応付部２４は、上記ステップＳ１０２によりＥＮ座標に変換された各線分の端点に、下記参考文献１のスペクトル照合を応用し、複数の系列の線分について１体１の対応付けを導出する。
［参考文献１］M. Leordeanu and M. Hebert, “A spectral technique for correspondence problems using pairwise constraints," Proc. 10th IEEE Int. Conf. on Computer Vision, vol. 2, pp. 1482-1489, Beijing, China, Oct. 2005.
【００４４】
ここで、参考として、系列Ｐに含まれる複数の特徴点と、系列Ｑに含まれる複数の特徴点を対応付ける問題を考える。以下、系列Ｐに含まれる特徴点数を｜Ｐ｜とし、系列Ｑに含まれる特徴点数を｜Ｑ｜とする。系列Ｐ、及び系列Ｑの各々から２点ずつ特徴点を抽出し、各々ｐｉ１，ｐｊ１∈Ｐ、及びｑｉ２，ｑｊ２∈Ｑと表す。点ｐｉ１及び点ｑｉ２との対応関係が、点ｐｊ１及び点ｑｊ２との間にも成立するとき、（ｉ１，ｉ２）と、（ｊ１，ｊ２）とは、インライアを構成する組とみなす。図６には、平行移動により重なる特徴点の組をインライアと判定する例を示す。
【００４５】
（ｉ１，ｉ２）と、（ｊ１，ｊ２）とは同じ平行移動量により重なる組である一方、別の点ｑｋ２∈Ｑを含む（ｊ１，ｋ２）の組は、これを満たさない。この事象を表現するために、要素数｜Ｐ｜｜Ｑ｜×｜Ｐ｜｜Ｑ｜の行列Ｍを定義し、上記に対応する要素Ｍ（（ｉ１，ｉ２），（ｊ１，ｊ２））に「１」を、そうではない組に「０」を設定する。全要素の設定後、下記処理により全体で最適かつ重複のない要素間対応付け結果を求められる。
【００４６】
まず、行列Ｍの第１主成分に対応する固有ベクトルｘをべき乗法により求める。そして、要素数｜Ｐ｜｜Ｑ｜×１のｘを要素数｜Ｐ｜×｜Ｑ｜の行列Ｘに再編成する。さらに、Hungarian法を適用し、１対１対応の対応関係を求める。例えば、図６に示した例では、インライアの組（ｉ１，ｉ２）；（ｊ１，ｊ２）は、行列Ｍから再編成された行列Ｘの要素より識別できる。
【００４７】
次に、上記ステップＳ１０２により得られた、ある投影画像における系列Ｐ、及び他の投影画像における系列Ｑ中の線分を対応付ける問題を考える。上記参考文献１における手法との相違点は、照合の単位を点から線分に置き換えていること、及び行列Ｍに格納する値を線分の端点位置差分に置き換えていることである。線分はＥＮ座標を要素とする両端点２点により表される。図７に示す例のように、各走行より２線分を選択し、ｐｉ１，ｐ’ｉ１，ｐｊ１，ｐ’ｊ１∈Ｐ、ｑｉ２，ｑ’ｉ２，ｑｊ２，ｑ’ｊ２∈Ｑと表す。組（ｉ１，ｉ２）に対応する位置差分量ｖｉ１，ｉ２を下記（５）式により導出する。
【数１】
2020140566.tif 000003
【００４８】
続いて、組(ｉ１，ｉ２）及び（ｊ１，ｊ２）のインライアらしさを表す値を、上記（５）式により得られる位置差分量を適用後の端点位置差分をもとに算出し、行列Ｍに格納する。行列Ｍは、下記（６）式により表される。
【数２】
2020140566.tif 000004
【００４９】
この値は、両線分の端点が位置差分量を適用後に完全に一致するとき「１」となり、離れるほど「０」に近付く。上記（６）式におけるλは。大きな平行移動量を抑制するための重みであり、測位精度を考慮し下記（７）式により定義する。
【数３】
2020140566.tif 000005
【００５０】
系列Ｐまたは、系列Ｑに含める線分は次のように選別する。上記ステップＳ１００及びＳ１０２により得られた投影画像各々における複数の線分の中で、両端点の位置の一致（例えば、距離が０．５ｍ未満）する線分が複数フレームに存在するものの確信度を１とし、照合対象とする。それ以外の線分は、確信度を０とし、本処理（線分対応付）には用いない。なお、本処理に用いなかった線分も後段の処理（Ｓ１０８の処理）には用いる。
【００５１】
すなわち、位置差分量適用後における線分の両端の位置の差分が小さい組は、インライアとなる。これにより、体表的な点を対応付けて、線分を合わせるポイントを抽出する。
【００５２】
次のステップＳ１０６で線分対応付部２４は、線分の移動量を補間する。まず、インライアと判定された線分の組について、上記（５）式の位置差分量が算出されたものとする。もし、系列Ｐ及び系列Ｑが大局的な平行移動により一致する場合は、固有ベクトルｘの最大要素に対応する線分組の位置差分量が、系列Ｐ，Ｑ間の位置差分量とみなせる。しかし実際は、測位部１４の軌跡誤差の影響等で局所的な歪みが発生する。したがって、線分対応付部２４によって得られた１対１対応の線分組の中から、固有ベクトルｘの要素の大きい、上位ｎ組を利用する。本処理によって、適切なｎの値が求められる。後段の処理では、上位ｎ組の線分の組を制御点とし、その中間に存在する線分の位置差分量を線形補間することで、系列を重ね合わせることができる。
【００５３】
図５に、線分対応付部２４による補間の例を示す。組（ｉ１，ｉ２）及び（ｋ１，ｋ２）は、上位ｎ組に該当するインライアとする。進行方向に沿ってそれらの中間に位置する線分ｐｊ１ｐ’ｊ１∈Ｐの位置差分量ｖｊ１は、前後の両線分ｐｉ１ｐ’ｉ１，ｐｋ１ｐ’ｋ１∈Ｐの位置差分量から、下記（８）式及び（９）式により導出される。
【数４】
2020140566.tif 000006
【００５４】
なお、片側のみに制御点が存在する場合は、外挿せず最近傍の位置差分量をそのまま適用する。例えば、パラメータｎの上限を１０として、その範囲で系列Ｐ，Ｑ間全体の線分の位置差分が最も小さくなるように、パラメータｎを決定する。全体の線分の位置差分は下記（１０）式により導出される。
【数５】
2020140566.tif 000007
【００５５】
次のステップＳ１０８で平均化部２６は、各線分を平均化する。本ステップの処理は、上記確信度の値に関わらず、全ての線分を処理の対象とする。パラメータｎが定まり、統合に用いる対応付けの組が確定したら、線分対応付部２４によって導出された位置差分量に基づいて、系列Ｐ及び系列Ｑ各々の全線分に平行移動処理を適用する。
【００５６】
位置差分量の算出には上記（８）式及び（９）式の補間式を利用する。系列Ｐの線分ｊ１の平行移動量ｔｊ１は下記（１１）式で導出され、系列Ｑの線分ｊ２の平行移動量ｔｊ２は下記（１２）式で導出される。下記（１１）式及び（１２）式に示すように、平行移動量の導出には、線分対応付部２４により導出された固有ベクトルｘの最大要素を与える組の位置差分量ｖ＊を利用する。断りのない限り、係数ｋを１／２（ｋ＝１／２）とする。ｖ＊／２ずつ平行移動させた位置は、系列Ｐ，Ｑ間の最も信頼できる中間位置とみなすことができるからである。なお、詳細は後述するが、いずれかの系列が信用できない（位置が外れている）場合等は、ｋ＝１／２とせず、係数ｋの値を信用できる系列に合わせた値に調整する。
【数６】
2020140566.tif 000008
【００５７】
平均化部２６は、線分対応付部２４の結果に基づいて、入力系列Ｐ，Ｑを平均化し、新たに平均化後の系列Ｒを生成する。一例として、図９には、系列Ｐの線分ｐｊ１ｐ’ｊ１と系列Ｒの線分ｑｊ２ｑ’ｊ２を平均化し、系列Ｒの線分ｒｊ１，ｊ２ｒ’ｊ１，ｊ２を生成した例を示す。
【００５８】
系列Ｒの線分を、ｒｊ１，ｊ２ｒ’ｊ１，ｊ２と表し、確信度をｃ（ｒｊ１，ｊ２）と表すと、系列Ｒの線分の端点の位置ｒｊ１，ｊ２は下記（１３）式で表され、両端点の距離ｄは下記（１４）式で表され、及び確信度ｃ（ｒｊ１，ｊ２）は下記（１５）式で表される。なお、下記（１３）式〜（１５）式において、線分ｐｊ１ｐ’ｊ１の確信度をｃ（ｐｊ１）、線分ｑｊ２ｑ’ｊ２の確信度をｃ（ｑｊ２）とする。
【数７】
2020140566.tif 000009
【００５９】
１線分に対し他系列の複数の線分が対象となる場合、確信度ｃ（ｒｊ１，ｊ２）が最大となる線分の組に対し出力系列Ｒの線分ｒｊ１，ｊ２ｒ’ｊ１，ｊ２を生成する。
【００６０】
なお、確信度が１となる系列Ｒの線分を生成しなかった系列Ｐ，Ｑにおける確信度が１の線分については、平行移動適用後の線分を系列Ｒに確信度を１として登録する。例えば、図９に示した例では、系列Ｐにおける確信度が１の線分ｐｌ１ｐ’ｌ１について、対応付けられた系列Ｑの線分がなく、確信度が１とな系列Ｒの線分を生成しなかったため、平行移動適用後の線分ｒｌ１，＊ｒ’ｌ１，＊を系列Ｒに確信度を１として登録する。
【００６１】
次のステップＳ１１０で統合部２８は、集団内の全系列の組の処理を完了したか否かを判定する。未だ集団内の全系列の組の処理を完了していない場合、ステップＳ１１０の判定が否定判定となり、ステップＳ１１２へ移行する。ステップＳ１１２で統合部２８は、正規化確信度に基づいて、系列を再構築した後、ステップＳ１０４に戻り、再構築した系列に基づいてステップＳ１０４〜Ｓ１０８の各処理を繰り返す。一方、集団内の全系列の組の処理を完了した場合、ステップＳ１１０の判定が肯定判定となり、本線地図生成処理を終了する。
【００６２】
本実施形態では、複数系列の線分を統合する場合、例えば、道路Ｒの車線毎に系列の集合｛Ａ１，Ａ２，Ａ３，Ａ４・・・｝、及び｛Ｂ１，ｂ２，ｂ３，ｂ４・・・｝を定義し、各集合内の全組み合わせについて、上記ステップＳ１０８の平均化部２６による平均化を実施する。
【００６３】
ステップＳ１０８の処理により確信度が「未定」とされた線分については、集合内で１組でも他系列と対応付けが可能な事例があった場合は、確信度を１とし、当該事例がなかった場合は、確信度を０とする。
【００６４】
正規化確信度の大きい順に出力数系列（例えば、８系列）を選別し、次のステップ用の集合を再構築する。正規化確信度は、例えば、下記（１６）式により表される。
正規化確信度＝（上記（１５）式のｅｘｐ（−ｄ）を出力系列内で総和した値）／（検出線分数×走行距離）    ・・・（１６）
【００６５】
同じ系列の組み合わせが重複する場合、例えば、図１０に示した例では、「Ａ１２３」の場合、正規化確信度が最大の系列を採用する。
【００６６】
測位部１４における大きな測定誤差を除外するため、移動量ｖ＊のノルム｜｜ｖ＊｜｜を集合中で平均した値が大きい順に、上位の何割か（例えば、４割等）に入る系列を、位置の外れた系列とみなし、線分（端点）の位置を調整する。対応付ける系列を系列Ｐ、Ｑとした場合、以下のいずれかの態様をとる。
【００６７】
系列Ｐが上記に該当する場合、上記（１１）式及び（１２）式において係数ｋを１（ｋ＝１）とする。また、系列Ｑが上記に該当する場合、上記（１１）式及び（１２）式において係数ｋを０（ｋ＝０）とする。また、系列Ｐ，Ｑの両方が上記に該当する場合、系列Ｐ，Ｑから系列Ｐ，Ｑ以外への移動量ｖ＊を小集団内で平均した移動量を加算する。
【００６８】
一例としては、集合内の統合回数を２回、集合間の統合回数を１回とし、統合部２８は、最終的に正規化確信度が最大の系列を統合結果として地図データベース１８へ出力する。
【００６９】
例えば図１０に示した例では、ある車線について、各々異なる系列から検出された線分Ａ１、Ａ２、Ａ３、及びＡ４を用い、上記Ｓ１０４〜Ｓ１０８の処理により線分Ａ１及び線分Ａ２から線分Ａ１２を生成し、線分Ａ１及び線分Ａ３から線分Ａ１３を生成し、線分Ａ２及び線分Ａ３から線分Ａ２３を生成し、線分Ａ３及び線分Ａ４から線分Ａ３４を生成した場合を示している。さらに、上記ステップＳ１０４〜Ｓ１０８の処理を繰り返し、線分Ａ１２及び線分Ａ１３から線分Ａ１２３を生成し、線分Ａ１３及び線分Ａ２３から線分Ａ１２３を生成し、線分Ａ１２及び線分Ａ３４から線分Ａ１２３４を生成する。この場合、線分Ａ１２３は重複するため、正規化確信度が高い組み合わせの線分、図１０に示した例では、線分Ａ１２及び線分Ａ１３の組み合わせによる線分Ａ１２３を採用する。
【００７０】
また、各々異なる系列から検出された線分Ｂ１、Ｂ２、Ｂ３、及びＢ４を用い、上記Ｓ１０４〜Ｓ１０８の処理により線分Ｂ１及び線分Ｂ２から線分Ｂ１２を生成し、線分Ｂ１及び線分Ｂ３から線分Ｂ１３を生成し、線分Ｂ２及び線分Ｂ４から線分Ｂ２４を生成し、線分Ｂ３及び線分Ｂ４から線分Ｂ３４を生成した場合を示している。さらに、上記ステップＳ１０４〜Ｓ１０８の処理を繰り返し、線分Ｂ１３及び線分Ｂ２４から線分Ｂ１２３４を生成する。この場合、線分Ｂ１２及び線分Ｂ３４は正規化確信度が低い組み合わせの線分であるため、統合に用いない。
【００７１】
そして、統合部２８は、集合Ａの線分Ａ１２３４と、集合Ｂの線分Ｂ１２３４を統合して、統合結果Ａ１２３４Ｂ１２３４を導出し、地図データベース１８に出力する。
【００７２】
本実施の形態の地図生成装置１０の適用例について図１１Ａ及び図１１Ｂに示す。図１１Ａに示した例では、系列Ｐ及び系列Ｑ各々複数の線分を同一平面上に表しており、線分対応付部２４により、系列Ｐの線分と系列Ｑの線分とが対応付けられた状態を示している。なお、図１１Ａに示した例では、対応付けられた線分同士を矢印で示している。また、図１１Ｂに示した例では、統合部２８により系列Ｐと系列Ｑとを統合して得られた統合結果の一例を示している。なお、図１１Ｂでは、統合結果（インライア）の線分を実線で示し、アウトライアの線分を点線で示す。また、比較例として、図１１Ｃには、図１１Ａにおける系列Ｐの各線分と、系列Ｑの各線分全体を平行移動させた場合の統合結果の例を示す。図１１Ｃでは、図１１Ｂと同様に、インライアの線分を実線で示し、アウトライアの線分を点線で示す。図１１Ｂ及び図１１Ｃを比較するとわかるように、本実施形態の地図生成装置１０によれば、単純に系列の線分を平行移動させた場合に比べて、系列間で適切に線分の統合が行われていることがわかる。
【００７３】
また、本実施の形態の地図生成装置１０の適用例について図１２Ａ〜図１２Ｄに示す。図１２Ａに示した例では、線分検出部２０により検出され投影部２２により座標が変換された系列Ｐの複数の線分を示す投影図を示している。また、図１２Ｂに示した例では、線分検出部２０により検出され投影部２２により座標が変換された系列Ｑの複数の線分を示す投影図を示している。系列Ｐ、及び系列Ｑの各々は、同一走行区間の道路Ｒの左右を撮像した撮像画像から得られた投影画像である。図１２Ｃには、線分対応付部２４により、図１２Ａに示した系列Ｐの線分と、図１２Ｂに示した系列Ｑの線分とが対応付けられた状態を示している。図１２Ｃでは、上記図１１Ａと同様に対応付けられた線分同士を矢印で示している。さらに、図１２Ｄには、統合部２８により系列Ｐと系列Ｑとを統合して得られた統合結果の一例を示している。なお、図１２Ｄでは、上記図１１Ｂと同様に、統合結果（インライア）の線分を実線で示し、アウトライアの線分を点線で示す。図１２Ｄに示すように、本実施形態の地図生成装置１０によれば、道路Ｒの左右を撮像した撮像画像を用いた場合、道路Ｒの中央付近の区画線を表す線分が統合により、適切に検出されていることがわかる。
【００７４】
以上説明したように、上記各実施形態の地図生成装置１０は、線分検出部２０、線分対応付部２４、平均化部２６、及び統合部２８を備える。線分検出部２０は、車両２に搭載された撮像部１２により、同一の走行区間が撮影された複数の撮像画像の各々から、複数の線分を検出する。線分対応付部２４は、複数の撮像画像毎に、撮像画像から検出された線分の両端点と、他の撮像画像から検出された線分の両端点との位置差分量を算出し、算出された位置差分量に基づいて、撮像画像から検出された線分からなる系列と、他の撮像画像から検出された線分からなる系列との２系列間で、位置差分量が小さくなるように、線分の対応付けを行う。平均化部２６は、線分対応付部２４により対応付けられた２系列間の線分の対応付けに基づいて、対応付けられた線分の間の位置に新たな線分を生成し、新たな線分からなる系列を生成する。統合部２８は、平均化部２６が生成した、新たな線分からなる系列同士の２系列について、線分対応付部２４による対応付け、及び平均化部２６による生成を行わせて、新たな線分からなる系列同士の２系列を統合する。
【００７５】
このように本実施形態の地図生成装置１０によれば、線分対応付部２４により、線分の一致の度合いを表す確信度を指標とした対応付けにより、系列間の全体として最適、かつ重複のない線分の対応付けが行われる。また、平均化部２６が、対応付け結果に基づいて、対応付いた２つの線分間の中間位置に、両線分を統合した新たな線分を生成する。また、線分対応付部２４は、対応付けられなかった線分については、周囲の線分の対応関係をもとに移動量の補間を行い、位置を更新する。これらの処理により、測位部１４の軌跡誤差等による線分分布の非線形な歪みを補完することができる。また、平均化部２６及び統合部２８では、平均化及び統合を繰り返す際に、位置が外れた系列、例えば、後検出された線分を除外しながら、統合することもできる。また、系列の数、換言すると撮像画像の数を増加させることで、統合後の線分は、実際の位置（真位置）へと収束に向かう。また、軌跡誤差による歪みも収束に向かう。このように、本実施形態の地図生成装置１０によれば、単純に各系列の線分全体を平行移動させたのみでは重ならない歪みを吸収することができる。
【００７６】
従って、本実施形態の地図生成装置１０によれば、高精度な線地図を生成することができる。
【００７７】
本実施形態の地図生成装置１０によって得られ、地図データベース１８に記憶された線地図は、例えば、車両２の自己位置の推定や、自動運転等に利用することができる。
【００７８】
なお、地図生成装置１０には、各種ドライブが接続されていてもよい。各種ドライブは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭなどのコンピュータ読み取り可能な可搬性の記録媒体からデータを読み込んだり、記録媒体に対してデータを書き込んだりする装置である。各種ドライブを備える場合には、可搬性の記録媒体に制御プログラムを記録しておいて、これを対応するドライブで読み込んで実行してもよい。
【符号の説明】
【００７９】
１  地図生成システム
１０  地図生成装置
１２  撮像部
１４  測位部
２０  線分検出部
２２  投影部
２４  線分対応付部
２６  平均化部
２８  統合部
【図１】
2020140566.tif 000010
【図２】
2020140566.tif 000011
【図３】
2020140566.tif 000012
【図４】
2020140566.tif 000013
【図５】
2020140566.tif 000014
【図６】
2020140566.tif 000015
【図７】
2020140566.tif 000016
【図８】
2020140566.tif 000017
【図９】
2020140566.tif 000018
【図１０】
2020140566.tif 000019
【図１１Ａ】
2020140566.tif 000020
【図１１Ｂ】
2020140566.tif 000021
【図１１Ｃ】
2020140566.tif 000022
【図１２Ａ】
2020140566.tif 000023
【図１２Ｂ】
2020140566.tif 000024
【図１２Ｃ】
2020140566.tif 000025
【図１２Ｄ】
2020140566.tif 000026