(57)【要約】【課題】車両に搭載されたカメラにより生成された画像から作成される地図に表される情報の精度を向上できる地図作成装置を提供する。【解決手段】地図作成装置は、車両（１０）の周囲の複数の画像から複数の線分を抽出し、複数の画像間で同じ実空間の線分に対応する抽出された線分同士を対応付け、各画像取得時の車両（１０）の候補位置と画像間で対応付けられた線分とに基づいて算出される実空間の線分の向きに応じた、その実空間の線分と、何れかの画像取得時の車両（１０）の候補位置における車両（１０）の進行方向とがなす角を車両（１０）の進行方向と車両（１０）の周囲における線分とがなす角における、その線分が所定の向きの線分である尤度から算出される評価値に基づいて各画像取得時の車両（１０）の位置を推定し、推定された車両（１０）の位置に基づいて画像間で対応付けられた線分に対応する実空間の線分の位置を求めることで地図を作成する。【選択図】図２
2018116147.tif 000002
【特許請求の範囲】
【請求項１】
車両（１０）の進行方向と前記車両（１０）の周囲における線分とがなす角における、当該線分が所定の向きの線分である確率を表す確率分布を記憶する記憶部（１１）と、
前記車両（１０）に取り付けられた少なくとも一つの撮像部（２−１、２−２）により互いに異なる時刻において生成された前記車両（１０）の周囲の複数の画像のそれぞれから、複数の線分を抽出する線分抽出部（２１）と、
前記複数の画像間で、前記複数の画像のそれぞれから抽出された前記複数の線分のうち、同じ実空間の線分に対応する線分同士を対応付ける対応付け部（２３）と、
前記複数の画像のそれぞれの取得時の前記車両（１０）の候補位置と前記対応付けられた線分とに基づいて算出される前記実空間の線分の向きに応じた、当該実空間の線分と、前記複数の画像のそれぞれの取得時の何れかの前記車両（１０）の候補位置における前記車両（１０）の進行方向とがなす角を前記確率分布に入力して得られる、当該実空間の線分が前記所定の向きの線分である尤度から算出される評価値に基づいて、前記複数の画像のそれぞれの取得時の前記車両（１０）の位置を推定する位置推定部（２４）と、
前記複数の画像のそれぞれの取得時の推定された前記車両（１０）の位置に基づいて、前記対応付けられた線分に対応する前記実空間の線分の位置を求めることで地図を作成する地図作成部（２５）と、
を有する地図作成装置。
【請求項２】
前記所定の向きは、道路の延伸方向と平行な第１の方向と、道路の延伸方向に対して直交する第２の方向とを含み、前記確率分布は、前記なす角における、前記第１の方向の線分である確率を表す第１の確率分布と、前記なす角における、前記第２の方向の線分である確率を表す第２の確率分布とを含む、請求項１に記載の地図作成装置。
【請求項３】
前記位置推定部（２４）は、前記評価値が最小となるときの前記複数の画像のそれぞれの取得時の前記車両（１０）の候補位置を、前記複数の画像のそれぞれの取得時の前記車両（１０）の位置として推定する、請求項１または２に記載の地図作成装置。
【請求項４】
前記位置推定部（２４）は、前記尤度と、前記複数の画像のそれぞれについての、前記実空間の線分を当該画像の取得時の前記車両（１０）の候補位置に基づいて当該画像に投影したときの位置と、当該画像上での前記対応付けられた線分間の位置ずれに応じた値とに基づいて前記評価値を算出する、請求項１〜３の何れか一項に記載の地図作成装置。
【請求項５】
前記線分抽出部（２１）は、前記少なくとも一つの撮像部（２−１、２−２）により互いに異なる時刻において生成された前記車両（１０）の周囲の複数の第２の画像のそれぞれから、複数の線分を抽出し、
前記対応付け部（２３）は、前記複数の第２の画像間で、前記複数の第２の画像のそれぞれから抽出された前記複数の線分のうち、同じ実空間の線分に対応する線分同士を対応付け、
前記複数の第２の画像のそれぞれの取得時の前記車両（１０）の候補位置と前記対応付けられた線分とに基づいて算出される、前記複数の第２の画像間で対応付けられた線分に対応する実空間の線分の向きに応じた、当該実空間の線分と、前記複数の第２の画像のそれぞれの取得時の何れかの前記車両（１０）の候補位置における前記車両（１０）の進行方向とがなす角に基づいて前記確率分布を学習する学習部（２６）をさらに有する、請求項１〜４の何れか一項に記載の地図作成装置。
【請求項６】
車両（１０）に取り付けられた少なくとも一つの撮像部（２−１、２−２）により互いに異なる時刻において生成された前記車両（１０）の周囲の複数の画像のそれぞれから、複数の線分を抽出するステップと、
前記複数の画像間で、前記複数の画像のそれぞれから抽出された前記複数の線分のうち、同じ実空間の線分に対応する線分同士を対応付けるステップと、
前記複数の画像のそれぞれの取得時の前記車両（１０）の候補位置と前記対応付けられた線分とに基づいて算出される前記実空間の線分の向きに応じた、当該実空間の線分と、前記複数の画像のそれぞれの取得時の何れかの前記車両（１０）の候補位置における前記車両（１０）の進行方向とがなす角を、前記車両（１０）の進行方向と前記車両（１０）の周囲における線分とがなす角における、当該線分が所定の向きの線分である確率を表す確率分布に入力して得られる、当該実空間の線分が前記所定の向きの線分である尤度から算出される評価値に基づいて、前記複数の画像のそれぞれの取得時の前記車両（１０）の位置を推定するステップと、
前記複数の画像のそれぞれの取得時の推定された前記車両（１０）の位置に基づいて、前記対応付けられた線分に対応する前記実空間の線分の位置を求めることで地図を作成するステップと、
を含む方法。
【請求項７】
車両（１０）に取り付けられた少なくとも一つの撮像部（２−１、２−２）により互いに異なる時刻において生成された前記車両（１０）の周囲の複数の画像のそれぞれから、複数の線分を抽出するステップと、
前記複数の画像間で、前記複数の画像のそれぞれから抽出された前記複数の線分のうち、同じ実空間の線分に対応する線分同士を対応付けるステップと、
前記複数の画像のそれぞれの取得時の前記車両（１０）の候補位置と前記対応付けられた線分とに基づいて算出される前記実空間の線分の向きに応じた、当該実空間の線分と、前記複数の画像のそれぞれの取得時の何れかの前記車両（１０）の候補位置における前記車両（１０）の進行方向とがなす角を、前記車両（１０）の進行方向と前記車両（１０）の周囲における線分とがなす角における、当該線分が所定の向きの線分である確率を表す確率分布に入力して得られる、当該実空間の線分が前記所定の向きの線分である尤度から算出される評価値に基づいて、前記複数の画像のそれぞれの取得時の前記車両（１０）の位置を推定するステップと、
前記複数の画像のそれぞれの取得時の推定された前記車両（１０）の位置に基づいて、前記対応付けられた線分に対応する前記実空間の線分の位置を求めることで地図を作成するステップと、
をコンピュータに実行させるための位置合わせ用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載のカメラにより得られた車両周囲の画像から地図を作成する地図作成装置、地図作成方法及び地図作成用コンピュータプログラムに関する。
【背景技術】
【０００２】
近年、運転支援などの目的で、車両には、１台以上のカメラが取り付けられることがある。このような場合、カメラにより得られた画像を有効に利用するために、異なるカメラにより生成された複数の画像間で、あるいは、異なる位置で同一のカメラにより生成された複数の画像間で、実空間上の同一の点あるいは線に対応する画像上の特徴点または線分同士を対応付けることが提案されている（例えば、特許文献１及び非特許文献１〜３を参照）。
【０００３】
例えば、特許文献１には、路面上にある、マンホールの蓋の中心、白線の端部などの特徴点を、移動体の直進時における移動前後の移動体に取り付けられたカメラにより撮影された画像間で、物体追跡処理を用いて対応付けることが提案されている。
【０００４】
また、非特許文献１には、車両に搭載された前方を写すカメラと左側または右側を写すカメラ間で、連続する二つのフレームについてSURF特徴を抽出し、照合することが記載されている。さらに、非特許文献２には、一方の画像上の特徴点周囲の領域をワーピングにより変形させて、対応付けを行う他方の画像上での対応点を検出することが提案されている。さらにまた、非特許文献３には、環境地図の作成(Simultaneous Localization and Mapping,SLAM)を実行するために、異なるフレームのそれぞれから検出された線分同士を対応付けることが提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−１０１０７５号公報
【非特許文献】
【０００６】
【非特許文献１】Gim Hee Lee他、「Motion Estimation for Self-Driving Cars With a Generalized Camera」、Computer Vision and Pattern Recognition (CVPR)、2013 IEEE Conference on. IEEE、2013年
【非特許文献２】Simon Baker他、「Lucas-Kanade 20 Years On: A Unifying Framework: Part 1」、International journal of computer vision 56.3、pp.221-255、2004年
【非特許文献３】Keisuke Hirose他、「Fast Line Description for Line-based SLAM」BMVC 2012、2012年
【発明の概要】
【発明が解決しようとする課題】
【０００７】
自動運転システムあるいは先進運転支援システムなどでは、自動運転または運転支援を行うために、地図に示されている道路の情報（例えば、車線区画線または横断歩道などの道路標示）などが利用される。そこでこの地図では、路面に描画されている道路標示などの情報ができるだけ精度良く再現されていることが好ましい。そのため、車載のカメラにより得られた画像から検出された線分などに基づいて、道路標示などの情報が高精度に再現される地図を作成する技術が求められている。
【０００８】
そこで、本発明は、車両に搭載されたカメラにより生成された画像から作成される地図に表される情報の精度を向上できる地図作成装置、位置合わせ方法及び位置合わせ用コンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
請求項１の記載によれば、本発明の一つの形態として、地図作成装置が提供される。係る地図作成装置は、車両（１０）の進行方向と車両（１０）の周囲における線分とがなす角における、その線分が所定の向きの線分である確率を表す確率分布を記憶する記憶部（１１）と、車両（１０）に取り付けられた少なくとも一つの撮像部（２−１、２−２）により互いに異なる時刻において生成された車両（１０）の周囲の複数の画像のそれぞれから、複数の線分を抽出する線分抽出部（２１）と、複数の画像間で、複数の画像のそれぞれから抽出された複数の線分のうち、同じ実空間の線分に対応する線分同士を対応付ける対応付け部（２３）と、複数の画像のそれぞれの取得時の車両（１０）の候補位置と複数の画像間で対応付けられた線分とに基づいて算出される実空間の線分の向きに応じた、その実空間の線分と、複数の画像のそれぞれの取得時の何れかの車両（１０）の候補位置における車両（１０）の進行方向とがなす角を上記の確率分布に入力して得られる、その実空間の線分が所定の向きの線分である尤度から算出される評価値に基づいて、複数の画像のそれぞれの取得時の車両（１０）の位置を推定する位置推定部（２４）と、複数の画像のそれぞれの取得時の推定された車両（１０）の位置に基づいて、複数の画像間で対応付けられた線分に対応する実空間の線分の位置を求めることで地図を作成する地図作成部（２５）とを有する。
本発明に係る地図作成装置は、上記の構成を有することにより、車両に搭載されたカメラにより生成された画像から作成される地図に表される情報の精度を向上できる。
【００１０】
また請求項２の記載によれば、所定の向きは、道路の延伸方向と平行な第１の方向と、道路の延伸方向に対して直交する第２の方向とを含み、確率分布は、車両（１０）の進行方向と車両（１０）の周囲における線分とがなす角における、第１の方向の線分である確率を表す第１の確率分布と、そのなす角における、第２の方向の線分である確率を表す第２の確率分布とを含むことが好ましい。
これにより、地図作成装置は、画像間で対応付けられた線分に対応する実空間の線分が、道路上に標示される何れかの線分であるか否かを精度良く評価することができるので、その結果として、各画像取得時の車両の位置の推定精度を向上できる。
【００１１】
あるいは、請求項３の記載によれば、位置推定部（２４）は、評価値が最小となるときの複数の画像のそれぞれの取得時の車両（１０）の候補位置を、複数の画像のそれぞれの取得時の車両（１０）の位置として推定することが好ましい。
これにより、地図作成装置は、各画像取得時の車両の位置をより正確に推定できる。
【００１２】
さらに、請求項４の記載によれば、位置推定部（２４）は、実空間の線分が所定の向きの線分である尤度と、複数の画像のそれぞれについての、実空間の線分をその画像の取得時の車両（１０）の候補位置に基づいてその画像に投影したときの位置と、その画像上での対応付けられた線分間の位置ずれに応じた値とに基づいて評価値を算出することが好ましい。
これにより、地図作成装置は、各画像取得時の候補位置の正しさをより正確に評価できるので、各画像取得時の車両の位置をより正確に推定できる。
【００１３】
さらに、請求項５の記載によれば、線分抽出部（２１）は、少なくとも一つの撮像部（２−１、２−２）により互いに異なる時刻において生成された車両（１０）の周囲の複数の第２の画像のそれぞれから、複数の線分を抽出し、対応付け部（２３）は、複数の第２の画像間で、複数の第２の画像のそれぞれから抽出された複数の線分のうち、同じ実空間の線分に対応する線分同士を対応付けることが好ましい。そして地図作成装置は、複数の第２の画像のそれぞれの取得時の車両（１０）の候補位置と複数の第２の画像間で対応付けられた線分とに基づいて算出される、複数の第２の画像間で対応付けられた線分に対応する実空間の線分の向きに応じた、その実空間の線分と、複数の第２の画像のそれぞれの取得時の何れかの車両（１０）の候補位置における車両（１０）の進行方向とがなす角に基づいて上記の確率分布を学習する学習部（２６）をさらに有することが好ましい。
これにより、地図作成装置は、実際に車両（１０）が走行したときの実空間の線分と車両の進行方向とがなす角ごとの線分の分布を確率分布に反映させることができる。その結果として、この地図作成装置は、各画像取得時の車両の位置の推定精度を向上できる。
【００１４】
さらに、請求項６の記載によれば、本発明の他の形態として、地図作成方法が提供される。係る地図作成方法は、車両（１０）に取り付けられた少なくとも一つの撮像部（２−１、２−２）により互いに異なる時刻において生成された車両（１０）の周囲の複数の画像のそれぞれから、複数の線分を抽出するステップと、複数の画像間で、複数の画像のそれぞれから抽出された複数の線分のうち、同じ実空間の線分に対応する線分同士を対応付けるステップと、複数の画像のそれぞれの取得時の車両（１０）の候補位置と複数の画像間で対応付けられた線分とに基づいて算出される実空間の線分の向きに応じた、その実空間の線分と、複数の画像のそれぞれの取得時の何れかの車両（１０）の候補位置における車両（１０）の進行方向とがなす角を、車両（１０）の進行方向と車両（１０）の周囲における線分とがなす角における、その線分が所定の向きの線分である確率を表す確率分布に入力して得られる、その実空間の線分が所定の向きの線分である尤度から算出される評価値に基づいて、複数の画像のそれぞれの取得時の車両（１０）の位置を推定するステップと、複数の画像のそれぞれの取得時の推定された車両（１０）の位置に基づいて、複数の画像間で対応付けられた線分に対応する実空間の線分の位置を求めることで地図を作成するステップとを含む。
本発明に係る地図作成方法は、上記のステップを有することにより、車両に搭載されたカメラにより生成された画像から作成される地図に表される情報の精度を向上できる。
【００１５】
また請求項７の記載によれば、本発明のさらに他の形態として、地図作成用コンピュータプログラムが提供される。係る地図作成用コンピュータプログラムは、車両（１０）に取り付けられた少なくとも一つの撮像部（２−１、２−２）により互いに異なる時刻において生成された車両（１０）の周囲の複数の画像のそれぞれから、複数の線分を抽出するステップと、複数の画像間で、複数の画像のそれぞれから抽出された複数の線分のうち、同じ実空間の線分に対応する線分同士を対応付けるステップと、複数の画像のそれぞれの取得時の車両（１０）の候補位置と複数の画像間で対応付けられた線分とに基づいて算出される実空間の線分の向きに応じた、その実空間の線分と、複数の画像のそれぞれの取得時の何れかの車両（１０）の候補位置における車両（１０）の進行方向とがなす角を、車両（１０）の進行方向と車両（１０）の周囲における線分とがなす角における、その線分が所定の向きの線分である確率を表す確率分布に入力して得られる、その実空間の線分が所定の向きの線分である尤度から算出される評価値に基づいて、複数の画像のそれぞれの取得時の車両（１０）の位置を推定するステップと、複数の画像のそれぞれの取得時の推定された車両（１０）の位置に基づいて、複数の画像間で対応付けられた線分に対応する実空間の線分の位置を求めることで地図を作成するステップと、をコンピュータに実行させるための命令を含む。
本発明に係る地図作成用コンピュータプログラムは、上記の命令を有することにより、車両に搭載されたカメラにより生成された画像から作成される地図に表される情報の精度を向上できる。
【００１６】
上記各部に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。
【図面の簡単な説明】
【００１７】
【図１】本発明の一つの実施形態に係る地図作成装置の概略構成図である。
【図２】本発明の一つの実施形態に係る地図作成装置の制御部の機能ブロック図である。
【図３】二つのカメラのそれぞれについてのカメラ座標系と車両座標系の関係を示す図である。
【図４】（ａ）〜（ｃ）は、それぞれ、ブロックマッチングを行うマッチング範囲であるパッチの一例を示す図である。
【図５】Manhattan-World仮説に基づく、実空間上の点と車両の位置関係を示す図である。
【図６】位置合わせ処理の動作フローチャートである。
【図７】道路上で検出される線分の例を示す図である。
【図８】線分の向きごとの確率分布の一例を示す図である。
【図９】（ａ）は、車両が走行した道路の一例を表す図であり、（ｂ）は（ａ）に示された道路に対応する、本実施形態による地図作成装置を利用して作成された地図の一例を表す図である。
【図１０】地図生成処理の動作フローチャートである。
【図１１】変形例による、制御部の概略構成図である。
【発明を実施するための形態】
【００１８】
以下、図を参照しつつ、一つの実施形態による、地図作成装置について説明する。
この地図作成装置は、車両に搭載され、異なる方向に向けられた二つのカメラのそれぞれにより、互いに異なるタイミングで生成された二つの画像間で、実空間上の同一の構造物の線（構造物の形状による線だけでなく、構造物上に描画された図形または文字などによる線も含む）に対応する画像上の線分同士を対応付ける。そしてこの地図作成装置は、画像間で対応付けられた線分に基づいて地図を作成する。その際、この地図作成装置は、各画像取得時の車両の推定位置の評価値が最小となるように、車両の推定位置を求め、その推定位置に従って画像間で対応付けられた線分に対応する実空間の線分の位置を求める。その際、この地図作成装置は、路面上に描画された線分の多くは、道路の延伸方向に平行あるいは直交しているという仮定に基づいて事前に求められた、実空間の線分と車両の進行方向とがなす角の確率分布を利用して、画像間で対応付けられた線分に対応する実空間の線分が所定の向きの線分である尤度に基づいて評価値を算出する。これにより、この地図作成装置は、車両の位置の推定精度を向上するとともに、道路表示などの情報が高精度に再現された地図を作成することを可能とする。
【００１９】
図１は、一つの実施形態による地図作成装置の概略構成図である。図１に示すように、地図作成装置１は、車両１０に搭載され、カメラ２−１及び２−２、慣性計測装置(IMU)３、車輪速センサ４、及び電子制御ユニット(ECU)５と、コントロールエリアネットワーク（以下、ＣＡＮという）６を介して互いに接続されている。なお、図１では、説明の都合のため、地図作成装置１など、車両１０に搭載されている各構成要素及び車両１０の形状、サイズ及び配置は、実際のものとは異なっている。
【００２０】
カメラ２−１、２−２は、それぞれ、撮像部の一例である。本実施形態では、カメラ２−１、２−２は、それぞれ、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ２−１は、結像光学系の光軸が地面に対して略平行となり、かつ車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。そしてカメラ２−１は、所定の撮影周期（例えば1/30秒）ごとに車両１０の前方領域を撮影し、その前方領域が写った画像を生成する。一方、カメラ２−２は、結像光学系の光軸が地面に対して略平行となり、かつ車両１０の後方を向くように、車両１０の後端部に取り付けられる。そしてカメラ２−２は、所定の撮影周期ごとに車両１０の後方領域を撮影し、その後方領域が写った画像を生成する。カメラ２−１、２−２により得られた画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。
【００２１】
カメラ２−１、２−２は、それぞれ、画像を生成する度に、その生成した画像を地図作成装置１へ出力する。
【００２２】
地図作成装置１は、記憶部１１と、通信部１２と、制御部１３とを有する。
記憶部１１は、例えば、電気的に書き換え可能な不揮発性メモリ及び揮発性メモリなどの半導体メモリを有する。そして記憶部１１は、地図作成装置１を制御するための各種プログラム、及び、地図作成処理で利用される各種の情報、カメラ２−１またはカメラ２−２により生成された画像、及び制御部１３による一時的な演算結果などを記憶する。
【００２３】
通信部１２は、カメラ２−１、２−２、IMU３、車輪速センサ４、及びECU５などとＣＡＮ６を通じて通信する通信インターフェース及びその制御回路を有する。そして通信部１２は、カメラ２−１、２-２から画像を受け取り、その画像を制御部１３へ渡す。また通信部１２は、地図作成処理を実行する周期ごとに、IMU３から、車両１０の速度及び移動量などを表すオドメトリ情報を取得したり、あるいは、車輪速センサ４から車輪速を取得して、制御部１３へ渡す。
【００２４】
制御部１３は、１個もしくは複数個の図示してないプロセッサ及びその周辺回路を有する。そして制御部１３は、地図作成装置１全体を制御する。
図２に、制御部１３の機能ブロック図を示す。図２に示すように、制御部１３は、線分抽出部２１と、投影部２２と、対応付け部２３と、位置推定部２４と、地図作成部２５とを有する。制御部１３が有するこれらの各部は、例えば、制御部１３が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。
【００２５】
本実施形態では、制御部１３は、ある時刻n（ここでは、フレーム間隔を単位とする時刻を表す。秒、分などを単位とする時刻については、実時刻と呼ぶ）において車両１０の後方を撮影するカメラ２−２により生成された画像上の線分を、その時刻よりもkフレーム前の時刻(n-k)において車両１０の前方を撮影するカメラ２−１により生成された画像上の線分と対応付ける。これは、車両１０が前進している場合、車両１０の後方を撮影するカメラ２−２により時刻nで撮影された範囲は、それより前の時刻(n-k)にて車両１０の前方を撮影するカメラ２−１により撮影された範囲と重なる部分があると想定されるためである。そして制御部１３は、上記のような対応付けを逐次行うことで、３枚以上の画像にわたって対応付けられる線分を特定する。そして制御部１３は、その３枚以上の画像のそれぞれにおいて対応付けられた線分を用いて各画像の取得時の車両の位置を推定し、その推定された車両の位置に従って画像間で対応付けられた線分に対応する実空間の線分の位置を求めて地図に書き込む。
なお、以下では、説明の便宜上、カメラ２-１により生成された画像を前方画像と呼び、カメラ２−２により生成された画像を後方画像と呼ぶ。また、地図作成処理のうち、線分抽出部２１、投影部２２及び対応付け部２３により実行される、画像間での線分の対応付けに関する処理を位置合わせ処理と呼ぶことがある。
【００２６】
線分抽出部２１は、カメラ２−２から制御部１３が後方画像を受け取る度に、その後方画像から、カメラ２−２の撮影領域内にある、路面、道路標識、看板、あるいは建築物といった構造物の線に対応する線分を抽出する。そのために、線分抽出部２１は、例えば、線分検出器を用いて後方画像上の線分を検出する。線分抽出部２１は、線分検出器として、例えば、R.G. von Gioi他、"A fast line segment detector with a false detection control"、 IEEE Transactions on Pattern Analysis & Machine Intelligence、 (4)、2008年、pp.722-732に開示されたアルゴリズムを利用できる。あるいは、線分抽出部２１は、画像から線分を検出できる他の線分検出器を利用してもよい。
線分抽出部２１は、後方画像ごとに、その後方画像の取得時刻とその後方画像から抽出した線分を表す後方画像上のその線分の中点の座標と向き及び長さを表すベクトルを投影部２２へ渡す。
【００２７】
同様に、線分抽出部２１は、カメラ２−１から制御部１３が前方画像を受け取る度に、その前方画像から線分を抽出する。そして線分抽出部２１は、抽出した線分の中点の座標と向き及び長さを表すベクトルを、前方画像の取得時刻とともに記憶部１１に記憶する。
【００２８】
投影部２２は、後方画像上の線分ごとに、その線分を中心とするブロックマッチング用のパッチを設定し、実空間上でそのパッチに相当する領域を特定する。そして投影部２２は、実空間上でのパッチの対応領域を、後方画像よりもkフレーム前に取得された前方画像上に投影する。
この投影処理には、画像上の座標と、実空間上での座標間の変換が必要となる。そこで先ず、その変換に利用される座標系について説明する。
【００２９】
図３は、二つのカメラのそれぞれについてのカメラ座標系と車両座標系の関係を示す図である。カメラ２-１を基準とする実空間の座標系であるカメラ座標系（以下、便宜上、前方カメラ座標系と呼ぶ）C1は、カメラ２−１の像側焦点を原点とし、車両１０の直進方向をz軸、路面と平行かつz軸と直交する方向をx軸、路面に垂直な方向をy軸とする座標系である。そしてz軸について、車両１０の前方へ向かう方向を正とし、x軸の正方向は右手座標系により規定される。また、カメラ２-２を基準とする実空間の座標系であるカメラ座標系（以下、便宜上、後方カメラ座標系と呼ぶ）C2は、カメラ２−２の像側焦点を原点とし、車両１０の直進方向をz軸、路面と平行かつz軸と直交する方向をx軸、路面に垂直な方向をy軸とする座標系である。そしてz軸について、車両１０の後方へ向かう方向を正とし、x軸の正方向は右手座標系により規定される。
【００３０】
また、車両１０を基準とする実空間の座標系である車両座標系Vは、車両１０の任意の点、例えば、前側の車輪間の中点、後ろ側の車輪間の中点、あるいは前側の車輪間の中点と後ろ側の車輪間の中点との中点を原点とし、車両１０の直進方向をz軸、路面と平行かつz軸と直交する方向をx軸、路面に垂直な方向をy軸とする座標系である。そしてz軸について、車両１０の前方へ向かう方向を正とし、x軸の正方向は右手座標系により規定される。また、これらの座標系において、xz平面における、z軸とのなす角はθで表される。
【００３１】
図４（ａ）〜図４（ｃ）は、それぞれ、ブロックマッチングを行うマッチング範囲であるパッチの一例を示す図である。図４（ａ）に示される例では、パッチ４０１は、着目する線分４１０と平行な方向に沿って線分４１０と同じ長さを持ち、かつ、線分４１０と直交する方向に所定の幅（例えば、10〜20ピクセル）を持つ矩形領域として設定される。また、図４（ｂ）に示される例では、パッチ４０２は、着目する線分４１０と直交する方向に所定の幅（例えば、10〜20ピクセル）を持ち、かつ、線分４１０と平行な方向に沿って、線分４１０よりも所定長（例えば、10〜20ピクセル）だけ長い矩形領域として設定される。さらに、図４（ｃ）に示される例では、パッチ４０３は、着目する線分４１０までの距離が所定値（例えば、10〜20ピクセル）以下となる領域として設定される。
【００３２】
本実施形態では、ブロックマッチングを行うマッチング範囲であるパッチはupは、例えば、次式のように定義される。
【数１】
2018116147.tif 000003
ここで、(um,2,vm,2)は、後方画像上での着目する線分の中点の座標を表し、α、βは、それぞれ、後方画像上でのパッチup内の画素の線分の中点からの水平方向及び垂直方向の距離を表す。なお、αの取り得る値の範囲[α0, α1]、及び、βの取り得る値の範囲[β0, β1]は、それぞれ、垂直方向の位置及び水平方向の位置についての関数として表される。そしてその関数は、線分の向き、及び、図４（ａ）〜図４（ｃ）に示される、パッチの形状に応じて決定される。
【００３３】
また、投影部２２は、後方画像上の線分に基づいて設定されるパッチupから、車両１０と車両１０の周囲の構造物の位置関係を規定する所定の条件に従って実空間上での対応領域を特定する。そして投影部２２は、その対応領域について、後方カメラ座標系→時刻nにおける車両座標系→実空間の絶対座標である世界座標系→時刻(n-k)における車両座標系→前方カメラ座標系→前方画像上の順に投影する。
そこで先ず、パッチupに対応する実空間上での領域についてのカメラ座標系での座標の導出について説明する。
【００３４】
後方画像あるいは前方画像上の座標（２次元座標）をカメラ座標系の座標（３次元座標）に変換する際、本実施形態では、ピンホールカメラモデルが適用される。この場合、後方画像上でのパッチup内の各画素の座標は、次式に従って正規化座標系上の座標Unに変換される。
【数２】
2018116147.tif 000004
ここで、(cu,cv)は後方画像の中心の座標、すなわち、カメラ２−２の光軸上の位置に相当する後方画像上の位置の座標を表す。またfu、fvは、それぞれ、後方画像上の画素の水平方向及び垂直方向のサイズを考慮した、水平方向及び垂直方向に相当するカメラ２−２の焦点距離を表す。そして(un、vn)は、線分の中点(um,2,vm,2)に対応する正規化座標であり、Un=(un+αn,vn+βn)は、正規化座標系でのパッチup内の各画素の座標である。そして(x,y,z)は、Unに対応するカメラ座標系上の点の座標である。
【００３５】
本実施形態では、車両１０と車両１０の周囲の構造物の位置関係を規定する所定の条件として、Manhattan-World仮説を導入する。そしてManhattan-World仮説に基づいて、各線分についてのパッチに対応する実空間上の領域を特定する。Manhattan-World仮説では、画像上の線分に対応する実空間上の構造物の線は、以下の３種類の何れかである。
（１）車両１０の直進方向と平行な建物の側壁上の線
（２）車両１０の直進方向と直交する建物の側壁上の線
（３）路面上の線
また、画像上の線分に対応する実空間上の構造物の線の周囲は平面になっていると仮定される。
【００３６】
図５は、本実施形態による、Manhattan-World仮説に基づく、実空間上の構造物の線と車両の位置関係を示す図である。本実施形態では、カメラ２−１は車両１０の前方を向いており、一方、カメラ２−２は、車両１０の後方を向いているので、上記の（２）に相当する線については、両方のカメラから見えることはなく、一方の画像上の線分が他方の画像上の線分と対応付けられることはない。したがって、（１）に相当する、車両１０の直進方向と平行な側壁上の線５０１に対応する線分、あるいは、（３）に相当する、路面上の線５０２に対応する線分が、前方画像と後方画像の間で対応付けられる。
【００３７】
線５０１にように、画像上の線分に対応する実空間上の構造物の線が車両１０の直進方向と平行な建物５００の側壁にある場合、その線分のパッチに対応する実空間上の領域に含まれる各点について、カメラ座標系ではx=dとなる。なお、dは、車両１０とその線分に対応する実空間上での線までの距離である。したがって、上記の（１）の条件が仮定される場合、パッチupに対応する実空間上の領域内の各点についてのカメラ座標系での座標Ppは次式で表される。
【数３】
2018116147.tif 000005
【００３８】
一方、線５０２にように、画像上の線分に対応する実空間上の構造物の線が路面上にある場合、その線分のパッチに対応する実空間上の領域に含まれる各点について、カメラ座標系ではy=hとなる。なお、hは路面からカメラ２−２までの高さであり、予め記憶部１１に記憶される。したがって、上記の（３）の条件が仮定される場合、パッチupに対応する実空間上の領域内の各点についてのカメラ座標系での座標Ppは次式で表される。
【数４】
2018116147.tif 000006
【００３９】
投影部２２は、（２）式と（３）式、または（２）式と（４）式にしたがって、後方画像上の各線分についてのパッチupに対応する実空間上の領域内の各点のカメラ座標系上の座標Ppを求める。なお、dについては、任意の所定区間、例えば、[1,20](m)の区間で、1m単位で変化させる。すなわち、各線分について、dの値ごとに（２）式と（３）式に基づいて求められる20個の領域の座標Ppと、（２）式と（４）式に基づいて求められる1個の領域の座標Ppが求められる。
【００４０】
なお、投影部２２は、バンドル調整によりdの区間を上記の所定区間よりも狭く設定してもよい。この場合には、投影部２２は、例えば、画像上の線分に対応する、実空間上の構造物の線を、カメラ２−２により異なる時間での撮影により得られた二つの後方画像間で線分の対応付けを行うことで特定する。そして投影部２２は、その二つの後方画像の生成時に対応する二つの車両の位置を利用した三角測量によって車両１０からその線分上の点（例えば、中点）に対応する実空間上の点までの距離を測定し、その測定された距離を含むようにdの区間を設定すればよい。
【００４１】
投影部２２は、後方画像上の各線分のパッチについて、そのパッチに対応する実空間上の領域のそれぞれを前方画像上に投影するwarping関数は、次式で表される。
【数５】
2018116147.tif 000007
ここで、un'は、座標Ppに対応する、前方画像上の領域の座標である。また関数πvc1()は、車両座標系からカメラ２-１のカメラ座標系への変換関数であり、関数πvc2()は、車両座標系からカメラ２-２のカメラ座標系への変換関数である。なお、これらの逆関数は、それぞれ、対応するカメラ座標系から車両座標系への変換関数となる。なお、車両座標系とカメラ座標系間の変換は、それぞれの座標系の原点の差に相当する並進行列Tvc1,Tvc2と、車両１０の直進方向とカメラの光軸間の傾きに相当する回転行列Rvc1,Rvc2により表される。
【００４２】
また、関数πci()は、カメラ座標系から画像上の座標への変換関数であり、（２）式のカメラ座標(x,y,z)から画像上の座標(un,vn)への変換に相当する。
【００４３】
また、関数πnwv()は、時刻nにおける世界座標系から車両座標系への変換関数である。一方、その逆関数πnwv-1()は、時刻nにおける車両座標系から世界座標系への変換関数である。
【００４４】
以下に、関数πnwv()の詳細について説明する。Xn=t(xn,zn,θn)を、世界座標系での時刻nにおける車両１０の位置及び向きを表す位置ベクトルとする。この場合、Xnは、時刻(n-k)における車両１０の位置Xn-k=t(xn-k,zn-k,θn-k)との間に、次式で表される関係が成立する。
【数６】
2018116147.tif 000008
ここで、unは、オドメトリ情報であり、vn,right、vn,leftは、それぞれ、時刻nにおける車両１０の右側後輪の車輪速、及び左側後輪の車輪速を表す。そしてωn、vnは、それぞれ、時刻ｎにおける車両１０の角速度及び速度を表す。またdaは、車両１０の左右の後輪間の間隔である。さらに、Δtは、時刻(n-k)と時刻n間の実時刻の差であり、Δt=k×fで表される。なお、fは、カメラ２−１、２−２のフレーム周期（撮影間隔）である。またεxは、移動量の誤差を確率分布で表す誤差モデルである。本実施形態では、誤差モデルεxは、ガウス分布で表されるものとし、その共分散Σxは、x軸方向、z軸方向及びθに関して、以下のように定義される。
【数７】
2018116147.tif 000009
ここで、σx、σz及びσθは、例えば、オドメトリ情報あるいは車輪速の誤差に基づいて設定され、例えば、σx=σz=0.1[m]であり、σθ=2π/360[rad]である。
【００４５】
時刻nにおける、世界座標系から車両座標系への変換を表す回転行列Rt及び並進行列Ttは、時刻nにおける車両１０の位置ベクトルXnを用いて次式で表される。
【数８】
2018116147.tif 000010
したがって、関数πnwv()は、次式で表される。
【数９】
2018116147.tif 000011
ここで、Pwは、世界座標系での着目点の座標を表し、Pvは、Pwに対応する点の車両座標系での座標を表す。なお、（５）式における、πn-kwv()では、xn=xn-k、zn=zn-k、θn=θn-kとすればよい。
【００４６】
また、後方画像上の線分を基準として、前方画像上の対応する線分をより正確に特定するためには、後方画像上での線分の向きに対応する、前方画像上での線分の向きが求められることが好ましい。また、実空間での線分は、その線分上の点（例えば、中点）の３次元の座標p(px,py,pz)とその線分の向きを表す３次元ベクトルr(rx,ry,rz)とで表される。したがって、世界座標系での線分の向きを表す３次元ベクトルrを、カメラ２−１を基準とするカメラ座標系のベクトルA1へ変換する変換式、及び、カメラ２−２を基準とするカメラ座標系のベクトルA2へ変換する変換式は、次式で表される。
【数１０】
2018116147.tif 000012
ここでRivwは、時刻iにおける、変換式πiwvに含まれる回転行列Rの逆行列であり、（８）式及び（９）式に従って算出される。
【００４７】
また、カメラ座標系のベクトルA1を前方画像へ投影して前方画像上の対応ベクトルa1を算出する式、及び、カメラ座標系のベクトルA2を後方画像へ投影して後方画像上の対応ベクトルa2を算出する式は、次式で表される。
【数１１】
2018116147.tif 000013
ここで、q1(x1,y1,z1)は、カメラ２−１を基準とするカメラ座標系での線分上の点pの座標を表し、q2(x2,y2,z2)は、カメラ２−２を基準とするカメラ座標系での線分上の点pの座標を表し、それぞれ、（５）〜（９）式に従って算出される。したがって、投影部２２は、後方画像上の各線分について、その線分の向きを表すベクトルを、カメラ２−２に関する（１０）式及び（１１）式の逆変換に従って世界座標系でのベクトルに変換し、その後、カメラ２−１に関する（１０）式及び（１１）式に従って、世界座標系でのベクトルから、前方画像上での対応ベクトルを求めることができる。
【００４８】
上記のように、パッチupに対応する、実空間上の領域を前方画像上へ投影することで、パッチup内の各画素に対応する前方画像上の位置、すなわち、パッチupを前方画像上に投影した領域が求められる。
投影部２２は、後方画像上の各線分についてのパッチup内の各画素に対応する、kフレーム前の前方画像上での画素の座標及び線分の向きを表すベクトルを対応付け部２３へ出力する。
【００４９】
対応付け部２３は、後方画像上の各線分についてのパッチupに対応する、kフレーム前の前方画像上での領域と、前方画像との間でブロックマッチングを行って互いに類似する領域を特定することで、後方画像上の各線分に前方画像上の線分を対応付ける。
【００５０】
本実施形態では、対応付け部２３は、後方画像上の各線分について、対応する前方画像上の線分の探索を行う探索範囲を誤差モデルに基づく誤差楕円として設定する。その際、誤差楕円は、次式により算出される共分散行列ΣFにより定められる。
【数１２】
2018116147.tif 000014
なお、wは、（５）式の右辺を表す。
【００５１】
対応付け部２３は、共分散行列ΣFの固有値λ1、λ2と、固有ベクトルv1、v2を算出する。ただし、大きい方の固有値をλ1とする。このとき、誤差楕円の長径a及び短径bは、次式で表される。
【数１３】
2018116147.tif 000015
ここで、χ2は、χ二乗分布であり、誤差楕円の信用区間を表す。また、前方画像上の水平方向に対して誤差楕円の長径がなす角θεは、次式で表される。
【数１４】
2018116147.tif 000016
【００５２】
対応付け部２３は、後方画像上の各線分について、kフレーム前の前方画像上の探索範囲である誤差楕円内にあり、かつ、前方画像上に投影したときのその線分となす角が所定角度（例えば、3°〜5°）以下となる、前方画像上の線分を、後方画像上の線分に対応付ける候補として検出する。なお、対応付け部２３は、次式を満たす前方画像上の線分を、探索範囲に含まれると判定する。
【数１５】
2018116147.tif 000017
ここで、(u'c,v'c)は、後方画像上の着目する線分に対応する前方画像上での線分の中点の座標を表す。そして(u',v')は、前方画像上で検出された線分の中点の座標である。
【００５３】
対応付け部２３は、後方画像上の各線分について、kフレーム前の前方画像上の探索範囲内にある線分のそれぞれについて、ブロックマッチングを行って正規化相互相関値を算出する。その際、対応付け部２３は、パッチが投影された前方画像上の領域の中心、すなわち、後方画像上の線分が前方画像上に投影された位置と、ブロックマッチングの対象となる前方画像上の線分間の位置の差を打ち消すように、前方画像上に投影されたパッチ内の各画素の位置を平行移動させることで、後方画像上のパッチ内の各画素に対応する前方画像上の画素を特定すればよい。そして対応付け部２３は、後方画像上のパッチ内の各画素の輝度値と、対応する前方画像上の画素の輝度値に基づいて正規化相互相関値を算出できる。対応付け部２３は、その正規化相互相関値が最大となる前方画像上の線分を、後方画像上の着目する線分に対応付ける。なお、対応付け部２３は、正規化相互相関値の最大値が所定の閾値（例えば、0.6〜0.7）以上である場合に限り、その二つの線分を対応付けてもよい。
【００５４】
なお、対応付け部２３は、演算量を軽減するために、探索範囲を、後方画像上の線分の中点に対応する前方画像上の座標を中心とする、予め設定された所定の範囲に設定してもよい。この場合、所定の範囲は、例えば、水平方向について、パッチの水平方向サイズの2〜3倍とし、垂直方向について、パッチの垂直方向サイズの2〜3倍とすることができる。
【００５５】
なお、変形例によれば、パッチの形状自体に、後方画像上での線分の向きの情報が含まれているので、対応付け部２３は、kフレーム前の前方画像上の探索範囲にある前方画像上の線分の全てを、後方画像上の線分に対応付ける候補としてもよい。
【００５６】
また、他の変形例によれば、対応付け部２３は、後方画像上の各線分について、対応する探索範囲内の各画素をそれぞれパッチの中心に対応させるよう、パッチを平行移動させてそれぞれ正規化相互相関値を算出し、その正規化相互相関値が最大となる画素を、後方画像上の着目する線分に対応する前方画像上の線分の中点とし、着目する線分の向きに対応する前方画像上での向きを、その対応する線分の向きとしてもよい。この場合には、線分抽出部２１は、前方画像から線分を抽出しなくてもよい。
【００５７】
対応付け部２３は、後方画像上の線分と対応付けられた前方画像上の線分のそれぞれの中点の座標及び向きを表すベクトルの組、及び、対応する後方画像の取得時刻と前方画像の取得時刻の組とを関連付けて、記憶部１１に記憶する。
【００５８】
図６に、制御部１３により制御される、位置合わせ処理の動作フローチャートを示す。なお、制御部１３は、後方画像ごとに、この動作フローチャートにしたがって位置合わせ処理を実行する。
【００５９】
線分抽出部２１は、後方画像及び前方画像のそれぞれから線分を抽出する（ステップＳ１０１）。そして線分抽出部２１は、前方画像から抽出した各線分の中点の座標及び向きを表すベクトルを記憶部１１に記憶する。また線分抽出部２１は、後方画像から抽出した各線分の中点の座標及び向きを表すベクトルを投影部２２へ渡す。
【００６０】
投影部２２は、後方画像から抽出した各線分について、その線分の中点を中心とするパッチを設定し、そのパッチに対応する実空間上の１以上の領域をManhattan-World仮説に従って設定する（ステップＳ１０２）。そして投影部２２は、後方画像から抽出した各線分について、パッチに対応する実空間上の各領域を、後方画像の取得時よりもkフレーム前に取得された前方画像上へ投影する（ステップＳ１０３）。
【００６１】
対応付け部２３は、後方画像から抽出した各線分について、パッチに対応する実空間上の領域の中心の前方画像上の投影位置を中心として探索範囲を設定する（ステップＳ１０４）。そして対応付け部２３は、探索範囲内にある前方画像上の線分の周囲の領域と、前方画像上でのパッチに対応する実空間上の領域の投影範囲との間でのブロックマッチングで最も一致する線分を、後方画像上の線分と対応付ける（ステップＳ１０５）。そして制御部１３は、位置合わせ処理を終了する。
【００６２】
位置推定部２４は、画像間で互いに対応付けられる複数の線分（以下、単に線分と呼ぶことがある）を含む、前方画像と後方画像の３枚以上の組のそれぞれについて、各線分に基づいて車両の推定位置の確からしさを表す評価値を算出する。そして位置推定部２４は、その評価値に基づいて車両の位置を推定する。位置推定部２４は、画像の組ごとに同一の処理を実行すればよいので、以下では、一つの画像の組に対する処理について説明する。
【００６３】
本実施形態では、位置推定部２４は、先ず、画像間で対応付けられた各線分について、画像の組のうちの２枚のそれぞれの取得時の車両の位置の候補（以下、単に候補位置と呼ぶ）の初期値に基づいて、３角測量の原理に従って、その線分に対応する実空間の線分Liの位置（向きを含む、以下同じ）を求める。なお、車両の候補位置の初期値は、例えば、（６）式において第２項εxを無くしたものとすることができる。また、実空間の線分Liは、例えば、その中点の座標piと、線分Liの向き及び長さを表すベクトルri=(rix,riy,riz)との組(pi,ri)で表現される。
【００６４】
位置推定部２４は、世界座標系で表された実空間の各線分Liを、各画像に投影する。その際、位置推定部２４は、車両の候補位置の初期値に基づいて、（９）式、（５）式及び（２）式にしたがって、実空間上の各線分Liの両端点に対応する、各画像上での座標を求めることで、画像上に投影された線分liを求めればよい。
【００６５】
そして位置推定部２４は、実空間の各線分Liについて、画像上に投影されたその線分（以下、対応する、画像上で検出され、かつ、画像間で対応付けられた線分と区別するために投影線分と呼ぶ）liと、対応する画像上の線分の端点との距離、及び、実空間の各線分Liと車両１０の進行方向とがなす角に基づいて評価値を算出する。例えば、位置推定部２４は、次式に従って評価値Eを算出する。
【数１６】
2018116147.tif 000018
ここで、(ui,vi)は、投影線分liの中点の画像上での座標であり、(dxi, dyi)は、投影線分liの向きを表す単位ベクトルである。また、gni=(gxni,gyni)(n=1,2)は、投影線分liに対応する、画像上で検出され、かつ、他の画像上の線分と対応付けられた線分の両端点の座標を表す。この評価値Eは、（９）式における回転行列R及び並進行列T（すなわち、車両１０の候補位置）と実空間の各線分Liの位置及び向きとの関数となる。
【００６６】
さらに、dθmは、実空間上のm番目の線分Lm=(pm,rm)と、何れかの画像取得時、例えば、最新の画像取得時における、車両１０の候補位置における車両１０の進行方向とがなす角を表す。例えば、dθmは、次式に従って算出される。
【数１７】
2018116147.tif 000019
ここでF=(Fx,Fy,Fz)は、車両１０の進行方向を表す。そしてPj(dθm)(j=1,2,3,4)は、実空間上のm番目の線分が、j番目の所定の向きの線分である尤度を表す。本実施形態では、所定の向きは、道路の延伸方向と平行な方向と、道路の延伸方向に対して時計回りに90°回転した方向と、道路の延伸方向に対して反時計回りに90°回転した方向と、その他の方向とを含む。
【００６７】
図７は、道路上で検出される線分の例を示す図である。車両区画線、あるいは、車道と歩道との境界などは、道路７００の延伸方向に沿っている。そのため、車両区画線または車道と歩道との境界において検出される線分７０１は、道路の延伸方向と略平行となる。一方、横断歩道、あるいは、停止線といった線は、道路の延伸方向と略直交するように描画される。そのため、これらの線に沿って検出される線分７０２は、道路の延伸方向と略直交する。さらに、道路上に描画される文字または記号などの輪郭の一部は、道路の延伸方向に対して平行でも、垂直でもないため、そのような輪郭の一部に沿って検出される線分７０３は、道路の延伸方向に対して平行でもなく、垂直でもない。また、道路の延伸方向に沿った線分、または、道路の延伸方向と直交する方向の線分は、比較的多く存在するのに対して、それ以外の線分は比較的少ないと想定される。このことから、道路上で検出される線分は、道路の延伸方向に略平行な線分、道路の延伸方向に対して略直交する線分、または、その他の線分の何れかに分類することができる。また、一般に、車両１０は道路７００の延伸方向に沿って走行する。したがって、車両１０の進行方向と道路の延伸方向とは略一致する。したがって、画像間で対応付けられた線分に対応する、実空間での線分が、道路の延伸方向に沿った線分である確からしさは、車両の進行方向と実空間での線分とがなす角に応じた確率分布で表される。同様に、その実空間での線分が、道路の延伸方向と直交する線分である確からしさ、及び、その他の線分である確からしさも、車両の進行方向と実空間での線分とがなす角に応じた確率分布で表される。したがって、Pj(dθm)は、例えば、以下のようにガウス分布で表される。
【数１８】
2018116147.tif 000020
ここで、σ12及びμ1(=0)は、道路の延伸方向と略平行な線分と車両１０の進行方向とがなす角の分散及び平均値を表す。同様に、σ22及μ2(=π/2)は、道路の延伸方向に対して時計回りに略90°回転した線分と車両１０の進行方向とがなす角の分散及び平均値を表す。また、σ32及びμ3(=-π/2)は、道路の延伸方向に対して反時計回りに略90°回転した線分と車両１０の進行方向とがなす角の分散及び平均値を表す。そしてσ42及びμ4(=0)は、その他の向きの線分と車両の進行方向がなす角の分散及び平均値を表す。なお、道路の延伸方向と略直交する線分についての確率分布が二つ存在するのは、画像間で対応付けられた線分の向きが、その線分の一端から他端へ向かうベクトルで規定されるため、対応する実空間の線分にも同様の向きが規定されることによる。
なお、これらの４種類の線分の向きの確率分布全体が、一つの混合ガウス分布で表されてもよい。この場合には、Pj(dθm)ごとに重み係数が規定される。
Pj(dθm)を表すパラメータ（すなわち、分散σj2及び平均値μj）は、予め記憶部１１に保存される。
【００６８】
図８は、実空間での線分の向きごとの確率分布の一例を示す図である。図８において、横軸は車両の進行方向と線分とがなす角dθを表し、縦軸は確率を表す。グラフ８０１は、道路の延伸方向と略平行な線分についての確率分布を表す。また、グラフ８０２及びグラフ８０３は、それぞれ、道路の延伸方向と略直交する線分についての確率分布を表す。そしてグラフ８０４は、その他の線分についての確率分布を表す。グラフ８０１〜８０３に示されるように、道路の延伸方向と略平行な線分、及び、道路の延伸方向と略直交する線分については、dθの平均値において相対的に高い確率となるものの、dθが平均値から離れるにつれて急激に確率が低下する。一方、グラフ８０４に示されるように、その他の線分と車両１０の進行方向とがなす角dθは広い範囲にわたって分布するので、角dθ全体にわたって相対的に低い確率となる。
【００６９】
位置推定部２４は、評価値が減少するように、各画像取得時の車両１０の候補位置及び実空間の各線分Liの位置及び向きの少なくとも何れかを更新し、更新した各画像取得時の車両１０の候補位置及び各線分Liの位置及び向きに基づいて評価値を再算出する。そして位置推定部２４は、評価値が最小値となったと想定される終了条件が満たされたときに、各候補位置及び実空間の各線分Liの位置及び向きの更新を終了する。そして位置推定部２４は、終了条件がみたされたときの評価値の最小値に対応する各画像取得時の車両１０の候補位置を、各画像取得時の実際の車両１０の位置として推定するとともに、評価値の最小値に対応する実空間の各線分Liの位置及び向きを、実空間にある実際の線分の位置及び向きとする。なお、終了条件は、例えば、前回の車両１０の候補位置に基づく評価値と、最新の車両１０の候補位置に基づく評価値間の変化量が所定の変化量閾値以下となったとき、車両１０の候補位置の更新回数が所定回数に達したとき、あるいは、評価値が所定の閾値以下となったときとすることができる。
【００７０】
位置推定部２４は、評価値の最小値を求めるために、例えば、Levenberg-Marquardt(LM)法に従って各画像取得時の車両１０の候補位置を更新する。あるいは、位置推定部２４は、他の最適化手法、例えば、最急降下法、あるいは、シミュレーティッドアニーリング法に従って各画像取得時の車両１０の候補位置を更新してもよい。
【００７１】
位置推定部２４は、各画像取得時の車両の推定位置（あるいは、その推定位置に対応する、車両座標系と世界座標系間の変換を表す回転行列及び並進行列）を地図作成部２５へわたす。
【００７２】
地図作成部２５は、位置推定部２４により車両の推定位置が求められた画像の組ごとに、その組に含まれる画像間で対応付けられた各線分に対応する実空間の線分の世界座標系で表される位置を地図に書き込むことで地図を作成する。すなわち、地図作成部２５は、評価値の最小値に対応する実空間の各線分Liを地図に書き込めばよい。
【００７３】
なお、地図作成部２５は、上記のManhattan-World仮説における（３）の条件に基づいて対応付けられた後方画像上の線分と前方画像上の線分の組のみを、地図作成に利用することが好ましい。これにより、路面以外の構造物の線が地図に書き込まれることが抑制される。
【００７４】
図９（ａ）は、車両が走行した道路の一例を表す図であり、図９（ｂ）は、図９（ａ）に示された道路に対応する、本実施形態による地図作成装置を利用して作成された地図の一例を表す図である。図９（ａ）には、車両１０が走行した道路９００が示されている。一方、図９（ｂ）において、地図９１０は、本実施形態による地図作成装置を利用して作成された地図であり、点線９１１は、車両１０が道路９００を通行した際の車両１０の軌跡を表す。
【００７５】
図９（ａ）及び図９（ｂ）に示されるように、道路９００の形状及び道路９００上に示された道路表示が、地図９１０上でも良好に再現されていることが分かる。
【００７６】
図１０は、地図生成処理の動作フローチャートである。制御部１３は、３枚以上の画像の組ごとに、下記の動作フローチャートに従って地図生成処理を実行する。
【００７７】
位置推定部２４は、画像取得時の車両の候補位置の初期値を設定する（ステップＳ２０１）。そして位置推定部２４は、各画像間で対応付けられた線分のそれぞれについて、各画像の候補位置に従った三角測量により、対応する実空間の線分の位置を算出する（ステップＳ２０２）。そして位置推定部２４は、各画像に、実空間の各線分を、その画像の取得時の車両の候補位置に従って投影する（ステップＳ２０３）。また位置推定部２４は、実空間の各線分について、何れかの画像取得時の車両の候補位置における車両の進行方向とその線分とのなす角dθmを算出する（ステップＳ２０４）。
【００７８】
位置推定部２４は、各画像における、投影された線分のそれぞれごとに、その投影された線分と対応する画像上の線分との距離の和と、実空間で表された各線分について算出された角dθmに対応する、その線分が所定の向きの線分である尤度に応じた値との和となる評価値を算出する（ステップＳ２０５）。そして位置推定部２４は、評価値が終了条件を満たすか否か判定する（ステップＳ２０６）。
【００７９】
評価値が終了条件を満たさない場合（ステップＳ２０６−Ｎｏ）、位置推定部２４は、所定の最適化手法に従って、評価値が減少するように、各画像取得時の車両の候補位置及び実空間の各線分の少なくとも何れかを更新する（ステップＳ２０７）。そして位置推定部２４は、更新された候補位置に基づいて、ステップＳ２０２以降の処理を繰り返す。
【００８０】
一方、評価値が終了条件を満たす場合（ステップＳ２０６−Ｙｅｓ）、位置推定部２４は、評価値が最小となるときの各画像取得時の車両の候補位置を、それぞれ、車両の推定位置とする（ステップＳ２０８）。
【００８１】
地図作成部２５は、各画像取得時の車両の推定位置に従って、画像間で対応付けられた各線分に対応する実空間の線分を地図に書き込むことで地図を作成する（ステップＳ２０９）。そして制御部１３は、地図作成処理を終了する。
【００８２】
以上説明してきたように、地図作成装置は、異なるカメラにより、異なるタイミングで生成された二つの画像間で、実空間上の同一の構造物の線に対応する線分同士を対応付ける。そしてこの地図作成装置は、画像間で対応付けられた各線分に対応する実空間上の線分を各画像に投影したときの、画像上の対応線分との位置ずれ、及び、実空間上の線分と車両の進行方向とのなす角に応じた、その線分が所定の向きの線分である尤度とに基づく、各画像取得時の車両の候補位置の評価値を算出する。そしてこの地図作成装置は、評価値が最小となるように、各画像取得時の車両の候補位置を更新し、評価値が最小となったときの各画像取得時の車両の候補位置を、それぞれ、各画像取得時の車両の推定位置とする。そしてこの地図作成装置は、各画像取得時の車両の推定位置に基づいて、各画像間で対応付けられた線分を世界座標系に投影することで地図を作成する。このように、この地図作成装置は、実空間上の線分を各画像に投影したときの、画像上の線分との位置ずれだけでなく、実空間の線分と車両の進行方向とがなす角に応じた評価値を利用するので、各画像取得時の車両の位置を正確に推定できる。その結果として、この地図作成装置は、高精度な地図を作成できる。
【００８３】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、制御部１３は、一つの後方画像上の線分との対応付けを行う前方画像を複数選択し、その複数の前方画像に対して投影部２２及び対応付け部２３の処理を行って、線分同士の対応付けを行ってもよい。これにより、一つの後方画像を介して、３枚以上の前方画像間でも線分同士の対応付けが可能となる。したがって、制御部１３は、３枚以上の前方画像の組に基づいて、位置推定部２４及び地図作成部２５の処理を行ってもよい。同様に、制御部１３は、一つの前方画像を介して、３枚以上の後方画像間で線分同士の対応付けを行い、３枚以上の後方画像の組に基づいて、位置推定部２４及び地図作成部２５の処理を行ってもよい。また、制御部１３は、画像間で線分を対応付ける他の方法、例えば、非特許文献３に記載された方法に従って、画像間で線分の対応付けを行ってもよい。
【００８４】
また他の変形例によれば、位置推定部２４は、（１６）式における右辺の第２項を次式に示されるもの変更して、評価値を算出してもよい。
【数１９】
2018116147.tif 000021
あるいは、位置推定部２４は、（１６）式における右辺の第２項を次式に示されるもの変更して、評価値を算出してもよい。
【数２０】
2018116147.tif 000022
あるいはまた、位置推定部２４は、（１６）式における右辺の第２項を次式に示されるもの変更して、評価値を算出してもよい。
【数２１】
2018116147.tif 000023
【００８５】
さらに他の変形例によれば、制御部１３は、所定の向きの線分についての確率分布を、地図作成処理を行う前の期間（以下、学習期間と呼ぶ）に得られた複数の画像間で対応付けられた複数の線分に基づいて学習してもよい。
【００８６】
図１１は、この変形例による、制御部１３の概略構成図である。この変形例による制御部１３は、線分抽出部２１と、投影部２２と、対応付け部２３と、位置推定部２４と、地図作成部２５と、学習部２６とを有する。上記の実施形態による制御部１３と比較して、この変形例による制御部１３は、学習部２６を有する点で異なる。そこで以下では、学習部２６及びその関連部分について説明する。
【００８７】
学習部２６は、学習期間中に得られた複数の画像間で対応付けられた線分のそれぞれについて、位置推定部２４と同様に、各画像取得時の車両の候補位置に基づいて、その対応付けられた線分に対応する実空間上の線分の位置を算出する。なお、学習部２６は、各画像取得時の車両の候補位置として、例えば、（６）式において第２項εxを無くしたものとすることができる。そして学習部２６は、実空間上の線分ごとに、その線分と車両の候補位置に基づいて定められる車両の進行方向とのなす角を算出する。そして学習部２６は、実空間上の線分ごとに算出された車両の進行方向とのなす角に基づいて、線分の向きごとの確率分布を学習する。その際、学習部２６は、例えば、ＥＭ法に従って線分の向きごとの確率分布を学習すればよい。また、向きごとの確率分布が一つの混合ガウス分布で表される場合、学習部２６は、向きごとのガウス分布に対応する重み係数も、ＥＭ法に従って学習すればよい。
そして学習部２６は、その学習によって求められた、線分の向きごとの確率分布を表すパラメータを記憶部１１に保存する。この場合、位置推定部２４は、学習部２６により学習された、線分の向きごとの確率分布を表すパラメータを用いて、評価値を算出すればよい。
【００８８】
この変形例によれば、地図作成装置は、実際に車両が走行した道路およびその周辺を撮影した画像から検出される線分に基づいて、実空間での線分の向きごとの確率分布をもとめることができるので、線分の向きごとの確率分布の精度を向上できる。
【００８９】
さらに他の変形例によれば、線分の向きごとの確率分布は、ニューラルネットワークにより表されてもよい。この場合には、学習部２６は、ボルツマンマシンなどの教師無し学習法に従って線分の向きごとの確率分布を学習すればよい。そして学習部２６は、その学習によって求められた、線分の向きごとの確率分布を表すニューラルネットワークのパラメータ（各ノード間の接続を表す係数、各ノードのバイアスなど）を記憶部１１に保存する。この場合、位置推定部２４は、学習部２６により学習された、線分の向きごとの確率分布を表すニューラスネットワークに、車両の候補位置に応じた線分と車両の進行方向とがなす角を入力して得られる出力値を（１６）式における第２項の値として用いて、評価値を算出すればよい。
【００９０】
この変形例によれば、地図作成装置は、線分の向きごとの確率分布が複雑な形状をしている場合でも、その確率分布を正確に表すことができる。そのため、地図作成装置は、車両の位置の推定精度を向上できるので、その結果として、作成される地図の精度を向上できる。
【００９１】
さらに他の変形例によれば、位置推定部２４及び地図作成部２５の処理は、制御部１３とは異なる装置、例えば、車両１０とは別個に設けられたサーバにおいて実行されてもよい。この場合には、画像の組ごとに、各画像の取得時刻及びその取得時刻ごとの車両１０のオドメトリ情報、画像間で対応付けられた各線分の各画像上での位置及び向き、各カメラの設置位置、焦点距離などの情報が記憶部１１に保存される。そしてそれらの情報が、図示しない通信インターフェースを介してサーバに送られ、サーバが位置推定部２４及び地図作成部２５の処理を実行すればよい。
【００９２】
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【符号の説明】
【００９３】
１    地図作成装置
２−１、２−２    カメラ
３    ＩＭＵ
４    車輪速センサ
５    ＥＣＵ
６    ＣＡＮ
１１    記憶部
１２    通信部
１３    制御部
２１    線分抽出部
２２    投影部
２３    対応付け部
２４    位置推定部
２５    地図作成部
２６    学習部
【図１】
2018116147.tif 000024
【図２】
2018116147.tif 000025
【図３】
2018116147.tif 000026
【図４】
2018116147.tif 000027
【図５】
2018116147.tif 000028
【図６】
2018116147.tif 000029
【図７】
2018116147.tif 000030
【図８】
2018116147.tif 000031
【図９】
2018116147.tif 000032
【図１０】
2018116147.tif 000033
【図１１】
2018116147.tif 000034