(57)【要約】      （修正有）【課題】画像認識に基づく地物との相対距離の判定精度を向上させる相対距離判定システムを提供する。【解決手段】相対距離判定システム１００は、画像認識部３により認識対象地物が複数認識された場合に、認識された少なくとも２つの認識対象地物を認識済地物組として、当該認識済地物組を構成する認識対象地物のそれぞれに対応する地物情報に基づいて、認識済地物組を合せて１つの位置及び外縁寸法を有する仮想地物の情報である仮想地物情報を生成する仮想情報生成部５と、撮影画像中における仮想地物の外縁寸法と、仮想地物情報に示される仮想地物の外縁寸法とに基づいて、撮影部１と仮想地物との相対距離を判定する相対距離判定部６と、を備える。【選択図】図１
2020204572.tif 000002
【特許請求の範囲】
【請求項１】
規定の撮影方向の風景を撮影する撮影部と、
規定の地物の位置及び外縁寸法を示す地物情報を記憶した地物情報記憶部と、
前記撮影部により撮影された撮影画像中に含まれる前記地物を認識対象地物として画像認識する画像認識部と、
前記画像認識部により認識された前記認識対象地物に対応する前記地物情報を取得する地物情報取得部と、
前記画像認識部により前記認識対象地物が複数認識された場合に、認識された少なくとも２つの前記認識対象地物を認識済地物組として、当該認識済地物組を構成する前記認識対象地物のそれぞれに対応する前記地物情報に基づいて、前記認識済地物組を合せて１つの位置及び外縁寸法を有する仮想地物の情報である仮想地物情報を生成する仮想情報生成部と、
前記撮影画像中における前記仮想地物の外縁寸法と、前記仮想地物情報に示される前記仮想地物の外縁寸法とに基づいて、前記撮影部と前記仮想地物との相対距離を判定する相対距離判定部と、を備える、相対距離判定システム。
【請求項２】
平面視で前記撮影方向に直交する方向を幅方向として、
前記相対距離判定部は、前記撮影画像中における前記仮想地物の前記幅方向の位置に基づいて、前記撮影部と前記仮想地物との相対方位を判定する、請求項１に記載の相対距離判定システム。
【請求項３】
前記仮想情報生成部は、前記画像認識部により前記認識対象地物が３つ以上認識された場合に、前記撮影画像中における距離が遠い２つの前記認識対象地物を前記認識済地物組として優先的に選択する、請求項１又は２に記載の相対距離判定システム。
【請求項４】
前記仮想情報生成部は、前記画像認識部により前記認識対象地物が３つ以上認識された場合に、前記撮影方向の距離が近い２つの前記認識対象地物を前記認識済地物組として優先的に選択する、請求項１から３のいずれか一項に記載の相対距離判定システム。
【請求項５】
前記仮想地物情報に示される前記仮想地物の外縁を構成する面を判定基準面として、
前記相対距離判定部は、前記撮影方向に直交する面に対する前記判定基準面の傾斜方向及び傾斜角度に基づいて、前記撮影画像中における前記仮想地物の外縁寸法、及び、前記仮想地物情報に示される当該仮想地物の外縁寸法の少なくとも一方を補正し、補正後のこれらの外縁寸法の関係に基づいて前記相対距離を判定する、請求項１から４のいずれか一項に記載の相対距離判定システム。
【請求項６】
前記画像認識部は、少なくとも、道路標識及び信号機を前記認識対象地物として画像認識する、請求項１から５のいずれか一項に記載の相対距離判定システム。
【請求項７】
規定の撮影方向の風景を撮影部により撮影する撮影ステップと、
前記撮影部により撮影された撮影画像中に含まれる規定の地物を認識対象地物として画像認識する画像認識ステップと、
前記地物の位置及び外縁寸法を示す地物情報を記憶した地物情報記憶部から、前記画像認識ステップにより認識された前記認識対象地物に対応する前記地物情報を取得する地物情報取得ステップと、
前記画像認識ステップにより前記認識対象地物が複数認識された場合に、認識された少なくとも２つの前記認識対象地物を認識済地物組として、当該認識済地物組を構成する前記認識対象地物のそれぞれに対応する前記地物情報に基づいて、前記認識済地物組を合せて１つの位置及び外縁寸法を有する仮想地物の情報である仮想地物情報を生成する仮想情報生成ステップと、
前記撮影画像中における前記仮想地物の外縁寸法と、前記仮想地物情報に示される前記仮想地物の外縁寸法とに基づいて、前記撮影部と前記仮想地物との相対距離を判定する相対距離判定ステップと、を備える、相対距離判定方法。
【請求項８】
規定の撮影方向の風景を撮影部により撮影する撮影機能と、
前記撮影部により撮影された撮影画像中に含まれる規定の地物を認識対象地物として画像認識する画像認識機能と、
前記地物の位置及び外縁寸法を示す地物情報を記憶した地物情報記憶部から、前記画像認識機能により認識された前記認識対象地物に対応する前記地物情報を取得する地物情報取得機能と、
前記画像認識機能により前記認識対象地物が複数認識された場合に、認識された少なくとも２つの前記認識対象地物を認識済地物組として、当該認識済地物組を構成する前記認識対象地物のそれぞれに対応する前記地物情報に基づいて、前記認識済地物組を合せて１つの位置及び外縁寸法を有する仮想地物の情報である仮想地物情報を生成する仮想情報生成機能と、
前記撮影画像中における前記仮想地物の外縁寸法と、前記仮想地物情報に示される前記仮想地物の外縁寸法とに基づいて、前記撮影部と前記仮想地物との相対距離を判定する相対距離判定機能と、をコンピュータに実現させる、相対距離判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、地物との相対距離を判定する相対距離判定システム、相対距離判定方法、及び相対距離判定プログラムに関する。
【背景技術】
【０００２】
例えば、特開２０１７−００９５５３号公報（特許文献１）に記載された技術では、車両に搭載された撮影装置により道路周辺に存在する地物を撮影すると共に、撮影画像を画像認識し、この画像認識結果に基づいて、当該地物に対する車両の相対位置を算出している。このように従来では、画像認識結果を利用して自車位置を推定する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−００９５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、画像認識結果を利用して、撮影画像中における地物の寸法に基づいて、当該地物と撮影装置との相対距離を判定することが可能である。すなわち、焦点距離が一定の場合において、撮影画像中における地物の大きさが小さい場合には、撮影画像中における地物の大きさが大きい場合に比べて地物との相対距離が遠いことになり、上記と逆の場合には、地物との相対距離が近いことになる。このような判定方法を用いる場合、相対距離の判定精度を高めるためには撮影画像中における地物の寸法を正確に特定する必要があり、そのためには、画像認識において地物の外縁を正確に認識する必要がある。
【０００５】
しかしながら、画像認識により地物の外縁を認識する場合には、撮影画像を構成する画素（ピクセル）の大きさに起因した誤差が生じることを避けることができない。そして、認識対象となる地物の寸法が小さくなるに従って、地物の寸法に対する画素（ピクセル）の大きさが相対的に大きくなるため、地物の寸法の認識誤差は大きくなる。すなわち、地物の寸法が小さくなるに従って、地物の寸法の認識精度が低下し、地物と撮影装置との相対距離の判定の精度も低下する。撮影画像の解像度を高めることで誤差を小さくすることは可能であるが、解像度の向上には限界がある。
【０００６】
上記実状に鑑みて、画像認識に基づく地物との相対距離の判定精度を向上させることができる技術の実現が求められている。
【課題を解決するための手段】
【０００７】
上記に鑑みた相対距離判定システムの特徴構成は、
規定の撮影方向の風景を撮影する撮影部と、
規定の地物の位置及び外縁寸法を示す地物情報を記憶した地物情報記憶部と、
前記撮影部により撮影された撮影画像中に含まれる前記地物を認識対象地物として画像認識する画像認識部と、
前記画像認識部により認識された前記認識対象地物に対応する前記地物情報を取得する地物情報取得部と、
前記画像認識部により前記認識対象地物が複数認識された場合に、認識された少なくとも２つの前記認識対象地物を認識済地物組として、当該認識済地物組を構成する前記認識対象地物のそれぞれに対応する前記地物情報に基づいて、前記認識済地物組を合せて１つの位置及び外縁寸法を有する仮想地物の情報である仮想地物情報を生成する仮想情報生成部と、
前記撮影画像中における前記仮想地物の外縁寸法と、前記仮想地物情報に示される前記仮想地物の外縁寸法とに基づいて、前記撮影部と前記仮想地物との相対距離を判定する相対距離判定部と、を備える点にある。
【０００８】
また、上記に鑑みた、相対距離判定システムの技術的特徴は、相対距離判定方法や相対距離判定プログラムにも適用可能であり、そのため、本発明は、そのような方法やプログラムも権利の対象とすることができる。
【０００９】
その場合における、相対距離判定方法の特徴構成は、
規定の撮影方向の風景を撮影部により撮影する撮影ステップと、
前記撮影部により撮影された撮影画像中に含まれる規定の地物を認識対象地物として画像認識する画像認識ステップと、
前記地物の位置及び外縁寸法を示す地物情報を記憶した地物情報記憶部から、前記画像認識ステップにより認識された前記認識対象地物に対応する前記地物情報を取得する地物情報取得ステップと、
前記画像認識ステップにより前記認識対象地物が複数認識された場合に、認識された少なくとも２つの前記認識対象地物を認識済地物組として、当該認識済地物組を構成する前記認識対象地物のそれぞれに対応する前記地物情報に基づいて、前記認識済地物組を合せて１つの位置及び外縁寸法を有する仮想地物の情報である仮想地物情報を生成する仮想情報生成ステップと、
前記撮影画像中における前記仮想地物の外縁寸法と、前記仮想地物情報に示される前記仮想地物の外縁寸法とに基づいて、前記撮影部と前記仮想地物との相対距離を判定する相対距離判定ステップと、を備える点にある。
【００１０】
また、その場合における、相対距離判定プログラムの特徴構成は、
規定の撮影方向の風景を撮影部により撮影する撮影機能と、
前記撮影部により撮影された撮影画像中に含まれる規定の地物を認識対象地物として画像認識する画像認識機能と、
前記地物の位置及び外縁寸法を示す地物情報を記憶した地物情報記憶部から、前記画像認識機能により認識された前記認識対象地物に対応する前記地物情報を取得する地物情報取得機能と、
前記画像認識機能により前記認識対象地物が複数認識された場合に、認識された少なくとも２つの前記認識対象地物を認識済地物組として、当該認識済地物組を構成する前記認識対象地物のそれぞれに対応する前記地物情報に基づいて、前記認識済地物組を合せて１つの位置及び外縁寸法を有する仮想地物の情報である仮想地物情報を生成する仮想情報生成機能と、
前記撮影画像中における前記仮想地物の外縁寸法と、前記仮想地物情報に示される前記仮想地物の外縁寸法とに基づいて、前記撮影部と前記仮想地物との相対距離を判定する相対距離判定機能と、をコンピュータに実現させる点にある。
【００１１】
これらの構成によれば、少なくとも２つの認識対象地物を合せて、１つの位置及び外縁寸法を有する仮想地物の情報である仮想地物情報を生成し、当該仮想地物情報を用いて撮影部と仮想地物との相対距離を判定する。当然、１つの認識対象地物の寸法よりも、少なくとも２つの認識対象地物を合せた仮想地物の寸法の方が大きくなる。そのため、認識対象となる地物（仮想地物）の寸法に対する画素（ピクセル）の大きさを相対的に小さくすることができる。これにより、画像認識により地物の外縁の寸法を認識する場合に、地物の寸法に対する誤差の割合を小さくすることができる。従って、本構成によれば、地物の寸法の認識精度を向上させることができ、延いては画像認識に基づく撮影部と仮想地物との相対距離の判定精度を向上させることができる。
【００１２】
本開示に係る技術のさらなる特徴と利点は、図面を参照して記述する以下の例示的かつ非限定的な実施形態の説明によってより明確になるであろう。
【図面の簡単な説明】
【００１３】
【図１】相対距離判定システムのシステム構成を示すブロック図
【図２】撮影部を備えた車両と地物との平面視における位置関係の一例を示す図
【図３】撮影画像の一例を示す図
【図４】画像認識処理の説明図
【図５】地物情報記憶部によって記憶された認識対象地物の地物情報の一例を示す図
【図６】仮想地物情報の生成処理の説明図
【図７】撮影部に対する仮想地物の傾斜を演算する処理の説明図
【図８】撮影部に対する仮想地物の傾斜を演算する処理の説明図
【図９】撮影部と仮想地物との撮影方向距離を演算する処理の説明図
【図１０】撮影部と仮想地物との相対距離を演算する処理の説明図
【図１１】自位置を推定する処理の手順を示すフローチャート
【図１２】仮想情報生成処理の手順を示すフローチャート
【図１３】認識済地物組として認識対象地物を選択するための設定基準の説明図
【発明を実施するための形態】
【００１４】
相対距離判定システム（相対距離判定方法／相対距離判定プログラム）の実施形態について、図面を参照して説明する。図１及び図２に示すように、相対距離判定システム１００は、規定の撮影方向Ｄ１の風景を撮影する撮影部１を備えている。相対距離判定システム１００は、このような撮影部１と、位置や寸法が既知である地物Ｍとの相対距離Ｌ（図１０参照）を判定するためのシステムである。以下、相対距離判定システム１００が、撮影部１を備えた車両Ｖの自位置の推定に適用される場合を例示して説明する。
【００１５】
なお、ここでは、平面視で撮影方向Ｄ１に直交する方向を「幅方向Ｄ２」とする。そして、図１０に示すように、車両Ｖと地物Ｍとの撮影方向Ｄ１における相対距離を「撮影方向距離Ｌｙ」とし、車両Ｖと地物Ｍとの幅方向Ｄ２における相対距離を「幅方向距離Ｌｘ」とする。
【００１６】
〔システム構成〕
図１〜図３に示すように、相対距離判定システム１００（相対距離判定方法／相対距離判定プログラム）は、規定の撮影方向Ｄ１の風景を撮影する撮影部１（撮影ステップ／撮影機能）と、規定の地物Ｍの位置及び外縁寸法を示す地物情報を記憶した地物情報記憶部２と、撮影部１により撮影された撮影画像Ｐ中に含まれる地物Ｍを認識対象地物ＭＴとして画像認識する画像認識部３（画像認識ステップ／画像認識機能）と、画像認識部３により認識された認識対象地物ＭＴに対応する地物情報を取得する地物情報取得部４（地物情報取得ステップ／地物情報取得機能）と、画像認識部３により認識対象地物ＭＴが複数認識された場合に、認識された少なくとも２つの認識対象地物ＭＴを認識済地物組ＭＵとして、当該認識済地物組ＭＵを構成する認識対象地物ＭＴのそれぞれに対応する地物情報に基づいて、認識済地物組ＭＵを合せて１つの位置及び外縁寸法を有する仮想地物Ａの情報である仮想地物情報を生成する仮想情報生成部５（仮想情報生成ステップ／仮想情報生成機能）と、撮影画像Ｐ中における仮想地物Ａの外縁寸法ＰＷａ（図４等参照）と、仮想地物情報に示される仮想地物Ａの外縁寸法Ｗａ（図６等参照）とに基づいて、撮影部１と仮想地物Ａとの相対距離Ｌを判定する相対距離判定部６と、を備えている。なお、以下では、撮影部１によって撮影された撮影画像Ｐ中における仮想地物Ａの外縁寸法ＰＷａを「画像寸法ＰＷａ」と称することがある。また、仮想情報生成部５によって生成された仮想地物情報に示される仮想地物Ａの外縁寸法Ｗａを「実生成寸法Ｗａ」と称することがある。
【００１７】
本実施形態では、相対距離判定システム１００は、撮影部１によって撮影された撮影画像の画像情報を取得する画像情報取得部７（画像情報取得ステップ／画像情報取得機能）と、車両Ｖ（撮影部１）の概ねの位置を取得する自位置情報取得部８（自位置情報取得ステップ／自位置情報取得機能）と、を備えている。
【００１８】
地物Ｍには、立体地物や平面地物などが含まれる。立体地物としては、案内標識、警戒標識、規制標識、指示標識などの道路標識、信号機や街灯などの道路周囲に設けられた装置類、及び、建物、塀、看板、電柱、縁石ブロック、ガードレール、歩道橋などの建造物などが含まれる。平面地物としては、車線を分ける区画線、ゼブラゾーン、停止線、横断歩道、各レーンの進行方向を指定する進行方向別通行区分表示、速度表示、マンホール等が含まれる。
【００１９】
撮影部１は、撮影方向Ｄ１の風景を撮影するための機能部である。撮影部１は、例えばＣＣＤセンサやＣＭＯＳセンサ等の撮像素子と、撮像素子に光を導くための光学系を構成するレンズ等を備えて構成される。撮影部１は、例えば、車両Ｖの前方に向けて配置され、車両Ｖが走行する道路Ｒの路面及びその周囲が撮影されるように設けられる。従って本例では、撮影方向Ｄ１は、車両Ｖの前方を向く方向に等しい。図２に示す例では、車両Ｖの前方に広がる撮影範囲内に２つの道路標識（地物Ｍの例）が存在しており、撮影部１は、図３に示すような撮影画像Ｐを撮影する。なお、本実施形態における撮影部１としては、車両Ｖの周囲の映像を撮像するためにこれまでにも設けられている車載カメラが好適に用いられる。また撮影部１は、例えば、フロントカメラ、サイドカメラ、バックカメラ等、互いに異なる方向を撮影する複数のカメラを備えていても良い。
【００２０】
自位置情報取得部８は、撮影部１の位置を示す位置情報を取得するための機能部であり、本例では、撮影部１が搭載された車両Ｖの位置を示す位置情報を取得する。図１に示す例では、自位置情報取得部８は、ＧＰＳ（グローバル・ポジショニング・システム）受信機Ｓ１、方位センサＳ２、及び距離センサＳ３と接続されている。ここで、ＧＰＳ受信機Ｓ１は、ＧＰＳ衛星からの信号を受信する装置であり、ＧＰＳ受信機Ｓ１の位置（緯度及び経度）や移動速度など様々な情報を得ることができる。方位センサＳ２は、地磁気センサやジャイロセンサ、或いは、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成され、車両Ｖの進行方向を検知することができる。距離センサＳ３は、車輪の回転数を検知する車速センサや車両Ｖの加速度を検知するヨー・Ｇセンサと、検知された加速度を２回積分する回路との組み合わせ等により構成され、車両Ｖの移動距離を検知することができる。そして、自位置情報取得部８は、これらのＧＰＳ受信機Ｓ１、方位センサＳ２及び距離センサＳ３からの出力に基づいて、車両Ｖの位置を特定する演算を行う。なお、ＧＰＳ受信機Ｓ１により得られる位置情報は、数ｍから数十ｍ程度の誤差を含んでいるのが一般的であるが、本実施形態に係る相対距離判定システム１００は、上記誤差を小さく抑えて、車両Ｖの自位置の推定を高精度に行うものである。
【００２１】
画像情報取得部７は、撮影部１によって撮影された撮影画像Ｐ（図３参照）を画像情報として取得するための機能部である。画像情報取得部７は、不図示のインターフェース回路等を介して撮影部１に接続されており、これにより、撮影部１から画像情報を取得する。画像情報取得部７は、撮影部１から連続的に画像情報を取得する。これにより、車両Ｖが走行中の道路Ｒの画像情報をほぼ連続的に取得することができる。画像情報取得部７は、例えば、１０〜５０ｍｓ程度の時間間隔で画像情報を取得するように構成されている。また、画像情報取得部７は、画像認識部３に接続されており、撮影部１から取得した画像情報を画像認識部３に出力するように構成されている。画像情報取得部７は、画像情報に対する前処理として、二値化処理等の、画像認識部３による画像認識を容易にするための各種画像処理を行う。
【００２２】
画像認識部３は、撮影部１により撮影された撮影画像Ｐ中に含まれる地物Ｍを認識対象地物ＭＴとして画像認識するための機能部である。本実施形態では、画像認識部３は、少なくとも、道路標識及び信号機等の立体地物を認識対象地物ＭＴとして画像認識する。これにより、道路面に設けられた道路標示や道路面上に設置された縁石などの地上または地上付近に配置された平面地物に比べて、地上から高い位置に配置された立体地物を画像認識の対象とすることができる。そのため、例えば、画像認識を実行する範囲を撮影画像Ｐの上半分にするなど比較的限定することができ、画像認識の処理負担を軽減することが可能となる。また、地上から高い位置に配置された立体地物は他車両などによって遮られる可能性が低いため、このような立体地物を画像認識の対象とすることで、画像認識を良好に実行し易い。画像認識部３は、地物情報取得部４及び相対距離判定部６に、画像認識結果を出力するように構成されている。
【００２３】
図４において実線で示すように、本例では、画像認識部３は、認識された認識対象地物ＭＴ（ＭＴ１，ＭＴ２）の外縁Ｅ（Ｅ１，Ｅ２）を認識する。図４は、画像認識部３による撮影画像Ｐの画像認識後のイメージ図である。画像認識部３は、撮影画像Ｐ中における認識対象地物ＭＴの規定の外縁部分を、認識対象地物ＭＴの外縁Ｅとして認識する。例えば、画像認識部３は、撮影画像Ｐを二値化処理した後、エッジ抽出処理を行い、抽出されたエッジと、画像認識用テンプレートとのパターンマッチングを行う。ここで、画像認識用テンプレートには、当該テンプレートに係る認識対象地物ＭＴの外縁の位置が規定されている。そして、画像認識部３は、パターンマッチングで適合した撮影画像Ｐ中のエッジ形状における、テンプレートに規定された外縁の位置に対応する部分を、認識対象地物ＭＴの外縁Ｅとして認識する。図示の例では、画像認識部３は、道路標識における、支柱部に支持された板状の標示部の外縁部分を、認識対象地物ＭＴの外縁Ｅとして認識している。また、図示の例では、画像認識部３は、２つの認識対象地物ＭＴを認識している。以下では、これら２つの認識対象地物ＭＴのうち一方を第１認識対象地物ＭＴ１と称し、他方を第２認識対象地物ＭＴ２と称する。画像認識部３は、第１認識対象地物ＭＴ１の外縁Ｅ１と第２認識対象地物ＭＴ２の外縁Ｅ２とを認識している。
【００２４】
地物情報記憶部２は、地物Ｍの位置及び外縁寸法を示す地物情報を記憶するための機能部である。地物情報記憶部２は、例えばデータベースとして構成され、ハードディスクドライブ、ＤＶＤ−ＲＯＭを備えたＤＶＤドライブ、ＣＤ−ＲＯＭを備えたＣＤドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを備えている。地物情報記憶部２は、例えば、車両Ｖに設けられても良いし、サーバ等、車両Ｖとは別の場所に設けられていても良い。
【００２５】
ここで、地物情報記憶部２に記憶された「地物Ｍの位置」とは、規定の地点を基準とする固定座標系における地物Ｍの位置である。図５に示す例では、固定座標系をＸＹ座標系として表し、第１認識対象地物ＭＴ１の位置が（Ｘ１，Ｙ１）で示されており、第２認識対象地物ＭＴ２の位置が（Ｘ２，Ｙ２）で示されている。なお、固定座標系は、地球全体に設定された座標系でも良いし、特定の地域に設定された座標系でも良い。例えば、緯度と経度で表される座標系とすると好適である。また、「地物Ｍの外縁寸法」とは、地物Ｍの外縁Ｅを構成する仮想面の大きさを示す寸法であり、地物Ｍの外縁Ｅの特定方向における全長である。本実施形態では、幅方向Ｄ２における地物Ｍの外縁Ｅの長さを「地物Ｍの外縁寸法」とする。よって、本例では、「地物Ｍの外縁寸法」は地物Ｍの幅寸法と言い換えることもできる。この場合、平面視における、地物Ｍの外縁Ｅを構成する一端部と他端部との距離が、地物Ｍの外縁寸法となる。図５に示す例では、第１認識対象地物ＭＴ１の外縁寸法が「Ｗ１」で示されており、第２認識対象地物ＭＴ２の外縁寸法が「Ｗ２」で示されている。
【００２６】
地物情報取得部４は、画像認識部３により認識された認識対象地物ＭＴに対応する地物情報を取得するための機能部である。地物情報取得部４は、画像認識部３から撮影画像Ｐの画像認識結果を受け取り、この画像認識結果に基づいて、認識対象地物ＭＴに対応する地物情報を地物情報記憶部２から取得するように構成されている。更に本実施形態では、地物情報取得部４は、自位置情報取得部８により取得された撮影部１の位置を示す位置情報にも基づいて、認識対象地物ＭＴに対応する地物情報を地物情報記憶部２から取得する。例えば、地物情報取得部４は、画像認識部３の画像認識結果に基づいて特定される認識対象地物ＭＴの地物種別と、自位置情報取得部８により取得される撮影部１の位置情報とに基づいて、当該位置情報に示される位置周辺に存在する、当該地物種別の地物についての地物情報を、認識対象地物ＭＴに対応する地物情報として地物情報記憶部２から取得する。図５に示すように、本例では、地物情報取得部４は、第１認識対象地物ＭＴ１の位置（Ｘ１，Ｙ１）及び外縁寸法Ｗ１と、第２認識対象地物ＭＴ２の位置（Ｘ２，Ｙ２）及び外縁寸法Ｗ２とを、地物情報記憶部２から取得する。地物情報取得部４は、取得した認識対象地物ＭＴに関する地物情報を、仮想情報生成部５に出力するように構成されている。
【００２７】
仮想情報生成部５は、仮想地物Ａの情報である仮想地物情報を生成するための機能部である。仮想地物Ａは、少なくとも２つの認識対象地物ＭＴに基づいて生成される仮想的な地物Ｍである。仮想地物情報には、仮想地物Ａの位置及び外縁寸法を示す情報が含まれる。仮想地物情報の生成について、詳細は後述する。
【００２８】
相対距離判定部６は、撮影部１と仮想地物Ａとの相対距離Ｌを判定する機能部であり、本例では、撮影部１が搭載された車両Ｖと仮想地物Ａとの相対距離Ｌを判定する。詳細は後述するが、図９及び図１０に示すように、相対距離判定部６は、仮想地物Ａの画像寸法ＰＷａと実生成寸法Ｗａとに基づいて、車両Ｖと仮想地物Ａとの相対距離Ｌを判定する。本実施形態では、相対距離判定部６は、車両Ｖと仮想地物Ａとの相対距離Ｌに加えて、撮影画像Ｐ中における仮想地物Ａの幅方向Ｄ２の位置に基づいて、車両Ｖ（撮影部１）と仮想地物Ａとの相対方位Φを判定する。
【００２９】
本実施形態では、相対距離判定部６は、車両Ｖと仮想地物Ａとの距離を演算する距離演算部６１と、撮影方向Ｄ１に直交する面（撮影画像面）に対する仮想地物Ａの傾斜角度θ（図８参照）を演算する傾斜演算部６２と、上記傾斜角度θに応じて必要な補正を行う寸法補正部６３と、車両Ｖと仮想地物Ａとの相対方位Φを演算する相対方位演算部６４と、を備えている。
【００３０】
このような相対距離判定システム１００は、撮影部１が撮影した撮影画像Ｐの画像認識結果を利用して、撮影画像Ｐ中における地物Ｍの寸法に基づいて、当該地物Ｍと車両Ｖとの相対距離Ｌを判定する。このような判定方法を用いる場合、相対距離の判定精度を高めるためには撮影画像Ｐ中における地物Ｍの寸法を正確に特定する必要があり、そのためには、画像認識において地物Ｍの外縁Ｅを正確に認識する必要がある。しかしながら、画像認識により地物Ｍの外縁Ｅを認識する場合には、撮影画像Ｐを構成する画素（ピクセル）の大きさに起因した誤差が生じることを避けることができない。そして、認識対象となる地物Ｍの寸法が小さくなるに従って、地物Ｍの寸法に対する画素（ピクセル）の大きさが相対的に大きくなるため、地物Ｍの寸法の認識誤差は大きくなる。すなわち、地物Ｍの寸法が小さくなるに従って、地物Ｍの寸法の認識精度が低下し、地物Ｍと車両Ｖとの相対距離Ｌの判定の精度も低下する。
【００３１】
本開示に係る相対距離判定システム１００は、このような画像認識に基づく車両Ｖと地物Ｍとの相対距離Ｌの判定精度を向上させることが可能となっている。すなわち、上述のように、相対距離判定システム１００は、少なくとも２つの認識対象地物ＭＴを合せて、１つの位置及び外縁寸法を有する仮想地物Ａの情報である仮想地物情報を生成し、当該仮想地物情報を用いて車両Ｖと仮想地物Ａとの相対距離Ｌを判定する。当然、１つの認識対象地物ＭＴの寸法よりも、少なくとも２つの認識対象地物ＭＴを合せた仮想地物Ａの寸法の方が大きくなる。そのため、認識対象となる地物Ｍ（仮想地物Ａ）の寸法に対する画素（ピクセル）の大きさを相対的に小さくすることができる。これにより、画像認識により地物Ｍの外縁Ｅの寸法を認識する場合に、地物Ｍの寸法に対する誤差の割合を小さくすることができる。従って、上述の相対距離判定システム１００によれば、地物Ｍの寸法の認識精度を向上させることができ、延いては画像認識に基づく車両Ｖと仮想地物Ａとの相対距離Ｌの判定精度を向上させることができる。以下、相対距離判定システム１００が実行する処理等について詳細に説明する。
【００３２】
〔仮想地物情報の生成〕
仮想地物Ａの地物情報である仮想地物情報の生成について説明する。上述のように、仮想地物情報は、仮想情報生成部５によって生成される。
【００３３】
ここで、「仮想地物Ａ」は、実際には存在しない地物Ｍであり、相対距離Ｌの判定のために生成される仮想的な地物Ｍである。そして、「仮想地物情報」は、このような仮想地物Ａに関する情報であり、規定の固定座標系における仮想地物Ａの位置及び外縁寸法の情報を含んでいる。
【００３４】
仮想情報生成部５は、図３及び図４に示すように画像認識部３により認識対象地物ＭＴが複数認識された場合に、仮想地物情報を生成する。図示の例では、画像認識部３によって、２つの認識対象地物ＭＴ、すなわち、第１認識対象地物ＭＴ１と第２認識対象地物ＭＴ２とが認識されている。本実施形態では、仮想情報生成部５は、第１認識対象地物ＭＴ１及び第２認識対象地物ＭＴ２を認識済地物組ＭＵとして、当該認識済地物組ＭＵを構成する第１認識対象地物ＭＴ１及び第２認識対象地物ＭＴ２のそれぞれに対応する地物情報に基づいて、当該認識済地物組ＭＵを合せた仮想地物Ａの情報である仮想地物情報を生成する。
【００３５】
すなわち、仮想情報生成部５は、第１認識対象地物ＭＴ１と第２認識対象地物ＭＴ２とを合せて１つにした仮想地物Ａの情報を生成する。具体的には、仮想情報生成部５は、第１認識対象地物ＭＴ１の外縁Ｅ１と第２認識対象地物ＭＴ２の外縁Ｅ２との双方によって規定される外縁Ｅを有する地物Ｍを仮想地物Ａとしてその仮想地物情報を生成する。一例として、仮想情報生成部５は、第１認識対象地物ＭＴ１の外縁Ｅ１と第２認識対象地物ＭＴ２の外縁Ｅ２とに沿ってこれらの外側部分をつなぐように第１認識対象地物ＭＴ１と第２認識対象地物ＭＴ２とを囲む１つの外縁Ｅａを有する仮想地物Ａの情報を生成する。より具体的には、図３及び図４に示すように、仮想情報生成部５は、認識済地物組ＭＵを構成する複数の認識対象地物ＭＴ１，ＭＴ２それぞれの外縁Ｅ１，Ｅ２のうち、撮影画像Ｐ中で互いに最も離れた部分を通ると共にこれら２つの外縁Ｅ１，Ｅ２を囲むように、仮想地物Ａの外縁Ｅａを設定する（図６も参照）。図示の例では、仮想地物Ａの外縁Ｅａは、第１認識対象地物ＭＴ１の外縁Ｅ１における第２認識対象地物ＭＴ２から最も遠い端部である左端部並びに上端部及び下端部と、当該第１認識対象地物ＭＴ１よりも右側に配置された第２認識対象地物ＭＴ２の外縁Ｅ２における第１認識対象地物ＭＴ１から最も遠い端部である右端部並びに上端部及び下端部とを通ると共に、これらを囲むように形成されている。なお、ここでの「左右」は、撮影画像Ｐ中での左右であり、撮影方向Ｄ１（車両Ｖの前後方向）を基準としている。
【００３６】
そして、図５及び図６に示すように、仮想情報生成部５は、第１認識対象地物ＭＴ１の位置（Ｘ１，Ｙ１）及び外縁寸法Ｗ１と、第２認識対象地物ＭＴ２の位置（Ｘ２，Ｙ２）及び外縁寸法Ｗ２とに基づいて、仮想地物Ａの位置（Ｘａ，Ｙａ）及び外縁寸法Ｗａを演算する。これらの演算結果が示す情報は、仮想地物情報に含まれる。
【００３７】
本例では、第１認識対象地物ＭＴ１及び第２認識対象地物ＭＴ２それぞれの位置は、それぞれの認識対象地物ＭＴの外縁Ｅ（Ｅ１，Ｅ２）の中心位置として定義されている。そのため、図６に示すように、固定座標系としてのＸＹ座標系において、Ｗ１の外縁寸法を有する第１認識対象地物ＭＴ１の外縁Ｅ１における、第２認識対象地物ＭＴ２から最も遠い端部（左端部）の位置は、（Ｘ１−Ｗ１／２，Ｙ１）で表すことができる。同様に、Ｗ２の外縁寸法を有する第２認識対象地物ＭＴ２の外縁Ｅ２における、第１認識対象地物ＭＴ１から最も遠い端部（右端部）の位置は、（Ｘ２＋Ｗ２／２，Ｙ２）で表すことができる。
【００３８】
ここで、第１認識対象地物ＭＴ１の外縁Ｅ１の左端部の位置（Ｘ１−Ｗ１／２，Ｙ１）は、平面視での仮想地物Ａの外縁Ｅａのうち一方の端部（左端部）の位置に等しい。第２認識対象地物ＭＴ２の外縁Ｅ２の右端部の位置（Ｘ２＋Ｗ２／２，Ｙ２）は、仮想地物Ａの外縁Ｅａのうち他方の端部（右端部）の位置に等しい。そして、これら２つの位置の距離を演算することにより、仮想地物Ａの実生成寸法Ｗａが求まる。また、仮想地物Ａの位置（Ｘａ，Ｙａ）は、仮想地物Ａの中心位置として定義されており、第１認識対象地物ＭＴ１の位置（Ｘ１，Ｙ１）と第２認識対象地物ＭＴ２の位置（Ｘ２，Ｙ２）との中間地点として求めることができる。本例では、ＸＹ座標系における仮想地物ＡのＸ座標の位置Ｘａは、「（Ｘ１＋Ｘ２）／２」で表すことができ、Ｙ座標の位置Ｙａは、「（Ｙ１＋Ｙ２）／２）」で表すことができる。
【００３９】
以上のようにして、仮想情報生成部５は、仮想地物Ａの位置（Ｘａ，Ｙａ）及び外縁寸法Ｗａの情報を含む仮想地物情報を生成する。
【００４０】
〔相対距離の判定〕
次に、車両Ｖと仮想地物Ａとの相対距離Ｌの判定について説明する。車両Ｖと仮想地物Ａとの相対距離Ｌは、仮想地物Ａの画像寸法ＰＷａと、仮想地物Ａの実生成寸法Ｗａとの関係に基づいて、判定することができる。すなわち、撮影部１の焦点距離ｆが一定の場合において、撮影画像Ｐ中における仮想地物Ａの大きさが大きくなるに従って、仮想地物Ａとの相対距離Ｌが近づいていることになる（図９も参照）。本実施形態では、撮影画像Ｐ中の地物Ｍの外縁寸法ＰＷと地物情報に示される地物Ｍの外縁寸法Ｗとの関係に応じて定まる相対距離Ｌの情報（例えばデータマップ）、或いは、これらの外縁寸法ＰＷ，Ｗから相対距離Ｌを算出するための関係式が、例えば地物情報記憶部２に予め記憶されている。従って、仮想地物Ａの画像寸法ＰＷａと実生成寸法Ｗａとが分かれば、撮影部１による撮影時における車両Ｖと仮想地物Ａとの相対距離Ｌを判定することができる。そして、上述のように、仮想地物Ａの位置（Ｘａ，Ｙａ）は、地物情報に示される第１認識対象地物ＭＴ１の位置情報および第２認識対象地物ＭＴ２の位置情報から求めることができるため、仮想地物Ａの位置（Ｘａ，Ｙａ）と上記相対距離Ｌとに基づいて、車両Ｖの位置（Ｘｖ，Ｙｖ）を推定することができる。
【００４１】
ここで、仮想地物情報に示される仮想地物Ａの外縁Ｅａを構成する面を判定基準面Ｆａ（図７等参照）とすると、仮想地物Ａの実生成寸法Ｗａは、平面視における判定基準面Ｆａの長さに等しい。しかしながら、図８に示すように、仮想地物Ａの判定基準面Ｆａは、撮影方向Ｄ１に直交する面（撮影画像面）に対して傾斜している場合がある。図示の例では、判定基準面Ｆａは、傾斜角度θ分、撮影方向Ｄ１に直交する面に対して傾斜している。このような場合、撮影画像Ｐ中の仮想地物Ａは、傾斜している分、判定基準面Ｆａに対して直交する方向から撮影された場合に比べて小さく映ることになる。従って、このままでは、仮想地物Ａの実生成寸法Ｗａと、仮想地物Ａの画像寸法ＰＷａ（図４参照）とを、適切に比較することができず、仮想地物Ａと車両Ｖとの相対距離Ｌを正確に判定することができない。
【００４２】
そこで、本実施形態では、相対距離判定部６は、撮影方向Ｄ１に直交する面に対する判定基準面Ｆａの傾斜方向及び傾斜角度θに基づいて、撮影画像Ｐ中における仮想地物Ａの外縁寸法ＰＷａ（画像寸法ＰＷａ）、及び、仮想地物情報に示される当該仮想地物Ａの外縁寸法Ｗａ（実生成寸法Ｗａ）の少なくとも一方を補正し、補正後のこれらの外縁寸法ＰＷａ，Ｗａの関係に基づいて相対距離Ｌを判定する。このような寸法補正をすることで、車両Ｖと仮想地物Ａとの相対距離Ｌをより適切に判定することができる。なお、仮想地物Ａの判定基準面Ｆａが、撮影方向Ｄ１に直交する面に対して傾斜していない場合には、相対距離判定部６は、このような補正をする必要がない。
【００４３】
また、相対距離Ｌを正確に判定するには、車両Ｖに対して配置される仮想地物Ａの方位、すなわち、車両Ｖと仮想地物Ａとの相対方位Φ（図１０参照）についても考慮する必要がある。車両Ｖと仮想地物Ａとが撮影方向Ｄ１に沿って並んで位置していない場合、具体的には、仮想地物Ａの中心位置（Ｘａ，Ｙａ）が撮影部１から撮影方向Ｄ１に沿って延びる直線上に位置していない場合には、車両Ｖと仮想地物Ａとの相対方位Φも考慮して、相対距離Ｌを判定する必要がある。
【００４４】
以下、仮想地物Ａの判定基準面Ｆａが撮影方向Ｄ１に直交する面に対して傾斜しており、かつ、仮想地物Ａの中心位置（Ｘａ，Ｙａ）が撮影部１から撮影方向Ｄ１に沿って延びる直線上に位置していない場合を例に、車両Ｖと仮想地物Ａとの相対距離Ｌの判定処理について説明する。
【００４５】
上記のような場合には、相対距離判定部６は、撮影方向Ｄ１に直交する面に対する判定基準面Ｆａの傾斜方向及び傾斜角度θを演算して、当該傾斜角度θに応じて仮想地物Ａの画像寸法ＰＷａ、及び、仮想地物Ａの実生成寸法Ｗａの少なくとも一方を補正し、撮影方向Ｄ１における車両Ｖと仮想地物Ａとの相対距離Ｌである撮影方向距離Ｌｙを演算する。その後、相対距離判定部６は、撮影画像Ｐ中における仮想地物Ａの幅方向Ｄ２の位置に基づいて、車両Ｖと仮想地物Ａとの相対方位Φを判定し、当該相対方位Φと撮影方向距離Ｌｙとに基づいて、車両Ｖと仮想地物Ａとの相対距離Ｌを判定する。
【００４６】
〔傾斜角度の演算〕
図７に示すように、車両Ｖの前後方向、すなわち撮影方向Ｄ１が、基準方位、本例では北Ｎに対して角度α傾斜しており、仮想地物Ａの判定基準面Ｆａに直交する方向が、北Ｎに対して角度β傾斜している場合を例に挙げる。なお本例では、基準方位（北Ｎ）に対するこれらの角度は、時計回りの角度としている。車両Ｖの角度αは、例えば方位センサＳ２の検出結果に基づいて検出することができる。仮想地物Ａの判定基準面Ｆａの角度βは、既知である第１認識対象地物ＭＴ１の位置（Ｘ１，Ｙ１）と第２認識対象地物ＭＴ２の位置（Ｘ２，Ｙ２）との関係に基づいて算出することができる。
【００４７】
この場合、図８に示すように、車両Ｖに対する判定基準面Ｆａの傾斜角度θは、下記（１）式により求まる。
θ＝π＋α−β・・・（１）
なお、（１）式における「π」は、車両Ｖ（撮影方向Ｄ１）と仮想地物Ａの判定基準面Ｆａとが、互いに向き合っていることにより必要となる補正値である。本例では、傾斜演算部６２（図１参照）が、傾斜角度θを演算する。
【００４８】
〔撮影方向距離の演算〕
図９は、撮影部１の焦点距離ｆと、撮影部１から仮想地物Ａまでの距離、ここでは撮影部１から仮想地物Ａまでの撮影方向距離Ｌｙとの関係を示す図である。
【００４９】
まず、相対距離判定部６は、上記傾斜角度θに基づいて、仮想地物Ａの実生成寸法Ｗａの値が、判定基準面Ｆａが撮影方向Ｄ１に直交する方向を向いたときの値となるように、当該実生成寸法Ｗａを補正する。すなわち本実施形態では、相対距離判定部６は、仮想地物Ａの画像寸法ＰＷａ、及び、仮想地物Ａの実生成寸法Ｗａのうち、実生成寸法Ｗａを補正する。仮想地物Ａの実生成寸法Ｗａと上記傾斜角度θとは、上記のように求まる。そのため、三角関数を用いて、仮想地物Ａの実生成寸法Ｗａの値が、判定基準面Ｆａが撮影方向Ｄ１に直交する方向を向いたときの値となるように、当該実生成寸法Ｗａを補正することができる。本例では、寸法補正部６３（図１参照）が、仮想地物Ａの実生成寸法Ｗａを補正する。以下では、上記のように傾斜角度θに基づいて補正された仮想地物Ａの外縁寸法を、「補正寸法Ｗａθ」と称する。
【００５０】
図９における「Ｐ」は、撮影部１（車両Ｖ）から焦点距離ｆ離れた地点を示しており、その地点における仮想地物Ａの外縁寸法は、仮想地物Ａの画像寸法ＰＷａに等しい。また、図９における「Ｒｅ」は、撮影部１（車両Ｖ）から撮影方向距離Ｌｙ離れた地点を示しており、本例では、その地点における仮想地物Ａの外縁寸法は、仮想地物Ａの実生成寸法Ｗａを補正した補正寸法Ｗａθに等しい。これら補正寸法Ｗａθ、画像寸法ＰＷａ、撮影方向距離Ｌｙ、焦点距離ｆの関係は、下記（２）式のような比の関係となる。
Ｌｙ：Ｗａθ＝ｆ：ＰＷａ・・・（２）
従って、撮影方向距離Ｌｙは、下記（３）式により求まる。
Ｌｙ＝ｆ×Ｗａθ／ＰＷａ・・・（３）
本例では、距離演算部６１（図１参照）が、撮影方向距離Ｌｙを演算する。このように求めた撮影方向距離Ｌｙを車両Ｖ（撮影部１）と仮想地物Ａとの相対距離Ｌとしても良い。
【００５１】
しかし、相対距離Ｌを更に正確に判定するには、車両Ｖと仮想地物Ａとの相対方位についても考慮する必要がある。図１０に示す例では、仮想地物Ａは、車両Ｖに対して前方左側に位置している。車両Ｖと仮想地物Ａとの相対方位は、撮影画像Ｐ中における仮想地物Ａの幅方向Ｄ２の位置に基づいて判定することができる。図１０においては、車両Ｖと仮想地物Ａとの相対方位は「Φ」で示されている。本例では、相対方位演算部６４（図１参照）が、車両Ｖと仮想地物Ａとの相対方位Φを演算する。具体的には、相対方位演算部６４は、仮想地物Ａの外縁Ｅａの中心の幅方向Ｄ２の位置と、撮影画像Ｐにおける幅方向Ｄ２の中央位置との距離に基づいて相対方位Φを演算する。当然ながら、仮想地物Ａの外縁Ｅａの中心の位置と、撮影画像Ｐにおける幅方向Ｄ２の中央位置との距離が大きくなるに従って、相対方位Φとしての角度も大きくなる。
【００５２】
そして、撮影方向距離Ｌｙは、上記のように（３）式により求まる。従って、車両Ｖと仮想地物Ａとの相対距離Ｌは、三角関数を用いて、下記（４）式により求まる。
Ｌ＝Ｌｙ／ｃｏｓΦ・・・（４）
本例では、距離演算部６１（図１参照）が、車両Ｖと仮想地物Ａとの相対距離Ｌを演算する。
【００５３】
以上のようにして、相対距離判定部６は、車両Ｖと仮想地物Ａとの相対方位Φを判定すると共に、車両Ｖと仮想地物Ａとの相対距離Ｌを判定する。そして、本実施形態では、相対距離判定システム１００は、相対距離Ｌの判定結果と相対方位Φの判定結果とに基づいて、車両Ｖの位置（Ｘｖ，Ｙｖ）を推定する。具体的には、相対距離判定システム１００は、仮想地物情報に示される仮想地物Ａの位置（Ｘａ，Ｙａ）、相対方位Φ、及び相対距離Ｌに基づいて、車両Ｖの位置（Ｘｖ，Ｙｖ）を推定する。
【００５４】
〔制御の手順〕
次に、車両Ｖの自位置（Ｘｖ，Ｙｖ）を推定する際の制御の手順について、図１１〜図１３を参照して説明する。
【００５５】
撮影部１によって撮影方向Ｄ１の撮影画像Ｐが撮影された場合、画像情報取得部７が、撮影画像Ｐの画像情報を取得する（＃１）。画像情報取得部７は、当該画像情報を画像認識部３に出力する。そして、画像認識部３が、撮影画像Ｐ中に含まれる地物Ｍを認識対象地物ＭＴとして画像認識する（＃２）。画像認識部３は、この画像認識結果を、地物情報取得部４及び相対距離判定部６に出力する。そして、地物情報取得部４が、画像認識部３により認識された認識対象地物ＭＴに対応する地物情報を、地物情報記憶部２から取得する（＃３）。地物情報取得部４は、取得した認識対象地物ＭＴに関する地物情報を、仮想情報生成部５に出力する。そして、仮想情報生成部５が、認識対象地物ＭＴに関する地物情報から、仮想地物Ａの情報である仮想地物情報を生成する（仮想情報生成処理：＃４）。
【００５６】
図１２に示すように、仮想情報生成処理では、まず、複数の認識対象地物ＭＴが画像認識部３によって認識されたか否かが判断される（＃４１）。複数の認識対象地物ＭＴが認識されたと判断された場合には（＃４１：Ｙｅｓ）、３つ以上の認識対象地物ＭＴが認識されたか否かが判断される（＃４２）。３つ以上の認識対象地物ＭＴが認識されていないと判断された場合、すなわち、画像認識部３によって２つの認識対象地物ＭＴが認識された場合には（＃４２：Ｎｏ）、当該２つの認識対象地物ＭＴを認識済地物組ＭＵとして、仮想地物Ａの地物情報である仮想地物情報を生成する（＃４４）。
【００５７】
３つ以上の認識対象地物ＭＴが認識されたと判断された場合には（＃４２：Ｙｅｓ）、仮想情報生成部５は、予め定められた設定基準に基づき、３つ以上の認識対象地物ＭＴの中から、仮想地物情報の生成に用いる２つの認識対象地物ＭＴを選択する。図１３には、画像認識部３によって３つ以上の認識対象地物ＭＴが認識された状態を示している。図示の例では、４つの認識対象地物ＭＴが認識されている。本実施形態では、仮想情報生成部５は、画像認識部３により認識対象地物ＭＴが３つ以上認識された場合に、撮影画像Ｐ中における距離が遠い２つの認識対象地物ＭＴを認識済地物組ＭＵとして優先的に選択する。これにより、撮影画像Ｐ中における仮想地物Ａの寸法を比較的大きくすることができ、画像認識に基づく車両Ｖと仮想地物Ａとの相対距離Ｌの判定精度を、更に向上させることが可能となる。そして、仮想情報生成部５は、２つの認識対象地物ＭＴを認識済地物組ＭＵとして選択した後、当該２つの認識済地物組ＭＵに基づいて、仮想地物Ａの地物情報である仮想地物情報を生成し（＃４４）、処理を終了する。なお、ステップ４１において、複数の認識対象地物ＭＴが認識されていないと判断された場合には（＃４１：Ｎｏ）、仮想情報生成部５は、仮想地物情報の生成を中止し（＃４５）、そのまま処理を終了する。
【００５８】
図１１に示すように、仮想情報生成処理の後、仮想地物Ａの判定基準面Ｆａが、撮影方向Ｄ１に直交する面（撮影画像面）に対して傾斜しているか否かが判断される（＃５）。傾斜していると判断された場合には（＃５：Ｙｅｓ）、寸法補正部６３が、仮想地物Ａの実生成寸法Ｗａを補正する（＃６）。これにより、補正寸法Ｗａθが得られる。実生成寸法Ｗａを補正した後は、撮影方向距離Ｌｙの演算処理に移行する（＃７）。なお、ステップ５において、仮想地物Ａの判定基準面Ｆａが傾斜していないと判断された場合には（＃５：Ｎｏ）、寸法補正を行うことなく、撮影方向距離Ｌｙの演算処理に移行する（＃７）。車両Ｖと仮想地物Ａとの撮影方向距離Ｌｙの演算は、距離演算部６１によって行われる。なお、仮想地物Ａの判定基準面Ｆａが、撮影方向Ｄ１に直交する面（撮影画像面）に対して傾斜しているか否かの判断基準は、撮影方向Ｄ１や判定基準面Ｆａの方向の判定誤差を考慮して設定されると好適である。例えば、判定基準面Ｆａと撮影方向Ｄ１に直交する面（撮影画像面）との角度差が±５°以上であれば、これらが傾斜していると判定し、当該角度差が±５°未満であれば、これらが傾斜していないと判断するというような基準とすることができる。
【００５９】
撮影方向距離Ｌｙの演算後は、車両Ｖと仮想地物Ａとの相対方位Φを判定する（＃８）。相対方位Φの判定は、撮影画像Ｐ中における仮想地物Ａの幅方向Ｄ２の位置に基づいて、相対方位演算部６４による演算によって行われる。相対方位Φの判定後は、車両Ｖと仮想地物Ａとの相対距離Ｌを判定する（＃９）。相対距離Ｌの判定は、撮影方向距離Ｌｙと相対方位Φとに基づいて、距離演算部６１による演算によって行われる。そして、相対方位Φと相対距離Ｌと仮想地物Ａの位置情報とに基づいて、車両Ｖの位置（Ｘｖ，Ｙｖ）を推定する（＃１０）。なお、車両Ｖの位置（Ｘｖ，Ｙｖ）は、撮影方向距離Ｌｙと相対方位Φとに基づいて推定しても良い。
【００６０】
〔その他の実施形態〕
次に、相対距離判定システム、相対距離判定方法、及び相対距離判定プログラムのその他の実施形態について説明する。
【００６１】
（１）上記の実施形態では、相対距離判定部６は、撮影方向Ｄ１に直交する面に対する判定基準面Ｆａの傾斜方向及び傾斜角度θに基づいて、撮影画像Ｐ中における仮想地物Ａの外縁寸法（画像寸法ＰＷａ）、及び、仮想地物情報に示される当該仮想地物Ａの外縁寸法（実生成寸法Ｗａ）のうち、実生成寸法Ｗａを補正し、補正後の値によって相対距離Ｌを判定する例について説明した。しかし、このような例に限定されることなく、相対距離判定部６は、撮影方向Ｄ１に直交する面に対する判定基準面Ｆａの傾斜方向及び傾斜角度θに基づいて、画像寸法ＰＷａを補正するようにしても良い。
【００６２】
（２）上記の実施形態では、仮想情報生成部５が、画像認識部３により認識対象地物ＭＴが３つ以上認識された場合に、撮影画像Ｐ中における距離が遠い２つの認識対象地物ＭＴを認識済地物組ＭＵとして優先的に選択する例について説明した。しかし、このような例に限定されることなく、仮想情報生成部５は、画像認識部３により認識対象地物ＭＴが３つ以上認識された場合に、撮影方向Ｄ１の距離が近い２つの認識対象地物ＭＴを認識済地物組ＭＵとして優先的に選択しても良い。２つの認識対象地物ＭＴの撮影方向Ｄ１の距離が遠くなるに従って、仮想地物Ａの判定基準面Ｆａの傾斜角度θ（図８等参照）が大きくなり、演算時の誤差が大きくなり易い。従って、２つの認識対象地物ＭＴの撮影方向Ｄ１の距離が近い２つの認識対象地物ＭＴを認識済地物組ＭＵとして選択することが好ましい。或いは、仮想情報生成部５は、画像認識部３により認識対象地物ＭＴが３つ以上認識された場合に、撮影画像Ｐ中における距離が遠いことと、撮影方向Ｄ１の距離が近いこととの双方を考慮して最適な２つの認識対象地物ＭＴを認識済地物組ＭＵとして選択するようにしても良い。その場合、例えば、３つ以上の中から選択した２つの認識対象地物ＭＴの撮影画像Ｐ中における距離が遠くなるに従って値が高くなる第１の指標と、２つの認識対象地物ＭＴの撮影方向Ｄ１の距離が近くなるに従って値が高くなる第２の指標と、を用い、これら２つの指標の加算値又は乗算値が最高となる２つの認識対象地物ＭＴを、認識済地物組ＭＵとして選択することができる。
【００６３】
（３）上記の実施形態では、仮想情報生成部５が、２つの認識対象地物ＭＴを合せて１つの仮想地物Ａの仮想地物情報を生成する例について説明した。しかし、このような例に限定されることなく、仮想情報生成部５は、３つ以上の認識対象地物ＭＴを合せて１つの仮想地物Ａの仮想地物情報を生成する構成であっても良い。
【００６４】
（４）上記の実施形態では、画像認識部３が、少なくとも、道路標識及び信号機を認識対象地物ＭＴとして画像認識する例について説明した。しかし、このような例に限定されることなく、画像認識部３は、道路標識及び信号機に代えて、或いはこれらに加えて、道路標識及び信号機以外の立体地物（建物、塀、看板、電柱、縁石ブロック、ガードレール、歩道橋などの建造物）を認識対象地物ＭＴとして画像認識しても良い。また、立体地物だけでなく、平面地物（車線を分ける区画線、ゼブラゾーン、停止線、横断歩道、各レーンの進行方向を指定する進行方向別通行区分表示、速度表示、マンホール等）を認識対象地物ＭＴとして画像認識しても良い。
【００６５】
（５）上記の実施形態では、地物Ｍの外縁寸法を、幅方向Ｄ２における地物Ｍの外縁Ｅの寸法とする場合を例として説明したが、これには限定されない。例えば、鉛直方向における地物Ｍの外縁Ｅの寸法を、地物Ｍの外縁寸法としても良い。また、水平方向及び鉛直方向に対して傾斜した方向における地物Ｍの外縁Ｅの寸法を、地物Ｍの外縁寸法としても良い。或いは、特定の方向に限定せず、仮想地物情報を生成した場合に仮想地物Ａの外縁寸法が最大となる方向における外縁Ｅの寸法を、地物Ｍの外縁寸法としても好適である。
【００６６】
（６）上記の実施形態では、仮想情報生成部５が、複数の認識対象地物ＭＴのそれぞれの外縁Ｅの外側部分をつないで１つの外縁Ｅａを有する仮想地物Ａの情報を生成する構成を例として説明したが、これには限定されない。例えば、仮想情報生成部５が、１つの外縁Ｅａを有する仮想地物Ａの情報を生成するのではなく、互いに分離した複数の外縁Ｅを有する１つの仮想地物Ａの情報を生成する構成であっても良い。この場合においても、仮想地物Ａの位置（Ｘａ，Ｙａ）及び外縁寸法Ｗａは、上記実施形態と同様に表すことができる。
【００６７】
（７）上記の実施形態では、撮影部１が車両Ｖに設置されている構成を例示し、相対距離判定システム１００が、車両Ｖと地物Ｍとの相対距離Ｌの判定、及び車両Ｖの自位置（Ｘｖ，Ｙｖ）の推定を行う例について説明した。しかし、このような例に限定されることなく、相対距離判定システム１００は、様々な移動体に適用することができる。例えば、相対距離判定システム１００は、撮影部１を備えた船舶や飛行機など、車両以外の乗り物にも適用することができる。また、相対距離判定システム１００は、乗り物以外にも、例えば、撮影部１を備えたスマートフォンやタブレット端末等の携帯端末にも適用することができる。この場合の地物Ｍには、屋外地物の他、屋内地物も含まれる。例えば、美術館や博物館などにおいては、屋内設置の時計、非常口の看板、展示物などが地物Ｍとされ、相対距離判定システム１００によって、携帯端末を携帯する者が美術館や博物館におけるどの位置にいるかを推定するようにしても良い。屋外のアミューズメントパークなどについても同様であり、各種アトラクションの出入口に設けられた看板や案内板、或いは非常口の看板などが地物Ｍとされても良い。
【００６８】
（８）なお、上述した各実施形態で開示された構成は、矛盾が生じない限り、他の実施形態で開示された構成と組み合わせて適用することも可能である。その他の構成に関しても、本明細書において開示された実施形態は全ての点で単なる例示に過ぎない。従って、本開示の趣旨を逸脱しない範囲内で、適宜、種々の改変を行うことが可能である。
【００６９】
〔上記実施形態の概要〕
以下、上記において説明した相対距離判定システム、相対距離判定方法、及び相対距離判定プログラムについて説明する。
【００７０】
相対距離判定システム（１００）は、
規定の撮影方向（Ｄ１）の風景を撮影する撮影部（１）と、
規定の地物（Ｍ）の位置及び外縁寸法を示す地物情報を記憶した地物情報記憶部（２）と、
前記撮影部（１）により撮影された撮影画像（Ｐ）中に含まれる前記地物（Ｍ）を認識対象地物（ＭＴ）として画像認識する画像認識部（３）と、
前記画像認識部（３）により認識された前記認識対象地物（ＭＴ）に対応する前記地物情報を取得する地物情報取得部（４）と、
前記画像認識部（３）により前記認識対象地物（ＭＴ）が複数認識された場合に、認識された少なくとも２つの前記認識対象地物（ＭＴ）を認識済地物組（ＭＵ）として、当該認識済地物組（ＭＵ）を構成する前記認識対象地物（ＭＴ）のそれぞれに対応する前記地物情報に基づいて、前記認識済地物組（ＭＵ）を合せて１つの位置及び外縁寸法を有する仮想地物（Ａ）の情報である仮想地物情報を生成する仮想情報生成部（５）と、
前記撮影画像（Ｐ）中における前記仮想地物（Ａ）の外縁寸法（ＰＷａ）と、前記仮想地物情報に示される前記仮想地物（Ａ）の外縁寸法（Ｗａ）とに基づいて、前記撮影部（１）と前記仮想地物（Ａ）との相対距離（Ｌ）を判定する相対距離判定部（６）と、を備える。
【００７１】
本構成によれば、少なくとも２つの認識対象地物（ＭＴ）を合せて、１つの位置及び外縁寸法を有する仮想地物（Ａ）の情報である仮想地物情報を生成し、当該仮想地物情報を用いて撮影部（１）と仮想地物（Ａ）との相対距離（Ｌ）を判定する。当然、１つの認識対象地物（ＭＴ）の寸法よりも、少なくとも２つの認識対象地物（ＭＴ）を合せた仮想地物（Ａ）の寸法の方が大きくなる。そのため、認識対象となる地物（Ｍ）（仮想地物（Ａ））の寸法に対する画素（ピクセル）の大きさを相対的に小さくすることができる。これにより、画像認識により地物（Ｍ）の外縁の寸法を認識する場合に、地物（Ｍ）の寸法に対する誤差の割合を小さくすることができる。従って、本構成によれば、地物（Ｍ）の寸法の認識精度を向上させることができ、延いては画像認識に基づく撮影部（１）と仮想地物（Ａ）との相対距離（Ｌ）の判定精度を向上させることができる。
【００７２】
ここで、
平面視で前記撮影方向（Ｄ１）に直交する方向を幅方向（Ｄ２）として、
前記相対距離判定部（６）は、前記撮影画像（Ｐ）中における前記仮想地物（Ａ）の前記幅方向（Ｄ２）の位置に基づいて、前記撮影部（１）と前記仮想地物（Ａ）との相対方位（Φ）を判定すると好適である。
【００７３】
本構成によれば、撮影部（１）と地物（Ｍ）との相対距離（Ｌ）を判定することに加え、これらの相対方位（Φ）を判定する。そのため、これらの判定結果を用いて、地物（Ｍ）に対する撮影部（１）の相対位置を精度良く推定することが可能となる。
【００７４】
また、
前記仮想情報生成部（５）は、前記画像認識部（３）により前記認識対象地物（ＭＴ）が３つ以上認識された場合に、前記撮影画像（Ｐ）中における距離が遠い２つの前記認識対象地物（ＭＴ）を前記認識済地物組（ＭＵ）として優先的に選択すると好適である。
【００７５】
本構成によれば、撮影画像（Ｐ）中における仮想地物（Ａ）の寸法を比較的大きくすることができる。従って、本構成によれば、画像認識に基づく撮影部（１）と仮想地物（Ａ）との相対距離（Ｌ）の判定精度を、更に向上させることが可能となる。
【００７６】
また、
前記仮想情報生成部（５）は、前記画像認識部（３）により前記認識対象地物（ＭＴ）が３つ以上認識された場合に、前記撮影方向（Ｄ１）の距離が近い２つの前記認識対象地物（ＭＴ）を前記認識済地物組（ＭＵ）として優先的に選択すると好適である。
【００７７】
認識済地物組（ＭＵ）を構成する複数の認識対象地物（ＭＴ）同士が、撮影方向（Ｄ１）の異なる位置に配置されている場合には、当該認識済地物組（ＭＵ）を合せた仮想地物（Ａ）は、撮影方向（Ｄ１）に直交する面に対して傾斜して配置されたものとなる。そして、上記複数の認識対象地物（ＭＴ）同士の撮影方向（Ｄ１）における距離が遠くなるに従って、撮影方向（Ｄ１）に直交する面に対する仮想地物（Ａ）の傾斜は大きくなる。このような仮想地物（Ａ）の傾斜が大きくなるに従って、仮想地物（Ａ）の寸法の認識精度や撮影部（１）と仮想地物（Ａ）との相対距離（Ｌ）の判定精度が低下し易い。しかし、本構成によれば、撮影方向（Ｄ１）に直交する面に対する仮想地物（Ａ）の傾斜を比較的小さく抑えることができる。従って、本構成によれば、画像認識に基づく撮影部（１）と仮想地物（Ａ）との相対距離（Ｌ）の判定精度の低下を抑制することができる。
【００７８】
また、
前記仮想地物情報に示される前記仮想地物（Ａ）の外縁（Ｅａ）を構成する面を判定基準面（Ｆａ）として、
前記相対距離判定部（６）は、前記撮影方向（Ｄ１）に直交する面に対する前記判定基準面（Ｆａ）の傾斜方向及び傾斜角度（θ）に基づいて、前記撮影画像（Ｐ）中における前記仮想地物（Ａ）の外縁寸法（ＰＷａ）、及び、前記仮想地物情報に示される当該仮想地物（Ａ）の外縁寸法（Ｗａ）の少なくとも一方を補正し、補正後のこれらの外縁寸法（ＰＷａ，Ｗａ）の関係に基づいて前記相対距離（Ｌ）を判定すると好適である。
【００７９】
本構成によれば、仮想地物（Ａ）の判定基準面（Ｆａ）が撮影方向（Ｄ１）に直交する面に対して傾斜している場合であっても、当該傾斜を補正して、撮影部（１）と地物（Ｍ）との相対距離（Ｌ）を適切に判定できる。
【００８０】
また、
前記画像認識部（３）は、少なくとも、道路標識及び信号機を前記認識対象地物（ＭＴ）として画像認識すると好適である。
【００８１】
本構成によれば、道路面に設けられた道路標示や道路面上に設置された縁石などの地上または地上付近に配置された地物（Ｍ）に比べて、地上から高い位置に配置された地物（Ｍ）を画像認識の対象とすることができる。そのため、例えば、画像認識を実行する範囲を比較的限定することができ、処理負担を軽減することが可能となる。また、地上から高い位置に配置された地物（Ｍ）は他車両などによって遮られる可能性が低いため、このような地物（Ｍ）を画像認識の対象とすることで、画像認識を良好に実行し易い。
【００８２】
上述した相対距離判定システムの種々の技術的特徴は、相対距離判定方法や相対距離判定プログラムにも適用可能である。例えば、相対距離判定方法は、上述した相対距離判定システムの特徴を備えた方法とすることができる。また、相対距離判定プログラムは、上述した相対距離判定システムの特徴に対応する機能をコンピュータに実現させることが可能である。当然ながらこれらの相対距離判定方法及び相対距離判定プログラムも、上述した相対距離判定システムの作用効果を奏することができる。さらに、相対距離判定システムの好適な態様として例示した種々の付加的特徴を、これら相対距離判定方法や相対距離判定プログラムに組み込むことも可能であり、当該方法及び当該プログラムはそれぞれの付加的特徴に対応する作用効果も奏することができる。
【００８３】
このような相対距離判定方法は、
規定の撮影方向（Ｄ１）の風景を撮影部（１）により撮影する撮影ステップと、
前記撮影部（１）により撮影された撮影画像（Ｐ）中に含まれる規定の地物（Ｍ）を認識対象地物（ＭＴ）として画像認識する画像認識ステップと、
前記地物（Ｍ）の位置及び外縁寸法を示す地物情報を記憶した地物情報記憶部（２）から、前記画像認識ステップにより認識された前記認識対象地物（ＭＴ）に対応する前記地物情報を取得する地物情報取得ステップと、
前記画像認識ステップにより前記認識対象地物（ＭＴ）が複数認識された場合に、認識された少なくとも２つの前記認識対象地物（ＭＴ）を認識済地物組（ＭＵ）として、当該認識済地物組（ＭＵ）を構成する前記認識対象地物（ＭＴ）のそれぞれに対応する前記地物情報に基づいて、前記認識済地物組（ＭＵ）を合せて１つの位置及び外縁寸法を有する仮想地物（Ａ）の情報である仮想地物情報を生成する仮想情報生成ステップと、
前記撮影画像（Ｐ）中における前記仮想地物（Ａ）の外縁寸法（ＰＷａ）と、前記仮想地物情報に示される前記仮想地物（Ａ）の外縁寸法（Ｗａ）とに基づいて、前記撮影部（１）と前記仮想地物（Ａ）との相対距離（Ｌ）を判定する相対距離判定ステップと、を備える。
【００８４】
また、このような相対距離判定プログラムは、
規定の撮影方向（Ｄ１）の風景を撮影部（１）により撮影する撮影機能と、
前記撮影部（１）により撮影された撮影画像（Ｐ）中に含まれる規定の地物（Ｍ）を認識対象地物（ＭＴ）として画像認識する画像認識機能と、
前記地物（Ｍ）の位置及び外縁寸法を示す地物情報を記憶した地物情報記憶部（２）から、前記画像認識機能により認識された前記認識対象地物（ＭＴ）に対応する前記地物情報を取得する地物情報取得機能と、
前記画像認識機能により前記認識対象地物（ＭＴ）が複数認識された場合に、認識された少なくとも２つの前記認識対象地物（ＭＴ）を認識済地物組（ＭＵ）として、当該認識済地物組（ＭＵ）を構成する前記認識対象地物（ＭＴ）のそれぞれに対応する前記地物情報に基づいて、前記認識済地物組（ＭＵ）を合せて１つの位置及び外縁寸法を有する仮想地物（Ａ）の情報である仮想地物情報を生成する仮想情報生成機能と、
前記撮影画像（Ｐ）中における前記仮想地物（Ａ）の外縁寸法（ＰＷａ）と、前記仮想地物情報に示される前記仮想地物（Ａ）の外縁寸法（Ｗａ）とに基づいて、前記撮影部（１）と前記仮想地物（Ａ）との相対距離（Ｌ）を判定する相対距離判定機能と、をコンピュータに実現させる。
【産業上の利用可能性】
【００８５】
本開示に係る技術は、相対距離判定システム、相対距離判定方法、及び相対距離判定プログラムに利用することができる。
【符号の説明】
【００８６】
１００  ：相対距離判定システム
１      ：撮影部
２      ：地物情報記憶部
３      ：画像認識部
４      ：地物情報取得部
５      ：仮想情報生成部
６      ：相対距離判定部
Ａ      ：仮想地物
Ｅａ    ：仮想地物の外縁
Ｆａ    ：仮想地物の判定基準面
Ｍ      ：地物
ＭＴ    ：認識対象地物
ＭＵ    ：認識済地物組
Ｐ      ：撮影画像
ＰＷａ  ：仮想地物の画像寸法
Ｗａ    ：仮想地物の実生成寸法
Ｄ１    ：撮影方向
Ｄ２    ：幅方向
Ｌ      ：相対距離
Φ      ：相対方位
θ      ：傾斜角度
【図１】
2020204572.tif 000003
【図２】
2020204572.tif 000004
【図３】
2020204572.tif 000005
【図４】
2020204572.tif 000006
【図５】
2020204572.tif 000007
【図６】
2020204572.tif 000008
【図７】
2020204572.tif 000009
【図８】
2020204572.tif 000010
【図９】
2020204572.tif 000011
【図１０】
2020204572.tif 000012
【図１１】
2020204572.tif 000013
【図１２】
2020204572.tif 000014
【図１３】
2020204572.tif 000015