(57)【特許請求の範囲】
【請求項１】
異なる地理的位置において撮影された、少なくとも１つの同一の静止物体を含む複数のカメラ画像を取得する、カメラ画像取得部と、
前記複数のカメラ画像から２つのカメラ画像を選択的に組み合わせて画像ペアを生成する、画像ペア生成部と、
前記画像ペアのカメラ画像の各々が撮影された地理的位置の位置座標を取得する、位置座標取得部と、
前記画像ペアのカメラ画像の各々における、前記カメラ画像に関連付けられた座標系におけるカメラから前記静止物体に対する視線ベクトルを地図座標系に変換した視線ベクトルと、前記地理的位置の位置座標とに基づいて、前記静止物体の位置座標を推定する、位置座標推定部と、を具備する位置座標推定装置。
【請求項２】
前記位置座標推定部は、前記画像ペアのカメラ画像の各々における前記カメラから前記静止物体に対する視線ベクトルと、前記地理的位置の位置座標とに基づいて、前記静止物体の位置座標を推定する、請求項１に記載の位置座標推定装置。
【請求項３】
前記位置座標取得部は、ＧＰＳ衛星から受信される情報に基づいて前記地理的位置の位置座標を取得し、
前記画像ペア生成部は、前記ＧＰＳ衛星から受信される情報に基づいて、取得された前記地理的位置の位置座標の精度を表す情報を取得し、前記位置座標の精度が所定のしきい値を超える地理的位置に対応するカメラ画像を選択的に組み合わせて、前記画像ペアを生成する、請求項２に記載の位置座標推定装置。
【請求項４】
前記画像ペア生成部は、複数の画像ペアを生成し、
前記位置座標推定部は、前記複数の画像ペアの各々について前記静止物体の位置座標の候補値を算出し、前記算出された複数の候補値に基づいて前記静止物体の位置座標を推定する、請求項２または３に記載の位置座標推定装置。
【請求項６】
位置座標を推定する装置が実行する、位置座標推定方法であって、
異なる地理的位置において撮影された、少なくとも１つの同一の静止物体を含む複数のカメラ画像を取得する過程と、
前記複数のカメラ画像から２つのカメラ画像を選択的に組み合わせて画像ペアを生成する過程と、
前記画像ペアのカメラ画像の各々が撮影された地理的位置の位置座標を取得する過程と、
前記画像ペアのカメラ画像の各々における、前記カメラ画像に関連付けられた座標系におけるカメラから前記静止物体に対する視線ベクトルを地図座標系に変換した視線ベクトルと、前記地理的位置の位置座標とに基づいて、前記静止物体の位置座標を推定する過程と、を具備する位置座標推定方法。
【請求項８】
請求項１乃至請求項４の何れかに記載の装置の各部による処理をプロセッサに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明の一態様は、移動体から撮影されたカメラ画像に基づいて、移動体の周辺の物体または当該移動体自体の位置座標を推定する、装置、方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、自動車や船舶、ロボットなどの移動体にセンサを搭載し、センサにより得られた情報から周辺地図を作成する取り組みがある（例えば、非特許文献１参照）。将来的に自動運転走行を行う上でも、周辺地図の重要性は、広く認識されている。【０００３】
周辺地図を作成するにあたって必要な地図情報として、例えば道路標識があげられる。車載カメラの映像から道路標識を検出し、車載カメラを搭載している自動車のＧＰＳ（Global Positioning System）情報に基づいて地図データベースを照合の上、固定的な標識であるか臨時的な標識であるかを識別するような取り組みが考えらえる。【０００４】
また、周辺地図の中で、自車位置を精度よく推定することも重要である。中でも、ＬＩＤＡＲ（Light Detection and RangingまたはLaser Imaging Detection and Ranging）方式と呼ばれる自己位置推定方法が主流となっている。これは、レーザーパルスをスキャンして三次元空間からの散乱光を発射位置で受光し、時間差から距離を計測することで点群を作成し、三次元座標をもった点群で三次元空間を密に作り上げる技術である。また、このような点群を処理して、自己位置推定と環境地図作成とを同時に行うＳＬＡＭ（Simultaneous Localization and Mapping）と呼ばれる技術も知られており、Ｖ−ＳＬＡＭ（Visual-SLAM）では、車載カメラからの映像を直接加工して生成した点群から自己位置推定が行われる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】「ＳＩＰ自動走行システム Automated driving system for everyone a smile」、２０１８年５月１１日第１期ＳＩＰ記者勉強会（第３回）、インターネット＜ URL: http://www8.cao.go.jp/cstp/gaiyo/sip/press/jidosoko.pdf ＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、非特許文献１に記載された技術では、自動車のＧＰＳ情報自体に計測誤差が含まれるため、精度よく位置座標を推定できないという問題がある。移動体の移動経路補正技術として、例えば道路ネットワークデータとＧＰＳデータとのマップマッチング技術が知られているが、その技術ではＧＰＳデータを道路中心線に対し垂直補正することしかできず、十分な補正とはいえない。また、ＬＩＤＡＲ方式のようなセンサを用いれば精度よく位置座標を求めることができるが、センサ自体の費用が高価であり、汎用的な方式として実用するには困難である。【０００７】
この発明は上記事情に着目してなされたもので、その目的とするところは、高価なセンサを用いることなく、移動体の周辺の物体または移動体自体の位置座標を精度よく推定する技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、この発明の第１の態様は、位置座標推定装置にあって、異なる地理的位置において撮影された、少なくとも１つの同一の静止物体を含む複数のカメラ画像を取得する、カメラ画像取得部と、上記複数のカメラ画像の各々が撮影された地理的位置の位置座標を取得する、位置座標取得部と、上記複数のカメラ画像の各々における、上記カメラ画像に関連付けられた座標系における上記静止物体に対する視線ベクトルと、上記地理的位置の位置座標とに基づいて、上記静止物体の位置座標を推定する、位置座標推定部とを具備するようにしたものである。【０００９】
この発明の第２の態様は、上記第１の態様において、位置座標推定装置が、上記複数のカメラ画像から２つのカメラ画像を選択的に組み合わせて画像ペアを生成する、画像ペア生成部をさらに具備し、上記位置座標推定部が、上記画像ペアを構成する２つのカメラ画像の各々における上記静止物体に対する視線ベクトルと、上記地理的位置の位置座標とに基づいて、上記静止物体の位置座標を推定するようにしたものである。【００１０】
この発明の第３の態様は、上記第２の態様において、上記位置座標取得部が、ＧＰＳ衛星から受信される情報に基づいて上記地理的位置の位置座標を取得し、上記画像ペア生成部が、上記ＧＰＳ衛星から受信される情報に基づいて、取得された上記地理的位置の位置座標の精度を表す情報を取得し、上記位置座標の精度が所定のしきい値を超える地理的位置に対応するカメラ画像を選択的に組み合わせて、上記画像ペアを生成するようにしたものである。【００１１】
この発明の第４の態様は、上記第２または第３の態様において、上記画像ペア生成部が、複数の画像ペアを生成し、上記位置座標推定部が、上記複数の画像ペアの各々について上記静止物体の位置座標の候補値を算出し、上記算出された複数の候補値に基づいて上記静止物体の位置座標を推定するようにしたものである。【００１２】
この発明の第５の態様は、位置座標推定装置にあって、位置座標がそれぞれ既知の少なくとも２つの静止物体を含むカメラ画像を取得する、カメラ画像取得部と、上記少なくとも２つの静止物体それぞれの位置座標を取得する、位置座標取得部と、上記カメラ画像における、上記カメラ画像に関連付けられた座標系における上記少なくとも２つの静止物体それぞれに対する視線ベクトルと、上記少なくとも２つの静止物体それぞれの上記位置座標とに基づいて、上記カメラ画像が撮影された地点の位置座標を推定する、位置座標推定部とを具備するようにしたものである。
【発明の効果】
【００１３】
この発明の第１の態様によれば、移動体から撮影された複数のカメラ画像について、カメラ画像内の静止物体に対する視線ベクトルと、各カメラ画像が撮影された地点の位置座標とに基づいて、静止物体の位置座標が推定される。同一の静止物体に対する複数の視線ベクトルを得ることで、仮に撮影地点の位置座標に誤差が含まれる場合でも、例えば幾何学的または統計学的な種々の手法により、一定の精度を保ちながら静止物体の位置座標を推定することができる。したがって、各撮影地点に関する位置座標が何らかの方法で取得できれば、高価なセンサを必要とすることなく、車載カメラ等の一般的なカメラを用いて、静止物体の位置座標を精度よく推定することができる。【００１４】
この発明の第２の態様によれば、複数のカメラ画像から２つのカメラ画像を選択的に組み合わせて生成された画像ペアを用いて、静止物体の位置座標が推定される。これにより、システムの負荷条件や所望の精度を考慮した任意の基準を設定して画像ペアを生成させることができ、そのように生成された画像ペアに基づいて静止物体の位置座標を推定することができる。【００１５】
この発明の第３の態様によれば、ＧＰＳ衛星から受信される情報を用いて、地理的位置の位置座標の精度が判定され、位置座標の精度が所定のしきい値を超える地理的位置に対応するカメラ画像が、上記画像ペアとして選択的に組み合わせられる。これにより、精度の高い位置座標に対応付けられるカメラ画像のみが、静止物体の位置座標推定に利用されるので、より高い精度で静止物体の位置座標を推定することができる。【００１６】
この発明の第４の態様によれば、複数の画像ペアが生成され、複数の画像ペアそれぞれを用いて推定された複数の候補値から、最終的な位置座標が推定される。これにより、サンプル間のばらつきの影響を考慮して、さらに精度よく静止物体の位置座標を推定することができる。【００１７】
この発明の第５の態様によれば、あらかじめ位置座標がわかっている少なくとも２つの静止物体を撮影したカメラ画像を取得し、当該カメラ画像内の静止物体に対する視線ベクトルと静止物体の位置座標とに基づいて、当該カメラ画像が撮影された地点の位置座標が推定される。これにより、あらかじめ位置座標がわかっている少なくとも２つの静止物体のカメラ画像を取得できれば、やはり高価なセンサを必要とすることなく、車載カメラ等の一般的なカメラを用いて、撮影された地点の位置座標、ひいては当該カメラを搭載している移動体の位置座標を精度よく推定することができる。【００１８】
すなわち、この発明の各態様によれば、高価なセンサを用いることなく、移動体周辺の物体または移動体自体の位置座標を精度よく推定する技術を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】図１は、この発明の実施形態に係る位置座標推定装置を備えた車載システムの概略構成図である。
【図２】図２は、この発明の実施形態に係る位置座標推定装置のハードウェア構成を示すブロック図である。
【図３】図３は、この発明の第１の実施形態に係る位置座標推定装置のソフトウェア構成を示すブロック図である。
【図４】図４は、図３に示した位置座標推定装置による全体の処理手順と処理内容の一例を示すフローチャートである。
【図５】図５は、図４に示したオブジェクト検知処理ルーチンの処理手順と処理内容の一例を示すフローチャートである。
【図６】図６は、図４に示したオブジェクトマッチング処理ルーチンの処理手順と処理内容の一例を示すフローチャートである。
【図７】図７は、図４に示した観測ペア生成処理ルーチンの処理手順と処理内容の一例を示すフローチャートである。
【図８】図８は、図４に示した位置座標推定処理ルーチンの処理手順と処理内容の一例を示すフローチャートである。
【図９Ａ】図９Ａは、図８に示した位置座標推定処理で用いる写真測量技法を例示する図である。
【図９Ｂ】図９Ｂは、図８に示した位置座標推定処理で用いる視線ベクトルの交点算出処理を例示する図である。
【図１０Ａ】図１０Ａは、車載カメラから取得されるカメラ画像データの一例を示す図である。
【図１０Ｂ】図１０Ｂは、ＧＰＳセンサから取得されるＧＰＳ計測データの一例を示す図である。
【図１１】図１１は、オブジェクト検知されたカメラ画像データの一例を示す図である。
【図１２】図１２は、同一のオブジェクトが検知されたデータごとに分割された画像データの一例を示す図である。
【図１３Ａ】図１３Ａは、観測データのペアを生成するためのＧＰＳ計測データの一例を示す図である。
【図１３Ｂ】図１３Ｂは、図１３Ａに示したデータに基づいて生成された観測ペアの一例を示す図である。
【図１４】図１４は、位置座標が推定されたオブジェクトを示す図である。
【図１５】図１５は、この発明の第２の実施形態に係る位置座標推定装置のソフトウェア構成を示すブロック図である。
【図１６】図１６は、図１５に示した位置座標推定装置による全体の処理手順と処理内容の一例を示すフローチャートである。
【図１７】図１７は、図１６に示した処理において読み出されるオブジェクトの位置情報のイメージを示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照してこの発明に係わる実施形態を説明する。  
【００２１】
［第１の実施形態］
（構成）
（１）システム
図１は、この発明の一実施形態に係る位置座標推定装置を備えた車載システムの一例を示す。図１では、移動体の一例として自動車４が示されている。自動車４は、特定の自動車に限定されるものではなく、様々な個人、車種、メーカーの自動車であってよい。ただし、移動体には、自動車、二輪車、自転車、パーソナルモビリティ、ロボット、歩行者、船舶、飛行機、ドローンなど、センサを搭載することが可能なあらゆる移動体が含まれ得る。したがって、図１に示した車載システムは一例にすぎず、歩行者が所持するスマートフォンなどに置き換えることも可能である。
【００２２】
図１において、移動体としての自動車４には、一実施形態に係る位置座標推定装置１と、カメラ２と、ＧＰＳセンサ３とが搭載されている。
【００２３】
カメラ２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の固体撮像デバイスを用いたもので、自動車４の進行方向など、任意の方向の道路領域を撮像範囲に含むように、設置場所、向きおよび角度が設定されている。カメラ２は、カメラ画像データを取得し、取得したデータを位置座標推定装置１へ出力する。
【００２４】
なお、カメラ２は、位置座標推定専用に設けられるものであってもよいが、ドライブレコーダのカメラやその他の目的で搭載されている車載カメラ等、同等の画像データを得ることができるものであれば、どのようなカメラでも利用可能である。例えば、移動体が二輪車や自転車の場合にはドライバのヘルメットに設けられたカメラを使用してもよく、また自動車４の同乗者が所持するスマートフォンやタブレット端末等の携帯端末に設けられたカメラを使用してもよい。さらに、カメラの種類としては赤外線カメラを用いてもよい。また、カメラによって取得されるカメラ画像データは、動画像データでもよく、一定の時間間隔で撮像される静止画像データであってもよい。
【００２５】
ＧＰＳセンサ３は、複数のＧＰＳ衛星が送信するＧＰＳ信号を受信して測距演算を行うことにより自動車４の緯度・経度を算出するもので、この算出された緯度・経度を含むＧＰＳ計測データを位置座標推定装置１へ出力する。ＧＰＳ計測データは、緯度・経度（以下、「位置座標」とも言う）に加えて、ＧＰＳ計測の確からしさを表す情報も含むことができる。ＧＰＳ計測の確からしさとは、例えば、ＧＰＳ衛星の配置状況に応じて決定される指標である。なお、位置座標の取得は、ＧＰＳセンサ３に限定されるものではなく、同等の機能が発揮されるのであれば、無線基地局やＷｉＦｉアクセスポイントの位置情報を利用するなど、他の手段を使用してもよい。
【００２６】
位置座標推定装置１は、カメラ画像中に写った周辺の物体の位置座標を推定するもので、以下のように構成される。
【００２７】
（２）位置座標推定装置
（２−１）ハードウェア構成
図２は、この発明の第１の実施形態に係る位置座標推定装置１のハードウェア構成を示すブロック図である。
【００２８】
位置座標推定装置１は、例えばパーソナルコンピュータにより構成され、ハードウェアとして、バス４０を介して互いに接続された、入出力インタフェースユニット１０と、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサ２０Ａと、プログラムメモリ２０Ｂと、データメモリ３０とを備えている。
【００２９】
入出力インタフェースユニット１０は、例えば１つ以上の有線または無線の通信インタフェースユニットを含んでいる。入出力インタフェースユニット１０は、上記カメラ２およびＧＰＳセンサ３を含む外部機器から情報を受け取るとともに、位置座標推定装置１により生成された情報を外部へと出力する。
【００３０】
プログラムメモリ２０Ｂは、記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ等の不揮発性メモリとを組み合わせて使用したもので、実施形態に係る各種制御処理を実行するために必要なプログラムが格納されている。
【００３１】
データメモリ３０は、記憶媒体として、例えば、ＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリとを組み合わせて使用したもので、各種処理を行う過程で取得および作成された各種データを記憶するために用いられる。
【００３２】
（２−２）ソフトウェア構成
図３は、この発明の第１の実施形態に係る位置座標推定装置１のソフトウェア構成を、図２に示したハードウェア構成と関連付けて示したブロック図である。
【００３３】
入出力インタフェースユニット１０は、自動車４に搭載されたドライブレコーダ等のカメラ２で記録された車載カメラ映像や、自動車４に搭載されたＧＰＳセンサ３からの位置情報を受け取って制御ユニット２０に出力する。さらに、入出力インタフェースユニット１０は、制御ユニット２０から出力されたデータを外部へと出力させる。例えば、推定された位置座標が、出力結果として、入出力インタフェースユニット１０を介して、地図に対して位置情報をマッピングする可視化手段へと出力される。あるいは、入出力インタフェースユニット１０は、位置座標の推定結果を表示するために生成された表示データを、例えば自動車４のカーナビゲーション装置（図示せず）の表示部へ出力して表示させることもできる。
【００３４】
データメモリ３０の記憶領域は、観測データ記憶部３１と、オブジェクトデータ記憶部３２と、オブジェクト別データ記憶部３３と、座標データ記憶部３４とを備えている。
【００３５】
観測データ記憶部３１は、カメラ２により得られたカメラ画像データとＧＰＳセンサ３により得られたＧＰＳ計測データ（以下、カメラ画像データとＧＰＳ計測データとを合わせて「観測データ」とも言う。）を記憶するために使用される。カメラ画像データとＧＰＳ計測データとは、日時情報により互いに紐付けられる。
【００３６】
オブジェクトデータ記憶部３２は、カメラ画像中で検知されたオブジェクトを識別する情報を、当該カメラ画像に紐付けられたＧＰＳ計測データとともに記憶するために使用される。ここでは、オブジェクトとは、カメラ２を搭載している自動車４の周辺にある物体、特に静止物体を意味する。静止物体とは、道路標識、交通信号機、電柱、ポスト、自動販売機、建物、看板などの固定物に加えて、駐車車両やロードコーンなど、少なくとも一定時間同じ位置にある物体を含み得る。また、静止物体には、一時停止中の他の車両や信号待ちをしている人を含めることも可能である。
【００３７】
オブジェクト別データ記憶部３３は、検知されたオブジェクトごとに分割されたカメラ画像データおよびＧＰＳ計測データを記憶するために使用される。
【００３８】
座標データ記憶部３４は、オブジェクトの画像またはオブジェクトの識別情報とともに、該オブジェクトの位置座標データを記憶するために使用される。
【００３９】
ただし、上記記憶部３１〜３４は必須の構成ではなく、例えば、クラウドに配置されたデータベースサーバ等の外部の記憶装置に設けられたものであってもよい。この場合、位置座標推定装置１は、通信ネットワーク等を介して上記クラウドのデータベースサーバにアクセスすることにより、必要なデータを取得する。
【００４０】
制御ユニット２０は、上記ハードウェアプロセッサ２０Ａと、上記プログラムメモリ２０Ｂとから構成され、ソフトウェアによる処理機能部として、観測データ取得部２１と、オブジェクト検知部２２と、オブジェクトマッチング部２３と、観測ペア生成部２４と、座標推定部２５と、出力制御部２６とを備えている。これらの各部における処理機能はいずれも、プログラムメモリ２０Ｂに格納されたプログラムを上記ハードウェアプロセッサ２０Ａに実行させることによって実現される。なお、これらの処理機能は、プログラムメモリ２０Ｂに格納されたプログラムを用いて実現されるのではなく、ネットワークを通して提供されるプログラムを用いて実現されてもよい。
【００４１】
観測データ取得部２１は、入出力インタフェースユニット１０を介して、カメラ２から出力されたカメラ画像データおよびＧＰＳセンサ３から出力されたＧＰＳ計測データを順次取り込み、日時情報をもとにカメラ画像データとＧＰＳ計測データとを紐付けて観測データ記憶部３１に格納する。
【００４２】
オブジェクト検知部２２は、観測データ記憶部３１からカメラ画像データを読み出し、位置座標を推定したいオブジェクトが撮影されているか検知する処理を行い、検知結果をデータメモリ３０にあるオブジェクトデータ記憶部３２に格納する。例えば、オブジェクト検知部２２は、検知されたオブジェクトを示すボックス情報をカメラ画像データに付与してオブジェクトデータ記憶部３２に格納することができる。
【００４３】
オブジェクトマッチング部２３は、オブジェクトデータ記憶部３２からオブジェクト検知後のカメラ画像データを読み出し、同一のオブジェクトが撮影されているデータごとにデータを分割し、その結果をデータメモリ３０にあるオブジェクト別データ記憶部３３に格納する。
【００４４】
観測ペア生成部２４は、オブジェクト別データ記憶部３３からオブジェクトごとに分割されたデータセットを読み出し、同一オブジェクトが撮影された少なくとも２地点以上の観測地点に対応するカメラ画像から、位置座標を計算するためのペア（「観測ペア」または「画像ペア」とも言う）を生成する。観測ペア生成部２４は、生成した観測ペアを座標推定部２５に出力する。
【００４５】
座標推定部２５は、観測ペア生成部２４によって生成された各観測ペアデータを用いて、オブジェクトの候補となる座標を算出する。座標推定部２５は、観測ペアごとに候補となる座標を算出し、この算出した候補座標の分布から最終的な位置座標を算出し、これをオブジェクトの画像とともに座標データ記憶部３４に格納する。
【００４６】
出力制御部２６は、座標データ記憶部３４に格納されたオブジェクトの位置座標データを読み出し、入出力インタフェースユニット１０を介して外部に出力する処理を行う。
【００４７】
（動作）
次に、以上のように構成された位置座標推定装置１による情報処理動作を説明する。図４はその処理手順と処理内容の一例を示すフローチャートである。
【００４８】
（１−１）観測データの取得・蓄積
まずステップＳ１０において、位置座標推定装置１の制御ユニット２０は、観測データ取得部２１の制御の下、入出力インタフェースユニット１０を介して、観測データとしてカメラ画像データとＧＰＳ計測データとを取得し、観測データ記憶部３１に格納する。ここでは、カメラ画像データとして、自動車４の車載カメラ２により撮影された走行中の前方の映像が取得されているものとする。
【００４９】
図１０Ａは、観測データ記憶部３１に格納されるカメラ画像データの一例を示す。図１０Ａでは、カメラ画像中に、自動車４が走行している道路や、道路に描かれた白線、歩道、周囲の建物、前方の走行車両、駐車車両ＰＶ１，ＰＶ２などに加え、オブジェクトの一例として看板ＯＢ１が撮影されている。カメラ画像データはまた、撮影された日時情報ＤＴを含む。
【００５０】
図１０Ｂは、観測データ記憶部３１に格納されるＧＰＳ計測データの一例を示す。ＧＰＳ計測データは、ＧＰＳ計測を行った時刻の情報と、計測された位置情報と、ＧＰＳ計測の確からしさを表す情報とを含むことができる。なお、図１０Ｂでは、便宜上、位置情報を単に（緯度，経度）として示しているが、実際のデータでは具体的な緯度・経度の数値として取得される。以後の図も同様である。
【００５１】
ここでは、カメラ画像データとＧＰＳ計測データは少なくとも１秒程度の時間間隔で計測されており、かつ１秒程度の粒度で時刻が同期されているものとする。カメラ画像データは、それぞれ、日時情報により対応するＧＰＳ計測データに紐付けられて観測データ記憶部３１に蓄積される。
【００５２】
（１−２）オブジェクトの検知
ステップＳ２０において、位置座標推定装置１の制御ユニット２０は、オブジェクト検知部２２の制御の下、オブジェクト検知処理を行う。図５は、上記オブジェクト検知部２２による処理手順と処理内容の一例を示すフローチャートである。
【００５３】
オブジェクト検知部２２は、まずステップＳ２０１において、観測データ記憶部３１からカメラ映像データ（ファイル）を読み出す。このファイルには撮影された時刻が秒単位で保持されているものとする。
【００５４】
ステップＳ２０２において、オブジェクト検知部２２は、カメラ映像を例えば１秒ごとのフレームに切り出す処理を行う。この処理は、例えば、ｆｆｍｐｅｇ（動画処理ソフトウェア）等を用いて行うことができる。
【００５５】
ステップＳ２０３において、オブジェクト検知部２２は、各フレームの画像内からオブジェクトを検知する処理を行う。この処理は、例えば、Ｙｏｌｏｖ２（物体検出アルゴリズム）等の方法を用いて行うことができる（例えば、https://arxiv.org/abs/1612.08242参照）。なお、１フレームに複数のオブジェクトがある場合は、複数のオブジェクトが検知される。
【００５６】
ステップＳ２０４において、オブジェクト検知部２２は、検知結果をオブジェクトデータ記憶部３２に格納する処理を行う。例えば、オブジェクト検知部２２は、検知されたオブジェクトを示すボックス情報をカメラ画像データに付与して、オブジェクトデータ記憶部３２に格納することができる。なお、オブジェクト検知されたカメラ画像データは、やはり図１０Ｂに示したようなＧＰＳ計測データに紐づけられてオブジェクトデータ記憶部３２に格納される。
【００５７】
図１１は、オブジェクトデータ記憶部３２に格納される、オブジェクト検知されたカメラ画像データの一例を示す。ここで一例として、街中にある看板ＯＢ１の位置座標を推定する場合を考えると、オブジェクト検知部２２が、オブジェクト検知によって看板ＯＢ１を検知し、検知した看板ＯＢ１に対して矩形情報ＢＢ１として記録される。対象とするオブジェクトは、道路標識や、路上駐車車両、自動販売機などでもよく、看板に限定されない。
【００５８】
（１−３）オブジェクトマッチング
ステップＳ３０において、位置座標推定装置１の制御ユニット２０は、オブジェクトマッチング部２３の制御の下、オブジェクトマッチング処理を行う。図６は、上記オブジェクトマッチング部２３による処理手順と処理内容の一例を示すフローチャートである。
【００５９】
まずステップＳ３０１において、オブジェクトマッチング部２３は、データメモリ３０にあるオブジェクトデータ記憶部３２からオブジェクト検知後のカメラ画像データを読み出す。
【００６０】
次いで、ステップＳ３０２において、オブジェクトマッチング部２３は、各フレームにおいて検知されたオブジェクトが同一のものであるかの判定処理を行う。判定処理は、例えば画像マッチングによって行うことができる。この実施形態では、画像マッチングとして、相関値を利用するテンプレートマッチングを使用し、相関値が最大の点を画像対応点とした。相関値としては、以下のような正規化相互相関を使用した。
【数１】
0006950832.tif 000002
ここで、Corrは相関係数であり、σxyはｘｙの共分散であり、ｓｄxはｘの標準偏差を表す。オブジェクトが同一かどうかは、前記相関値にしきい値を設定して判定することができる。
【００６１】
ステップＳ３０３において、オブジェクトマッチング部２３は、同一のオブジェクトと判定された各データを同一のデータ群として分割する。一例として、街中にある看板を検知した後に、例えば同自動車における別フレームにおいて同一の看板が検知されているか、ないしは別自動車によって撮影されたカメラ映像に同一の看板が検知されているかを検索する処理を行い、同一の看板であると判定されたデータごとにデータが分割される。
【００６２】
ステップＳ３０４において、オブジェクトマッチング部２３は、分割した結果をデータメモリ３０にあるオブジェクト別データ記憶部３３に格納する。
【００６３】
図１２は、オブジェクト別データ記憶部３３に格納される、オブジェクト別に分割された画像データのイメージを示す。日時情報ＤＴとして2018/1/1の10:00:01、10:00:02、10:00:03の時刻が付された３つの画像において同一の看板ＯＢ１が検知され、矩形情報ＢＢ１が付与されている。オブジェクト別に分割された画像データは、それぞれ、やはり図１０Ｂに示したようなＧＰＳ計測データに紐づけられてオブジェクト別データ記憶部３３に格納される。
【００６４】
（１−４）観測ペア生成
ステップＳ４０において、位置座標推定装置１の制御ユニット２０は、観測ペア生成部２４の制御の下、観測ペア生成処理を行う。図７は、上記観測ペア生成部２４による処理手順と処理内容の一例を示すフローチャートである。
【００６５】
まずステップＳ４０１において、観測ペア生成部２４は、データメモリ３０にあるオブジェクト別データ記憶部３３に格納された、オブジェクトごとに分割されたデータセットを読み出す。ここでは、検知できているすべてのオブジェクトに関するデータセットを読み出してもよいし、特定（任意）のオブジェクトに関するデータセットを読み出してもよい。
【００６６】
次いでステップＳ４０２において、観測ペア生成部２４は、同一オブジェクトが撮影された少なくとも２地点以上の観測地点から、観測データのペアを生成する前に、より精度の高い位置情報を有するレコードを判別する処理を行う。この際、ＧＰＳ計測の確からしさを表す指標も同時に計測されていることを利用し、確からしさが高いデータどうしでペアが生成されるようにする。例えば、データセットの各時刻におけるＧＰＳ情報のうち、ＧＰＳ計測の確からしさを表すカラムの値を参照し、確からしさの低いレコードを破棄して、確からしさの高いレコードの中から観測データのペアが生成されるようにする。
【００６７】
ここで、確からしさを表す指標として、例えばＧＰＳ衛星配置の影響を考慮した指標がある。ＧＰＳ衛星の配置とＧＰＳ受信機の場所の相対関係に応じて、ＧＰＳ受信機の位置計算誤差が異なることが知られている。このように、測定点に対するＧＰＳ衛星の配置によって精度が低下する度合いは、ＧＤＯＰ（Geometric Dilution Of Precision：幾何学的精度低下率）と呼ばれ、このうち水平方向のＤＯＰを取り出してＨＤＯＰ（Horizontal Dilution Of Precision：水平精度低下率）と呼ぶ。ＨＤＯＰの数値が大きいほど水平方向の位置測定精度が悪くなっていることを意味する。例えば、確からしさを表す指標としてＨＤＯＰを採用した場合、ＨＤＯＰの値があるしきい値よりも高いデータに関しては、計測した緯度・経度の精度が悪い可能性が高いことを示しているため、該当するレコードを削除することができる。
【００６８】
図１３Ａは、観測データのペアを生成するためのＧＰＳ計測データのイメージを示す。ここでも、具体的な緯度・経度の数値は表示を省略されている。2018/1/1の10:00:00から2018/1/1の10:00:05までの１秒ごとの全６フレームにおいて、すべて同じオブジェクトが検知されていたとする。なお、説明のために各フレームに対してナンバー（Ｎｏ）を割り当てている。ＧＰＳ計測の確からしさの値をみると、例えばＮｏ．４とＮｏ．５に関しては、計測した緯度・経度の精度が悪い可能性が高いことを示している。したがって、この例では、Ｎｏ．４とＮｏ．５のレコードを削除して、次のステップに進む。
【００６９】
次いでステップＳ４０３において、観測ペア生成部２４は、残ったレコードの中から、位置座標を計算するための観測データのペアを生成する。
【００７０】
図１３Ｂは、生成されたペアの例をＰ１〜Ｐ６として示す。上記のように、図１３Ａに示したうちＮｏ．４とＮｏ．５のレコードが削除されたので、残り４つのレコードから観測ペアとして６通りのデータが得られている。ここで記載する処理フローの例では、ＧＰＳ計測の確からしさが低いレコードは削除しているため、残ったデータに関しては各レコードどうしの全組み合わせをペアとして生成してよい。ここで、観測ペアを作る対象のデータとしては、ＨＤＯＰの値にしきい値を設けてもよいし、全観測データのうち割合として精度が上位（ＨＤＯＰの値が低い）に含まれるものとしてもよい。
【００７１】
（１−５）位置座標推定
ステップＳ５０において、位置座標推定装置１の制御ユニット２０は、座標推定部２５の制御の下、位置座標推定処理を行う。図８は、上記座標推定部２５による処理手順と処理内容の一例を示すフローチャートである。
【００７２】
まずステップＳ５０１において、座標推定部２５は、観測ペア生成部２４によって生成された観測ペアデータを取得する。
【００７３】
次いで、ステップＳ５０２において、座標推定部２５は、各観測ペアデータを用いて、オブジェクトの位置座標を算出する。この例では、オブジェクトの位置座標は、車載カメラ２の主点とオブジェクトの位置（画像上と地上座標上）が一直線となる原理（写真測量）を用いて算出する。
【００７４】
図９Ａは、この実施形態で用いられる写真測量技法の一例を示す図である。まず、カメラ（ＣＣＤ）からオブジェクトＯＢの方向への視線ベクトルを算出する。ここで、画像座標は、カメラの主点を原点とするカメラ座標系に置き換えて扱う。カメラ座標系において、画像座標は画像の中心を０，０とする座標になり、主点ＭＰとＣＣＤの奥行方向の距離は焦点距離ｆ（単位：pix）となる。図９Ａにおいて、ｔは時刻を表し、ｕt，ｖtは、時刻ｔにおけるオブジェクトの画像座標（単位：pix）を表す。
【００７５】
次に、カメラ座標系の視線ベクトルを地上座標（地図座標）系に座標変換する。下式により、視線ベクトルを回転することで、座標変換は完了する。
【数２】
0006950832.tif 000003
ここで、（ｘt’，ｙt’，ｚt’ ）は、時刻ｔにおけるカメラの主点位置からオブジェクト位置に向けたベクトル（単位：ｍ）を表し、ω，φ，κ は、地上座標の正方向からのカメラ座標の三軸の回転角である。ここで、回転角ω，φ，κ は、多種多様な方法で取得可能である。例えば、カメラ装着の際に３軸加速度センサを用いて回転角を取得してもよい。また、ＧＰＳ情報に標高が含まれていないものとし、二軸の回転として、ω＝０、φ＝０ として考えてもよい。この場合、κ は、例えば次式を用いて計算される。
κt ＝ atan（(ｘt+1 −ｘt ) ／ (ｙt+1 −ｙt )）
式中、atanは逆正接（arctan）を表し、ｔは時刻を表す。
【００７６】
図９Ｂは、オブジェクトの位置座標（ｘ，ｙ，ｚ）と２つのフレームの視線ベクトル（ｖｘ0, ｖｙ0, ｖｚ0 ）および（ｖｘ1, ｖｙ1, ｖｚ1 ）の関係を示す図である。この実施形態では、オブジェクトの位置座標を推定するため、地上座標へと座標変換した視線ベクトルを複数フレーム分用意し、それらの交点（各視線ベクトルを延長して得られる直線の交点）を算出する。算出された交点（ｘ，ｙ，ｚ）が、オブジェクトの地上座標となる。なお、図９Ｂにおいては、ｔ＝０の地点とｔ＝１の地点で得られた観測データを観測ペアとして用いている。（ｘ0, ｙ0, ｚ0 ）および（ｘ1, ｙ1, ｚ1 ）は、それぞれｔ＝０およびｔ＝１におけるカメラの主点ＭＰの座標（地上座標）であり、それぞれＧＰＳ計測データ（緯度・経度・標高）として取得される。（ｘ0’，ｙ0’，ｚ0’ ）および（ｘ1’，ｙ1’，ｚ1’ ）は、それぞれ、上記座標変換式によって得られる、ｔ＝０およびｔ＝１におけるカメラの主点位置からオブジェクト位置に向けたベクトルを表す。複数の観測ペアが利用可能な場合、観測ペアごとにオブジェクトの位置座標が計算される。
【００７７】
次いで、ステップＳ５０３において、座標推定部２５は、算出したオブジェクトの座標データの分布から、尤もらしい座標を最終的な座標として決定する。観測ペアが複数ある場合には、座標データ候補も複数算出できることになる。例えば、算出された複数の座標データ候補の平均値または中央値を採用し、最終的な座標として決定することができる。最終的な座標として、複数の座標データ候補から他の代表値を採用してもよい。新たな座標データの候補が算出できた場合は、過去に計算した座標データ候補とデータをマージして、新たな平均値または中央値を算出していくことで、データが集まれば集まるほど正確な座標値を計算できるようになる。もしくは、過去１か月分という時間単位で座標データ候補の平均値または中央値を座標データとして採用するような更新サイクルにすることで、例えばバス停の位置が変更されたり新たな看板が建築されるような場合においても、その位置を正しく修正していくことが可能となる。
【００７８】
ステップＳ５０４において、座標推定部２５は、決定された最終的な座標を座標データ記憶部３４に格納する。図１４は、座標データ記憶部３４に記憶されるデータイメージの一例を示す。ここでは、位置座標は、対応するオブジェクトを含む画像データと関連付けて格納されるものとする。図１４では、位置座標を推定したい看板ＯＢ１と、その看板ＯＢ１の位置情報ＯＰ１として、緯度・経度・相対高度が示されている。ここで、相対高度とは、標高ではなく、自動車に搭載される車載カメラの設置位置からの高さを表している。また、看板に対しては看板を識別するためのＩＤを付与してもよい。例えば、一般的に地図情報として道路ネットワークデータが用いられるが、この道路ネットワークデータでは道路ごとにＩＤが付与されている。そこで、この道路ＩＤに紐づく形で看板のＩＤを付与するようなＩＤ体系としてもよい。
【００７９】
その後、位置座標推定装置１の制御ユニット２０は、例えばオペレータの操作をトリガとして、出力制御部２６の制御の下、決定された最終的な位置座標を座標データ記憶部３４から読み出し、入出力インタフェースユニット１０を介して外部装置などに出力することができる。
【００８０】
（第１の実施形態の効果）
以上詳述したように、第１の実施形態では、位置座標推定装置１において、自動車４に搭載されたカメラ２から出力された映像に基づくカメラ画像データと、やはり自動車４に搭載されたＧＰＳセンサ３から出力されたＧＰＳ計測データとを取得し、異なる観測地点で撮影された同一のオブジェクトを含む複数の画像と、それらに対応付けられる自動車４の位置情報とに基づいて、画像内のオブジェクトへの視線ベクトルの交点を算出することにより、オブジェクトの位置座標が推定される。
【００８１】
これにより、高価なセンサを必要とすることなく、一般的な車載カメラやＧＰＳセンサを用いて取得されたデータにより、自動車４などの移動体から観測される周辺物体の位置座標を精度よく推定することができる。
【００８２】
また、視線ベクトルの交点を算出する際に、観測ペア生成部２４により、信頼性の低い位置座標は排除して、信頼性の高い位置座標が得られた画像データからペアを生成するようにした。さらに、座標推定部２５により、各ペアから位置座標のデータを算出の上、その分布から尤もらしい位置座標を決定するようにした。これにより、移動体のＧＰＳに計測誤差が含まれる場合においても、精度よくオブジェクトの位置座標を推定することが可能となる。ＧＰＳの誤差としては、偶然誤差と系統誤差が考えられるが、系統誤差に関しては観測ペア生成部２４においてその影響を可能な限り排除することができ、偶然誤差に関しては座標推定部２５において座標分布の平均値または中央値を最終値とすることで統計的にその影響を排除することができる。
【００８３】
このように、第１の実施形態に係る位置座標推定装置１により、街中の標識や看板などのオブジェクトを自動で検知し、それぞれの位置座標を精度よく推定して地図にマッピングできるので、常に最新の情報を反映した、信頼性の高い高精度な地図を自動的に取得することが可能となる。
【００８４】
［第２の実施形態］
この発明の第２の実施形態に係る位置座標推定装置１００は、カメラ画像中に写った周辺の物体の位置座標に基づいて、そのカメラ画像が撮影された位置（すなわち、移動体４自体の位置）の座標を推定するものである。
（構成）
第２の実施形態に係る位置座標推定装置１００は、第１の実施形態に関して説明した位置座標推定装置１と同様のハードウェア構成を採用することができる。したがって、ハードウェア構成に関する詳細な説明は省略する。
図１５は、この発明の第２の実施形態に係る位置座標推定装置１００のソフトウェア構成を示すブロック図である。同図において、第１の実施形態に係る位置座標推定装置１と同様の機能部については、図３と同一符号を付して詳しい説明は省略する。なお、第２の実施形態に係る位置座標推定装置１００もまた、図１に示した車載システムにおいて実施することができる。
【００８５】
位置座標推定装置１００は、位置座標推定装置１と同様に、例えばパーソナルコンピュータにより構成され、ハードウェアとして、入出力インタフェースユニット１０と、制御ユニット２０と、データメモリ３０とを備えている。
【００８６】
入出力インタフェースユニット１０は、例えば１つ以上の有線または無線の通信インタフェースユニットを含んでいる。入出力インタフェースユニット１０は、自動車４に搭載されたカメラ２やＧＰＳセンサ３から種々の情報を受け取って制御ユニット２０に出力する。ただしこの実施形態では、必ずしもＧＰＳ情報を受け取る必要はない。さらに、入出力インタフェースユニット１０は、制御ユニット２０から出力されたデータを外部へと出力させる。
【００８７】
データメモリ３０は、記憶媒体として例えばＨＤＤまたはＳＳＤ等の随時書き込みおよび読み出しが可能な不揮発メモリを使用したもので、この実施形態を実現するために必要な記憶領域として、観測データ記憶部３１と、オブジェクトデータ記憶部３２と、座標データ記憶部３４とを備えている。
【００８８】
観測データ記憶部３１は、少なくともカメラ２により得られたカメラ画像データを記憶するために使用される。対応する日時情報を有するＧＰＳ計測データが取得された場合には、観測データ記憶部３１は、カメラ画像データをＧＰＳ計測データに紐づけて記憶することもできる。
【００８９】
オブジェクトデータ記憶部３２は、カメラ画像中で検知されたオブジェクトを識別する情報を記憶するために使用される。やはり、対応するＧＰＳ計測データが存在するときには、オブジェクト検知後のカメラ画像データをＧＰＳ計測データに紐づけて記憶する。
【００９０】
座標データ記憶部３４は、あらかじめ推定または取得されたオブジェクトの位置座標データを記憶するために使用される。この実施形態では、オブジェクトの位置座標は、該オブジェクトを含む画像データに関連付けて記憶される。
【００９１】
やはり、上記記憶部３１，３２，３４は必須の構成ではなく、例えば、クラウドに配置されたデータベースサーバ等の外部の記憶装置に設けられたものであってもよい。この場合、位置座標推定装置１００は、通信ネットワーク等を介して上記クラウドのデータベースサーバにアクセスすることにより、必要なデータを取得する。
【００９２】
制御ユニット２０は、図示しないＣＰＵ等のハードウェアプロセッサと、プログラムメモリとを備え、この実施形態における処理機能を実行するために、観測データ取得部２１と、オブジェクト検知部２２と、オブジェクトマッチング部２３０と、座標参照部２７０と、観測ペア生成部２４０と、座標推定部２５０と、出力制御部２６とを備えている。これらの各部における処理機能はいずれも、プログラムメモリに格納されたプログラムを上記ハードウェアプロセッサに実行させることによって実現される。なお、これらの処理機能は、プログラムメモリに格納されたプログラムを用いて実現されるのではなく、ネットワークを通して提供されるプログラムを用いて実現されてもよい。
【００９３】
観測データ取得部２１は、入出力インタフェースユニット１０を介して、少なくともカメラ２から出力されたカメラ画像データを順次取り込み、観測データ記憶部３１に格納する。ＧＰＳセンサ３から出力されたＧＰＳ計測データも取得可能な場合には、観測データ取得部２１は、やはり入出力インタフェースユニット１０を介してＧＰＳ計測データも順次取り込み、日時情報をもとにカメラ画像データに紐づけて観測データ記憶部３１に格納する。
【００９４】
オブジェクト検知部２２は、観測データ記憶部３１からカメラ画像データを読み出し、オブジェクトを検知する処理を行い、その結果をデータメモリ３０にあるオブジェクトデータ記憶部３２に格納する。例えば、オブジェクト検知部２２は、検知されたオブジェクトを示すボックス情報をカメラ画像データに付与してオブジェクトデータ記憶部３２に格納することができる。
【００９５】
オブジェクトマッチング部２３０は、オブジェクトデータ記憶部３２からオブジェクト検知後のカメラ画像データを読み出すとともに、座標データ記憶部３４から位置情報付きのオブジェクトデータを読み出し、オブジェクト検知後のカメラ画像と、座標データ記憶部３４に格納された位置情報付きのオブジェクトデータに、同一のオブジェクトがあるか否かの判定を行う。
【００９６】
座標参照部２７０は、オブジェクトマッチング部２３０においてオブジェクトデータ記憶部３２内のデータと座標データ記憶部３４内のデータに同一のオブジェクトがあると判定された場合に、そのオブジェクトの位置座標を座標データ記憶部３４から抽出する。この実施形態では、１つのカメラ画像において、看板と電柱、看板と自動販売機など、異なる地理的位置にある少なくとも２つのオブジェクトが検知され、座標参照部２７０により、座標データ記憶部３４からそれらのオブジェクトに関する少なくとも２地点の位置座標が抽出される。
【００９７】
観測ペア生成部２４０は、座標参照部２７０で抽出した少なくとも２地点（２オブジェクト）以上の位置座標情報からペアを生成する。３地点以上の位置座標が抽出された場合、全組合せでペアを生成することができる。
【００９８】
座標推定部２５０は、観測ペア生成部２４０で生成された各ペアを用いて、候補となる位置座標を算出する。第１の実施形態と同様に、各オブジェクトへの視線ベクトルを延長した直線の交点を求めることにより、撮影地点（移動体４）の位置座標が推定される。観測ペアごとに候補となる座標が算出され、算出された座標の分布から最終的な座標を算出することができる。
【００９９】
（動作）
次に、以上のように構成された位置座標推定装置１００による情報処理動作を説明する。図１６はその処理手順と処理内容の一例を示すフローチャートである。やはり、同図において、第１の実施形態に係る位置座標推定装置１と同様の処理については、図４と同一符号を付して詳しい説明は省略する。
【０１００】
（２−１）観測データの取得・蓄積
まずステップＳ１０において、位置座標推定装置１００の制御ユニット２０は、観測データ取得部２１の制御の下、入出力インタフェースユニット１０を介して、少なくともカメラ画像データと、取得可能な場合にはＧＰＳ計測データとを取得し、観測データ記憶部３１に格納する。ここでは、カメラ画像データとして、自動車４の車載カメラ２により撮影された走行中の前方の映像が、１秒程度の時間間隔で計測され、取得されているものとする。カメラ画像データは、ＧＰＳ計測データが取得された場合、日時情報によりＧＰＳ計測データと紐づけて記憶される。
【０１０１】
（２−２）オブジェクトの検知
ステップＳ２０において、位置座標推定装置１００の制御ユニット２０は、オブジェクト検知部２２の制御の下、オブジェクト検知処理を行う。オブジェクト検知処理は、実施形態１と同様に、公知のＹｏｌｏｖ２アルゴリズム等を用いて行うことができ、１フレームに複数のオブジェクトがある場合には複数のオブジェクトが検知される。この第２の実施形態では、１フレーム内に少なくとも２つのオブジェクトが検知された画像フレームのみが後続の処理に使用される。
【０１０２】
（２−３）オブジェクトマッチング
次いで、位置座標推定装置１００の制御ユニット２０は、オブジェクトマッチング部２３０の制御の下、オブジェクトマッチング処理を行う。
【０１０３】
ステップＳ３１１において、オブジェクトマッチング部２３０は、データメモリ３０にあるオブジェクトデータ記憶部３２からオブジェクト検知後のカメラ画像データを読み出す。上述のように、読み出されるカメラ画像データは、各画像フレーム内に２つ以上のオブジェクトが検知されているものとする。
【０１０４】
ステップＳ３１２において、オブジェクトマッチング部２３０は、データメモリ３０にある座標データ記憶部３４から位置情報付きのオブジェクトデータを読み出す。これらのデータは、例えば、第１の実施形態に係る方法を用いてあらかじめ位置座標を推定され蓄積されたデータであってもよいし、外部のデータベースから取得されたデータであってもよい。
【０１０５】
ステップＳ３１３において、オブジェクトマッチング部２３０は、オブジェクト検知後のカメラ画像データと座標データ記憶部３４内のデータに、同一のオブジェクトが２以上あるかの判定を行う。ここで、例えば移動体４のＧＰＳセンサ３から得られたＧＰＳ情報に基づいて、座標データ記憶部３４から読み出すデータの範囲をあらかじめ限定することで、以降の処理を軽くすることも可能である。なお、同一のオブジェクトであるか否かの判定には、実施形態１と同様に、正規化相互相関を用いることができる。
【０１０６】
ステップＳ３１３において、座標データ記憶部３４内にカメラ画像データと同一のオブジェクトがない、または同一のオブジェクトが１つしかないと判定された場合、処理は終了する。他方、ステップＳ３１３において、同一のオブジェクトが２以上あると判定された場合、ステップＳ３１４に移行する。
【０１０７】
次いで、ステップＳ３１４において、位置座標推定装置１００の制御ユニット２０は、座標参照部２７０の制御の下、オブジェクトマッチング部２３０によってカメラ画像内と座標データ記憶部３４内に同一のオブジェクトが２以上あると判定された、それらのオブジェクトそれぞれの位置座標を、座標データ記憶部３４から抽出する。
【０１０８】
図１７は、座標データ記憶部３４から２つのオブジェクトの位置情報が抽出され、画像データに関連付けて表示されたイメージを示す。図１７では、「ＰＡＲＫＩＮＧ」と記載された横長の看板ＯＢ２および「ＨＯＴＥＬ」と記載された縦長の看板ＯＢ３と、それらが検知されたことを示すボックスＢＢ２およびＢＢ３と、それぞれの位置情報ＯＰ２およびＯＰ３が示されている。やはり、位置情報が便宜的に（緯度，経度，相対高度）として示されているが、実際にはそれぞれ数値として抽出される。
【０１０９】
（２−４）観測ペア生成
ステップＳ４０において、位置座標推定装置１の制御ユニット２０は、観測ペア生成部２４０の制御の下、観測ペア生成処理を行う。ここでは、座標参照部２７０によって抽出されたオブジェクトＯＢ２とＯＢ３の位置座標ＯＰ２とＯＰ３を観測データとし、観測データのペアを生成する。さらに多くのオブジェクトの位置座標が取得された場合、観測データのレコードどうしの全組み合わせをペアとして生成してよい。
【０１１０】
（２−５）位置座標推定
ステップＳ５０において、位置座標推定装置１の制御ユニット２０は、座標推定部２５０の制御の下、観測ペア生成部２４０によって生成された各ペアを用いて、実施形態１で説明したのと同様の手法で移動体４（すなわち、カメラ画像が撮影された地点）の位置座標を算出することができる。例えば、図１７に示した例では、カメラの主点を原点とするカメラ座標系におけるオブジェクトＯＢ２およびＯＢ３への視線ベクトルを算出したのち、各視線ベクトルを地上座標系に座標変換する。次いで、各オブジェクトに対する視線ベクトルを延長した直線の交点を算出することによって、移動体４の位置座標を得ることができる。
【０１１１】
実施形態１と同様に、移動体４の位置座標は観測ペアの組み合わせ数だけ算出されるので、その座標データの分布から、尤もらしい座標を求めることができる。例えば、各座標データの平均値または中央値を採用し、最終的な座標として決定することができる。最終的な座標として、複数の座標データから他の代表値を採用してもよい。
【０１１２】
その後、位置座標推定装置１００の制御ユニット２０は、出力制御部２６の制御の下、決定された最終的な位置座標を座標推定部２５０から受け取り、入出力インタフェースユニット１０を介して外部装置などに出力することができる。
【０１１３】
（第２の実施形態の効果）
以上詳述したように、第２の実施形態では、位置座標推定装置１００において、自動車４に搭載されたカメラ２から出力された映像に基づくカメラ画像データを取得し、カメラ画像内に写っているオブジェクトのうち位置座標が取得可能なオブジェクトについて、カメラからそれらのオブジェクトへの視線ベクトルの交点を算出することにより、撮影したカメラ２の位置座標、ひいては移動体４の位置座標が推定される。
【０１１４】
特に、視線ベクトルの交点を算出する際、複数のオブジェクトの位置座標を観測データとしてペアを生成し、各ペアから移動体４の候補となる位置座標を算出の上、その分布から尤もらしい位置座標を最終的な位置座標として決定することにより、移動体４の位置座標を精度よく推定することが可能となる。
【０１１５】
これにより、ＧＰＳ情報が受信できないトンネルの中のような環境においても、高価なセンサを必要とすることなく、一般的な車載カメラ２を用いて撮影された周辺物体の位置座標を利用することで、移動体４の位置座標をより精度よく推定することが可能となる。
【０１１６】
［他の実施形態］
なお、この発明は上記実施形態に限定されるものではない。
例えば、位置座標推定装置１および１００は、車載システムの一部として自動車４に搭載されるものとして説明したが、これに限定されるものではなく、無線通信ネットワークを通じて自動車４から情報を収集可能なサーバ装置として実施されてもよい。特に、位置座標推定装置１をサーバ装置として実施することによって、撮影されたカメラ画像とＧＰＳ情報とを多数の移動体から受信し、蓄積して、道路周辺の物体の位置座標を集約的に算出／推定することができる。これにより、より多くの静止物体の位置座標をより高精度に取得することができ、最新の情報に基づいて随時更新される、情報密度の高い地図情報が得ることが可能になる。
【０１１７】
あるいは、位置座標推定装置１および１００が備える各部２１〜２６を、車載装置、クラウドコンピュータ、エッジルータ等に分散配置し、これらの装置が互いに連携することにより位置座標推定を行うようにしてもよい。
【０１１８】
さらに、周辺物体の位置座標の推定と、移動体自体の位置座標の推定とを、第１の実施形態と第２の実施形態とに分けて説明したが、これらは１つの位置座標推定装置に統合されることもできる。例えば、位置座標推定装置が車載システムの一部である場合、ドライバの操作により、または走行中の周囲環境に応じて自動的に、周辺の物体の位置座標の推定と移動体の位置座標の推定とを切り替えるように構成してもよい。あるいは、位置座標推定装置が複数の車両からデータを収集して利用するサーバ装置である場合、オペレータの操作により目的に応じて切り替えるようにしてもよく、各車両におけるＧＰＳ情報の受信状況に応じて自動的に切り替えるようにしてもよい。
【０１１９】
また、第１の実施形態では自動車４の位置情報として、第２の実施形態では２つのオブジェクトの位置情報として、少なくとも緯度・経度を取得するものとして記載したが、これに限定されるものではなく、任意の座標系をベースとする任意の座標データであってもよい。この場合、オブジェクトまたは移動体自体の位置座標は、同じ座標系ベースの座標として推定される。
【０１２０】
さらに、観測データのペアを生成し、ペアごとに視線ベクトルの交点を求めることによって、静止物体または移動体自体の位置座標を推定する方法を説明した。しかし、位置座標の推定方法は、これに限定されるものではない。例えば、第１の実施形態に関して言えば、単一の静止物体を複数の地理的位置で撮影し、各撮影位置の位置座標と得られた複数のカメラ画像の各々における静止物体への視線ベクトルとから、視線ベクトルの交点の座標を算出することによって、当該静止物体の位置座標を推定することが考えられる。複数の視線ベクトルを延長した直線は、１点では交わらず、撮影位置の位置座標の精度に応じて多数の交点が生じると予想されるが、それらの交点の分布から幾何学的または統計学的分析によって最も確からしい交点を推定することができる。一例として、得られたすべての交点を包含する円の中心を静止物体の位置として推定することが可能である。一定数以上の視線ベクトルが取得できれば、仮に撮影位置のＧＰＳ情報に誤差が含まれていたとしても、特別のセンサを追加することなく、誤差の影響を許容可能な程度まで低減できると考えられる。
【０１２１】
その他、カメラ画像データやＧＰＳ計測データの取得方法、各記憶部に格納されるデータ形式等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
【０１２２】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【０１２３】
１…位置座標推定装置
２…カメラ
３…ＧＰＳセンサ
４…移動体，自動車
１０…入出力インタフェースユニット
２０…制御ユニット
２０Ａ…プロセッサ
２０Ｂ…プログラムメモリ
２１…観測データ取得部
２２…オブジェクト検知部
２３…オブジェクトマッチング部
２４…観測ペア生成部
２５…座標推定部
２６…出力制御部
３０…データメモリ
３１…観測データ記憶部
３２…オブジェクトデータ記憶部
３３…オブジェクト別データ記憶部
３４…座標データ記憶部
１００…位置座標推定装置
２３０…オブジェクトマッチング部
２４０…観測ペア生成部
２５０…座標推定部
２７０…座標参照部
【図１】
0006950832.tif 000004
【図２】
0006950832.tif 000005
【図３】
0006950832.tif 000006
【図４】
0006950832.tif 000007
【図５】
0006950832.tif 000008
【図６】
0006950832.tif 000009
【図７】
0006950832.tif 000010
【図８】
0006950832.tif 000011
【図９Ａ】
0006950832.tif 000012
【図９Ｂ】
0006950832.tif 000013
【図１０Ａ】
0006950832.tif 000014
【図１０Ｂ】
0006950832.tif 000015
【図１１】
0006950832.tif 000016
【図１２】
0006950832.tif 000017
【図１３Ａ】
0006950832.tif 000018
【図１３Ｂ】
0006950832.tif 000019
【図１４】
0006950832.tif 000020
【図１５】
0006950832.tif 000021
【図１６】
0006950832.tif 000022
【図１７】
0006950832.tif 000023