(57)【要約】【課題】地物の三次元位置を撮像手段で測定することができる三次元位置測定システムを提供すること。【解決手段】撮像手段１１と、前記撮像手段の現在地を検出する位置検出手段２４と、前記撮像手段により撮像された画像データから地物の画像と、前記撮像手段に対する相対位置が既知である反射面に反射して撮像された前記地物の反射像とを検出する検出手段２２，５２と、前記画像データにおける前記地物の反射像の位置と、前記画像データにおける前記地物の位置に基づいて、前記地物の三次元位置を測定する測定手段５３と、を有することを特徴とする三次元位置測定システム１００を提供する。【選択図】図２
2020085660.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段の現在地を検出する位置検出手段と、
前記撮像手段により撮像された画像データから地物の画像と、前記撮像手段に対する相対位置が既知である反射面に反射して撮像された前記地物の反射像とを検出する検出手段と、
前記画像データにおける前記地物の反射像の位置と、前記画像データにおける前記地物の位置に基づいて、前記地物の三次元位置を測定する測定手段と、
を有することを特徴とする三次元位置測定システム。
【請求項２】
前記測定手段は、前記画像データにおける前記地物の反射像の位置により求めた、前記撮像手段と前記地物の反射像を結ぶ第１の直線を求め、
前記第１の直線が前記反射面で反射した第２の直線を求め、
前記画像データにおける前記地物の位置により求めた、前記撮像手段と前記地物を結ぶ第３の直線を求め、
前記第２の直線と前記第３の直線の最接近点に基づいて前記地物の三次元位置を測定することを特徴とする請求項１に記載の三次元位置測定システム。
【請求項３】
前記測定手段は、前記検出手段により検出された前記地物と、前記地物の反射像が同じ種類の地物である場合、前記地物の三次元位置を測定することを特徴とする請求項１又は２に記載の三次元位置測定システム。
【請求項４】
前記撮像手段は移動体の進行方向に光軸を向けて移動体の前方に取り付けられており、
前記反射面は前記移動体のボンネットであることを特徴とする請求項１〜３のいずれか１項に記載の三次元位置測定システム。
【請求項５】
前記撮像手段はレンズの前方かつ下側に、光軸と平行なミラーを有しており、
前記反射面は前記ミラーであることを特徴とする請求項１〜３のいずれか１項に記載の三次元位置測定システム。
【請求項６】
車載装置と情報処理装置がネットワークを介して通信する三次元位置測定システムであって、
前記車載装置は、
撮像手段と、
前記撮像手段の現在地を検出する位置検出手段と、
前記撮像手段により撮像された画像データと前記現在地を前記情報処理装置に送信する送信手段と、を有し、
前記情報処理装置は、
前記画像データと前記現在地を受信する受信手段と、
前記画像データから地物の画像と、前記撮像手段に対する相対位置が既知である反射面に反射して撮像された前記地物の反射像とを検出する検出手段と、
前記画像データにおける前記地物の反射像の位置と、前記画像データにおける前記地物の位置に基づいて、前記地物の三次元位置を測定する測定手段と、
を有することを特徴とする三次元位置測定システム。
【請求項７】
撮像手段が画像データを撮像するステップと、
位置検出手段が、前記撮像手段の現在地を検出するステップと、
検出手段が、前記撮像手段により撮像された画像データから地物の画像と、前記撮像手段に対する相対位置が既知である反射面に反射して撮像された前記地物の反射像とを検出するステップと、
測定手段が、前記画像データにおける前記地物の反射像の位置と、前記画像データにおける前記地物の位置に基づいて、前記地物の三次元位置を測定するステップと、
を有することを特徴とする三次元位置測定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元位置測定システム、及び、三次元位置測定方法に関する。
【背景技術】
【０００２】
高度運転支援システム（ＡＤＡＳ：Advanced Driver−assistance Systems）や自動運転の実現のためには高精度地図情報が必要となると考えられている。正確な自車位置と道路形状が分かれば適切な運転支援や自動制御が可能になる。高精度地図情報の作成は地図メーカ等により行われているが、作成には大量のセンサ及び記録装置を搭載した専用の車両が使用される場合が多い（例えば、特許文献１参照。）。特許文献１には車両に取り付けられたレーザスキャナの取り付け位置姿勢値を調整し、高精度な三次元点群を生成する技術が開示されている。
【０００３】
しかし、専用の車両を使用すると費用が増大し、また、膨大な時間がかかるとされている。その解決策として一般車両をプローブカーとして利用することが検討されている。例えば、一般車両に普及しているカメラ等の撮像手段により、比較的重要な路面の白線ペイント及び車線毎のレーンリンクを自動的に地図に取り込む技術の開発が進んでいる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１７５４２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来は、一般的な地物の三次元位置をカメラで測定することが困難であるという問題があった。まず、高精度地図には白線等以外に信号機、標識等（以降、「地物」という）も掲載される必要がある。これら地物には文字や画像などの平面的な情報も含まれるため位置を高精度に検出するにはレーザスキャナよりもカメラが適している。しかし、一般車両に搭載されているカメラの多くは単眼カメラであるため、一般車両をプローブカーとして利用する場合には、単眼カメラで地物までの距離を測定する必要がある。
【０００６】
図１は、単眼カメラで撮像した信号機２０１を含む画像の一例を示す。人間がこの画像を見た場合、信号機２０１の周囲の環境（人２０２が立っている場所と信号機２０１が立っている場所の関係、人２０２の大きさ…等）を総合勘案して、信号機２０１の大凡の位置と高さを認識できる。しかし、機械がこのような処理を行なう事は難しく、情報処理で信号機２０１の三次元位置(Ｘ，Ｙ，Ｚ)を取得することは困難である。したがって、単眼カメラで撮像された画像では高精度地図の作成は難しいとされていた。
【０００７】
本発明は、上記課題に鑑み、地物の三次元位置を撮像手段で測定することができる三次元位置測定システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題に鑑み、本発明は、撮像手段と、前記撮像手段の現在地を検出する位置検出手段と、前記撮像手段により撮像された画像データから地物の画像と、前記撮像手段に対する相対位置が既知である反射面に反射して撮像された前記地物の反射像とを検出する検出手段と、前記画像データにおける前記地物の反射像の位置と、前記画像データにおける前記地物の位置に基づいて、前記地物の三次元位置を測定する測定手段と、を有することを特徴とする三次元位置測定システムを提供する。
【発明の効果】
【０００９】
地物の三次元位置を撮像手段で測定することができる三次元位置測定システムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】単眼カメラで撮像した信号機を含む画像の一例である。
【図２】単眼のカメラで撮像された画像データから地物の三次元位置を情報処理装置が測定する手順の概略を説明する図である。
【図３】三次元位置測定システムの概略構成図の一例である。
【図４】カメラの搭載例を示す図である。
【図５】車載装置と情報処理装置が有する機能をブロック状に示す機能ブロック図の一例である。
【図６】情報処理装置が地物の座標を測定する一例の手順を示すフローチャート図である。
【図７】カメラが撮像した画像データの一例を示す図である。
【図８】光学中心を基準とする同心円を示す図である。
【図９】画像データ上の直線と三次元空間の直線Ｌの対応を説明する図である。
【図１０】同心円の半径とＺ成分の方向余弦、及び、画像データから得られるなす角φと方向余弦のＸ、Ｙ成分を対応付けたテーブルを模式的に示す図である。
【図１１】直線Ｌ２の求め方を説明する図の一例である。
【図１２】直線Ｌ２とＬ３の最接近点を説明する図の一例である。
【図１３】カメラの構成例の概略図である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態の一例として、三次元位置測定システムと三次元位置測定システムが行う三次元位置測定方法について図面を参照しながら説明する。
【００１２】
＜単眼カメラによる三次元位置の測定の概略＞
図２は、単眼のカメラ１１で撮像された画像データから地物１０の三次元位置を情報処理装置が測定する手順の概略を説明する図である。車両８のルームミラーの周囲などにカメラ１１が取り付けられている。また、車両８の前方に地物１０（ここでは信号機）が存在する。このような状況で車載装置とネットワークを介して接続された後述の情報処理装置は信号機の三次元位置を測定する。本実施形態の測定方法は、ボンネットなどの反射面に映った地物１０の反射像（虚像）を利用して地物１０の三次元位置を測定することが特徴の１つとなっている。
【００１３】
（１）後述する光学中心を通るＸＹＺ座標系を考え、
・光学中心の座標を（０，０，０）
・ボンネットに映った地物１０の反射像１１０の中心の座標を（Ｘ１，Ｙ１，Ｚ１）
・地物１０の中心の座標を（Ｘ２，Ｙ２、Ｚ２）
とする。
【００１４】
また、
・光学中心とボンネットに映った地物１０の反射像１１０を結ぶ直線をＬ１（第１の直線）
・光学中心とボンネットに映った地物１０の反射像１１０と地物１０を結ぶ直線をＬ２（第２の直線）
・光学中心と地物１０を結ぶ直線をＬ３（第３の直線）
とする。
【００１５】
（２）直線Ｌ１の方向ベクトルは、画像データにおける直線Ｌ１の長さと方向から求めることができる。直線Ｌ１は光学中心を通るので方向ベクトルが分かれば、ボンネットに映った地物１０の反射像１１０を通る直線Ｌ１の式を求められる。同様に、直線Ｌ３の式を求めることができる。
【００１６】
（３）ボンネットに映った反射像１１０の座標（Ｘ１，Ｙ１，Ｚ１）のうち、（Ｘ１，Ｙ１）は画像データにおける反射像の座標（ｘ、ｙ）から算出できる。ただし、カメラ１１はキャリブレーションされているものとする。Ｚ１については、直線Ｌ１の式にＸ１，Ｙ１を代入して求められる。
【００１７】
（４）ボンネットに映った地物１０の反射像１１０の座標（Ｘ１，Ｙ１，Ｚ１）におけるボンネットの平面の式が予め得られている。この平面に対し、直線Ｌ１上の任意の点に対称な対称点と、ボンネットに映った地物１０の反射像１１０の座標（Ｘ１，Ｙ１，Ｚ）を結ぶ直線は、光の反射の性質から直線Ｌ２となる。直線Ｌ２は、対称点とボンネットに写った地物１０の反射像１１０の座標（Ｘ１，Ｙ１，Ｚ１）を通過する直線として求められる。
【００１８】
（５）直線Ｌ２と直線Ｌ３の交点から地物１０の座標（Ｘ２，Ｙ２、Ｚ２）を算出することができる。
【００１９】
したがって、ボンネットのような反射面に映った虚像を利用して、単眼カメラでも地物１０の三次元位置を測定することができる。
【００２０】
＜用語について＞
本実施形態では、車載装置２０が車両に搭載される場合を説明するが、車両は移動体の一例であり、自動二輪車、又は、軽車両でもよい。また、歩行者が保持するカメラ１１の位置が特定できる場合、歩行者がカメラ１１と車載装置２０を有していてもよい。
【００２１】
地物の三次元位置は移動体に対する相対位置となる。より正確には撮像手段に対する相対位置となる。したがって、撮像手段の現在地を検出することが好ましいが、撮像手段そのものの位置を検出できなくても、撮像手段との相対位置が決まっている部品などの現在地を検出できるものとする。
【００２２】
撮像手段に対する相対位置が既知である反射面とは、撮像手段を基準にして反射面の座標が分かっていることをいう。
【００２３】
地物とは地上に存在する天然物又は人工物のすべてをいう。本実施形態では信号機や標識に制限されることはなく反射面に映るものであればよい。
【００２４】
三次元位置の測定を、三次元位置の検出、計算、算出などと言ってもよい。
【００２５】
＜構成例＞
図３は三次元位置測定システム１００の概略構成図の一例である。三次元位置測定システム１００は、情報処理装置５０、及び、ネットワークＮを介して通信する車載装置２０を有する。ネットワークＮは携帯電話網、無線ＬＡＮ網、又は、ＷｉＭＡＸ通信網などの通信事業者が提供する公衆回線とプロバイダ（インターネットに接続するためのサービスを提供する企業）が提供するプロバイダネットワークとを有している。通信事業者の公衆回線に車載装置２０が接続するためにネットワークＮには基地局９が接続されている。
【００２６】
情報処理装置５０は、車載装置２０から送信された画像データを解析して地物１０の三次元位置を測定する。三次元位置の測定は車載装置２０が行ってもよい。車載装置２０が三次元位置の測定に十分な処理能力を有していれば車載装置２０が行い、測定結果を情報処理装置５０に送信すればよい。本実施形態では説明の便宜上、情報処理装置５０が行うものとする。
【００２７】
車載装置２０はカメラ１１と接続されており、カメラ１１が撮像した画像データを情報処理装置５０に送信する機能を有している。一般車両をプローブカーとして利用することを想定すると、車載装置２０はナビゲーション装置、チューナー、又は、カーオーディオなどである。ナビゲーション装置とは、出発地から目的地までの経路を検索して道路地図に設定し、ディスプレイに表示された電子地図に経路と現在地を表示したり、経路に基づいて進路変更の手前で音声案内や電子地図上のアニメーションなどで適切な進路を案内したりする。なお、経路の検索を所定のサーバが行い経路を車載装置２０に提供する態様もある。車載装置２０はこの他、ＡＶ(Audio Visual)の再生機能、インターネットとの通信機能等を有していてよい。
【００２８】
なお、ナビゲーション機能を有さずに、主にＡＶ機能と通信機能を有する装置をディスプレイオーディオという。ディスプレイオーディオは、スマートフォンなどの端末装置との通信によりナビゲーションの機能を提供する。この場合、スマートフォンに搭載されるアプリがナビ画面等を生成し、このアプリが生成するナビ画面をディスプレイオーディオが通信で取得して表示する。スマートフォンで動作するこのようなアプリとしてCarPlay（登録商標）やAndroid Auto（登録商標）等が知られている。車載装置２０はディスプレイオーディオでもよい。
【００２９】
車載装置２０は、汎用的な情報処理端末である場合と車両に専用の専用端末の場合がある。汎用的な情報処理端末とは、例えば、スマートフォン、タブレット端末、携帯電話、ＰＤＡ（Personal Digital Assistant）、ノートＰＣ、及び、ウェアラブルＰＣ（例えば、腕時計型、サングラス型など）などがある。これらの装置は、普段は情報処理端末として利用されるが、ナビゲーションのためのアプリケーションソフトウェアを実行すると、専用端末と同様、経路検索及び経路案内等を行う。専用端末は、ナビゲーション装置、チューナー、又は、カーオーディオの他、ＰＮＤ（Portable Navigation Device）とも呼ばれる。
【００３０】
車載装置２０は、汎用的な情報処理端末とナビゲーション専用端末のどちらの場合でも、車載された状態と携帯可能な状態の切り替えが可能であってもよい。つまり、車載装置２０は、車両に脱着可能であってよい。
【００３１】
なお、カメラ１１と車載装置２０は一体でもよい。この場合、カメラ１１と車載装置２０はスマートフォンやタブレット端末でもよい。
【００３２】
＜カメラの搭載例＞
図４は、カメラ１１の搭載例を示す図である。カメラ１１は所定の画角の風景を撮像して画像データを生成する撮像手段である。カメラ１１は、車両の前方を撮像できるように車両の前方（進行方向）に光軸を向けて取り付けられる。前方に取り付けられるのは、標識などの地物１０を進行している車両の運転者又はカメラ１１が認識できるように配置されているためである。仮に、同じ内容が１つの標識の両面に形成されている場合、カメラ１１は後方に配置されていてもよい。
【００３３】
車載されるカメラ１１をドライブレコーダという場合がある。ドライブレコーダは動画を撮像しながらメモリーに記録し、一定の容量になると古いものから上書きする処理を繰り返す。本実施形態でもドライブレコーダをカメラ１１として使用できる。本実施形態では、車載装置２０が画像認識により予め定められた地物１０を検出して、動画から地物１０が映っている静止画を切り出す方法が考えられる。あるいは、繰り返し静止画を撮像して、単に静止画を情報処理装置５０に送信してもよいし、地物１０が映っている静止画を情報処理装置５０に送信してもよい。
【００３４】
＜機能について＞
図５は、車載装置２０と情報処理装置５０が有する機能をブロック状に示す機能ブロック図の一例である。
【００３５】
＜＜車載装置＞＞
まず、車載装置２０には上記のカメラ１１が接続されている。車載装置２０がカメラ１１を内蔵するなど、車載装置２０とカメラ１１が一体でもよい。車載装置２０は、画像データ取得部２１、地物検出部２２、画像データ送信部２３、及び、位置検出部２４を有している。これらは、車載装置２０がプログラムを実行するか、ＦＰＧＡ（field−programmable gate array）やＡＳＩＣ（application specific integrated circuit）などの電気回路により実現される機能又は手段である。
【００３６】
画像データ取得部２１は、カメラ１１が撮像した画像データを取得する。カメラ１１が動画を撮像する場合、３０〜６０ｆｐｓのフレームレートで画像データを撮像するため、画像データ取得部２１は好ましくは全ての画像データを取得する。必ずしも全てを取得する必要はなく例えば一定の割合で取得してもよい。
【００３７】
地物検出部２２は、画像データから地物１０と地物１０の反射像を検出する。地物１０又は地物１０の反射像の検出には機械学習で構築された識別器（ＡＩ）を使用してよい。例えば、機械学習の手法としてはディープラーニング（畳み込みニューラルネットワーク）、サポートベクトルマシン、ランダムフォレストなどがあるがどのような手法を用いてもよい。機械学習により地物１０用の識別器と地物１０の反射像用の識別器が構築される。両者を同時に検出する識別器を構築してもよい。なお、画像認識で何らかの地物が検出された場合、その地物が何か（信号機、標識の種類）も同時に特定される。
【００３８】
地物検出部２２は画像データの上半分等に限定して上方から地物１０を検出し、地物１０を検出できた場合、予め定められた画像データのボンネットに対応する範囲から同じ種類の地物１０の反射像を検出するとよい。地物１０の反射像は歪んでいる可能性があり、地物１０を先に検出することで、地物１０の反射像も映っている可能性が高い画像データに解析を絞ることができる。カメラ１１とボンネットの相対位置は変わらないので、画像データにおけるボンネットの範囲は既知である。
【００３９】
また、１つの画像データに異なる種類の地物（例えば、信号機と標識、直進と左折の標識など）が映っていてもよい。この場合は、それぞれの地物の種類が特定される。
【００４０】
地物検出部２２は地物１０と地物１０の反射像の両方が検出された画像データを画像データ送信部２３に送出する。また、地物検出部２２は地物１０と地物１０の反射像の地物座標を画像データに添付するとよい。地物座標と後述する地物ＩＤを添付してもよい。地物座標が添付されている場合、情報処理装置５０はこの地物座標の近くで地物１０を検出すればよいため負荷を低減できる。地物座標と地物ＩＤが添付されている場合、情報処理装置５０は地物の検出を省略してもよい。
【００４１】
位置検出部２４は、車両の現在地を検出する。例えばＧＮＳＳ（Global Navigation Satellite System）受信機で測定された車両の三次元位置を基点に、ジャイロセンサで検出した走行方向に、車速センサで検出した移動量を累積する自律航法で推定された三次元位置を検出する。更に、マップマッチングで自車位置を補正してもよい。位置検出部２４が検出する現在地はＧＮＳＳ受信機の位置であるが、後述するように、ＧＮＳＳ受信機とカメラ１１の相対位置によりカメラ１１の現在地が特定される。
【００４２】
画像データ送信部２３は、地物検出部２２が地物１０と地物１０の反射像の両方を検出した画像データ及び車両の現在地（位置情報）を情報処理装置５０に送信する。このように、車載装置２０の地物検出部２２は情報処理装置５０に送信する画像データを選別する機能がある。ただし、通信帯域が十分にあり、情報処理装置５０の処理能力が十分に高ければ、カメラ１１が撮像した全ての画像データを情報処理装置５０に送信してもよい。この場合、車両側に地物検出部２２はなくてよい。しかし、地物１０が映っている可能性が高い画像データのみを車載装置２０が送信することで、通信帯域を節約し情報処理装置５０の処理負荷を低減できる。
【００４３】
更に、カメラ１１が撮像する画像データには同じ地物１０と地物１０の反射像が映っている画像データが何枚も含まれている可能性がある。この場合、車載装置２０は全ての画像データを送信するのでなく、一定以上の大きさに地物１０と地物１０の反射像が映った画像データのみを送信するとよい。画像認識により地物１０と地物１０の反射像が映っている画素範囲が特定されるので、この面積を閾値と比較する。閾値は地物１０と地物１０の反射像で異なってよい。
【００４４】
あるいは、同じ地物１０又は地物１０の反射像が最も大きく映っている画像データを選択して送信してもよい。通常、同じ種類の標識が隣接して設置されることはないので、車両８の移動に伴って、地物１０が画像データに映り始めてから映らなくなるまでの間で、同じ地物１０及び地物１０の反射像が最も大きく映っている画像データを特定できる。例えば、地物１０と地物１０の反射像が映っている画素範囲の合計により比較する。こうすることで、通信量を低減でき、情報処理装置の処理負荷も抑制できる。
【００４５】
＜＜情報処理装置＞＞
情報処理装置５０は画像データ受信部５１、画像データ解析部５２、三次元位置測定部５３、三次元位置記録部５４、及び、判断部５５を有する。これらは、情報処理装置５０がプログラムを実行するか、ＦＰＧＡやＡＳＩＣなどの電気回路により実現される機能又は手段である。
【００４６】
また、情報処理装置５０はＨＤＤ（Hard Disk Drive）、フラッシュメモリ、又は、ＲＡＭなどにより実現される記憶部５９を有している。記憶部５９には、カメラ位置情報５９１、平面データ情報５９２、及び、地物位置ＤＢ５９３（Data Base）が構築されている。
【００４７】
まず、画像データ受信部５１は、車載装置２０から地物１０及び地物１０の反射像が映っている可能性が高い画像データを受信する。画像データ解析部５２は、車載装置２０の地物検出部２２と同様に地物１０と地物１０の反射像を検出する。これは、地物１０と地物１０の反射像が映っていることを確認すると共に、地物１０と地物１０の反射像の画像データにおける座標（地物座標）を再度、検出するためである。なお、画像データ解析部５２は車載装置２０の地物検出部２２より高精度に地物１０を検出できる手法で地物１０と地物１０の反射像を検出するとよい。あるいは、車載装置２０の地物検出部２２と異なる手法（アルゴリズムが異なる識別器）で地物１０と地物１０の反射像を検出できることを確認することで、地物１０及び地物１０の反射像の検出精度を向上できる。ただし、車載装置２０の地物検出部２２に十分な精度がある場合、情報処理装置５０の画像データ解析部５２はなくてもよい。
【００４８】
画像データ解析部５２は地物１０を先に検出するとよい。地物１０の反射像は歪んでいることなどにより検出が困難なおそれがあるからである。地物１０は画像データの全体から検出しても、上半分などの一部の範囲から検出してもよい。画像データ解析部５２が地物１０を検出した時点で地物１０の地物ＩＤを特定できる。地物ＩＤは地物１０が何であるか（信号機か、標識であれば何の標識か）を示す識別情報である。
【００４９】
地物１０を検出できた場合、画像データ解析部５２は同じ画像データから地物１０の反射像を検出する。ただし、１つの識別器が地物１０と地物１０の反射像の両方に対応している場合、画像データ解析部５２は１回の解析で地物１０と地物１０の反射像を検出できる。画像データ解析部５２は地物１０と地物１０の反射像が映っている地物座標を画像データに添付する。
【００５０】
判断部５５は、１つの画像データから検出された地物１０と同じ地物１０の反射像が検出されたか否かを判断する。判断部５５が１つの画像データから、同じ種類の地物１０と地物１０の反射像が検出されたと判断した場合、画像データ解析部５２は、三次元位置測定部５３に三次元位置の測定を要求する。
【００５１】
三次元位置測定部５３は、地物１０と地物１０の反射像の地物座標、カメラ位置情報５９１、及び、ボンネットの平面データ情報５９２を用いて、図２で説明したように地物１０の三次元位置を測定する。詳細は後述する。
【００５２】
カメラ位置情報５９１は、車載装置２０の位置検出部２４が検出する車両の位置情報を基準とするカメラ１１の位置情報である。位置検出部２４はＧＮＳＳ受信機の位置を検出するのでカメラ１１の位置とは一致しないためである。したがって、カメラ位置情報５９１は車両ＩＤに対応付けて保持されている。三次元位置測定部５３は、車両の位置情報にカメラ位置情報５９１を加えて光学中心の座標を算出する。
【００５３】
平面データ情報５９２は、ボンネットの三次元形状データであり、例えば３Ｄ測定器で測定して再現したボンネットのポリゴンデータである。一定以上の市販数があるいくつかの車両だけでポリゴンデータを作成してもプローブカーは全国を移動するので実用に耐えうる。あるいは、車両のメーカから取得したポリゴンデータを利用してもよい。ポリゴンデータはカメラ１１の光学中心を基準にした座標を有しており、ボンネットに映った地物１０の反射像の座標（Ｘ１，Ｙ１，Ｚ１）における平面の方程式が求められる。つまり、カメラ１１に対するボンネットの相対位置は既知である。
【００５４】
このような平面データの準備が困難な場合については後述する。平面データ情報５９２は車両の車種ごとに用意される。各車両の車種は車両（プローブカー）を一意に特定する車両ＩＤに紐付けられているものとする。
【００５５】
三次元位置記録部５４は、地物位置ＤＢ５９３に地物ＩＤと三次元位置を対応付けて登録する。各プローブカーがそれぞれ地物ＩＤと三次元位置を登録するので、同じ地物１０と思われる地物ＩＤに異なる三次元位置が登録される。最終的に、三次元位置記録部５４は地物ＩＤが同じで三次元位置が所定内のズレしかない複数の三次元位置の例えば平均を、求める地物１０の正確な三次元位置であるとして地物位置ＤＢ５９３に登録する。
【００５６】
＜カメラキャリブレーションについて＞
カメラキャリブレーションは、レンズ焦点距離、レンズの中心位置などの内部パラメータ、カメラ１１の位置・姿勢を表す外部パラメータ、及び、レンズの歪収差係数等を求め、画像を補正する処理をいう。内部パラメータと外部パラメータが与えられた場合に、三次元座標を画像平面上に投影できるため、画像データの座標と三次元の座標の対応が得られる。キャリブレーションには各種の方法が提案されているが、例えばZhangの手法が知られており、OpenCVにも実装されている。
【００５７】
【数１】
2020085660.tif 000003
式（１）は内部パラメータと外部パラメータにより、三次元座標（Ｘ，Ｙ，Ｚ）を画像データの二次元座標（ｘ、ｙ）に変換する式である。ｆｘ、ｆｙは焦点距離を、ｏｘ，ｏｙはレンズの中心位置を、ｒ１１〜ｒ３３はカメラ１１の姿勢を、ｔｘ、ｔｙ、ｔｚは位置をそれぞれ表す。なお、式（１）は同次座標系で表されている。本実施形態ではキャリブレーションにより内部パラメータと外部パラメータの積である行列Ｐが得られているものとする。
【００５８】
＜全体の流れ＞
図６は、情報処理装置５０が地物１０の座標を測定する一例の手順を示すフローチャート図である。
【００５９】
三次元位置測定部５３は画像データから検出された地物１０と地物１０の反射像により直線Ｌ１と直線Ｌ３を求める（Ｓ１）。
【００６０】
次に、三次元位置測定部５３はボンネットに映った反射像の座標（Ｘ１，Ｙ１，Ｚ１）を直線Ｌ１と光学中心の座標から算出する（Ｓ２）。
【００６１】
次に、三次元位置測定部５３はボンネットに映った地物１０の反射像の座標（Ｘ１，Ｙ１，Ｚ１）におけるボンネットの平面の式と直線Ｌ１を用いて、直線Ｌ２を求める（Ｓ３）。
【００６２】
次に、直線Ｌ２と直線Ｌ３の交点から地物１０の三次元座標（Ｘ２，Ｙ２、Ｚ２）を算出する（Ｓ４）。
【００６３】
以下では、図６の各ステップの処理について説明する。
【００６４】
＜ステップＳ１＞
図７〜図９を用いて直線Ｌ１，Ｌ３の求め方を説明する。まず、図７は、カメラ１１が撮像した画像データの一例である。図７では地物１０の一例として街灯１２０が映っており、街灯１２０の反射像（虚像）１１０がボンネットに映っている。街灯１２０と街灯の反射像１１０は、画像データ解析部５２により検出されているものとする。また、街灯の反射像１１０が、街灯１２０が映ったものであること（両者が同じものであること）は画像データの解析により検出されている。
【００６５】
図８は、光学中心Ｏを基準とする同心円１３０を示す。画像データ内の直線ｍ１は実空間の直線Ｌ１に対応し、画像データ内の直線ｍ２は実空間の直線Ｌ２に対応し、画像データ内の直線ｍ３は実空間の直線Ｌ３に対応する。直線ｍ１，ｍ３の尖端が当たる同心円１３０の半径は、カメラ１１の光軸（Ｚ軸）と直線Ｌ１、Ｌ３がなす角と相関する。つまり、Ｚ軸との同一のなす角を結ぶと画像データにおいて同心円１３０になる。図９を用いて補足する。
【００６６】
図９は、画像データ上の直線と三次元空間の直線Ｌの対応を説明する図である。まず、図９（ａ）は光学中心Ｏを原点とする地物１０の三次元位置の座標系を示す。すなわち、カメラキャリブレーションにより、直線１０１の尖端の座標（Ｘ，Ｙ，Ｚ）は撮像素子において座標（ｘ、ｙ）に対応付けられる。直線１０１は本実施形態の直線Ｌ１，Ｌ３に対応する。
【００６７】
図９（ｂ）はＺ軸と直線１０２のなす角を模式的に示す。直線１０２は光学中心ＯからＺ軸とのなす角がθの方向の直線である。図９（ｂ）に示すように、同じなす角θの直線の尖端を結ぶと同心円１０３を描く。したがって、同心円１０３の半径となす角θは予め対応付けておくことができる。なお、なす角そのものは扱いにくいので方向余弦に変換するとよい。方向余弦のＺ成分をＮとするとＮ＝cosθである。よって、画像データから得られる同心円１０３の半径と方向余弦のＺ成分（Ｎ）を予め対応付けておくことができる。
【００６８】
直線１０２が同心円１０３のどの方向を向いているかはφにより特定できる。一例としてφは、なす角θの直線１０２の尖端と同心円１０３の中心を結ぶ線１０５が例えばＸ軸となす角である。この直線１０２は直線Ｌ１、Ｌ３に相当する。
【００６９】
図９（ｃ）は同心円１０３から求められる直線１０４の方向を画像データにおいて説明する図の一例である。直線１０４は直線１０２をＸＹ平面に投影したものであり、直線１０４は図８の直線ｍ１、ｍ３に相当する。直線１０２の長さは不明であるが、必要なのは方向であり方向余弦の定義から単位ベクトル（長さ１）を考える。よって、直線１０４の長さはsinθで表される。
【００７０】
Ｘ軸と直線１０４のなす角をφとする。図から明らかなように直線１０４はφでＸ成分とＹ成分に分解できる。したがって、方向余弦のＸ成分をＬとするとＬ＝sinθ・cosφであり、方向余弦のＹ成分をＭとするとＭ＝sinθ・cos(90−φ)＝sinθ・sinφである。よって、θごとに、画像データにおける直線ｍ１、ｍ３とＸ軸（又はＹ軸）とのなす角φを、方向余弦のＸ成分（Ｌ）、Ｙ成分（Ｍ）と予め対応付けておくことができる。
【００７１】
図１０（ａ）は同心円の半径と方向余弦のＺ成分を対応付けたテーブルを示し、図１０（ｂ）はなす角φと方向余弦のＸ、Ｙ成分を対応付けたテーブルを示す。そして、方向余弦Ｌ，Ｍ，Ｎが求められると直線の式を求めることができる。
【００７２】
【数２】
2020085660.tif 000004
式（２）は点（Ｘ０ ,Ｙ０ ,Ｚ０）を通り、（Ｌ，Ｍ，Ｎ）の方向余弦を有する直線の式である。直線Ｌ１，Ｌ３は光学中心（原点）を通過するので、点（Ｘ０ ,Ｙ０ ,Ｚ０）は（０，０，０）でよい。式（２）を使って、直線Ｌ１，Ｌ３を式（３）、式（４）のように表すことができる。
【００７３】
【数３】
2020085660.tif 000005
【００７４】
【数４】
2020085660.tif 000006
＜ステップＳ２＞
続いて、三次元位置測定部５３はボンネットに映った地物１０の反射像の座標（Ｘ１，Ｙ１，Ｚ１）を算出する。画像データにおける地物１０の反射像の座標を（ｘ１、ｙ１）とする。カメラキャリブレーションにより画像データの座標と三次元の座標の対応が得られているので、座標（ｘ１、ｙ１）を式（１）に代入すると、三次元空間の反射像の座標（Ｘ１，Ｙ１，Ｚ１）と座標（ｘ１、ｙ１）の関係が求められる。
ｘ１＝Ｐ１１Ｘ１＋Ｐ１２Ｙ１＋Ｐ１３Ｚ１＋Ｐ１４
ｙ１＝Ｐ２１Ｘ１＋Ｐ２２Ｙ１＋Ｐ２３Ｚ１＋Ｐ２４    …（５）
また、式（３）により直線Ｌ１の式が分かっている。
Ｚ＝（Ｘ/Ｌ１）×Ｎ１  ＝（Ｙ/Ｍ１）×Ｎ１
したがって、式（５）のＺ１を直線Ｌ１の式で消去すると、Ｘ１，Ｙ１が求まり、式（３）のＸ、ＹにＸ１、Ｙ１を代入すると、Ｚ１が求められる。したがって、反射像の座標（Ｘ１，Ｙ１，Ｚ１）が得られる。
【００７５】
＜ステップＳ３＞
続いて、三次元位置測定部５３はボンネットに映った地物１０の反射像の座標（Ｘ１，Ｙ１，Ｚ１）におけるボンネットの平面の式と直線Ｌ１を用いて、直線Ｌ２を求める。
【００７６】
図１１は、直線Ｌ２の求め方を説明する図の一例である。
Ｑ（Ｘｑ，Ｙｑ，Ｚｑ）：直線Ｌ１上の任意の点
Ｓ（Ｘｓ，Ｙｓ，Ｚｓ）：平面αに対し点Ｑに対称な点
Ｈ（ａ，ｂ，ｃ，）：点Ｑと点Ｓの中点（平面α上の点）
Ｔ（Ｘ１，Ｙ１，Ｚ１）：ボンネットに映った地物１０の反射像の座標
α：法線ベクトルをｎ（ｎｘ、ｎｙ、ｎｚ）とする平面
ｎｘＸ＋ｎｙＹ＋ｎｚＺ＋ｄ＝０  （ｄは定数で既知）
【００７７】
まず、ベクトルＨＱとベクトルｎが平行であることから、
（Ｘｑ−ａ，Ｙｑ−ｂ，Ｚｑ−ｃ）＝ｔ（ｎｘ，ｎｙ，ｎｚ）
これにより、ａ，ｂ，ｃをそれぞれｔで表すことができる。ｔは定数である。
【００７８】
点Ｈは平面α上にあるので、αの式にａ，ｂ，ｃ，を代入するとｔが求められる。したがって、ａ，ｂ，ｃを算出でき、点Ｈの座標が求められる。
【００７９】
点Ｈは線分ＱＳの中点であるため、点Ｑの座標と点Ｓの座標の中点が点Ｈの座標となることから、点Ｓの座標を算出できる。
【００８０】
光の性質により、直線Ｌ１が点Ｔで反射して直線Ｌ２となる場合、直線Ｌ１の入射角と直線Ｌ２の反射角は等しい。このため、平面αに対し直線Ｌ１上の任意の点Ｑに対称な点Ｓは、直線Ｌ２の延長線上に存在する。したがって、点Ｓと点Ｔを通る直線が直線Ｌ２の式である。式（６）は直線Ｌ２の式である。
【００８１】
【数５】
2020085660.tif 000007
＜ステップＳ４＞
続いて、三次元位置測定部５３は、直線Ｌ２と直線Ｌ３の交点から地物１０の三次元座標（Ｘ２，Ｙ２、Ｚ２）を算出する。上記のように、式（６）により直線Ｌ２が得られ、式（４）により直線Ｌ３の式が得られている。したがって、直線Ｌ２，Ｌ３の交点を求めることで、地物１０の座標（Ｘ２，Ｙ２、Ｚ２）を算出できる。
【００８２】
なお、直線Ｌ２とＬ３は誤差を含みうるため、交点が見つからない場合が生じうる。このため、直線Ｌ２とＬ３が最も接近する点の距離を算出し、この点から直線Ｌ２とＬ３の交点を求めてもよい。
【００８３】
図１２は、直線Ｌ２とＬ３の最接近点を説明する図の一例である。直線Ｌ２とＬ３が交差せずにある点Ｊ２，Ｊ３で最接近点を有している。最接近点Ｊ２，Ｊ３を結ぶ線は、直線Ｌ２，Ｌ３のいずれに対しても垂直になる。最接近点Ｊ２からＪ３へ向かうベクトルをｕとする。また、直線Ｌ２、Ｌ３がそれぞれベクトルであるとする。ベクトルＬ２とベクトルｕ、及び、ベクトルＬ３とベクトルｕ、がそれぞれ垂直であることから内積がゼロになる。
【００８４】
Ｌ２・ｕ＝０
Ｌ３・ｕ＝０
点Ｊ２はベクトルＬ２上の点であり、点Ｊ３はベクトルＬ３上の点であるので、直線Ｌ２上の任意の点をＰ２、直線Ｌ３上の任意の点をＰ３とすると点Ｊ２，Ｊ３は以下のように表せる。ｔ２とｔ３は任意の定数である。
Ｊ２＝Ｐ２＋ｔ２・Ｌ２
Ｊ３＝Ｐ３＋ｔ３・Ｌ３
この式によりｕをＪ２，Ｊ３で表すことができ、内積の式に代入して整理するとｔ２とｔ３が求められる。したがって、ｔ２，ｔ３からＪ２，Ｊ３が算出できる。また、点Ｊ２とＪ３の２点間の距離により最短距離が求められる。この最短距離が閾値未満の場合、例えば、点Ｊ２とＪ３の中点を交点とみなすことができる。
【００８５】
＜平面データの準備が困難な場合＞
ボンネットの平面データの準備が困難な場合、本実施形態の処理を行うことができない。あるいは、困難でないとしても平面データの準備が不要であればユーザの作業負荷を低減できる。そこで、以下のようなカメラ１１の構成が有効になる。
【００８６】
図１３は、カメラ１１の構成例の概略図である。このカメラ１１はレンズ３２の前方の下側に、レンズ３２の光軸とほぼ平行なミラー３３を有している。地物１０を点光源とした場合、一部の光は直接、レンズ３２を通過して撮像素子３１に到達する。また、一部の光はミラー３３に反射してからレンズ３２を通過して撮像素子３１に到達する。したがって、カメラ１１は、ボンネットの反射像を撮像する場合と同様に、ミラー３３に反射した地物１０の反射像を撮像できる。
【００８７】
図１３の構成の場合、光学中心に対するミラー３３の相対位置はカメラ１１の属性となり出荷時には実測されている。また、ミラー３３の平面データはＹ成分だけが１でＸ，Ｚ成分がゼロの法線ベクトルを有する平面である。したがって、ミラー３３を有するカメラ１１を使用することで、ボンネットを使用する場合に要請されるカメラ１１とボンネットの相対位置の測定や、ボンネットの平面データの準備が不要になる。
【００８８】
＜まとめ＞
以上説明したように、本実施形態の情報処理装置５０は、ボンネットのような反射面に映った虚像を利用して、単眼カメラでも地物１０の三次元位置を測定することができる。
【００８９】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【００９０】
例えば、本実施形態では、情報処理装置５０が地物１０の三次元位置を測定したが、車載装置２０が三次元位置を測定して、地物ＩＤ、三次元位置及び車両の位置情報を情報処理装置５０に送信してもよい。つまり、情報処理装置５０は地物ＩＤ、三次元位置の保存という処理を行う。この場合、画像データは送信されなくてもよいが、地物１０の三次元位置の検証が必要になった時のために、画像データが送信されてもよい。
【００９１】
あるいは、三次元位置の測定のみを情報処理装置５０が行うという方法もある。この場合、車載装置２０は地物１０の地物ＩＤ、地物と地物の反射像の地物座標、及び車両の位置情報を情報処理装置５０に送信する。情報処理装置５０は画像データを解析することなく、三次元位置の測定を行う。なお、画像データは送信されてもされなくてもよい。
【００９２】
また、本実施形態では、車両などの移動体にカメラ１１が搭載されていることを想定したが、本実施形態の三次元位置測定方法は移動体に搭載されていなくても適用できる。例えば、監視カメラのように路面に固定されたカメラが撮像した画像データからでも三次元位置を測定できる。
【００９３】
また、図５などの構成例は、車載装置２０と情報処理装置５０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。車載装置２０と情報処理装置５０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
【００９４】
なお、位置検出部２４は位置検出手段の一例であり、地物検出部２２又は画像データ解析部５２は検出手段の一例であり、三次元位置測定部５３は測定手段の一例であり、画像データ送信部２３は送信手段の一例であり、画像データ受信部５１は受信手段の一例である。
【符号の説明】
【００９５】
８          車両
１０        地物
１１        カメラ
２０        車載装置
１００      三次元位置測定システム
【図１】
2020085660.tif 000008
【図２】
2020085660.tif 000009
【図３】
2020085660.tif 000010
【図４】
2020085660.tif 000011
【図５】
2020085660.tif 000012
【図６】
2020085660.tif 000013
【図７】
2020085660.tif 000014
【図８】
2020085660.tif 000015
【図９】
2020085660.tif 000016
【図１０】
2020085660.tif 000017
【図１１】
2020085660.tif 000018
【図１２】
2020085660.tif 000019
【図１３】
2020085660.tif 000020