(57)【要約】  本発明は、ソース画像内の平面オブジェクトを識別する方法に関する。方法は、第１の地上カメラにより取得される第１のソース画像を検索することと、第２の地上カメラにより取得される第２のソース画像を検索することと、第１のソース画像及び第２のソース画像と関連する位置データを検索することと、第１のソース画像及び第２のソース画像と関連する方位データを検索することと、同一の観察軸を有する第１の中間画像及び第２の中間画像を取得するため、関連する位置データ及び関連する方位データにより観察軸回転変換を第１のソース画像及び第２のソース画像に対して実行することと、第１のラジアル対数データ画像及び第２のラジアル対数データ画像を取得するため、ラジアル対数空間変換を第１の中間画像及び第２の中間画像に対して実行することと、平面オブジェクトである可能性のある第１の画像内の領域を検出することと、第２のラジアル対数データ画像内の同様の寸法を有する前記潜在平面オブジェクト及び同様のrgb特性を比較することと、最後に領域を平面オブジェクトとして識別し且つその位置を判定することとを有することを特徴とする。本方法により、技術者は後続画像内の平面垂直オブジェクトを非常に効率的に検出できる。
2010511212.tif 000002
【特許請求の範囲】
【請求項１】
ソース画像内の平面オブジェクトを識別する方法であって、
第１の地上カメラにより取得される第１のソース画像を検索することと、
第２の地上カメラにより取得される第２のソース画像を検索することと、
前記第１のソース画像及び前記第２のソース画像と関連する位置データを検索することと、
前記第１のソース画像及び前記第２のソース画像と関連する方位データを検索することと、
第１のラジアル対数データ画像及び第２のラジアル対数データ画像を取得するため、前記関連する位置データ及び前記関連する方位データにより、前記第１のソース画像及び前記第２のソース画像から同一の観察軸を有する画像を表す第１の中間画像及び第２の中間画像への変換に対応する観察軸回転変換とラジアル対数空間変換との組み合わせを前記第１のソース画像及び前記第２のソース画像の少なくとも一部に対して実行することと、
前記第１のラジアル対数データ画像及び前記第２のラジアル対数データ画像内の同様の寸法を有する領域を検出することと、
前記領域を平面オブジェクトとして識別すること
とを備えることを特徴とする方法。
【請求項２】
潜在平面オブジェクトに対応する前記第１のソース画像又は前記第１の中間画像の一部を検出することを更に含み、前記第１のラジアル対数データ画像ラジアルは、前記潜在平面オブジェクトに対応する前記第１の中間画像の前記一部に対して対数空間変換を実行することにより取得され、前記第２のラジアル対数データ画像は、前記第２の中間画像の一部に対して対数空間変換を実行することにより取得され、前記一部は、前記第２の中間画像内の前記観察軸の位置及び前記潜在平面オブジェクトに対応する前記第１の中間画像の前記対応部分により定義されることを特徴とする請求項１に記載の方法。
【請求項３】
前記第１の中間画像及び前記第２の中間画像内の識別された平面オブジェクトのプロパティは：
2010511212.tif 000013
であって、式中：
R1＝第１の中間画像における観察軸の位置とオブジェクトの位置との間の距離
R2＝第２の中間画像における観察軸の位置とオブジェクトの位置との間の距離
W1＝第１の中間画像内のオブジェクトの幅
W2＝第２の中間画像内のオブジェクトの幅
H1＝第１の中間画像内のオブジェクトの高さ
H2＝第２の中間画像内のオブジェクトの高さ
である式を満たすことを特徴とする請求項１又は２に記載の方法。
【請求項４】
検出することは、
前記第１のラジアル対数データ画像及び前記第２のラジアル対数データ画像内の類似領域を検出するためにパターンマッチングアルゴリズムを実行することを含むことを特徴とする請求項１又は２に記載の方法。
【請求項５】
前記パターンマッチングアルゴリズムは、前記第２のラジアル対数データ画像内の類似領域を検出するため、前記第１のラジアル対数データ画像からの潜在オブジェクトの前記領域を用いて走査アルゴリズムを実行することを特徴とする請求項４に記載の方法。
【請求項６】
前記走査アルゴリズムを実行することは、
前記第１のラジアル対数画像の潜在オブジェクトの前記領域と前記第２のラジアル対数画像との間のrgb距離の最小差分を用いて、潜在平面オブジェクトの前記領域の水平変位を判定することを含み、前記方法は、
前記水平変位、前記位置データ及び前記方位データに依存して前記平面オブジェクトの前記位置を計算することを更に含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記走査アルゴリズムを実行することは、
潜在オブジェクトの前記領域を少なくとも２つの部分に分割することと、
前記第１のラジアル対数画像内の一部の領域と前記第２のラジアル対数画像との間の前記rgb距離の最小差分を用いて、前記少なくとも２つの部分の各々の前記水平変位を判定することと、
前記少なくとも２つの部分の各々の前記水平変位が類似するかを検証すること
とを更に含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記第１のラジアル対数画像の潜在オブジェクトの前記領域と前記第２のラジアル対数画像との間の前記rgb距離の前記最小差分が既定の閾値より小さい場合、領域は平面オブジェクトとして識別されることを特徴とする請求項６に記載の方法。
【請求項９】
前記平面オブジェクトの前記位置を計算することは、
2010511212.tif 000014
であって、式中：
z−カメラの焦点と第２の中間画像内の観察軸及び平面オブジェクトに対応する平面の交点との間の距離
width−対数空間画像の幅
dist−実世界における２つのカメラ位置の間の距離
offset−ラジアル対数画像空間におけるオブジェクトの場所の間の水平変位
である式を実行することを特徴とする請求項６に記載の方法。
【請求項１０】
地図データベースで使用するため、ソース画像から平面オブジェクトの位置を識別及び判定する装置であって、
入力デバイスと、
プロセッサ可読記憶媒体と、
前記入力デバイス及び前記プロセッサ可読記憶媒体と通信するプロセッサと、
表示部との前記接続を可能にする出力デバイスとを具備し、
前記プロセッサ可読記憶媒体は、
第１の地上カメラにより取得される第１のソース画像を検索する動作と、
第２の地上カメラにより取得される第２のソース画像を検索する動作と、
前記第１のソース画像及び前記第２のソース画像と関連する位置データを検索する動作と、
前記第１のソース画像及び前記第２のソース画像と関連する方位データを検索する動作と、
第１のラジアル対数データ画像及び第２のラジアル対数データ画像を取得するため、前記関連する位置データ及び前記関連する方位データにより、前記第１のソース画像及び前記第２のソース画像を同一の観察軸を有する画像を表す第１の中間画像及び第２の中間画像に変換することに対応する観察軸回転変換とラジアル対数空間変換との組み合わせを前記第１のソース画像及び前記第２のソース画像の少なくとも一部に対して実行する動作と、
前記第１のラジアル対数データ画像及び前記第２のラジアル対数データ画像内の同様の寸法を有する領域を検出する動作と、
前記領域を平面オブジェクトとして識別する動作と、
前記平面オブジェクトの特性を取り込む動作と、
前記第１のラジアル対数データ画像及び前記第２のラジアル対数データ画像により、前記平面オブジェクトの前記位置を判定する動作と、
地図データベースで使用するため、前記特性及び前記位置を記憶媒体に格納する動作と
を有する方法を実行する前記プロセッサをプログラムするコードを格納する装置。
【請求項１１】
コンピュータ構成にロードされた場合に請求項１乃至９のいずれか１項に記載の方法を実行するように構成されるコンピュータプログラム。
【請求項１２】
コンピュータ構成にロードされた場合に請求項１乃至９のいずれか１項に記載の方法を実行するように構成されるコンピュータプログラムを記憶するプロセッサ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ソース画像内の平面オブジェクトを識別する方法に関する。更に本発明は、地図データベースで使用するため、ソース画像から平面オブジェクトの位置を識別及び判定する装置に関する。
【背景技術】
【０００２】
ナビゲーションシステム等において使用されるデジタル地図データベースのため、多くの「垂直」道路情報、例えば道路標識、制限速度、方向案内標識、看板等を収集する必要がある。用語「垂直」は、道路情報の情報平面が重力ベクトルに対してほぼ平行であることを示す。一般に、垂直道路情報、例えば停止標識上のＳＴＯＰは、通常は支柱に取り付けられた金属板である平面標識上に書かれる。従って、「垂直道路情報」の特性は、それらが平面から抽出可能であることである。現在、垂直道路情報は、移動収集デバイスにより収集される垂直な写真画像及び他のデータを解析及び解釈することにより取得可能である。自動車又はバン等の地上車両であるモバイルマッピング車両は、デジタル地図データベースを改善するためのモバイルデータを収集するために使用される。改善例は、交通標識、進路標識、交通信号、街路名を示す街路標識、出口標識等の場所である。これらのオブジェクトのジオ空間場所は地図データベースに追加可能であり、画像内のこれらのオブジェクトの場所は、標識上に提示される情報を抽出するために更に使用可能である。
【０００３】
モバイルマッピング車両は多くのカメラを有し、その一部は立体カメラである。バンが高精度ＧＰＳ、並びに他の位置及び方位判定機器を車載するため、カメラの地理位置は正確に決められる。道路網を走行中、画像シーケンスが取り込まれる。
【０００４】
モバイルマッピング車両は、オブジェクト、例えば標識、建物又は路面の２つ以上の画像シーケンスを記録し、画像シーケンスの画像毎に、地理位置が画像シーケンスの方位データと共に正確に判定される。対応する地理位置情報を有する画像シーケンスをジオコーディングされた画像シーケンスと呼ぶ。位置データ及び方位データは、各ソース画像と関連するメタデータとして格納される。他のデータも他のセンサにより収集され且つ同時に及び同様にジオコーディングされてもよい。
【０００５】
処理するデータの量が膨大なため、画像シーケンスの解析には、非常に時間がかかり且つ多くの処理能力を要する。
【０００６】
現代の地図データベースアプリケーションの場合、道路脇の標識及び対応する正確な位置情報を有することが重要である。道路脇の標識の情報を取り込む１つの方法は、高精度位置判定システムを搭載したモバイルマッピング車両に取り付けられたカメラを使用することである。カメラのステレオペアは、位置情報を取得するために使用される。しかし、車両が標識に近付く場合、そのようなシステムは適切な画像範囲を得るのが困難である。そのようなシステムは、画像のステレオペアを解析するために複雑なアルゴリズム及び多くの処理能力を更に必要とする。
【発明の概要】
【０００７】
本発明は、ソース画像内の平面オブジェクトを自動的に識別する改良された方法を提供することを目的とする。
【０００８】
本発明によると、方法は、
第１の地上カメラにより取得される第１のソース画像を検索することと、
第２の地上カメラにより取得される第２のソース画像を検索することと、
第１のソース画像及び第２のソース画像と関連する位置データを検索することと、
第１のソース画像及び第２のソース画像と関連する方位データを検索することと、
第１のラジアル対数データ画像及び第２のラジアル対数データ画像を取得するため、関連する位置データ及び関連する方位データにより、第１のソース画像及び第２のソース画像から同一の観察軸を有する画像を表す第１の中間画像及び第２の中間画像への変換に対応する観察軸回転変換とラジアル対数空間変換との組み合わせを第１のソース画像及び第２のソース画像の少なくとも一部に対して実行することと、
第１のラジアル対数データ画像及び第２のラジアル対数データ画像内の同様の寸法を有する領域を検出することと、
領域を平面オブジェクトとして識別することとを有することを特徴とする。
【０００９】
本発明は、カメラがその観察軸に沿って移動される場合、カメラにより取り込まれる画像内の静止オブジェクトの長さ及び幅はカメラの焦点とオブジェクトとの間の距離に反比例して変化するという認識、例えば、オブジェクトまでの距離が半分になる場合、オブジェクトの高さは２倍になるという認識に基づく。カメラの移動により、オブジェクトは画像空間において直線に沿って移動する。すなわち、オブジェクト内の任意の画素は、画像空間内のその直線を移動する。換言すると、カメラの移動は、オブジェクトに対するズームイン又はズームアウトに対応する。この特性は、カメラの観察軸に対してほぼ垂直な平面を有する平面オブジェクトに対してのみ当てはまる。平面ではない任意のオブジェクトは、同一の深さに存在しないポイントを有する。深さが異なるため、画像空間における直線に沿った移動速度は異なる。その結果、画像空間においてオブジェクトは変形する。
【００１０】
地表を走行するモバイルマッピング車両は、表面を収集され且つ地理位置を決められた画像シーケンスを地上カメラを用いて記録する。前記画像の一部は、道路の側部に沿った車両前方の平面垂直オブジェクトを含む。しかし、道路が真っ直ぐであっても、カメラはその観察軸に沿って移動しない。車両に対するカメラの位置及び方位は既知であり、車両の位置及び方位は、移動マッピング車両に一体化される高精度位置センサ及び高精度方位センサにより、重力ベクトルを含む地理座標参照系に対して正確に理解される。その後、三角法により、ソース画像は、カメラを観察軸に沿って移動させることにより取り込まれた画像を表す画像に変換可能である。ラジアル対数空間変換が前記画像に対して実行される場合、画像空間内の観察軸から開始する直線は、ラジアル対数空間内の水平直線に変換される。上述から、観察軸に対して垂直な平面を有するオブジェクトの画素は、画像空間内のその直線を移動させることが分かる。従って、前記オブジェクトは、ラジアル対数画像において同様のサイズ及び形状を有する。この特徴により、技術者は、同様のサイズ及び特性を有するオブジェクトを含む領域を２つの画像において検出するために、前記画像に対して単純なマッチングアルゴリズムを実行できる。検出された領域は、第１の中間画像及び第２の中間画像の観察軸に対してほぼ垂直な平面を有するオブジェクトに対応する。
【００１１】
本発明は、平面オブジェクトが同様の寸法を有する画像を取得するために、単純且つ効率的な処理を使用する。それにより、技術者は、前記画像内の平面オブジェクトを検出するために相対的に単純なパターンマッチングアルゴリズムを使用できる。平面オブジェクトを発見後、平面オブジェクトの特性、例えば道路標識の種類又は標識支柱上の指示を識別するため、平面オブジェクトに対応する領域のみを解析する必要がある。本発明を使用することにより、画像シーケンスから平面オブジェクトを取り込む処理能力を従来技術より大幅に低減できる。
【００１２】
本発明の更なる実施形態において、方法は、
潜在平面オブジェクトに対応する第１のソース画像又は第１の中間画像の一部を検出することを更に含み、第１のラジアル対数データ画像は、潜在平面オブジェクトに対応する第１の中間画像の一部に対して対数空間変換を実行することにより取得され、第２のラジアル対数データ画像は、第２の中間画像の一部に対して対数空間変換を実行することにより取得され、前記一部は、第２の中間画像内の観察軸の位置及び潜在平面オブジェクトに対応する第１の中間画像の対応部分により定義される。これらの特徴により、処理される画像データの量が減少する。最初に、ソース画像又は観察軸変換後の画像内の平面オブジェクトの潜在領域が判定される。その後、領域毎に、対応する第１のラジアル対数空間画像が生成され、潜在平面オブジェクトが存在する可能性のある第２の中間画像の一部に対応する第２のラジアル対数空間画像が更に生成される。更に、平面オブジェクトを検出及び識別するためには、相対的に小さな第１のラジアル対数データ画像及び第２のラジアル対数データ画像のみを解析する必要がある。
【００１３】
本発明の更なる実施形態において、第１の中間画像及び第２の中間画像の観察軸は、水平面に対して平行である。この特徴により、本発明を実施する技術者は、重力ベクトルに対して平行な平面を検出できる。これは、通常は道路標識及び方向案内標識等が直立して、すなわち重力ベクトルに対して平行に配置されるため、垂直道路情報を検出するのに非常に適している。
【００１４】
本発明の一実施形態において、第１の中間画像及び第２の中間画像内の識別された平面オブジェクトのプロパティは次式を満たす。
【００１５】
【数１】
2010511212.tif 000003
【００１６】
式中：
R1＝第１の中間画像における観察軸の位置とオブジェクトの位置との間の距離
R2＝第２の中間画像における観察軸の位置とオブジェクトの位置との間の距離
W1＝第１の中間画像内のオブジェクトの幅
W2＝第２の中間画像内のオブジェクトの幅
H1＝第１の中間画像内のオブジェクトの高さ
H2＝第２の中間画像内のオブジェクトの高さ
【００１７】
これらの特徴により、識別されたオブジェクトの表面が観察軸に対して垂直であるかを検証できる。
【００１８】
所定の位置にある第１の中間画像内のオブジェクトに対して単純な透視式を仮定すると、以下のことが分かる：
【００１９】
【数２】
2010511212.tif 000004
【００２０】
式中：
f＝カメラの焦点距離
z＝平面オブジェクトからカメラまでの距離
y＝カメラの観察軸上方のオブジェクトの高さ
x＝オブジェクトからカメラの観察軸までの側方距離
x1＝第１の画像におけるオブジェクトから観察軸までのx軸の距離
y1＝第１の画像におけるオブジェクトから観察軸までのy軸の距離
R1＝第１の中間画像内の観察軸の位置とオブジェクトの位置との間の距離
従って、
【００２１】
【数３】
2010511212.tif 000005
【００２２】
同様に、第２の中間画像内のオブジェクトに対して、以下の式を導出できる。
【００２３】
【数４】
2010511212.tif 000006
【００２４】
式中：
dist＝第１の中間画像及び第２の中間画像の焦点の位置の間の距離
【００２５】
本発明の一実施形態において、検出動作は、
第１のラジアル対数データ画像及び第２のラジアル対数データ画像内の同様の領域を検出するためにパターンマッチングアルゴリズムを実行することを含むことを特徴とする。ラジアル対数空間変換の特性により、画像を変倍する必要がなく、第１のラジアル対数データ画像及び第２のラジアル対数データ画像において同様の領域を探索することが可能である。
【００２６】
本発明の更なる実施形態において、パターンマッチングアルゴリズムは、
潜在平面オブジェクトの領域を取得するため、第１のラジアル対数データ画像をセグメントにセグメント化することと、
第２のラジアル対数データ画像内の類似領域を検出するため、潜在オブジェクトの領域を用いて走査アルゴリズムを実行することとを含むことを特徴とする。
【００２７】
これらの特徴により、データ画像を効率的に処理できる。周知のセグメント化アルゴリズムは、画像を領域にセグメント化するために使用可能である。ラジアル対数空間変換のプロパティは、静止平面オブジェクトがそのような画像において、角度軸に対して同様の位置を有し且つラジアル対数軸に対して異なる位置を有することである。従って、走査アルゴリズムは、第１のラジアル対数データ画像において発見された潜在平面オブジェクトの領域と類似する第２のラジアル対数データ画像内の領域を効率的に発見するために使用可能である。マッチングする領域を発見するために、第１の画像の領域を第２の画像のラジアル対数軸に沿ってのみ移動する必要がある。
【００２８】
本発明の一実施形態において、走査アルゴリズムを実行することは、
第１のラジアル対数画像の潜在オブジェクトの領域と第２のラジアル対数画像との間のrgb距離の最小差分を用いて、潜在平面オブジェクトの領域の水平変位を判定することを含み、方法は、
水平変位、位置データ及び方位データに依存して平面オブジェクトの位置を計算することを更に含むことを特徴とする。この特徴により、ラジアル対数画像内の類似領域を検出でき、２つの領域の水平変位を測定することにより、カメラに対する領域の位置を正確に判定できる。
【００２９】
本発明の更なる実施形態において、走査アルゴリズムを実行することは、
潜在オブジェクトの領域を少なくとも２つの部分に分割することと、
第１のラジアル対数画像内の一部の領域と第２のラジアル対数画像との間のrgb距離の最小差分を用いて、少なくとも２つの部分の各々の水平変位を判定することと、
少なくとも２つの部分の各々の水平変位が類似するかを検証することとを更に含むことを特徴とする。これらの特徴により、潜在オブジェクトの直角度を検証する追加試験を行うことができる。
【００３０】
本発明の更なる実施形態において、第１のラジアル対数画像の潜在オブジェクトの領域と第２のラジアル対数画像との間のrgb距離の最小差分が既定の閾値より小さい場合、領域は平面オブジェクトとして識別される。この特徴により、領域が所望の類似度を有するかを検証することで誤検出の数を更に減少でききる。
【００３１】
本発明の一実施形態において、平面オブジェクトの位置を計算することは、次式を実行する。
【００３２】
【数５】
2010511212.tif 000007
【００３３】
式中：
z  −カメラの焦点と第２の中間画像における観察軸及び平面オブジェクトに対応する平面の交点との間の距離
width  −対数空間画像の幅
dist  −実世界における２つのカメラ位置の間の距離
offset  −ラジアル対数画像空間におけるオブジェクトの場所の間の水平変位。この特徴により、カメラとオブジェクトとの間の距離を判定できる。
【００３４】
本発明は、ソフトウェア、ハードウェア、又はソフトウェア及びハードウェアの組み合わせを使用して実現可能である。本発明の全部又は一部がソフトウェアで実現される場合、そのソフトウェアは、プロセッサ可読記憶媒体に常駐可能である。適切なプロセッサ可読記憶媒体の例は、フロッピディスク、ハードディスク、ＣＤ ＲＯＭ、ＤＶＤ、メモリＩＣ等を含む。システムがハードウェアを含む場合、ハードウェアは、出力デバイス（例えばモニタ、スピーカ又はプリンタ）、入力デバイス（例えばキーボード、ポインティングデバイス及び／又はマイクロホン）、並びに出力デバイスと通信するプロセッサ及びプロセッサと通信するプロセッサ可読記憶媒体を含んでもよい。プロセッサ可読記憶媒体は、本発明を実現するための動作を実行するプロセッサをプログラム可能とするコードを格納する。本発明の処理は、電話線、あるいは他のネットワーク又はインターネット接続を介してアクセス可能なサーバ上でも実現可能である。
【００３５】
尚、国際公開第ＷＯ０１０４８６８３Ａ１号において、オーバーラップシーンを有する記録画像が画像のＱＣＳＰ（Qualitative Cylispheric Stereo Pair）に変換される方法が教示される。ラジアル対数空間変換に類似する変換は、「ラジアル」ステレオペアを生成する。画像が移動方向と整列される場合、すなわち移動方向に向いている場合にのみ、この変換は適切に動作する。国際公開第ＷＯ０１０４８６８３Ａ１号において、移動方向と整列されない画像が、より複雑ではない画像認識アルゴリズムを可能にする所望の特性を含む画像の「ラジアル」ステレオペアを取得するために使用される方法は開示されない。更に、前記文献は、カメラに対するオブジェクトの位置がそのような「ラジアル」ステレオペアから判定されることを教示しない。
【図面の簡単な説明】
【００３６】
【図１】図１は、本発明の一実施形態を示すフローチャートである。
【図２ａ】図２ａは、ソース画像から同様の画角を有する画像への観察軸回転変換の一般原理を示す上面図である。
【図２ｂ】図２ｂは、ソース画像から同様の画角を有する画像への観察軸回転変換の一般原理を示す上面図である。
【図３】図３は、図２ａに対応するカメラの画像を示す図である。
【図４】図４は、図２ｂに対応するカメラの画像を示す図である。
【図５】図５は、２つの後続ソース画像を示す図である。
【図６】図６は、図５の画像の変換結果を示す図である。
【図７】図７は、変換画像の特性を示す図である。
【図８】図８は、実世界空間における変換の特性を示す図である。
【図９】図９は、図６の画像にラジアル対数変換を適用した結果を示す図である。
【図１０】図１０は、相関関数の出力を示す図である。
【図１１】図１１は、第１のラジアル対数画像における道路標識の位置と第２の対数画像における検出された位置との間の変位を完全に変換された画像のラジアル対数空間において示す図である。
【図１２】図１２は、画像空間から世界座標への変換を示す図である。
【図１３】図１３は、本発明に係る方法を実現するためのハードウェアシステムの一例を示すブロック図である。
【図１４】図１４は、カメラを有するＭＭＳシステムを示す図である。
【図１５】図１５は、場所パラメータ及び方位パラメータを示す図である。
【発明を実施するための形態】
【００３７】
多くの例示的な実施形態を使用し且つ添付の図面を参照して、本発明を以下により詳細に説明する。
【００３８】
図１４は、バン２１の形態をとるＭＭＳシステムを示す。バン２１は、１つ以上のカメラ２９（i）及び１つ以上のレーザスキャナ２３（ｊ）を備える。i＝１、２、３、...Ｉであり、ｊ＝１、２、３、...Ｊである。画角又は１つ以上のカメラ２９（i）は、バン２１の走行方向に対して任意の方向にあってもよく、従って、前方観察用カメラ、側方観察用カメラ又は後方観察用カメラ等であってもよい。カメラ２９（i）の観察ウィンドウは、車両前方の路面全体を範囲に含む。バン２１の走行方向とカメラの画角との間の角度は、両側において−４５°〜４５°の範囲内にあるのが好ましい。バン２１は、運転者により注目道路に沿って運転可能である。
【００３９】
バン２１は複数の車輪２２を備える。更に、バン２１は高精度位置判定プラットフォームを備える。図１４に示すように、位置判定プラットフォームは以下の構成要素のうちの少なくとも一部を具備する。
・アンテナ２８に接続され、複数の衛星ＳＬi（i＝１、２、３、...）と通信し且つ衛星ＳＬiから受信する信号から位置信号を算出するように構成されるＧＰＳ（全地球測位システム）ユニット。ＧＰＳユニットは、マイクロプロセッサμＰに接続される。ＧＰＳユニットから受信する信号に基づいて、マイクロプロセッサμＰは、バン２１内のモニタ２４に表示され且つバンが位置する場所及び場合によってはバンが移動している方向を運転者に通知する適切な表示信号を判定してもよい。ＧＰＳユニットの代わりに、ディファレンシャルＧＰＳユニットが使用可能である。ディファレンシャル全地球測位システム（ＤＧＰＳ）は全地球測位システム（ＧＰＳ）の改良版であり、固定地上参照局のネットワークを使用して、衛星システムにより示される位置と既知の固定位置との間の差分を同報通信する。これらの局は、測定された衛星の擬似距離と実際の（内部で計算された）擬似距離との間の差分を同報通信し、受信局は、自身の擬似距離を同一量分補正してもよい。
・ＤＭＩ（距離測定器）。この計器は、車輪２２のうちの１つ以上の車輪の回転数を検知することにより、バン２１が移動した距離を測定する走行距離計である。ＧＰＳユニットからの出力信号から表示信号を算出する際にマイクロプロセッサμＰがＤＭＩにより測定された距離を考慮できるようにするため、ＤＭＩもマイクロプロセッサμＰに接続される。
・ＩＭＵ（慣性測定器）。そのようなＩＭＵは、３つの直交方向に沿った回転加速度及び並進加速度を測定するように構成される３つのジャイロユニットとして実現可能である。ＧＰＳユニットからの出力信号から表示信号を算出する際にマイクロプロセッサμＰがＤＭＩによる測定値を考慮できるようにするため、ＩＭＵもマイクロプロセッサμＰに接続される。ＩＭＵは、推測航法センサを更に含むことができる。
【００４０】
尚、当業者は、車両の正確な場所及び方位を提供するために、グローバルナビゲーション衛星システム、車載慣性システム及び車載推測航法システムの多くの組み合わせ、並びに機器（これらは、車両の基準位置及び基準方位を参照して、既知の位置及び方位を用いて取り付けられる）を見つけることができる。
【００４１】
図１４に示すようなシステムは、例えばバン２１に取り付けられた１つ以上のカメラ２９（i）を用いて写真を撮影することにより地理データを収集するいわゆる「モバイルマッピングシステム」である。カメラ２９（i）は、マイクロプロセッサμＰに接続される。バン前方のカメラ２９（i）は、立体カメラであってもよい。カメラは、画像が既定のフレーム速度で取り込まれた画像シーケンスを生成するように構成可能である。例示的な一実施形態において、カメラの１つ以上は、バン２１の既定の変位毎又は時間間隔毎に写真を取り込むように構成される静止画カメラである。カメラ２９（i）は、画像をμＰに送出する。一実施形態において、モバイルマッピング車両は３つのカメラを具備する。そのうちの１つは前方観察用カメラであり、両側のカメラは、車両の進行方向に対して３０〜６０°の範囲にあり且つ好ましくは４５°にある観察軸を有する。その場合、前方観察用カメラは、路面上方の道路指示を検出するのに特に適した画像を取り込み、側方観察用カメラは、道路に沿った道路標識等のオブジェクトを検出するのに特に適した画像を取り込む。
【００４２】
一般に、３つの測定ユニット、すなわちＧＰＳ、ＩＭＵ及びＤＭＩが場所及び方位を可能な限り正確に測定することが望まれる。これらの場所データ及び方位データは、カメラ２９（i）が写真を撮影している間に測定される。写真は、後で使用するため、これらの写真が撮影されたのと同時に収集されたバン２１の対応する場所データ及び方位データと関連付けて、μＰの適切なメモリに格納される。写真は、例えば建物の区画、樹木、交通標識、駐車中の自動車、歩行者、方向案内標識等に関する視覚情報を含む。
【００４３】
図１５は、図１４に示す３つの測定ユニットであるＧＰＳ、ＤＭＩ及びＩＭＵから取得可能な位置信号を示す。図１５は、マイクロプロセッサμＰが６つの異なるパラメータ、すなわち所定の座標系内の原点に関する３つの距離パラメータx、y、z、並びにx軸、y軸及びz軸に関する回転をそれぞれ示す３つの角度パラメータωx、ωy及びωzを算出するように構成されることを示す。z方向は、重力ベクトルの方向と一致するのが好ましい。グローバルＵＴＭ又はＷＧＳ８４座標系は、所定の座標参照系として使用可能である。尚、本発明に係る方法は、NAD 83及び他のナショナルグリッドシステム等のローカル座標参照系と共に使用可能である。６つの異なるパラメータは、車両の位置及び方位を同時に追跡するのに必要な６自由度を提供する。カメラ及びレーザスキャナは、バン２１又は位置判定プラットフォーム上の基準位置及び基準方位に対して固定位置及び固定方位を有する。これにより、画像を取得した時点での座標参照系における各レーザサンプルの位置、並びに座標参照系におけるカメラの位置及び方位を６つのパラメータから正確に判定できる。
【００４４】
本発明に係る方法は、道路標識、方向案内標識及び他の平面オブジェクトの検出に関する。これらのオブジェクトは静止しており、一般に、道路の軸に対して垂直な平面を有し、道路情報が前記平面に書かれている。一般に、道路の軸は水平であり且つ交通の流れの方向を向いている。道路標識は、道路軸に対して正確に垂直に配置されるのではなく、道路上を運転する運転者が道路標識に対してほぼ垂直な視界を有するように、道路に向けて約５°回転されることが分かっている。更に、この僅かな回転により、平面が車両の光を運転者に対してより適切に反射するため、夜間の視認性が向上する。
【００４５】
異なる場所から異なる観察軸を用いて取得される２つの画像において可視であるオブジェクトを同様のサイズ及び形状を有し且つ変換画像において可視であるオブジェクトに変換する変換を開示する。
【００４６】
図１は、本発明の処理を示すフローチャートである。観察軸回転変換及びラジアル対数空間変換の組み合わせである変換の入力信号は、第１の画像及び第２の画像、並びにそれらを取り込んだ時点でのカメラの位置及び方位である。方位は、基準方位に対するカメラの観察軸の角度を表す。一実施形態において、基準方位は、モバイルマッピング車両又は位置決め／判定プラットフォームの進行方向に対応する。ソース画像は、地上カメラにより記録されるある程度垂直な画像を表す。ソース画像は、例えば１０ｍの変位毎に作動される静止画カメラにより記録される一連の静止画であってもよい。画像センサを具備するカメラは画角αを有する。画角αは、カメラのレンズ組み合わせの焦点距離により判定される。画角αは４５°＜α＜９０°であってもよい。更にカメラは、画角の中心に存在する観察軸を有する。カメラの観察軸は水平面、例えば路面に対して平行である。通常、画像センサは、観察軸に対して垂直に取り付けられる。この場合、画像センサは、「純粋な」垂直ソース画像を記録する。更に、画像センサの高さは水平面、例えば地表に対して既知である。地上カメラから検索されるジオコーディングされたソース画像は、三角法により任意の仮想面に変換可能である。観察軸が水平面に対して既知の角度で傾斜する場合であっても、仮想面はソース画像から取得可能である。
【００４７】
静止画カメラにより取得される画像は、カメラの視野内にある最近接表面ポイントの色の表現である。画素の値は、前記画素に対する色を測定する画像センサの感光素子を介してカメラの焦点から観察される表面の色に対応する。通常、現在のカメラで使用されるレンズは、画素当たり約０．０１〜０．１°の角度解像度で写真を提供する解像度及び焦点距離を有する。
【００４８】
モバイルマッピング車両は、ＧＰＳ受信機、並びに場合によっては追加の慣性センサ及び推測航法センサ等の位置決めセンサと、ジャイロスコープ、加速度計及び距離測定ユニット等の方位センサとを具備する位置決めプラットフォームを備える。これらのセンサは周知である。これらのセンサを用いて、車両の位置及び方位は非常に正確に判定され且つ記録される。更に、モバイルマッピング車両は、画像シーケンスを記録する多くのカメラを備える。２つのカメラは、車両前方の画像を記録するために自動車前方に取り付け可能である。これら２つのカメラは、一連の立体画像ペアを生成するように構成可能である。更にカメラは、自動車からの側方ビューを取得するために左側及び右側に取り付け可能であり、車両後方のカメラは、車両後方から見た実世界を記録する。カメラが車両の全ての側に取り付けられる場合、車両周辺の全方向における連続した又はほぼ連続したビューが取得可能である。前方及び後方のカメラにより、同一道路の反対方向からの２つの画像シーケンスを取得できる。
【００４９】
少なくとも位置決めデータ及び方位データ、並びに画像シーケンスを含む記録データソースは全て、同一の時間基準を使用する。位置決めプラットフォームにより、座標参照系におけるモバイルマッピング車両の位置及び方位を非常に正確に判定できる。カメラの正確な位置及び方位は、位置決めプラットフォームからのデータ、並びに位置決めプラットフォームの判定された位置及び方位に対する各カメラの固定位置及び固定方位から求められる。位置は、正確な絶対位置又は少なくとも正確な相対位置である。第１の画像及び第２の画像は、移動車両の２つの異なる場所に取り付けられた２つのカメラから又は画像シーケンスの２つの後続画像から取得可能である。第１の画像及び第２の画像は、同一の静止画カメラにより取り込まれるのが好ましく、この場合、第１の画像と第２の画像との間の距離は１０ｍである。
【００５０】
位置決めプラットフォームの位置及び方位、並びに第１の画像及び第２の画像を取り込んだ時点での位置決めプラットフォームの基準位置及び基準方位に対するカメラの位置及び方位は、変換データとなるラジアルビューパラメータを抽出するために処理される。変換データは、第１の画像及び第２の画像から第１のラジアル対数データ画像及び第２のラジアル対数データ画像への変換を制御する。変換を以下に更に詳細に説明する。２つのラジアル対数データ画像内の垂直オブジェクトのサイズ及び形状が同様であるため、周知のパターンマッチングアルゴリズムの形態であってもよい単純な走査アルゴリズムが、２つのラジアル対数データ画像内の同様の垂直オブジェクトをマッチングするために使用される。
【００５１】
本発明に係る方法が、＋／−１０°の角偏差を有する垂直平面オブジェクトを識別できることが分かっている。ラジアル対数空間における対応する誤差は、画像のノイズより小さい。
【００５２】
道路標識を選択する際に使用する場合、例えば、０．５ｍ×０．５ｍ以上且つ１．２ｍ×１．２ｍ以下の実世界サイズを有するオブジェクトのみを選択するため、最初にサイズフィルタが適用される。所望のサイズ範囲内のサイズを有するオブジェクトは、更なる処理のためデータベースに追加される。垂直な注目オブジェクトは、各画素に割り当てられる対応する位置と共に小さな画像として格納可能である。一実施形態において、小さな画像は、ソース画像内の平面オブジェクトに対応する画素を含む。更なる処理は、道路標識の種類、方向案内標識上の各記号、あるいは画像又は小さな画像から抽出可能な他の任意の種類の情報の認識であってもよい。最後に、情報は地図データベースに格納可能である。これは、運転者前方の道路の改善された表現を画面上に表示するため又は標識から取り込まれた情報に基づく改善された指示を与えるために、ナビゲーションシステムにおいて使用可能である。
【００５３】
以下の段落では、区別可能なサブ変換において変換を説明する。尚、変換は、以下に説明する中間結果を用いずに１つのステップにおいて実行可能である。
【００５４】
図２は、ソース画像から同様の観察軸を有する画像への観察軸回転変換の一般原理を示す上面図である。図２ａは、オブジェクト２１６を観察する自動車２０６に取り付けられた第１のカメラ２０２及び自動車２０８に取り付けられた第２のカメラ２０４を示す。第１のカメラ２０２は第１の観察軸２１０を有し、第２のカメラは第２の観察軸２１４を有する。双方のカメラはそれぞれ画角を有する。第１のカメラ及び第２のカメラの双方は、それぞれの画角内にオブジェクト２１６を有する。図３の上段の写真は、第１のカメラを用いて取り込まれたオブジェクト３１０を有する第１の画像を示し、図３の下段の写真は、第２のカメラを用いて取り込まれた同一オブジェクト３１２を有する第２の画像を示す。第２の画像はオブジェクトから２０ｍ離れた位置で取り込まれ、第１の画像はオブジェクトから１０ｍ離れた位置で取り込まれる。これは、１つのカメラにより道路に沿って１０ｍの変位毎にソース画像を取り込み且つカメラの観察軸が走行方向に対して傾斜されるモバイルマッピング車両における画像の記録に対応する。
【００５５】
図２ｂは、オブジェクト２１６を観察する同一の第１のカメラ２０２及び第２のカメラ２０４を示す。図２ａとの違いは、第１のカメラ及び第２のカメラの双方の観察軸が仮想的に回転されている点である。第２のカメラ２０４の観察軸２１４ａは、第１のカメラ２０２の観察軸２１０ｂと同一直線上にある。図４の上段の写真は、仮想観察軸を有する第１のカメラ３０２を用いて取り込まれたオブジェクト４１０を有する第１の画像を示し、図４の下段の写真は、同一の仮想観察軸を有する第２のカメラ２０４を用いて取り込まれた同一オブジェクト４１２を有する第２の画像を示す。双方の図において、画像中央における仮想観察軸の位置を十字形で示す。双方の画像内の台形は、画像の仮想回転変換後の図３における画像の輪郭を示す。
【００５６】
仮想観察軸は、道路の水平方向に対応する。画像が１つのカメラにより記録される場合、仮想観察軸は、第１の画像が取り込まれる時間インスタンスから第２の画像が取り込まれる時間インスタンスまで走行する際の車両の水平走行方向により近似可能である。各画像に対する観察軸の回転は、同一時間インスタンスにおける方位データから求められる必要がある。画像が２つの異なるカメラにより取り込まれる場合、観察軸の回転を判定して互いに対して平行な２つの仮想観察軸を取得するため、各画像に関連する位置データ及び方位データを使用する必要があり、その後、仮想観察軸の位置を他方の仮想観察軸と一直線にするため、画像の一方を平行移動させる必要がある。モバイルマッピング車両の位置決めプラットフォームにより生成される位置データ及び方位データの精度が不十分なため仮想観察軸を互いに対して一直線にできない場合、ラジアル対数画像の精度が不十分になり、走査アルゴリズムは第１のラジアル対数画像及び第２のラジアル対数画像においてマッチングを発見できない。尚、第１の画像及び第２の画像は、異なる画角を有する２つのカメラにより取得可能である。その場合、観察軸回転変換は、画素当たりの角度解像度が同一の画像を取得するように更に構成される必要がある。
【００５７】
図５は、移動車両に取り付けられた１つのカメラを用いて取得された２つの後続画像の一例を示す。下段の画像は最初に取り込まれ、左側に道路標識５１０を示す。上段の画像は、車両がある特定の距離を移動した後に取り込まれ、同様に道路標識５１２を示す。
【００５８】
図６は、画像の観察軸を仮想的に回転することにより図５の画像を変換した結果を示す。このように、２つの画像は同一の観察軸を用いて取得されたものである。観察軸回転変換は、２つの画像と関連する位置データ及び方位データにより実行可能である。更に、観察軸６０２、６０４の位置は画像内で同一である。画像内の標識の上方画素及び下方画素により形成される角度６０６、６０８を上段の画像及び下段の画像に更に示す。角度６０６、６０８は類似することが分かる。尚、定義された軸に関して画像を回転することは、既存のコンピュータグラフィックスカードの内蔵機能であり、従って、同一観察軸を有する画像を取得するための画像回転に関する更なる詳細を説明しない。
【００５９】
図７は、図４の変換中間画像の特性を示す。図７は、図４の上段の画像及び下段の画像の組み合わせを示す。図４の画像における第１の変換中間画像と関連する観察軸及び第２の変換中間画像と関連する観察軸は同一直線上にある。更に、双方の画像における観察軸の位置は同一である。図中符号７０２は、双方の変換中間画像と関連する観察軸が交差する画素を示す。従って、画像は重ね合わせにより組み合わせ可能である。前記画像から、第１の変換中間画像及び第２の変換中間画像は、カメラを観察軸に沿って移動することにより取り込まれた画像に対応すると言える。第１の変換中間画像がオブジェクトから距離D1離れた位置で取り込まれ、第２の変換中間画像が距離D1の２倍離れた位置で取り込まれたと仮定する。その結果、第１の変換中間画像内のオブジェクトのサイズH1、W1は、第２の変換中間画像内のオブジェクトのサイズH2、W2の２倍である。更に、観察軸に対応する画素７０２と第１の変換中間画像内のオブジェクトの任意のポイントとの間の距離は、画素７０２と第２の変換中間画像内のオブジェクトの対応するポイントとの間の距離の２倍であり、すなわちR1 = 2 × R2である。
【００６０】
第１の変換中間画像及び第２の変換中間画像内の任意の垂直オブジェクトは、次式を満たす。
【００６１】
【数６】
2010511212.tif 000008
【００６２】
式中：
R1＝第１の中間画像における観察軸の位置とオブジェクトの位置との間の距離
R2＝第２の中間画像における観察軸の位置とオブジェクトの位置との間の距離
W1＝第１の中間画像内のオブジェクトの幅
W2＝第２の中間画像内のオブジェクトの幅
H1＝第１の中間画像内のオブジェクトの高さ
H2＝第２の中間画像内のオブジェクトの高さ
【００６３】
更に、観察軸に対応する画素７０２に対するオブジェクトの方位は変化しないことが図７から分かる。その結果、第１の画像内のオブジェクトの任意の画素は、第２の画像内の角度又は方位と同等の角度又は方位を有する。これを図６に示す。上段の画像は、仮想観察軸６０２の位置、並びに前記画像内の道路標識の上方画素及び下方画素に対する上方角度及び下方角度の範囲６０６を示す。下段の図において、仮想観察軸６０４の位置は、上段の画像内と同一位置にある。更に、下段の画像内の上方画素及び下方画素に対する上方角度及び下方角度の範囲６０８は、上段の画像内の範囲６０６と同等である。従って、観察軸に沿ったカメラの移動により、観察軸の画素とオブジェクトに対応する画素の位置との間の距離のみが変化する。この特徴の利点は、オブジェクトのサイズが第１の画像において判定される場合、垂直オブジェクトを発見可能な第２の画像の対応する領域が分かり、画像の前記一部のみを処理する必要がある点である。これにより、処理される画像データの量が大幅に減少するため、より効率的なデータ処理が可能である。
【００６４】
図８は、実世界空間における変換の別の特性を示す。第１の画像及び第２の画像を取り込み中のカメラ位置を示す上面図を示す。上記式と組み合わせると、カメラとの間の距離zと第１の位置から第２の位置までのカメラの変位は次式を満たすことが分かる。
【００６５】
【数７】
2010511212.tif 000009
【００６６】
式中：
R1＝第１の中間画像における観察軸の位置とオブジェクトの位置との間の距離
R2＝第２の中間画像における観察軸の位置とオブジェクトの位置との間の距離
z＝第２の中間画像におけるカメラの焦点と平面オブジェクトに対応する平面との間の最短距離
dist＝第１の中間画像の焦点の位置と第２の中間画像の焦点の位置との間の距離
【００６７】
distは、車輪センサ等の変位測定デバイスを用いて測定可能である。
【００６８】
中間画像内の潜在オブジェクトは、色情報に基づいて画像をセグメント化することにより取得可能である。しかし、中間画像において潜在オブジェクト毎に半径の比率、並びに潜在オブジェクトの幅及び高さを測定することは、不可能ではないが非常に複雑であると考えられる。従って、同一観察軸を有する中間画像の特性を使用するという利点を有する変換が探し求められてきた。ラジアル対数変換は、これらの利点を有する。観察軸に対応する画素と前記画素との間の距離Rが画像内の画素毎に判定され、その後、対数値が判定される。
【００６９】
ラジアル対数空間において、x軸は、中間画像における観察軸に対応する画素(a,b)と画素(x,y)との間の距離の対数値に対応する。y軸は、観察軸の画素(a,b)及び画素(x,y)を通る線の角度に対応する。前述のように、第１の中間画像及び第２の中間画像内の垂直オブジェクトの特性は、観察軸の画素に対する角度が変化しないことである。そのため、ラジアル対数空間において、ｙ軸に対するオブジェクトの位置は変化しない。更に、実世界におけるオブジェクトとカメラとの間の距離は中間画像におけるサイズに反比例する。半径Rに対数関数を適用することにより、ラジアル対数空間におけるオブジェクトのサイズ及び形状は、カメラと垂直オブジェクトとの間の距離から独立する。図９は、図６の画像にラジアル対数変換を適用した結果を示す。対応する図における道路標識の拡大図を右側のサイズに示す。ラジアル対数空間におけるオブジェクトの形状及びサイズは、カメラと垂直平面オブジェクトとの間の距離に関係なく同様であることが分かる。従って、ラジアル対数空間において、注目オブジェクトは単純なパターンマッチングアルゴリズムにより検出可能である。
【００７０】
第１のラジアル対数画像内のオブジェクトと第２のラジアル対数画像内のオブジェクトとの間の水平変位は、x軸に沿った画素を単位とする変位であり、第１のソース画像及び第２のソース画像を記録時のカメラの焦点とオブジェクトとの間の距離の変化に比例する。
【００７１】
上述の方法は、画像全体ではなく候補セグメントに適用される。候補セグメントは、画像を同様の色を有するセグメントにセグメント化することにより取得される。Lalonde Marc及びLi Yingによる技術報告書「Road Sign Recognition」、Centre de recherche informatique de Montreal、１９９５年、Survey of the State of the Art for Sub-Project 2.4において、CRIM/IITは、ＣＣＤカメラによるカラー画像からの道路標識の解析及び認識に関するパターン認識のサブ分野における技術的現状を説明している。この文献には、色セグメント化及び形状認識による案内標識の検出に対する種々のアルゴリズムが記載されている。各候補セグメントは、オブジェクトである可能性のある画像の画素グループに対応する。
【００７２】
第１の中間画像の候補セグメントは、第１のラジアル対数画像に変換される。カメラがその観察軸に沿って移動される場合、中間画像内の観察軸の位置、オブジェクトの上方画素及び下方画素により形成される角度は変化しないことが上述から分かっている。従って、カメラが観察軸に沿って移動されると仮定する場合、候補セグメントの角度内の第２の中間画像の一部のみが第２のラジアル対数画像に変換される必要がある。第２の中間画像は、候補セグメントに対応するソース画像に先行するソース画像を回転することにより取得された。従って、第１のラジアル対数画像及び第２のラジアル対数画像は同一の高さを有する。その後、候補セグメントの画素に対応する第１のラジアル対数画像は、計算に適した第２のラジアル対数画像の対応する一部に沿って水平方向に走査される。本実施形態において、ソース画像は同一カメラにより異なる位置において事前に取り込まれ、カメラは車両前方の道路を取り込むと仮定する。更に、ソース画像の観察軸は走行方向と同様ではない。第１の中間画像において、検出されるオブジェクトは、第２の中間画像におけるサイズより大きいサイズを有する。ラジアル対数空間変換は、第１の中間画像のセグメントの画素及びそのセグメントが存在する可能性のある第２の中間画像の一部にのみ適用される。双方の測定値により、ラジアル対数空間変換に必要な計算力は大幅に減少する。上記説明は、第２のソース画像が取り込まれた後に第１のソース画像が取り込まれることを示す。
【００７３】
単純な走査アルゴリズムは、オブジェクト検出を検証し且つ第１のラジアル対数画像と第２のラジアル対数画像との間のx軸に沿った変位を判定するために使用される。走査アルゴリズムは、第１の対数画像において識別されたオブジェクトと、第２のラジアル対数画像における画素数に関する全ての可能な水平変位（オフセット）との間のrgb差分を判定する。rgb差分の一例は、rgb空間における画素間の平方距離の和である。画素間の平方距離は、次式により判定可能である。
【００７４】
【数８】
2010511212.tif 000010
【００７５】
式中：
r1及びr2はそれぞれ、第１のラジアル対数画像及び第２のラジアル対数画像内の画素の赤色成分の値であり、
g1及びg2はそれぞれ、第１のラジアル対数画像及び第２のラジアル対数画像内の画素の緑色成分の値であり、
b1及びb2はそれぞれ、第１のラジアル対数画像及び第２のラジアル対数画像内の画素の青色成分の値である。
【００７６】
和は、第１のラジアル対数画像内のオブジェクトを含む全選択画素及び第２のラジアル対数画像内のそれらに相当する画素に対して求められる。
【００７７】
走査アルゴリズムは、以下の擬似コードにより記述可能である。
【００７８】
bestfit = Not A Number;
minSum = MAX_NUMBER;
for each potential offset o do:
sum = 0;
for each point x,y in mask of object do:
sum = sum + dist(rgb1(x,y),rgb2(x+o,y))
if (sum ＜ minSum)
bestfit = o;
minSum = sum;
式中、rgb1(x,y)は、第１のラジアル対数画像内の位置x,yにおける画素の値であり、rgb2(x+o,y)は、第２のラジアル対数画像内の位置x+o,yにおける画素の値である。
【００７９】
そのようなアルゴリズムを実行すると、「bestfit」の値は最適なマッチング画素の値になる。
【００８０】
候補セグメントに対応する第１のラジアル対数画像を用いて第２のラジアル対数画像を走査することにより、第２のラジアル対数画像内の候補セグメントである可能性が最も高い位置が検出可能である。走査アルゴリズムは、ラジアル対数画像内の仮定された水平変位毎にrgb空間内のデカルト距離を解析することにより、相関出力を生成する。相関出力の最小値を有する位置は、候補セグメントの画素と第２のラジアル対数画像の画素との間の最高相関が達成される位置に対応する。しかし、第１のラジアル対数画像が移動オブジェクトに対応する場合、オブジェクトは、第２の対数画像内に同一サイズ及び同一形状を有して存在しないか又は少なくとも完全には存在しない。走査アルゴリズムは、相対的に低い値を有する相関出力を生成せず、これは、候補セグメントの画素と第２のラジアル対数画像の画素との間に相関する位置が存在しないことを示す。偽検出を減少するため、所定の閾値を使用して相関出力の最小値を検査する。最小値が所定の閾値より小さい場合、候補セグメントは、第２のラジアル対数画像内の領域とマッチングすると見なされ、その結果、候補セグメントは車両の走行方向に対して垂直な静止平面であると判断される。
【００８１】
図１０は、走査アルゴリズムを実行することにより取得される相関関数の出力を示す。X軸は、第２のラジアル対数画像内の位置に対する候補セグメントの水平変位を表し、y軸はデカルト距離値を表す。最小のデカルト距離値が７９の水平変位において見つけられることが分かる。これは、候補セグメントと第２の対数画像との間の最高相関が達成されるポイントに対応する。
【００８２】
候補セグメントが観察軸に対して垂直なオブジェクトに対応することを検証するため、第１のラジアル対数画像は少なくとも２つの部分、例えば左部分及び右部分に均等に分割される。相関関数の出力は、部分毎に再度判定される。オブジェクトが垂直な場合、水平変位は双方の部分に対して同一である。しかし、オブジェクトが垂直面を有さない場合、左部分の水平変位及び右部分の水平変位は異なる。水平変位が双方の部分に対して同一である場合、オブジェクトは、第１の中間画像及び第２の中間画像の観察軸に対して垂直な平坦面を有すると判断する。
【００８３】
第１のラジアル対数画像及び第２のラジアル対数画像内の候補画像の水平変位（オフセット）は、カメラと垂直オブジェクトとの間の距離を算出するための尺度である。
【００８４】
図１１は、完全に変換された画像のラジアル対数空間において、第１のラジアル対数画像内の道路標識の位置と第２の対数画像内の検出された位置との間の変位を示す。
【００８５】
図８においてｚで示されるカメラからオブジェクトまでの距離を算出するため、次式を使用する。
【００８６】
【数９】
2010511212.tif 000011
【００８７】
式中：
z−カメラの焦点と第２の中間画像内の観察軸及び平面オブジェクトに対応する平面の交点との間の距離
width−対数空間画像の幅、
dist−実世界における２つのカメラ位置の間の距離、
offset−ラジアル対数画像空間におけるオブジェクトの場所の間の水平変位、すなわち、第１のラジアル対数画像内のオブジェクトから第２のラジアル対数フレーム内で発見されるオブジェクトまでの画素数差分。
【００８８】
例えばdist = 10、ラジアル対数画像の幅が３，０００画素且つオフセットが-80の場合、カメラからオブジェクトまでの距離は５２．０１５ｍであると算出できる。
【００８９】
zが算出されるため、オブジェクトの位置を算出するために透視式を使用できる。
【００９０】
【数１０】
2010511212.tif 000012
【００９１】
式中：
XCam−観察軸に対応する画素に対する中間画像内のオブジェクトの水平位置；
ZCam−観察軸に対応する画素に対する中間画像内のオブジェクトの垂直位置；
z−事前に算出済み（ラジアル対数空間）
width−元のフレーム画像の幅
height−元のフレーム画像の高さ
xs−フレーム軸におけるオブジェクトのx座標
ys−フレーム軸におけるオブジェクトのy座標
fpx−画素を単位とするカメラの焦点距離
この時点で、カメラ空間におけるオブジェクトの座標であるXCam、ZCam及びzが得られる。最後のステップは、ＷＧＳ８４等の座標参照系におけるオブジェクトの最終位置(xp,yp,zp,)を求めるためのカメラ座標から実世界座標への変換である。
【００９２】
図１２は、画像空間から世界座標への変換を示す。(Xc,Yc,Zc)はカメラの実世界位置であり、Xs、Ysは中間画像空間における候補セグメントの位置であり、(Xp,Yp,Zp)は世界座標における最終オブジェクトの位置である。
【００９３】
一実施形態において、世界座標におけるオブジェクトの位置は、平面オブジェクトが既定の道路回廊内の位置を有するか及びその後に地図データベース内に格納される必要があるかを判定するために使用される。そのような既定の道路回廊の一例は以下を含んでもよい。
【００９４】
−モバイルマッピング車両の位置の左側及び／又は右側まで１０ｍ以内にある位置を有する全オブジェクト
−路面から０．５ｍ以上及び／又は６．０ｍ以下の高さの位置を有する全オブジェクト
−カメラ前方において０．５〜３０ｍの距離の範囲内の位置を有する全オブジェクト
【００９５】
地図データベースに格納する必要のあるオブジェクトを選択するため、世界座標の代わりに、例えば車両の位置に関する相対座標が使用可能である。この位置選択を適用することにより、本発明に係る方法の偽検出率は軽減する。
【００９６】
画像を候補セグメントにセグメント化することは、本発明に係る方法を実行するために、第１の画像及び第２の画像内の最小量の画素が使用されるという利点を有する。候補セグメントの画素のみが、第１のラジアル対数画像を取得するために変換される。更に、垂直オブジェクトが存在する可能性のある画像の一部のみが第２の対数画像に変換される。これらの測定値により、本発明に係る垂直平面オブジェクトを検出する方法を実行する処理速度が向上する。
【００９７】
図１３は、上述の平面オブジェクトの位置を識別及び判定する方法を実現するために使用可能なコンピュータシステムの上位ブロック図を示す。コンピュータシステムは、平面オブジェクトの特性を取り込むように更に構成可能である。垂直道路情報の収集の分野において、特性は、道路のサイズ及び種類、進路標識上の指示及び進路標識上の対応する位置、都市名等である。Lalonde Marc及びLi Yingによる技術報告書「Road Sign Recognition」、Centre de recherche informatique de Montreal、１９９５年、Survey of the State of the Art for Sub-Project 2.4において、CRIM/IITは、ＣＣＤカメラによるカラー画像からの道路標識の解析及び認識に関するパターン認識のサブ分野における技術的現状を説明している。この文献には、案内標識の特性の取り込みに対する種々のアルゴリズムが記載されている。コンピュータシステムは、地図データベースで使用するため、平面オブジェクトの特性及び位置を記憶媒体に格納するように更に構成される。
【００９８】
図１３のコンピュータシステムは、プロセッサユニット９１２及びメインメモリ９１４を含む。プロセッサユニット９１２は、単一マイクロプロセッサを含んでもよく、又はコンピュータシステムをマルチプロセッサシステムとして構成するために複数のマイクロプロセッサを含んでもよい。メインメモリ９１４は、プロセッサユニット９１２により実行する命令及びデータの一部を格納する。本発明の方法がソフトウェアにおいて完全に又は部分的に実現される場合、メインメモリ９１４は、動作時に実行可能コードを格納する。メインメモリ９１４は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）のバンク及び高速キャッシュメモリを含んでもよい。
【００９９】
図９のシステムは、大容量記憶装置９１６、周辺装置９１８、入力デバイス９２０、携帯記憶媒体ドライブ９２２、グラフィックスサブシステム９２４及び出力表示装置９２６を更に含む。簡潔にするため、図９に示す構成要素は、単一バス９２８を介して接続されるものとして示される。しかし、構成要素は１つ以上のデータ搬送手段を介して接続されてもよい。例えば、プロセッサユニット９１２及びメインメモリ９１４はローカルマイクロプロセッサバスを介して接続されてもよく、大容量記憶装置９１６、周辺装置９１８、携帯記憶媒体ドライブ９２２及びグラフィックスサブシステム９２４は、１つ以上の入出力（Ｉ／Ｏ）バスを介して接続されてもよい。磁気ディスクドライブ又は光ディスクドライブを用いて実現されてもよい大容量記憶装置９１６は、各カメラのジオコーディングされた画像シーケンス、カメラの較正情報、定数位置パラメータ及び変数位置パラメータ、定数方位パラメータ及び変数方位パラメータ、中間画像、検出されたオブジェクトを含むデータベース、並びにプロセッサユニット９１２により使用される命令等のデータを格納する不揮発性記憶装置である。一実施形態において、大容量記憶装置９１６は、メインメモリ９１４にロードするために、本発明を実現するためのシステムソフトウェア又はコンピュータプログラムを格納する。
【０１００】
携帯記憶媒体ドライブ９２２は、フロッピディスク、マイクロドライブ及びフラッシュメモリ等の携帯不揮発性記憶媒体と関連して動作し、図９のコンピュータシステムとの間でデータ及びコードを入出力する。一実施形態において、本発明を実現するためのシステムソフトウェアは、そのような携帯媒体の形態のプロセッサ可読媒体に格納され、携帯記憶媒体ドライブ９２２を介してコンピュータシステムに入力される。周辺装置９１８は、更なる機能性をコンピュータシステムに追加するために、入出力（Ｉ／Ｏ）インタフェース等の任意の種類のコンピュータ支援デバイスを含んでもよい。例えば、周辺装置９１８は、コンピュータシステムをネットワークにインタフェースするためのネットワークインタフェースカード、モデム等を含んでもよい。
【０１０１】
入力デバイス９２０は、ユーザインタフェースの一部を提供する。入力デバイス９２０は、英数字及び他のキー情報を入力するための英数字キーパッド、あるいはマウス、トラックボール、スタイラス又はカーソル方向キー等のポインティングデバイスを含んでもよい。文字情報及び図形情報を表示するため、図９のコンピュータシステムはグラフィックスサブシステム９２４及び出力表示装置９２６を含む。
【０１０２】
出力表示装置９２６は、ブラウン管（ＣＲＴ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）又は他の適切な表示装置を含んでもよい。グラフィックスサブシステム９２４は、文字情報及び図形情報を受信し、表示装置９２６に出力するために情報を処理する。出力表示装置９２６は、中間結果を報告するため、発見されたオブジェクトを表示するため、確認情報を表示するため及び／又はユーザインタフェースの一部である他の情報を表示するために使用可能である。図９のシステムは、マイクロホンを含むオーディオシステム９２８を更に含む。一実施形態において、オーディオシステム９２８は、マイクロホンから音声信号を受信するサウンドカードを含む。更に、図９のシステムは出力デバイス９３２を含む。適切な出力デバイスの例は、スピーカ、プリンタ等を含む。
【０１０３】
図９のコンピュータシステムに含まれる構成要素は、汎用コンピュータシステムにおいて通常見られる構成要素であり、当業界において周知であるそのようなコンピュータ構成要素の広範な種類を表すことを意図する。
【０１０４】
従って、図９のコンピュータシステムは、パーソナルコンピュータ、ワークステーション、ミニコンピュータ、メインフレームコンピュータ等である。コンピュータは、異なるバス構成、ネットワーク化プラットフォーム、マルチプロセッサプラットフォーム等を更に含むことができる。UNIX（登録商標）、Solaris、Linux、Windows（登録商標）、Macintosh OS及び他の適切なオペレーティングシステムを含む種々のオペレーティングシステムが使用可能である。
【０１０５】
上述の方法は自動的に実行可能である。画像によっては、画像処理ツール及びオブジェクト認識ツールが何らかの補正を必要とする場合がある。例えば、相関関数は２つ以上の位置において極大相関を示す。その場合、方法は、中間結果の確認又は適合、あるいは目視による最適な位置の選択を可能にする任意の検証動作及び手動適合動作を含む。これらの動作も、平面オブジェクトの検出の中間結果又は最終結果を受け入れるのに適している。
【０１０６】
更に、異なる時間インスタンスにおいて取り込まれる第１のソース画像及び第２のソース画像を使用することは、移動車両の背部のナンバープレート等の移動する平面オブジェクトが、本発明に係る方法により平面オブジェクトとして検出されることが殆どないという利点を有する。
【０１０７】
本発明は、地図データベースで使用するための平面道路情報を生成する方法に非常に適している。本発明に係る方法は、ソース画像内の領域を平面オブジェクトとして識別する。識別後、ソース画像内の識別されたオブジェクトの画素の領域又はソース画像全体は、ソース画像内の領域のx,y位置、並びにソース画像と関連する位置データ及び方位データと共に格納可能である。座標参照系における異なる場所で取得された２つのソース画像における平面オブジェクトの領域のx,y位置を前記画像と関連する位置データ及び方位データと共に使用することにより、座標参照系におけるオブジェクトの位置を判定できる。更に、オブジェクトの画像は、道路情報の種類を検出するために使用可能である。更に、光学文字認識（ＯＣＲ）又はインテリジェント文字認識（ＩＣＲ）ソフトウェアは、道路標識上の文字情報を検出するために使用可能である。この情報は、標識の位置情報と共にメモリに格納可能である。尚、位置情報は、必ずしも座標参照系における座標として表される必要はなく、例えば幹線道路上のある特定の分岐合流点に対する参照の形態をとってもよい。その場合、実際の位置と分岐合流点とのマッチングを実行する必要がある。これは、ソフトウェアにより又は手動で実行可能である。
【０１０８】
本発明の上述の詳細な説明は、例示及び説明のために与えられた。これは、全ての実施形態を含むこと又は本発明を開示される形態に限定することを意図せず、上記の教示を鑑みて多くの変更及び変形が可能であることは明らかである。説明された実施形態は、本発明の原理及びその実際の用途を最適に説明し、それによって他の当業者が、種々の実施形態において及び考えられる特定の使用に適した種々の変更を用いて本発明を最適に利用できるようにするために選択された。本発明の範囲は、添付の特許請求の範囲により定義されることが意図される。
【図１】
2010511212.tif 000015
【図３】
2010511212.tif 000016
【図４】
2010511212.tif 000017
【図７】
2010511212.tif 000018
【図８】
2010511212.tif 000019
【図１３】
2010511212.tif 000020
【図１４】
2010511212.tif 000021
【図１５】
2010511212.tif 000022
【図２ａ】
2010511212.tif 000023
【図２ｂ】
2010511212.tif 000024
【図５】
2010511212.tif 000025
【図６】
2010511212.tif 000026
【図９】
2010511212.tif 000027
【図１０】
2010511212.tif 000028
【図１１】
2010511212.tif 000029
【図１２】
2010511212.tif 000030
【国際調査報告】
2010511212.tif 000031
2010511212.tif 000032