(57)【要約】      （修正有）【課題】路上走行車両用のカメラ式位置認識システムにおいて、画像データ内の光学指標が妨害により完全に認識できない場合であっても、高い信頼性を以って機能し、また光学指標が汚れていたり、磨耗しているために画像データ内で最適に描像されない場合でも極めて堅牢であるカメラ式位置認識システムを提供する。【解決手段】車両の進行方向の環境がカメラにより得られる。取得した画像データを使用して、得られた画像データ内で識別された光学指標に関して当該環境下の車両の位置が決定される。位置の決定は、画像データに施されたテンプレート・マッチングに基づいて、光学指標に関してなされる。既存の座標系を認識するこのテンプレート・マッチングのパラメータ（例えば圧縮変形パラメータや回転パラメータ）から、光学指標に関する車両の位置を直接導くことができる。【選択図】      図１０
2005136946.tif 000002
【特許請求の範囲】
【請求項１】
路上走行車両用のカメラ式位置認識の方法であって、
カメラを用いて車両の進行方向の環境を検知し、
取得された画像データ内で識別された光学指標に基づいて、前記環境内における前記車両の位置を決定し、
このために環境座標系とカメラ座標系との関係に関する知識を参考にする方法であって、
前記画像データに施したテンプレート・マッチングに基づいて、前記光学指標に関して前記位置の決定が行なわれることを特徴とする方法。
【請求項２】
前記光学指標に関して前記車両の位置が得られ次第、少なくとも半自動的な車両誘導が起動され、該車両誘導の基本構成において、前記車両が前記光学指標に関して所定の位置で停止させられることを特徴とする方法。
【請求項３】
前記テンプレート・マッチングが、３次元座標空間で行われることを特徴とする請求項１に記載の方法。
【請求項４】
前記テンプレート・マッチングが、エッジ画像に基づいて行われることを特徴とする請求項１〜３のいずれか一項に記載の方法。
【請求項５】
テンプレートが、位置のリストとして保存されていて、それにより前記テンプレート・マッチングが、位置同士に対して行われることを特徴とする請求項１〜４のいずれか一項に記載の方法。
【請求項６】
個々の前記テンプレートのマッチングの実行に先立って、多数の異なるテンプレートから１個のテンプレートが選択されることを特徴とする請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記選択が、ＧＰＳ又は地図情報に基づいて行われることを特徴とする請求項６に記載の方法。
【請求項８】
前記テンプレート・マッチングの基本構成において、前記カメラ座標が、前記光学指標の画像データに合致した前記テンプレートの画像パラメータと、前記車両環境の座標との関係に基づいて計算され、前記カメラの向きが計算により段階的に変化させられ、各々の該変化について前記テンプレートの描像と前記光学指標の画像データとの対応関係の質が比較されることを特徴とする請求項１〜７のいずれか一項に記載の方法。
【請求項９】
請求項８に記載の方法において、前記対応関係の質を計算するために標準相関が、
【数１】
2005136946.tif 000010
に従い計算され、式中、総和は、テンプレートｗ（ｘ，ｙ）の描像と光学指標ｆ（ｘ，ｙ）の画像データとが重なる領域について計算され、前記テンプレートの描像の対応が、前記光学指標の前記画像データと最も良く対応する場合に、ｃ（ｓ，ｔ）の最大値が生じることを特徴とする方法。
【請求項１０】
前記標準相関の計算に先立って、前記画像データに対して距離変換が施され、引き続き該距離変換済みの画像と前記テンプレートの描像との標準相関が、
【数２】
2005136946.tif 000011
に従い計算され、前記、α、β、φ、Ｘ，Ｙ，Ｚは車両のピッチ、傾斜、及びロール角、並びにカメラの長手方向、横方向、及び高さ方向における姿勢であり、Ｔは環境座標系へのカメラ座標の変換、またＤｉｍはこれら画像データの距離変換の値を表わし、前記テンプレートの対応点に一致し、値ＤＳが最小値をとるのは、前記テンプレートの描像と前記光学指標の前記画像データとの対応関係が、最も高い合致を有する場合であることを特徴とする請求項８に記載の方法。
【請求項１１】
実際の前記最小値ＤＳを決定する際に、パウエル最小化を利用することを特徴とする請求項１０に記載の方法。
【請求項１２】
実際の前記最小値の推定値は、引き続きカルマン・フィルターの利用により改良されることを特徴とする請求項１０あるいは１１に記載の方法。
【請求項１３】
路上走行車両用のカメラ式位置認識のための装置であって、
車両の進行方向の環境を検知するカメラと、
前記環境内の光学指標に関して、前記車両の位置を決定するための物体認識を有する画像処理ユニットを含む装置であって、
前記画像処理ユニットが、前記位置を決定すべく、前記光学指標に対応するテンプレートが保存されているメモリ・ユニットと通信し、
前記画像処理ユニットが、テンプレート・マッチング用の手段にアクセス可能であり、前記手段を介してこれを前記メモリに保存されている画像データのテンプレートに重ね合わせ可能であることを特徴とする装置。
【請求項１４】
前記メモリ・ユニットに格納されている前記テンプレートが、３次元テンプレートであることを特徴とする請求項１３に記載の装置。
【請求項１５】
前記テンプレートが、前記光学指標のエッジ画像と実質的に一致することを特徴とする請求項１３あるいは１４に記載の装置。
【請求項１６】
前記テンプレートが、位置のリストとして編成されていて、それにより前記テンプレート・マッチングが位置同士に対して行われることを特徴とする請求項１３〜１５のいずれか一項に記載の装置。
【請求項１７】
多数の各種光学指標のテンプレートが、前記メモリ・ユニットに保存されていて、テンプレート・マッチング用に選択可能であることを特徴とする請求項１３〜１６のいずれか一項に記載の装置。
【請求項１８】
前記装置が位置決定用の装置、特にＧＰＳシステム又は地図ナビゲーション・システムと通信し、これを介してテンプレート・マッチング用の前記テンプレートの選択が制御されることを特徴とする請求項１７に記載の装置。
【請求項１９】
前記画像処理ユニットが、前記カメラにより取得された前記画像データに距離変換を施しうる手段、及び前記距離変換済みの画像と前記光学指標のテンプレートの描像との標準相関が、
【数３】
2005136946.tif 000012
に従い計算される手段を含むことを特徴とする請求項１３〜１８のいずれか一項に記載の装置。
【請求項２０】
前記画像処理ユニットが、実際の前記最小値ＤＳを決定するために、パウエル最小化のための装置を含むことを特徴とする請求項１９に記載の装置。
【請求項２１】
実際の前記最小値の推定値をさらに改良すべく、前記画像処理ユニットがカルマン・フィルターを含むことを特徴とする請求項１９あるいは２０に記載の装置。
【請求項２２】
バス停近辺にいる前記路上走行車両の位置認識及び／又は方向誘導を行なう、請求項１〜２１のいずれか一項に記載の方法又は装置の利用。
【請求項２３】
駐車領域近辺にいる前記路上走行車両の位置認識及び／又は駐車場や車庫への方向誘導を行なう、請求項１〜２２のいずれか一項に記載の方法又は装置の利用。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、請求項１及び１３の前文に従い、路上走行車両用のカメラ式位置認識に適した装置及び当該装置の動作に適した方法に関する。
【背景技術】
【０００２】
新型車両において、路上走行車両の運転の快適さを向上させ、車両運転者の負担を軽減すべく、自動又は半自動機能の利用が増えている。このように、例えば、後続する知的車両のシステムを用いて、車両運転者が先行車両との間隔を維持しやすくなり、あるいは、カメラ式交通標識認識システムを用いて、特に都心で、車両運転者が道路上又はその近辺の歩行者や車両に注意を集中しやすくなっている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
多くの日常の状況において、車両運転者は、自分の車両を特定の経路に沿って誘導し、例えば駐車場のような特定の場所に停止させる必要がある。このような状況における車両運転者を支援すべく、特許文献１には、行路誘導車両用のラインカメラ（水平方向走査カメラ）式システムが記載されている。同明細書で、車両は、光学指標として路面に設置された２本の平行な誘導線に沿って誘導される。車両の下にある車道は、移動方向に直交する走査カメラにより段階的に検知される。カメラ走査により得られた画像データは、各測定位置において移動方向に直交して現状の光輝度（光強度）輪郭を描く。２本の誘導線は、光輝度輪郭において顕著に特徴が現れるため、システムは２本のガイド線の中央に車両を寄せることで誘導が可能である。このことは、設置された２本の光学指標（誘導線）の描像が、光輝度輪郭の中央点から等間隔にその特徴が現れるように、車両を横方向へ寄せることにより実現される。車両を停止させたい位置で、光学指標である２本の誘導線の間の車道上に、更なる記号光学指標が設置されている。車両がこのような記号光学指標を通過し始めたならば、ラインカメラの各記録間隔毎に、記号指標（記号光学指標）に対する車両の位置に応じて光輝度輪郭の外観が変化する。車両を停止させたい位置において光輝度輪郭が明確かつ顕著なパターンを示すように、記号光学指標は設計される。しかしラインカメラによる光輝度輪郭の検知は、車道に設置された光学指標に付着した汚れや、光学指標の摩耗の影響を極めて受けやすい。さらに、車両の誘導について誘導線の利用を、動的な道路交通状況のもとで採用するには適していない。またさらに、光学指標は、車両がその上を通過し始めるまで検知されない。
【０００４】
特定の行路に制約されない路上走行車両用に、特許文献２では、車道に標識が付けられた駐車場への進入誘導用のカメラ式システムを記載している。同システムでは、駐車場は、原則として光学的に認識可能な線（指標）により左右を明確に規定されていて、車道に標識が付けられている事実を利用する。車両に組み込まれたカメラにより得られた画像データを用いて、光学指標（境界線）は、画像処理ユニットにおいて識別され、これらの光学指標の相対的な方向が測定される。これらの光学指標は平行な直線であるため、カメラ画像データ内では直線として描像（描写）される結果、カメラ画像のｘ軸及びｙ軸に関する角度方向を簡単な方法で決定することができる。
【０００５】
２本の直線区間の相互の角度関係及びそれらの間隔がわかれば、車両からの距離及び駐車場に対する車両の方向を幾何学的に簡単な方法で計算することができる。画像データは、車両運転者に対してカメラディスプレイ上に方向を示す矢印と重ねて表示され、車両を駐車場に入れるまでに寄せるべき距離と方向を示す。
【０００６】
上記を踏まえて、特許文献３及び特許文献４では、特許文献５から公知であってこれに基づく画像認識システムを用いて、駐車場への進入用に少なくとも半自動的な車両誘導を実現する可能性について記載しており、そこでは駐車に必要な車両行路が予め計算されている。しかし、位置認識用の画像データの評価には、角度の特徴が画像データから決定できる程度に、明確で視認可能な光学指標（境界線）が必要条件である。特に、位置の認識を正確に行なうためには、車両レーン上の光学指標の開始点が明確に認識可能なことが必要である。これはしかし、線標識に汚れが付着していたり、磨耗しているために実際には必ずしも可能ではない。さらに、駐車場へ進入する際に、付加的な検知支援手段が無い限り光学指標の開始点がカメラでは得られないため、自動的な位置の計算ができなくなる。
【０００７】
【特許文献１】日本国特許公開第２０００−２９５２４Ａ号明細書
【特許文献２】日本国特許公開第２００１−３４３２１２Ａ号明細書
【特許文献３】日本国特許公開第２００２−１７２９８８Ａ号明細書
【特許文献４】日本国特許公開第２００２−１７２９８９Ａ号明細書
【特許文献５】日本国特許公開第２００１−３４３２１２Ａ号明細書
【非特許文献１】Ｒ．Ｃ．ゴンザレス、Ｒ．Ｅ．ウッズ、デジタル画像処理、アディソン・ウエズレー出版、１９９２年。（Ｒ．Ｃ．Ｇｏｎｚａｌｅｓ、Ｒ．Ｅ．Ｗｏｏｄｓ、Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ、Ａｄｄｉｓｏｎ  Ｗｅｓｌｅｙ  Ｐｕｂｌ．Ｃｏｍｐａｎｙ、１９９２）
【非特許文献２】Ｒ．ロツフォ、Ｒ．ザンピローリ、数学的形態論に基づく高速多次元平行ユークリッド距離変換、コンピュータ・グラフィックス及び画像処理に関する第１４回ブラジル開催シンポジウムＳＩＢＧＲＡＰＩ２００１予稿集、Ｔ．ウー、Ｄ．ボルグ編、１００〜１０５ページ、ＩＥＥＥコンピュータ学会、２００１年（Ｒ．Ｌｏｔｕｆｏ、Ｒ．Ｚａｍｐｉｒｏｌｌｉ、Ｆａｓｔ  ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ  ｐａｒａｌｌｅｌ  Ｅｕｃｌｉｄｅａｎ  ｄｉｓｔａｎｃｅ  ｔｒａｎｓｆｏｒｍ  ｂａｓｅｄ  ｏｎ  ｍａｔｈｅｍａｔｉｃａｌ  ｍｏｒｐｈｏｌｏｇｙ、ｉｎ  Ｔ．Ｗｕ  ａｎｄ  Ｄ．Ｂｏｒｇｅｓ、ｅｄｉｔｏｒｓ、Ｐｒｏｃｃｅｅｄｉｎｇｓ  ｏｆ  ＳＩＢＧＲＡＰＩ  ２００１、ＸＩＶ  Ｂｒａｚｉｌｉａｎ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ  ａｎｄ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ、ｐａｇｅｓ１００−ｌ０５．ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ、２００１）
【非特許文献３】Ｓ．Ａ．テューコロスキー、Ｂ．Ｐ．フラナリー、Ｗ．Ｈ．プレス、Ｗ．Ｔ．ヴェッターリング、Ｃ＋＋における数値的取扱い、科学計算技術第１０章、第２版（Ｓ．Ａ．Ｔｅｕｋｏｌｓｋｙ、Ｂ．Ｐ．Ｆｌａｎｎｅｒｙ、Ｗ．Ｈ．Ｐｒｅｓｓ、Ｗ．Ｔ．Ｖｅｔｔｅｒｌｉｎｇ、Ｎｕｍｅｒｉｃａｌ  Ｒｅｃｉｐｅｓ  ｉｎ  Ｃ＋＋．Ｔｈｅ  ａｒｔ  ｏｆ  Ｓｃｉｅｎｔｉｆｉｃ  Ｃｏｍｐｕｔｉｎｇ、Ｃｈａｐｔｅｒ  １０、Ｓｅｃｏｎｄ  Ｅｄｉｔｉｏｎ）
【非特許文献４】Ｇ．ウェルチ、Ｇ．ビショップ、カルマン・フィルター入門、ノースカロライナ大学コンピュータサイエンス学科、チャペルヒル、ＴＲ９５−０４１（Ｇ．Ｗｅｌｃｈ、Ｇ．Ｂｉｓｈｏｐ、Ａｎ  Ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  ｔｈｅ  Ｋａｌｍａｎ  ＦＩｌｔｅｒ、Ｕｎｉｖｅｒｓｉｔｙ  ｏｆ  Ｎｏｒｔｈ  Ｃａｒｏｌｉｎａ  ａｔ  Ｃｈａｐｅｌ  Ｈｉｌｌ、Ｄｅｐａｒｔｍｅｎｔ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅ，ＴＲ  ９５−０４１）
【０００８】
従って本発明の課題は、一方で車両の自在な操作性を提供し、他方では認識対象である光学指標への遮蔽（妨害）に対して堅牢な、または光学指標の汚れや磨耗に耐性を有する、カメラ式道路車両用位置認識システムを見出すことである。
【０００９】
課題は、請求項１及び１３の特徴を有する、路上走行車両用のカメラ式位置認識装置及び方法により解決される。
【００１０】
本発明の有用な実施形態及び更なる改良は、従属請求項に見ることができる。
【課題を解決するための手段】
【００１１】
路上走行車両用の新規なカメラ式位置認識システムにおいて、車両進行方向の環境がカメラにより得られる。取得した画像データを用いて、得られたこの画像データ内で識別された光学指標に関して、当該環境下の車両の位置が決定される。位置決定のために、光学指標の環境座標系とカメラ座標系との間の関係に関する知識を利用する。簡素化された方法により、位置決定は、画像データに施されたテンプレート・マッチングに基づいて、上記光学指標に関してなされる。このために、メモリに保存されたテンプレート又は光学指標と、車両の環境についての画像データ内で識別された光学指標との重ね合わせ（テンプレート・マッチング）が行なわれる。既存の座標系を認識するこのテンプレート・マッチングのパラメータ（例えば圧縮変形パラメータや回転パラメータ）から、光学指標に対して車両の位置を直接導くことができる。本発明が取り組む課題にテンプレート・マッチングを適用することにより、画像データ内の光学指標が被覆（例えば車両自身が指標の上を通過することによる遮断、他の交通主体による一時的な妨害）により完全に認識できない場合であっても、この方法が高い信頼性を以って機能する事実に利点がある。テンプレート・マッチングはまた、汚れの付着や磨耗により光学指標が画像データ内で最適に描像されない場合に特に堅牢性を発揮する。
【００１２】
以下において、本発明を実施形態及び図面に基づいてさらに詳しく記載する。
【発明を実施するための最良の形態】
【００１３】
特に好適な方法では、光学指標に関する車両の位置についての認識（知識）に基づいて、少なくとも半自動的な車両誘導が起動される。本車両誘導の基本構成において、この車両は、例えば光学指標に関する所定の位置で停止させられる。また、光学指標に関して規定された位置から始めて、例えば車道上の案内標識がある場合には、車両を車道上に規定された仕方で誘導したり、あるいは交通信号に関連付けられた停止線を認識した場合には、赤信号における理想的な制動シーケンスを用いて車両を停止させることも考えられる。
【００１４】
特に有用な方法により、テンプレート・マッチングが３次元座標空間で生じるように本発明を設計することができる。これにより、路上走行車両の位置を計算する際の基礎となる光学指標を車道上の２次元光学指標に限定する必要がなくなる。従って、カメラ式位置認識の光学指標として、既存の３次元物体を利用することが可能になる。さらに、車道又は路面以外の空間位置に、適切な２次元光学指標を設置することが可能になる。このように、より好条件の、特に汚れや磨耗から保護される位置に、光学指標を設置することが可能である。例えば、車庫内の車両を自動的にナビゲーションすべく、光学指標を車庫内部の前面壁に設置することが考えられる。また、車列を組む場合には、先行車両の画像データから３次元テンプレートを導くことにより、車両は、本発明を用いて、この先行車両に所定の間隔と並びとを保って追随することも考慮できる。
【００１５】
特に、気象の影響を受けやすい光学指標の場合、カメラ画像内の画像の特徴は、実際の気象条件（乾燥又は湿気）に大きく依存する。テンプレート・マッチングの信頼性は、カメラ画像データとテンプレートとの重ね合わせが、エッジ又は境界画像（カメラ画像データとテンプレートとの両方）に基づいて実行された場合に、特に増大し得ることが分かっている。この場合、テンプレート・マッチングに先立って、カメラ画像データにエッジ抽出を施す必要がある。
【００１６】
さらに、テンプレート・マッチングの堅牢性は、光学的信号のテンプレートをエッジ画像としてではなく、個々の位置に基づいて、すなわち位置のリストとして記録及び処理することによっても向上させることができる。
【００１７】
これにより、光学指標の輪郭が途切れ途切れに、又は弱いコントラストでしか現れない画像データでも、テンプレート・マッチングを用いて堅牢に処理することが可能になる。そのようなテンプレートの表示の一つによっても、システムを学習段階において構築する間に、サンプルとして記録された画像データから直接に画像データを再構築することが可能になる。このために、カメラシステムにより生成された画像データから、光学指標の各画像データの各座標系について逆計算することにより、テンプレートの位置（点、座標点）リスト内で直接位置を割り当てるだけでよい。画像データ内での描像が不十分な光学指標は、位置リストの基本構成にテンプレートとして有効に記録することができるため、位置リストは、恐らく改良又は場合により更なる画像データにより修正可能である。
【実施例】
【００１８】
以下に、システム化された誘導を用いて、バスをバス停へ近づける例を通じて、本発明についてさらに詳しく述べる。一方で特に車両のタイヤの損傷を防ぎ、他方でバス乗客の乗り心地を増すために、理想的な車両行路及び制動方法によりバス停へ接近するという点で、正確な位置推定が極めて重要である。ここでは、本発明による路上走行車両用のカメラ式位置認識システムは、乗合バスがバス停へ接近する際の誘導を自動的に行なうべく設計されている。ここでは、バスの位置は、道路標識、停止線、またはその他バス停に典型的なパターンの光学指標が設置されている車両環境の座標系（ワールド座標系）に関して、連続的に推定される。ここで位置認識は、乗合バスの環境を検知（取得）するカメラの画像データに基づいて行なわれ、画像データはバス停のモデル（テンプレート）と比較（マッチング）される。位置推定は、バス停における典型的な標識が従来は直線を含んでいないために、特に簡単でない。図１に、２個の典型的なレーン標識がバス停の近辺で発見された状態を示す。図１ａに、バスが停止するつもりで接近するバス停位置の近辺の路面に最も一般的に適用される単語「ＢＵＳ」で光学指標を示す。図１ｂに、バス停への典型的な進入路の画像データを示す。ここに、右側前景に光学指標として曲線が見え、一般車道からバス停の近辺でバス用に予約されている車道へ通じている。この車道と一般の車道との間の境界は、画像の中央下方に見ることができ、比較的幅広い遮断された直線の形式のまたは線分としての光学指標から成る。図１から、カメラ式位置認識システムが機能している場合には、バス停における位置認識の際に、乗合バスの位置に応じてメモリに保存された多数の各種テンプレートのうちの１個を選択する方が有利であることがわかる。図２ａ、ｂにおいて、通常は、バス停（図１参照）の近辺で見られる２個の光学指標に対応する２個のテンプレートが描像又はマッピングされる。
【００１９】
バス停近辺では乗合バスの位置に応じて各種の光学指標を考慮に入れる必要があるため（図１ａ又は図１ｂ）、カメラ式位置推定装置（カメラ式位置認識装置）では、多数のテンプレートのうち特定の１個を選択する手段が、ＧＰＳシステムや地図情報システムにアクセス可能なナビゲーション・システムと通信することは、特に好ましい。このように、テンプレート・マッチングの準備段階で、カメラにより取得された車両環境の画像データの中に、どの光学指標が見出されるかを予測することができる。しかし、このような最新のナビゲーション又は地図情報が利用できない場合、テンプレートのうちの１個が、対応する光学指標にフィット（合致）するまで、利用可能な各種のテンプレートとテンプレート・マッチングを試行することもまた可能である。このような逐次選択方法は、予めある知識を利用することにより短縮できる点も好適である。このように、一旦バス停への進入路（図１ｂ参照）を通過したならば、その直後に「ＢＵＳ」指標（図１ａ参照）の画像データが現れることは明らかである。
【００２０】
人工的に作成されたテンプレート（例えばＣＡＤモデル）を利用するのではなく、カメラ式位置認識装置の実物画像データから直接テンプレートを作成ことが、特に好ましい。このために、記録された画像内に存在するワールド座標系（車両環境の座標系）に対するカメラ座標系の関係に関する知識で以って、画像データ内の個々の画像位置を、テンプレートの位置リスト内の個々の位置へ遡るよう逆計算する必要がある。その場合、画像データを手作業で処理する可能性があり、光学指標を表わす画像データは、手作業で選ばれる。他方、充分なコンピュータ能力が利用できる場合は特に、画像データから適切な光学指標を自動的に選択して、これらの光学指標を「オンライン」で、すなわちシステムが実際に動作（例えば追尾すべき先行車両の描像）している間に、テンプレートに変換することも同様に考えられる。
【００２１】
現実世界の画像データからのテンプレートの作成は、当業者には逆変換として公知の手順（非特許文献１）で行なわれる。
【００２２】
逆変換を説明するために、以下に必要な式の例を、光学指標がｘ−ｚ平面にあって、ｙ平面（ｙ＝０）へは伸長しないとの仮定に基づいて単純化した形式で示す。
【数１】
2005136946.tif 000003
式中、ｗはワールド座標系、ｉはカメラ座標系、ｉｃはカメラ座標系の中心点を示す。ｆはカメラの焦点幅に対応し、Ｓｘ、Ｓｙは各々カメラ・チップの水平方向ピクセル・サイズ及び垂直方向ピクセル・サイズを示し、ｈはカメラの高さを表わし、φはカメラのヨー角を、αはピッチ角を表わす。
【００２３】
図３に、各式の前提となる基本的幾何学関係を示す。実際には、乗合バスの場合は車輪幅が広いために、ピッチ角α及び高さｈは、一定であると仮定できる。ロール角及びヨー角φは、ゼロであると推定できる。図４に、画像データ（図１ａに対応する）のこのような逆変換により得られた３次元テンプレートを示す。
【００２４】
テンプレート・マッチングの基本構成において、カメラ座標は、光学指標に適合されたテンプレートの画像データの画像パラメータと、車両環境の座標との間の関係から計算される。このために、コンピュータを用いて、段階的にカメラの向きを変えて、各変化についてテンプレートの描像と光学指標の画像データとの対応度の性質を比較する。説明のため、図５ａ〜図５ｄにこのような変化の過程を示す。図４から既知のテンプレートは、異なるカメラ座標を想定して、図１ａからの画像データをその上に複数回重ね合わせたものであり、図５ｄで想定されたカメラ座標において光学的重ね合わせが得られた（「最適フィット」）。図５ｄで想定されたカメラ座標との関係において、図５ａは、カメラがｘ軸方向へ０．５ｍ移動したことを表わし、図５ｂは、ｙ軸方向へ０．５ｍ移動したことを、また図５ｃは、ピッチ角ｂが１°ずれていることを表わす。想定されたカメラ座標のわずかな変動さえも、大きなミスマッチ（画像データとその上に射影されたテンプレートとの間の対応欠如）を生じることが分かる。一方でこのことは、良好な合致（マッチ）がある場合にはカメラ座標の推定が極めて正確に行なえることを示す。
【００２５】
移動と回転によるワールド座標系（環境の座標系又はこの場合には光学指標）からカメラ座標系への変換に続いて、図５に示す重ね合わせのための射影が、次式に従って簡素化される。
【数２】
2005136946.tif 000004
【００２６】
テンプレートと画像データとの最適フィットを決定するために、次式に従う標準相関（基準となる相関、Standardkorrelation）の基本構成への正確な対応（適合）を好適な方法で実現することが、本発明の考慮の範囲に含まれる。
【数３】
2005136946.tif 000005
【００２７】
式中、総和は、テンプレートｗ（ｘ，ｙ）の描像と光学指標ｆ（ｘ，ｙ）の画像データとが重なる領域について計算される。このために、テンプレートの描像の対応が、光学指標の画像データと最も良く対応する場合に、ｃ（ｓ，ｔ）の最大値が生じる。そのような計算方法の一つが、グレイスケール画像の処理に特に有用であることがわかっている。しかし、エッジ画像を処理する場合、この計算方法は、特に「最適フィット」を得るにはあまり強力でない。「最適フィット」が見出されるのは、テンプレートが、光学指標を表わすエッジ画像の断片と、サイズ及び向きにおいて正確に対応する場合のみである。
【００２８】
この理由により、エッジ画像を処理する際に、テンプレート・マッチング、この場合には「最適フィット」の検索に先立って、エッジ画像を距離変換にかけることが考えられる（非特許文献２）。距離変換の結果得られた画像は、画像点の各値がこの画像点から最も近くにあるエッジへの距離を表わすような画像である。１個のエッジの画像点には値０が付与されている一方、最も遠い点（位置）には所定の最大値が割り当てられている。図６に、２次元距離（透視）画像（線）内の値の分布の例を示す。距離画像の生成において、基本的に３段階の処理ステップが実行される。最初に、カメラにより提供された画像データからエッジ画像が生成される。次いで、各々の画像点について、最も近くにあるエッジまでの距離が決定される（エッジの画像点には値０が割り当てられる）。最後に、全ての画像点に対し、元の画像情報に代えて上で決定された値が割り当てられる。図７に、距離（透視）画像の例を、図１ａに示す画像データから計算されたグレー値として示す。この距離（透視）画像において、画像点が明るいほど、その画像点はエッジから遠くにある。
【００２９】
次いで首尾よく距離画像にテンプレート・マッチングが生じた場合、好適には、距離変換画像のテンプレート描像に対する標準相関（基準となる相関）は次式で計算される。
【数４】
2005136946.tif 000006
【００３０】
式中、α、β、φ、Ｘ，Ｙ，Ｚはそれぞれ、車両のピッチ、ロール、及びヨー角、並びにカメラの長手方向、横方向、及び高さ方向における姿勢である。Ｔは、環境座標系へのカメラ座標の変換、またＤｉｍはこれら画像データの距離変換の値を表わし、テンプレートの対応点に一致する。値ＤＳが最小値をとるのは、テンプレートの描像と光学指標の画像データとの対応関係（適合度）が最も高い合致（「最適フィット」）を有する場合である。図８に、テンプレート・マッチングにおける上述の好適な処理を、再度フロー図の形式で示す。カメラ座標及びこれに付随する路上走行車両の位置は、２個の連続する処理ステップで特に効果的に決定することができる。第一のステップにおいて、テンプレートの描像パラメータは、大きな刻み幅で変えられる結果、第一の粗い評価を比較的迅速に決定することができる。この処理ステップは、カメラの高さと傾斜角とが考慮されないか、又は変動しない場合、さらに加速できる。特に、本発明が乗合バス等、動きが鈍重な車両で使用される場合、ピッチ角も変数から除外することができる。
【００３１】
粗い検索ステップに続く洗練された検索ステップにおいて、値の範囲は、先に粗く決定された推定値よりも狭く限定される。ここに、好適な方法において反復的なステップで、パラメータ変動の刻み幅を段階的に減らすことができる。この２段階処理により、２〜３回繰り返せば良い結果が既に得られることが経験的にわかっている。
【００３２】
この結果は、好適な方法によりパウエル最小化（パウエル法による関数の最小化）アルゴリズムを適用することにより、さらに改良することができる（非特許文献３）。このアルゴリズムは、関数の最小値の決定を探索するものであり、従って、この関数の微分は必要とせず、むしろ望ましい開始座標があれば満足される。パウエル最小化の基本的な考えは、３次元空間における最小値の探索を、２次元空間における最小値の多数の検索に再分割することである。このアルゴリズムは、一組のベクトル、通常は単位ベクトルを以って開始される。最小化方法は、開始点から始めて、これらのベクトルの一つに沿って最小値に行き当たるまで実行される。そこから、再び最小値が現れるまで、次のベクトルの方向へ実行される。この処理は、例えば実行すべき反復回数や変化が最小になった等、所定の条件に到達するまで非常に長期間続けられる。パウエル最小化の意味や重要性は、最小値探索が自動的である点に見られる。本発明によるカメラ式位置決定の基本構成にパウエル最小化を採用するのに際し、（上述の）粗い反復探索で見出された最適化されたカメラ座標が、開始点として機能する。カメラ座標は一般に、画像間ではほとんど変化しないため、画像シーケンスを処理するために、直近のパウエル最小値が、新規のパウエル最小値の開始点として常に最適決定されたカメラ座標として採用される。この実行方式により、個々の画像を探索するコンピュータによる膨大な量の反復的な粗と密の探索（粗い探索と精密な探索）が節約される。パウエル最小化の効果をより良く理解するために、図９を参照されたい。図９に、バス停の近辺にいる乗合バスにおける本発明のカメラ式位置推定の実施例で典型的に生じる画像シーケンスに関して、パウエル最小化の結果を示す。４１個の画像の画像シーケンスについて、乗合バスから光学指標への推定（縦の、長手方向の）距離（点線）、及び乗合バスのピッチ角（実線）を示す。図において、画像シーケンス内の１２番目の画像の前後の距離が予想外の値であることを示す。しかし、ピッチ角を表わす曲線を見るに飛躍が観察され、これらの画像データを処理中に、推定誤りが発生したことが明らかである。さらに、推定された（見積もられた）カメラ座標を時間経過に伴って観察（追跡）し、それらを互いに関連して配置する（認識する）ことに特に利点があることが分かる。その理由は、前後の距離及びピッチ角の推定における誤りは、１個の単眼画像だけから認識するのが困難なためである。
【００３３】
特に好適な方法において、画像シーケンスを連続的に観察している間に、個々のパウエル最小化の結果にカルマン・フィルターを施したならば、パウエル最小化の結果（生成物）をさらに改良することができる（非特許文献４）。特に本発明のカメラ式位置認識に適したカルマン・フィルターの設計に際して、システム全体に５個の自由度が考慮されている。これらは、前後の距離（Ｚ）、速度（Ｖ）、ヨー角（φ）、ピッチ角（α）、及び横方向の移動（Ｘ）である。これらの自由度を考慮すれば、以下のフィルターモデルが得られる。
【数５】
2005136946.tif 000007
【００３４】
以下に、計算に必要な式を示す。近接した透視射影であるため、各式は非線型である。従って、本発明の実施形態において、カルマン・フィルターの拡張形式及び方程式系のヤコビ行列の形式を採用する必要がある。
【数６】
2005136946.tif 000008
式中、Ｘｃ、Ｙｃ及びＺｃは、光学指標（ワールド座標系）の座標Ｘｗ、Ｙｗ、及びＺｗがカメラ座標系に変換されたものであり、次式で与えられる。
【数７】
2005136946.tif 000009
【００３５】
図１１において、パウエル最小化により決定された長手方向の距離（二点鎖線）と、上述のカルマン・フィルタリングにより改良された推定値（実線）を比較している。カルマン・フィルタリングの結果、長手方向の距離が、非常に柔軟かつ安定的に遷移しており、同時にバス乗客の現実の嗜好を最も良く近似している。図９の曲線に明らかに見えていた画像１２における誤りが、もはや現われないことにも注意されたい。他方、画像素材が同一であるにもかかわらず、パウエル最小化を用いた新たな計算（二点鎖線）では生じない。この現象は、この通過におけるパウエル最小化による推定において、開始点が異なっていたことに帰着する。
【００３６】
パウエル最小化アルゴリズムを利用することの代替手段として、良い推定値がある場合において、モデルとエッジ画像との間で対応する画像点のパラメータを、直接カルマン・フィルターに提供することも容易に想起できる。このために、カルマン・フィルターは、パウエル最小化と関連して上述のような設計及びパラメータ化に特に適している。
【００３７】
結論として、上述の詳細な議論を図１２に要約した形式で表わし、テンプレート・マッチング及び追跡の全体をフロー図として示す。図１３に、この方法の利用例を示す。ここで、図２ａに示したテンプレートは、バス停へ進入する間に検知された一連の画像データに逐次重ね合わされた。これら４個の画像データ例のシーケンスを通じて、カメラと光学指標との間の長手方向（前後）の距離が各々２メートルを超えて変化したにもかかわらず、バス停へ進入する全行程の間、テンプレート・マッチングの結果は、欠陥の無い重ね合わせを示した。逆に、このようにして乗合バスの位置を画像パラメータから非常に良い精度を以って推定することができた。
【００３８】
無論、本発明は特に、バスのバス停への進入に限定されてはおらず、むしろ駐車場、車庫その他の車両停止場所に駐車する間の支援に、好適に利用することができる。本発明のこのような好適な実施形態において、適切な駐車場にふさわしい光学指標を提供することができる。このために、光学指標は必ずしも路面、又は場合により駐車場や車庫の床に設置されている必要はなく、むしろ、ある場合には駐車場の壁（車庫の壁）面に適切な光学指標を提供することも考えられる。本発明の好適な方法により、その画像データが３次元画像データと比較（マッチング）される３次元光学指標を用いる可能性を示すため、専用の光学指標を提供するのではなく、既存の適切な構造的特徴を利用すべきであると考えられる。
【図面の簡単な説明】
【００３９】
【図１】バス停付近の２個の典型的な道路標識を示す。
【図２】図１に示す車両レーン標識の画像から抽出されたテンプレートを示す。
【図３】計算の基礎をなす幾何学的関係を示す。
【図４】点リストからなる平面（車道）への３次元テンプレートの射影の例を示す。
【図５】カメラの向きパラメータの変化がテンプレート及び画像データの重ね合わせに及ぼす影響を示す。
【図６】２次元距離（透視）画像の例を示す。
【図７】図１ａに代表される画像データの距離（透視）画像を示す。
【図８】検知の基本構成における一連の動作をフロー図として示す。
【図９】一連の画像にわたるパウエル最小化の結果を示す。
【図１０】カルマン・フィルターを用いて長方形が追跡用のテンプレートに外接している、画像データに重ね合わされたテンプレートを示す。
【図１１】カルマン・フィルターによるパウエル最小化の最適化を示す。
【図１２】マッチング及び追跡方法を記載したフロー図を示す。
【図１３】同一の位置標識に関するさまざまなカメラ方向に基づく方法の堅牢性を示す。
【符号の説明】
【００４０】
α  ピッチ角
β  ロール角
φ  ヨー角、ロール角
ｈ  カメラの高さ
ｗ  ワールド座標系
ｉ  カメラ座標系
ｉｃ  カメラ座標系の中心点
ｆ  カメラの焦点幅
Ｓｘ  カメラ・チップの水平方向ピクセル・サイズ
Ｓｙ  カメラ・チップの垂直方向ピクセル・サイズ
【図１ａ】
2005136946.tif 000013
【図１ｂ】
2005136946.tif 000014
【図２ａ】
2005136946.tif 000015
【図２ｂ】
2005136946.tif 000016
【図３】
2005136946.tif 000017
【図４】
2005136946.tif 000018
【図５ａ】
2005136946.tif 000019
【図５ｂ】
2005136946.tif 000020
【図５ｃ】
2005136946.tif 000021
【図５ｄ】
2005136946.tif 000022
【図６】
2005136946.tif 000023
【図７】
2005136946.tif 000024
【図８】
2005136946.tif 000025
【図９】
2005136946.tif 000026
【図１０】
2005136946.tif 000027
【図１１】
2005136946.tif 000028
【図１２】
2005136946.tif 000029
【図１３ａ】
2005136946.tif 000030
【図１３ｂ】
2005136946.tif 000031
【図１３ｃ】
2005136946.tif 000032
【図１３ｄ】
2005136946.tif 000033
【外国語明細書】
2005136946000001.pdf
2005136946000002.pdf
2005136946000003.pdf
2005136946000004.pdf