(57)【要約】本発明は、自動車における画像認識のための方法に関し、それによって物体から発している電磁波が、その方向および強度に関して少なくとも１台のセンサによって検出され、評価されて画像行列に転写される。物体のそのままの元画像および車台で反射された物体からの追加の反射波（以下では鏡像と呼ぶ）が、センサによって記録される。鏡像および元画像は評価のために選択され、それによって第一にセンサに対する車台の反射面の位置および幾何構成が決定される。【選択図】図１
2004522956.tif 000002
【特許請求の範囲】
【請求項１】
ステレオ画像処理に基づく画像認識方法であって、物体から発する電磁波がその強度およびその方向の両方に関して少なくとも１台のセンサによって受信され、評価され、画像行列に転写され、
前記センサに対する反射面の位置、配向、幾何構成が決定され、
前記物体の乱されていない元画像が前記センサによって受信され、
さらに、前記反射面から反射される前記物体からの反射波（以下、鏡像と呼ぶ）が、受信され、
前記鏡像および前記元画像が評価のために用いられることと、を特徴とする方法。
【請求項２】
前記反射面のエピポーラが決定され、
前記エピポーラにおける反射が、既知の幾何構成を有すると共に既知の距離にある較正物体を用いて受信され、
較正関数がこの反射から生成され、
前記較正関数が評価のために用いられること、を特徴とする請求項１に記載の方法。
【請求項３】
前記エピポーラに対する前記鏡像の位置が決定され、前記鏡像の位置が前記物体までの距離を決定するために用いられること、を特徴とする請求項２に記載の方法。
【請求項４】
ステレオカメラ、特にステレオＣＣＤカメラが、前記センサとして選択されることを特徴とする請求項１に記載の方法。
【請求項５】
カメラが前記センサとして選択され、前記物体の元画像のほか、前記反射面における反射がカメラを用いて記録され、既知の幾何構成であり、好ましくは球面であり、前記カメラから既知の距離に配置される反射面における反射が、前記カメラによって参照画像として記録されることと、を特徴とする請求項１に記載の方法。
【請求項６】
物体の元画像が決定され、物体の鏡像から個別に評価され、対応する画像点または詳細が、完全に処理された元画像および対応する処理済みの鏡像との間で決定されることと、を特徴とする請求項１に記載の方法。
【請求項７】
前記物体までの距離を決定するために、三角測量が対応する画像点または画像面によって実行されることを特徴とする請求項１に記載の方法。
【請求項８】
前記物体に対する角度を決定するために、三角測量が対応する画像点または画像面によって実行されることを特徴とする請求項１に記載の方法。
【請求項９】
前記物体の位置を決定するために、三角測量が対応する画像点または画像面によって実行されることを特徴とする請求項１に記載の方法。
【請求項１０】
前記電磁波の測定範囲が、紫外線から遠赤外線（ＦＩＲ）までの範囲、特に紫外線と遠赤外線との間から選択されることを特徴とする請求項１に記載の方法。
【請求項１１】
自動車における請求項１〜１０のいずれか一項に記載の方法の使用。
【請求項１２】
前記反射面が車体の一部によって形成されることを特徴とする請求項１１に記載の使用。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ画像処理に基づく画像認識のための方法に関し、当業界、特に乗用車業界において用いられるように、物体から発する電磁波が、その強度およびその方向の両方に関して、少なくとも１台のセンサによって受信され、評価され、画像行列に転写される。
【背景技術】
【０００２】
物体までの距離を測定するための方法および装置は、非特許文献１なる論文から公知であり、カメラが物体の元画像のほか、２枚の反射面で反射された物体の２枚の鏡像を記録する。その後、これらの３枚の画像を用いて、数学的アルゴリズムにより、物体までの距離を決定することができる。この方法では、反射面が特定の幾何構成を有することが不可欠である。また、反射面の物理的位置および配向が既知であり、カメラおよび互いに対する距離および角度の両方に関して常に同一なままであることが不可欠である。このような装置および関連する方法は、いずれにしても、自動車、この場合には具体的には乗用車に用いるために制限された範囲にのみ適している。
【０００３】
さらに、具体的に言えば、コンピュータおよびロボット工学の分野において、方法（ステレオ画像処理）が公知であり、物体までの距離が２台のカメラの助けによって決定される。この場合には、基線、すなわちカメラ間の距離が、測定の精度に影響を及ぼす。この観点から言えば、可能である限り長い基線を用いることが望ましいと考えられるが、これは、自動車では厳しい制限内に限り可能である。さらに、物体までの距離を決定することを可能にするために、物体は、左画像および右画像において一意に識別されなければならない。この対応関係が正確に見つけられる確率をマッチングと呼ぶが、基線が長くなり、視野角における差が長くなると、減少する。したがって、測定精度とマッチング確率との間には相殺関係が成り立っている。
【０００４】
さらに、繰り返しパターンに関する問題は、２カメラステレオの場合に生じる。２台のカメラを用いた場合、特にパターンの一部が他の物体によって一方のカメラから隠されている場合には、横木フェンス、１本の木または地形は不正確なマッチングを生じるため、不正確な物体距離となる。隠れている状態はさまざまな異なる物体によって生じる。たとえば、自動車で用いる場合には、これは、接近中の自動車またはワイパーであってもよく、１台のカメラの視野を瞬間的に隠す。
【０００５】
【非特許文献１】
ネイヤ・Ｓ・Ｋ（Ｎａｙｅｒ  Ｓ．Ｋ．）著、Ｓｐｈｅｒｅｏ：Ｄｅｔｅｒｍｉｎｉｎｇ  Ｄｅｐｔｈ  ｕｓｉｎｇ  Ｔｗｏ  Ｓｐｅｃｕｌａｒ  Ｓｐｈｅｒｅｓ  ａｎｄ  ａ  Ｓｉｎｇｌｅ  Ｃａｍｅｒａ，Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＳＰＩＥ：Ｏｐｔｉｃｓ，Ｉｌｌｕｍｉｎａｔｉｏｎ，ａｎｄ  Ｉｍａｇｅ  Ｓｅｎｓｉｎｇ  ｆｏｒ  Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ  ＩＩＩ，Ｖｏｌ．１００５，ＳＰＩＥ，Ｓｏｃｉｅｔｙ  ｏｆ  Ｐｈｏｔｏ−Ｏｐｔｉｃａｌ  Ｅｎｇｉｎｅｅｒｉｎｇ，２４５−２５４
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、距離の測定方法を提供することであり、可能な限り少ないコストで上述した欠点の少なくとも一部を低減し、具体的には克服することである。
【課題を解決するための手段】
【０００７】
本目的は、請求項１に記載のステップを有する方法によって実現される。本発明の主題の好都合な特性および操作方法については、一例として自動車において、本発明に基づく方法に照らして詳細に説明する。具体的には、高品質の塗装面を有するエンジンフードは自動車における鏡と効果的に見なすことができるため、エンジンフードにおける物体の反射を参照として考えることが可能である。この効果は、この場合には、直接観察することができる物体を異なる視野角から直接指す別のカメラの使用と比較することができることである。考慮対象の物体に鏡像を直接関連付けることができる。このような反射は、具体的には天文学から公知である数学的アルゴリズムによって正確な遠近感で再構成されることができる。したがって、ハードウェアをさらに複雑にすることなく、具体的にはモデルに基づく計算のみによって、ステレオカメラに関する問題を最小限に抑えるか、または解消することが可能である。１台のカメラ用途において生じる他の問題を支援するために、適切な形態においては、ステレオ画像処理は、１台のカメラによって実行されることができる。たとえば、エンジンフード上の埃によって再構成の見込みが制限される。しかし、画質が処理の実行を可能にするのであれば、ステレオ計算もまた１台のカメラを用いて実行されることができ、繰り返しパターンを選ぶための選択的マッチング仮説のための解も可能となるため、ステレオ画像処理の問題を解決することができる。しかし、エンジンフードの反射による画像は、完全に再構成することができず、斜視図の形態で局所的に再構成できるにすぎない。エンジンフードが球面部分と類似の面を有する場合にのみ、完全な再構成が可能となる。このような面は、局所的に近似させることができる。この制限にもかかわらず、本発明による物体の関連付けの機能性まで拡張することにより、距離決定の信頼性を著しく改良することができる。
【０００８】
さらに価値のある改良点は、従属請求項に示される。さらに、本発明は、図面に示された例示的実施形態に基づいて説明するものとする。
【発明を実施するための最良の形態】
【０００９】
図１は、カメラの目において、具体的にはステレオカメラにおいて、自動車用に本発明による方法を用いた場合に生じるようなビーム経路を概略的に示した側面図を示している。点Ｂ、Ａは２つの物体を表しており、物体Ａは物体Ｂによって少なくとも部分的に隠されている状態、すなわちＡからの光波の元画像は見ているカメラに関してビームと同一線に沿って置かれている状態である。エンジンフードに対するカメラの位置および配向は固定されているため、このカメラによって観測されることができるように、これは、物体Ａ、Ｂの鏡像では異なる位置に生じる。エンジンフードの幾何構成が既知である場合、たとえば、物体Ｂと修正した画像の比較によって、少なくとも全体に歪められた鏡像Ｂ’を識別することができる。この識別プロセスは同様に、測定技術を用いて、物体Ｂによって少なくとも部分的に隠されている物体Ａを物体Ｂから分離することを可能にする。この分離可能性およびカメラと鏡像Ａ’、Ｂ’との距離の知識のほか、カメラに対する鏡像の角度位置および配向によっても、ＡとＢとの距離を算出することを可能にする。
【００１０】
既に述べたように、画像処理の場合には歪められた画像を表示するための方法を用いる価値がある。画像の歪みが故意に用いられる１つの方法としては、たとえば補正光学における歪像およびフィルム技術が挙げられる。２つの主要部分における異なる値を有する各光学系は、歪像であると呼ばれる。これは、誤差が１つの経線にのみ存在する場合に、非点収差を補正するために一般に用いられる。
【００１１】
画像の再構成には、多数の方法を用いることができ、その一部については本願明細書に記載する。画像の再構成に関するさまざまな仮定をたてることは好都合であり、これらについては以下の本文に記載する。
１．エンジンフードは鏡面反射体である。
反射において鏡面成分と拡散成分とを区別することができる。コンピュータグラフィックスのモデル化および投影されている影からの形状の決定の場合には、反射される放射線の方向性分布は、観測者、面、光源の相対的な位置に左右される。この分布は、ＢＲＤＦ（双方向反射分布関数）モデルと呼ばれる分布によって表される。これらの関数は、さまざまな反射モデルに関して展開されている。滑らかで光沢のある塗装のエンジンフードは自動車の最も十分に塗装がなされた部分の１つであり、マイクロメートルのレンジでのみ粗さのレベルを有するため、鏡面反射体と見なすことができる。この状況から、画像形成がビーム光学素子によって実行されることができる。
２．カメラは、遠近のあるピンホールカメラである。
用いられる技術的処置およびカメラにより、遠近のある画像形成を実現することができる。実際には、光の減衰のためにピンホールカメラを便宜上用いるべきではない。しかし、用いられる系をピンホールカメラと見なすために、レンズ誤差を補正することができる。
３．画像は、１つの平面に再構成される。
これは、人間の正確な遠近感に対応し、用いられるピンホールカメラと関連付けられる再構成面である。
４．鏡とカメラとの間の領域には、物体は存在しない。
任意の物体がこの領域に配置されている場合には、適切な画像処理ステップによって反射からこれらの物体を識別する必要があると考えられる。意図する用途に関して分かっているように、かつ問題を克服するために、対応する画像領域には反射のみを見ることができると仮定することが好都合にも可能である。
５．再構成は、エンジンフードの中央の凹面領域に限定される。
最も強い歪みはエンジンフードの凸面領域に生じるため、これらの領域における再構成はきわめて複雑である。したがって、車両の前方およびエンジンフードの凹面中央領域のみが再構成のために用いられる。車内のバックミラーの領域に配置されることが好ましいカメラの位置に応じて、これらの領域はまた、本発明による方法を用いた再構成プロセスでは最も重要である方向を含む。さらに、この面は、ＣＡＤデータにおいて面要素に対応し、組立品ではない。
６．形態は変化しない。
「安定した形態」なる表現は、幾何特性が一定であることを意味している。フードの幾何構成および第１のモデルの相対位置に変化を生じない。この仮定は、カメラの較正の状況では、特に適応型カメラ較正の場合には、無視される。
【００１２】
また、再構成の場合、エンジンフードにおける反射ビームの入射点およびこれらの点における法線ベクトルなどの幾何データに関して既知であることが好都合である。これらは、ＣＡＤデータまたは対応する較正方法（以下に述べる）のいずれかから作成することが可能である。
【００１３】
画像を再構成するための１つの可能な方法は、既知のパターンを結像し、元のパターンと反射像とを比較することである。このために、エンジンフードにおいて自動車の前方に垂直に位置している較正用の壁の反射がシミューレートされる。この場合には、正方形の構造物の歪みを十分に観察することができる。今度は、画像面および鏡面における対応する点が探索される。これは、変位ベクトルを有する２次元領域を結果として生じる。
【００１４】
ステレオ画像処理の場合には、異なる視野角の画像を得ることが必要である。しかし、直接見ることができる領域を用いて鏡像が補正される場合には、正確に、このプロセスで失われたこの追加情報である。この場合には、鏡像は、このような仮想カメラの視野に関して補正されなければならない。しかし、この仮想カメラの外部変数は既知ではない。
【００１５】
このカメラを計算するために他の方法が用いられる場合には、再構成タスクに対する解法は完全であり、２次元像に基づく補正方法は時代遅れである。
【００１６】
上述の手順は、本質的に、画像再構成のために、仮想カメラの位置および見ている方向を求めるためのものである。一旦、仮想カメラに関するこのような外部カメラ変数が求められると、フードの幾何構成を頼りにして鏡像を再構成することができる。仮想カメラに関するこのような外部カメラ変数を正確に決定することを可能にするために、第一に、実際のカメラの外部変数を知ることが必要である。
【００１７】
具体的には、任意の測定誤差に関する異なるカメラの位置の影響は、相当である。したがって、エンジンフードに対する実際のカメラの位置および見ている方向を決定するために用いることが可能であるさまざまな方法について、以下の部分で提示する。好都合なことに、これらの方法は、一部の場合には面の幾何特性を決定することができるため、ＣＡＤデータを用いなくて済む。対照的に、仮想カメラの固有カメラ変数を自由に選択してもよい。
【００１８】
マルチオキュラ（ｍｕｌｔｉｏｃｕｌａｒ）系におけるさらなる処理を簡素化するために、実際のカメラの固有変数が採用される。
【００１９】
ストリップ投影は、３次元面を測定するための１つの方法である。これは、特定の形態を利用し、ストリッププロジェクタおよびカメラの相対位置が正確に既知である。次に、一連の異なるストリップパターンが物体に投影され、カメラによって記録される。ストリップは、平面上の物体を通過し、カメラ画像における既知のストリップの位置を決定することによって断面を計算することができる。適切な測定持続期間および測定の配置から適切な距離にある物体によって、ミリメートル未満のレンジにおける精度を実現することができる。面が数学的に既知であり、入射点および法線ベクトルを計算することができる三角測量によって、このデータを近似させることができる。
【００２０】
ＣＣＤまたはＣＭＯＳまたは画像を記録するための何らかの他の適切なカメラを利用することによって、ディジタル化を行い、面の対応するディジタル化を十分に可能にする。再び、画像領域を物体と関連付けることによって、計算を改良することができる。現在提案されており、レーザガイドスター法と呼ばれる方法に基づく方法では、較正用の壁の２つの記録が用いられる。その点において、入射点および反射方向または法線ベクトルの両方を決定しなければならないため、２つ以上の記録が必要となる。エンジンフードの領域における各画素（ｚ０）の場合には、対応する物体の直接視野領域において対応する画素（ｚ）が探索される。壁を移動した後、同画素ｚ０が用いられ、今度は移動した対応する画素ｚ０が探索される。校正用の壁の幾何構成および壁に対する距離（ａ、ａ０、ｘ、ｘ０）が既知であるため、入射点（ｘｐ、ｚｐ）を計算することができる。入射点およびｘ、ａまたはｘ０、ａ０から３次元空間において反射方向を直接計算することができるため、法線ベクトルを決定する必要はもはやない。
【００２１】
この方法は、この関数として用いることが必要なＣＡＤデータまたは他のデータ源の必要性を完全に排除する。較正に加えて、このアプローチはまた、物体距離を計算するために必要な幾何情報も提供する。
【００２２】
上述の解法のアプローチは、さまざまな問題、克服する必要がある異なる問題のそれぞれを目的としている。しかし、カメラの較正、すなわちエンジンフードに対する位置および見ている方向の決定は常に重要である。
【００２３】
画像の再構成が通常の意味において実行される場合には、見ている点および見ている方向の選択が重要である。適切なカメラに関連する回転円錐曲線のみが、１つの視野点を有する反射屈折系を生成するため、選択された視野点に関する再構成中、誤差は常に生じる。この場合には、見ている方向は、再構成面の選択において、見ている方向に対して直角である平面として反射される。この再構成面に対する距離の選択であってもこのアプローチは重要であり、誤差を受けやすい。したがって、このような再構成が用いられる場合には、広範囲の誤差解析が必要とされる。
【００２４】
適切な探索窓において物体識別が第一に実行され、次に対応する画素に関して三角測量プロセスが実行されるアプローチを利用する場合には、この意味では再構成誤差は生じないため、期待される距離精度はかなりよい。
【００２５】
エンジンフードで反射される画像の目的に適った再構成を実行するために、車体の反射面のエピポーラは、好都合な方法で予め決定されている。
【００２６】
エピポーラは、以下のように定義される。表示ビームＳ０がカメラＫ０の焦点Ｆ０およびカメラＫ０の画像面における点Ｐ０を通過する。Ｋ０と同一位置にはない別のカメラＫ１の焦点は、焦点Ｆ１を有する。表示ビームＳ０および焦点Ｆ１によって定義されるエピポーラ平面は、エピポーラ曲線Ｌ１に沿ってカメラ１の画像面と交差する。ピンホールカメラの場合には、エピポーラＬ１は直線である。
【００２７】
既知の幾何構成を有し、エンジンフードから既知の距離にある較正物体からの反射は、エピポーラを決定するために記録される。エピポーラは、これらの（較正）反射から決定され、較正関数が生成され、これは後に評価のために用いられる。
【００２８】
本発明は、当然のことながら自動車における使用に限定されるわけではなく、反射面が存在する他の用途分野および目的に明白な方法で展開することができる。
【図面の簡単な説明】
【００２９】
【図１】ビーム経路を概略的に示した側面図を示している。
【図２】エンジンフード上における図１に示されたビーム経路の反射像を示している。
【図１】
2004522956.tif 000003
【図２】
2004522956.tif 000004
【国際公開パンフレット】
2004522956.tif 000005
2004522956.tif 000006
2004522956.tif 000007
2004522956.tif 000008
2004522956.tif 000009
2004522956.tif 000010
2004522956.tif 000011
2004522956.tif 000012
2004522956.tif 000013
2004522956.tif 000014
2004522956.tif 000015
2004522956.tif 000016
2004522956.tif 000017
2004522956.tif 000018
2004522956.tif 000019
【国際調査報告】
2004522956.tif 000020
2004522956.tif 000021
2004522956.tif 000022
2004522956.tif 000023
2004522956.tif 000024
2004522956.tif 000025