(57)【要約】  本発明は、物体、特に車両（１）に配置された少なくとも１つの全方位カメラ（２）及び光学的表示ユニットを有する装置のキャリブレーション方法に関し、車両では表示ユニットによって表示された画像が、物体（１）の上方に想定された仮想カメラの視野を再生するものであり、その際に仮想カメラの画像が１つの物体座標系内に投影され、及びその際に物体座標系に生じる点（Ｘｗ、Ｘｗ・ｙ）が全方位カメラ内に投影され、仮想カメラ画像が物体座標系への投影される際に仮想カメラの画像のピクセル（ｘｐ）が物体（１）周囲に想定された１つの円又は楕円内で仮想平面上に投影され、他方円又は楕円の外側の画像のピクセル（ｘｐ）が円又は楕円の縁から立ち上がる、想定された面上にピクセルが投影されるように、仮想カメラによって物体座標系に変換される。【選択図】図３
2011500407.tif 000002
【特許請求の範囲】
【請求項１】
物体（１）、特に車両（１）に配置された、少なくとも１つの全方位カメラ（２）と光学的表示ユニットを有する装置のキャリブレーション方法において、該車両では表示ユニットによって表示される画像が物体の上方に想定された仮想カメラの視野を再生するものであり、該仮想カメラからの画像が１つの物体座標系に投影され、物体座標系に生じる点（Ｘｗ、Ｘｗ・ｙ）が該全方位カメラ内に投影される方法であって、
該仮想カメラ画像が該物体座標系へ投影される際、該物体（１）周囲に想定された円又は楕円の範囲内の該仮想カメラの画像セル（ｘｐ）は、仮想平面上に投影され、該円又は楕円の外側の画像のピクセル（ｘｐ）は、該円又は楕円の縁から立ち上がる仮想の面上に投影されるように、該仮想カメラによって物体座標系へ変換され、該物体座標系内の該仮想の面上の点（Ｘｗ、Ｘｗ・ｙ）の高さは、点（Ｘｗ）から前記円又は楕円の中心点までの距離に比例していることを特徴とする方法。
【請求項２】
前記仮想の面が、円錐台の側表面の形状を有していることを特徴とする、請求項１に記載の方法。
【請求項３】
前記全方位カメラ（２）が、前記全方位カメラの（２）視界全体を含んでいるキャリブレーション体を使用して、内部パラメータに関してキャリブレーションされることを特徴とする、請求項１又は２に記載の方法。
【請求項４】
前記キャリブレーション体が、内側に環状の印を備えた樽形状を有していることを特徴とする、請求項３に記載の方法。
【請求項５】
物体（１）、特に車両（１）に配置された少なくとも１つの全方位カメラ（２）及び光学的表示ユニットを備えた装置を使用した画像処理及び画像表示の方法において、該装置が請求項１〜４に記載された方法によってキャリブレーションされており、該物体（１）周辺が前記全方位カメラ（２）によって撮影されて前記表示ユニットにキャリブレーションに相応して再生されることを特徴とする方法。
【請求項６】
前記車両（１）の背面に配置された２つの全方位カメラ（２）の画像が記録されることを特徴とする、請求項５に記載の方法。
【請求項７】
前記全方位カメラ（２）に捉えられた範囲が、前記車両（１）に関して非シンメトリックに前記全方位カメラ（２）に分割されることを特徴とする、請求項６に記載の方法。
【請求項８】
後退走行している車両（１）の場合又は後退ギヤに入れられている場合、舵角（δＲ）に依存して走行動作が予測され、該予測される走行動作の画像が前記表示ユニットに重ねられることを特徴とする、請求項５〜７のいずれか一項に記載の方法。
【請求項９】
前記予測が単一軌道モデル（６）に基づき、このモデルでは車両（１）の１本の車軸の２つの車輪につき１つの仮想車輪（７）が該車軸の中央にモデル化されていることを特徴とする、請求項８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体、特に車両に配置された、少なくとも１つの全方位カメラ及び光学的表示ユニットを有する装置のキャリブレーション方法に関し、車両では表示ユニットによって表示された画像が、物体の上方に想定された仮想カメラの視野を再生するものであり、その際に仮想カメラの画像が１つの物体座標系内に投影され、及びその際全方位カメラの画像がその物体座標系に投影される。さらに本発明は、物体、特に車両に配置された、少なくとも１つの全方位カメラ及び光学的表示ユニットを有する装置を使用した画像処理及び画像表示の方法に関する。
【背景技術】
【０００２】
全方位カメラは基本的に公知である。全方位カメラを使って全方向画像（鳥瞰図又はバードアイビューとも呼ばれる）を捉えることができ、全方向画像の画像情報には、例えば捉えた物体又は対象物の位置に関する画像位置のようなデータが、物体と全方位カメラとの距離データを含めて収容されている。
【０００３】
全方位カメラは、例えば車両前方、側方及び／又は後方の車両周囲の監視のために使用される。その際、例えば全方位カメラを使用して車両周囲の物体又は対象物が識別される。識別した物体の特に位置及び／又は距離を十分に正確に判定可能にするために、全方位カメラの車両に対する正確な位置及び正確な方向付けが知られている。特に全方位カメラは、カメラが撮影した画像を光学的表示ユニットに表示して運転者に示すことで、トラックなどの見通しの悪い車両を例えば後退走行時のナビゲーション用に使用することができる。この場合、全方位カメラの著しくひずんだ画像が、運転者に鳥瞰図をもたらすように変換される。ここで課題となるのは、車両周囲の近傍領域はこれによって非常によく捉えられるが、より遠くへ離れた物体は表示されないことである。
【０００４】
特許文献１により、画像処理技術が公知であり、この場合、車両周辺のカメラ画像が多数撮影される。これらの画像は、車両周辺がある種の半球又は椀の内面上に投影されたと解釈されるように変換され、その結果より遠くへ離れた像点も表示される。その際に、半球中央領域から外へ向かってひずみが強くなる。この方法は、高い計算コストが必要となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許７１６１６１６Ｂ１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の課題は、少なくとも１つの全方位カメラ及び光学的表示ユニットを有する装置による、より改良されたキャリブレーション方法、および、物体、特に車両に配置された、少なくとも１つの全方位カメラ及び光学的表示ユニットを有する装置を使用して画像処理及び画像表示を行う方法を提示することである。
【課題を解決するための手段】
【０００７】
装置のキャリブレーション方法に関し、本発明の課題は請求項１の特徴によって解決される。画像処理及び画像表示の方法に関し、本発明の課題は請求項５の特徴によって解決される。
【０００８】
本発明の有利な発展形態は、従属請求項に開示される。
【０００９】
本発明に従い、物体、特に車両に配置された、少なくとも１つの全方位カメラ及び光学的表示ユニットを有する装置は次に記述される方法によって構成される。物体の上方には仮想カメラが定義され、このカメラの画像は表示ユニットによって表示される。仮想カメラの画像は、物体座標系に投影される。その際に物体座標系に生じる座標点は、全方位カメラ内に、あるいはその座標系に投影される。
【００１０】
仮想カメラ画像が物体座標系への投影される際、仮想カメラの画像のピクセルは物体周囲に想定された１つの円又は楕円内で仮想平面上に投影される。円又は楕円の外側の画像のピクセルは、円又は楕円の縁から立ち上がる、仮想面上にピクセルが投影されるように、仮想カメラによって物体座標系に変換され、その際、物体座標系内の面上のピクセルの高さは、円又は楕円の中心点からのピクセルの距離に比例している。このようにキャリブレーションされた系により、物体により近い周辺は円又は楕円内で広範囲に及んでひずまずに表示される一方で、公知の方法では見えない、より遠くに離れた周辺範囲も表示される。このようにして得られた拡大鳥瞰図は、直観的で広い視野領域を生成する。車両の運転者にとっては、特に後退走行しながらのパーキング操舵がより簡単になる。
【００１１】
好ましくは、面が円錐台の側表面の形状を有している。その際に、円錐台の側表面は直線状の勾配を有し、それゆえに投影はこの面上で、特に簡単な方法で計算されることができる。さらには、円錐台の側表面は投影面として、非直線状の勾配を備えた面と比べて例えば楕円の場合、画像に生じるひずみが格段に少ないという利点を提供する。円錐台の側表面を使用することにより、運転者にとって特に直観的な、簡単なやりかたでわかりやすい画像表示がもたらされる。この場合、ひずみはせいぜい円錐台の側表面の縁領域に出現するだけで、反対に画像中央の表示は特に有利なやり方でひずみなしに行われる。
【００１２】
全方位カメラは、好ましくは、カメラの視界全体を含んでいるキャリブレーション体を使用して内部パラメータに関して、キャリブレーションされる。キャリブレーション体は特に樽形状を有し、その内側には環状の印が備えられている。全方位カメラをキャリブレーションするために、印は、特に、非特許文献１（Ｔ．  Ｌｕｈｍａｎｎ  ．  Ｎａｈｂｅｒｅｉｃｈｓｐｈｏｔｏｇｒａｍｍｅｔｒｉｅ，  Ｈｅｒｂｅｒｔ  Ｗｉｃｈｍａｎｎ  Ｖｅｒｌａｇ（２０００．  ４））に記述されている方法によって、サブピクセル精度で測定される。例えば物体座標系に関して、カメラの並進と回転のようなカメラの外部パラメータは、物体に取り付けられた全方位カメラによって特定される。この場合、長方形の印を使用することができる。例えばこの場合、非特許文献２（Ｌ．Ｅ．  Ｋｒｕｅｇｅｒ，  Ｃ．  Ｗｏｅｈｌｅｒ，  Ａ．  Ｗｕｒｚ-Ｗｅｓｓｅｌ，  Ｆ．  Ｓｔｅｉｎ．  Ｉｎ-ｆａｃｔｏｒｙ  ｃａｌｉｂｒａｔｉｏｎ  ｏｆ  ｍｕｌｔｉｏｃｕｌａｒ  ｃａｍｅｒａ  Ｓｙｓｔｅｍｓ．  ＳＰＩＥ  Ｐｈｏｔｏｎｉｃｓ  Ｅｕｒｏｐｅ（Ｏｐｔｉｃａｌ  Ｍｅｔｒｏｌｏｇｙ  ｉｎ  Ｐｒｏｄｕｃｔｉｏｎ  Ｅｎｇｉｎｅｅｒｉｎｇ），  ５４５７:１２６頁〜１３７頁（２００４年９月）４，５）に記述されている方法を使用する。
【００１３】
カメラの内部パラメータは、それぞれ座標系及び歪曲に関して、例えば焦点距離、ピクセルサイズ（幅、高さ）、画像中心点などである。
【００１４】
そのようにキャリブレーションされた装置は、画像処理及び画像表示の方法で使用され、この方法においては物体周辺が全方位カメラによって撮影され、キャリブレーションに相応して表示ユニットに再生される。
【００１５】
その際に、好ましくは、例えば車両背面のルーフエッジの範囲に配置されることができる２つの全方位カメラを使用する。しかし、さらに多くの全方位カメラを、又はだだ１つの全方位カメラを備えていてもよい。
【００１６】
特に、複数の全方位カメラに捉えられる範囲は、車両に関して非シンメトリックに複数のカメラに分割される。この分割は、例えば独国特許出願公告第１０２００６００３５３８Ｂ３号明細書に記述されている。これによって、背面投影から仮想平面へもたらされる、周辺を平坦に仮定した結果として、車両周辺の別の物体が視界から消失することが回避される。その際、物体座標系の各点は、車両の後ろとその右に配置された全方位カメラに投影される。車両左の各点は、左に配置された全方位カメラに投影される。
【００１７】
好ましくは、後退走行している車両の場合及び／又は後退ギヤに入れられている場合、舵角に依存して走行動作が予測され、画像が表示ユニットに重ねられる。このようにして、運転者は現在の舵角で車両を後退走行させた場合に希望の位置に到達できるかどうかを判断することができる。
【００１８】
予測を簡素化するために、演算は単一軌道モデルに基づき、このモデルでは１本の車軸の２つの車輪につき１つの仮想車輪が車軸の中央にモデル化されている。
【００１９】
以下では、本発明の実施例を図を使用して詳細に説明する。
【図面の簡単な説明】
【００２０】
【図１】２つの全方位カメラを備えた車両の背面である。
【図２】従来技術で公知の、車両及びその周辺の標準鳥瞰図の模式図である。
【図３】車両及びその周辺を、本発明に従った方法を使用して画像処理及び画像表示のために拡大した鳥瞰図の模式図である。
【図４】車両内の光学的表示ユニットに表示された、車両とその周辺の光景の拡大された鳥瞰図と、その上に重ね合わせられた後退走行時の予測走行動作である。
【図５】走行動作予測の単一軌道モデルである。
【発明を実施するための形態】
【００２１】
全図において互いに対応する部材には同一の符号を付している。
【００２２】
図１は、２つの全方位カメラ２を備えた、車両として形成された物体１の背面である。符号１は、以下でも車両に使用される。
【００２３】
全方位カメラ２は車両１の周辺を、車両１の側方と後方を非常に広角で撮影する。処理されたカメラ画像は、車両１内の、図示されていない表示ユニットに表示される。カメラ２はこのために、車両１に関してキャリブレーションされる。カメラ２は固定されていることから、キャリブレーションを実施する必要は１回のみである。
【００２４】
キャリブレーションの目的は、第一に車両１及びその周辺を鳥瞰図で表示することである。このために、１つの仮想カメラが車両１の上に定義される。仮想カメラのピクセルｘｐ＝（ｘｐ．ｘ， ｘｐ．ｙ）Ｔは、仮想平面Ｙ=０上に投影され（平坦な世界を仮定）、その際に車両１で調整された物体座標系に点Ｘｗが生じる。：
Ｘｗ＝λＸｒ＋Ｃｐ
その際、
λ＝Ｃｐ・ｙ／Ｘｒ・ｙ
Ｘｒ＝ＲｐＸｐ＝Ｒｐ（ｘｐ．ｘ， ｘｐ．ｙ， ｆ）Ｔ
この場合、ｆは仮想カメラの焦点距離、Ｒｐ及びＣｐは物体座標系に関する仮想カメラの回転及び並進であり、この座標系の座標原点は、例えば車両１背面のバンパー中央にあってよく、ｙ軸は垂直に上を指している。
【００２５】
背面投影された点Ｘｗは、少なくとも１つの全方位カメラ２内に、つまりそれによって撮影された画像内に投影される。この投影は、詳細が非特許文献３（Ｃ．  Ｔｏｅｐｆｅｒ，  Ｔ．  Ｅｈｌｇｅｎ．  Ａ  ｕｎｉｆｙｉｎｇ  ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ  ｃａｍｅｒａ  ｍｏｄｅｌ  ａｎｄ  ｉｓｔ  ａｐｐｌｉｃａｔｉｏｎｓ  ．  Ｉｎ  Ｏｍｎｉｖｓ（２００７年２月））に記述されている。
【００２６】
背面投影から仮想平面に生じた、周辺を平坦に仮定した結果として、車両１周辺の別の物体が視界から消失することを回避するため、車両に関して、全方位カメラで捉えられた範囲の非シンメトリックな分割が選択される。その際、物体座標系の各点Ｘｗでは、車両１の後ろとその右の点が右側に配置された全方位カメラ２に投影される。車両１左の各点Ｘｗは、左側に配置された全方位カメラ２に投影される。この詳細は、例えば独国特許出願公告第１０２００６００３５３８Ｂ３号明細書に記述されている。
【００２７】
図２は、車両１及びその周辺の模式図が、２つの全方位カメラ２及び光学的表示ユニットを有するそのようにキャリブレーションされた装置によって達成された標準鳥瞰図で示されている。キャリブレーションを使って、チェス盤模様によって示唆されたような、示されたひずみを修正した表示が達成される。２つの全方位カメラ２における視野領域の非シンメトリック分割は、チェス盤模様が異なって表示されることによって示される。車両１の運転者は、車両１の周辺に障害物が存在するかどうかを確認できる。この範囲内で、従来技術による方法が知られている。
【００２８】
本発明に従い、２つの全方位カメラ２及び光学的表示ユニットを有する装置は、仮想平面Ｙ=０への背面投影が車両１の周辺の内側領域３でのみ行われるようにキャリブレーションされる。この内側領域３は、車両１又は物体座標系の座標原点の周りの半径ｒを備える、仮想の円内にある。仮想カメラ画像内の各ピクセルｘｐは、仮想平面に背面投影され、それによって重なり合い、その結果、点Ｘｗが物体座標系に生じる。投影された点Ｘｗの内挿は、ピクセルｘｐの強度値をもたらす。
【００２９】
内側領域３の外の点Ｘｗは、仮想平面上ではなく、円の縁から立ち上がる面に投影される。つまり、点Ｘｗの距離の高さＸｗ・Yは、円の中心点に依存する：
【数１】
2011500407.tif 000003
ここでｒは円の半径であり、ｍは立ち上がる面である。こうしてもたらされた拡大された鳥瞰図が図３に示されている。このようにして、運転者の視野領域は、内側領域３内では従来同様ひずむことはない。内側領域３の外では、車両１のさらに別の周辺が表示される。
【００３０】
図４は、車両１内の光学的表示ユニットに示された車両１の及びその周辺の光景が拡大された鳥瞰図と、その上に重ね合わせられた後退走行時の予測的走行動作である。走行動作は、リヤバンパーの動きが第１の通路４に、フロントバンパーの動きが第２の通路５に表示され、その通路内で車両１は、現在の舵角δＲが変更されない限り、舵角δＲに相応して動かされる。舵角δＲが変更されると、予測はそれに相応して適合されなければならない。通路の線４．１は、リヤバンパーを表している。４．２は、例えば車両１のリヤゲートの旋回範囲に相当し得る、バンパーから後方１ｍの距離を表している。線４．３は、およそ車両１の長さの距離を表している。内側領域３を取り囲む円の半径ｒは、少なくとも線４．３からリヤバンパーまでの距離に相当しているはずである。
【００３１】
予測を簡素化するために、演算は、いわゆる単一軌道モデル６に基づき、このモデルでは車両１の１本の車軸の２つの車輪につき１つの仮想車輪７が車軸の中央にモデル化されている。フロント及びリヤの仮想車輪７は、固定された線で接続されている。このモデルは、車両１がその縦軸周りには動かず、どの車輪の荷重も同じに維持されるという制限の下で十分である。後退走行しながらのパーキング操舵時のような低速の場合、この仮定は正当である。これに関連して、このモデル仮定に基づき、１つあるいは複数の通路が画像内に表示されることができ、こ（れら）の通路により、運転者にとって特に状況の直感的な認知が可能になり、特に車両のパーキング操舵が簡単になる。
【００３２】
以下の固定パラメータが、単一軌道モデル６で考慮される：
ｌｗ  車両の幅
ｌＦＲ  前後車軸間の距離
ｌＲＱ  後車軸とリヤバンパー間の距離
さらに以下の可変パラメータが使用される：
δＲ  舵角
【００３３】
さらに別のパラメータは舵角δＲに依存する：
ｒＦ  仮想の前車輪７の運動半径
ｒＲ  仮想の後車輪７の運動半径
ｒＱ  リヤバンパー中心点の運動半径
ｒＰ  リヤバンパー左外点の運動半径
ｒＳ  リヤバンパー右外点の運動半径
ΨＱ  舵角δＲによって決められる瞬間回転中心８から、後車輪７及びリヤバンパー中心点を結ぶ線が成す角度。
【００３４】
モデルは次の方程式を使用して構成される：
ｒＦ＝ｌＦＲ／ｓｉｎδＲ
ｒＲ＝ｒＦ・ｃｏｓδＲ
ｔａｎΨＱ＝ｌＲＱ／ｒＲ
ｒＱ＝ｒＲ／ｃｏｓΨＱ
一般的な関係：１／ｃｏｓ２α＝１＋ｔａｎ２αは次を導く：
【数２】
2011500407.tif 000004
リヤバンパー左右外点の各運動半径は、ｒＱに相似に演算することができる。
【数３】
2011500407.tif 000005
【数４】
2011500407.tif 000006
【００３５】
全方位カメラ２は、特にミラーレンズカメラとして形成される。
【００３６】
記述された方法は、同様にただ１つの全方位カメラ２を使用して、又は２以上の全方位カメラ２を使用して実施することができる。
【００３７】
記述された方法は、原理上任意の物体１で実施することができる。
【００３８】
カメラ２は、車両１のルーフエッジの領域に配置することができる。
【００３９】
内側領域３は、１つの円を用いる代わりに、１つの楕円を用いて記述することができる。
【００４０】
仮想平面は、車両１が置かれている地面に相当することができる。
【符号の説明】
【００４１】
１  物体、車両
２  全方位カメラ
３  内側領域
４．１  線
４．２  線
４．３  線
５  第２の通路
６  単一軌道モデル
７  仮想車輪
８  瞬間回転中心
Ｃｐ  仮想カメラの並進
δＲ  操舵角
ｆ  仮想カメラの焦点距離
ｌＷ  車両の幅
ｌＦＲ  前後車軸間の距離
ｌＲＱ  後車軸とリヤバンパー間の距離
ΨＱ  仮想後車輪とリヤバンパー中心点が成す角度
ｒ  半径
ｒＦ  仮想前車輪の運動半径
ｒＰ  リヤバンパー左外点の運動半径
ｒＱ  リヤバンパー中心点の運動半径
ｒＲ  仮想後車輪６の運動半径  
ｒｓ  リヤバンパー右外点の運動半径
Ｒｐ  仮想カメラの回転
ｘｐ  仮想カメラのピクセル
Ｘｗ  物体座標系内の点
Ｘｗ・ｙ  物体座標系内の点の高さ
【図１】
2011500407.tif 000007
【図２】
2011500407.tif 000008
【図３】
2011500407.tif 000009
【図４】
2011500407.tif 000010
【図５】
2011500407.tif 000011
【国際調査報告】
2011500407.tif 000012
2011500407.tif 000013
2011500407.tif 000014
2011500407.tif 000015
2011500407.tif 000016
2011500407.tif 000017
2011500407.tif 000018
2011500407.tif 000019
2011500407.tif 000020
2011500407.tif 000021