(57)【特許請求の範囲】
【請求項１】
地面に形成された基準パターンと地上面とが撮影された映像を、車両に設置された複数の広角カメラから入力を受けて出力する映像入出力部と、
前記映像入出力部で入力された映像の基準パターンから特徴点を抽出し、抽出された特徴点の既知の物理的位置情報を用いて各カメラの相対的位置と設置角を推定するイメージ整列推定部と、
前記撮影された映像を用いて、レンズ歪み補正のためのレンズの光中心を含む光学パラメータを獲得し、獲得された光中心を用いて各映像をガウス球（Ｇａｕｓｓｉａｎ
ｓｐｈｅｒｅ）の表面にマッピングする球マッピング部と、
前記イメージ整列推定部で推定されたカメラの相対的位置と設置角を用いて、前記ガウス球を、実際の基準パターンと一致するように角度と距離を変更して３次元仮想空間に配列する仮想空間配列部と、
前記ガウス球にマッピングされた各映像を、一つの大きい球に該当する３次元球の内面にそれぞれマッピングして３次元単一映像を獲得する単一映像獲得部と、
を含む、車両周辺視覚化のための３次元映像合成装置。
【請求項２】
前記イメージ整列推定部は、推定された各カメラの相対的位置と設置角に対する情報を設定することを特徴とする、請求項１に記載の車両周辺視覚化のための３次元映像合成装置。
【請求項３】
前記光学パラメータは、光中心、アスペクト比、イメージセンサー、投影類型および焦点距離の少なくとも一つを含むことを特徴とする、請求項１に記載の車両周辺視覚化のための３次元映像合成装置。
【請求項４】
前記仮想空間配列部は、ガウス球の回転角度と移動距離を変更するときに変更パラメータの推定のための最適化アルゴリズムを用いることを特徴とする、請求項１に記載の車両周辺視覚化のための３次元映像合成装置。
【請求項５】
前記最適化アルゴリズムは、ＰＳＯ（Ｐａｒｔｉｃｌｅ Ｓｗａｒｍ Ｏｐｔｉｍｉｚａｔｉｏｎ）、ＧＤ（Ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）、またはＬＭＳＥ（Ｌｅａｓｔ
ｍｅａｎ ｓｑｕａｒｅ ｅｓｔｉｍａｔｉｏｎ）方式のいずれか一つであることを特徴とする、請求項４に記載の車両周辺視覚化のための３次元映像合成装置。
【請求項６】
前記単一映像獲得部は、各映像の中心部に該当するイメージをマッピングするために、３次元球の表面をカメラの個数に分けて分割し、最も隣接したカメラの映像のみをマッピングすることを特徴とする、請求項１に記載の車両周辺視覚化のための３次元映像合成装置。
【請求項７】
前記単一映像獲得部は、３次元球の内面をカメラの個数を基準として経度別に分け、経度別に分けられた３次元球の一面を地平面と地上面に分けて緯度別にマッピングすることを特徴とする、請求項１に記載の車両周辺視覚化のための３次元映像合成装置。
【請求項８】
前記３次元球において、地平面と地上面のマッピング方式が互いに異なることを特徴とする、請求項７に記載の車両周辺視覚化のための３次元映像合成装置。
【請求項９】
車両に設置された複数の広角カメラから、地面上の基準パターンを撮影した複数の映像をそれぞれ入力される段階と、
撮影された前記基準パターンから特徴点を抽出し、抽出された特徴点の既知の物理的位置情報を用いて各カメラの相対的位置と設置角を推定する段階と、
撮影された前記映像を用いて、レンズ歪み補正のためのレンズの光中心を含む光学パラメータを獲得し、獲得された光中心を用いて各映像をガウス球の表面にマッピングする段階と、
推定された前記カメラの相対的位置と設置角を用いて、前記ガウス球を、実際の基準パターンと一致するように角度と距離を変更して３次元仮想空間に配列する段階と、
前記ガウス球にマッピングされた各映像を、一つの大きい球に該当する３次元球の内面にそれぞれマッピングして３次元単一映像を獲得する段階と、
を含むことを特徴とする、車両周辺視覚化のための３次元映像合成方法。
【請求項１０】
前記３次元仮想空間に配列する段階において、前記ガウス球の回転角度と移動距離を変更するとき、変更パラメータの推定のためにＰＳＯ（Ｐａｒｔｉｃｌｅ
Ｓｗａｒｍ Ｏｐｔｉｍｉｚａｔｉｏｎ）、ＧＤ（Ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）、またはＬＭＳＥ（Ｌｅａｓｔ ｍｅａｎ ｓｑｕａｒｅ ｅｓｔｉｍａｔｉｏｎ）のいずれか一つのアルゴリズムを用いることを特徴とする、請求項９に記載の車両周辺視覚化のための３次元映像合成方法。
【請求項１１】
前記３次元仮想空間に配列する段階において、数式（１）によって実際の基準パターンとマッチングすることを特徴とする、請求項９に記載の車両周辺視覚化のための３次元映像合成方法。
【数１】
0005739584.tif 000008
（式中、ＸＹｐは球の内面の一点の座標であり、ＸＹｃはガウス球の中心を原点とするときに球内面の一点の直交座標であり、Ｓｃは球の半径を拡大／縮小するための乗数であり、ｆｐｃは３次元の座標を平面の一点にマッピングする関数であり、Ｒ（φ）、Ｒ（θ）およびＲ（ψ）は３次元座標の回転行列、φはｘ軸を中心に回転した角、θはｙ軸を中心に回転した角、ψはｚ軸を中心に回転した角をそれぞれ示す。）
【請求項１２】
前記３次元単一映像を獲得する段階では、前記３次元仮想空間に配列された各映像が３次元球の中心から３次元球の最も隣接した内側面にそれぞれマッピングされることを特徴とする、請求項９に記載の車両周辺視覚化のための３次元映像合成方法。
【請求項１３】
前記３次元単一映像を獲得する段階は、
各映像の中心部に該当するイメージをマッピングするために、３次元球の内面をカメラの個数に基づいて経度別に分割する段階と、
前記経度別に分割された３次元球の内面を、地平面に該当する緯度を基準として地平面と地上面に分ける段階と、
前記３次元仮想空間に配列された各映像を、地平面と地上面に分けて３次元球の該当内面にそれぞれマッピングする段階とを含むことを特徴とする、請求項９に記載の車両周辺視覚化のための３次元映像合成方法。
【請求項１４】
前記マッピングする段階で、前記各映像を３次元球の地平面と地上面にマッピングされる方式は互いに異なることを特徴とする、請求項１３に記載の車両周辺視覚化のための３次元映像合成方法。
【請求項１５】
前記マッピングする段階で、
前記３次元球の地平面にマッピングするとき、３次元球の一点（ｘｐ，ｙｐ，ｚｐ）は、数式（２）のＴを演算した後、ｘ、ｙ、ｚを求める方法で、最も隣接したガウス球の一点から持ってきてマッピングすることを特徴とする、請求項１３に記載の車両周辺視覚化のための３次元映像合成方法。
【数２】
0005739584.tif 000009
（式中、（ｘ，ｙ，ｚ）は地平面の一点（ｘｓ，ｙｓ，ｚｓ）にマッピングされるガウス球の表面にある点の座標であり、（ｘｃ，ｙｃ，ｚｃ）はガウス球の中心を示し、Ｒはガウス球の半径を示す。）
【請求項１６】
前記マッピングする段階で、
前記３次元球の地上面をマッピングするとき、３次元球の一点（ｘｐ，ｙｐ，ｚｐ）は、数式（３）のＴを演算した後、ｘ、ｙ、ｚを求める方法で、最も隣接したガウス球の一点から持ってきてマッピングすることを特徴とする、請求項１３に記載の車両周辺視覚化のための３次元映像合成方法。
【数３】
0005739584.tif 000010
（式中、（ｘ，ｙ，ｚ）は地上面の一点の座標、（ｘｐ，ｙｐ，ｚｐ）にマッピングされるガウス球の表面にある点の座標であり、（ｘｃ，ｙｃ，ｚｃ）はガウス球の中心を示し、Ｒはガウス球の半径を示す。）
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多チャネル映像に基づく運転者補助システムに係り、特に、複数のカメラで撮影された車両周辺映像を３次元で視覚化して現実感を高められる、車両周辺視角化のための３次元映像合成装置およびその方法に関する。
【背景技術】
【０００２】
車両周辺を視覚化する装置として現在まで知られているものには、多チャネル映像の合成によるトップビュー（Ｔｏｐ
ｖｉｅｗ）システムがある。このシステムは運転者の視野を外れた死角を表す車両用周辺映像合成に用いられる。このようなトップビュー出力装置は、車両の前／後／左／右やコーナーなどに設置されたカメラから取得された複数の映像を一枚の連続映像として出力するが、まるで車両の上端から見たようなトップビュー型の２次元平面映像を生成する。
【０００３】
複数のカメラを用いるトップビュー出力装置を鳥瞰映像に適用する場合、カメラは基本的に１８０℃内外の画角（ｆｉｅｌｄ
ｏｆ ｖｉｅｗ）を有する超広角レンズ（魚眼レンズ）を用いて隣接カメラ間の共通領域を確保することができるように装着に気を付けなければならない。
【０００４】
既存のトップビュー出力装置は、公差補正過程でカメラ映像を獲得した後、レンズ歪み補正、パターン抽出、ホモグラフィー（ｈｏｍｏｇｒａｐｈｙ）を用いた視点変換などのアルゴリズムを結合して車両周辺の地平面情報に対してモデリングする。このようなトップビュー出力装置は、車両周辺の情報を直観的に視角化し、車両周辺の全方位３６０°にわたって駐車線などの地平面情報を連続的に表現するシステムである。
【０００５】
ところが、トップビュー出力装置は、幾つかの現実的な限界点を持っている。第一に、トップビュー出力装置は、地平面の物体に対する連続性を考慮しているため、地平面ではなく地上の物体に対しては連続性を保障することができない。しかも、トップビュー出力装置は、地上の物体も地平面の物体としてみなすため、映像が合成されたときに地上の物体に対する歪みは大きく増幅する。結果的に、トップビュー出力装置で表示する合成映像は実際の車両周辺映像とは多少異なる平面化映像である。よって、トップビュー出力装置は地上の物体に対する低調な視認性を有する。
【０００６】
第二に、現在まで大部分のトップビュー出力装置は、車両周辺の一定の境界（ｂｏｕｎｄａｒｙ）を置いて関心領域（ｒｅｇｉｏｎ
ｏｆ ｉｎｔｅｒｅｓｔ）を表現する。現在のトップビュー出力装置は、一般に、車両周辺領域に対して前／後／左／右２ｍ以下の近距離領域のみを表現しているが、さらに広い２ｍ以上の領域を表現する場合、画質の劣化が激しく、歪みが大きくなって実際実用的に適用するには無理がある。特に、画質の劣化問題は、入力映像内の遠距離領域に対する情報力が、表現しようとする遠距離の平面映像に比べて一層足りないことに起因する。また、後進駐車の際に運転者が行う一連の駐車全過程が車両周辺物体の停止状態および移動状態、相対的距離を把握することを全て含むとみなす場合、実際のトップビュー出力装置が表現する可視領域は上記の要素を把握／判別するには極めて狭いといえる。よって、トップビュー出力装置は狭い可視領域を有する。
【０００７】
第三に、トップビュー出力装置は、車両周辺情報を平面化させるため、平面ではなく地上の物体に対する歪みは合成映像から容易に発見することができる。このような現象は、原理的特性上、アルゴリズムにおける歪みが不可避である。特に、地上の物体に対する歪み現象は運転者が出力装置を介して見る合成映像を解析する過程で致命的な問題として作用するかもしれない。例えば、車両周辺にある幼児に対して、合成装置では歪んだ映像を出力し、運転者は幼児を認識せずにそのまま走行する場合、思いもしなかった結果をもたらすこともある。よって、トップビュー出力装置は広い範囲で非現実的な視角化を行う。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、車両補助システムのうち、複数のカメラで撮影された車両周辺映像を３次元で視角化するために、カメラの公差を補正して３次元イメージを合成する、車両周辺視角化のための３次元映像合成装置およびその方法を提供することにある。
【０００９】
本発明の他の目的は、複数のカメラで撮影された地平面（ｇｒｏｕｎｄ
ｐｌａｎｅ）と地上面（ｎｏｎ−ｇｒｏｕｎｄ ｐｌａｎｅ）の物体を全て合成し、車両周辺情報に対する視角化映像が実際と類似した現実感を持つように実現する、車両周辺視角化のための３次元映像合成装置およびその方法を提供することにある。
【００１０】
本発明が解決しようとする技術的課題は上述した技術的課題に限定されない。
【課題を解決するための手段】
【００１１】
上記目的を達成するための本発明の３次元映像合成装置は、地面に形成された基準パターンと地上面が撮影された映像を、車両に設置された複数の広角カメラから入力を受けて出力する映像入出力部と、前記映像入出力部で入力された映像の基準パターンから特徴点を抽出し、抽出された特徴点の既知の物理的位置情報を用いて各カメラの相対的位置と設置角を推定するイメージ整列推定部と、上記で撮影された映像を用いてレンズ歪み補正のためのレンズの光中心を含む光学パラメータを獲得し、獲得された光中心を用いて各映像をガウス球（Ｇａｕｓｓｉａｎ
ｓｐｈｅｒｅ）の表面にマッピングする球マッピング部と、前記イメージ整列推定部で推定されたカメラの相対的位置と設置角を用いて、前記ガウス球を、実際の基準パターンと一致するように角度と距離を変更して３次元仮想空間に配列する仮想空間配列部と、前記３次元仮想空間に配列された各映像を、一つの大きい球に該当する３次元球の内面にそれぞれマッピングして３次元単一映像を獲得する単一映像獲得部とを含むことができる。
【００１２】
前記イメージ整列推定部は、推定された各カメラの相対的位置と設置角に対する情報を設定することができる。
【００１３】
前記仮想空間配列部は、ガウス球の回転角度と移動距離を変更するとき、変更パラメータの推定のための最適化アルゴリズムを用いることができる。最適化アルゴリズムはＰＳＯ（Ｐａｒｔｉｃｌｅ
Ｓｗａｒｍ Ｏｐｔｉｍｉｚａｔｉｏｎ）、ＧＤ（Ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）、ＬＭＳＥ（Ｌｅａｓｔ ｍｅａｎ ｓｑｕａｒｅ ｅｓｔｉｍａｔｉｏｎ）などの最適化アルゴリズムが使用できる。
【００１４】
前記単一映像獲得部は、各映像の中心部に該当するイメージをマッピングするために、３次元球の表面をカメラの個数に分けて分割し、最も隣接したカメラの映像のみをマッピングすることができる。
【００１５】
前記単一映像獲得部は、３次元球の内面をカメラの個数を基準として経度別に分け、経度別に分けられた３次元球の一面を地平面と地上面に分けて緯度別にマッピングすることができる。
【００１６】
上記目的を達成するための本発明の３次元映像合成方法は、車両に設置された複数の広角カメラが地面上の基準パターンを撮影した複数の映像をそれぞれ入力される段階と、上記で撮影された基準パターンから特徴点を抽出し、抽出された特徴点の既知(known)の物理的位置情報を用いて各カメラの相対的位置と設置角を推定する段階と、上記で撮影された映像を用いてレンズ歪み補正のためのレンズの光中心を含む光学パラメータを獲得し、獲得された光中心を用いて各映像をガウス球の表面にマッピングする段階と、上記で推定されたカメラの相対的位置と設置角を用いて、前記ガウス球を、実際の基準パターンと一致するように角度と位置を変更して３次元仮想空間に配列する段階と、前記３次元仮想空間に配列された各映像を、一つの大きい球に該当する３次元球の内面にそれぞれマッピングして３次元単一映像を獲得する段階とを含むことができる。
【００１７】
前記３次元仮想空間に配列する段階で、前記ガウス球の回転角度と相対的移動距離を変更するとき、変更パラメータの推定のためにＰＳＯ（Ｐａｒｔｉｃｌｅ
Ｓｗａｒｍ Ｏｐｔｉｍｉｚａｔｉｏｎ）、ＧＤ（Ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）、ＬＭＳＥ（Ｌｅａｓｔ ｍｅａｎ ｓｑｕａｒｅ ｅｓｔｉｍａｔｉｏｎ）などの最適化アルゴリズムが使用できる。
【００１８】
前記３次元単一映像を獲得する段階は、前記３次元仮想空間に配列された各映像が３次元球の中心から３次元球の最も隣接した内側面にそれぞれマッピングできる。
【００１９】
前記３次元単一映像を獲得する段階は、各映像の中心部に該当するイメージをマッピングするために、３次元球の内面をカメラの個数に基づいて経度別に分割する段階と、前記硬度別に分割された３次元球の内面を、地平面に該当する緯度を基準として地平面と地上面に分ける段階と、前記３次元仮想空間に配列された各映像を、地平面と地上面に分けて３次元球の該当内面にそれぞれマッピングする段階とを含むことができる。前記マッピングする段階で、前記３次元球の地平面と地上面に映像がマッピングされる方式は互いに異なる。
【発明の効果】
【００２０】
上述したように、本発明は、車両周辺情報を３次元で視角化する３次元映像合成方法および３次元映像合成装置に関するものであって、車両周辺の地平面だけでなく、地上面に位置した物体を全て３次元映像として表現することにより車両周辺の物体に対する視認性を高めることができ、車両周辺の物体を歪みの少ない３次元映像として表現することにより物体認識の正確性を向上させることができる。
【００２１】
また、本発明は、ホモグラフィーの性能が補正（ｃａｌｉｂｒａｔｉｏｎ）に使用されるパターンの選択正確性に依存して不安定であるという既存の合成方法の限界から外れて、３軸（ｐｈｉ、ｔｈｅｔａ、ｐｓｉ）回転変数の調整のみでも、ホモグラフィーが行った一連の過程を代替することができるという点から、システム駆動の安定性を確保することができる。
【００２２】
本発明の３次元映像合成装置を用いて出荷前の作業車両或いは修理および補修中の作業車両に対して作業者が合成を試みる場合、３軸変数の調整のみでも所望の映像を合成することができる。また、作業者が一定の条件を満足する基準パターンのない空間で補正作業を試みる場合にも、３軸変数の調整のみでも合成映像を補正することができるため、運用上の便利性および拡張性に優れるという利点がある。
【００２３】
また、車両周辺３次元空間をモデリングすることにより、その間問題となった死角（ｂｌｉｎｄ−ｚｏｎｅ）に対する多様な視野角を提供することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施例に係る広角カメラおよび３次元映像合成装置を示す図である。
【図２】地面に形成された基準パターンの一例と車両を示す図である。
【図３】本発明の実施例に係る３次元映像合成過程を示す順序図である。
【図４】複数の広角カメラを介して入力された映像を示す図である。
【図５】入力映像を用いて光学パラメータを求めることを説明するために示す図である。
【図６】ガウス球のマッピングを示す図である。
【図７】ガウス球を３次元球にマッピングするときの経度別分割を説明するために示す図である。
【図８】ガウス球を３次元球にマッピングするときの地平面と地上面のマッピングを説明するために示す図である。
【図９】ガウス球を３次元球にマッピングするときの地平面と地上面のマッピングを説明するために示す図である。
【図１０】３次元単一合成映像を示す図である。
【図１１】図１０の近距離（地平面）領域の歪みが補正された映像を示す図である。
【図１２】ルックアップテーブルを示す図である。
【発明を実施するための形態】
【００２５】
以下、添付図面を参照して本発明の好適な実施例を詳細に説明する。図面において、同一の構成要素は出来る限り何処でも同一の符号で示す。また、本発明の要旨を不明瞭にするおそれのある公知の機能および構成についての詳細な説明は省略する。
【００２６】
図１は、本発明の実施例に係る広角カメラおよび３次元映像合成装置を示すもので、複数の広角カメラ１０、３次元映像出力装置５０および３次元映像合成装置１００を含んでなる。
【００２７】
広角カメラ１０は、車両の前／後／左／右の任意の位置にそれぞれ設置され、少なくとも４個から構成される。図２のように地面に形成された基準パターン１と地上面をそれぞれ撮影し、これを電気的信号に変換して３次元映像出力装置５０の映像入出力部５１へ伝送する。ここで、広角カメラ１０が例えば４個の場合、隣接した広角カメラ１０の間で撮影領域が一部分重なり合うように配置されることが好ましい。
【００２８】
広角カメラ１０は、単純な光学機器だけでなく、光学信号を電気的信号に変換するイメージセンサーなどの電気的装置を含む概念である。例えば、対象物体が車両の場合、広角カメラ１０は車両の前／後／左／右やコーナーなどにそれぞれ配置でき、各カメラ１１、１２、１３、１４はその撮影領域が隣接カメラの間で少なくとも一部分重なり合うように配置される。広角カメラ１０は、視野角の確保のために超広角レンズを使用する。基準パターン１は、既知のパターンであって、各カメラで視野が確保される地面に設置される。基準パターン１の特徴点の物理的位置情報は、予め知っていると仮定する。基準パターン１の視認性を確保するために、各パターンは地面の背景とは明度差の大きい色を選択することが好ましい。
【００２９】
３次元映像出力装置５０の映像入出力部５１は、地面に形成された基準パターン１と地上面が撮影された映像を、車両に設置された複数の広角カメラ１０から入力を受け、入力された複数の入力映像を３次元映像合成装置１００へ伝送する。必要な場合、映像入出力部５１ではフィルターなどによって映像前処理過程を行うこともできる。映像入出力部５１は、車両に取り付けられた３次元映像出力装置５０の一部であって、複数の広角カメラ１０から入力された映像を３次元映像合成装置１００へ伝送する。
【００３０】
３次元映像合成装置１００は、複数の映像を補正および３次元で合成するためのアルゴリズムが格納されている。３次元映像合成装置１００は、図示の如く、イメージ整列推定部１１０、球マッピング部１２０、仮想空間配列部１３０、単一映像獲得部１４０、歪み補正部１５０、およびＬＵＴ生成部１６０を含むことができる。
【００３１】
イメージ整列推定部１１０は、複数の広角カメラ１０で撮影された基準パターン１から特徴点を抽出し、抽出された特徴点の既知の物理的位置情報を用いて各カメラの相対的位置と設置角を推定する。イメージ整列推定部１１０は、推定された各カメラの相対的位置と設置角に対する情報を格納する。すなわち、イメージ整列推定部１１０は、地面上の基準パターン１に基づいて、各カメラの置かれた相対的位置と各カメラの傾斜角度のみを推定する。
【００３２】
球マッピング部１２０は、広角カメラ１０で撮影された映像を用いて、レンズ歪み補正のためのレンズの光中心を含む光学パラメータを獲得し、獲得された光中心を用いて各映像をガウス球の表面にマッピングする。ここで、光学パラメータは、光中心（ｏｐｔｉｃａｌ
ｃｅｎｔｅｒ）、アスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）、イメージセンサー（ｉｍａｇｅ ｓｅｎｓｏｒ）、投影類型および焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）の少なくとも一つを含むことができる。
【００３３】
前記イメージセンサー、アスペクト比および焦点距離は、センサーのデータシートから得ることができ、光中心は、撮影された映像のレンズサークルまたは楕円の中心から把握することができる。
【００３４】
放射状歪みを補正することは、レンズの屈折を無くす意味でピンホール投影（Ｐｉｎ−ｈｏｌｅ
ｐｒｏｊｅｃｔｉｏｎ）と同じであると考えられる。投影方程式（Ｐｒｏｊｅｃｔｉｏｎ ｅｑｕａｔｉｏｎ）は下記の等距離投影（ｑｕｉｄｉｓｔａｎｔ ｐｒｏｊｅｃｔｉｏｎ）、直交投影（Ｏｒｔｈｏｇｒａｐｈｉｃ
ｐｒｏｊｅｃｔｉｏｎ）、等立体角投影（Ｅｑｕｉｓｏｌｉｄ ａｎｇｌｅ ｐｒｏｊｅｃｔｉｏｎ）、ステレオ投影（Ｓｔｅｒｅｏｇｒａｐｈｉｃ ｐｒｏｊｅｃｔｉｏｎ）などの４つが主に使用できる。
【００３５】
このようにレンズ歪み補正のために使用する主要なパラメータを把握した場合、獲得した情報を用いてガウス球に獲得映像をマッピングする。
【００３６】
仮想空間配列部１３０は、イメージ整列推定部１１０で推定されたカメラの相対的位置と設置角を用いて、上記ガウス球を、実際の基準パターン１と一致するように角度と距離を変更して３次元仮想空間に配列する。仮想空間配列部１３０は、ガウス球の回転角度と移動距離を変更するとき、変更パラメータの推定のための最適化アルゴリズムを用いることができる。最適化アルゴリズムには、ＰＳＯ（Ｐａｒｔｉｃｌｅ
Ｓｗａｒｍ Ｏｐｔｉｍｉｚａｔｉｏｎ）、ＧＤ（Ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）、ＬＭＳＥ（Ｌｅａｓｔ ｍｅａｎ ｓｑｕａｒｅ ｅｓｔｉｍａｔｉｏｎ）などの最適化アルゴリズムが使用できる。
【００３７】
単一映像獲得部１４０は、３次元仮想空間に配列された各映像を、一つの大きい球に該当する３次元球の内面にそれぞれマッピングして３次元単一映像を獲得する。単一映像獲得部１４０は、各映像の中心部に該当するイメージをマッピングするために、３次元球の表面をカメラの個数に分けて分割し、最も隣接したカメラの映像のみをマッピングする。すなわち、単一映像獲得部１４０は、３次元球の内面をカメラの個数を基準として経度別に分け、経度別に分けられた３次元球の一面を地平面と地上面に分けて緯度別にマッピングする。ここで、３次元球における地平面と地上面のマッピング方式は互いに異なってもよい。
【００３８】
歪み補正部１５０は、単一映像獲得部１４０で獲得された映像において、映像の中央部である地平面が放射状に歪められたものを直線形状に補正する。
【００３９】
ＬＵＴ生成部１６０は、合成映像の各画素を入力映像の各画素と対応させてルックアップテーブルを生成する。すなわち、ＬＵＴ生成部１６０は、複数の広角カメラ１０から獲得される複数の入力映像を構成するそれぞれの画素の原座標に対して合成映像の画素の最終座標で対応させた関係を規定するマッピングテーブルを生成する。
【００４０】
次に、上述したように構成された３次元映像合成装置の動作過程を添付図面に基づいて具体的に説明する。
【００４１】
図３は本発明の実施例に係る３次元映像合成過程を示す順序図である。
【００４２】
まず、既知の基準パターン１を図２のように地面に設置する。基準パターン１において、各パターンの特徴点（パターンの交差点）の位置と特徴点間の距離などは３次元映像合成装置１００で既知であると仮定する。
【００４３】
３次元映像出力装置５０は、車両に設置された複数の広角カメラ１０が地面上の基準パターン１を撮影した複数の映像をそれぞれ受け、３次元映像合成装置１００へ伝達する（Ｓ１１）。
【００４４】
次いで、３次元映像合成装置１００は、図４に示すように撮影された映像から基準パターン１の特徴点をそれぞれ抽出し、抽出された特徴点の既知の物理的位置情報を用いて各カメラの相対的位置と設置角を推定する（Ｓ１２、Ｓ１３）。ここで、３次元映像合成装置１００は、推定された各カメラの相対的位置と設置角に対する情報を格納する。すなわち、３次元映像合成装置１００は、地面上の基準パターン１に基づいて、各カメラの置かれた相対的な位置と各カメラの傾斜角度のみを推定する。
【００４５】
各カメラの相対的位置と設置角を推定した後、３次元映像合成装置１００は、撮影された映像を用いて、レンズ歪み補正のためのレンズの光中心を含む光学パラメータを獲得し、これを用いて各映像をガウス球（Ｇａｕｓｓｉａｎ
ｓｐｈｅｒｅ）の表面にマッピングする（Ｓ１４、Ｓ１５）。ここで、光学パラメータは光中心（ｏｐｔｉｃａｌ ｃｅｎｔｅｒ）、アスペクト比（ａｓｐｅｃｔ ｒａｔｉｏ）、イメージセンサー（ｉｍａｇｅ
ｓｅｎｓｏｒ）、投影類型および焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）の少なくとも一つを含むことができる。
【００４６】
放射状歪みを補正することは、レンズの屈折を無くす意味でピンホール投影（ｐｉｎ−ｈｏｌｅ
ｐｒｏｊｅｃｔｉｏｎ）と同一であると考えられる。投影方程式（Ｐｒｏｊｅｃｔｉｏｎ ｅｑｕａｔｉｏｎ）は下記数式（１）の等距離投影（Ｅｑｕｉｄｉｓｔａｎｔ ｐｒｏｊｅｃｔｉｏｎ）、直交投影（Ｏｒｔｈｏｇｒａｐｈｉｃ
ｐｒｏｊｅｃｔｉｏｎ）、等立体角投影（Ｅｑｕｉｓｏｌｉｄ ａｎｇｌｅ ｐｒｏｊｅｃｔｉｏｎ）、ステレオ投影（Ｓｔｅｒｅｏｇｒａｐｈｉｃ ｐｒｏｊｅｃｔｉｏｎ）などの４つが主に使用できる。この際、Ｒｆはｉｍａｇｅ
ｐｌａｎｅにおける投影距離（ｐｒｏｊｅｃｔｅｄ ｄｉｓｔａｎｃｅ）であり、ｆは焦点距離、φは入射線（ｉｎｃｉｄｅｎｔ ｒａｙ）の入射角を示す。この他にも、多様な数式が利用できる。
【００４７】
【数１】
0005739584.tif 000002
【００４８】
カメラ歪み補正のための主要パラメータであるイメージセンサーのアスペクト比は、イメージセンサーのデータシート（ｄａｔａ ｓｈｅｅｔ）から求めることができる。他の方法としては、図５のように撮影された映像のレンズサークル（ｌｅｎｓ
ｃｉｒｃｌｅ）の形状である楕円形態を推定して円形に変換する過程でアスペクト比を求めて使用することができる。
【００４９】
光中心は、撮影された映像のレンズサークルまたは楕円の中心から把握することができる。
【００５０】
焦点距離は、レンズ製造の際に与えられる値と、イメージセンサーのデータシートとを参考して求めることができる。他の方法としては、焦点距離は投影方程式に従って映像の歪みを除去したときに直線が歪みなく表示されるときの焦点距離値で定義できるため、これを推定して焦点距離を獲得することができる。
【００５１】
このようにレンズ歪み補正のために使用する主要なパラメータを把握した場合、獲得した情報を用いて図６のようにガウス球に映像をマッピングする。図６は投影類型による多様な方式のガウス球マッピングを示した。他の種類の線は多様な投影方法を区別するために使用された。
【００５２】
上述のように各映像をガウス球にマッピングした後、３次元映像合成装置１００は、推定されたカメラの相対的位置と設置角を用いて、ガウス球を、実際の基準パターン１と一致するように角度と距離を変更して３次元仮想空間に配列する（Ｓ１６）。この際、ガウス球の回転角度と移動距離を変更するとき、変更パラメータの推定のための最適化アルゴリズムを用いることができる。最適化アルゴリズムは、ＰＳＯ（Ｐａｒｔｉｃｌｅ
Ｓｗａｒｍ Ｏｐｔｉｍｉｚａｔｉｏｎ）、ＧＤ（Ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）、ＬＭＳＥ（Ｌｅａｓｔ ｍｅａｎ ｓｑｕａｒｅ ｅｓｔｉｍａｔｉｏｎ）などの最適化アルゴリズムが使用できる。
【００５３】
このように３次元仮想空間に配列する過程は、各カメラを象徴するガウス球が地面上の基準パターン１に基づいていずれの位置にどのように傾いた状態で置かれているかを推定した後、推定された値に基づいて仮想空間に配列することである。ガウス球は、仮想の３次元空間上に配列され、実際車両に設置されたカメラを描写する。推定過程は、ガウス球を回転および移動させた後、ガウス球にマッピングされている映像をさらに地面にマッピングしたとき、実際の基準パターン１との一致程度を高める方向に回転角度と移動距離を変えることにより行う。ガウス球は下記数式（２）によって実際の基準パターン１とマッピングできる。
【００５４】
【数２】
0005739584.tif 000003
【００５５】
ここで、ＸＹｃは、ガウス球の中心を原点とするときに球の表面にある一点の直交座標であって、（Ｘｃ、Ｙｃ、Ｚｃ）のように表わすことができ、ＸＹｐは、ＸＹｃを地面にマッピングした点の２次元座標である。Ｓｃはガウス球の半径を拡大／縮小するための乗数（ｍｕｌｔｉｐｌｉｅｒ）であり、ｆｐｃは３次元の座標を平面の一点にマッピングする関数であり、Ｒ（φ）、Ｒ（θ）およびＲ（ψ）は下記数式（３）のように３次元座標の回転行列で表わすことができる。カメラが眺める時点をｙ軸、その直交方向をｘ軸、車両の垂直方向をｚ軸とそれぞれ定義したとき、前記φはｘ軸を中心として回転した角、θはｙ軸を中心として回転した角、ψはｚ軸を中心として回転した角をそれぞれ意味する。
【００５６】
【数３】
0005739584.tif 000004
・・・（３）
【００５７】
数式（２）と数式（３）をすべて展開すると、下記数式（４）のとおりである。この際、Ｘｐｄはガウス球がｘ軸方向に移動した距離を示し、Ｙｐｄはガウス球がｙ軸方向に移動した距離を示す。
【００５８】
【数４】
0005739584.tif 000005
・・・（４）
【００５９】
数式（２）〜（４）を用いてパターンマッチングを行った後、回転角度と移動距離を変えていく方法でＰＳＯ（Ｐａｒｔｉｃｌｅ
Ｓｗａｒｍ Ｏｐｔｉｍｉｚａｔｉｏｎ）アルゴリズムを適用することができる。
【００６０】
ガウス球を３次元仮想空間に配列した後、３次元映像合成装置１００は、３次元仮想空間に配列された各映像を、一つの大きい球に該当する３次元球の内面にそれぞれマッピングして３次元単一映像を獲得する（Ｓ１７）。３次元球の内面にマッピングするとき、３次元仮想空間に配列された各ガウス球の映像が３次元球の中心から３次元球の最も隣接した内側面にそれぞれマッピングできる。３次元映像合成装置１００は、各映像の中心部に該当するイメージをマッピングするために、３次元球の内面をカメラの個数に基づいて図７のように経度別に分割する。もし広角カメラ１０が４つの場合、３次元球の内面は経度別に４区域に分けられる。図７において、３次元球の内部にある長方形は車両を意味し、長方形の前／後／左／右に位置した小さい円はカメラを意味する。ここで、一点鎖線は各広角カメラ１０の視野角（ＦＯＶ）を示し、点線は隣接カメラ間の境界線を意味するシームライン（ｓｅａｍ
ｌｉｎｅ）を示す。すなわち、各カメラの映像は経度別に分けられた３次元球から最も近い区域にマッピングされる。このように３次元球を経度別に分割する理由は、映像の外郭部分における歪み率が大きいため、各広角カメラ１０の中心部に該当する映像のみマッピングしようとする意図もある。
【００６１】
経度別に分割された３次元球の内面を、３次元映像合成装置１００は、地平面に該当する緯度を基準として、図８のように地平面と地上面に分ける。図８において、下端の長方形板（斜線表示）は地平面を示し、上端の長方形板（ドット表示）はガウス球の中心部を連結した面を示す。上端の長方形板の上方の半球には、地上面を示す映像をマッピングする。上記３次元仮想空間に配列された各映像を、地平面と地上面に分けて３次元球の該当内面にそれぞれマッピングする。ここで、３次元球の地平面と地上面に映像がマッピングされる方式は３次元映像の実現のために互いに異なってもよい。
【００６２】
地上面に対するマッピング方式で全体の３次元領域を配列する場合、実際の車両近距離周辺の映像も円形に近く表現されるため、使用者が直観的に周辺を理解するのにむしろ障害となる。よって、車両近距離周辺に対してはトップビュー形態で映像をマッピングすることにより、より効果的な車両周辺視覚化を行うことができる。このような理由で近距離と仮定した地平面、および遠距離と仮定した地上面のマッピングを異ならしめて進行する。
【００６３】
たとえば、図９に示すように３次元球の地平面をマッピングするとき、３次元球の一点（ｘｐ，ｙｐ，ｚｐ）は、下記数式（５）のＴを演算した後、ｘ、ｙ、ｚを求める方法によって、最も隣接したガウス球の一点から持ってきて３次元球にマッピングすることができる。図９において、右側のガウス球は地平面のマッピングを説明するための球であり、左側のガウス球は地上面のマッピングを説明するための球である。
【００６４】
【数５】
0005739584.tif 000006
【００６５】
この際、（ｘ，ｙ，ｚ）は地平面の一点である（ｘｓ，ｙｓ，ｚｓ）にマッピングされるガウス球の表面にある点の座標であり、（ｘｃ，ｙｃ，ｚｃ）はガウス球の中心を示す。Ｒはガウス球の半径を示す。
【００６６】
そして、３次元球の地上面をマッピングするとき、３次元球の一点（ｘｐ，ｙｐ，ｚｐ）は、下記数式（６）のＴを演算した後、ｘ、ｙ、ｚを求める方法によって、最も隣接したガウス球の一点から持ってきて３次元球にマッピングすることができる。
【００６７】
【数６】
0005739584.tif 000007
【００６８】
ここで、（ｘ，ｙ，ｚ）は地上面の一点（ｘｐ，ｙｐ，ｚｐ）にマッピングされるガウス球の表面にある点の座標であり、（ｘｃ，ｙｃ，ｚｃ）はガウス球の中心を示し、Ｒはガウス球の半径を示す。
【００６９】
上述したような過程を経ると、図１０のような３次元単一映像が得られる。
【００７０】
このように生成された３次元単一映像に対して、３次元映像合成装置１００は、映像の中央部である地平面が放射状に歪んでいるものを図１１のように直線形状に補正する（Ｓ１９）。３次元単一映像は、図１０に示すように、地平面である基準パターンが曲線形状に示されている。これを基準として直線に補正する必要がある。
【００７１】
歪み補正は、一般に、ピンホールカメラではなく広角レンズを用いるカメラにおけるレンズの曲率を逆演算し、これに基づいて入射点を光中心に均一化させることにより、曲率の差から発生するレンズの歪み現象を除去することを目的とする。よって、歪み補正過程では、レンズの曲率に対する模型式（投影式）が与えられる場合、これに基づいて歪み程度を把握し、補正段階を経て映像内の遠近歪みのみを残す。
【００７２】
上述のように３次元映像の歪みを補正した後、３次元映像合成装置１００は、各映像の画素に対するカメラと原座標を追跡してルックアップテーブルを生成する（Ｓ２０）。
【００７３】
ルックアップテーブルは、複数の広角カメラ１０から獲得される複数の入力映像を構成するそれぞれの画素が合成映像の画素に対応する関係についての映像マッピングデータを格納する手段であって、例えば図１２のような形態で構成できる。
【００７４】
図１２を参照すると、ルックアップテーブルは、複数の広角カメラ１０から獲得される複数の入力映像を構成するそれぞれの画素の原座標（ｘ，ｙ）に対して合成映像の画素の最終座標（Ｔ１１，Ｔ１２，...，Ｔｍｎ）で対応させた関係を規定する１種のマッピングテーブルとしてみなすことができる。合成映像の最終座標（Ｔ１１，Ｔ１２，…，Ｔｍｎ）それぞれは複数の入力映像に対応できる。これは、前述したように、広角カメラ１０によって獲得される映像は広い視野角を有する歪み映像であるので、これを平面化された映像に対応させるときに各映像の画素が１：１ではなくＮ：１の関係で対応する場合があるためである。例えば、最終座標Ｔ１１は３箇所の入力原座標（ｘ１，ｙ２）、（ｘ３，ｙ５）、（ｘ４，ｙ６）にも対応できる。このようなルックアップテーブルは、広角カメラ１０から獲得される入力映像の個数、すなわちカメラ１０の個数だけ備え、それぞれの入力映像別に対応する合成映像の座標値を含むようにする。
【００７５】
このようなルックアップテーブルを生成する過程において、ルックアップテーブルを生成するためには、サンプル合成映像のそれぞれの画素に対して出力を得るために必要な演算の逆演算（ｉｎｖｅｒｓｅ
ｏｐｅｒａｔｉｏｎ）を行うと、合成映像の各画素に対応する入力映像の各画素の座標を求めることができる。
【００７６】
このようなルックアップテーブルの生成過程では、例えば３次元合成映像を構成する画素のうちいずれか一つの画素を選択する。前記画素は座標を基準として選択され、前記座標は合成映像の最終座標となる。
【００７７】
前記画素が選択されると、選択された画素が複数の広角カメラ１０のいずれから生成されたかを把握する。これは合成化過程の逆過程として考えられる。選択された画素が合成化過程でどのカメラから生成されたかを把握するためには、複数の広角カメラ１０から生成される入力映像に対して、カメラを識別することが可能な識別子（ｉｄｅｎｔｉｆｉｅｒ）を追加しておき、追って、このような識別子を確認する方法で行うのが簡便である。
【００７８】
このような過程を行うと、選択された画素の最終座標から、カメラによって獲得される入力映像における原座標がどこであるかを知ることができる。よって、特定の画素の最終座標に対応する原座標を獲得して記録しておく。
【００７９】
このような過程を合成映像の全ての画素に対して順次行い、任意の画素の最終座標に対応する原座標を獲得することができる。
【００８０】
このような方法で獲得された原座標を該当画素の最終座標とマッピングさせて図１２のようなルックアップテーブル（ＬＵＴ）を生成することができる。ここで、入力映像の全ての画素が合成映像の最終座標とマッピングされるのではない。これは、入力映像中の不要な画素は最終座標に対応せずに捨てられることを意味する。一般に、入力映像の一定の領域にある画素のみ、すなわち２０％〜５０％程度の画素のみ合成映像に変換される。したがって、ルックアップテーブルを参照して合成映像に変換される入力映像の画素に対してのみマッピング過程を行うので、その分だけ映像処理時の負荷および時間を減らすことができる。
【００８１】
３次元映像合成装置１００は、図１２のようなルックアップテーブルを生成した後、生成されたルックアップテーブルを、車両に設置された３次元映像出力装置５０へ伝送して格納部５５に設置する。その後、車両では、実際の駐車または走行の際に複数の広角カメラ１０を介して入力された図４のような映像に対して本発明のような合成過程を実施せず、格納部５５に格納されたルックアップテーブルを参照して入力映像の画素を最終合成映像に直ちにマッピングさせることにより、簡単かつ迅速に図１１のような３次元周辺映像を生成および表示することができる。
【００８２】
したがって、本発明では、多数のカメラを仮想の単一カメラに投影させる過程中に生成される３次元立体情報を用いて、既存の空間変換方法（ｓｐａｔｉａｌ
ｔｒａｎｓｆｏｒｍａｔｉｏｎ）であるホモグラフィー時点変換アルゴリズムを使用することなく、３次元立体に対する３次元回転のみを用いて時点変換が可能である。車両周辺空間に対する３次元立体モデリングに基づいて映像合成を行うことにより、地平面と地上面の情報を同時に合成することができるという特徴を持つ。
【００８３】
上述したような３次元映像合成装置および方法は、前述した実施例の構成および作動方式に限定されるものではない。これらの実施例は各実施例の全部または一部を選択的に組み合わせて多様な変形を加えることもできる。
【図１】
0005739584.tif 000011
【図２】
0005739584.tif 000012
【図３】
0005739584.tif 000013
【図４】
0005739584.tif 000014
【図５】
0005739584.tif 000015
【図６】
0005739584.tif 000016
【図７】
0005739584.tif 000017
【図８】
0005739584.tif 000018
【図９】
0005739584.tif 000019
【図１０】
0005739584.tif 000020
【図１１】
0005739584.tif 000021
【図１２】
0005739584.tif 000022