(57)【要約】      （修正有）【課題】ステレオ整合技術により生成された３次元形状情報を介したポイントクラウドバンドラーシステムを提供すること。【解決手段】ステレオカメラ１００と無線通信網を介して通信して映像情報を受信するバンドラーサーバ３１０と、バンドラーサーバ３１０に連結されてバンドラーサーバ３１０の制御信号に応じて地域別数値地図情報を入出力、格納、更新、削除する地図データベース３２０と、バンドラーサーバ３１０と連結されてステレオカメラ１００が獲得した映像を整合させて３次元形状情報として生成する整合器３３０と、バンドラーサーバ３１０と連結されてステレオカメラ１００が獲得した映像を地図座標系に絶対標定させるマッピング器３４０とを含むステレオ整合技術により生成された３次元形状情報を介したポイントクラウドバンドラーシステムである。【選択図】図１７
2018136299.tif 000002
【特許請求の範囲】
【請求項１】
ステレオカメラ１００と無線通信網を介して通信して映像情報を受信するバンドラーサーバサーバ３１０と、前記バンドラーサーバ３１０に連結されてバンドラーサーバ３１０の制御信号に応じて地域別数値地図情報を入出力、格納、更新、削除する地図データベース３２０と、前記バンドラーサーバ３１０と連結されてステレオカメラ１００が獲得した映像を整合させて３次元形状情報として生成する整合器３３０と、前記バンドラーサーバ３１０と連結されてステレオカメラ１００が獲得した映像を地図座標系に絶対標定させるマッピング器３４０とを含むステレオ整合技術により生成された３次元形状情報を介したポイントクラウドバンドラーシステムであって、
前記ステレオカメラ１００は、据置板２１０上に据置固定して使用できるように前記据置板２１０の上面にはボールコップ２２０が一定高さが突出するように固定され、前記ステレオカメラ１００の下端面の中央には、前記ボールコップ２２０にボールジョイントされるボールジョイント部１１０が突出し、前記据置板２１０の下端面には、Ｕ状の固定柱２３０が連結されて前記据置板２１０を支持し、
前記固定柱２３０には、締結ブラケット２４０が結束され、前記締結ブラケット２４０と一体をなした支持片２５０を介して、ユーザが腰に巻いているベルトＢＴに支持固定されるように構成されるが、前記締結ブラケット２４０は、前面カバー２４２と後面カバー２４４及びこれらを引き締めて固定する締結ボルト２４６を含むものの、前記前面カバー２４２は、両端に弓状の締結片２４２ａ一対が形成され、前記一対の締結片２４２ａは、前面連結片２４２ｂにより連結されて一体をなし、前記後面カバー２４４も両端に弓状の結束片２４４ａ一対が形成され、前記一対の結束片２４４ａは、後面連結片２４４ｂにより連結されて一体をなし、前記締結ボルト２４６は、前記前面連結片２４２ｂと後面連結片２４４ｂとを相互締結させ、前記後面カバー２４４の後面連結片２４４ｂの背面上端には、固定支持片２５０が延び、前記固定支持片２５０は、延びた後に垂直に折り曲げられて一定長さがまた延びた折り曲げ端部２５２を有し、前記折り曲げ端部２５２は、ベルトＢＴとズボンとの間の空間に浸透し、前記固定支持片２５０がベルトＢＴに安定的に固定されるようにするために、ベルトＢＴの下部にはこれを取り囲みながら一端は前記折り曲げ端部２５２中に挿入され、他端は、前記固定支持片２５０の下端面にねじ固定される離脱防止片２５４がさらに備えられた
ことを特徴とするステレオ整合技術により生成された３次元形状情報を介したポイントクラウドバンドラーシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、測地測量技術分野のうち、ステレオ（ｓｔｅｒｅｏ）整合技術により生成された３次元形状情報を介したポイントクラウドバンドラーシステムに関し、さらに詳細には、ステレオ整合技術に位置姿勢を利用して地図座標系に絶対標定させるステレオ整合技術により生成された３次元形状情報を介したポイントクラウドバンドラー（Ｐｏｉｎｔ  ｃｌｏｕｄ  Ｂｕｎｄｌｅｒ）システムに関する。
【背景技術】
【０００２】
人間の視覚体系は、互いに異なる位置から獲得した二つの映像を適切に整合することで、距離情報を得ると知られている。
ステレオ整合は、人間視覚体系の距離抽出能力を自動化するためのコンピュータ視覚分野の一つである。
この方法は、超音波とレーザを光源として使用して、光の飛行時間と速度の関数で距離を測定することより効果的であり、実際応用環境の制約を少なく受けるという長所のため、医療映像、工場自動化及び地図の製作に広く利用されてきている。
距離情報を得るための基本段階は、映像獲得、特徴抽出、ステレオ整合、変位推定、変位からの距離計算などからなるここで最も重要な印字は、特徴として使用される整合要素の選択とその要素に適切な整合戦略を求めることであるといえる。
ところが、ステレオ整合の短所は、解像度に応じる映像１対のステレオ映像に対する値を得ることができることにある。
そして、一対のステレオ映像の場合、あまりにも大きな値を有していてデータ処理に長い時間がかかるから、この場合を特徴点マッチングを介して消去する必要がある。
【０００３】
一方、拡張子がＳｆＭ（Ｓｕｒｆａｃｅ  Ｆｅｅｔ  ｐｅｒ  Ｍｉｎｕｔｅ）であるファイルを利用した標定解析の場合、多重映像を利用して全体形状情報を取得することは有利であるが、３次元取得映像に対するスケール値が適用されないから、設計に使用されるのには適切でない。
しかしながら、ＳｆＭの場合、ユーザが特定地点に対するＧＣＰ（地上基準点。Ｇｒｏｕｎｄ  Ｃｏｎｔｒｏｌ  Ｐｏｉｎｔ）を撮ってくれるか、または各々の写真ごとに外部標定要素を入力する場合、スケール値が適用されるが、ユーザの熟練度が結果物に影響を与えるようになるので、熟練度に影響を受けないようにする必要がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】大韓民国公開特許第１０−２００８−００６８４３８号（２００８．０７．２３．）「ステレオ映像で３次元地形モデル及び３次元地表面モデルの生成方法」
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上述のような従来の技術上の諸問題点を勘案してこれを解決しようと案出されたものであって、その目的は、ステレオ整合を介した絶対標定とＳｆＭの多重形状モデリングを介した誤差分布など、ステレオ（Ｓｔｅｒｅｏ）整合とＳｆＭの長所を提供できるようにステレオ（ｓｔｅｒｅｏ）整合技術に位置姿勢を利用して、地図座標系に絶対標定させるステレオ整合技術により生成された３次元形状情報を介したポイントクラウドバンドラーシステムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、上記の目的を達成するための手段として、ステレオカメラ１００と無線通信網を介して通信して映像情報を受信するバンドラーサーバサーバ３１０と、前記バンドラーサーバ３１０に連結されてバンドラーサーバ３１０の制御信号に応じて地域別数値地図情報を入出力、格納、更新、削除する地図データベース３２０と、前記バンドラーサーバ３１０と連結されてステレオカメラ１００が獲得した映像を整合させて３次元形状情報として生成する整合器３３０と、前記バンドラーサーバ３１０と連結されてステレオカメラ１００が獲得した映像を地図座標系に絶対標定させるマッピング器３４０とを含むステレオ整合技術により生成された３次元形状情報を介したポイントクラウドバンドラーシステムであって、
前記ステレオカメラ１００は、据置板２１０上に据置固定して使用できるように前記据置板２１０の上面にはボールコップ２２０が一定高さが突出するように固定され、前記ステレオカメラ１００の下端面の中央には、前記ボールコップ２２０にボールジョイントされるボールジョイント部１１０が突出し、前記据置板２１０の下端面には、Ｕ状の固定柱２３０が連結されて前記据置板２１０を支持し、
前記固定柱２３０には、締結ブラケット２４０が結束され、前記締結ブラケット２４０と一体をなした支持片２５０を介して、ユーザが腰に巻いているベルトＢＴに支持固定されるように構成されるが、前記締結ブラケット２４０は、前面カバー２４２と後面カバー２４４及びこれらを引き締めて固定する締結ボルト２４６を含むものの、前記前面カバー２４２は、両端に弓状の締結片２４２ａ一対が形成され、前記一対の締結片２４２ａは、前面連結片２４２ｂにより連結されて一体をなし、前記後面カバー２４４も両端に弓状の結束片２４４ａ一対が形成され、前記一対の結束片２４４ａは、後面連結片２４４ｂにより連結されて一体をなし、前記締結ボルト２４６は、前記前面連結片２４２ｂと後面連結片２４４ｂとを相互締結させ、前記後面カバー２４４の後面連結片２４４ｂの背面上端には、固定支持片２５０が延び、前記固定支持片２５０は、延びた後に垂直に折り曲げられて一定長さがまた延びた折り曲げ端部２５２を有し、前記折り曲げ端部２５２は、ベルトＢＴとズボンとの間の空間に浸透し、前記固定支持片２５０がベルトＢＴに安定的に固定されるようにするために、ベルトＢＴの下部にはこれを取り囲みながら一端は前記折り曲げ端部２５２中に挿入され、他端は、前記固定支持片２５０の下端面にねじ固定される離脱防止片２５４がさらに備えられたことを特徴とするステレオ整合技術により生成された３次元形状情報を介したポイントクラウドバンドラーシステムを提供する。
【発明の効果】
【０００７】
本発明は一対のステレオ映像があまり大きな値を有しないから、データ処理に長い時間がかからなく、特徴点マッチングを介して解決するという長所がある。
また、本発明は、ＳｆＭの場合、ユーザが特定地点に対するＧＣＰを撮ってくれるか、または各々の写真ごとに外部標定要素を入力する場合、スケール値が適用されるが、ユーザの熟練度が結果物に影響を与えないという長所がある。
それだけでなく、本発明は、ステレオ整合を介した絶対標定とＳｆＭの多重形状モデリングを介した誤差分布など、Ｓｔｅｒｅｏ整合とＳｆＭの長所を活用できる。
【図面の簡単な説明】
【０００８】
【図１】鉛直方向３Ｄデータの最終結果物の例示説明図
【図２】共線条件式の例示説明図
【図３】エピポーララインマッチング例示説明図
【図４】カメラ座標系と実座標系の例示説明図
【図５】エピライン（ｅｐｉｌｉｎｅ）を介したマッチングの例示説明図
【図６】多重映像を介して作られるＷマトリックスの例示説明図
【図７】ＳｆＭアルゴリズム処理過程の例示説明図
【図８】データの流れの例示説明図
【図９】カメラの位置、姿勢とｆｏｃａｌ  ｌｅｎｇｔｈ値を介してステレオ整合された映像を絶対標定させる状態例示説明図
【図１０】各映像間の位置値誤差値を赤い線と黄色い線で表示した例示説明図
【図１１】左側２Ｄ映像情報を利用した各映像間の特徴点マッチングの例示説明図
【図１２】多重ステレオ整合データ特徴点抽出の例示説明図
【図１３】各整合映像の左側値を介した結果修正例示説明図
【図１４】側面部３Ｄデータ整合例示説明図
【図１５】位置点に対する結果値を一括的に移動した例示説明図
【図１６】ドイツ自律走行に使用されるＳＬＡＭの例示説明図
【図１７】本発明にかかるバンドラーシステムの概略構成図
【図１８】本発明にかかるステレオカメラの据置台構造を示した例示説明図
【図１９】図１８の要部を抜萃して示した例示的な断面図
【発明を実施するための形態】
【０００９】
以下、添付図面を参考にして、本発明にかかる好ましい実施の形態をさらに詳細に説明する。
本発明の説明に先立って、以下の特定の構造ないし機能的説明は、ただ本発明の概念による実施の形態を説明するための目的として例示されたものであって、本発明の概念による実施の形態は、様々な形態で実施されることができ、本明細書に説明された実施の形態に限定されると解析されてはならない。
また、本発明の概念による実施の形態は、多様な変更を加えることができ、様々な形態を有することができるので、特定の実施の形態は、図面に示し、本明細書に詳細に説明しようとする。しかしながら、これは本発明の概念による実施の形態を特定の開示形態に限定しようとするものではなく、本発明の思想及び技術範囲に含まれるすべての変更物、均等物ないし代替物を含む。
【００１０】
本発明のステレオ整合技術により生成された３次元形状情報を介したポイントクラウドバンドラーシステムは、ステレオ（ｓｔｅｒｅｏ）整合技術に位置姿勢を利用して地図座標系に絶対標定作業させることを特徴とする。
図１は、鉛直方向３Ｄデータの最終結果物の例示図であって、後述する多数の過程により最終的に得られることができる結果物を例示する。
【００１１】
このための処理過程の一つにエピポーラライン補正を含む。
［エピポーラライン補正］
エピポーラカーブ生成は、左側映像の任意の一点から出発して、左側映像、地上点右側映像に対する反復投影を介してエピポーラカーブを生成する技法である。
左側映像の中心に対するエピポーラカーブに対する例であって、図２の映像を図３を参照して例示的に説明する。
【００１２】
図２による映像の中心点ｐ点から地上の最大、最小高さを経て右側映像のｑ１、ｑ２映像点が獲得され、この二点はそれぞれ同じ方法により左側映像ｐ'、ｐ"点を生成する。
反復するほど、投影点が生成され続けながら、映像の終わりに至るようになり、投影映像点をつないだことがまもなくエピポーラカーブとなる。
映像に対して映像変換式を導き出してエピポーラ曲線を介して映像リサンプリング映像変化式の０．５ピクセル及び精密ｙ視差を確保する。
【００１３】
例えば、図３のように、３次元空間上の一点Ｐが映像Ａではｐに投影され、映像Ｂではｐ'に投影されたとすれば、このとき、二つのカメラの原点をつなぐ線とイメージ平面とが会うｅ、ｅ’をエピポール（ｅｐｉｐｏｌｅ）と呼び、投影点とエピポール（ｅｐｉｐｏｌｅ）とをつなぐ直線ｌ、ｌ’をエピライン（ｅｐｉｌｉｎｅ）あるいはエピポーラライン（ｅｐｉｐｏｌａｒ  ｌｉｎｅ）と呼ぶ、
エピラインは、３次元の点Ｐと二つのカメラの原点とをつなぐ平面（ｅｐｉｐｏｌａｒ  ｐｌａｎｅ）とイメージ平面との交線共線条件式でも表すことができる。
二つのカメラ位置間の幾何学的関係［Ｒｌｔ］を知っており、映像Ａでの映像座標ｐを知っているとき、映像Ｂにおいて対応する点ｐ'の座標を求める問題を考えてみると、このとき、点Ｐまでの距離（ｄｅｐｔｈ）情報を知っていないと、映像座標ｐから投影された座標ｐ'もまた唯一に決定することができない。
【００１４】
しかしながら、点Ｐは、Ａカメラの原点とｐとをつなぐ直線（ｌｉｎｅ）上に存在するから、この直線を映像Ｂに投影させると、点ｐ’がこの投影された直線上にあることが分かる。
この投影された直線がｅｐｉｌｉｎｅ  ｌ'である。
整理すると、図３でのＡの映像座標ｐから対応するＢの映像座標ｐ’を唯一に決定できないが、ｐ’が通る直線であるｅｐｉｌｉｎｅ  ｌ'は唯一に決定できる。
そして、一つの映像座標から他の映像での対応するｅｐｉｌｉｎｅを計算する変換行列がＦｕｎｄａｍｅｎｔａｌ  Ｍａｔｒｉｘ、Ｅｓｓｅｎｔｉａｌ  Ｍａｔｒｉｘである。
互いに異なる二つの時点で撮った映像座標の間には、Ｆｕｎｄａｍｅｎｔａｌ  Ｍａｔｒｉｘ、Ｅｓｓｅｎｔｉａｌ  Ｍａｔｒｉｘを媒介とする所定の変換関係が成立するが、Ｅｐｉｐｌｏａｒ  Ｇｅｏｍｅｔｒｙでは、この変換関係に基づいていろいろな幾何学的問題を解くようになる。
［Ｅｓｓｅｎｔｉａｌ  Ｍａｔｒｉｘ］
【００１５】
【数１】
2018136299.tif 000003
【００１６】
【数２】
2018136299.tif 000004
【００１７】
Ｅｓｓｅｎｔｉａｌ  Ｍａｔｒｉｘとは、任意の二地点で撮った映像のマッチング点は、常に上記［数１］を介して関係付けられることができ、このとき上記[数１]をｅｐｉｐｏｌａｒ  ｃｏｎｓｔｒａｉｎｔ（またはｅｓｓｅｎｔｉａｌ  ｃｏｎｓｔｒａｉｎｔ）という。
この式中、上記[数２]のように、３×３行列ＥをＥｓｓｅｎｔｉａｌ  Ｍａｔｒｉｘと呼ぶ。
【００１８】
Ｅｓｓｅｎｔｉａｌ  Ｍａｔｒｉｘ  Ｅが常に存在する理由は、次のとおりである。
任意の二つのカメラ座標軸間の関係は、回転、平行移動により関係付けられることができるから、二つのカメラ座標軸間の３×３回転行列をＲ、３×１平行移動ベクトルをｔとしたとき、外部空間上の一点を二つのカメラ座標系から見た時の関係を、下記の［数３］のように表現できる。
【００１９】
【数３】
2018136299.tif 000005
（ただし、Ｐは、外部空間上の点をＡカメラ座標系から見た時の３次元座標、Ｐ'は、Ｂカメラ座標系から見た時の３次元座標である。）
【００２０】
このとき、Ｅｓｓｅｎｔｉａｌ  ＭａｔｒｉｘＥを下記［数４］のようにすると、
【００２１】
【数４】
2018136299.tif 000006
【００２２】
以下の［数５］が満たされることが分かる。
ただし、上記[数４]中［ｔ］ｘは、ベクトルｔとのベクトル外積（ｏｕｔｅｒ  ｐｒｏｄｕｃｔ）を意味する。
また、［ｔ］ｘＲは、ｔとＲとの外積を意味するものではなく、まずＲで回転させた後にｔと外積させる一連の変換を意味する。すなわち、Ｅｐ＝［ｔ］ｘＲｐ＝ｔ×（Ｒｐ）である。
【００２３】
【数５】
2018136299.tif 000007
【００２４】
【数６】
2018136299.tif 000008
【００２５】
このとき、上記［数５］の左辺にＥ＝［ｔ］ｘＲを代入すると、次の［数７］のように常に０が出ることが分かる。
【００２６】
【数７】
2018136299.tif 000009
【００２７】
以下、上記［数５］のカメラ座標を正規イメージ座標に変えると、下記［数８］が成立することが分かる。
【００２８】
【数８】
2018136299.tif 000010
【００２９】
［Ｆｕｎｄａｍｅｎｔａｌ  Ｍａｔｒｉｘ］
Ｆｕｎｄａｍｅｎｔａｌ  Ｍａｔｒｉｘは、カメラパラメータまで含んだ二つのイメージの実際ピクセル（ｐｉｘｅｌ）座標間の幾何学的関係を表現する行列である。
任意の二つのイメージＡ、Ｂに対して、マッチングされるピクセル座標ｐｉｍｇ、ｐｉｍｇ'の間には、常に次のような関係を満たす行列Ｆが存在し、このような行列ＦをＦｕｎｄａｍｅｎｔａｌ  Ｍａｔｒｉｘと呼び、下記［数９］、［数１０］のように表現できる。
【００３０】
【数９】
2018136299.tif 000011
【００３１】
【数１０】
2018136299.tif 000012
【００３２】
このとき、イメージＡに対したカメラ内部パラメータ行列をＫ、イメージＢに対したカメラ行列をＫ‘、イメージＡ、Ｂ間のＥｓｓｅｎｔｉａｌ  ＭａｔｒｉｘをＥとすると、Ｆｕｎｄａｍｅｎｔａｌ  Ｍａｔｒｉｘ  Ｆは、次の［数１１］、［数１２］のように与えられる。
【００３３】
【数１１】
2018136299.tif 000013
【００３４】
【数１２】
2018136299.tif 000014
万が一、イメージＡ、Ｂを同じカメラで撮影したとすれば、カメラ行列（Ｋ）が同じであるから、上記［数１１］及び］［数１２］は、次の［数１３］及び［数１４］のようにさらに単純化される。
【００３５】
【数１３】
2018136299.tif 000015
【００３６】
【数１４】
2018136299.tif 000016
【００３７】
［カメラキャリブレーション（Ｃａｍｅｒａ  Ｃａｌｉｂｒａｔｉｏｎ）］
カメラ映像は、３次元空間上の点を２次元イメージ平面に投射（ｐｅｒｓｐｅｃｔｉｖｅ  ｐｒｏｊｅｃｔｉｏｎ）することにより得られる。
ピンホール（ｐｉｎｈｏｌｅ）カメラモデルにおいてこのような変換関係は、次のようにモデリングされる。
【００３８】
【数１５】
2018136299.tif 000017
【００３９】
前記［数１５］は、カメラキャリブレーションに関するモデリング式である。
ここでは、ワールド座標系（ｗｏｒｌｄ  ｃｏｏｒｄｉｎａｔｅ  ｓｙｓｔｅｍ）上の３Ｄ点の座標、［Ｒｌｔ］は、ワールド座標系をカメラ座標系に変換させるための回転／移動変換行列であり、Ａは、ｃａｍｅｒａ  ｍａｔｒｉｘである。
このような状態は、添付された図４によく示されている。
数式的に見ると、カメラキャリブレーション（ｃａｍｅｒａ  ｃａｌｉｂｒａｔｉｏｎ）は、上記のような３Ｄ空間座標と２Ｄ映像座標との間の変換関係式を表す。
このように表す値は、３次元の点が映像に投影された位置を求めるか、または逆に映像座標から３次元座標を復元する時には、このような内部要因を除去しなければ正確な計算が出来なくなり、このような内部要因のパラメータ値を求める過程をカメラキャリブレーションという。
【００４０】
［従来のステレオ整合方法］
ステレオ整合は、整合要素によって特徴基盤（ｆｅａｔｕｒｅ  ｂａｓｅｄ）法と領域基盤（ａｒｅａ−ｂａｓｅｄ）法に大別される。
特徴基盤に用いられる整合要素（ｍａｔｃｈｉｎｇ  ｐｒｉｍｉｔｉｖｅ）は、零交差点、境界線、隅、  頂点（ｃｒｅｓｔ）  、谷（ｔｒｏｕｇｈ）、円錐曲線などがある。
これらは、整合点が正確でかつ雑音に強いという特徴を有するが、整合される点が少ないから、全体映像の変位値を求めるためには、閉塞モデリング（ｏｃｃｌｕｓｉｏｎ  ｍｏｄｅｌｉｎｇ）と変位連続性（ｄｉｓｐａｒｉｔｙ  ｃｏｎｔｉｎｕｉｔｙ）などを含む難しい内挿（ｉｎｔｅｒｐｏｌａｔｉｏｎ）過程を必要とする。
これに対し、領域基盤法での整合要素は、明るさ情報の変化が平坦であるか、または同じ領域の模様、平均明るさ及び面積などを利用する。
この整合要素は、明るさ情報に多く依存するから、雑音に弱い面があるが、映像の全体距離情報を得ることができるという長所がある。
最近では、階層的な整合法、様々な整合要素を利用する複合的な整合法、色情報を利用する整合法、複数枚のステレオ映像を利用する整合法、位相を利用する整合法、神経回路網を利用する方法、遺伝子アルゴリズムを利用する方法などが提案されている。
【００４１】
（１）ビルボードスウィップステレオ視差整合アルゴリズム
ステレオ映像から地面、地面上に存在する客体、及びカメラからの距離が遠い背景の三領域に対する視差を決定するアルゴリズムである。提案されたシステムでは、地面、客体及び背景の三領域のうち、客体領域を検出領域候補領域として活用する。
該当映像の視差とレーベルを決定するための過程は、大きくホモグラフィ基盤の整合費用獲得過程と計算された整合費用を活用した多重方向線最適化過程とに区分される。
まず、予め定義された各３次元平面に対して、ホモグラフィ基盤の整合費用を獲得する。
ステレオカメラと３次元平面の関係式は、次のようにホモグラフィＨで表現される。
【００４２】
【数１６】
2018136299.tif 000018
【００４３】
（２）相関基盤関数
差基盤関数（ＳＡＤ、ＳＳＤ）より相関基盤関数（ＮＣＣ、ＮＣ、Ｃｅｎｓｕｓｔｒａｎｓｆｏｒｍ）は、二映像間の線形的な明るさ変化または映像歪みなどに強靭な特性を表す。
差基盤関数は、画素単位の整合が可能であるが、実映像で映像の雑音が多い場合、または物体の境界領域で整合性能を高めるために、ウィンドウ基盤の比較整合を主に使用するようになる。
照明環境が劣悪であるか、または明るさオフセットが存在する映像の場合、相関基盤の整合方法が差基盤の整合方法に比べて相対的に優れた結果を表す。
添付した図５を参照することにする。
相関基盤関数のうち、ＮＣＣについて説明する。
ＮＣＣアルゴリズムの一般的な式は、次の通りである。
【００４４】
【数１７】
2018136299.tif 000019
【００４５】
ＮＣＣアルゴリズムは、上記の［数１７］のように左・右映像の画素値の共分散（ｃｏｖａｒｉａｎｃｅ）を分子とし、各画素の標準偏差（ｓｔａｎｄａｒｄ  ｄｅｖｉａｔｉｏｎ）を分母とする。
このとき、標準片差は、分散（ｖａｒｉａｎｃｅ）の平方根値を取る。
これにより、映像の明るさ相互関連度（ｂｒｉｇｈｔｎｅｓｓ  ｃｏｒｒｅｌａｔｉｏｎ）を比較して、類似度が最も大きな値を探すことである。
左映像基盤のステレオ整合過程の場合、式において同じエピポーラライン上に置かれた二ウィンドウ領域に対して、右映像の視差範囲［０，ｄ］に対してそれぞれのＮＣＣ結果を比較するようになる。
ＮＣＣ結果の範囲は、［−１，１］を有するようになるが、ステレオ整合過程では、逆相関関係は除いて［０，１］の範囲をその対象にするようになる。
【００４６】
［ＳｆＭを介したＰｏｉｎｔ  ｃｌｏｕｄ抽出］
２次元映像を利用して３次元情報を得るための研究は、コンピュータビジョン分野において盛んに研究されている。
基本研究の大部分は、ステレオカメラにおいてステレオ幾何研究を介した部分的な３次元復元をいう。
３枚以上の映像を介して多重映像幾何を利用したＳｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ（ＳＦＭ）研究は、撮影環境または別途のカメラ補正が要らない点などの環境に制約がなく、事前に特殊な条件無しで撮影された映像を処理して、３次元復元機能を有している。
次の自重映像幾何で作られるＷメトリックス（２ｍｘｎ）は、次の添付された図６と図７に示す式のように定義または説明される。
ＳｆＭ技法は、撮影された重複映像をエピポーラ幾何を利用したｉｍａｇｅ  ｍａｔｃｈｉｎｇを介して３次元ｐｏｉｎｔ  ｃｌｏｕｄデータで被写体を再構成するビジョン（ｖｉｓｉｏｎ）技法である。
ＳｆＭ技法は、写真に格納されたタグから焦点距離、カメラ種類、映像大きさなどの情報を取得して初期値として利用、接合のための映像を特徴点として抽出し（ＳＧＭ）、参考資料は、以下のとおりである。
【００４７】
［１］ステレオ整合
ｈｔｔｐ：／／ｃｉｌａｂ．ｋｎｕ．ａｃ．ｋｒ／ｒｅｓｅａｒｃｈ／Ｖｉｓｉｏｎ／ｍａｔｃｈｉｎｇ．ｈｔｍ
［２］ｅｐｉｐｏｌａｒ  ｇｅｏｍｅｔｒｙ−ｈｔｔｐ：／／ｄａｒｋｐｇｍｒ．ｔｉｓｔｏｒｙ．ｃｏｍ／８３
［３］［映像Ｇｅｏｍｅｔｒｙ＃１］座標系−ｈｔｔｐ：／／ｄａｒｋｐｇｍｒ．ｔｉｓｔｏｒｙ．ｃｏｍ／７７
［４］高密度３Ｄ形状計測システムでの高速視差推定のためのＮＣＣアルゴリズム基盤ハードウェア構造−ベ・キョンリョル、 クォン ・スン、イ・ヨンフヮン、イ・ジョンフン、ムン・ビョンイン
［５］多重映像基盤の不完全データ行列による３次元定量化のための基盤研究−ソン・スンヒョン、イ・エンソク、オ・ジャクソン、イ・キョンチェ、キム・ミンギ
［６］尚志大学校授業資料
http://hjiklee.sangji.ac.kr/%EA%B5%90%EC%88%98%EB%8B%98%20%ED%99%88%ED%8E%98%EC%9D%B4%EC%A7%80%20%EC%88%98%EC%97%85%EC%9E%90%EB%A3%8C/%EC%82 %AC%EC%A7%84%EC%B8%A1%EB%9F%89/%EA%B1%B4%EC%84%A4%EB%B6%84%EC%95%BCGIS_6%EC%9E%A5_%EB%93%9C%EB%A1%A0%EC%82%AC%EC%A7%84%EC%B8%A1%EB%9F%89(2016%EB%85%841%ED %95%99%EA%B8%B0).pdf
【００４８】
本発明は、ステレオ（Ｓｔｅｒｅｏ）整合の短所である解像度に応じる映像１対のステレオ映像に対する値を得ることができる。
そして、一対のステレオ映像の場合、あまりにも大きな値を有しているから、データ処理に長い時間がかかる。
この場合を特徴点マッチングを介して消去しようとする。
ＳｆＭを利用した標定解析の場合、多重映像を利用して全体形状情報を取得することは有利であるが、３次元取得映像に対するスケール値が適用されないから、設計に使用されるには適切でない。
しかしながら、ＳｆＭの場合、ユーザが特定地点に対するＧＣＰを撮ってくれるか、または各々の写真ごとに外部標定要素を入力する場合、スケール値が適用されるが、ユーザの熟練度が結果物に影響を与えるようになる。
結論的に、ステレオ整合を介した絶対標定とＳｆＭの多重形状モデリングを介した誤差分布など、ステレオ（Ｓｔｅｒｅｏ）整合とＳｆＭの長所を使用しようとする。
【００４９】
本発明は、図８及び図９のようなデータフローチャートを介して映像座標値を示す。
ステレオ整合映像を介してＤｅｐｔｈｍａｐを出力し、内部標定要素を利用してｄｅｐｔｈｍａｐに対する左側カメラ基盤の位置点（ローカル座標変換）を出力する。
このようなデータフローチャートは、図８によく示されている。
図９は、カメラの位置、姿勢とＦｏｃａｌ  Ｌｅｎｇｔｈ値を介してステレオ整合された映像を絶対標定させる状態がよく示されている。
絶対標定だけを有して出た映像は、同じ位置点に対して次のように誤差を有している。
【００５０】
図１０には、各映像間の位置値誤差値が赤い線と黄色い線で表示されているから、よく確認することができる。
各２Ｄ映像間の特徴点マッチングを介して、映像間の連結性を確保する。
これにステレオ（Ｓｔｅｒｅｏ）整合により得られる３次元座標値を割り当てて、位置点に対する正確な位置を出力する。
【００５１】
図１１には、左側２Ｄ映像情報を利用した各映像間の特徴点マッチング状態がよく示されている。
特徴点マッチングを介した各映像は、多重で習得された次のような図１２のとおりであり、各位置点による整合正確度に応じて位置誤差が発生するようになる。
このように得られた値の３次元データを平均値として求めて正確度の均衡を合せる。
映像でのｘ１、ｙ１、ｚ１の位置値とｘ２、ｙ２、ｚ２位置値とを比較する。
このように同じ位置点であると考えられる地点に対して値を平均化して、映像に対する外部標定要素を再度推定し、その値を介して再度絶対標定させる。
【００５２】
図１３は、各整合映像の左側値を介した結果修正状態が示されている。
図１４は、側面部３Ｄデータ整合状態が示されており、図１５は、位置点に対する結果値を一括的に移動した状態が示されている。
【００５３】
また、類似技術に図１６のようなドイツにおいて自律走行に使用するＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  Ａｎｄ  ｍａｐｐｉｎｇ：同時的位置推定及び地図作成）がある。
これによれば、ロボットイメージの空間上において走行を始める場合、周辺環境に対する何らの情報がない。したがって、ロボットが位置情報に基づいて作業を行うためには、センサ情報を利用して環境に対する地図を作成し、同時に作成された地図から自己位置を推定する。
ＳＬＡＭには、距離センサ、ビジョンセンサなど多様な種類のセンサが使用される。
距離センサは、代表的にレーザスキャナー、赤外線スキャナー、超音波センサ、ライダー、レーダーなどがあり、ビジョンセンサには、ステレオカメラ、モノカメラ、全方位カメラ、Ｋｉｎｅｃｔなどが含まれている。
距離センサは、物体までの距離情報を容易に得ることができるが、活用できる情報の種類が制約的であるという短所がある。
ビジョンセンサは、映像情報を加工して距離及び認識される物体の多様な種類の情報を獲得できる。
【００５４】
このような概念に基づいて、本発明にかかるバンドラーシステムは、図１７のように、ステレオカメラ１００と無線通信網を介して通信して映像情報を受信するバンドラーサーバ３１０と、前記バンドラーサーバ３１０に連結されてバンドラーサーバ３１０の制御信号に応じて地域別数値地図情報を入出力、格納、更新、削除する地図データベース３２０と、前記バンドラーサーバ３１０と連結されてステレオカメラ１００が獲得した映像を整合させて３次元形状情報として生成する整合器３３０と、前記バンドラーサーバ３１０と連結されてステレオカメラ１００が獲得した映像を地図座標系に絶対標定させるマッピング器３４０とを含んで構成される。
【００５５】
このとき、前記ステレオカメラ１００は、無線通信が可能なように通信モジュールを内蔵しており、特に、携帯容易性を増大させ、作業者が両手を自由に使用できるように、図１８及び図１９のような形態で据置板２１０上に据置固定して使用するように構成される。
この場合、据置板２１０は、四角板状の合成樹脂で成形された部材であり、上面の中央には、ボールジョイント結合を誘導するボールコップ２２０が突出形成され、前記ステレオカメラ１００の下端面の中央には、前記ボールコップ２２０にボールジョイントされて回転可能なボールジョイント部１１０が突出する。
そして、前記据置板２１０の下端面には、Ｕ状の固定柱２３０が連結されて、前記据置板２１０を支持するようになる。
また、前記固定柱２３０には、締結ブラケット２４０が結束され、締結ブラケット２４０と一体をなした支持片２５０を介してユーザが腰に巻いているベルトＢＴ（図１９を参考）に支持固定されることによって、前記据置板２１０を手で取らなくても、腰を利用して把持できるから、両手を自由に使用しながら作業できるという利点を提供する。
【００５６】
さらに具体的に、前記締結ブラケット２４０は、前面カバー２４２と後面カバー２４４及びこれらを締め付けて固定する締結ボルト２４６を含んで構成される。
このとき、前記前面カバー２４２は、両端に弓状の締結片２４２ａの一対が形成され、前記一対の締結片２４２ａは、前面連結片２４２ｂにより連結されて一体をなす。
同様に、前記後面カバー２４４も両端に弓状の結束片２４４ａが一対形成され、前記一対の結束片２４４ａは、後面連結片２４４ｂにより連結されて一体をなす。
そして、前記締結ボルト２４６は、前記前面連結片２４２ｂと後面連結片２４４ｂとを相互締結させる。
ここで、前記前面カバー２４２と後面カバー２４４とが前記固定柱２３０を取り囲んで固定する時にスリップしないようにしながら固定力を高めるために、長方形状のゴム板２４８を介在させることができる。
すなわち、ゴム板２４８を固定柱２３０に巻いた状態で前面カバー２４２と後面カバー２４４とを当接し相互締結するようになると、固定柱２３０と締結ブラケット２４０との間にゴム板２４８が介在された状態を維持できるようになる。
また、前記後面カバー２４４の後面連結片２４４ｂの背面上端には、固定支持片２５０が延びる。
【００５７】
前記固定支持片２５０は、延びた後に垂直に折り曲げられて一定長がまた延びた折り曲げ端部２５２を有する。
このとき、前記折り曲げ端部２５２は、ベルトＢＴとズボンとの間の空間に浸透し、前記固定支持片２５０がベルトＢＴに安定して固定されるようにするために、ベルトＢＴの下部には、これを取り囲みながら、一端は前記折り曲げ端部２５２中に挿入され、他端は、前記固定支持片２５０の下端面にねじ固定される離脱防止片２５４がさらに備えられる。
このようにすれば、固定支持片２５０がベルトＢＴから分離されないながら堅実安定的な固定力を提供するようになるので、ステレオカメラ１００を安定して支持できるようになる。
ここで、前記据置板２１０と固定柱２３０とも、合成樹脂で成形されるが、耐腐食性（耐湿性）と防汚性及び耐久性を揃えるようにするために、次のような合成樹脂組成物で成形することが好ましい。
【００５８】
すなわち、前記合成樹脂組成物は、ポリエチレン樹脂６０重量％、シリカ２０重量％、及び残りの機能性添加物からなるものの、前記機能性添加物は、前記ポリエチレン樹脂１００重量部に対して、１，４−ブチレングリコール２重量部、テトライソプロピルタイタネート３重量部、マイカ（Ｍｉｃａ）１．５重量部、コロイド性シリカ３重量部、アルミニウムアルコキシド４重量部、ポリ乳酸１０重量部、１−２μｍの粒度を有するアルミナ粉末２重量部、ＣＺ（Ｎ−ｃｙｃｌｏｈｅｘｙｂｅｎｚｏｔｈｉａｚｏｌｅ−２−ｓｕｌｆｅｎａｍｉｄｅ）２重量部、モンモリロナイト３重量部、Ｄｓ（Ｄｉｃｈｌｏｒｏｄｉｍｅｔｈｙｌｓｉｌａｎｅ）７重量部、ステアリン酸カルシウム３重量部、エチレングリコールモノメチルエーテル４重量部、ポリソルベート８０（Ｐｏｌｙｓｏｒｂａｔｅ  ８０）５重量部、ケイ酸ソーダ（Ｓｏｄｉｕｍ  Ｓｉｌｉｃａｔｅｓ）５重量部、エリソルビン酸ナトリウム５重量部、サリチル酸エステル３重量部、テルビウム２重量部、０．１−０．２μｍの粒度を有するボーキサイトクリンカー粉末５重量部、γ−アミノプロピルトリエトキシシラン２重量部、芳香族ポリアミン２重量部、酸化ナトリウム（Ｎａ２Ｏ）１重量部、三酸化二鉄（Ｆｅ２Ｏ３）１重量部、アルキレンアミド２重量部、硫酸エステル２重量部、０．１ｍｍ以下の粒度を有する睡蓮（ｗａｔｅｒ  ｌｉｌｙ）粉末２重量部を含むように構成される。
このとき、ポリエチレン樹脂はベース樹脂であり、前記１，４−ブチレングリコールは、接着性を強化させて付着力を極大化させるために添加され、前記テトライソプロピルタイタネートは、有機化タイタネート構造を有するカップリング剤であって、高分子樹脂と無機物間の界面接着力を強化させて耐久性を高めるために添加される。
【００５９】
そして、前記マイカは、珪酸塩鉱物の一種であって、０．１−０．２μｍの大きさに粉砕された後に篩にかけられたものを使用し、硬質特性により耐久性と耐衝撃性を強化させるために添加される。
また、前記コロイド性シリカは、５−５０ｎｍの粒径を有する無定形のシリカゾルが好ましく、前記アルミニウムアルコキシドは、硬化触媒及び架橋結合剤機能を行うために添加され、付随的に耐久性の高い硬度の皮膜を具現するのに寄与する。
それだけでなく、前記ポリ乳酸は、合成高分子タイプの樹脂であって、耐湿性、加工性に優れた物性があり、溶融温度は１５０−２００℃であり、軟性による軟質化、引っ張り強さ、伸び率を向上させる特性がある。
【００６０】
そして、アルミナは、アルミニウムと酸素の化合物であって、耐久性の向上のために添加される。
それだけでなく、ＣＺ（Ｎ−ｃｙｃｌｏｈｅｘｙｂｅｎｚｏｔｈｉａｚｏｌｅ−２−ｓｕｌｆｅｎａｍｉｄｅ）は、表面のスリップ性を増大させて、異物付着防止性を極大化させるために添加される。
また、モンモリロナイトは、一種の無機フィラ−であって、機械的物性を増大させるために添加され、Ｄｓ（Ｄｉｃｈｌｏｒｏｄｉｍｅｔｈｙｌｓｉｌａｎｅ）は、強い疏水性を有した物質であって、防湿性を極大化させるために添加される。
【００６１】
そして、ステアリン酸カルシウムは、分散剤として潤滑機能を促進して、添加物の均質な分散性を誘導するために添加される。
また、エチレングリコ−ルモノメチルエーテルは、接着性を強化させるために添加され、付着力を強くして耐久性を高めるために添加される。
それだけでなく、ポリソルベート８０（Ｐｏｌｙｓｏｒｂａｔｅ  ８０）は、ソルビトールから派生した非イオン性界面活性済の一つであって、水分の広がりを防止するために添加され、ケイ酸ソーダ（Ｓｏｄｉｕｍ  Ｓｉｌｉｃａｔｅｓ）は、表面接着力を高めながら粘結性を強化するために添加され、エリソルビン酸ナトリウムは、酸化防止のために添加される。
また、サリチル酸エステルは、紫外線を吸収して紫外線により樹脂が変形するのを防止する機能を担当するようになる。
なお、テルビウムは、ランタン族に属する希土類金属であって、展性と軟性が大きいから、コーティング層の緩衝及び耐摩耗度の向上に寄与するようになる。
また、０．１−０．２μｍの粒度を有するボーキサイトクリンカー粉末は、結合力を増大させて圧縮強度を高めるために添加される。
【００６２】
そして、前記γ−アミノプロピルトリエトキシシランは、メラミン樹脂などの熱硬化性樹脂と無機材料とのカップリングのためのシランカップリング剤であって、結合性、接着性、表面強度を高めるために添加される。
なお、前記芳香族ポリアミンは、硬化を促進するためのものである。
また、前記酸化ナトリウムは、二酸化硅素と反応して珪酸塩を形成することによって耐火度を高める機能を行い、特に酸化ナトリウムは、酸化防止機能も行う。
また、前記三酸化二鉄は、防錆機能のために主に使用されるが、本発明では、界面分離を抑制するために添加され、酸化鉄という特性上、微量添加されなければならない。
なお、前記アルキレンアミドは、潤滑性及び安定性を維持するために添加されるものであって、混合を円滑にし、混合後に壊れが発生しないようにするために添加される。
また、前記硫酸エステルは、紫外線に対する光劣化作用により分解結合されながら耐熱性を増大させるために添加される。
また、前記睡蓮（ｗａｔｅｒ  ｌｉｌｙ）粉末は、睡蓮を採取して十分に乾燥した後に砕いて粉末化させたもので、天然吸湿剤でかつ生分解性を有しているから親環境的である。睡蓮は、特に炭化水素またはオイルミストを吸着するのに卓越した効果を有している。
【００６３】
このような組成による異物防止性及び耐湿性を確認するために、１０ｃｍ×５ｃｍ×０．５ｃｍ大きさのシートに成形した後、表面に水をスプレーした後、シートを９０度まで立てた時に水が流れるのを確認した。実験結果、１５度を超えるやいなや水が流れて耐湿性に優れたことが確認された。これは異物防止性が高いということも意味する。
【符号の説明】
【００６４】
１００    ステレオカメラ
３１０    バンドラーサーバ
３２０    地図データベース
３３０    整合器
３４０    マッピング器
【図１】
2018136299.tif 000020
【図２】
2018136299.tif 000021
【図３】
2018136299.tif 000022
【図４】
2018136299.tif 000023
【図５】
2018136299.tif 000024
【図６】
2018136299.tif 000025
【図７】
2018136299.tif 000026
【図８】
2018136299.tif 000027
【図９】
2018136299.tif 000028
【図１０】
2018136299.tif 000029
【図１１】
2018136299.tif 000030
【図１２】
2018136299.tif 000031
【図１３】
2018136299.tif 000032
【図１４】
2018136299.tif 000033
【図１５】
2018136299.tif 000034
【図１６】
2018136299.tif 000035
【図１７】
2018136299.tif 000036
【図１８】
2018136299.tif 000037
【図１９】
2018136299.tif 000038