(57)【要約】画像取り込装置（１２）を使用することによる画像追跡。前記方法は、画像取り込装置の使用によりシーン（５４）の取り込画像を行なう工程、及び画像処理アルゴリズム（６４）を使用することにより１セットの画像を分析することによる画像取り込装置（１２）の追跡移動（６２）を含んでいる。【選択図】図１
2012533222.tif 000002
【特許請求の範囲】
【請求項１】
画像ベースのポジショニング方法であって、
（Ａ）画像取り込装置の使用によりシーンの画像取り込を行なう工程、および
（Ｂ）１セットの画像の分析により前記画像取り込装置の位置座標を求める工程
を含む方法。
【請求項２】
前記工程（Ａ）は、さらに、（Ａ１）前記画像取り込装置を使用することによりリアルタイムで前記シーンの前記画像取り込を行なう工程を含み、前記画像取り込装置は、デジタルカメラ、デジタルビデオカメラ、デジタルカムコーダ、ステレオデジタルカメラ、ステレオビデオカメラ、モーションピクチャーカメラおよびテレビカメラからなる群から選択されることを特徴とする請求項１に記載の方法。
【請求項３】
前記工程（Ｂ）はさらに、（Ｂ１）前記セットの捕らえられた画像データおよび前記セットのシーン・深さデータの１セットの６座標データへの厳密なグローバル変換を行なうことを含み、６座標データの前記セットが、前記画像取り込装置の移動を表わすことを特徴とする請求項１に記載の方法。
【請求項４】
前記工程（Ｂ１）はさらに、（Ｂ１,  １）前記画像取り込み装置に取り付けられた照合システムでの少なくとも１つのオブジェクトポイントの少なくとも１つのｉ番目のフレームの３Ｄ座標に対して、２Ｄ照合座標系における前記画像取り込装置センサー面上の像点の２Ｄピクセル座標にマッピングするために前記画像取り込装置のマッピング関数を使用する工程を含み、ｉは整数であることを特徴とする請求項３に記載の方法。
【請求項５】
前記工程（Ｂ１，１）はさらに、（Ｂ１，１，１）規則的なレクチリニアーレンズのマッピング関数、魚眼レンズのマッピング関数、及び特別に調整されたレンズのマッピング関数からなる群から、前記画像取り込装置の前記マッピング関数を選択する工程を含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記工程（Ｂ１）はさらに、（Ｂ１，２）前記マッピング関数の反転を得る工程を含み、
ここで、前記マッピング関数の前記反転は、少なくとも１つのｉ番目のフレームに対してマッピングするように構成される、２Ｄ照合座標系への前記画像取り込装置センサー面上の少なくとも１つの像点の２Ｄピクセル座標、照合システムでの少なくとも１つのオブジェクトポイントの３Ｄ座標に、前記画像取り込装置に付けられたことを特徴とする請求項３に記載の方法。
【請求項７】
前記工程（Ｂ１）はさらに、（Ｂ１，３）前記シーンの前記あらかじめ測量されたデータを使用して前記少なくとも１つのオブジェクトポイントの３Ｄ深さ座標を得る工程を含むことを特徴とする請求項３に記載の方法。
【請求項８】
前記工程（Ｂ１）はさらに、（Ｂ１，４）２つの連続するフレームである、ｉ番目のフレームと、ｋ番目のフレームの関係から、前記画像取り込装置の６つのベクトル記載する前記移動を抽出する工程を含み、ここで、少なくとも１つのオブジェクトポイントは、前記２つの実質的に連続する同じ強度の少なくとも２つのピクセルを生成することを特徴とする請求項３に記載の方法。
【請求項９】
（Ｂ１，４，１）前記画像取り込装置の移動を記載している前記６つのベクトルを最適化する工程を含む請求項８に記載の方法。
【請求項１０】
（Ｂ１，４，２）前記２つの連続するフレームの前記関係に対して、非線形の最小自乗問題の解決により、前記画像取り込装置の移動を記載している前記６つのベクトルを最適化する工程を含む請求項８に記載の方法。
【請求項１１】
（Ｂ１，４，３）前記２つの連続するフレームの前記関係を最適化することにより、前記画像取り込装置のｎ次元に制限された移動を記載している（６−ｎ）ベクトルを最適化する工程を含み、ここで、整数ｎは６未満である請求項８に記載の方法。
【請求項１２】
前記工程（Ｂ１）はさらに、（Ｂ１，５）前記２つの連続するフレームの関係、すなわち少なくとも２つのピクセルである、第１ピクセルおよび第２ピクセルに対して深さデータを一致させて、ｉ番目のフレームとｋ番目のフレームの間系から、前記画像取り込装置の移動を記載している６つのベクトルを抽出する工程を含み、前記第１ピクセルが前記ｉ番目のフレームに位置づけられ、前記第２ピクセルが前記ｋ番目のフレームに位置づけられることを特徴とする請求項３に記載の方法。
【請求項１３】
（Ｂ１，５，１）前記画像取り込装置の移動を記載している前記６つのベクトルを最適化する工程をさらに含む請求項１２に記載の方法。
【請求項１４】
（Ｂ１，５，２）前記２つの連続するフレームの前記関係に対して非線形の最小自乗問題の解決により、前記画像取り込装置の移動を記載している前記６つのベクトルを最適化する工程をさらに含む請求項１２記載の方法。
【請求項１５】
（Ｂ１，５，３）前記２つの連続するフレームの前記関係を最適化することによって、前記画像取り込装置のｎ次元に制限された移動を記載している（６−ｎ）ベクトルを最適化する工程を含み、ここで、整数ｎは６未満である請求項１２に記載の方法。
【請求項１６】
前記工程（Ｂ１）はさらに、（Ｂ１，６）２つの連続するフレームの関係から、すなわち少なくとも２つのピクセルである、第１ピクセル及び第２ピクセルに対する前記深さデータを一致させることによって、および前記２つの連続するフレームにおいて実質的に同じ強度を有する少なくとも２つのピクセル一致させることによって、ｉ番目のフレームとｋ番目のフレームの間系から、前記画像取り込装置の６つのベクトル記載する前記移動を抽出する工程を含み、ここで、前記第１ピクセルは前記ｉ番目のフレームに位置づけられ、前記第２ピクセルは前記ｋ番目のフレームに位置づけられることを特徴とする請求項３に記載の方法。
【請求項１７】
（Ｂ１，６，１）前記画像取り込装置の移動を記載している前記６つのベクトルを最適化する工程を含む請求項１６に記載の方法。
【請求項１８】
（Ｂ１，６，２）前記２つの連続するフレームの前記関係に対して非線形の最小自乗問題の解決により、前記画像取り込装置の移動を記載している前記６つのベクトルを最適化する工程を含む請求項１６に記載の方法。
【請求項１９】
（Ｂ１，６，３）前記２つの連続するフレームの前記関係を最適化することによって前記画像取り込装置のｎ次元的に制限された移動を記載している（６−ｎ）ベクトルを最適化する工程を含み、ここで、整数ｎは６未満である請求項１６に記載の方法。
【請求項２０】
画像追跡の方法であって、
（Ａ）画像取り込装置の使用によりシーンの画像取り込をリアルタイムで行なう工程、
（Ｂ）ポイントレーザービーム、ソナー、レーダー、レーザースキャナー、及びデプスカメラから成る群から選ばれた距離測定装置の使用により、１セットのシーン・深さデータを得る工程、および
（Ｃ）前記セットのリアルタイムで捕えられた画像の分析により前記画像取り込装置の移動を追跡する工程を含む
方法。
【請求項２１】
前記工程（Ｂ）はさらに、（Ｂ１）前記画像取り込装置に付けられたＫポイント距離測定システムの使用によって画像取り込装置に付属の３Ｄ照合システムでの前記セットのシーン・深さデータを測定する工程を含み、ここで、前記セットのシーン・深さデータは、前記シーンの３Ｄ深さ測定の整数のＫポイント集合を含み、また、ここで、少なくとも１つの前記オブジェクトポイントの少なくとも１つの像点のために最適の深さ測定を得るために、前記３Ｄオブジェクトポイントの２Ｄ像点に関連した少なくとも１つのオブジェクトポイントの３Ｄ深さ座標は、前記シーンの３Ｄ深さ測定の前記Ｋポイント集合の補間によって得られ、また、ここで、前記整数Ｋは、実質的に前記フレーム中のピクセル数未満であることを特徴とする請求項２０に記載の方法。
【請求項２２】
前記工程（Ｂ）はさらに、（Ｂ２）前記画像取り込装置に付けられたＭポイント距離測定システムの使用により、前記オブジェクトポイントの少なくとも１つの像点のために前記オブジェクトポイントの前記深さを直接測定する工程を含み、ここで、前記シーンの深さ測定の前記整数Ｍは、前記フレームのピクセル数と実質的に等しいことを特徴とする請求項２０に記載の方法。
【請求項２３】
前記工程（Ｂ）はさらに、（Ｂ３）前記画像取り込装置に付けられた特徴点距離測定システムの使用により、画像取り込装置に付属の３Ｄ照合システムの前記セットのシーン・深さデータを測定する工程を含み、前記シーンは１セットの整数Ｋの特徴オブジェクトポイントを含み、
ここで、前記特徴点距離測定システムは前記シーンの前記Ｋ特徴オブジェクトポイントのＫセットの３Ｄ深さ測定を得るものであって、
また、ここで、少なくとも１つの前記オブジェクトポイントの少なくとも１つの像点のための最適の深さ測定を得るために、前記３Ｄオブジェクトポイントの２Ｄ像点に関連した少なくとも１つのオブジェクトポイントの３Ｄ深さ座標は、前記シーンの３Ｄ深さ測定の前記Ｋポイント集合の補間によって得られ、また、前記整数Ｋは、実質的に前記フレームのピクセル数未満であることを特徴とする請求項２０に記載の方法。
【請求項２４】
前記工程（Ｃ）はさらに、（Ｃ１）捕らえられた画像データの前記セット、および前記１セットのシーン・深さデータの１セットの６座標データへの厳密なグローバル変換を行な工程を含み、ここで、前記セットの６座標データは、前記画像取り込装置の移動を表わすことを特徴とする請求項２０に記載の方法。
【請求項２５】
前記工程（Ｃ１）はさらに、（Ｃ１，１）少なくとも１つのｉ番目のフレームのために、前記画像取り込装置に付けられた照合システムでの少なくとも１つのオブジェクトポイントの３Ｄ座標を、２Ｄ照合座標系の前記画像取り込装置センサー面上の像点の２Ｄピクセル座標にマッピングするマッピング関数を使用する工程を含むことを特徴とする請求項２４に記載の方法。
【請求項２６】
前記工程（Ｃ１，１）はさらに、（Ｃ１，１，１）規則的なレクチリニアーレンズのマッピング関数、魚眼レンズのマッピング関数、特別に調整されたレンズのマッピング関数から成る群から前記マッピング関数を選択する工程を含むことを特徴とする請求項２５に記載の方法。
【請求項２７】
前記工程（Ｃ１）はさらに、（Ｃ１，２）前記マッピング関数の反転を得る工程を含み、前記マッピング関数の前記反転は、２Ｄ照合座標系における前記画像取り込装置センサー面上の少なくとも１つの像点の少なくとも１つのi番目のフレーム２Ｄ画像座標に対して、前記画像取り込装置に取り付けられた照合システムでの少なくとも１つのオブジェクトポイントの３Ｄ座標にマッピングするように構成される請求項２４に記載の方法。
【請求項２８】
前記工程（Ｃ１）はさらに、（Ｃ１，３）前記２つの連続するフレームであるｉ番目のフレームおよびｋ番目のフレームの関係から前記画像取り込装置の前記移動を記載する６つのベクトルを抽出する工程を含み、ここで、前記シーンの少なくとも１つのポイントは、前記２つの連続するフレームの実質的に同じ強度の少なくとも２つのピクセルを生成することを特徴とする請求項２４に記載の方法。
【請求項２９】
（Ｃ１，３，１）前記画像取り込装置の移動を記載している前記６つのベクトルを最適化する工程をさらに含む請求項２８に記載の方法。
【請求項３０】
（Ｃ１，３，２）前記２つの連続するフレームの前記関係に対して非線形の最小自乗問題の解決により、前記画像取り込装置の移動について記載している前記６つのベクトルを最適化する工程をさらに含む請求項２８に記載の方法。
【請求項３１】
（Ｃ１，３，３）前記２つの連続するフレームの前記関係の最適化によって、前記画像取り込装置のｎ次元に制限された移動を記載している（６ｎ）ベクトルを最適化する工程を含み、ここで、整数ｎは６未満である請求項２８に記載の方法。
【請求項３２】
前記工程（Ｃ１）はさらに、（Ｃ１，４）前記２つの連続するフレームであるｉ番目のフレームおよびｋ番目のフレームの関係、すなわち少なくとも２つのピクセル用の深さデータとの一致によって前記第１ピクセルは前記ｉ番目のフレームに位置づけられ、前記第２ピクセルは前記ｋ番目のフレームに位置づけられる関係から、前記画像取り込装置の前記移動を記載する６つのベクトルを抽出する工程を含むことを特徴とする請求項２４に記載の方法。
【請求項３３】
（Ｃ１，４，１）前記画像取り込装置の移動を記載している前記６つのベクトルを最適化する工程をさらに含む請求項３２に記載の方法。
【請求項３４】
（Ｃ１，４，２）前記２つの連続するフレームの前記関係に対して非線形の最小自乗問題の解決により、前記画像取り込装置の移動を記載している前記６つのベクトルを最適化する工程をさらに含む請求項３２に記載の方法。
【請求項３５】
（Ｃ１，４，３）前記２つの連続するフレームの前記関係の最適化によって、前記画像取り込装置のｎ次元に制限された移動を記載している（６ｎ）ベクトルを最適化する工程を含み、ここで、整数ｎは６未満である請求項３２に記載の方法。
【請求項３６】
前記工程（Ｃ１）はさらに、（Ｃ１，５）前記２つの連続するフレームである、少なくとも二つのピクセルに対して深さデータを一致させることによって、および前記２つの連続するフレームにおける実質的に同じ強度を有する少なくとも２つのピクセルと実質的に一致することにより、番目のフレームおよびｋ番目のフレームの関係から前記画像取り込装置の前記移動を記載する６つのベクトルを抽出する工程を含み、
前記二つのピクセルが、第１ピクセルおよび第２ピクセルであり、ここで、前記第１ピクセルは前記ｉ番目のフレームに位置し、前記第２ピクセルは、前記ｋ番目のフレームに位置することを特徴とする請求項２４に記載の方法。
【請求項３７】
（Ｃ１，５，１）前記画像取り込装置の移動を記載している前記６つのベクトルを最適化する工程をさらに含む請求項３６に記載の方法。
【請求項３８】
（Ｃ１，５，２）前記２つの連続するフレームの前記関係に対する非線形の最小自乗問題の解決により、前記画像取り込装置の移動を記載している前記６つのベクトルを最適化する工程を含む請求項３６に記載の方法。
【請求項３９】
（Ｃ１，５，３）前記２つの連続するフレーム間の前記関係を最適化することによって、前記画像取り込装置のｎ次元で制限された移動を記載している（６ｎ）ベクトルを最適化する工程をさらに含み、ここで、整数nは６未満である請求項３６に記載の方法。
【請求項４０】
画像追跡用の装置であって、
（Ａ）シーンの画像取り込をリアルタイムで行なうように構成された画像取り込装置、および
（Ｂ）１セットの画像を分析することにより前記画像取り込装置の追跡移動のための手段
を備える装置。
【請求項４１】
（Ｃ）前記シーンの１セットの深さデータを得るための手段をさらに備える請求項４０に記載の装置。
【請求項４２】
前記手段（Ｂ）はさらに、（Ｂ１）前記セットの捕らえられた画像および前記セットのシーン・深さデータの１セットの６座標データへの厳密なグローバル変換を行なうための手段をさらに含み、ここで、前記セットの６座標データは、前記画像取り込装置の移動を表わすことを特徴とする請求項４０に記載の装置。
【請求項４３】
前記手段（Ｃ）はさらに、（Ｃ１）全地球型衛星航法システム（ＧＮＳＳ）測量システム、レーザ平面システム、及びセオドライトから成る群から選ばれた測量器を備える請求項４１に記載の装置。
【請求項４４】
前記手段（Ｃ）はさらに、（Ｃ２）ポイントレーザービーム、ソナー、レーダー、レーザースキャナー、及びデプスカメラから成る群から選ばれた距離測定装置をさらに備える請求項４０に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像ベースのナビゲーションの分野に関するものである。
【背景技術】
【０００２】
空がはっきり見えない地域、例えばトンネルまたは森において、ＧＰＳ装置は、ＧＰＳ衛生からの受信不足により、正確な位置決めを維持するという難しい課題に直面する。我々は、「地上追跡（ｇｒｏｕｎｄ  ｔｒａｃｋｉｎｇ）」と呼ばれるアプリケーションを提供する。このアプリケーションは、画像取り込装置の３Ｄ位置を正常な状態に戻すことができる。この画像取り込装置は、あらゆる方向に保つことができ、画像を取り込み、統計と画像処理アルゴリズムを組み合わせて使用して、その３Ｄ軌道を推定する。
【発明の概要】
【０００３】
この要旨は、以下の詳細な説明において更に記載される概念の選択を導入するために提供される。この要旨は、請求された主題の要所または本質的な特徴を示すために意図されず、また、請求された主題の範囲を定義するのに助けとなるものとして使用されるように意図されてはいない。
【０００４】
画像追跡の方法が提供される。その方法は、（Ａ）画像取り込装置を使用することにより、シーンの画像取り込みを行う工程、および（Ｂ）１セットの画像を分析することにより、画像取り込装置の動作を追跡する工程を含む。
【図面の簡単な説明】
【０００５】
この明細書中に組み込まれ、明細書の一部を形成する添付の図面は、本技術の実施形態を図示し、および説明と共に、原理を以下の通り説明する役目を果たす：
【０００６】
【図１】本技術の実施形態に従った画像追跡のための装置を表す。
【図２】本技術の実施形態に従った画像追跡の方法のフローチャートであり、ここで、シーンの深さのデータは、予めシーンを測量することにより得られる。
【図３】本技術の実施形態に従った画像追跡の方法のフローチャートであり、ここで、シーンの深さのデータは、距離測定装置（ｒａｎｇｅ  ｍｅａｓｕｒｅｍｅｎｔ  ｄｅｖｉｃｅ）を使用することにより得られる。
【図４】画像取り込装置によるシーンの画像の取り込みを図示する図である。
【図５】本技術の実施形態に従った画像処理アルゴリズムにより計算される、画像取り込装置の２Ｄ運動を図示する図を表す。
【図６】本技術の実施形態に従った画像処理アルゴリズムにより計算される、画像取り込装置の高さ運動を図示する図である。
【図７】本技術の実施形態に従った画像処理アルゴリズムにより計算される、画像取り込装置の総回転角度（ｔｏｔａｌ  ｒｏｔａｔｉｏｎ  ａｎｇｅｌｓ）（ヨー、ピッチおよびロール）を図示する図を表す。
【発明を実施するための形態】
【０００７】
ここで、本技術の実施形態、添付の図面において図示される実施例について詳しく言及する。本技術が様々な実施形態と組み合わせて説明される一方で、それらがこれら実施形態に対して本技術を制限するために意図されたものでないということが理解される。反対に、本技術は、代替案、修正および同等物を包含するよう意図されたものであり、それらは添付の請求項によって定義されるように、様々な実施形態の精神および範囲内に含まれる。
【０００８】
更に、以下の詳細な説明において、多数の具体的な詳細が、本実施形態の完全な理解を提供するために説明される。しかし当業者にとって、本実施形態がこれら具体的な詳細無しに実行されることは明らかである。他の例において、よく知られた方法、手順、要素、および回路は、本実施形態の実施態様を不必要に曖昧にしないように、詳しく説明されていなかった。 
【０００９】
図１は、本技術の実施形態に従った画像追跡２２のための装置を図示するブロック図１０である。
【００１０】
本技術の実施形態において、画像追跡装置（２２）は更に、画像処理アルゴリズム（２５）を搭載するメモリ（２４）を更に含む、ソフトウェアモード（ＳＷ）におけるシーン（２０）の画像取り込みを実行するために構成された画像取り込装置（１２）、および画像処理アルゴリズム（２５）を可能にすることにより１セットの画像を分析するために構成された汎用プロセッサ（またはデジタルシグナルプロセッサ、或いはグラフィックプロセッシングユニットなど）（２６）を含む。
【００１１】
本技術の実施形態において、画像追跡装置（２２）は更に、ハードウェアにおいて画像処理アルゴリズム（２５）を実行することにより１セットの画像を分析するために構成されたＡＳＩＣチップ（またはＦＰＧＡチップ）（２７）（アナログまたはデジタルモードにおける）を更に含む、ハードウェアモード（ＨＷ）においてシーン（２０）の画像取り込みを実行するために構成された画像取り込装置（１２）を含む。
【００１２】
画像取り込装置（１２）は、デジタルカメラ；デジタルビデオカメラ；デジタルカムコーダー；ステレオデジタルカメラ；ステレオビデオカメラ；モーションピクチャーカメラ；テレビカメラ；およびデプスカメラ（ｄｅｐｔｈ  ｃａｍｅｒａ）からなる群から選択される。
【００１３】
本技術の実施形態において、画像取り込装置（１２）は、遮光ボックス（ｌｉｇｈｔ−ｔｉｇｈｔ  ｂｏｘ）であり、その中でシーン（２０）の画像が、センサ板（３２）にあるピンホールまたはレンズ（１６）により形成される。未だにビデオとデジタルカメラは、固体メモリ（２８）、または磁気メディア或いは光ディスク（２８）の中に画像を保存する。
【００１４】
モーションピクチャーカメラまたはシネカメラは、１セットのフレームにおける一定間隔での動きを記録する。テレビカメラまたはビデオカメラは、放送のため電子的に動きを記録し、磁気メディアまたは光ディスク上に保存する。カムコーダーは、単一のユニットの中に画像センサ及び記録媒体の両方を含むビデオカメラである。
【００１５】
小さな穴を通してフィルムに画像の焦点を当てるピンホールカメラを除き、他の全てのカメラは焦点を当てるためにレンズ（１６）を用いる。レンズの焦点の長さ、即ち、レンズの後部（限遠に焦点を合わせられた場合）と画像装置の間の距離は、それらが画像表面センサ板（３２）（ｉｍａｇｉｎｇ  ｓｕｒｆａｃｅ−ｓｅｎｓｏｒ  ｐｌａｔｅ  ３２）上に現れる通りに、画角、または視角 （ＦＯＶ）（１８）および対象の大きさを定める。画像は、レンズと表面の間の距離を調節することにより、その表面に焦点を当てられる。
【００１６】
本技術の実施形態において、レンズ（１６）は更に、一般的なレクチリニアーレンズを含む。レクチリニアーレンズは、直線が実質的に曲げられていない、または歪められていないレンズである。
【００１７】
本技術の実施形態において、レンズ（１６）は更に、魚眼レンズを含む。魚眼レンズは、かなり広い半球状の画像を取り込む広角レンズである。魚眼レンズは、広大な風景を撮影するためによく使用される。魚眼レンズは、直線的な画像を無くし、代わりに画像に特徴的な凸状の外観を与える特別なマッピング（例えば、等角（ｅｑｕｉｓｏｌｉｄ  ａｎｇｌｅ））を選ぶことにより、かなり広い角度の景色にまで達する。 
【００１８】
本技術の実施形態において、レンズ（１６）は更に、特別に調整されたレンズ（ｃｕｓｔｏｍ−ｃａｌｉｂｒａｔｅｄ  ｌｅｎｓｅｓ）を含む。
【００１９】
本技術の実施形態において、画像取り込装置（１２）は更に、光ディスプレイ、液晶ディスプレイ（ＬＣＤ）、またはスクリーンを更に含む、ディスプレイ（３４）を更に含む。
【００２０】
本技術の実施形態において、画像取り込装置（１２）は更に、ステレオデジタルカメラを含む。ステレオカメラは、２つ以上のレンズを備えるカメラの一種である。これによりカメラは両眼視を模倣することができ、それゆえ３Ｄ画像を取り込む能力、ステレオ写真撮影として知られる処理が与えられる。ステレオカメラは、映画用に立体的な景色や立体画を作るため、またはレンジ撮像のために使用され得る。イギリスにある３−Ｄ  Ｉｍａｇｅｓ  Ｌｔｄ．，は、３−Ｄデジタルステレオカメラ、即ち完全に自動的で、時間が同時進行のデジタルステレオカメラを製作している。カナダにあるＰｏｉｎｔ  Ｇｒｅｙ  Ｒｅｓｅａｒｃｈ  Ｉｎｃ．，は、非構造化環境において３Ｄ測定イオン（３  Ｄ  ｍｅａｓｕｒｅｍｅｎｔｓ  ｉｏｎ）の完全な視野を提供できる双眼鏡または複数アレイのカメラを製作している。
【００２１】
対象の画像の基本的な要素は、色またはグレースケールの一点を表すピクセルである。
【００２２】
各々のピクセルは、その色または明度を表す１セットの数を含む。ピクセルが色を明示できる精度は、そのビットまたは色の深さと呼ばれる。画像がより多くのピクセルを含むにつれ、描写する能力もより細かくなる。
【００２３】
ピクセルは単なる情報の論理ユニットであるため、その大きさを明示しなければ実在の大きさを表すのに役に立たない。用語「１インチあたりのピクセル（ＰＰＩ）」は、この理論的なピクセルユニットを実在の視角解像度に関連付けるために導入された。
【００２４】
「１インチあたりのピクセル（ＰＰＩ）」は、非常に率直な用語である。この用語は、水平および垂直方向における距離１インチ当たり、画像がどれだけのピクセルを含むかということを単に表すものである。
【００２５】
「メガピクセル」は単に、百万ピクセルの単位である。デジタルカメラは、画像を作成するためにメガピクセルのセンサアレイ（数百万の小さなピクセル）を使用し得る。カメラのシャッターボタンが押され、露光が始まると、これらピクセルの各々は、光子を保存する「フォトサイト（ｐｈｏｔｏ  ｓｉｔｅ）」を有する。一旦露光が終わると、カメラはどのくらいの光子が各々に入ったかを査定しようとする。各々の空洞における光子の相対量はその後、様々な明度レベルへと保存され、その精度はビットの深さ（８ビットの画像に関しては０−２５５）により定められる。
【００２６】
各々の空洞は、各々の色がどのくらい入ったかを区別することができず、故に上記の表現は、グレースケールの画像を作成することしかできない。色の情報を取り込むデジタルセンサを広げるため使用される一つの方法は、センサが赤（Ｒ）、緑（Ｇ）および青（Ｂ）の光を区別できるようにする各々の空洞に入る光を、フィルターにかけることである。 
【００２７】
本技術の実施形態において、シーン（２０）の深さ上のオブジェクトポイント（３０）から画像ベースの追跡装置（２２）までの距離は、ポイントレーザービーム、ソナー、レーダー、レーザースキャナおよびデプスカメラからなる群から選択された距離測定装置（１４）を使用して定められる。
【００２８】
ポイントレーザービーム距離測定装置（１４）は、連続して照射されたレーザー、またはパルス状のレーザー、或いは配列されたレーザーであり得る、青色固体レーザー、赤色ダイオードレーザー、ＩＲレーザーを使用することにより実行される。
【００２９】
レーザースキャナ距離測定装置（１４）は、Ｓｅｎｓｏｒ  Ｉｎｔｅｌｌｉｇｅｎｃｅのウェブサイトｗｗｗ．ｓｉｃｋ．ｃｏｍにより提供される位置決めセンサを使用することによって実行される。例えば、小型のハウジングを有するレーザースキャナーモデルネームＳ１０Ｂ−９０１１ＤＡおよび頑丈なＩＰ  ６５デザインが使用され得る。このレーザースキャナは、以下のデータシート：寸法：（Ｗ×Ｈ×Ｄ）＝１０２×１５２×１０５ｍｍ、２７０度の走査角、および１０メートルのスイッチング磁場範囲を有する。それは、以下の機能性：スタンバイモード、７セグメントの入力ディスプレイ、結合型パラメーターメモリーインシステム、プラグＣＡＮｏｐｅｎインターフェース、および低エネルギー消費を有する。
【００３０】
ソナー距離測定装置（１４）は、音声送信機および受信機を含む能動的ソナーを使用することにより実行される。
【００３１】
能動的ソナーは、よく「ピン」と呼ばれる音の振動を作り、その後、振動の反射（反響）を聞き取る。この音の振動は一般的に、おそらくビーム成形器を備えた、信号発生器、電力増幅器および電機音響変換器／アレイからなるソナープロジェクターを使用して、電子的に作られる。シーン（２０）までの距離を測定するため、振動の送信から受信までの時間は、音の速さを知ることによって測定され、距離へと切り替えられる。振動は、（受信時に振動の圧縮を許容するための）一定の頻度または変わる頻度のチャープにあり得る。振動の圧縮は、デジタル相関技術を使用することにより達成され得る。
【００３２】
レーダー距離測定装置（１４）は、シーン（２０）により反射され、受信機により、典型的には送信機と同じ位置において検出されるマイクロ波または電波を放つ送信機を使用することにより実行される。
【００３３】
本技術の実施形態において、画像取り込装置（１２）は更に、対象の画像撮影と対象までの距離の測定を組み合わせるデプスカメラを含む。
【００３４】
デプスカメラは、深さの情報を伴うビデオを取り込むことができるＺＣａｍビデオカメラを使用することにより実行される。このカメラは、飛行時間と呼ばれる原理を使用して取り込まれたピクセルの各々に関する深さを測定することができるセンサを有する。シーンにおける全ての対象に赤外線光の振動を放つこと、および各々の対象の表面から反射された光を感知することにより、３Ｄ情報を得る。深さは、発信源から離れ、シーン（２０）における対象により反射されるにつれ、光線の飛行時間を計算することにより測定される。往復時間は、ＣＭＯＳ時間／デジタル変換器（ＣＭＯＳ  ｔｉｍｅ−ｔｏ−ｄｉｇｉｔａｌ  ｃｏｎｖｅｒｔｅｒ）を使用して、各々のピクセルに関するデジタルコードへと独立して変換される。３ＤＶシステムの製造業者によると、深さの解像度はかなり良い：１秒につき６０フレームで同時にフルカラーの１．３メガピクセルビデオを取り込み、３Ｄ動作を検出し、０．４インチまで小さくできる。
【００３５】
本技術の実施形態において、まだ図１を指すが、画像取り込装置（１２）は更に、全地球的航法衛星システム（ＧＮＳＳ）測量システム；レーザープレーンシステム（ｌａｓｅｒ  ｐｌａｎｅ  ｓｙｓｔｅｍ）；およびセオドライトからなる群から選択された、測量器（３６）を含む。この実施形態において、シーン（２０）は予め測量され、シーンの距離データは、画像ベースの追跡装置（２２）の位置座標を定めるため画像のセットと組み合わせた、画像ベースの追跡装置（２２）により使用される。
【００３６】
全地球的航法衛星システム（ＧＮＳＳ）測量システム（３６）は、ＧＰＳの新しいＬ２Ｃおよび次のＬ５シグナルを含む、全てのＧＰＳおよびＧＬＯＮＡＳＳ  Ｌ１／Ｌ２シグナルを支持し、４４の衛生まで追跡する能力があるＴＲＩＭＢＬＥ  Ｒ８  ＧＮＳＳシステムを使用することにより実行される。 
【００３７】
全地球的航法衛星システム（ＧＮＳＳ）測量システム（３６）は、高精度ＧＰＳ受信器および一つのユニットに組み合わせられたＵＨＦラジオを含む、Ｔｒｉｍｂｌｅ（登録商標）Ｒ７ ＧＮＳＳシステムを使用することにより実行される。Ｔｒｉｍｂｌｅ  Ｒ７  ＧＮＳＳは、ＲＴＫまたは静的測量のために使用され得る。モジュラーＴｒｉｍｂｌｅ  Ｒ７  ＧＮＳＳシステムは、別々のアンテナ：ローバーとして使用される場合はＴｒｉｍｂｌｅ  Ｚｅｐｈｙｒ（商標）２を、基地局として使用される場合はＺｅｐｈｙｒ  Ｇｅｏｄｅｔｉｃ（商標）２を利用する。Ｔｒｉｍｂｌｅ  ＧｅｏＥｘｐｌｏｒｅｒソフトウェアは、異なるパスファインダーシナリオのために使用され得る。Ｔｒｉｍｂｌｅ  ＧｅｏＥｘｐｌｏｒｅｒは、以下のデータシート：統合されたＳＢＡＳを備える１〜３メートルのＧＰＳ；鮮明ではっきりとしたマップビューイング用の高解像度のＶＧＡディスプレイ；Ｂｌｕｅｔｏｏｔｈ（登録商標）および無線ＬＡＮ接続オプション；リムーバブルカードのためのＳＤスロットを加えた１ＧＢの内蔵記憶装置を有する。それは、Ｗｉｎｄｏｗｓ（登録商標）  Ｍｏｂｉｌｅ  ｖｅｒｓｉｏｎ  ６オペレーティングシステムを含む。それはまた、全日バッテリーが備わった頑丈なハンドヘルドとして実行される。
【００３８】
レーザープレーン測量システム（３６）はまた、Ｔｒｉｍｂｌｅ  ｐｒｏｄｕｃｔ−Ｓｐｅｃｔｒａ  ＰｒｅｃｉｓｉｏｎレーザーＧＬ４１２およびＧＬ４２２を使用することにより実行される。Ｓｐｅｃｔｒａ  Ｐｒｅｃｉｓｉｏｎ（登録商標）レーザーＧＬ４１２およびＧＬ４２２グレードレーザーは、３つのジョブ−レベル、グレードおよび垂直で垂直整列を行う、費用効率が高い自動セルフレベリングレーザーである。両方のレーザーは、両方向の、全機能搭載型リモートコントロールを特徴付け、故に減少した設定時間およびより早い操作のため、現場のあらゆる場所からグレードを変化させる。ＧＬ４１２（シングルグレード）およびＧＬ４２２（デュアルグレード）レーザーは、作業領域全体にわたり、連続した、セルフレベルの３６０度レーザーリファレンスを送り、様々なスロープアプリケーションにおいて使用されるように広いグレード距離（ｗｉｄｅ  ｇｒａｎｄ  ｒａｎｇｅ）を有する。
【００３９】
レーザープレーン測量システム（３６）はまた、レーザー光の面を作るために回転される連続したセルフレベルのレーザービームを放つＡｐａｃｈｅ  Ｈｏｒｉｚｏｎレーザーを使用することにより実行される。この面は、直径１６００フィート（５００メートル）までの作業領域にわたって広がる。基準面は、オングレードへの方向を示す１つ以上のレーザー検知器により検知される。
【００４０】
セオドライト測量システム（３６）はまた、ケーブルフリーのロボットの総合ステーションおよびローバーであるＴｒｉｍｂｌｅ（登録商標）Ｓ６  ＤＲ(直接反射)Ｔｏｔａｌ  Ｓｔａｔｉｏｎを使用することにより実行される。セオドライト測量システム（３６）は、Ｔｒｉｍｂｌｅ  ＭｕｌｔｉＴｒａｃｋ  Ｔａｒｇｅｔを用いた能動的なまたは受動的な追跡から選択できる。能動的な追跡は、セオドライト測量システム（３６）が位置づき、正しい標的を自動追跡することを可能にする。
【００４１】
本技術の実施形態において、画像追跡の方法は、図１の画像ベースの追跡装置（２２）を使用することにより実行される。より具体的には、工程（Ａ）は、シーン（２０）の画像取り込みを行うための画像取り込装置（１２）を使用することにより行われる一方で、画像取り込装置（１２）の追跡動作の工程（Ｂ）は、画像処理アルゴリズム２５を使用する１セットの画像の分析により行われる。
【００４２】
本技術の実施形態において、シーン（２０）の画像取り込みを行う工程（Ａ）は、画像取り込装置（１２）を使用することによりリアルタイムで行われる。
【００４３】
本技術の別の実施形態において、シーン（２０）の画像取り込みを行う工程（Ａ）は、画像取り込装置（１２）を使用することにより予め記録される。
【００４４】
本技術の実施形態において、シーン（２０）の画像取り込みを行う工程（Ａ）は更に、上記で十分に開示されたように、測量器（３６）を使用してシーン（２０）を予め測量することにより、シーン（２０）の１セットの深さデータを得る工程（Ａ３）を含む。
【００４５】
本技術の実施形態において、画像取り込装置（１２）の移動を追跡する工程（Ｂ）は、画像処理アルゴリズム（２５）を使用することにより実行される。
【００４６】
本技術の実施形態において、画像処理アルゴリズム（２５）は、画像取り込装置（１２）のビデオ追跡の遂行を、取り込まれる１セットの画像を分析することにより可能にする。
【００４７】
本技術の実施形態において、画像処理アルゴリズム（２５）は、全体的な剛体運動を仮定する。画像取り込装置（１２）の６つの自由度で全体的なオプティカルフローをパラメーター化することにより、２つの連続したフレームの間の最適な全体的な変換は、非線形の最小二乗問題を解決することにより発見される。
【００４８】
６つの自由度で固定した全体的な変換を行うために、シーン（２０）の深さを知ることが必要である。上記に十分に開示されたように、ポイントレーザービーム、深さ画像取り込装置、ステレオカメラ用具などの外部装置からの画像取り込みに沿って、シーン（２０）は予め測量され、または深さの大きさがリアルタイムで得られる。
【００４９】
本技術の実施形態において、画像処理アルゴリズム（２５）は、フレーム機能を使用することにより、ピクセルの最適な性質を一致させる。
【００５０】
本技術の実施形態において、利用可能な深さ情報と共に、画像処理アルゴリズム（２５）は、フレーム機能の再定義により２つのフレームの深さを（ピクセルの最適な性質の代わりに）一致させる。
【００５１】
本技術の実施形態において、画像処理アルゴリズム（２５）は、ピクセルの最適な性質および深さ情報の組み合わせを一致させることにより示される。これは、以下に十分に開示されるように、組み合わされた費用関数を使用することにより、または他のものと共に１つのプロセスを支援することにより行われる。
【００５２】
本技術の実施形態において、画像処理アルゴリズム（２５）は、様々な座標系：固定された照合システム；画像取り込装置（１２）に取り付けられた照合システム；および画像取り込装置のセンサ面（３２）上の２Ｄ照合システムを利用する。
【００５３】
シーン（２０）におけるポイント（３０）が座標ｘ＝（ｘ，ｙ，ｚ）を有する、固定された照合システムにおいて、画像取り込装置（１２）は、装置の位置座標ｘｃｉ＝（ｘｃｉ，ｙｃｉ，ｚｃｉ）、および各々のｉ番目のフレームに対して装置の方向座標（Ψｉ，θｉ，Φｉ）（ヨー、ピッチおよびロール）を含む、６つのベクトル（３８）により記載される。
【００５４】
画像取り込装置（１２）に取り付けられた照合システムにおいて、シーン（２０）における同じポイント（３０）は、画像取り込装置１２に関して座標ｘｉ＝（ｘｉ，ｙｉ，ｚｉ）を有する。
【００５５】
画像取り込装置のセンサ面（３２）に取り付けられた２Ｄ照合システムにおいて、ｉ番目のフレームにおけるポイントの２Ｄピクセル座標は、ｕｉ＝（ｕｉ，ｖｉ）である。
【００５６】
固定された３Ｄシステム及び３Ｄシステムに取り付けられた画像取り込装置の間の関係は、以下の通りである：
ｘｉ＝（ｘ−ｘｃｉ）Ｒｉ（式１）
【００５７】
【数１】
2012533222.tif 000003
【００５８】
３Ｄシステムに取り付けられた画像取り込装置と２Ｄピクセル座標の間の関係は、画像取り込装置１２のマッピング関数ｍに依存する。マッピング関数は、ｉ番目のフレームの画像取り込装置に取り付けられたシステムにおける３Ｄ座標ｘｉをマッピングし、ｉ番目のフレームにおける２Ｄピクセル座標に変換する：
ｕｉ＝ｍ（ｘｉ）（式３） 
【００５９】
マッピング関数の形態は、レンズの種類に依存する。本技術の実施形態において、レンズ（１６）が（反転ピンホールモデルにおいて）正常なレクチリニアーレンズを含む場合、マッピング関数ｍは、以下の方程式に由来する：
【００６０】
【数２】
2012533222.tif 000004
【００６１】
ここで、ｆは画像取り込装置（１２）の焦点距離であり、Ｓｕ、Ｓｖはピクセルの幅および高さである。ｕ０、ｖ０は、光学的中心およびセンサ中心の間のオフセットである。
【００６２】
本技術の別の実施形態において、レンズ（１６）が正投影の魚眼レンズを含む場合、マッピング関数ｍは、以下の方程式に由来する：
【００６３】
【数３】
2012533222.tif 000005
【００６４】
2012533222.tif 000006
【００６５】
本技術の実施形態において、マッピング関数ｍは調整され、数値形式で保存される。
【００６６】
マッピング関数：ｘｉ＝ｍ−１（ｕｉ）（式６）の反転を見つけ出すため、オブジェクトポイント（３０）の深さを知る必要がある。
【００６７】
本技術の実施形態において、上記に開示されるように、シーン（２０）は予め測量される。この本技術の実施形態において、深さの測定は、３Ｄの固定された照合システムｚ＝ｚ（ｘ，ｙ）において行われ、フレームからフレームへと変化しない。
【００６８】
本技術の実施形態において、距離測定装置（１４）が画像取り込装置（１２）に取り付けられた場合、シーンのオブジェクトポイント（３０）の深さは、各々のフレームｚｉ＝ｚｉ（ｕｉ）におけるピクセルの位置の関数として得られる。これらの測定は、画像取り込装置に取り付けられた３Ｄ照合システムにおいて行われる。
【００６９】
本技術の実施形態において、距離測定装置（１４）は、多くのポイントレーザーを使用することにより実行される。この本技術の実施形態において、ポイントレーザーの数は大抵、ピクセルの数よりずっと少ないため、各々のｉ番目のフレームに関する深さの大きさの密度は、ピクセルの密度よりもかなり少ないかもしれない。各々のピクセルの深さは、これら大きさの中の補間により得られる。
【００７０】
本技術の実施形態において、距離測定装置（１４）は、３ＤＶシステムからのＺｃａｍのようなデプスカメラを使用することにより実行される。この本技術の実施形態において、深さの大きさのグリッドは、ビデオフレームのものと比較可能な解像度により利用可能となり、それにより深さの大きさのグリッドは、更に処理を必要とせずに直接使用される。
【００７１】
本技術の実施形態において、距離測定装置（１４）は、ステレオカメラを使用することにより実行される。ステレオカメラは、多くの確認された特徴点からの深さ情報の抽出を可能にし、および残りのピクセルは、補間により行われる。
【００７２】
２つの連続したフレームｆｉおよびｆｊとの関係は、シーン（２０）における同じポイント（３０）が、２つのフレームにおいて同じ明度の２つのピクセルを作り出すという前提に基づく。つまり、ｕｉおよびｕｊが同じオブジェクトポイントのｆｉおよびｆｊにおけるピクセルの位置である場合、ｆｉ（ｕｉ）＝ｆｊ（ｕｊ）である。ここで、ｆｉ（ｕｉ）は、フレームｆｉにおけるｕｉでのピクセルの明度を表す。この前提に基づいて、２つのフレームの関係は純粋に、画像取り込装置の動作から生じる幾何学的な変換である。
【００７３】
ｆｉからｆｊまでの画像取り込装置の運動は、δｘｃｉ−＞ｊおよびδＲｉ−＞ｊによって表され、それはフレーム間の相対的な動きや回転、又はξｉ−＞ｊ＝（δｘｃｉ−＞ｊ，δｙｃｉ−＞ｊ，δｚｃｉ−＞ｊ，δΨｉ−＞ｊ，δθｉ−＞ｊ，δΦｉ−＞ｊ）であり、６つの自由度を有する６つのベクトルである。フレームｆｉでの画像取り込装置の位置および姿勢が分かり、ｆｉからｆｊまでのこの相対的な動きを解決することにより、フレームｆｊでの位置および姿勢を得る。次のように、我々は可能であれば常に、下付き文字ｉ−＞ｊを省略する。
【００７４】
フレームｆｉの照合システムにおいてｘｉを統合させる同じオブジェクトポイント（３０）は、フレームｆｊの照合システムにおいてｘｊ、および：ｘｊ＝（ｘｉ−δｘｃ）δＲ（式７）を統合させる。 
【００７５】
それゆえ、２Ｄピクセルの座標系において、ｕｉとｕｊとの関係は、以下の通りである：
【００７６】
【数４】
2012533222.tif 000007
【００７７】
ここでｍは、マッピング関数である。又は単に、ｕｊ＝δＰ（ｕｉ）（式９）であり、ここでδＰ＝ｍｏξｏｍ−１は、３つの操作の組み合わせを表す。
【００７８】
この目的は、適切なξを見つけ出すことであり、そうすることにより費用関数∫｜ｆｉ（ｕ）−ｆｊ（δＰ（ｕ））｜２ｄｕ（式１０）が最小化される。これは、よく調査された非線形の最小二乗問題である。それを解決することは大抵、線形の近似および反復に関する。異なる線形の近似は、Ｇａｕｓｓ−Ｎｅｗｔｏｎ、ｓｔｅｅｐｅｓｔ−ｄｅｓｃｅｎｔ、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ  ｄｅｓｃｅｎｔなどの異なる収束法を引き起こす。
【００７９】
本技術の実施形態において、画像処理アルゴリズム（２５）は、Ｇａｕｓｓ−Ｎｅｗｔｏｎの式を使用することにより実行される。Ｇａｕｓｓ−Ｎｅｗｔｏｎの式を得るために、以下のものを拡張する。
【００８０】
【数５】
2012533222.tif 000008
【００８１】
【数６】
2012533222.tif 000009
【００８２】
【数７】
2012533222.tif 000010
【００８３】
ｆｊはξの線形関数であるため、（式１３）は以下の反復ループルーチンを使用することにより解決されている： 
１．  ξを初期化； 
２．  ξからのδＰを計算し、ｆｊの変換を実行する：
３．  ｆｉ，ｆ・ｊからｄξを計算する、ｄξ＝∫｜（ｆｉ（ｕ）−ｆ・ｊ（ｕ））ＤＴｄｕ／∫ＤＤＴｄｕ；
４．  ξをアップデートする，ｄξ＝＞ξ；
５．  ｄξが実質的に小さいか最大の反復に達すると終了し、さもないと、工程２にループバックする。
【００８４】
上記のルーチンにおいて、各々の後続の反復ｆｊは、それらが十分近くなるまで、ｆｉに更に近づこうとしている。しかし、各々の反復において、ｆ・ｊの画像の勾配は、ｆ・ｊが工程２においてアップデートされたため、再び計算されなければならない。他の問題は、δＰ（および故にヤコビアン）が深さの大きさｚｊに依存すること、又は固定化された照合システムにおける深さを予め測量する場合は、深さの大きさｚに依存し、およびフレームｆｊ：ｘｃｊ，Ｒｊに通じる総合の画像取り込装置の動作に依存する。
【００８５】
本技術の実施形態において、深さの大きさが画像取り込装置に取り付けられた照合システム（レーザーポイント、デプスカメラ、ステレオ装置など）において得られる場合、全ての前のフレームの大きさは、今ではｘｃｊ、Ｒｉが知られているフレームｆｉの照合システムへと変換されるため、より大きな深さの大きさがフレームｆｉのため利用可能となる。
【００８６】
本技術の実施形態において、シーンの深さが固定化されたシステムにおいて予め測量される一方で、総合的な動作ｘｃｊ、Ｒｊはまだ解決されず、従って、ヤコビアンの形態が計算されると、ｘｃｊ、Ｒｉおよびξの関数として発現されるだけである。これは、ヤコビアンの形態を複雑にするだけでなく、ヤコビアンを反復依存にする。
【００８７】
【数８】
2012533222.tif 000011
【００８８】
【数９】
2012533222.tif 000012
【００８９】
【数１０】
2012533222.tif 000013
【００９０】
ｆ・ｊにおける各々のピクセルに関する深さは、工程３においてδＰ（ｕ）を計算することが必要とされる。ｆ・ｊはその時点での最良の推定であるため、最も単純な選択は、代わりにｆ・ｊにおけるピクセルの深さを使用することである。
【００９１】
本技術の実施形態において、反復の収束は、いかに勾配画像が「滑らか」であるかに依存する。勾配画像が、２つのフレーム間での画像取り込装置の移動から生じる画像置換よりも小さな規模で異なる場合、ループは収束しない。それゆえ、２つのフレームは、上記のループに送り込まれる前に最初に滑らかにされる。おおよそのξが滑らかになったフレームから見つけられた後、スムージングが除去されるまたは減らされ、およびより正確なξが、出発点として前のξと共に得られる。
【００９２】
従って、画像反復ピラミッドにおいて、より高いレベルは、より濃密に滑らかとなる一方で、下のレベルはスムージングの無い原画像である。画像ピラミッドξの最上段から最下段までは、以下の通りに改善される：
【００９３】
【数１１】
2012533222.tif 000014
【００９４】
δＰ（ｕｉ）の明示型は、マッピング関数ｍに依存する。与えられたｍと同様、δＰ（ｕｉ）の形態は一意的なものではない。本技術の実施形態において、レンズ（１６）がレクチリニアーレンズを含み、および予め測量された深さｚが利用可能な場合、以下のものが選択される：
【００９５】
【数１２】
2012533222.tif 000015
【００９６】
ここで、ＲＴｉ（３，：）は、フレームｆｉでの３列の総回転行列Ｒｉの転置行列である。それは、ｚ方向における単位ベクトルであり、フレームｆｉの画像取り込装置に取り付けられた照合システム中に発現される。
【００９７】
【数１３】
2012533222.tif 000016
【００９８】
本技術の実施形態において、深さの測定が画像取り込装置に取り付けられたシステム（ｚｉが知られる）において行われる場合、以下のものが選択される
【００９９】
【数１４】
2012533222.tif 000017
【０１００】
本技術の実施形態において、深さが分かっている場合、ピクセルの明度の代わりに、２つのフレームの深さを一致させる。深さが分かっている場合、ピクセルポイントの３Ｄ距離もまた分かっているためである。２Ｄピクセル座標：（ｘｉ（ｕｉ）−δｘｃ）δＲ＝ｘｊ（ｕｊ）（式１８）のベクトル関数として、画像取り込装置に取り付けられたシステムにおける３Ｄ座標を処理することにより、フレームｆｉおよびフレームｆｊの間の３Ｄ距離の平方であるコスト関数が使用される。
∫｜｜（ｘｉ（ｕ）−δｘｃ）δＲ−ｘｊ（δＰ（ｕ））｜｜２ｄｕ（式１９）
別の可能性は、これら２つの間のｚ要素の違いの平方を使用することである。
【０１０１】
このアルゴリズムはカラー画像を扱うために容易に拡張することができる。例えば、ＲＧＢ画像については、フレームｆ＝（ｆｒ，ｆｇ，ｆｂ）は行ベクトルであり、Ｄ＝（Ｄｒ，Ｄｇ，Ｄｂ）は、それぞれ６ｘ１の列ベクトルとしてＤｒ，Ｄｇ，Ｄｂをもつ６ｘ３の行列である。
【０１０２】
ピクセル強度のためのアルゴリズム最適化に似ており、ヤコビアンの算出はｘｉ側でなされ、変換はｘｊ側で行なわれる。１セットの３Ｄ座標には３つの成分があるので、列ベクトルＤは、６ｘ３の行列Ｄ´によって置換される。
【０１０３】
【数１５】
2012533222.tif 000018
【０１０４】
本技術のこの実施形態では、画像処理アルゴリズム（２５）は以下のループルーチンの使用により実行することができる:
１．１  ξの初期化
２．  ｚｉ及びｚｊの画像ピラミッドを構築する、そしてそうでなければ、既に利用可能。
３．  当該ピラミッドのそれぞれのレベルに対して最上段から最下段まで
３．１  フレームｆｉで、Ｄ´を初期化し、
３．２  ξからδＰを算出し、ｘｉで変換を実行する。
ｘｊ（ｕ）＝>ｘ´ｊ（ｕ）＝ｘｊ（δＰ（ｕ））δＲＴ＋δｘｉ
３．３  ｘｉ，ｘｊからｄξを算出する、
ｄξ＝∫（ｘｉ（ｕ）−ｘ´ｊ（ｕ））Ｄ´Tｄｕ／∫Ｄ´Ｄ´Tｄｕ
３．４  ξをアップデートする，ｄξ＝＞ξ
３．５  ｄξが実質的に小さいか最大の反復に達すると終了し、さもないと、工程３．２にループバックする。
【０１０５】
本技術の実施形態において、ピクセル強度整合コスト関数と深さ整合コスト関数の組み合わせを使用することがあり得る。
∫（λ｜ｆｉ（ｕ）−ｆｊ（δＰ（ｕ）））｜２＋（1−λ）｜｜（ｘｉ（ｕ）−δｘｃ）δＲ−ｘｊ（δＰ（ｕ）））｜｜）２ｄｕ  （式２１）
λ∈［０，１］が、オプティカルフロー仮定が如何によく保持されるかによって調節される加重係数、光学画像の質および深さ画像の質である。
各反復における漸進的変化はつぎのとおりである。
ｄξ＝∫λ（ｆｉ（ｕ）−ｆ´ｊ（ｕ））Ｄｒ＋（１−λ）（ｘｉ（ｕ）−ｘｊ（ｕ））Ｄ´Ｔｄｕ／∫λＤＤＴ＋（１−λ）Ｄ´Ｄ´Ｔｄｕ  （式２２）
【０１０６】
本技術の一実施形態において、ｆｉ及びｆｉ＋１のデルタ運動とトータル移動の間の関係は、以下のとおりである:
Ｒｉ＋１＝ＲｉδＲｉ−＞ｉ＋１
ｘｃｉ＋１＝ｘｃｉ＋δｘｃｉ->ｉ＋１ＲｉＴ  （式２３）
もし、ループが、ｆｉとｆｉ＋１の間のξに収斂することなく最大反復を終了すると、ｆｉ−１とｆｉ＋１の間に移動を見出すことができるか、その代わりにｆｉとｆｉ＋２の間に進むことを選択することに決めることができるか、若しくは、信頼できないとしてｆｉとｆｉ＋１の間の結果をマークすることができる。
【０１０７】
ｆｉにおける各ピクセルの深さ情報は、
１）変換ｆｊ（ｕ）＝＞ｆ´ｊ（ｕ）＝ｆｊ（δＰ（ｕ））を行うこと、及び
２）ｆｉでヤコビアンを計算することが必要とされる。
深さ情報は異なる形態に至り得る。
【０１０８】
本技術の実施形態では、シーンは比較的水平で、固定された照合システムにおける少数の（フレームにおけるピクセル数よりはるかに少ない）あらかじめ測量された点によって記載することができる。その場合、固定された照合システムで表現されたあらかじめ測量された点は、フレームｆｉの照合システムへの変換ｚ（ｘ，ｙ）＝＞ｚｉ（ｕｉ）がなされる必要がある。その後、三角形の補間によってｆｉにおける各ピクセル点の深さを見つけ出すために、これらの点は基準点として使用されるだろう。三角形の補間では、三角形の点は三角形の３つの頂点の結合として表現される。３つの頂点の深さに従って３Ｄ照合システムと投射された２Ｄ照合システムとの間で切り替わるときに、３つの結合係数を調節する必要がある。
【０１０９】
本技術の実施形態では、少数の（フレームのピクセル数よりはるかに少ない）深さ点は、画像取り込装置に取り付けられたポイントレーザーなど、画像取り込装置に付けられたシステムにおける各フレームに沿って得られるか、或いはステレオカメラ装置からの特徴点と一致する点である。その場合は、レーザー点深さの大きさ、各フレームに由来する。当該深さ点及び前フレームからの点は３つのカテゴリに入れられる:
１）沈降点:
レーザー点深さの大きさは、フレームｆｉ＋１に由来する。深さマッチングが使用される場合のみ、沈降点が使用される。
２）活性点:
レーザー点深さの大きさはフレームｆｉに由来する。また、レーザー点深さの大きさは、いずれのフレームから出ることはなく、かつフレームｆｉの照合システムに変換した先のフレームに由来する。これらの点はドローネー三角測量で入れられる。ドローネー頂点は、三角形の補間によってピクセルの深さを計算する基準点として使用される。
３）引っ込められた点:
これらの点は、ｆｉ及びｆｉ＋１の外に移動した前フレームか引っ込められた点である。これらの点は所望により、シーンの深さマップを形成するために保存される。
【０１１０】
本技術の実施形態では、深さ点のグリッドは、ビデオフレームと同一の解像度、あるいはビデオフレームと比較可能な解像度をもつ、画像取り込装置に取り付けられた照合システムにおいて、各フレームで利用可能である。この場合、解像度が同一である場合、フレームｆｉで得られた深さの大きさは直接使用することができるか、あるいは解像度が低い場合、補間され得る。ｆｉ及びｆｉ＋１で得られた深さの大きさは、深さマッチングで直接または補間後に使用することができる。
【０１１１】
本技術の実施形態において、図２は図１の装置（２２）の使用による画像追跡のフローチャート（５０）である。シーン（２０）の深さデータは、シーンをあらかじめ測量することにより得られる。
【０１１２】
本技術のこの実施形態では、画像追跡の方法は２つの工程を含む:
（工程５４）画像取り込装置の使用により、（図１の）シーン（２０）の画像取り込を行なう工程、及び
（(工程６２）工程（５４）で得られた１セットの画像の分析による画像取り込装置を追跡移動する工程。
【０１１３】
本技術の実施形態では、シーン（２０）の画像取り込みを行なう工程（５４）は、工程５６の（図１の）画像取り込装置（２２）の使用により、リアルタイムで行なわれる。
【０１１４】
本技術の実施形態では、工程（５４）は、工程５８の画像取り込装置（２２）の使用により、あらかじめシーン（２０）を記録することにより行なわれる。
【０１１５】
本技術の実施形態では、工程６０の、工程（５４）はあらかじめシーンを測量することによりシーンの１セットの深さデータに（２０）を得させることをさらに含む。
【０１１６】
上述したように、画像取り込装置は次のものから成る群から選ばれる。すなわち、デジタルカメラ、デジタルビデオカメラ、デジタルカムコーダー、ステレオデジタルカメラ、ステレオビデオカメラ、モーションピクチャーカメラ、及びテレビカメラである。
【０１１７】
本技術の実施形態では、工程（５４）で得られた画像のセットの分析による、画像取り込装置の追跡移動工程（６２）は、捕らえられた画像データのセットおよびシーン・深さデータのセットを、６座標のデータへの厳密なグローバル変換を実行する工程（６４）を含み、ここで、６座標データのセットは、（図１の）画像取り込装置（２２）の移動を表わす。
【０１１８】
本技術の実施形態では、図３は画像追跡方法のフローチャート（１００）を例示する、シーンの深さデータ、距離測定装置（１４）の使用により得られる。
【０１１９】
本技術の実施形態では、画像追跡方法のフローチャート（１００）は、画像取り込装置の使用によりシーンの画像取り込を行なう工程（１０４）をさらに含む。
【０１２０】
本技術の実施形態では、工程（１０４）は、工程（１０６）の画像取り込装置の使用によりリアルタイムのシーンの画像取り込を行なうことにより実行することができる。
【０１２１】
本技術の実施形態では、工程（１０４）は、画像取り込装置の使用によりシーンの画像記録を行なう工程（１０８）を行なうことにより実行することができる。
【０１２２】
本技術の実施形態では、画像追跡方法のフローチャート（１００）は、次のものから成る群から選択された距離測定装置の使用により、１セットのシーン・深さデータを得る工程（１１０）をさらに含む。すなわち、ポイントレーザービーム、ソナー、レーダー、レーザースキャナ及びデプスカメラである。
【０１２３】
本技術の実施形態では、工程（１１０）は、工程（１１２）の画像取り込装置に取り付けられたＫ点距離測定システムを使用した、画像取り込装置（取り付けられた３Ｄ照合システム）で、シーン・深さデータのセットを測定することにより実行される。
【０１２４】
本技術の実施形態では、工程（１１０）は、工程（１１４）の画像取り込装置に付けられたＭ点距離測定システムの使用により、対象点の少なくとも１つの像点のために、対象点の深さを直接測定することにより実行され、シーンの深さ測定の整数Ｍは、フレームにおけるピクセル数と実質的に等しい。
【０１２５】
本技術の実施形態では、工程（１１０）は、工程（１１６）の画像取り込装置に付けられた特徴点範囲測定システムの使用により、画像取り込装置に取り付けられた３Ｄ照合システムによるシーン・深さデータのセットを測定することにより実行される。
【０１２６】
最後に、本技術の実施形態では、画像追跡方法のフローチャート（１００）は、画像のセットの分析により画像取り込装置の追跡移動工程（１１８）をさらに含む。
【０１２７】
本技術の実施形態では、工程（１１８）は、捕らえられた画像データのセット及びシーンの深さデータの６座標データのセットへの厳密なグローバル変換を実行することにより行われる。ここで、６座標データのセットは、工程（１２０）の画像取り込装置の移動を表わす。
【０１２８】
図４、５、６および７は、図１の装置（２２）を使用する画像をベースにした追跡のサンプル結果を例示する。より具体的には、図２は、センサ面（１６）におけるシーン（２０）の画像取り込装置画像を描いた図（１４０）を示す。
【０１２９】
図５は、実質的に上述したように、図１のアルゴリズム（２５）を使用することにより計算された画像取り込装置の２Ｄ運動を例示する図（１５０）を示す。
【０１３０】
図６は、実質的に上述したように、図１のアルゴリズム（２５）を使用することにより計算された画像取り込装置の高さ運動を例示する図（１６０）を示す。
【０１３１】
図７は、実質的に上述したように、図１のアルゴリズム（２５）を使用することにより計算された画像取り込装置の合計の回転角度（ヨー（１７２）、ピッチ（１７４）及びロール（１７６））を例示する図（１７０）を示す。
【０１３２】
この技術の実施形態において、特徴は、単に点として定義されるのではなく、領域及び／又は輪郭の表現として定義される。本技術の実施形態では、広く定義された特徴は、実質的に表面の追跡の能力を広げるために使用することができる。
【０１３３】
本技術の実施形態では、広く、定義された特徴は、問題となる対象（すなわち、自動車）を捨てる、シーン条件把握技術を使用するために用いることができる。
【０１３４】
本技術の実施形態では、シーン把握技術は、画像から推論するより高いレベルを推論する方法である。例えば、それは、シーンにおける自動車、歩行者の境界を検知すること、およびこれらの領域に存在する適合した特徴の境界を検知することを含むことができる。ひとたび、かかる望まれない対象物が識別されると、当該画像の使用可能な領域が抽出される。ついで、特徴マッチングがこの領域に対して抑制される。
【０１３５】
本技術の実施形態では、望まれない対象物の検出は、次のものを含む被写体認識を含んでいる:
（Ａ）画像からの希薄な特徴の抽出、
（Ｂ）近傍の特徴を一緒に集めること、
（Ｃ）および、少なくとも１個の既知のクラスタの対象カテゴリを推論すること。
【０１３６】
本技術の実施形態では、広く、定義された特徴は、追跡のために、画像の適合性または画像領域を決定するために、（差異評価などの）初期画像分析において使用することができる。
【０１３７】
本技術の実施形態において、集められた画像の質が低すぎて、表面の追跡に通すことができない場合、例えば、画像が暗すぎる場合、抽出され一致した特徴はほとんどないであろう、初期画像評価分析は、画像が使用可能な場合、または画像を再度集めなければならない場合に、現場のオペレーターに通知するために行なわれる。
【０１３８】
本技術の実施形態において、初期画像評価分析は画像から少なくとも３つの属性を抽出する工程を含む:
（Ａ）赤−緑−青のほとんど１つの値から成るかどうかチェックするための飽和品質、
（Ｂ）画像がほとんど曇って、特徴抽出用のシャープな部位を欠いているか否か、画像の構造品質をチェックする、
（Ｃ）および、画像がほとんど暗いか、ほとんど明るいか画像コントラストをチェックし、実質的に洗い流された路面をレンダリングする。
【０１３９】
本技術の実施形態では、広く、定義された特徴は表面追跡解法を初期化するために使用することができる。
【０１４０】
本技術の実施形態では、より具体的には、初期解は、広く定義された特徴およびＲＡＮｄｏｍ  ＳＡｍｐｌｅ  Ｃｏｎｓｅｑｕｅｎｃｅ（ＲＡＮＳＡＣ）を使用することにより見出される。
【０１４１】
ＲＡＮＳＡＣは、異常値を包含している測定値のセットから数学的モデルのパラメーターを評価する反復法である。
【０１４２】
統計では、異常値はデータの残りから数値的に遠く離れている観察である。より具体的には、異常値は、それが生じる例の他の要素に著しく反するように見える異常値として定義される。
【０１４３】
異常値が、任意の分配で偶然生じる場合がある、しかし、それらは多くの場合、測定誤差を示すか、または母集団が多数の分布を有することのいずれかを示す。以前は、それらは捨てたいとされるか、あるいは異常値に対して強い統計学を使用したいとされたが、後者のケースでは、分配が高いとがりを有しており、正規分布を仮定する使用ツールまたは直観に非常に用心深くあるべきであることを示している。異常値のよくある要因は、２つの分配の混在（すなわち、２つの別個のサブ母集団であり得る）か、あるいは「正確な試験」対「測定誤差」を示すことであり、これは混在モデルによってモデル化される。
【０１４４】
本技術の実施形態では、広く定義された特徴とＲＡＮＳＡＣに基づいた初期解は、ある見込みでの合理的な結果を生成し、より多くの反復が許可されるにつれて見込みが増加するという意味で、非確定的アルゴリズムを使用している。当該アルゴリズムは、１９８１年に、ＦｉｃｈｌｅｒとＢｏｌｌｅｓによって最初に公表された。
【０１４５】
本技術の実施形態中で、広く定義された特徴およびＲＡＮＳＡＣを使用する初期解は、モデルに適合しないデータである「インライアー（ｉｎｌｉｅｒ）」（すなわち、モデルパラメータのあるセットがその分配について説明することができるデータ）および「異常値」からデータが構成されるという仮定に基づく。これに加えて、データは雑音を受ける。異常値は、例えば、雑音の極値、またはデータの解釈に関する、誤計測または正しくない仮説から生じ得る。またＲＡＮＳＡＣは、１セット（通常小さい）のインライアーを仮定すると、最適にこのデータについて説明するか適合するモデルのパラメーターを評価し得る手順が存在する。
【０１４６】
本技術の実施形態では、表面追跡への入力としてカメラ・ポジションの初期解を見つけるために１セットの広く定義された特徴を使用する方法は、１セットの広く定義された特徴を検知する工程、広く定義された特徴のセットと、少なくとも２つの選択されたフレームの一致を確立する工程、ＲＡＮＳＡＣ数学的モデルのパラメーターを使用して、選択された少なくとも２つのフレーム間のホモグラフィー（ｈｏｍｏｇｒａｐｈｙ）を評価する工程、少なくとも２つの選択されたフレーム間の評価されたホモグラフィーから画像取り込装置の最初のポーズ（ｐｏｓｅ）を引き出す工程を含み、ここで、画像取り込装置のポーズは、画像取り込装置の位置座標および画像取り込装置の１セットの位置座標を含み、前記方法は、また表面追跡説明への初期解として画像取り込装置の派生した最初のポーズを使用する工程を含む。
【０１４７】
本技術の実施形態では、厳密な二次元（ｓｔｒｉｃｔ＿２Ｄ）の表面追跡法を見つけるために広く定義された特徴を使用する方法は、単一の追跡表面上で広く定義された１セットの特徴を検知する工程、ＲＡＮＳＡＣ数学的モデルのパラメーターの使用により１セットの共面の広く定義された特徴を選択する工程、前記選択された共面の広く定義された特徴および少なくとも２つの選択されたフレームのセットの対応を確立する工程、少なくとも２つの選択されたフレーム間のホモグラフィーから画像取り込装置の最初の姿勢を引き出す工程、厳密な二次元（厳密な２Ｄ）の表面追跡法への初期解として画像取り込装置の派生した最初の姿勢を使用する工程、および、共面の特徴の群をグループ化し、厳密な２Ｄの表面追跡法への入力として共面の特徴の群のまわりの領域を使用する工程を含む。
【０１４８】
本技術の実施形態において、実質的に二次元の（ｓｕｂ＿２Ｄ）表面追跡解法を見出すために、複数の二次元（２Ｄ）の追跡表面上に広く定義された共面の特徴のセットを使用する方法は、さらに、
複数の追跡表面上で１セットの広く定義された特徴を検知する工程、
ＲＡＮＳＣ数学的モデルのパラメーターの使用により、１セットの広く定義された共面の特徴を選択する工程、
広く定義された共面の特徴と、少なくとも２つの選択されたフレームのセットの対応を確立する工程、
少なくとも２つの選択されたフレーム間のホグラフィーから画像取り込装置の最初の姿勢を引き出す工程、
実質的に二次元（ｓｕｂ＿２Ｄ）の表面追跡解法説明への初期解として画像取り込装置の派生した最初の姿勢を使用する工程、
また、個々の選択された広く定義された共面の特徴のまわりの局所領域を選択する工程、複数の選択された局所的な領域を二次元（２Ｄ）の大域的な領域にグループ化する工程、及びｓｕｂ＿２Ｄ表面追跡解法への入力として２Ｄ大域領域を使用する工程を含む。
【０１４９】
本技術の実施形態において、実質的に三次元（３Ｄ）の表面追跡のための解法を見出すために、三次元（３Ｄ）から抽出された、１セットの広く定義された特徴を使用する方法は、
前記３Ｄの表面上で１セットの広く定義された特徴を検知する工程、
前記１セットの広く定義された特徴と少なくとも２つの選択されたフレームのセットの対応を確立する工程、
少なくとも２つの選択されたフレーム間のホモグラフィーを評価する工程、
少なくとも２つの選択されたフレーム間のホモグラフィーから画像取り込装置の最初の姿勢を引き出す工程、
実質的に三次元（ｓｕｂ＿３Ｄ）の表面追跡解法への初期解として画像取り込装置の派生した最初の姿勢を使用する工程、および、
各選択された広く定義された特徴のまわりで局所的な領域選択する工程、当該選択された複数の局所的な領域を三次元（３Ｄ）の大域的な領域にグループ化する工程、及びｓｕｂ＿３Ｄ表面追跡解法への入力として３Ｄの大域を使用する工程を含む。
【０１５０】
上記の記載は、システムや装置などを操作する例示的な方法に関係する様々な実施形態並びに種々の例示的なシステムや装置の操作に言及した。種々の実施形態において、実施方法の１以上の工程は、コンピュータの読み取り可能な命令およびコンピュータの実行可能な命令の制御下でプロセッサによって実行される。したがって、幾つかの実施形態では、これらの方法はコンピュータによって実現される。
【０１５１】
実施形態では、コンピュータの読み取り可能な命令およびコンピュータの実行可能な命令は、コンピュータで使用可能／読み取り可能な媒体。
【０１５２】
したがって、種々の実施形態の１以上の実施は、コンピュータによって実行され得るか、コンピュータによって実行されるプログラムモジュールなどのコンピュータの実行可能な命令を用いて実現され得る。一般に、プログラムモジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含んでいる、それは特定のタスクを実行するか、または特定の抽出データタイプを実行する。加えて、本技術も分散コンピュータ環境で実行され得るのであり、通信網を介してリンクされる遠隔処理装置によってタスクが実行される。分散コンピュータ環境では、プログラムモジュールは、記憶格納媒体を含む局所的及び遠隔のコンピュータ格納媒体の両方に位置され得る。
【０１５３】
例示的な実行方法の特定の工程が本明細書に記載されているが、これらの工程は工程の一例であり、種々の例示的な実施形態に従って実行され得る。すなわち、本明細書に記載された実施形態は、様々な他の工程を実行したり、種々の記載された工程を実行することによく適している。さらに、本明細書に記載された工程は、示された順序と異なる順序で行なわれることがあり得、また、工程のすべてが、特定の実施形態内で必ず行なわれるとは限らない。
【０１５４】
種々の電子とソフトウェアに基づいたシステムが本明細書に記載されているが、これらのシステムは、利用され得る単なる例にすぎないものであり、本技術の用途又は機能の範囲に関して任意の制限を示唆するようには意図されてない。かかるシステムは、開示された実施例において示された構成要素または機能の任意の一つ若しくはセットみ合わせに対して従属性又は間系を有するとして解釈されるべきではない。
【０１５５】
主題が構造的特徴及び／又は方法の行為に特有の用語で記載されたが、添付の特許請求の範囲で定義された主題は、必ずしも上述された特定の特徴または行為に限定されない。むしろ、上述された特定の特徴および行為は、特許請求の範囲を実行する例示的形態として開示される。
【図１】
2012533222.tif 000019
【図２】
2012533222.tif 000020
【図３】
2012533222.tif 000021
【図４】
2012533222.tif 000022
【図５】
2012533222.tif 000023
【図６】
2012533222.tif 000024
【図７】
2012533222.tif 000025
【国際調査報告】
2012533222.tif 000026
2012533222.tif 000027
2012533222.tif 000028