(57)【特許請求の範囲】
【請求項１】
移動可能なプラットフォームの位置を追跡する画像ベース測位装置において、
前記プラットフォーム上に装着されており、前記プラットフォームが第１位置にある間に一致点の検出に使用可能な少なくとも一つの特徴を含む第１画像を取得し且つ前記プラットフォームがその移動後の第２位置にある間に前記特徴を含む第２画像を取得する構成とされている第１画像取得装置、
前記プラットフォームに装着されており、深度データの測定に使用可能な少なくとも一つの表面を含む１組の第３画像を取得するように構成されている第２画像取得装置、
前記プラットフォームに装着されており、前記表面に対する前記プラットフォームに関して固定されている基準点からの距離を表す１組の深度データを取得する構成とされているレンジ測定装置、
前記特徴を追跡すべく前記第１画像と前記第２画像とを処理して前記第２位置の第１座標を与える特徴追跡プロセスと、前記１組の第３画像と前記１組の深度データとを該プラットフォームの動きを表す３次元位置座標及びヨー、ピッチ、ロールを含む方向付け座標からなる６座標データへ変換させ、次いで該６座標データを前記表面上の同一の点が２つの連続するフレームにおいて同じ強度の２つの画素を発生するという条件の下で非線形の最小自乗問題として処理する画像処理アルゴリズムによって処理して前記第２位置の第２座標を与える表面追跡プロセスと、前記第１座標と前記第２座標とを結合して前記プラットフォームの位置を決定する結合プロセスと、を処理するプロセッサ、
を有している画像ベース測位装置。
【請求項２】
前記レンジ測定装置が、ポイントレーザービーム、ソナー、レーダー、レーザースキャナー、及びデプスカメラからなる群から選択される一つである請求項１記載の画像ベース測位装置。
【請求項３】
前記特徴追跡プロセスは、同時位置測定マッピング（ＳＬＡＭ）追跡プロセス、マッチムーブ追跡プロセス、写真測量追跡プロセスからなる群から選択される一つである請求項１又は２記載の画像ベース測位装置。
【請求項４】
前記第１画像取得装置と前記第２画像取得装置とを同期させる同期部を有している請求項１乃至３の内のいずれか１項記載の画像ベース測位装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、航法の分野に関する。
【背景技術】
【０００２】
親出願である米国特許出願第１２／３１３，５６０号（以下「Ｓｃｈｅｒｚｉｎｇｅｒ」と称する）は、正確な測量グレードの位置情報を得るシステムおよび方法に向けられていた。
【発明の概要】
【課題を解決するための手段】
【０００３】
この概要は、以下の詳細な説明において、詳述される概念の選択を導入するために提示されるものである。この概要は、請求の範囲に記載された主題の重要な若しくは本質的な特徴を特定することを意図したものでもなければ、請求の範囲に記載された主題の範囲を決定するための助けとして用いられることを意図したものでもない。
【０００４】
従来技術の限界を克服する画像ベースの測位方法が提供される。
【０００５】
この明細書に組み込まれてその一部を形成する添付の図面は、本技術の実施形態を示し、かつ説明と共に以下の原理を説明する役割を果たす。
【図面の簡単な説明】
【０００６】
【図１】「Ｓｃｈｅｒｚｉｎｇｅｒ」に開示されたＧＩＥ調査器具を示す図。
【図２】少なくとも一つの対象を含む少なくとも一つの画像を取得するように構成された画像取得装置、特徴ベースのプロセス、および位置測定プロセスを備える本技術の画像ベース測位装置を示す図。
【図３】地理情報を含む画像ベースプロセスを用いて実施される本技術の図２における特徴ベースプロセスを示す図。
【図４】２点間の既知の距離（スケールファクター）およびサブテンド角度への画素変換からカメラまでの距離を見いだす写真測量法を示す図。
【図５】地理情報を含む対象画像データベースおよび図３の画像処理エンジンを用いて図２の特徴ベースプロセスを実施する段階を記載したフローチャート。
【図６】その光学中心をポールの軸線に合わせてのポールに取り付けられたカメラを有してそのポールに取り付けられたＧＰＳレシーバと、ＧＩＳ／調査データ収集装置と、を備える本技術の地理情報を含む画像ベース測位装置を示す図。
【図７】図３の画像処理エンジンを可能にするように構成された、本技術のコンピューターシステムを示す図。
【図８】本技術の目的のための二重特徴追跡プロセスを有した画像ベース測位装置を示す図。
【図９】本技術の目的のための特徴表面追跡プロセスを有した画像ベース測位装置を示す図。
【発明を実施するための形態】
【０００７】
ここで、その実施例が添付の図面に示されている本技術の実施形態を詳細に参照する。本技術を様々な実施形態に関連させて説明するが、本技術をこれらの実施形態に制限することを意図していないことは理解されよう。これに反して、本技術は、添付の請求の範囲によって、定まる様々な実施形態の精神および範囲に含まれる変形、修正および等価物を包含することを意図している。
【０００８】
さらに、以下の詳細な説明には、提示された実施形態の完全な理解をもたらすために、多くの特定の詳細が記載されている。しかしながら、提示された実施形態がこれらの特定の詳細なしに実践し得ることは当業者にとって明らかである。他の場合においては、提示された実施形態の態様を必要以上に不明瞭にしないように、周知の方法、手順、部品および回路は詳細に記載されていない。
【０００９】
Ｉ．「Ｓｃｈｅｒｚｉｎｇｅｒ」
図１は、「Ｓｃｈｅｒｚｉｎｇｅｒ」に開示されているＧＩＥ調査機器１０を示している。
【００１０】
ＩＩ．単一対象追跡プロセス
本技術の一実施形態において、図２は、少なくとも一つの対象を含む少なくとも一つの画像を取得するように構成された画像取得装置３４、位置決定プロセス３８、および少なくとも一つの画像を処理して少なくとも一つの取得された対象の位置を追跡する特徴ベースのプロセス３６を備える画像ベースの測位装置３０を示している。
【００１１】
本技術の一実施形態において、対象は一つ若しくは複数の特徴を含むことができ、その特徴は本質的にアルゴリズムによって、検出できる画像の一部である。それらは、点、若しくは領域、輪郭、テクスチャの抜粋領域、その他である。ここで論じるアルゴリズムの多くには、特徴は画像全体から特定できるという仮定があるが（一致点の検出）、これは特徴の定義の一部ではない。一致点の検出は、それらの特性ではなく特徴上で実行される操作である。
【００１２】
本技術の一実施形態において、画像取得装置３４は、ディジタルカメラ、デジタルビデオカメラ、デジタルカムコーダ、ステレオディジタルカメラ、ステレオビデオカメラ、映画撮影用カメラ、デプスカメラ、およびテレビカメラ等から成る群より選択できる。
【００１３】
さらに図２を参照すると、本技術の一実施形態において、画像ベース測位装置３０はプラットフォーム３２をさらに備えている。
【００１４】
本技術の一実施形態において、プラットフォーム３２は探査車を更に有している。
【００１５】
本技術の一実施形態において、プラットフォーム３２は探査車射程追跡装置システムをさらに有している。
【００１６】
本技術の一実施形態において、プラットフォーム３２は、ＧＩＳ／マッピング携帯装置をさらに有している。
【００１７】
さらに図２を参照すると、本技術の一実施形態において、画像取得装置３４（若しくはプラットフォーム３２）の基準位置の座標は、ＧＮＳＳ位置プロセス３８により決定される。
【００１８】
全地球衛星測位システム（ＧＮＳＳ）プロセスは、ＧＰＳプロセス、ＧＬＯＮＡＳＳプロセス、ＧＰＳ／ＧＬＯＮＡＳＳプロセスの組み合わせ、ＧＡＬＩＬＥＯプロセス、ＣＯＭＰＡＳＳ（北斗衛星測位システム）プロセス、地球ベースの擬似衛星プロセス、その他から成る群より選択できる。
【００１９】
全地球位置測定システム（ＧＰＳ）は、観測者の現在位置および／または観測時間を決定できる情報を伝達する衛星信号送信機のシステムである。ＧＰＳは、米国国防省（ＤＯＤ）のＮＡＶＳＴＡＲ衛星プログラムの下で開発された。
【００２０】
さらに図２を参照すると、本技術の一実施形態においては、ＧＮＳＳプロセスに代えて、または衛星信号が利用できない若しくは損なわれている場合、画像取得装置３４（若しくはプラットフォーム３２）の基準位置の座標は、慣性推測航法、同時位置決めマッピング（ＳＬＡＭ）プロセス、マッチムーブプロセス、類似の画像処理アルゴリズム、および写真測量プロセスから成る群より選択できる特徴ベースプロセスにより決定される。
【００２１】
本技術の一実施形態において、特徴ベースプロセス３６は、同時位置決定及びマッピングプロセス（ＳＬＡＭ）により実施される。
【００２２】
同時位置決定及びマッピング（ＳＬＡＭ）プロセスは、一つ若しくは複数のビデオカメラからの画像シーケンスを用いて、固定された特徴を特定すると共にこれらの固定された特徴の地図を構築する。２つの画像加工技術を適用できる。
【００２３】
同時位置決定及びマッピング（ＳＬＡＭ）に適用される第１の画像加工技術は、画像の区分化および特徴の抽出である。ＳＬＡＭは、静止していることが既知であることから三次元（３Ｄ）空間において、有効な基準点である特定の対象を特定するためにこれを用いる。典型的な選択対象は、かなり明確な特性を有した対象であって、屋外の設定では多くの場合に角部であり、屋内の設定では様々な種類のライト、スイッチ、窓棚若しくは角部といった壁に取付けられた定着物である。これらの特性は、ソフトウェアにおいて処理し、アルゴリズムの内部に特徴を生じさせることができる。
【００２４】
同時位置決定及びマッピング（ＳＬＡＭ）に適用される第２の画像加工技術は、深度したがって対象までの距離の情報を抽出するために使用するステレオ画像法である。ＳＬＡＭは、異なるロボット位置からそれらを映し出すように三次元（３Ｄ）座標格子内に特徴の地図を構築し、それによって、その座標格子内の位置を決定する。マッピングおよび自己位置決定プロセスは、全ての変数を推定するカルマンフィルタにおいて、実施される。この場合、距離の抽出は、複数の重なり合う二次元（２Ｄ）画像からのステレオ画像を用いてなされる。
【００２５】
本技術の一実施形態においては、同時位置決定及びマッピング（ＳＬＡＭ）法はビデオカメラを用いる。
【００２６】
本技術の一実施形態において、同時位置決定及びマッピング（ＳＬＡＭ）法は、ＣＣＤ撮像素子（ＣＣＤ）を用いる。ＣＣＤは、通常、装置の内部から電荷を操作できる領域、例えばデジタル値に変換できる領域へと電荷を移動させる装置である。これは、装置の内部において、信号を一つずつ「移動させる」ことにより達成される。技術的に、ＣＣＤは、装置内の容量性ビンの間で電荷を移動させるシフトレジスターとして実現され、そのシフトがビンの間の電荷の移動を可能にする。多くの場合ＣＣＤは画像センサ、例えば光電デバイスと一体化されて読み込まれる電荷を生じさせ、このことがＣＣＤをデジタルイメージングにおいて、主要な技術としている。
【００２７】
本技術の一実施形態において、同時位置決定及びマッピング（ＳＬＡＭ）法は、ＣＭＯＳセンサを有したビデオカメラを用いる。
【００２８】
本技術の一実施形態において、同時位置決定及びマッピング（ＳＬＡＭ）法は、狭い観測視野（ＦＯＶ）を用いる。このことは、所与のセンササイズについて、より小さな全体的領域において、より高い解像度視界をもたらし、より小さな対象を検出できるようにする。広いＦＯＶは、より大きな対象若しくはより大きい空間領域に広がった対象をカメラが捕捉できるようにするが、所与のセンサに対して同じ解像度をもたらさない。この機器は、一定のフレームレートで若しくは機器の動的な特性により規定される可変フレームレートで画像を受け入れるＳＬＡＭ処理アルゴリズムを備えるとともに、その用途に適した座標フレームにおける特定された特徴および機器の位置を出力する。機器の初期方向に対する直交座標、定義済みの原点から絶対的に測定された直交座標、緯度−経度−高度、地球固定直交座標系、機器の初期方向に対する極座標。更なる参考資料については、以下を参照されたい。
【００２９】
（ｉ） Thomas Lemaire, Cyrille Berger, Il-Kyun Jung and Simon Lacroix,
"Vision-Based ＳＬＡＭ: Stereo and Monocular Approaches ", International
Journal of Computer Vision 74(3), 343-364, 2007、および
（ｉｉ） Moritz Kohler, Shwetak N. Patel, Jay W. Summet, Erich P. Stuntebeck, and
Gregory D. Abowd, Institute for Pervasive Computing, Department of Computer
Science ETH Zurich, 8092 Zurich, Switzerland, "TrackSense: Infrasfructure
Free Precise Indoor Positioning Using Projected Patterns"。
【００３０】
本技術の一実施形態において、特徴ベースプロセス３６はマッチムーブプロセスを用いて実行される。マッチムーブプロセスは、いくつかのステップを有している。第１のステップは、対象を特定して追跡することである。
【００３１】
本技術の一実施形態において、特徴追跡プロセスは２つのステップから成る。第１のステップは、画像の特徴から位置および方向づけの基準を求めることである。このステップは、一般的に「特徴検出」と称される。
【００３２】
第２ステップは、３次元（３Ｄ）の動きを解くことを含む。このプロセスは、２次元画像平面から画像取得装置３４の３次元動きの推定値への、画像の特徴において検出された変形の逆投影を解くことによって、（図２の）画像取得装置３４の運動を求めることを試みる。より詳しくは、３次元の対象の表面上の１つの点が撮影されたときに、その２次元（２Ｄ）フレームの位置は、３次元（３Ｄ）投影関数によって計算できる。
【００３３】
アブストラクトカメラ(abstract camera)の概念を導入できる。このアブストラクトカメラは、定義上、現実若しくは仮想世界において、画像取得装置３４をモデル化するために必要とされる全てのパラメータを保持する抽象化である。
【００３４】
従って、アブストラクトカメラは、本質的に、画像取得装置３４の位置、その方向、焦点距離、および画像取得装置３４が光線をどのようにフィルム面に焦点合わせするかを定義するその他の可能性があるパラメータをその要素として含むカメラベクターである。適合する投影関数Ｐがある限り、このカメラベクターが厳密にどのように構成されているかは重要でない。
【００３５】
この投影関数Ｐは、（「camera」と示される）カメラベクターおよび（「ｘｙｚ」と示される）空間の３次元（３Ｄ）の点の位置の他のベクターを入力として取り込み、カメラの前方の（「ＸＹ」と示される）平面上に投影された２次元の（２Ｄ）の点を返す。この関数は以下のように表される：
【００３６】
【数１】
0006002126.tif 000002
【００３７】
例えば、特徴を投影する場合は、フレームｉおよびｊのカメラはそのカメラのパラメータに依存して平面上に視野を投影する。このようにして、二次元の（２Ｄ）空間において、追跡される特徴は、３次元（３Ｄ）空間内の実際の特徴に対応する。
【００３８】
しかしながら、この投影関数は、実際の３次元の特徴を変形させるとともに、それが含む情報量を減少させる。その要素の完全な情報が知られていないと、逆投影関数Ｐ´は、カメラの中心から発し、投影された２次元の点を通過する直線を形成する一連の３次元の点を返すことしかできない。同様の曖昧性が、投影された特徴に含まれている、いかなる方向付けの情報の解釈においても生じる。逆投影は、以下に表される：
【００３９】
【数２】
0006002126.tif 000003
【００４０】
若しくは
【００４１】
【数３】
0006002126.tif 000004
【００４２】
本技術の一実施形態において、建築物のような不動の対象の表面に特徴がある場合、実際の点ｘｙｚは、画像のフレーム間で、現実空間内の同じ場所にとどまる。
【００４３】
【数４】
0006002126.tif 000005
【００４４】
ここで下付き添字ｉおよびｊは、解析されている撮像における任意のフレームを示している。それは以下の通りとなる。
【００４５】
【数５】
0006002126.tif 000006
【００４６】
追跡プログラムによって、特徴が追跡される全てのフレームについてＸＹｉの値が決定されているので、P'(camerai,XYi)∩P'(cameraj,XYj)がｉおよびｊにおいて、式を解く考え得るカメラベクターの小さな組である限り、任意の２つのフレーム間で逆投影関数を解くことができる。
【００４７】
【数６】
0006002126.tif 000007
【００４８】
式６によると、その２つの点ＸＹｉおよびＸＹｊの逆投影の共通部分が定留点ｘｙｚの周りに集中する空でない集合である、カメラベクターの組Ｃｉｊがある。
【００４９】
また式６によると、画像取得装置３４の空間内における任意の点について、厳密に同じ方法で一つの点としての特徴を撮影するための対応したパラメータの組（方向、焦点距離、他）がある。しかしながら、カメラベクター対の組Ｃｉｊは無限数の要素を有しているので、一つの点としての特徴では画像取得装置３４の実際の位置を決定するには十分でない。
【００５０】
追加の点としての特徴若しくは追加の方向情報の形の、追跡のための情報がより多いほど、画像取得装置３４の実際の位置をより正確に決定できる。
【００５１】
点の組｛（ｘｙｚ）ｉ，０．．．（ｘｙｚ）ｉ，ｎ｝および｛（ｘｙｚ）ｊ，０．．．（ｘｙｚ）ｊ，ｎ｝（ｉおよびｊはさらにフレームを示し、ｎは多くの追跡する特徴のうちの１つの指標である）において、カメラベクター対の組｛Ｃｉ，ｊ，０．．．Ｃｉ，ｊ，ｎ｝を抽出できる。
【００５２】
この複数の追跡のアプローチを用いることにより、カメラの可能性があるパラメータの数を減少させることができる。適合する、可能性があるカメラパラメータの組Ｆは、全ての組の共通集合である。
【００５３】
【数７】
0006002126.tif 000008
【００５４】
この組Ｆにおける要素の数がより少ないほど、画像取得装置３４の実際のパラメータの抽出に近づくことができる。
【００５５】
追跡プロセスに導入される誤差のため、各フレームについてのカメラベクターを決定するためには統計的なアプローチが必要である。カメラの動きに対する可能性のある解法を狭めるために、最適化アルゴリズムおよびバンドルブロック調整を用いることができる。
【００５６】
３次元マッチムーブツールは、２次元の写真からの３次元情報の外挿を可能とする。３次元のマッチムーブが可能なプログラムには、Voodoo（フリーウェア、Scenespector
VooCAT）、Icarus（マンチェスター大学）、Maya Live、The Pixel Farm PFTrack、PFHoe（PFTrackアルゴリズムに基づく）、REAL
VIZ MatchMover、Science.D.Visions 3DEqualizer（技術的な業績についてアカデミー賞を受賞）、Andersson
Technologies SynthEyes、およびBoujou（２００２年のエミー賞を受賞）が含まれるが、これらには限定されない。
【００５７】
本技術の一実施形態において、特徴ベースプロセス３６は、写真測量プロセスを用いて実行される。
【００５８】
写真測量は、対象の幾何学的性質を画像から決定する実践方法である。最も単純な実施形態において、写真の画像平面に平行な平面上にある２つの地点間の距離は、画像のスケールｓが既知であれば、画像上のそれらの距離を測定することによって、決定できる。これは、測定した距離に１／ｓを乗算することによって、なされる。
【００５９】
立体写真測量と呼ばれる、より高度な技術は、対象上の点の３次元座標の推定を含んでいる。これらは、異なる位置から撮影された二つ若しくはより多くの写真画像において、なされる計測により決定される（立体写真術を参照）。共通の点が各画像上で特定される。視野線（若しくは光線）が、カメラ位置から対象上の点へと構築できる。その点の３次元位置を決定するのは、これらの光線の共通集合（三角測量）である。より高度なアルゴリズムは、先験的に知られれているそのシーンに関する他の情報を利用することができ、例えば対称性は、いくつかの場合において、１つのカメラ位置だけから３Ｄ座標の再構築を可能にする。
【００６０】
写真測量のためのアルゴリズムは、誤差の組の平方の合計を最小化するという典型的な問題を示す。この最小化は、しばしば、バンドル調整として知られており、一般に非線形でその関数のパラメータ空間にわたる関数を最小化する問題に対して数値解法を提示する、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔアルゴリズム（ＬＭＡ）を用いて実行される。これらの最小化問題は、最小自乗曲線当てはめおよび非線形計画において、特に生じる。
【００６１】
このＬｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔアルゴリズム（ＬＭＡ）は、ガウス−ニュートンアルゴリズム（ＧＮＡ）と勾配降下法の間を補間する。Ｌｅｖｅｎｂｅｒｇ―Ｍａｒｑｕａｒｄｔアルゴリズム（ＬＭＡ）は、ガウス−ニュートンアルゴリズム（ＧＮＡ）より強力であり、それは、多くの場合に、最終的な最小値に対しはるかに遠くから開始しても解法を見いだすことを意味する。
【００６２】
３次元座標は、３次元空間内における対象の点の位置を定める。画像座標は、フィルム若しくは電子画像システム装置上における対象の点の画像位置を定める。カメラの外部定位は、空間におけるその位置および視野方向を定める。内部定位は、画像プロセスの幾何学的なパラメータを定める。これは、主にレンズの焦点距離であるが、レンズの歪の記載を含めることもできる。更なる追加の観測は、重要な役割を演じる：本質的に空間内の２点の既知の距離であるスケールバー、若しくは既知の固定点により、基礎的な測定ユニットへのつながりが生成される。
【００６３】
スキャナからの密度の高い範囲データによって、写真測量データは互いを補う。写真測量は、画像平面にほぼ平行な寸法において、より正確であるが、レンジデータは、一般的に、画像平面に対して垂直な寸法においてより正確である。このレンジデータは、ＬｉＤＡＲ、（飛行時間、三角測量または干渉法を用いる）レーザスキャナ、白色光ディジタイザ、および領域をスキャンして（一般に「点の雲」と呼ばれる）複数の別個の点についてｘ、ｙ、ｚ座標を戻す任意の技術によって、供給できる。
【００６４】
３次元の視覚化は、同一フレーム内における写真とＬｉＤＡＲデータの地理的な照合によって、生成できる。次いで、適合最小自乗ステレオマッチングのような技術を用いて、ｘ、ｙ、ｚデータの密度の高い配列を生じさせるためにカメラモデルを介して変形された、対応関係の密度の高い配列を生じさせる。
【００６５】
さらに図２を参照すると、本技術の一実施形態において、特徴ベースプロセス３６は、図３に示されている地理情報を含む画像ベースプロセスを用いて実行される。地理情報を含む画像ベースプロセス３６は、２００９年９月１４日に出願された、James
M. Janky他による特許出願第１２／５５９，３２２号に開示されている「画像ベースの地理参照」法を用いる。「画像ベース地理参照」というタイトルの特許出願は、その全体が本願明細書に組み込まれる。
【００６６】
より詳しくは、（図３の）画像処理エンジン６２は、基本的に、画像取得装置６４から画像を取得し、画像アウトライナ６８を用いて画像内の対象の輪郭を生成し、地理情報を含む対象画像のローカルなデータベース６６において、同様の輪郭を検索し、カメラ画像７０内の特徴を特定し、（パターン認識輪郭一致プロセス７２を用いて）データベース内の特徴との一致を見出し、マッチングプロセスによって見いだされた特徴が、地理情報を含む位置座標を有しているかをテストする、一連のコンピュータープログラムである。
【００６７】
さらに図３を参照すると、本技術の一実施形態において、地理情報を含む座標との一致があると、地理情報を含む読み出しプログラム７４はデータベースからそれらの座標を抽出し、位置決定部７６は、写真測量、ムーブマッチ等の特徴ベースプロセスを用いて、位置取得装置６４の位置座標を決定する。上述の考察を参照されたい。
【００６８】
さらに図３を参照すると、本技術の一実施形態において、画像取得装置６４の最初の位置は、ブロック７８を介して任意のレベルの正確さで入力できる。例えば、（ａ） ＧＮＳＳレシーバを介して、または、（ｂ）
交差点の２つの名前を手動で、または、（ｃ） だいたいの緯度／経度などである。本技術のこの実施形態においては、画像取得装置６４の最初の位置を決定するこの方法は、関心のある領域に直行することによって、探索プロセスをスピードアップすることができる。
【００６９】
さらに図３を参照すると、本技術の一実施形態において、手動の位置入力は、Ｔｒｉｍｂｌｅ  ＴＳＣ２(Trimble Survey Controller
Model 2)のような携帯用デバイスを介して行うことができる。
【００７０】
さらに図３を参照すると、本技術の一実施形態において、画像処理エンジン６２は、例えばTSC2データコレクタ、ラップトップ、パーソナル携帯情報機器、またはアップルｉＰａｄのような携帯型コンピュータに存在するように構成できる。画像取得装置６４の最初の（シード）位置の入力は、これらの装置を介してなすことができる。
【００７１】
さらに図３を参照すると、本技術の一実施形態において、画像を取得装置６４のシード（最初の）位置を供給するために通信装置８０を使用することができる。
【００７２】
本技術の一実施形態において、通信装置８０を外部データベースに接続するために、Ｗｉ―Ｆｉ、携帯電話、ＺｉｇＢｅｅ、その他を含むワイヤレスシステムを用いることができる。
【００７３】
本技術の一実施形態において、地理情報を含むリモート対象画像データベース８２は、、局地的な対象、例えば建築物の屋根の角部、前方ドア、窓の棚、道路標識、消火栓等、文字通り地球上のすべてが地理的に位置決めされるとともに、ある任意の視点からの画像を有している、良好にデータが読み込まれたデータベースである。
【００７４】
したがって、地理情報を含むリモート対象画像データベース８２は、画像取得装置６４のシード位置を入力するために用いることができる。
【００７５】
この場合においては、地理情報を含むリモート対象画像データベース８２から、ローカルに記憶された地理情報を含む対象画像データベース６６へと、よりローカル最新版をダウンロードすることができる。パターン認識輪郭一致プログラム７２の特徴を用いることにより、ローカルに取得された画像についての検索の一部として、画像の回転および並進を実行できる。
【００７６】
本技術の一実施形態において、より詳しくは、シード位置測定がＧＰＳ／ＧＮＳＳレシーバからのＧＰＳ位置測定値若しくは他の手段からの位置情報を用いて得られる場合、それは交換可能な画像ファイル形式（Ｅｘｉｆ）を用いてカメラ画像と組み合わせることができる。Ｅｘｉｆは、ディジタルカメラで使用する画像ファイル形式の仕様である。この仕様は、既存のＪＰＥＧ、ＴＩＦＦ  Ｒｅｖ．６．０およびＲＩＦＦ  ＷＡＶファイル形式を、特定のメタデータタグを付加して用いるものである。
【００７７】
本技術の一実施形態において、シード位置測定値は、ＧＰＳ／ＧＮＳＳレシーバからのＧＰＳ位置測定値を用いることにより得られるが、シード位置測定値の精度は全体的にＧＰＳレシーバの洗練度および性能レベルに応じて決まる。カメラを有した移動電話に用いられる簡単なＧＰＳチップセットレシーバは、地球上のどこにおいても約４〜７メートル程度の絶対的な精度を示す。
【００７８】
他方、より高度なレシーバは、精度を劇的に改善できる様々な修正技術を用いる。例えば、米国連邦航空局により提示される広域付加サービスは、２つの同期衛星からＧＰＳ信号と同じ周波数の信号を特別なコードと共に送信し、全国的に約１メートルまで精度を改善する。他の異なるサービスは、約２０ｃｍへの改善を示す。最後に、仮想基準ステーションサービスを有したリアルタイム運動学上の方法は、既知の基準点に対して約２〜５ｃｍまでの精度を示すことができる。
【００７９】
本技術の一実施形態において、さらに図３を参照すると、単純なＧＰＳレシーバよりも正確なカメラ位置を決定するために、カメラ画像携帯用画像処理エンジン６２に供給される。カメラ画像は、リアルタイムに提供されるか、若しくは同時係属出願である「画像ベース地理参照」に説明されている原理に従って後処理できる。
【００８０】
本技術の一実施形態において、さらに図３を参照すると、携帯用画像処理エンジン６２には、データベースにおいて、特定された地理情報を含む特徴とともに建築物および他の対象の画像を有した、地理情報を含むローカルな対象画像データベース６６が設けられている。地理参照データは、緯度、経度および高度情報から構成できるし、米国地質調査所により設置されて維持されている測量士マークのような局地的な基準点からの「Ｙ座標およびＸ座標」として記憶することもできる。他の座標系もまた用いることができる。
【００８１】
本技術の一実施形態において、地理情報を含むローカルな対象画像データベース６６は、適切なタグで使用可能とされて検索できるように構成される。
【００８２】
本技術の一実施形態において、地理情報を含むローカルな対象画像データベース６６は、グーグルのストリートビュー若しくは同じタイプのサービスを用いて実施できる。地理情報を含むローカルな対象画像データベース６６は、位置情報を、画像の各部分に関連する緯度／経度座標の位置タグと関連付け、これによって、サーチエンジンを使用可能にする。したがってユーザは、ストリートビューの画像を、その番地に基づいて若しくはその位置の緯度／経度座標に基づいて見いだすことができる。道路の交差点もまた検索のために利用可能である。
【００８３】
本技術の一実施形態において、地理情報を含むローカルな対象画像データベース６６は、地理情報を含む対象画像を用いることによって、実施できる。地理情報を含む対象画像データベースは、建築物の特徴および端部、一時停止標識、道路標識、消火栓等に関連する複数の正確な位置データを含んでいる。地理情報を含む対象画像データベースは、所与の対象の既知の特徴の位置からユーザにより取得された画像にあり得る特徴へと推測するように構成された適切な解析ソフトウェアを有する、画像処理エンジンをさらに備えている。この推測は、画像を組織化すると共に既知の地理情報を含む特徴から未知ではあるがより適切な特徴への幾何学的な関係（距離および方向）を見いだす補間法を用いることによって、実行できる。
【００８４】
本技術の一実施形態において、画像内のデータからカメラの位置を決定することは、写真測量方法を用いることによりなされ、これは従来技術において周知である。上述の考察を参照されたい。
【００８５】
本技術の一実施形態において、写真測量解法を実行するために必要な距離スケールファクターは、取得した画像内の関心のある対象に関連付けられた地理情報を含むデータの処理から見出すことができる。二つ若しくはより多数の点の地理情報を含むデータは、２つの選択された点の間の３次元の距離を周知の式を用いて簡単に計算することにより、距離スケールファクターの生成を、ただちに可能にする。
【００８６】
【数８】
0006002126.tif 000009
【００８７】
ここでｘ、ｙおよびｚは、関心がある対象に関連付けられた点の地理情報を含む座標である。
【００８８】
本技術の一実施形態において、画像処理エンジン（図３の６２）は、取得した画像内で選択された基準点に基づいたカメラ位置の計算を可能にする、そのまま使用できる写真測量画像処理アルゴリズムを提供する。選択プロセスは、取得した画像内に端部（２本の線の交点）若しくは角部を見出す検索ルーチンを利用する。端部または最も鋭い角部を有した角度部または点は、自動的に選択される。選択された端部／角部が地理情報データの点に関連付けられていない場合、選択された点についての地理情報を含むデータを推定するために補間アルゴリズムが用いられる。（上述の考察を参照されたい）。
【００８９】
本技術の一実施形態において、取得された画像内で選択された基準点は、カメラ６４の位置を計算するために用いられる。３つ若しくはより多くの点が選択されると、計算プロセスは一連の段階を通って進行し、位置を直接計算する。
【００９０】
スケールファクターが、それらの地理情報を含む位置データについて、選択された基準点の間の計算可能な距離を介して決定される。スケールファクターは、メートルまたはフィート若しくは地球の表面におけるサブテンド角(subtended
angle)として、物理的な距離として見いだされる。
【００９１】
次に、図４に示されているように、最初の２つの地理情報を含む点の間の角度が決定される。より詳しくは、図４は、２つの点Ｐ１９６とＰ２９８との間の既知の距離Ｄ１  １０１（スケールファクター）からカメラ９２に対する距離１０６を見出す写真測量法とサブテンド角(subtended
angle)に対する画素変換を示している。幾何学において、円弧によって張られる(subtended)角度は、円弧の終端を通過する二つの光線がなす角度である。
【００９２】
ディジタルカメラ９２においては、それは２つの点Ｐ１９６とＰ２９８の間の距離を測定し、次いでカメラの観測視野における画素の総数１００に対するその数の比率を計算することによって、なされる。この角度の半分Ａ  １０２および２つの地理情報を含む点の間の半分の距離１／２Ｄ  １０４を用いることにより、地理情報を含む選択された２つの点の間の中間点１０７からカメラの入射瞳９４までの距離１０６が計算される。選択された２つの点の間の半分の角度のタンジェントは、問題解決の一つのタイプについて、カメラからの距離と２つの点の間の既知の距離の半分との比率によってもたらされるからである。
【００９３】
【数９】
0006002126.tif 000010
【００９４】
本技術の一実施形態において、対象上の地理情報を含む任意の２つの点を接続する取得された画像内の線の中間点からより多くの距離推定値を決定するこのプロセスを実行できる。ここで地理情報を含む２つの既知の点の間の中間点もまた、地理情報を含む座標系に関して計算できる。
【００９５】
ここで記載した距離は、カメラの位置を決定するために必要な距離ではない。しかし、この情報により、点Ｐ１９６からカメラの入射瞳９４への実際の距離である斜辺（長辺）１０８、（および点Ｐ２９８からカメラの入射瞳９４への実際の距離である斜辺１１０）は、問題解決のための１つのタイプについては以下の通りに計算できる。
【００９６】
【数１０】
0006002126.tif 000011
【００９７】
ここで１／２ＤはＰ１とＰ２との間の距離の半分であり、Ａは２つの点Ｐ１とＰ２についてのトータルな角度変位の半分である。
【００９８】
本技術の一実施形態において、次のステップを理解する助けとしてさらに図４を参照すると、地理情報を含む点Ｐ１９６およびＰ２９８は、ここでは球面の中心となっており、各点からのカメラの入射瞳９４への距離は各球面の半径を与える。そのように地理情報を含む最低３つの既知の点によって、３つの点による３本の線は、カメラに対する距離を示す３つの式を提示する。すなわち、３つの球面は若干の誤差を有しつつカメラの入射瞳において、交差する。この交点の位置（３つの未知数の３つの式）、を解くことにより、ここで入射瞳の地理情報を含む点を与える。これは、いわゆる三角測量法である
本技術の一実施形態において、３つ以上の既知の点がある場合、連立方程式は過剰に決定される。ほとんどの写真測量プログラムは、誤差の減少を助けるためにより多くの点を用いる。
【００９９】
最小二乗法は、過剰決定される連立方程式、すなわち未知数より多くの式がある式の組合わせの近似解法に対する標準的なアプローチである。「最小自乗」は、各式を解く際に生じる誤差の自乗の合計を全体の解法が最小化することを意味している。
【０１００】
最も重要な用途は、データ当てはめである。最小自乗の意味における最良のフィットは自乗誤差の合計を最小化し、誤差は観測値とモデルによって、与えられる値との間の差である。最小自乗の問題は、全ての未知数において、誤差が線形であるか否かに応じて、線形最小自乗および非線形最小自乗の２つのカテゴリに分類される。線形最小自乗の問題は統計的な回帰解析で生じ、閉じた形の解法を有する。非線形問題は、閉じた解法を持たず、通常は反復的な改良によって、解かれる。それぞれの反復において、システムが線形のシステムにより近似されるので、中心的な計算はいずれの場合においても同様である。最小自乗は、実験誤差が正規分布を持つ場合に最大尤度の基準に対応し、かつモーメント法推定量として得ることができる。また、可能性に対し局地的な二次近似を反復的に適用することにより、最小二乗法は一般線形モデルに当てはめるために用いることができる。
【０１０１】
上記のステップを実行する、利用可能な多くの写真測量プログラムがある。更に、地理情報を含む地点に対する画像をとっている両方のカメラの正確な方向づけを決定するプロセスも、線のシステムの傾斜があるという事実を補償するために、考慮に入れられる。多数の基準点、若しくは２つの異なるカメラ位置からの少なくとも２つの画像を持つことは、カメラ位置を決定するために十分なデータをもたらす。
【０１０２】
関心のある対象を含む１つを超えるシーンの画像を撮影することをユーザが選定した場合、この他の主要な場合を取り扱う追加のプロセスも容易に利用可能である。このプロセスは、「バンドル調整」として知られる方法を介して同時になすことができる。
【０１０３】
異なる視点からいくつかの３次元の点を描いている画像が与えられ、バンドル調整は、シーンの幾何学を記載する３次元の座標を相対運動のパラメータおよび画像を取得するために用いるカメラの光学的な特性とともに、全ての点に対応する画像投影を含む最適基準に従って同時に改良する問題として定義できる。
【０１０４】
バンドル調整は、あらゆる特徴ベース３次元再構築アルゴリズムの最終工程として、ほとんどいつでも用いられる。それは、３次元構造および視野パラメータ（すなわち、カメラの姿勢、固有のキャリブレーションおよび半径方向歪）について、観測された画像に付随するノイズに関して特定の仮定のもとで最適な再構築を得るための最適化の問題になる。
【０１０５】
画像誤差がゼロ平均ガウス曲線である場合、バンドル調整は最大尤度の推定量である。その名称は、３次元の特徴からそれぞれ発し、構造および視野パラメータに対して最適に調整される各カメラの光学中心上に収束する光線の「バンドル」（束）のことを指す。
【０１０６】
バンドル調整プロセスの間、多数の非線形で実数値関数の二乗和として示される、観測された画像の位置と予測された画像の点との間の再投影の誤差が、最小化される。従って、最小化は、非線形最小自乗アルゴリズムを用いて達成される。現在の推定値の近傍に最小化される関数を反復的に線形化することにより、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔアルゴリズムは正規方程式として知られる線形システムの解法を伴う。バンドル調整のフレームワークにおいて、生じる最小化の問題を解くときに、異なる３次元の点およびカメラについてのパラメータ間の相互関係の欠如のために、正規方程式は低密度なブロック構造を持つ。このことは、明示的に正規方程式ゼロパターンを利用するＬｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔアルゴリズムの低密度バリアントを使用することにより、ゼロ要素上での記憶および動作を回避しつつ、ゲイン計算処理上の利益を得るために利用できる。
【０１０７】
本技術の一実施形態において、図５は、地理情報を含む対象の画像データベース６６および（図３の）画像処理エンジン６２を用いて（図２の）特徴ベースプロセス３６を実施する段階を記載したフローチャート１２０を示している。
【０１０８】
より詳しくは、一つの実施形態において、（図３の）画像処理エンジン６２はステップ１２４において、所望の位置決定領域に関連するデータセットにより初期化される。次いで、ステップ１２６において、画像取得装置６４は、関心がある領域において、関心がある対象の少なくとも一つの画像を取得し、（ステップ１２８において、）関心がある少なくとも一つの取得画像を（図３の）画像処理エンジン６２に供給する。パターンマッチングプロセスは、取得画像における対象の輪郭と地理情報を含む対象画像データベース６６における対象との間の一致を探索するべく実行される（ステップ１３０）。関心がある対象について取得された画像における少なくとも一つの特徴が特定された（ステップ１３２）後、取得された画像において選択された特徴とデータベース６６内の地理情報を含む特徴との間の一致のために、地理情報を含む対象画像データベース６６における探索が、実行される（ステップ１３４）。この探索プロセスは、特徴マッチのために選択された回数だけ反復される（ステップ１３６）。ステップ１３８では、写真測量画像処理アルゴリズムが適用されて、地理情報を含む対象画像データベースに由来した地理情報を含む座標系におけるカメラの入射瞳の位置（図４の９４）が決定される。任意に（ステップ１４０において、）、画像処理エンジンを初期化するステップ１２４は、街路の住所、２つの街路の交差点、標識若しくは地理情報を含むデータにより定義される局地的な基準位置の入力を更に含む。
【０１０９】
本技術の一実施形態において、図６は、ポール１５４上に取り付けられたＧＮＳＳレシーバ１５２、および同じポール１５４上に取り付けられたカメラ１５６を備える画像ベース測位のための装置１５０を示している。それはまた、ＴＳＣ２のようなＧＩＳ／調査データコレクタ１６２を示している。
【０１１０】
本技術の一実施形態において、図７は、図３の画像処理エンジン６２を使用可能にするように構成されたコンピューターシステム１７０を示している。ハードウェア部分は、プロセッサ１７２、コンピュータが使用可能な持久記憶装置（ＲＯＭ）１７４、コンピュータが使用可能な揮発性メモリ１７６、データ記憶ユニット１７８、バス１８０、画像データベース管理システム（ＩＤＭＳ）１８２、表示装置１８３、英数字入力部１８４、カーソル制御部１８６、入出力装置１８８、およびコンピュータが読込可能な周辺記憶メディア１９０を有している。ソフトウェアブロック１９２は、オペレーションシステム１９４、アプリケーション１９６、モジュール１９８およびデータ２００を有している。これは、単にそのようなコンピューターシステムの一例を示すことをのみを意図している。列挙された部品の全てを含まない、若しくは列挙されてない部品を有する実際のコンピューターシステムも、画像処理エンジンを使用可能にするのに適し得る。
【０１１１】
ＩＩＩ．二重対象追跡プロセスを含む画像ベースの測位装置
本技術の一実施形態において、図８は、二重特徴追跡プロセス２１２を含む画像ベースの測位装置２１０を示している。このプロセス２１２は、汎用プロセッサを用いて、若しくは特定用途向けのプロセッサ（ＡＳＩＣ、ＦＰＧＡ、ＰＬＤ、等）を用いて実施できる。
【０１１２】
本技術の一実施形態において、画像ベースの測位装置２１０は、プラットフォーム２１１上に取り付けられた少なくとも２つの画像取得装置２１４、２１６（第３の装置２１８は任意）をさらに備える。
【０１１３】
本技術の一実施形態において、画像取得装置２１４、２１６は重なる観測視野を有する。
【０１１４】
本技術の一実施形態において、画像取得装置２１４、２１６は、重ならない観測視野を有する。
【０１１５】
本技術の一実施形態において、プラットフォーム２１１は探査車を有する。
【０１１６】
本技術の一実施形態において、プラットフォーム２１１は、探査車射程追跡装置システムを有する。
【０１１７】
本技術の一実施形態において、プラットフォーム２１１は、ＧＩＳマッピング携帯装置を有する。
【０１１８】
本技術の一実施形態において、各画像取得装置２１４，２１６（任意で２１８）は、プラットフォーム２１１の第１の位置およびプラットフォーム２１１の第２の位置において、少なくとも一つの特徴を含む画像を取得するように構成される。
【０１１９】
本技術の一実施形態において、画像ベースの測位装置２１０は、第１の画像取得装置２１４、第２の画像取得装置２１６（および任意で第３の画像を取得装置２１８）を同期させるように構成された同期部２２６をさらに備える。以下の考察を参照されたい。
【０１２０】
本技術の一実施形態において、同期ブロック２２６は、制御装置（図示せず）によって、発生する制御信号を用いて実施される。
【０１２１】
本技術の一実施形態において、画像ベース測位装置２１０は、ＧＮＳＳプロセス、画像マッチ写真測量プロセス、地理情報を含む画像ベースプロセス、マッチムーブプロセス、表面追跡プロセス、およびＳＬＡＭプロセスから成る群より選択される位置決めプロセス２２０をさらに有する。
【０１２２】
ＧＮＳＳプロセス、画像マッチ写真測量プロセス、地理情報を含む画像ベースプロセス、マッチムーブプロセス、表面追跡プロセスおよびＳＬＡＭプロセスの動作は、上の考察で開示されている。位置決めプロセス２２０は、プラットフォーム２１１の位置を得るように構成される。
【０１２３】
本技術の一実施形態において、二重特徴ベースプロセス２１２は、プラットフォーム２１１の第１および第２の位置で得られた各画像を処理して、少なくとも２つの特徴についての追跡データの組を抽出するように構成されている。二重特徴ベースプロセス２１２は、少なくとも２つの取得された特徴についてそれぞれ得られた追跡データの組を用いて、プラットフォーム２１１の第２の位置における位置を決定するように構成されている。
【０１２４】
本技術の一実施形態において、プロセス２１２はまた、第３の画像取得装置２１８によって、プラットフォーム２１１の第１および第２の位置で取得された少なくとも一つの特徴を含む画像を処理して、少なくとも１つの取得された特徴についての追跡データの組を抽出するように構成されている。本技術のこの実施形態においては、プロセス２１２はまた、各少なくとも一つの取得された特徴についてそれぞれ得られた追跡データの組を用いて、プラットフォーム２１２の第２の位置における位置を決定するように構成されている。
【０１２５】
本技術の一実施形態において、画像ベース測位装置２１０は、カルマンフィルタ２２２をさらに備えている。カルマンフィルタ２２２は、第１のノイズが多い計測としての少なくとも一つの第１の取得された特徴の追跡データの組と第２のノイズが多い計測としての少なくとも一つの第２の取得された特徴の追跡データの組とを組み合わせることにより、プラットフォーム２１１の第２の位置におけるカルマン推定値を得るように構成されている。任意で、カルマンフィルタ２２２は、第１のノイズが多い計測としての少なくとも一つの第１の取得された特徴の追跡データの組と、第２のノイズが多い計測としての少なくとも一つの第２の取得された特徴の追跡データの組および第３のノイズが多い計測としての少なくとも一つの第３の取得された特徴の追跡データの組とを組み合わせることにより、プラットフォーム２１１の第２の位置におけるカルマン推定値を得るように構成される。
【０１２６】
本技術の一実施形態において、画像ベースの測位装置２１０は、更なる処理のためにプラットフォームの少なくとも一つの特徴ベースの３次元（３Ｄ）位置座標を記憶するように構成された外部メモリ２２４をさらに備える。
【０１２７】
本技術の一実施形態において、画像ベース測位装置２１０は、外部メモリ２２４に対するリモートインターネットアクセスを提供するように構成されたワイヤレスモデム２２８をさらに備える。
【０１２８】
ＩＶ．二重対象追跡プロセスを含む画像ベース測位装置の動作モード
Ａ．同期動作。
【０１２９】
本技術の一実施形態において、図８の画像ベース測位装置２１０の同期動作は、プラットフォーム２１１の第１の位置において、第１の画像取得装置２１４を用いて第１の画像（第１の第１画像）を取り込む段階を含み、前記第１の第１画像は少なくとも一つの第１の対象を含む。
【０１３０】
本技術の一実施形態において、プラットフォーム２１１の位置は、ＧＮＳＳプロセス、表面追跡プロセス、特徴ベースプロセス、および地理情報を含む画像ベースプロセスから成る群より選択される（図８の）位置決定プロセス２２０を用いて決定される。
【０１３１】
本技術の一実施形態において、プラットフォーム２１１の位置は予め定められる。
【０１３２】
次いで、プラットフォーム２１１の第２の位置において、第２の画像が第１の画像取得装置２１４を用いて取得され（第２の第１画像）、前記第２の第１画像は同一の第１の取得された特徴のうちの少なくとも１つを含む。
【０１３３】
第１の第１画像および第２の第１画像は、少なくとも一つの第１の取得された対象の位置をロックオンして追跡するために、プロセス２１２を用いて処理される。プロセス２１２は、第１の取得された対象について追跡データの組をもたらす、第１の第１組と第２の第１画像との処理から、少なくとも一つの第１の取得された対象について２次元の位置測定値の組を得るように構成されている。
【０１３４】
本技術の一実施形態において、少なくとも一つの取得された第１の対象をロックオンして、一連の複数のフレームを通してロックオンされた第１の対象に追従するために追跡アルゴリズムを用いることができる。上の考察および式１〜式７を参照されたい。
【０１３５】
同様に、プラットフォーム２１１の第１の位置において、第２の画像取得装置２１６（図８）を用いて第１の画像が取得され（第１の第２画像）、第１の第２画像は少なくとも一つの第２の対象を含む。
【０１３６】
本技術の一実施形態において、第１の画像取得装置２１４（図８）および第２の画像取得装置２１６（図８）の動作を同期させて、プラットフォーム２１１が同じ位置にあるときに各装置の対応するＦＯＶ内に同時に配置された第１および第２の対象を両方の装置が（それぞれ）取得するように、同期部２２６を用いることができる。
【０１３７】
第２の画像は、プラットフォーム２１１が第２の位置にあるときの第２の画像取得装置２１６（図８）を用いて取得され（第２の第２画像）、第２の第２画像は少なくとも同一の第２の取得された対象を含む。
【０１３８】
本技術の一実施形態において、第１の画像取得装置２１４（図８）および第２の画像取得装置２１６（図８）の動作を同期させて、プラットフォーム２１１が同じ位置にあるときに各装置の対応するＦＯＶ内に同時に配置された第１および第２の対象を両方の装置が（それぞれ）取得するように、同期部２２６を用いることができる。
【０１３９】
第１の第２画像および第２の第２画像は、少なくとも１つの第２の取得された対象の位置を追跡するために、プロセス２１２を用いて処理される。プロセス２１２は、第２の取得された対象について追跡データの組をもたらす、第１の第２組と第２の第２画像とを処理することから、少なくとも一つの第２の取得された対象について二次元の位置測定値の組を得るように、構成される。
【０１４０】
本技術の一実施形態においては、少なくとも一つの取得された第２の対象を追跡して、一連の複数のフレームを通して第１の特徴に追従するために、追跡アルゴリズムを用いることができる。上の考察および式１〜式７を参照されたい。
【０１４１】
プラットフォーム２１１の位置は、少なくとも一つの第１の対象の追跡データの組および少なくとも一つの第２の対象の追跡データの組を用いて、二重特徴プロセス２１２により決定される。
【０１４２】
より詳しくは、本技術の一実施形態において、プロセス２１２は、プラットフォーム２１１のその位置について３次元（３Ｄ）座標値を解くために、少なくとも一つの第１の取得された対象の二次元（２Ｄ）追跡データに対して逆投影関数を適用する。
【０１４３】
より詳しくは、本技術の一実施形態において、プロセス２１２は、プラットフォーム２１１のその位置について３次元（３Ｄ）座標値を解くために、少なくとも一つの第２の対象の２次元（２Ｄ）追跡データに対し逆投影関数を適用する。上の考察および式１〜式７を参照されたい。
【０１４４】
本技術の一実施形態において、第１の重み付けが少なくとも一つの第１の取得された対象の追跡データの組に割り当てられるとともに、第２の重み付けが、少なくとも一つの第２の取得された対象の追跡データの組に割り当てられる。本技術のこの実施形態において、プラットフォーム２１１の位置の決定は、少なくとも一つの第１の取得された対象の重み付けされた追跡データの組および少なくとも一つの第２の取得された対象の重み付けされた追跡データの組を用いることにより、プロセス２１２によってなされる。
【０１４５】
本技術の一実施形態においては、第１のノイズが多い計測としての少なくとも一つの第１の取得された対象の追跡データの組と第２のノイズが多い計測としての少なくとも一つの第２の取得された対象の追跡データの組とを組み合わせることにより、プラットフォーム２１１の位置のカルマン推定値を得るために、カルマンフィルタ２２２が用いられる。
【０１４６】
Ｂ．非同期動作
本技術の一実施形態において、図８の画像ベース測位装置２１０の非同期動作は、異なる時間（非同期）に対応する画像を取得する第１の画像取得装置２１４および第２の画像取得装置２１６に基づいている。
【０１４７】
本技術の一実施形態において、図８の画像ベース測位装置２１０の非同期動作は、以下の段階を備える：プラットフォーム２１１の第１の位置において、第１の画像取得装置２１４を用いて第１の画像（第１の第１画像）を取得する段階であり、第１の第１画像が少なくとも一つの第１の対象を含んでいる段階、プラットフォーム２１１の第２の位置において、第１の画像取得装置２１４を用いて第２の画像（第２の第１画像）を取得する段階であり、第２の第１画像が少なくとも一つの取得された第１の対象を含んでいる段階、少なくとも１つの取得された第１の対象の位置を追跡するために第１の第１画像および第２の第１画像を処理する段階であり、第１の第１画像および第２の第１画像を処理して、取得された第１の対象について追跡データを提供することから、少なくとも一つの取得された第１の対象についての二次元位置測定値が得る段階、を備える。
【０１４８】
本技術の一実施形態において、図８の画像ベース測位装置２１０の非同期動作は、以下の段階をさらに含む：プラットフォーム２１１の第３の位置において、第１の画像を第２の画像取得装置２１６を用いて取得する段階であり（第１の第２画像）、第１の第２画像が少なくとも一つの第２の対象を含んでいる段階、プラットフォーム２１１の第４の位置において、第２の画像を第２の画像取得装置２１６を用いて取得する段階であり（第２の第２画像）、第２の第２画像が少なくとも一つの第２の取得された対象を含んでいる段階、第１の第２画像および第２の第２画像を処理して少なくとも一つの第２の対象の位置を追跡する段階であり、第１の第２画像および第２の第２画像を処理して、第２の対象について追跡データを提供することから、少なくとも一つの第２の取得された対象についての二次元位置測定値が得られる段階と、を備える。
【０１４９】
本技術の一実施形態において、図８の画像ベース測位装置２１０の非同期動作は、少なくとも一つの第１の取得された対象の追跡データの組を用いてプラットフォーム２１１の位置を決定する段階をさらに備える。本技術のこの実施形態においては、プラットフォーム２１１の位置は位置プロセス２２０によって決定できる。
【０１５０】
本技術の一実施形態において、図８の画像ベース測位装置２１０の非同期動作は、少なくとも一つの第２の取得された対象の追跡データの組を用いることにより、プラットフォーム２１１の第４の位置の位置を決定する段階をさらに備える。本技術のこの実施形態において、プラットフォーム２１１の他の位置は、位置プロセス２２０によって決定できる。
【０１５１】
本技術のこの「非同期」の実施形態において、プラットフォーム２１１の他の位置を、装置２１４，２１６によって、実際にいかなる新規な画像も取得することなしに、プラットフォーム２１１の前の位置の線形補間を実行することによって得ることができる。
【０１５２】
更なる例として、可動プラットフォーム２１１は、第１の画像取得装置２１４および第２の画像取得装置２１６の両方が有用な画像を生成するのに十分な光を受けていない「暗い」領域に短時間入り得る。従って、この暗い領域内の可動プラットフォーム２１１の位置は、（装置２１４，２１６を用いて得られた）プラットフォーム２１１の、２つの先行する（「暗い」領域に入る前の）位置の線形補間を実行することによって、装置２１４，２１６によって、実際に「暗い」領域内のいかなる新規な画像をも取得することなしに、少なくとも得ることができる。補間は、単純に利用可能な位置の間での線の時間分割に依存できるか、情報とともに運動の速度、加速および高位の微分係数、ならびに方向づけおよび回転についての既知の情報を組み込むことができる。補間のために使用する情報は、二重特徴プロセス２１２若しくは位置プロセス２２０から得ることができる。
【０１５３】
Ｖ．対象及び表面追跡プロセスを含む画像ベース測位装置
本技術の一実施形態において、図９は、特徴及び表面追跡プロセス２７０を備えた画像ベース測位装置２６０を示している。このプロセス２７０は、汎用プロセッサを用いることによって、若しくは特定用途向けのプロセッサ（ＡＳＩＣ、ＦＰＧＡ、ＰＬＤ等）を用いることによって、実行できる。
【０１５４】
本技術の一実施形態において、プロセス２７０は、表面追跡プロセスを実行するように構成されたサブプロセス２７０−１（以下の考察を参照されたい）と、特徴追跡プロセスを実行するように構成されたサブプロセス２７０−２（上記の考察を参照されたい）との、２つのサブプロセスを有している。
【０１５５】
本技術の一実施形態において、画像ベース測位装置２６０は、プラットフォーム２６２に取り付けられた２つの画像取得装置２６４，２６６をさらに備えている。本技術の一実施形態において、２つの画像取得装置の観測視野は重なり合っている。本技術の一実施形態において、２つの画像取得装置の観測視野は重なり合っていない。
【０１５６】
本技術の一実施形態において、プラットフォーム２６２は探査車を備える。
【０１５７】
本技術の一実施形態において、プラットフォーム２６２は探査車射程追跡装置システムを有する。
【０１５８】
本技術の一実施形態において、プラットフォーム２６２はＧＩＳマッピング携帯装置を有する。
【０１５９】
本技術の一実施形態において、第１の画像取得装置２６４は、プラットフォーム２６２の第１の位置において、表面の画像を取得するように構成される。
【０１６０】
本技術の一実施形態において、その表面は、地面、上の表面、側面、任意の角度で傾斜した表面等から成る群より選択できる。
【０１６１】
本技術の一実施形態において、画像ベース測位装置２６０は、選択された表面の深度データを得るように構成されたレンジ計測装置２８０をさらに備える。
【０１６２】
本技術の一実施形態において、レンジ測定装置２８０は、ポイントレーザビーム、ソナー、レーダ、レーザスキャナおよびデブスカメラ等から成る群より選択できる。
【０１６３】
ポイントレーザービームレンジ測定装置２８０は、青色固体レーザ、赤色ダイオードレーザ、連続的にレーザを照射し得るＪＲレーザ、パルスレーザ、シーケンスドレーザ、または類似の装置を用いて実施できる。
【０１６４】
ソナーレンジ測定装置２８０は、音声送信機および受信器を有したアクティブソナーを用いて実施できる。
【０１６５】
レーダーレンジ測定器２８０は、表面により反射されるとともに典型的に送信器と同じ位置にある受信器により検出されるマイクロ波若しくは電波を放出する送信器を用いることによって、実施できる。
【０１６６】
デブスカメラは、深さ情報を含むビデオを取得できるビデオカメラを用いることによって実施できる。
【０１６７】
このカメラは、取得された画素のそれぞれについて飛行時間と呼ばれる原理を用いて深度を測定することが可能なセンサを有する。それは、シーン内の全ての対象に対して典型的に赤外線のパルス光を放出すると共に、各対象の表面から反射された光を検出することによって、３次元情報を得る。深度は、それが供給源から発して、表面上の対象により反射される光線の飛行時間を計算することで測定される。往復時間が、周知の光の速さを用いて距離情報に変換される。
【０１６８】
さらに図９を参照すると、本技術の一実施形態において、第２の画像取得装置２６６は、プラットフォーム２６２の第１の位置および第２の位置において、少なくとも一つの対象を含む画像を取得するように構成されている。
【０１６９】
本技術の一実施形態において、画像ベース測位装置２６０は、第１の画像取得装置２６４および第２の画像取得装置２６６を同期させるように構成された同期部２６８をさらに備える。
【０１７０】
本技術の一実施形態において、同期部２６６は、制御装置により生成される制御信号を用いることにより実施される。
【０１７１】
本技術の一実施形態において、画像ベース測位装置２６０は、ＧＮＳＳプロセス、画像マッチ写真測量プロセス、地理情報を含む画像ベースプロセス、ＳＬＡＭプロセス、マッチムーブプロセス、表面追跡プロセス、または同様の装置から成る群より選択される位置決めプロセス２７４をさらに備える。ＧＮＳＳプロセス、画像マッチ写真測量プロセス、地理情報を含む画像ベースプロセス、ＳＬＡＭプロセス、マッチムーブプロセス、表面追跡プロセスの動作は、上の考察に詳細が開示されている。位置決めプロセス２７４は、プラットフォーム２６２の位置を得るように構成される。
【０１７２】
本技術の一実施形態において、表面追跡サブプロセス２７０−１は、プラットフォーム２６２の第１の位置において、第１の画像取得装置２６４により取得された、選択された表面の画像を処理するように構成されている。
【０１７３】
表面追跡の方法および装置は、Hongbo Teng, Gregory C. Best, and Sy Bor Wangによる特許出願第１２／４５９，８４３号、「画像ベース追跡」に開示されており、その全体が本願明細書に組み込まれる。
【０１７４】
より詳しくは、さらに図９を参照すると、米国特許出願「画像ベース追跡」によると、画像取得装置２６４は選択された表面の画像の取得を実行するように構成され、レンジ計測装置２８０は選択された表面についての深度データの組を得るように構成される。プラットフォーム２６２の追跡は、画像処理アルゴリズム２８２を用いて画像を解析するように構成された表面追跡プロセス２７０−１を用いることにより実行される。
【０１７５】
本技術の一実施形態において、画像処理アルゴリズム２８２は、グローバルな剛体運動を前提とする。グローバルなオプチカルフローを画像取得装置２６４の６つの自由度でパラメータ化することにより、２つの連続したフレーム間での最適な大域的変換を、非線形の最小自乗問題を解くことによって見いだすことができる。
【０１７６】
本技術の一実施形態において、画像処理アルゴリズム２８２は、フレーム関数を用いて画素の光特性に整合させる。
【０１７７】
本技術の一実施形態において、利用可能な深さ情報によって、画像処理アルゴリズム２８２は、フレーム関数の再定義によって、（画素の光特性に代えて）２つのフレームの深度を整合させる。
【０１７８】
本技術の一実施形態において、画像処理アルゴリズム２８２は、画素光特性および深さ情報の組合せを整合させることによって、改善できる。これは、以下に十分に開示するように、組み合わされた費用関数を用いるか、あるいは１つのプロセスが他を助けることによって、なすことができる。
【０１７９】
本技術の一実施形態において、画像処理アルゴリズム２８２はいくつかの座標系、すなわち静止基準システム、画像取得装置２６４に取り付けられた基準システム、および画像取得装置のセンサ平面上の２次元基準システムを利用する。
【０１８０】
静止基準システムにおいては、表面上の１つの点は座標ｘ＝（ｘ，ｙ，ｚ）を有しており、画像取得装置２６４は、ｉ番目のフレームについての、装置の位置座標  ｘｃｉ＝（ｘｃｉ，  ｙｃｉ，  ｚｃｉ）、および装置の方向付け座標（ψｉ，θｉ，φｉ）（ヨー、ピッチ、ロール）から成る６つのベクターにより記述される。
【０１８１】
画像取得装置２６４に取り付けられた基準システムにおいては表面上の同一の点は、画像取得装置２６４に関して座標ｘｉ＝（ｘｉ，ｙｉ，ｚｉ）を有する。
【０１８２】
画像取得装置のセンサ平面３２に取り付けられた２Ｄ基準システムにおいては、画素がｉ番目のフレーム中の１つの点の２次元ピクセル座標はｕｉ＝（ｕｉ，ｖｉ）である。
【０１８３】
静止３Ｄシステムと画像取得装置に取り付けられた３Ｄシステムとの間の関係は以下の通りである。
【０１８４】
【数１１】
0006002126.tif 000012
【０１８５】
ここで
【０１８６】
【数１２】
0006002126.tif 000013
【０１８７】
は２つのシステム間の回転マトリクスである。
【０１８８】
画像取得装置に取り付けられた３Ｄ座標と２次元画素座標との間の関係は、画像取得装置２６４のマッピング関数ｍに応じて決まる。マッピング関数は、画像取得装置に取り付けられたシステムのｉ番目のフレームにおいて、３次元座標ｘiを取り、２次元画素座標のｉ番目のフレームへの写像を行う。
【０１８９】
【数１３】
0006002126.tif 000014
【０１９０】
マッピング関数の形態はレンズのタイプによって、決まる。本技術の一実施形態において、レンズは（逆ピンホールモデルにおける）標準的なレクチリニアレンズから成り、マッピング関数ｍは以下の式から得ることができる。
【０１９１】
【数１４】
0006002126.tif 000015
【０１９２】
ここでｆは画像取得装置２６４の焦点距離であり、Ｓｕ，Ｓｖは画素幅および画素高である。ｕ０，ｖ０は光学中心とセンサ中心との間のオフセットである。
【０１９３】
本技術の他の実施形態において、レンズ１６は正字法の魚眼レンズから成る場合、マッピング関数ｍは以下の式から得ることができる。
【０１９４】
【数１５】
0006002126.tif 000016
【０１９５】
ここでｒは点と光学中心との間の距離、ｒ＝√（ｘｉ２＋ｙｉ２＋ｚｉ２）である。
【０１９６】
本技術の一実施形態において、マッピング関数ｍは較正し、数値的な形で記憶できる。
【０１９７】
マッピング関数の逆関数を見いだすためには
【０１９８】
【数１６】
0006002126.tif 000017
【０１９９】
対象となる点の深度を知っていることが必要である。
【０２００】
本技術の一実施形態において、シーンの点の深度は各フレームにおける画素位置の関数として得られるｚｉ＝ｚｉ（ｕｉ）。これらの計測は、画像取得装置に取り付けられた３Ｄ基準システムにおいて、なされる。
【０２０１】
２つの時系列的なフレームｆｉとｆｊの関係は、表面上の同一の点が２つのフレームにおいて、同じ強度の２つの画素を生じさせるという仮定のもとに構築される
すなわち、ｕｉおよびｕｊが同一の対象点のｆｉおよびｆｊにおける画素位置である場合、ｆｉ（ｕｉ）＝ｆｊ（ｕｊ）である。ここで、ｆｉ（ｕｉ）は、フレームｆｉにおけるｕｉでの画素強度を指す。この仮定の下では、２つのフレームの間の関係は純粋に画像取得装置の運動から生じ幾何的な変形である。
【０２０２】
ｆｉからｆｊへの画像取得装置の運動は、δｘｃｉ−＞ｊおよびδＲｉ−＞ｊによって示すことができる。それはフレーム間の相対的なシフトおよび回転である。またはξｉ−＞ｊ＝（δｘｃｉ−＞ｊ，δｙｃｉ−＞ｊ，δｚｃｉ−＞ｊ，δΨｉ−＞ｊ，δθｉ−＞ｊ，δφｉ−＞ｊ）で示すことができ、それは６つの自由度を有する６ベクターである。フレームｆｉにおける画像取得装置の位置および姿勢が既知である場合、ｆｉからｆｊまでの相対的な運動を解くことにより、フレームｆｊにおける位置および姿勢を与える。以下において、可能な場合はいつでも下付き数字のｉ―＞ｊは省略される。
【０２０３】
フレームｆｉの基準システムで座標ｘｉを有する同一の対象点は、フレームｆｊの基準システムで座標ｘｊを有する、そして：
【０２０４】
【数１７】
0006002126.tif 000018
【０２０５】
である。
【０２０６】
したがって、２次元画素座標システムにおいて、ｕｉとｕｊとの関係は以下の通りである
【０２０７】
【数１８】
0006002126.tif 000019
【０２０８】
ここでｍはマッピング関数である。あるいは単純に
【０２０９】
【数１９】
0006002126.tif 000020
【０２１０】
であり、ここで
【数１９ａ】
0006002126.tif 000021
が３つの動作の組合せを示す。
【０２１１】
ここでの課題は、費用関数
【０２１２】
【数２０】
0006002126.tif 000022
【０２１３】
が最小となるように最適なξを見いだすことである。これはよく研究された非線形最小自乗の問題である。それを解くことは、通常、線形近似および反復を伴う。異なる線形近似が、ガウス−ニュートン、最速降下、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒ降下のような異なる収束法を生じさせる。
【０２１４】
本技術の一実施形態において、さらに図９を参照すると、第２の画像取得装置２６６は、プラットフォーム２６２の第１の位置および第２の位置において、少なくとも一つの対象を含む画像を取得するように構成される。
【０２１５】
本技術の一実施形態において、特徴追跡サブプロセス２７０−２は、プラットフォーム２６２の第１および第２の位置において、第２の画像取得装置により取得された各画像を処理するように構成されるとともに、少なくとも一つの取得された対象についての追跡データを抽出するように構成される。
【０２１６】
本技術の一実施形態において、さらに図９を参照すると、特徴―追跡法サブプロセス２７０−２はまた、少なくとも一つの取得された対象について得られる追跡データの組を用いることにより、プラットフォーム２６２の場所の位置を決定するように構成される。
【０２１７】
本技術の一実施形態において、さらに図９を参照すると、画像ベース測位装置２６０は、カルマンフィルタ２７２をさらに備える。カルマンフィルタ２７２は、第１のノイズが多い計測としてのプラットフォーム２６２の第２の位置の表面追跡ベースの座標と、第２のノイズが多い計測としてのプラットフォーム２６２の第２の位置の特徴ベースの座標とを組み合わせることにより、プラットフォーム２６２の位置のカルマン推定値を得るように構成される。
【０２１８】
本技術の一実施形態において、画像ベース測位装置２６０は、更なる処理のために、プラットフォーム２６２の少なくとも一つの表面追跡および特徴ベースの３次元（３Ｄ）位置座標を記憶するように構成された、外部記憶ブロック２７６をさらに備える。
【０２１９】
本技術の一実施形態において、画像ベース測位装置２６０は、外部記憶ブロック２７６への遠隔インターネットアクセスを提供するように構成されたワイヤレスモデム２７８をさらに備える。
【０２２０】
ＶＩ．対象及び表面追跡プロセスを有した画像ベース測位装置の動作
本技術の一実施形態において、さらに図９を参照すると、特徴及び表面追跡プロセス２７０を有した画像ベース測位装置２６０の動作は、以下の段階を備える。
【０２２１】
選択された表面の画像が、プラットフォーム２６２の第１の位置において、第１の画像取得装置２６４を用いて取得される。選択された表面の深度データの組が、レンジ計測装置２８０を用いて計算される。取得された画像データの組および選択された表面深度データの組の６座標データの組への剛体グローバル変換が、画像処理アルゴリズム２８２を用いて実行され、６座標データはプラットフォーム２６２の動きを示す。６座標データの組は、プラットフォーム２６２の地点の位置を得るために画像処理アルゴリズム２８２を用いて処理される。
【０２２２】
本技術の一実施形態において、さらに図９を参照すると、特徴及び表面追跡プロセス２７０を備えた画像ベース測位装置２６０の動作は、以下の段階をさらに備える。
【０２２３】
第１の画像が、プラットフォーム２６２の第１の位置において、第２の画像取得装置２６６を用いて取得され、第１の画像は少なくとも一つの対象を含む。第２の画像が、プラットフォーム２６２の第２の位置において、第２の画像取得装置２６６を用いて取得され、第２の画像は少なくとも一つの取得された対象を含む。
【０２２４】
第１の画像および第２の画像は、少なくとも一つの取得された対象の位置を追跡するために加工され、第１の画像および第２の画像を処理して、取得した対象についての追跡データを提供することから、少なくとも一つの取得された対象についての二次元位置測定値が得られる。式１〜式７を参照されたい。
【０２２５】
少なくとも一つの取得された対象の追跡データを用いてプラットフォーム２６２の第２の位置の場所が決定される。式１〜式７を参照されたい。
【０２２６】
最後に、プラットフォーム２６２の位置の表面追跡ベースの座標とプラットフォーム２６２の位置の特徴ベースの座標とを組み合わせてプラットフォーム２６２の位置が決定される。
【０２２７】
本技術の一実施形態において、さらに図９を参照すると、カルマンフィルタ２７２は、第１のノイズが多い計測としてのプラットフォーム２６２の位置の表面追跡ベースの座標と第２のノイズが多い計測としてのプラットフォーム２６２の位置の特徴ベースの座標との組み合わせにより、プラットフォーム２６２の位置のカルマン推定値を得るために用いられる。
【０２２８】
本技術の一実施形態において、プラットフォームのための改良された位置推定値を生み出すために２つの位置推定を組み合わせることに対する代りの方法として、生の対象追跡データおよび生の表面追跡データを、共通の推定部において組み合わせて、プラットフォーム位置の単一の推定値を得ることができる。この方法は、ＳＬＡＭ、ムーブマッチ、表面追跡または写真測量のような推定手法のいずれかの要素を用いることを含む。カルマンフィルタは、最小自乗解法と同一の方法で、推定のために使用できる。
【０２２９】
上の考察で、様々な例示的なシステムおよび装置の動作、ならびにそのようなシステムおよび装置を作動する例示的な方法に付随する様々な実施形態を記載した。様々な実施形態において、実施の方法の一つ若しくは複数の段階が、コンピュータが読込可能なおよびコンピュータが実行可能な命令の支配下にあるプロセスにより実行される。従って、いくつかの実施形態においては、これらの方法はコンピュータを介して実施される。
【０２３０】
一つの実施形態において、コンピュータが読込可能およびコンピュータが実行可能な命令は、コンピュータが使用可能／読み込み可能なメディアに存在し得る。
【０２３１】
したがって、様々な実施形態の一つ若しくはそれ以上の動作は、コンピュータにより実行されるプログラムモジュールのようなコンピュータが実行できる命令を用いて、制御し若しくは実施できる。一般的に、プログラムモジュールは、特定のタスクを遂行するか、若しくは特定の抽象データ形式を実現する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、その他を含む。加えて、本技術は、通信網で接続された遠隔処理装置によって、タスクが遂行される分散コンピューティング環境で実施することもできる。分散コンピューティング環境においては、プログラムモジュールは、メモリ記憶デバイスを含むローカルおよびリモートコンピュータ記憶媒体に配置できる。
【０２３２】
実施の例示的な方法の特定のステップを本願明細書に開示したが、これらのステップは、様々な例示的な実施形態に従って実行できるステップの実施例である。すなわち、本願明細書に開示した実施形態は、様々な他のステップ若しくは記載したステップの変形例の実行にもよく適している。さらに、本願明細書に開示したステップは提示したものとは異なる順序で実行できるし、特定の実施形態においては必ずしも全てのステップが実行されるわけではない。
【０２３３】
様々な電子的なおよびソフトウェアベースのシステムを本願明細書において考察したが、これらのシステムは利用し得る環境の単なる実施例であり、本技術の使用の範囲若しくは機能性の制約の示唆を意図するものではない。そのようなシステムは、開示された実施形態に示されている部品若しくは機能のいずれかまたはその組合せに依存し若しくは関係があると解釈されてはならない。
【０２３４】
構造上の特色および／または方法論的な動作について特定的な用語で主題事項を記載したが、添付の請求の範囲に定められる主題事項が、必ずしも上記した特定の特徴若しくは行為によって制限されるわけではない。むしろ、上記の特定の特徴および動作は請求の範囲を実施するための例示的な形態として開示されるものである。
【図１】
0006002126.tif 000023
【図２】
0006002126.tif 000024
【図３】
0006002126.tif 000025
【図４】
0006002126.tif 000026
【図５】
0006002126.tif 000027
【図６】
0006002126.tif 000028
【図７】
0006002126.tif 000029
【図８】
0006002126.tif 000030
【図９】
0006002126.tif 000031