(57)【特許請求の範囲】
【請求項１】
ターゲット領域の地図を生成するシステムであって、
全地球測位レシーバと、
移動体又はプラットホームに調整自在に装着可能な標高測定ユニットと、
移動体又はプラットホームに調整自在に装着可能な全地球測位アンテナと、
移動体又はプラットホームに調整自在に装着可能な姿勢測定ユニットと、
移動体又はプラットホームに調整自在に装着可能であり、ターゲット領域を眺める画像センサシステムと、
コンピュータと、を備えており、
画像センサシステムは、取付ユニットを備えており、該取付ユニットの中に、少なくとも３つの画像センサが配置されており、第１画像センサ、第２画像センサ、及び第３画像センサの各々は、取付ユニットの第１アパーチャを通る焦点軸を有しており、第１画像センサは、ピクセルの第１データアレイを備えるターゲット領域の第１画像領域を生成し、第２画像センサは、ピクセルの第２データアレイを備えるターゲット領域の第２画像領域を生成し、第３画像センサは、ピクセルの第３データアレイを備えるターゲット領域の第３画像領域を生成し、第２画像センサは、アクロストラック斜視式で第１アレイ軸に沿って第１画像センサからオフセットされて、ターゲット領域に第１画像重なり領域を有しており、第３画像センサは、第２画像センサの反対側にて第１アレイ軸に沿って第１画像センサからオフセットされており、
コンピュータは、標高測定ユニット、全地球測位アンテナ、姿勢測定ユニット、第１画像センサ、第２画像センサ、及び第３画像センサと通信し、標高測定ユニット、全地球測位アンテナ、及び姿勢測定ユニットのうちの１又は２以上からの入力に基づいて、第１画像センサ、第２画像センサ、及び第３画像センサの画像領域の少なくとも一部を、ターゲット領域の一部と関連付けており、
取付ユニットは、第１画像センサ、第２画像センサ、及び第３画像センサの各々に対応した第２アパーチャを有する１つの防振部材を備えており、第１画像センサ、第２画像センサ、及び第３画像センサの各々の焦点軸は、対応する第２アパーチャを通っており、
各画像センサは、その画像センサに対応するレンズアセンブリを有しており、各レンズアセンブリは、そのレンズアセンブリの前端部が、そのレンズアセンブリの鏡筒を囲う防振又は熱スリーブと共に、そのレンズアセンブリに対応した第２アパーチャに挿入されて防振部材に取り付けられている、システム。
【請求項２】
重なっている画像データからの立体画法計算、ＬＩＤＡＲデータ、又は、数値標高モデルのうちの１又は２以上からの入力に基づいて、第１画像センサ、第２画像センサ、及び第３画像センサからの画像標高の少なくとも一部は、ターゲット標高の一部と関連付けられる、請求項１に記載のシステム。
【請求項３】
各レンズアセンブリのレンズには、防振取付部材が設けられている、請求項１に記載のシステム。
【請求項４】
防振部材は、第１アパーチャを跨ぐように設けられている、請求項１に記載のシステム。
【請求項５】
取付ユニット内に配置された第４画像センサを更に備えており、第４画像センサは、取付ユニットの第１アパーチャを通る焦点軸を有しており、第４画像センサは、ピクセルの第４データアレイを備えるターゲット領域の第４画像領域を生成し、第４画像センサは、第３画像センサの反対側にて、第１アレイ軸に沿って第２画像センサからオフセットされている、請求項１に記載のシステム。
【請求項６】
取付ユニット内に配置された第４画像センサであって、第４画像センサは、取付ユニットの第１アパーチャを通る焦点軸を有しており、第４画像センサは、ピクセルの第４データアレイを備えるターゲット領域の第４画像領域を生成し、第４画像センサは、アロングトラップ斜視式で第２アレイ軸に沿って第１画像センサからオフセットされている、第４画像センサと、
取付ユニット内に配置された第５画像センサであって、第５画像センサは、取付ユニットの第１アパーチャを通る焦点軸を有しており、第５画像センサは、ピクセルの第５データアレイを備えるターゲット領域の第５画像領域を生成し、第５画像センサは、第４画像センサの反対側にて、第２アレイ軸に沿って第１画像センサからオフセットされている、第５画像センサと、
を更に備えており、
第２画像センサ、第３画像センサ、第４画像センサ、及び第５画像センサは、斜め画像センサである、請求項１に記載のシステム。
【請求項７】
第１画像センサと第２画像センサは、デジタルカメラ、ＬＩＤＡＲ、赤外、熱感知及びグラビトメータからなる群から選択される、請求項１に記載のシステム。
【請求項８】
第３画像センサと第４画像センサは、デジタルカメラ、ＬＩＤＡＲ、赤外、熱感知及びグラビトメータからなる群から選択される、請求項５に記載のシステム。
【請求項９】
第１画像重なり領域は、第１画像領域と第２画像領域の約１％と約１００％の間で重なっている、請求項１に記載のシステム。
【請求項１０】
第１画像重なり領域は、第１画像領域と第２画像領域の約１０％と約８０％の間で重なっている、請求項１に記載のシステム。
【請求項１１】
第１画像重なり領域は、第１画像領域と第２画像領域の約２０％と約６０％の間で重なっている、請求項１に記載のシステム。
【請求項１２】
第３画像センサは、第１アレイ軸に沿って第１画像センサからオフセットされて、ターゲット領域に第２画像重なり領域を有しており、第１画像センサのグリッドは、第１画像重なり領域にて第２画像センサの画像データを両断し、第１画像センサのグリッドは、第２画像重なり領域にて第３画像センサの画像データを両断し、第１画像重なり領域は、第１画像領域と第２画像領域の約１００％であり、第２画像重なり領域は、第１画像領域と第３画像領域の約１００％である、請求項１に記載のシステム。
【請求項１３】
第２画像センサは、アロングトラック斜視式で第１アレイ軸に沿って第１画像センサからオフセットされており、第１画像センサのグリッドは、第１画像重なり領域にて第２画像センサの画像データを両断する、請求項５に記載のシステム。
【請求項１４】
重なっている画像データからの立体画法計算、ＬＩＤＡＲデータ、又は、数値標高モデルのうちの１又は２以上からの入力に基づいて、第１画像センサ、第２画像センサ、及び第３画像センサからの画像標高の少なくとも一部は、ターゲット標高の一部と関連付けられる、請求項１３に記載のシステム。
【請求項１５】
第３画像センサは、前方斜め画像センサであり、第４画像センサは、後方斜め画像センサである、請求項１３に記載のシステム。
【請求項１６】
第１画像重なり領域は、第１画像領域と第２画像領域の約１％と約１００％の間で重なっている、請求項１３に記載のシステム。
【請求項１７】
第１画像重なり領域は、第１画像領域と第２画像領域の約３０％と約９５％の間で重なっている、請求項１３に記載のシステム。
【請求項１８】
第１画像重なり領域は、第１画像領域と第２画像領域の約５０％と約９０％の間で重なっている、請求項１３に記載のシステム。
【請求項１９】
画像センサシステムであって、
移動体又はプラットホームに調整自在に装着可能な取付ユニットを備えており、
取付ユニット内に第１画像センサ、第２画像センサ、第３画像センサ、及び第４画像センサが配置されており、第１画像センサ、第２画像センサ、第３画像センサ、及び第４画像センサの各々は、取付ユニットの第１アパーチャを通る焦点軸を有しており、第１画像センサは、ピクセルの第１データアレイを備える第１画像領域を生成し、第２画像センサは、ピクセルの第２データアレイを備える第２画像領域を生成し、第３画像センサは、ピクセルの第３データアレイを備える第３画像領域を生成し、第４画像センサは、ピクセルの第４データアレイを備える第４画像領域を生成し、第２画像センサは、アクロストラック斜視式で第１画像センサからオフセットされて、ターゲット領域に第１画像重なり領域を有しており、第１画像センサのグリッドは、第１画像重なり領域にて第２画像センサの画像データを両断し、
取付ユニットは、第１画像センサ、第２画像センサ、第３画像センサ及び第４画像センサの各々に対応した第２アパーチャを有する１つの防振部材を備えており、第１画像センサ、第２画像センサ、第３画像センサ及び第４画像センサの各々の焦点軸は、対応する第２アパーチャを通っており、
各画像センサは、その画像センサに対応するレンズアセンブリを有しており、各レンズアセンブリは、そのレンズアセンブリの前端部が、そのレンズアセンブリの鏡筒を囲う防振又は熱スリーブと共に、そのレンズアセンブリに対応した第２アパーチャに挿入されて防振部材に取り付けられている、画像センサシステム。
【請求項２０】
表面の地図を生成するシステムであって、
全地球測位レシーバと、
移動体又はプラットホームに調整自在に装着可能な標高測定ユニットと、
移動体又はプラットホームに調整自在に装着可能な全地球測位アンテナと、
移動体又はプラットホームに調整自在に装着可能な姿勢測定ユニットと、
移動体又はプラットホームに調整自在に装着可能であり、表面を眺める撮像アレイと、
コンピュータと、
を備えており、
撮像アレイは、
移動体又はプラットホームに調整自在に装着可能な取付ユニットと、
取付ユニットに形成された第１アパーチャと、
取付ユニットに結合されており、第１アパーチャを通る第１焦点軸を有しており、ピクセルの第１データアレイを備える表面の第１画像領域を生成する第１画像センサと、
取付ユニットに結合されており、アロングトラック斜視式で第１画像センサからアレイ軸に沿ってオフセットされており、第１アパーチャを通って第１焦点軸と交差する第２焦点軸を有しており、ピクセルの第２データアレイを備える表面の第２画像領域を生成する第２画像センサと、
取付ユニットに結合されており、第２画像センサの反対側にて第１画像センサからアレイ軸に沿ってオフセットされており、ピクセルの第３データアレイを備える表面の第３画像領域を生成し、前方斜め画像センサである第３画像センサと、
取付ユニットに結合されており、第３画像センサの反対側にて第２画像センサからアレイ軸に沿ってオフセットされており、ピクセルの第４データアレイを備える表面の第４画像領域を生成し、後方斜め画像センサである第４画像センサと、を備えており、
コンピュータは、標高測定ユニット、全地球測位アンテナ、姿勢測定ユニット、第１画像センサ及び第２画像センサと通信し、標高測定ユニット、全地球測位アンテナ、及び姿勢測定ユニットのうちの１又は２以上からの入力に基づいて、第１画像センサ及び第２画像センサの画像領域の少なくとも一部を、表面領域の一部と関連付け、
取付ユニットは、第１画像センサ、第２画像センサ、第３画像センサ及び第４画像センサの各々に対応した第２アパーチャを有する１つの防振部材を備えており、第１画像センサ、第２画像センサ、第３画像センサ及び第４画像センサの各々の焦点軸は、対応する第２アパーチャを通っており、
各画像センサは、その画像センサに対応するレンズアセンブリを有しており、各レンズアセンブリは、そのレンズアセンブリの前端部が、そのレンズアセンブリの鏡筒を囲う防振又は熱スリーブと共に、そのレンズアセンブリに対応した第２アパーチャに挿入されて防振部材に取り付けられている、システム。
【請求項２１】
重なっている画像データからの立体画法計算、ＬＩＤＡＲデータ、又は、数値標高モデルのうちの１又は２以上からの入力に基づいて、第１画像センサ及び第２画像センサの画像標高の少なくとも一部は、表面標高の一部と関連付けられる、請求項２０に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
＜関連出願の参照＞
本出願は、２０１２年８月２１日に出願された米国特許出願第１３／５９０，７３５号（現在、米国特許第８，４８３，９６０号として発行済）の優先権を主張する。該米国特許出願は、２０１０年４月１３日に出願された米国特許出願第１２／７９８，８９９号の一部継続出願であり、該米国特許出願は、２００６年１０月１１日に出願された米国特許出願第１１／５８１，２３５号（現在、米国特許第７，７２５，２５８号として発行済）の優先権を主張する。該米国特許出願は、２００３年９月１８日に出願された米国特許出願第１０／６６４，７３７号（現在、米国特許第７，１２７，３４８号として発行済）の優先権を主張する。該米国特許出願は、２００２年９月２０日に出願された米国仮特許出願第６０／４１２，５０４号「Vehicle Based Data Collection and Processing System」の優先権を主張する。２０１３年８月２１日に出願された米国特許出願第１３／５９０，７３５号はまた、２００９年８月５日に出願された米国特許出願第１２／４６２，５３３号の一部継続出願であり、該米国特許出願は、２００２年８月２８日に出願された、米国特許出願第１０／２２９，６９６号（現在、米国特許第７，８９３，９５７号として発行済）の分割出願である。
【０００２】
＜本発明の技術分野＞
本発明は、概して、遠隔イメージング技術の分野に関し、より詳細には、非常に広い視野に亘って、高解像度で、高精度で、低歪みのデジタル画像を描画する(rendering)システムに関する。
【背景技術】
【０００３】
リモートセンシングやリモートイメージングは、多様且つ非常に重要な幾つかの実用的用途−例えば、地質マッピング、地質解析や気象予測を−含む広範な技術である。航空ベースや衛星ベースのフォトグラフィ及びイメージングは、特に有用なリモートイメージング技術であり、これらは近年、スペクトル、空間、標高、移動体(vehicle)又はプラットホームの位置や方向などのパラメータを含む、デジタル画像のデータ収集や処理への依存度が極めて高くなっている。現在、空間データ−不動産の改修や位置、一般道路や高速道路、環境災害や環境状態、公共インフラ(例えば、電話線、パイプライン)及び地質学的特徴を特徴付ける−は、デジタル形式で収集、処理、及び伝達されて、高精度マッピング及び監視データとして種々の用途(例えば、動的ＧＰＳマッピング)に便利に提供される。標高データが使用されて、システム全体の空間精度及び位置精度が向上されてよく、標高データは、既存の数値標高モデル(Digital Elevation Model)(ＤＥＭ)データセットから取得でき、又は、能動的な放射線測定ドップラー(radiation measuring Doppler)ベースのデバイスのスペクトルセンサデータ若しくは受動的ステログラフィック計算(stereographic calculation)を用いて収集できる。
【０００４】
リモートセンシングやリモートイメージングの用途が直面する主な課題は、空間解像度(spatial resolution)とスペクトル忠実度(spectral fidelity)である。球面収差、非点収差、像面湾曲、歪曲収差、及び色収差等のフォトグラフィックな問題は、如何なるセンサ／イメージング用途においても対処しなければならない良く知られた問題である。用途によっては非常に高い画像解像度が必要とされ、時に許容範囲がインチ単位の場合がある。使用されるシステム(例えば、自動車、航空機、衛星、宇宙船又はプラットホーム)にもよるが、実際のデジタルイメージングデバイスは、そのターゲットから数フィートから数マイル離れた位置に配置されることがあり、結果として、倍率(scale factor)が非常に大きくなる。画像の倍率が非常に大きくなり、解像度の許容誤差がインチ単位であると、どれほど頑強なイメージングシステムに対しても問題が生じる。このように、従来のシステムでは、解像品質と、作像される標的領域の大きさとは、二律背反(trade-off)の関係の下で作製されなければならない。システムが高解像度のデジタル画像を提供するように設計されている場合、イメージングデバイスの視野(ＦＯＶ)(field of view)は通常小さくなる。システムが大きなＦＯＶを生成されるように設計される場合、通常は、システムが提供するＦＯＶがさらに大きくなると、通常は、スペクトル及び空間データの解像度が低下して、歪みが増す。
【０００５】
オルソイメージング(Ortho-imaging)は、この問題の対策として使用されてきた１つの方策である。一般的に、オルソイメージングは、ターゲットの変化するサブ画像をコンパイル(compile)することで、ターゲットの合成画像を描画する(render)。通常、航空イメージング用途において、有限の範囲及び解像度を有するデジタルイメージングデバイスが、ターゲット領域の固定されたサブセクションの画像を連続的に記録する。これらの画像はその後、いくつかのシーケンスに従って調整(align)されて、ターゲット領域の合成画像が描画される。
【０００６】
このような描画処理は大抵、非常に時間を消費し、多大な労力を要する。多くの場合、これらの処理は、繰返し処理を必要とし、特に、数千のサブ画像が描画される場合には、画質と解像度の有意的な低下を招く。画像データが自動的に処理され得る場合、そのデータは大抵、繰り返し変換及びサンプリングされ、一連の操作毎に、色の忠実度と画像の鮮明度が低下する。自動補正システム又は自動調整システムが用いられる場合、このようなシステムは、画像の異常(例えば、異常に明るい又は暗いターゲット)に影響されやすく、画像データを過度に補正又は不十分に補正して、画像データの解釈について信頼性が低くなる。画像の手動描画が必要又は所望される場合、それに要する時間と労働コストは膨大なものとなる。
【０００７】
従って、計測精度、安定性、及び繰り返し撮像をもたらす計測用カメラシステムが必要とされている。特に、インフラストラクチャを含む非常に大きなＦＯＶ、及びそれに関連するデータセットについて、効率的且つ汎用性の高いイメージングをもたらすと同時に、計測の画質、精度、位置精度及び鮮明度を維持するような、オルソ画像を、そして、オプションとして斜め画像を描画するシステムが必要とされている。さらに、関連する全ての操作のプランニング、収集、ナビゲーション、及び処理の各段階で、自動化アルゴリズムが広範囲に適用される。
【発明の概要】
【０００８】
本発明は、種々のセンサを用いたリモートデータ収集処理システムに関する。本システムは、移動体の操縦とシステムの操作をリアルタイムで制御するコンピュータコンソールユニットを備えてよい。本システムはまた、コンピュータコンソールにリンクされて通信している全地球測位システムを備えてもよい。また、アパーチャ(aperture)を通して見えるターゲットの画像を生成するカメラ及び／又はカメラアレイアセンブリを使用できる。カメラアレイアセンブリは、コンピュータコンソールに通信可能に接続されている。カメラアレイアセンブリは、取付用ハウジングを有しており、該取付用ハウジングの中央には、第１画像センサが取り付けられており、該第１画像センサはアパーチャを通る第１焦点軸を有している。カメラアレイアセンブリはまた、第２画像センサを有しており、該第２画像センサは、ハウジングに取り付けられており、軸に沿って第１画像センサからオフセットされている。第２画像センサは、アパーチャを通り、交差領域内にて第１焦点軸と交差する第２焦点軸を有している。カメラアレイアセンブリは第３画像センサを有しており、該第３画像センサは、ハウジングに取り付けられており、前記軸に沿って第１画像センサからオフセットされており、第２画像センサの反対側にある。第３画像センサは、アパーチャを通る第３焦点軸であって、交差領域内にて第１焦点軸と交差する第３焦点軸を有している。１からｎ個の任意の個数のカメラが、このように使用されてよい。ここで、「ｎ」は任意の奇数又は偶数であってよい。
【０００９】
本システムはまた、コンピュータコンソール及びカメラアレイアセンブリと通信可能に接続されている、慣性測定ユニット、光学測定ユニット、又は類似の測定ユニット等の姿勢測定器(Attitude Measurement Unit；ＡＭＵ)を備えてもよい。ＡＭＵにより航空機のヨー、ピッチ及び／又はロールを任意の時点で時間内に(in time)決定することができ、連続したＤＧＰＳ位置を用いて、測地線の(geodesic)北の方位に対する移動体の機首方位を測定してよい。ＡＭＵデータは精密なＤＧＰＳデータと統合されて、ロバストなリアルタイムのＡＭＵシステムをもたらす。本システムはさらに、コンピュータコンソール内に格納されたモザイキングモジュールを含んでよい。モザイキングモジュールは、入力画像に最初の処理を実行する第１コンポーネントを含んでいる。モザイキングモジュールはまた、第１コンポーネントと協動可能に接続されて、入力画像の地理的な境界を決定する第２コンポーネントを備えている。モザイキングモジュールはさらに、正確な地理的な位置で入力画像を合成画像にマッピングする第３コンポーネントを備えている。第３コンポーネントは、第１コンポーネント及び第２コンポーネントと協動可能に接続されている。モザイキングモジュールにはまた、合成画像にマッピングされた入力画像のカラーバランス調整をする第４コンポーネントが含まれる。第４コンポーネントは第１コンポーネント、第２コンポーネント及び第３コンポーネントと協動可能に接続されてよい。さらにまた、モザイキングモジュールは、合成画像にマッピングされた隣接する入力画像間の境界を融合(blend)する第５コンポーネントを含んでよい。第５コンポーネントは第１コンポーネント、第２コンポーネント、第３コンポーネント及び第４コンポーネントと共働可能に接続されることができる。
【００１０】
第６コンポーネント、選択的前方傾斜及び／又は選択的後方傾斜カメラアレイシステム(optional forward oblique and/or optional rear oblique camera array system)を備えることができ、このシステムは、斜め画像(oblique image)データを収集し、姿勢測定値及び位置測定値と画像データをマージ(merge)して、３次元画像(即ち、３Ｄ点群)又は数値標高モデル(digital elevation model)(ＤＥＭ)を生成する。３Ｄ点群又はＤＥＭは、人工構造物を含む地表面の表示である。ＤＥＭは、ステレオグラフィック技術を用いて、オルソ及び／又は斜め画像から生成されてよく、又は、その代わりに、ＬＩＤＡＲ若しくは既存のＤＥＭからもたらされてよい。ＤＥＭ又は３Ｄ点群は、１つのカメラから得られた、時間的に重なっている任意の画像、又は、空間及び／又は時間的に重なっている２つのカメラから得られた複数の画像から生成されてよい。この生成は、移動体内でリアルタイムに実行されてもよく、又はその後、後処理されてもよい。この第６コンポーネントは、他のコンポーネントと共働する。全てのコンポーネントは、センサデータのコレジストレーション(co-registration)をもたらすために、剛性プラットホームマウントに取り付けられてよい。振動、乱流、温度勾配、及び他の力が移動体又はプラットホームに作用して、センサ間のアライメントの関係に誤差を生じさせる場合がある。共通の剛性プラットホームマウント及び／又は熱スリーブをセンサに使用することで、このコレジストレーション構成を使用していない他のシステムに勝る顕著な利点がもたらされる。
【００１１】
さらに、本発明では、側方向オーバーサンプリングを用いることで、出力品質を向上させ、及び／又は、コマウント(co-mounted)コレジスタ(co-registered)オーバーサンプリングを用いることで、ピクセル解像度の物理的限界を克服してよい。
【図面の簡単な説明】
【００１２】
本発明をより理解するために、そして本発明がどのように実施されるかを例示するために、添付の図面を参照して詳細に説明する。なお、異なる図面に付した対応する番号は、対応する要素に付している。
【図１】図１は、本発明の移動体を用いたデータ収集処理システムを示している。
【図１Ａ】図１Ａは、図１の移動体を用いたデータ収集処理システムの一部を示している。
【図１Ｂ】図１Ｂは、図１の移動体を用いたデータ収集処理システムの一部を示している。
【図２】図２は、本発明の図１の移動体を用いたデータ収集処理システムについて、カメラアレイアセンブリを詳細に示している。
【図３Ａ】図３Ａは、本発明の幾つかの態様に基づいて、アクロストラック斜視式（across track, cross-eyed fashion）で構成されたカメラアレイアセンブリを示している。
【図３Ｂ】図３Ｂは、本発明の幾つかの態様に基づいて、ロングトラック斜視式（long track, cross-eyed fashion）で構成されたカメラアレイアセンブリを示している。
【図３Ｃ−１】図３Ｃ−１は、本発明の幾つかの態様に基づいて、アロングトラック斜視式（along track, cross-eyed fashion）で構成されたカメラアレイアセンブリを示している。
【図３Ｃ−２】図３Ｃ−２は、本発明の幾つかの態様に基づいて、アロングトラック斜視式で構成されたカメラアレイアセンブリから得られた一連の画像を示している。
【図３Ｄ】図３Ｄは、本発明の幾つかの態様に基づいて、アクロストラック斜視及びアロングトラック斜視式で構成されたカメラアレイアセンブリを示している。
【図３Ｅ】図３Ｅは、本発明の幾つかの態様に基づいて、ロングトラック斜視及びアクロストラック斜視式で構成されたカメラアレイアセンブリを示している。
【図４Ａ】図４Ａは、図１及び図３Ａのカメラアレイアセンブリによって読み取られた画像パターンの一実施形態を示している。
【図４Ｂ】図４Ｂは、図１及び図３Ｂのカメラシステムによって読み取られた画像パターンの一実施形態を示している。
【図４Ｃ−１】図４Ｃ−１は、図１及び図３Ｃ−１のカメラシステムによって読み取られた画像パターンの一実施形態を示している。
【図４Ｃ−２】図４Ｃ−２は、図１及び図３Ｃ−２のカメラシステムによって読み取られた画像パターンの一実施形態を示している。
【図４Ｄ】図４Ｄは、図１及び図３Ｄのカメラシステムによって読み取られた画像パターンの一実施形態を示している。
【図４Ｅ】図４Ｄは、図１及び図３Ｅのカメラシステムによって読み取られた画像パターンの一実施形態を示している。
【図５】図５は、本発明のある態様を表している画像パターンを示す。
【図６】図６は、本発明による画像ストリップを示している。
【図７】図７は、本発明による画像ストリップの別の実施形態を示している。
【図８】図８は、本発明によるイメージング処理の一実施形態を示している。
【図９】図９は、カメラアレイアセンブリで撮影された写真が調整されて個々のフレームが如何に生成されるかを図式的に示している。
【図１０】図１０は、本発明の特定の実施形態に基づいた処理ロジックのブロック図である。
【図１１】図１１は、本発明の特定の実施形態に基づいており、移動体から見下ろした側方向オーバーサンプリングを図示している。
【図１２】図１２は、本発明の特定の実施形態に基づいており、移動体から見下ろした側方向オーバーサンプリングを図示している。
【図１３】図１３は、本発明の特定の実施形態に基づいており、移動体から見下ろした飛行ラインのオーバーサンプリングを図示している。
【図１４】図１４は、本発明の特定の実施形態に基づいており、移動体から見下ろした飛行ラインのオーバーサンプリングを図示している。
【図１５】図１５は、本発明の特定の実施形態に基づいており、移動体から見下ろした累加的拡大を図示している。
【図１６】図１６は、本発明の特定の実施形態に基づいており、移動体から見下ろした累加的拡大を図示している。
【図１７】図１７は、本発明の特定の実施形態に基づいており、移動体から見下ろした累加的拡大を図示している。
【図１８】図１８は、本発明の特定の実施形態に基づいたシステム構成の概略図である。
【図１９】図１９は、本発明の特定の実施形態に基づいており、単一のカメラアレイについて、移動体から見下ろした、サイドラップサブピクセル領域でのコマウント、コレジスタ側方向オーバーサンプリングを図示している。
【図２０】図２０は、本発明の特定の実施形態に基づいており、重なっている２列のカメラアレイについて、移動体から見下ろした、サイドラップサブピクセル領域でのコマウント、コレジスタ側方向オーバーサンプリングオーバーサンプリングを図示している。
【図２１】図２１は、本発明の特定の実施形態に基づいており、重なっている２列のステレオカメラアレイについて、移動体から見下ろした、サイドラップサブピクセル領域でのコマウント、コレジスタ前方向(fore)及び側方向オーバーサンプリングを図示している。
【図２２Ａ】図２２Ａは、図３Ｄのカメラアレイを右後側から見た透視図を示す。
【図２２Ｂ】図２２Ｂは、図３Ｅのカメラアレイを右前側から見た透視図を示す。
【図２３】図２３は、本発明の幾つかの態様に基づいて、アクロストラック斜視及びロングトラック斜視式で構成された、凹状又は網膜状(retinal)カメラアレイアセンブリの下面図である。
【図２４】図２４は、本発明の幾つかの態様に基づいて構成された、斜めカメラアレイアセンブリの一実施形態を示している。
【図２５】図２５は、本発明に基づいた画像ストリップを示している。
【図２６Ａ】図２６Ａは、本発明の幾つかの態様に基づいており、アロングトラック斜視式で構成されたカメラアレイアセンブリの一実施形態を示している。
【図２６Ｂ】図２６Ｂは、図２６Ａのカメラアレイアセンブリの下面図を示している。
【発明を実施するための形態】
【００１３】
本発明の様々な実施形態の実施及び使用について以下で詳しく説明するが、本発明は、適用可能な多くの発明概念を提供するものであり、多種多様の特定の状況において具体化できることは理解されるべきである。本明細書で説明する特定の実施形態は、発明を実施し使用するための具体的方法を単に例示するものであって、発明の範囲を制限するものではない。
【００１４】
本発明の移動体を用いたデータ収集処理システム(100)を図１、図１Ａ及び図１Ｂに示す。本発明のさらなる態様及び実施形態を図２及び図１８に示す。システム(100)は１又は複数のコンピュータコンソール(102)を含む。コンピュータコンソールは、移動体の操縦とシステムの操作の双方を制御する１又は複数のコンピュータ(104)を含む。コンピュータコンソールの機能の例としては、データ収集処理システムに連携可能なデジタルカラーセンサシステムの制御、表示データの操縦者への供給、人工衛星が生成したＧＰＳの毎秒パルス(ＰＰＳ)イベントトリガの調整(１秒あたり２０以上のパルスであってもよい)、データロギング、センサの制御と調整、エラー事象のチェックと警告、写真の記録とインデックス、移動体のナビゲーションを自動化する飛行計画能力に関するデータの記憶と処理、関連情報のリアルタイム表示の提供がある。制御コンピュータのコンソールと移動体オートパイロット制御部との間の通信インターフェースにより、リアルタイムで移動体の飛行経路を実際に制御する性能が付与される。これにより、移動体の経路の制御は、人間が為し得る制御よりも正確になる。これら機能は全て、ＧＰＳのＰＰＳ信号と同期され、測定デバイスの種々の電気レイテンシ(electrical latencies)を考慮した種々のコンピュータプログラムを用いて達成できる。実施形態において、コンピュータはセンサ内に組み込まれている。
【００１５】
１又は複数の差動全地球測位システム(differential global positioning system)(106)がシステム(100)に組み込まれている。全地球測位システム(106)は、移動体の操縦とシステムの操作中に正確な飛行経路をナビゲートし、決定するために使用される。これを実現するために、全地球測位システム(106)は、飛行を中断することなく、全地球測位システム(106)からの情報を取得及び処理することができるように、コンピュータコンソール(102)に通信可能にリンクされている。１秒未満(sub-second)のＧＰＳ衛星ベースの各エラーを記録するためにゼロ又はそれ以上のＧＰＳユニットが既知の調査点に配置されて、システム(100)の精度を後補正(back correct)することができる。地上の制御点を不要にするために、ＧＰＳ及び／又は地上ベースの測位サービスを使用してもよい。この技術により、データ収集用移動体の位置精度は、１秒以下の単位で大幅に向上する。
【００１６】
１又は複数のＡＭＵ(108)もまた、コンピュータコンソール(102)に通信可能にリンクされており、リアルタイムヨー(yaw)情報、リアルタイムピッチ情報、及びリアルタイムロール情報を提供し、これらの情報は、移動体の姿勢をデータ収集後直ちに正確に決定するために使用される。この姿勢測定器(ＡＭＵ)(例えば、Ａｐｐｌａｎｉｘ ＰＯＳ ＡＶ)は、ヨー角、ピッチ角、及びロール角の夫々の測定につき１ジャイロである３つの高性能光ファイバジャイロを使用している。他のメーカのＡＭＵ、及び他の慣性測定デバイス(inertial measurement device)を使用するＡＭＵも同様に用いることができる。さらに、ＡＭＵは、移動体の瞬間姿勢を求めるために用いられ、システムには、ＡＭＵリーディング時の統計誤差に対して故障許容力(fault-tolerance)がもたらされる。ＡＭＵには、１又は複数の多周波ＤＧＰＳレシーバ(110)を接続することもできる。多周波ＤＧＰＳレシーバ(110)は、ＡＭＵのヨー姿勢データ、ピッチ姿勢データ、及びロール姿勢データと統合されて、３次元空間におけるリモートセンサプラットホームの位置をより正確に決定することができる。また、測地線の北の方位を、連続したＤＧＰＳ測位によって生成されたベクトルによって決定し、ＧＰＳのＰＰＳ信号と同期して記録できる。
【００１７】
アパーチャを通して見たターゲットの画像を生成する１又は複数のカメラアレイアセンブリ(112)もまた、１又は複数のコンピュータコンソール(102)に通信可能に接続されている。カメラアレイアセンブリ(112)は、以下でより詳細に説明するが、高解像度、高精度な順次走査(progressive scan)又はライン走査のカラーデジタルフォトグラフィをキャプチャする性能を備えたデータ収集処理システムを提供する。
【００１８】
システムはまた、ＤＣ電力調整装置(114)を含むことができ、これは、ＤＣ電力を調整し、ＤＣ電力をＡＣ電力に変換して、システムに電力を提供する。システムはさらにナビゲーションディスプレイ(116)を含んでよく、ナビゲーションディスプレイ(116)は、移動体の(機内の、又は離れた位置にいる)操縦者により使用される飛行計画に対して、移動体の位置をグラフィック的に(graphically)描画して、水平面及び垂直面における精密な飛行経路を可能とする。システムはまた、３次元の標高／起伏(elevation/relief)データをキャプチャするための、ＬＩＤＡＲ、ＳＡＲ(118)又は前後方傾斜カメラアレイを含んでなるＥＭＵモジュールを含んでよい。ＥＭＵモジュール(118)は、レーザーユニット(120)、ＥＭＵ制御ユニット(122)及びＥＭＵ制御コンピュータ(124)を含むことができる。システムに適切な熱的環境を提供するために、固体冷却モジュール(solid state cooling module)等の温度制御デバイスを必要に応じて配備することもできる。
【００１９】
システムはまた、コンピュータコンソール(102)に格納されたモザイキングモジュール(mosaicing module)を含んでいる(図示せず)。モザイキングモジュールは、以下でより詳細に説明するが、全地球測位システム(106)、ＡＭＵ(108)及びカメラシステム(112)によって取得されたデータを収集し、データを使用可能なオルソマップ(orthomap)へと処理する能力をシステムに与える。
【００２０】
システム(100)はまた、セルフロッキング飛行経路技術(self-locking flight path technique)を含むことができる。この技術は、隣接する飛行経路の位置精度を微修正して、ＡＭＵセンサとＤＧＰＳセンサのみによる本来的な(native)精度を超える精度を実現する性能を付与する。
【００２１】
ミッションの全ての態様を細かく計画するために完全な飛行計画方法論が使用される。入力は、種々のミッションパラメータ(緯度／経度、解像度、色、精度等)である。出力は、詳細なオンラインのデジタルマップ及びデータファイルであり、これらは、データ収集用移動体の機内に格納され、リアルタイムのナビゲーション及び警告に使用される。飛行計画データを直接オートパイロットにインターフェースする性能は、付加的に組み込まれた能力である。コンピュータプログラムを使用して、飛行経路、姿勢調整、グラフィック表示、及び移動体経路の移動地図を自動的に制御し、警告条件及び補正アクションをチェックし、システムステータス全体の操縦者及び／又はクルーに通知することで、操縦及び制御の危険防止がなされる。安全操縦パラメータが常に監視され、報告されるのがよい。現在のシステムは有人クルーを使用しているのに対し、本システムは無人移動体でも同様に上手く機能するように設計されている。
【００２２】
図２は、本発明の別の図を示している。図２は、カメラアレイアセンブリ(112)をより詳細に示している。図示のように、カメラアレイアセンブリ(112)は、斜め後ろ、斜め前及び天底(nadir)の位置から画像を取得できる。
【００２３】
図３Ａ乃至図３Ｅは、本発明のカメラアレイアセンブリのより詳細な例を示している。特に、図３Ａ乃至図３Ｅは、ターゲット(302)(例えば地表面)上を飛行中の(airborne)カメラアレイアセンブリ(300)の例を示している。例示であるため、アセンブリ(300)の相対的な大きさ、並びにアセンブリ(300)と地表面(302)と間の相対的な距離は、図３Ａ乃至図３Ｅにおいて縮尺通りに描かれていない。カメラアレイアセンブリ(300)はハウジング(304)を備えており、ハウジング(304)内には、画像センサ(306)(308)(310)(312)(314)が凹状の曲線軸(316)に沿って配置されている。好ましい実施形態では、ハウジングは、取付ユニットであってよい。アセンブリ(300)は、経路に沿って地表面に対して移動する移動体に調節自在に搭載可能である。軸(316)の曲率半径は大幅に変化する、又は大幅に変更でき、軸(316)の凹形を非常に小さくすることもできるし、非常に大きくすることもできる。或いはまた、軸(316)は、完全な直線形で、全く屈曲して無くてもよい。画像センサ(306)(308)(310)(312)(314)は、取付部材(318)によって直接的又は間接的にハウジング(304)に取り付けられている。取付部材(318)は、固定式又は可動式であり、永続的又は一時的な幾つかの連結装置を含んでよい。例えば、取付部材(318)は、単純な溶接、取外し可能なクランプデバイス、又は電気機械制御式のユニバーサルジョイントでもよい。
【００２４】
また、さらに、システム(100)には、リアルタイムのナビゲーションシステムが機内にあり、視覚的なバイオフィードバック表示を移動体の操縦者に、又は無人移動体での操縦の場合には遠隔表示を提供する。操縦者は、より正確な飛行経路を提供するために、リアルタイムで移動体の位置を調整できる。操縦者は、移動体に搭乗しているか、離れた場所にいる場合でも、飛行ディスプレイを用いて、通信リンクを介して移動体を制御できる。
【００２５】
システム(100)はまた、故障許容力の高い方法を使用してよく、この方法は、１つ又は２つのハードドライブについて、ドライブに保存されているターゲットデータに障害が発生しても(fail)ターゲットデータを失わないようにするソフトウェアインターリーブディスク記憶手法(software inter-leaved disk storage methodology)を提供するために開発されている。このソフトウェアインターリーブディスク記憶方法手法は、ＲＡＩＤ−５等の他のハードウェア方法論と比べて優れた故障許容力及びポータブル性(portability)を提供する。
【００２６】
システム(100)はまた、ミッションデータの取得直前に、短時間で較正ステップを行うことができるように開発された手法を組み入れることもできる。この較正手法のステップは、注目する領域に到達する直前に、周囲光の強度をサンプリングし、最適値付近に設定することで、カメラの設定、主に露光時間を調整する。その後、移動平均アルゴリズムを用いて秒単位のカメラ調整を実行し、改善された一貫性のある写真がもたらされる。これによりオルソマップのカラー処理が改善される。さらにまた、較正を用いて、各センサデバイス(カメラ、ＤＰＧ、ＡＭＵ、ＥＭＵ等)の正確な空間位置をチェックしたり決定することができる。このようにして、これらデバイスの空間位置の起こり得る変化が評価されて、システム全体の精度メトリックス(precision metrics)が維持される。
【００２７】
また、複数の既知の可視的な高精度の地理的位置を含む領域の上を飛行することにより、移動体上の各センサデバイス(カメラ、ＤＰＧ、ＡＭＵ、ＥＭＵ等)の正確な位置及び姿勢を較正できるように開発された手法を、システム(100)に組み入れてもよい。プログラムは、このデータを入力として入手し、精密な位置データを出力し、その後、この位置データを用いてオルソマップを正確に処理する。
【００２８】
カメラアレイアセンブリ(300)の実施形態では、画像センサは、アクロストラック斜視式で配置されてよい。図３Ａに示すように、ハウジング(304)は単純形状の筺体であって、その内部に画像センサ(306)(308)(310)(312)(314)が配置されている。好ましい実施形態では、ハウジング(304)は、取付ユニット(図示せず)で置き換えられてよく、その中に画像センサ(306)(308)(310)(312)(314)が配置される。図３Ａは５台のカメラのアレイを示しているが、本システムは、画像センサ数が１から任意の数に至っても、等しく機能する。センサ(306)乃至(314)は、取付部材(318)により、ハウジング(304)の対向する壁の間に配置された１つの横断横材(transverse cross member)にまとめて取り付けられるか、複数の側方横材(lateral cross members)に個々に取り付けられる。別の実施形態において、ハウジング(304)自体が、凹状に屈曲した支持用横材(例えば、取付ユニット)を構成するようになし、この横材に、画像センサ(306)乃至(314)が部材(318)を介して取り付けられてよい。さらに他の実施形態において、ハウジング(304)は、筐体と支持用横材の複合的な組合せとすることもできる。ハウジング(304)ではさらに、画像センサとターゲット(302)との間の表面に、アパーチャ(320)が形成されている。母体の航空機の具体的な型式に応じて、アパーチャ(320)は、アパーチャ(320)は、空隙だけでもよいし、ハウジング(304)内の環境的保全を維持するために、保護用スクリーン又は窓を含むこともできる。透明な保護プレートが任意のセンサに用いられる場合、センサデータの質を向上させるための特別なコーティングをプレートに施してもよい。所望により、アパーチャ(320)は、センサによって記録された画像の質を高め、又は変更するために、レンズ又は他の光学デバイスを備えてよい。アパーチャ(320)は、画像センサ(306)乃至(314)に、地表面(302)上のターゲット領域(322)に対する適切な視線を与えることができる大きさ及び形状に形成される。
【００２９】
画像センサ(306)乃至(314)は、全てのセンサの焦点軸が、アパーチャ(320)で規定された交差領域内で集束し互いに交差するように、ハウジング(304)の内部に、又はハウジング(304)に沿って配置される。収集される画像データの種類、使用される具体的な画像センサ、及び使用される他の光学素子又は装置に応じて、交差領域又は集束点をアパーチャ(320)の上又は下にオフセットさせることが必要となることもあるし、又、それが望ましいこともある。画像センサ(306)乃至(314)は、角度間隔で互いに離れている。画像センサ間の正確な変位角度は、使用される画像センサの数、及び収集される画像データの種類に応じて、大きく変わってよい。画像センサ間の角度変位はまた、必要に応じて、所望の画像オフセット又は画像アライメントをもたらすように不均一にされてもよい。使用される画像センサの数及びアレイの特定の形状に応じて、全ての画像センサの焦点軸は、同じ点で正確に交差してもよく、或いは、全ての点が互いに非常に近接し、アパーチャ(320)によって規定される交差領域の中にあるような複数の点で交差してもよい。
【００３０】
図３Ａに示すように、画像センサ(310)は、ハウジング(304)内で軸(316)に沿って中央に配置されている。画像センサ(310)は焦点軸(324)を有し、この焦点軸(324)は、センサの視線が領域(322)の画像領域(326)と揃うように、ハウジング(304)と直交している。画像センサ(308)は、ハウジング(304)内で、軸(316)に沿って、画像センサ(310)の隣に配置されている。画像センサ(308)の配置は、その視線が領域(322)の画像領域(328)と一致するように、また、その焦点軸(330)が集束し、アパーチャ(320)で規定された領域内で軸(324)と交差するように調整されている。画像センサ(312)は、ハウジング(304)内で、画像センサ(310)の隣でセンサ(308)とは反対側に軸(316)に沿って配置される。画像センサ(312)の配置は、その視線が領域(322)の画像領域(332)と一致するように、そしてその焦点軸(334)がアパーチャ(320)で規定された領域と一致し、この領域内で軸(324)(330)と交差するように調整されている。画像センサ(306)は、ハウジング(304)内で、軸(316)に沿って、センサ(308)の隣に配置されている。画像センサ(306)は、その視線が領域(322)の画像領域(336)と一致するように、そしてその焦点軸(338)がアパーチャ(320)で規定される領域と一致し、その領域内で他の焦点軸と交差するように調整されている。画像センサ(314)は、ハウジング(304)内で、センサ(312)の隣に、センサ(306)とは反対側に軸(316)に沿って配置される。画像センサ(314)の配置は、その視線が領域(322)の画像領域(340)と一致するように、そしてその焦点軸(344)がアパーチャ(320)で規定される領域と一致し、その領域内で他の焦点軸と交差するように調整されている。
【００３１】
画像センサ(306)乃至(314)は、例えば、個別の領域スキャンカメラ、ラインスキャンカメラ、赤外線センサ、高スペクトルセンサ及び／又は地震センサを含む幾つかのデジタルイメージングデバイスを含むことができる。各センサは、個別のイメージングデバイスを含んでもよく、又はセンサ自体がイメージングアレイを含んでもよい。画像センサ(306)乃至(314)は、全てが同じ物であってもよく、又は様々なイメージングデバイスの組合せでもよい。以下の説明では、便宜上、画像センサ(306)乃至(314)は、カメラ(306)乃至(314)として夫々記載する。
【００３２】
大型フィルムカメラ又は大型デジタルカメラにおいて、イメージングの典型的な問題の原因はレンズの歪みである。個別レンズの各々は、正確な歪み率を判断するために、注意深く較正されなければならない。本発明の一実施形態では、レンズの角度幅が１７度よりも小さな小型デジタルカメラを使用している。これにより、顕著な歪みが効率的且つ安価に緩和される。
【００３３】
各カメラの焦点軸が、アパーチャ(320)にて集束し、焦点軸(324)と交差し、その視野を、アレイにおける個々の位置の反対側にあるターゲット領域に揃えることで、カメラと撮像ターゲットとの間が「斜視」の網膜的関係になるように、カメラ(306)乃至(314)は、ハウジング(304)内にて軸(316)に沿って交互に(alternately)配置される。カメラアレイアセンブリ(300)は、画像領域(326)(328)(332)(336)(340)の隣接する境界が、若干重なるように構成されている。ある実施形態では、画像領域(340)と画像領域(332)の隣接する境界、画像領域(332)と画像領域(326)の隣接する境界、画像領域(326)と画像領域(328)の隣接する境界、画像領域(328)と画像領域(336)の隣接する境界は、画像領域の約１％と約９９％の間で重なっている。別の実施形態では、隣接する境界は、約１０％と約８０％の間で重なっている。別の実施形態では、隣接する境界は、約２０％と約６０％の間で重なっている。
【００３４】
画像センサ(306)(308)(310)(312)(314)の形状とサイズに応じて、アセンブリ(300)は、略円状のカスタマイズ可能なＦＯＶを有する画像を生成できる機能をもたらす。使用される取付ユニットと画像センサとに応じて、アセンブリ(300)は、立体画像を生成するように配備されてよい。代替的な実施形態では、種々の形状とサイズを有する任意の数の画像センサを含む任意の数の取付ユニットが組み合わされて、所望のターゲット領域での画像データを与えてよい。
【００３５】
カメラアセンブリ(300)の別の実施形態では、画像センサは、ロングトラック斜視式で配置されてよい。図３Ｂに示されているように、ハウジング(304)は、簡単な囲いを備えており、その中に画像センサ(306)(308)(310)(312)(314)が配置されている。好ましい実施形態では、ハウジング(304)は、取付ユニット(図示せず)で置き換えられてよく、その中に、画像センサ(306)(308)310)(312)(314)が配置される。図３Ｂは、５つのカメラのアレイを示しているが、用いているカメラセンサの数が、１乃至任意の数であっても、システムは、同様に十分に働く。センサ(306)乃至(314)は、単一の横断横材にまとめて、或いは、ハウジング(304)の対向する壁の間に配置された複数の側方横材に個別に、取付部材(318)を介して結合している。代替的な実施形態では、ハウジング(304)自体が、凹状に湾曲した支持横材（例えば、取付ユニット）のみであってよく、それに、部材(318)を介して、画像センサ(306)乃至(314)が連結している。他の実施形態では、ハウジング(304)は、囲いと支持横材のハイブリッドな組合せであってよい。ハウジング(304)は更に、画像センサとターゲット(302)の間にて、その表面に形成されたアパーチャ(320)を備えている。ホストの飛行機の特定の種類に応じて、アパーチャ(320)は、空所のみであってよく、或いは、ハウジング(304)内で環境の完全性を維持するために保護スクリーン又はウインドウを備えていてもよい。保護透明プレートが任意のセンサに使用される場合、特殊なコーティングがプレートに施されて、センサのデータの質が改善されてよい。随意選択的に、アパーチャ(320)は、レンズ又はその他の光学素子を備えており、センサによって記録される画像の性質を向上又は変化させてよい。アパーチャ(320)は、画像センサ(306)乃至(314)に、地表面(302)上のターゲット領域(322)への適切な視線を与えるのに十分なサイズと形状を有するように形成されている。
【００３６】
画像センサ(304)乃至(314)は、全てのセンサの焦点軸がアパーチャ(320)を境界とする交差領域内に集まるように配置される。集められる画像データの種類と、使用される画像センサと、用いられるその他の光学素子又は装置とに応じて、アパーチャ(320)の上又は下に、交差領域又は集束点がオフセットすることが必要である又は望ましいことがある。画像センサ(304)乃至(314)は、角度間隔で互いに離間している。画像センサ間の正確な変位角度は、使用される画像センサの数と、集められる画像データの種類とに応じて、大きく変化してよい。画像センサ間の変位角度はまた、必要に応じて、所望の画像オフセット又は画像アライメントを与えるように不均一にされてよい。使用される画像センサの数と、アレイの構成とに応じて、全ての画像センサの焦点軸は、正確に同じ点で交差してよく、又は、全てがお互いに近接近しており、アパーチャ(320)が規定する交差領域内にある複数の点で交差してよい。
【００３７】
図３Ｂに示されているように、画像センサ(310)は、ハウジング(304)内にて軸(316)に沿って中央に配置されている。画像センサ(310)は、焦点軸(324)を有しており、それは、ハウジング(304)から直交するように向けられて、画像センサの視線を、領域(322)の画像領域(326)に揃えている。画像センサ(308)は、ハウジング(304)内にて軸(316)に沿って、画像センサ(310)の隣に配置されている。画像センサ(308)は、その視線が、領域(322)の画像領域(328)と一致するように、そして、その焦点軸(330)が、アパーチャ(320)を境界とする領域内にて軸(324)と一致して交差するように位置合わせされている。画像センサ(312)は、ハウジング(304)内にて、画像センサ(308)とは軸(316)の反対側にて、画像センサ(310)の隣に配置されている。画像センサ(312)は、その視線が、領域(322)の画像領域(332)と一致するように、そして、その焦点軸(334)が、アパーチャ(320)を境界とする領域内にて軸(324)(330)と一致して交差するように位置合わせされている。画像センサ(306)は、ハウジング(304)内にて軸(316)に沿って、画像センサ(308)の隣に配置されている。画像センサ(306)は、その視線が、領域(322)の画像領域(336)と一致するように、そして、その焦点軸(338)が、アパーチャ(320)を境界とする領域内にてその他の焦点軸と一致して交差するように位置合わせされている。画像センサ(314)は、ハウジング(304)内にて、画像センサ(306)とは軸(316)の反対側にて、画像センサ(312)の隣に配置されている。画像センサ(314)は、その視線が、領域(322)の画像領域(340)と一致するように、そして、その焦点軸(344)が、アパーチャ(320)を境界とする領域内にてその他の焦点軸と一致して交差するように位置合わせされている。
【００３８】
各カメラの焦点軸が、アパーチャ(320)にて集束し、焦点軸(324)と交差し、その視野を、アレイにおける個々の位置の反対側にあるターゲット領域に揃えることで、カメラと撮像ターゲットとの間が「斜視」の網膜的関係になるように、カメラ(306)乃至(314)は、ハウジング(304)内にて軸(316)に沿って交互に配置される。カメラアレイアセンブリ(300)は、画像領域(326)(328)(332)の隣接する境界が、若干重なるように構成されている。ある実施形態では、画像領域(326)と画像領域(328)の隣接する境界、及び／又は、画像領域(326)と画像領域(332)の隣接する境界は、画像領域の約１％と約９９％の間で重なっている。別の実施形態では、隣接する境界は、約３０％と約９５％の間で重なっている。別の実施形態では、隣接する境界は、約５０％と約６０％の間で重なっている。
【００３９】
画像領域(328)と画像領域(336)の隣接する境界、そして、画像領域(332)と画像領域(340)の隣接する境界は、若干重なっていてもいなくともよい。ある実施形態では、画像領域(328)と画像領域(336)の隣接する境界、そして、画像領域(332)と画像領域(340)の隣接する境界は、約０％と約１００％の間で重なる。別の実施形態では、それらの隣接する境界は、約３０％と約９５％の間で重なる。別の実施形態では、それらの隣接する境界は、約５０％と約９０％の間で重なる。
【００４０】
図３Ｂのカメラアレイに似た別の実施形態では、画像センサは、カメラアレイ(2600)にて、ロングトラック斜視式で配置されてよい。図２６Ａに示されているように、取付ユニット(2604)は、画像センサ(2606)(2608)(2610)(2612)が中に配置された単純な構造を備えている。図２６Ａは、４つのカメラのアレイを描いているが、使用しているカメラの数が１乃至任意の数であっても、システムは、同様に十分に働く。センサ(2606)乃至(2612)は、取付部材(2618)により、ハウジング(2604)の対向する壁の間に配置された１つの横断横材にまとめて取り付けられるか、複数の側方横材に個々に取り付けられる。
【００４１】
図３Ｂのカメラアセンブリと同様に、取付ユニット(2604)は更に、画像センサとターゲット(図示せず)の間にて、その表面に形成されたアパーチャ(2620)を備えている。ホストの飛行機の特定の種類に応じて、アパーチャ(2620)は、空所のみであってよく、或いは、取付ユニット(2604)内で環境の完全性を維持するために保護スクリーン又はウインドウを備えていてもよい。保護透明プレートが任意のセンサに使用される場合、特殊なコーティングがプレートに施されて、センサのデータの質が改善されてよい。随意選択的に、アパーチャ(2620)は、レンズ又はその他の光学素子を備えており、センサによって記録される画像の性質を向上又は変化させてよい。アパーチャ(2620)は、画像センサ(2606)乃至(2612)に、地表面(図示せず)上のターゲット領域への適切な視線を与えるのに十分なサイズと形状を有するように形成されている。
【００４２】
図３Ｂで議論したように、画像センサ(2606)乃至(2614)は、全てのセンサの焦点軸が、アパーチャ(2620)で規定された交差領域内で集束し互いに交差するように、取付ユニット(2604)にて、凹状の曲線をなすアレイ軸(2616)内に又はそれに沿って配置される。収集される画像データの種類、使用される画像センサ、及び用いられる他の光学素子又は装置に応じて、交差領域又は集束点をアパーチャ(2620)の上又は下にオフセットさせることが必要である又望ましいことがある。画像センサ(2606)乃至(2612)は、角度間隔で互いに離れている。画像センサ間の正確な変位角度は、使用される画像センサの数、及び収集される画像データの種類に応じて、大きく変わってよい。画像センサ間の変位角度はまた、必要に応じて、所望の画像オフセット又は画像アライメントをもたらすように不均一にされてもよい。使用される画像センサの数及びアレイの形状に応じて、全ての画像センサの焦点軸は、同じ点で正確に交差してもよく、或いは、全ての点が互いに非常に近接しており、アパーチャ(2620)によって規定される交差領域の中にあるような複数の点で交差してもよい。
【００４３】
カメラアセンブリ(300)の別の実施形態では、画像センサは、インフラストラクチャの地図を作成するためにロングトラック斜視式で配置されてよい。図３Ｃに示されているように、ハウジング(304)は、簡単な囲いを備えており、その中に画像センサ(306)(308)(310)(312)(314)が配置されている。好ましい実施形態では、ハウジング(304)は、取付ユニット(図示せず)で置き換えられてよく、その中に、画像センサ(306)(308)(310)(312)(314)が配置される。図３Ｂは、５つのカメラのアレイを描いているが、使用しているカメラセンサの数が３乃至任意の数であっても、システムは、同様に十分に働く。上述したように、センサ(306)乃至(314)は、単一の横断横材にまとめて、或いは、ハウジング(304)の対向する壁の間に配置された複数の側方横材に個別に、取付部材(318)を介して結合している。代替的な実施形態では、ハウジング(304)自体が、凹状に湾曲した支持横材（例えば、取付ユニット）のみであってよく、それに、部材(318)を介して、画像センサ(306)乃至(314)が連結している。他の実施形態では、ハウジング(304)は、囲いと支持横材のハイブリッドな組合せであってよい。ハウジング(304)は更に、画像センサとターゲット(302)の間にて、その表面に形成されたアパーチャ(320)を備えている。ホストの飛行機の特定の種類に応じて、アパーチャ(320)は、空所のみであってよく、或いは、ハウジング(304)内で環境の完全性を維持するために保護スクリーン又はウインドウを備えていてもよい。保護透明プレートが任意のセンサに使用される場合、特殊なコーティングがプレートに施されて、センサのデータの質が改善されてよい。随意選択的に、アパーチャ(320)は、レンズ又はその他の光学素子を備えており、センサによって記録される画像の性質を向上又は変化させてよい。アパーチャ(320)は、画像センサ(306)乃至(314)に、地表面(302)上のターゲット領域(322)への適切な視線を与えるのに十分なサイズと形状を有するように形成されている。
【００４４】
図３Ｂのカメラアセンブリと同様に、画像センサ(306)乃至(314)は、全てのセンサの焦点軸が、アパーチャ(320)で規定された交差領域内で集束するように、ハウジング(304)の内部に、又はハウジング(304)に沿って配置される。収集される画像データの種類、使用される画像センサ、及び用いられる他の光学素子又は装置に応じて、交差領域又は集束点をアパーチャ(320)の上又は下にオフセットさせることが必要となること、又、それが望ましいことがある。画像センサ(306)乃至(314)は、角度間隔で互いに離れている。画像センサ間の正確な変位角度は、使用される画像センサの数、及び収集される画像データの種類に応じて、大きく変わってよい。画像センサ間の角度変位はまた、必要に応じて、所望の画像オフセット又は画像アライメントをもたらすように不均一にされてもよい。使用される画像センサの数及びアレイの特定の形状に応じて、全ての画像センサの焦点軸は、正確に同じ点で交差してもよく、或いは、全ての点が互いに非常に近接しており、アパーチャ(320)によって規定される交差領域の中にあるような複数の点で交差してもよい。
【００４５】
図３Ｃに示すように、画像センサ(310)は、ハウジング(304)内で軸(316)に沿って中央に配置されている。画像センサ(310)は焦点軸(324)を有し、この焦点軸(324)は、センサの視線が領域(322)の画像領域(326)と揃うように、ハウジング(304)と直交している。画像センサ(308)は、ハウジング(304)内で、軸(316)に沿って、画像センサ(310)の隣に配置されている。画像センサ(308)の配置は、その視線が領域(322)の画像領域(328)と一致するように、また、その焦点軸(330)が、アパーチャ(320)で規定された領域と一致し、その領域内で軸(324)と交差するように調整されている。画像センサ(312)は、ハウジング(304)内で、画像センサ(310)の隣に、センサ(308)とは軸(316)の反対側にて配置される。画像センサ(312)は、その視線が領域(322)の画像領域(332)と一致するように、そしてその焦点軸(334)がアパーチャ(320)で規定された領域と一致し、その領域内で軸(324)(330)と交差するように位置合わせされている。画像センサ(306)は、ハウジング(304)内で、軸(316)に沿って、センサ(308)の隣に配置されている。図３Ｂのカメラアセンブリとは異なり、画像センサ(306)は、その視線が領域(322)の画像領域(336)と一致するように、そしてその焦点軸(338)がアパーチャ(320)で規定される領域と一致し、その領域内で他の焦点軸と交差するように位置合わせされている。図３Ｃ及び図４Ｃに示すように、画像センサ(306)は、第２タワー(346)の背面像を含む前方斜め画像領域(366)をキャプチャする。画像センサ(314)は、ハウジング(304)内で、センサ(306)とは軸(316)の反対側にて、センサ(312)の隣に配置されている。画像センサ(314)は、その視線が領域(322)の画像領域(340)と一致するように、そしてその焦点軸(344)がアパーチャ(320)で規定される領域と一致し、その領域内で他の焦点軸と交差するように位置合わせされている。図３Ｃ及び図４Ｃに示すように、第１タワー(346)の前面像を含む後方斜め画像領域(340)をキャプチャする。
【００４６】
図３Ｂのカメラアセンブリと同様に、各カメラの焦点軸が、アパーチャ(320)にて集束し、焦点軸(324)と交差し、その視野を、アレイにおける個々の位置の反対側にあるターゲット領域に揃えることで、カメラと撮像ターゲットとの間が「斜視」の網膜的関係になるように、カメラ(306)乃至(314)は、ハウジング(304)内にて軸(316)に沿って交互に配置される。カメラアレイアセンブリ(300)は、画像領域(326)(328)(332)の隣接する境界が、若干重なるように構成されている。ある実施形態では、画像領域(326)と画像領域(328)の隣接する境界と、及び／又は、画像領域(326)と画像領域(332)の隣接する境界は、画像領域の約１％と約９９％の間で重なっている。別の実施形態では、隣接する境界は、約３０％と約９５％の間で重なっている。別の実施形態では、隣接する境界は、約５０％と約９０％の間で重なっている。
【００４７】
画像領域(328)と画像領域(336)の隣接する境界、そして、画像領域(332)と画像領域(340)の隣接する境界は、若干重なっていてもいなくともよい。ある実施形態では、画像領域(328)と画像領域(336)の隣接する境界、そして、画像領域(332)と画像領域(340)の隣接する境界は、約０％と約１００％の間で重なる。別の実施形態では、それらの隣接する境界は、約３０％と約９５％の間で重なる。別の実施形態では、それらの隣接する境界は、約５０％と約９０％の間で重なる。
【００４８】
図３Ｃ−２を参照すると、アロングトラック斜視式で構成されたカメラアレイアセンブリを用いて得られた例示的なシーケンスが示されている。図３Ｃ−１のカメラアレイアセンブリが示されているが、その他のアロングトラックカメラアレイアセンブリが使用されてもよい。図３Ｃ−２は、ロングトラックセンサが、ロングトラック対象物の前側と後側をカバーする一連の重なった画像を集めることで、送電塔、絶縁器／導線、変圧器、及びその他の直線状に並べられた通路上の対象物を、ロングトラックセンサがどのようにカバーするかを図示している。
【００４９】
カメラアレイの別の実施形態では、画像センサは、クロストラック斜視及びロングトラック式で配置されてよい。図３Ｄ及び図２２Ａを参照のこと。図２２Ａは、後方右側透視図として、凹状又は網膜状カメラアレイアセンブリ(2200)を示している。図２２Ａは、１５個のカメラのアレイを示しているが、システムは、使用する画像センサの数が、１乃至任意の数であっても、同様に十分に働く。アセンブリ(2200)は、構成、構造及び動作の点でアセンブリ(300)と同様である。アセンブリ(2200)は、第１撮像アレイ(2202)、第２撮像アレイ(2204)、及び第３撮像アレイ(2206)を備えている。アレイ(2204)は、主センサアレイとして構成されており、その第１画像センサ(2210)の焦点軸(2008)が、アセンブリ(2200)から下方に向いて、地表面(2214)に沿ったターゲット領域(2212)に直交するように、アセンブリ(2200)内に配置されている。アセンブリ(2200)は、飛行経路(2216)に沿って、地表面(2124)に対して移動する移動体に調整自在に搭載されている。アレイ(2202)(2204)(2206)は、画像センサのサブアセンブリとして、アセンブリ(2200)内に配置されている。アレイ(2202)は、取付ユニット(2204)の前側にて、飛行経路(2216)について、角度オフセット(2218)だけオフセットされている。同様に、アレイ(2206)は、取付ユニット(2204)の後側にて、飛行経路(2216)について、角度オフセット(2220)だけオフセットされている。角度オフセット(2218)は、取付ユニット(2202)内の主画像センサ(2224)の焦点軸(2222)が、ターゲット表面と角度(2232)をなすように、ターゲット領域(2212)に向かって下に向くように選択される。角度オフセット(2220)は、取付ユニット(2206)内の主画像センサ(2230)の焦点軸(2228)が、ターゲット表面と角度(2226)をなすように、ターゲット領域(2212)に向かって下に向くように選択される。角度オフセット(2218)と角度オフセット(2220)は同じであるのが好ましいが、それらが異なることで、所望の撮像効果がもたらされてよい。取付ユニット(2202)(2204)(2206)内に配置されたその他の個々の画像センサの焦点軸は、取付ユニットに沿ったそれらの相対位置について、ターゲット領域(2212)に及びお互いに対して同じような角度関係をなしてよい。
【００５０】
カメラアレイのある実施形態では、画像センサは、代替的なアロングトラック斜視及びアクロストラック斜視式で配置されてよい。図３Ｅ及び図２２Ｂを参照のこと。図２２Ｂは、前方右側透視図として、凹状又は網膜状カメラアレイアセンブリ(2200)を示している。アレイ(2204)は、主センサアレイとして構成されており、その主画像センサ(2210)の焦点軸(2008)が、アセンブリ(2200)から下方に向いて、地表面(2214)に沿ったターゲット領域(2212)に直交するように、アセンブリ(2200)内に配置されている。取付ユニット(2202)は、飛行経路(又はトラック)(2216)に対する垂線(2234)について、(後ろからアレイを見て)取付ユニット(2204)の左に、角度オフセット(2218)だけオフセットされている。同様に、取付ユニット(2206)は、飛行経路(2216)に対する垂線(2234)について、(後ろからアレイを見て)取付ユニット(2204)の右に、角度オフセット(2220)だけオフセットされている。角度オフセット(2218)は、取付ユニット(2202)内の主画像センサ(2224)の焦点軸(2222)が、ターゲット表面と角度(2232)をなすように、ターゲット領域(2212)に向かって下に向くように選択される。角度オフセット(2220)は、取付ユニット(2206)内の主画像センサ(2230)の焦点軸(2228)が、ターゲット表面と角度(2226)をなすように、ターゲット領域(2212)に向かって下に向くように選択される。角度オフセット(2218)と角度オフセット(2220)は同じであるのが好ましいが、それらが異なることで、所望の撮像効果がもたらされてよい。取付ユニット(2202)(2204)(2206)内に配置されたその他の個々の画像センサの焦点軸は、取付ユニットに沿ったそれらの相対位置について、ターゲット領域(2212)に及びお互いに対して同じような角度関係をなしてよい。
【００５１】
カメラアレイの別の実施形態では、画像センサは、凹状又は網膜状に構成されて配置されてよい。図２３は、凹状又は網膜状カメラアレイアセンブリ(2300)を下面図で示す。図２３は、２５個のカメラのアレイを示しているが、使用しているカメラセンサが１乃至任意の数であっても、システムは、同様に十分に働く。アセンブリ(2300)は、第１複合凹状湾曲取付ユニット(2302)と、複数の複合湾曲取付ユニット(2304)とを備えている。複数の複合湾曲取付ユニット(2304)は、異なる角度間隔でオフセットし、取付ユニット(2302)に覆い被さる又は接触するのに十分なサイズと曲率で形成されている。任意の数の取付ユニット(2304)が用いられてよく、数多く存在して、センサを装着するためにドーム構造を形成してよい。取付ユニット(2304)間の角度変位は、取付ユニットのサイズと所望の画像特性とに応じて変化する。例えば、アセンブリ(2300)は、お互いに直交（つまり、９０°）関係にある２つの取付ユニットを備えていてよい。別のアセンブリは、３つの取付ユニットを有しており、取付ユニット間の角度変位は、６０°であるように構成されてよい。
【００５２】
主画像センサ(2306)は、取付ユニット(2302)の凹側に沿って中央に配置されており、その焦点軸は、アセンブリ(2300)から直交するように下方に向いている。複数の画像センサ(2308)は、本発明の教示に基づいて、取付ユニット(2302)(2304)の凹側に沿って「斜視」式で配置されている。斜視画像センサ(2308)は、各画像センサの焦点軸が、交差領域(図示せず)にて画像センサ(2306)の焦点軸と一致し、その視野を、アレイの個々の位置の反対側にあるターゲット領域に揃えるように、取付ユニット(2302)(2304)に沿って交互に配置されている。画像センサ(2308)の形状とサイズに応じて、アセンブリ(2300)は、略円状のカスタマイズ可能なＦＯＶを有する画像を生成できる機能をもたらす。使用される取付ユニットと画像センサとに応じて、アセンブリ(2300)は、立体画像を生成するように配備されてよい。代替的な実施形態では、種々の形状とサイズを有する任意の数の画像センサを含む任意の数の取付ユニットが組み合わされて、所望の任意のターゲット領域での画像データを与えてよい。
【００５３】
図３Ａ乃至図３Ｅを再度参照すると、取付部材(318)が恒久的に固定(例えば溶接)されている場合、アパーチャ(320)とカメラとそれらの視線との空間的関係は、画像領域(326)(328)(332)(336)(340)の空間的関係と同様、固定されたままである。そのような構造は、例えば衛星監視のように、カメラアレイアセンブリ(300)が、領域(322)から本質的に一定の距離に維持される用途に好ましい。カメラの位置と調整は、領域(326)(328)(332)(336)(340)が、領域(322)の全体範囲をイメージングできるように設定される。取付部材(318)が一時的な固定又は調節可能である場合、画像領域(326)(328)(332)(336)(340)が狭く又は広くなるように移動できるように、カメラの位置又は配列を、手操作又は遠隔からの自動操作により選択的に調節できることが好ましく、これによって、カメラアレイアセンブリ(300)によって収集された画像の質を向上させたり、変えることができる。
【００５４】
ある実施形態では、剛性取付ユニットが、剛性取付プレートに固定されても、されていなくともよい。取付ユニットは、少なくとも１つの画像センサを取り付けることができる任意の剛構造(rigid structure)である。取付ユニットは、画像センサを囲むハウジングであり、支柱(brace)、三脚(tripod)等を含む任意の剛構造であってよい。本開示の目的において、画像センサは、ターゲット領域から、能動的又は受動的な放射エネルギ、即ち光、音、熱、重力等を受信及び処理できる任意のデバイスを意味する。具体的には、画像センサは、赤-青-緑フィルタ、ブッシュブルーム(bushbroom)フィルタ、又はハイパースペクトルフィルタを利用するデジタルカメラ、ＬＩＤＡＲセンサ、赤外線センサ、熱感知センサ、グラビトメータ(gravitometer)等を任意の数だけ備えていてもよい。画像センサは、衛星データ及び／又は慣性データ(inertial data)を活用して移動体の向きを決定するのに役立つジャイロスコープ、ＧＰＳデバイス等の姿勢測定センサを含んでいない。複数の異なるセンサが用いられることが好ましい。
【００５５】
別の実施例では、単一、少なくとも１つの構成取付ユニットが、同じ剛性取付プレートに固定されてよい。
【００５６】
別の実施例では、少なくとも２つの構成取付ユニットが、同じ剛性取付プレートに固定されてよい。
【００５７】
画像センサがカメラ、ＬＩＤＡＲ等の画像センサである実施形態では、取付ユニットは、光及び／又はエネルギが通過できるアパーチャを有することが好ましい。取付ユニットは平坦であることが好ましいが、平坦でなくてもよい。画像センサがカメラ、ＬＩＤＡＲ等の画像センサである実施形態では、取付プレートは、光及び／又はエネルギが通過できる取付ユニットのアパーチャと一直線上に並ぶアパーチャを有することが好ましい。
【００５８】
剛構造は、使用中、１度の約１００分の１未満、好ましくは１度の約１，０００分の１未満、より好ましくは１度の約１０，０００分の１未満しか曲がらないものである。好ましくは、剛構造は、通常の、即ち飛行中に乱流がない(non-turbulent)航空機に固定されている間、１度の約１００分の１未満、好ましくは１度の約１，０００分の１未満、より好ましくは１度の約１０，０００分の１未満しか曲がらないものである。通常動作中に、１度の約１００分の１未満、好ましくは１度の約１，０００分の１未満、より好ましくは１度の約１０，０００分の１未満互いに曲がる場合、対象物は互いに強固に固定されている。
【００５９】
カメラ(310)は主カメラとして示されている。カメラ(310)の画像面(326)は基準面(plane of reference)の役割を果たす。他のカメラ(306)(308)(312)(314)の向きは、基準面に対して計られる。各カメラの相対的な向きは、カメラの画像面を基準面に対して平行になるように回転するのに必要なヨー角度、ピッチ角度及びロール角度で計られる。回転は、ヨー、ピッチ、ロールの順であることが好ましい。
【００６０】
取付ユニットに固定された複数の画像センサは、同一平面内に調整されなくてもよい。代わりに、第１取付ユニットに固定された第１センサ、好ましくは第１取付ユニットの主天底カメラの取付角度に対する他のセンサの取付角度にオフセットしてもよい。従って、複数の画像センサは、各画像センサの物理的取付角度のオフセットを互いに較正するようにコレジスタ(co-registered)されてよい。実施形態において、複数の、即ち少なくとも２つの剛性取付ユニットは、同じく複数の剛性取付プレートに固定され、コレジスタされる。実施形態において、カメラ(306)乃至(314)は、剛性取付ユニットに固定され、コレジスタされる。実施形態において、ＡＭＵ、好ましくはジャイロスコープの幾何学的中心点が、ＧＰＳデータ及び慣性データを用いて決定される。第１取付ユニットに固定された第１センサ、好ましくは第１取付ユニットの主天底カメラの物理的位置は、基準点、好ましくはＡＭＵの幾何学的中心点に対して計算される。同様に、全ての取付ユニット内の残り全てのセンサの物理的位置は、同じ基準点に対して、直接的又は間接的に計算される。
【００６１】
センサの照準角(boresight angle)は、そのセンサの幾何学的中心からの基準面に対する角度として規定される。基準面は、ターゲット領域に直交していることが好ましい。第１センサの照準角は、地上のターゲット点を用いて決定されてよい。次のセンサの照準角は、第１センサの照準角を基準に計算されることが好ましい。センサは、写真で識別可能であることが好ましい既知の地上ターゲットを用いて較正されることが好ましく、或いはまた、米国特許出願公開第２００４／００５４４８８ Ａ１号(現在、米国特許第７，２１２，９３８ Ｂ２号)に開示されたセルフロッキング飛行経路又はその他の任意の方法を用いて較正され、この出願公開の開示は、参照によってその全体が本明細書の一部となる。
【００６２】
第２取付ユニット内の画像センサは、任意の画像センサであってよく、ＬＩＤＡＲであることが好ましい。或いはまた、第２画像センサは、デジタルカメラ、又はデジタルカメラアレイである。実施形態において、第２取付ユニットに固定されるセンサの照準角は、第１センサの照準角を基準に計算される。第２取付ユニット内の画像センサの物理的オフセットは、第１取付ユニット内の第１センサの照準角を基準に較正されてよい。
【００６３】
このようにして、全てのセンサは、ほぼ同じ時点(epoch)で、同じＧＰＳ信号、同じ地上ターゲットを用いて、ほぼ同じ大気条件下で較正される。これにより、各センサを、異なるＧＰＳ信号を用いて、異なる地上ターゲットに対し、異なる大気条件下で別々に較正する場合に生じる複合エラー(compound error)は、著しく低減する。
【００６４】
図４Ａ乃至図４Ｅを参照すると、カメラ(306)乃至(314)によって夫々撮影された領域(336)(328)(326)(332)(340)の画像が、上からの視点で示されている。ここでも、「斜視(cross-eyed)」の配置であるため、領域(336)の画像はカメラ(306)によって撮影され、領域(340)の画像はカメラ(314)によって撮影されるという具合になる。本発明の一実施形態において、中央のカメラ(310)によって撮影された画像以外の画像は、透視変換(perspective transformation)後、台形になる。例えば、図４Ａを参照のこと。カメラ(306)乃至(314)は、軸(316)に沿ってアレイを形成し、該アレイは、殆どの用途において、垂直下向きに向けられる。ある実施形態では、カメラ(308)(310)(312)は、下向きに垂直に向けられた軸(316)に沿ったオルソアレイ(ortho array)を形成し、カメラ(306)(314)は、同じく軸(316)に沿った斜めアレイを形成する。例えば、図４Ｂ及び図４Ｃを参照のこと。例えば、構造物について、絶縁器／導線、変圧器、伝送線、送電塔の状態や、地面の植生、木／葉、柵及び道の場所などのインフラストラクチャの情報が得られる。ある代替的な実施形態において、カメラの第２アレイが、カメラ(306)乃至(314)のアレイと同様に構成され、カメラの第１アレイに対して調整されて、「ヘッドアップ(heads-up)」透視投影(perspective)をもたらす斜位像(oblique view)が得られる。「ヘッドアップ」カメラアレイアセンブリの水平面からの傾斜角度は、ミッション対象物及びパラメータによって変化してよいが、２５〜４５度の角度が一般的である。その他の別の実施形態は、カメラアレイの実装は様々であるが、同様に本発明に含まれる。例えば、図４Ｄ及び図４Ｅを参照のこと。このような全ての実施形態において、カメラの相対的な位置と姿勢は、本発明に従う画像処理を容易にするために、正確に測定及び較正される。
【００６５】
本発明の一実施形態において、外部機構(例えば、ＧＰＳタイミング信号)は、カメラを同時にトリガするために使用され、それによって入力画像のアレイがキャプチャされる。次に、モザイキングモジュールが、このようなアレイからの個々の入力画像を、隣接画像間に視覚的に認識できる継ぎ目を生ずることなく、オルソ補正された(ortho-rectified)複合画像(即ち「モザイク」)に描画する。モザイキングモジュールは一連のタスクを実行し、当該タスクは、各入力画像の地理的な境界及び寸法を決定し、各入力画像をモザイク上に、正確な地理上の位置決めをして投射し、モザイク中で画像のカラーバランス調整をし、隣接する入力画像を、それらが共有する継ぎ目にて融合することを含む。実行されるタスクの正確な順序は、入力画像データの大きさ及び性質に応じて異なってよい。特定の実施形態において、モザイキングモジュールは、モザイキング中に、元の入力画像に対して１つの変換だけを実行する。この変換は、４×４マトリクスによって表され得る。複数の変換マトリクスを単一のマトリクスにまとめることにより、処理時間は低減され、元の入力画像の鮮明さが保持される。
【００６６】
入力画像をモザイクにマッピングする間、特にモザイキングが高解像度で行われる場合、モザイク内のピクセル(即ち出力ピクセル)は、入力画像(即ち、入力ピクセル)のどのピクセルによってもマッピングされないことがある。モザイク内に、アーチファクト(artifacts)として、曲がった(warped)線が生じる可能性がある。本発明の特定の実施形態は、この問題をスーパーサンプリングシステムにより解消しており、このシステムでは、入力ピクセルと出力ピクセルの各々が、ｎ×ｍグリッドのサブピクセルにさらに分割される。サブピクセルからサブピクセルへの変換が行われる。出力ピクセルの最終値は、そのサブピクセルの平均値であり、これに対応する入力サブピクセルが存在する。ｎ値とｍ値が大きくなる程、解像度が高いモザイクを生成するが、追加の処理時間が必要となる。
【００６７】
画像データを処理する間、モザイキングモジュールは、下記の情報を使用することができる。入力画像が捕捉された時の各カメラの焦点の空間位置(例えば、ｘ、ｙ、ｚ座標)、入力画像が捕捉された時のターゲット領域の地面(ground plane)に対する各カメラの像平面の姿勢(即ち、ヨー、ピッチ、ロール)、各カメラの視野(即ち、軌道に沿う場合と軌道を横切る場合)、及び、領域の数値地形モデル(Digital Terrain Model)(ＤＴＭ)である。姿勢は、システムに連繋されたＡＭＵによって与えられる。数値地形モデル(ＤＴＭ)又は数値表面モデル(Digital surface model)(ＤＳＭ)は、ＬＩＤＡＲモジュール(118)を用いて得られる情報から生成できる。ＬＩＤＡＲは、広く知られたレーダと同様であり、レーザーレーダと考えることができる。レーダでは、電波が大気中に送信されて、エネルギの一部が散乱してレーダの受信機へ戻される。ＬＩＤＡＲもまた電磁放射を送受信するが、より高い周波帯で行なう。これは、ＬＩＤＡＲは電磁スペクトルの紫外線領域、可視線領域及び赤外線領域内で動作するからである。動作中、ＬＩＤＡＲは、光をターゲット領域に向けて送る。送られた光は、ターゲット領域と相互作用して、ターゲット領域により変化する。この光の一部は、反射／散乱してＬＩＤＡＲ機器に戻され、そこで分析され得る。光の特性の変化により、ターゲット領域の特徴を決定できる。光がターゲット領域に向けて出てＬＩＤＡＲデバイスに戻るまでの時間を用いて、ターゲットまでの距離が決定される。
【００６８】
ＤＴＭとＤＳＭのデータセットはまた、カメラアレイアセンブリからキャプチャすることもできる。標高データを得る従来の手段として、ステレオグラフィック技術等を用いることもできる。
【００６９】
現在、ＬＩＤＡＲには、レンジファインダ(Range finder)、差分吸収ＬＩＤＡＲ(Differential Absorption LIDAR)(ＤＩＡＬ)及びドップラーＬＩＤＡＲ(Doppler LIDAR)の３つの基本型がある。レンジファインダＬＩＤＡＲは、最も単純なＬＩＤＡＲであり、ＬＩＤＡＲデバイスから固体の又は硬いターゲットまでの距離を測定するために使用される。ＤＩＡＬ ＬＩＤＡＲは、大気中の化学物質濃度(オゾン、水蒸気、汚染物質等)を測定するために用いられる。ＤＩＡＬ ＬＩＤＡＲは、２つの異なるレーザー波長を使用しており、一方の波長は対象とする分子によって吸収されるが、他方の波長は吸収されないものを選択する。２つのリターン信号の強度の差を利用して、調査する分子の濃度を推定できる。ドップラーＬＩＤＡＲは、ターゲットの速度を測定するために使用される。ＬＩＤＡＲから送信された光が、ＬＩＤＡＲに近づく又はＬＩＤＡＲから離れるように移動しているターゲットに衝突すると、ターゲットから反射／散乱する光の波長は僅かに変化する。これはドップラーシフト、ひいてはドップラーＬＩＤＡＲとして知られている。ターゲットがＬＩＤＡＲから離れるように移動している場合、リターン光はより長い波長を有し(赤方偏移とも呼ばれる)、ターゲットがＬＩＤＡＲに近づくように移動している場合、リターン光はより短い波長を有する(青方偏移)。ターゲットは、硬いターゲットでも大気中のターゲット(例えば、風によって運ばれる微細な塵埃やエアロゾル粒子)でもよい。
【００７０】
カメラの焦点は、透視変換の中心として使用されることが好ましい。その空間での位置を例えば、母体の航空機に搭載された多周波キャリア位相後処理ＧＰＳシステム(multi-frequency carrier phase post-processed GPS system)によって決定することができる。カメラの焦点の３次元のオフセットが、ＧＰＳアンテナの中心に対して注意深く計られることが好ましい。これらのオフセットは、ＧＰＳアンテナの位置と母体の航空機の向きと組み合わされて、カメラの焦点の正確な位置を決定することができる。ＧＰＳアンテナの位置は、収集されたＧＰＳデータを、正確な測量点に配備された同様の地上ＧＰＳアンテナに対して処理することにより決定されることが好ましい。
【００７１】
１又は複数のＡＭＵ(例えば、Ａｐｐｌａｎｉｘ ＰＯＳ ＡＶ)を姿勢決定のために機内に搭載することが好ましい。ターゲット領域の地面に対するＡＭＵ基準面の姿勢を、短い間隔で、１度の１００分の１よりも良好な精度で測定及び記録することが好ましい。ＡＭＵ基準面の姿勢は、この平面を地面と平行にするために平面の軸に対して行われる一連の回転として規定されてもよい。「調整(align)」という用語を、この操作を説明するために使用することもある。
【００７２】
ＡＭＵに対する中央カメラ(310)(即ちその像平面)の姿勢は、正確に較正されることが好ましい。中央カメラ(310)に対する他の各カメラの姿勢もまた、注意深く較正されることが好ましい。この従属的な較正は、各カメラを直接較正するよりも効率的である。カメラアレイアセンブリ(300)が再搭載される場合、中央カメラ(310)だけが再較正を必要とする。中央カメラ(310)からの入力画像に、一連の２回の変換を施すことが効率的である。先ず、中央カメラの像平面をＡＭＵ平面に対して調整する。次に、ＡＭＵ平面を地面に対して再び調整する。しかしながら、これらの変換は、各々の変換マトリクスを乗じることによって単一動作にまとめられる。その他の各カメラからの画像については、追加の変換が初めに実行されて、中央カメラの像平面に揃えられる。  
【００７３】
中央カメラ(310)の焦点の位置は、上記のように決定できる。この位置のｘ成分とｙ成分が、地上におけるモザイクの天底点(nadir point)(400)の位置を決定することが好ましい。各カメラの視野(ＦＯＶ)角度がわかっているので、カメラの焦点のｚ成分によって各入力画像の寸法を決定できる。地面の平均標高は、その領域のＤＴＭでの平均標高地点を演算することによって決定され、その後、この標高の想像上の水平面に各入力画像を投影する。次に、領域のＤＴＭを使用して、起伏の変位(relief displacement)を適用することが好ましい。ＤＴＭは、多くのソースから得られ、ソースとしては、米国の大部分で利用可能なＵＳＧＳ ３０−メートルやＵＳＧＳ １０−メートルのＤＴＭ、商業用のＤＴＭ、又はカメラによりデータを同時にキャプチャする母機に搭載されたＬＩＤＡＲやＳＡＲ ＥＭＵデバイスによって得られるＤＴＭが挙げられる。
【００７４】
地理的に正しく配置されることに加えて、得られる複合画像はまた、全体を通し放射計測的一貫性(radiometric consistency)を有するように、そして２つの隣接する画像間の接合部に視覚的に認識できる継ぎ目がないようにする必要がある。本発明は、この目標を達成するための幾つかの技術を提供する。
【００７５】
従来のカメラの特徴として、露光時間(即ち、像平面に光を集めるためにシャッタを開いている時間)が挙げられる。露光時間が長ければ長いほど、得られる画像は明るくなる。露光時間は、雲の範囲、カメラに対する太陽の角度と位置等の条件によって生じる周囲光の明るさの変化に適合させなければならない。最適な露光時間は、光源に対するカメラの向きにも依存することがある(例えば、太陽に照らされた対象物の方に向けられているカメラは通常、日陰にある対象物の方に向けられているカメラよりも周囲光を多く受ける)。露光時間は、画像の平均強度を所望の範囲内に維持するように調整される。例えば、２４ビットのカラー画像では、赤、緑及び青の各成分が、０〜２５５の強度値を有し得る。しかしながら、殆どの場合、平均強度を平均値(即ち１２７)に維持することが望ましい。
【００７６】
本発明では、露光制御モジュールが、各カメラ又は各画像センサの露光時間を制御する。露光制御モジュールは、各入力画像を検査し、平均画像強度を計算する。移動平均(即ち、直近のＸ個の画像の平均強度)に基づいて、露光制御モジュールは露光時間を増加するか減少するかを決定する。このモジュールは、より長い移動(running)平均を用いて照明条件の変化に対する反応を遅くできるので、異常に暗い画像又は明るい画像(例えばアスファルト道路又は水)に対してあまり影響を受けない。露光制御モジュールは、各カメラの露光時間を別々に制御する。
【００７７】
前進運動補償機構(forward-motion compensation mechanisms)を備えていないカメラが取り付けられているシステムでは、露光時間に最大限度を設けなければならない。露光時間を最大値よりも大きな値に設定すると、動きによるぼやけ(blurriness)が生じることがある。例えば、カメラが、１７０マイル／時(即ち約３インチ／ｍｓ)で移動する飛行機に搭載されていると仮定する。所望のピクセル解像度が６インチであると仮定する。画像キャプチャ中の前進運動は、ピクセルサイズの半分に制限されるべきであり、この場合３インチである。このため、この例での最大露光は１ミリ秒である。
【００７８】
イメージングの質を制御する際、光強度の変化が周囲光の変化に起因して生じているのか、異常に明るい対象物又は暗い対象物(例えば、反射する水塊(water body)、金属製の屋根、アスファルト等)の存在に起因して生じているのかを判断できることは有用である。本発明の用途には、空中での撮影又は監視が含まれる。地面の航空画像には通常、植物や植生を含んでいることが観察され、これらは水塊又は道路や建物のような人工構造物よりも反射率が一定している。勿論、植物や植生の画像は通常、緑色に支配されている(即ち、緑成分が、赤、緑及び青の値の中で最も大きい)。従って、緑が支配的なピクセルに焦点を当てることにより、強度相関をより正確にすることができる。
【００７９】
露光制御モジュールは、緑が支配的なピクセルだけを選択することによって、画像の平均強度を演算する。例えば、画像が１００万ピクセルを有し、３００,０００ピクセルについて緑が支配的である場合、緑が支配的なこれら３００,０００ピクセルだけが平均強度の計算に含まれる。その結果、イメージング処理は、通常はピクセルについて緑が支配的でないような人造の建物及び水塊によって引き起こされるバイアス(biasing)に対して、あまり影響されない。前述したように、約１２７の強度値を維持することが望ましい。強度値が１２７を越えると(即ち、過剰露光)、露光時間が短くなり、捕捉される光が少なくなる。同様に、強度値が１２７を下回ると(即ち、露光不足)、露光時間が長くなり、捕捉される光が多くなる。例えば、白い屋根が多くあって、強度が非常に高いターゲット地形領域上を飛行するシステムについて検討する。キャプチャされる画像の平均強度は高くなる傾向があるだろう。殆どの従来システムにおいて、露光時間は、補償するために短くされるだろう。しかしながら、前記の例では、露光時間を短くすることは妥当でない。その理由は、屋根の明るさによって、画像の平均強度がバイアスされているためである。露光時間を短くすると、地面が実際よりも暗くなっている画像をもたらすだろう。これに対し、本発明に従って、緑が支配的なピクセルだけを処理すると、過度に明るい屋根を表すピクセルが平均強度をバイアスして、露光時間は変化しない。
【００８０】
このため、露光制御モジュールは、入力画像間の強度差を少なくする。それでもなお、色調(tonal)バランスを向上させるために、さらなる処理が行われる。像平面から不均一な光を受ける要因は幾つかある(例えば、レンズ仕様(lens physics)、大気条件、イメージングデバイスの空間／位置関係)。カメラ又はセンサの中央部は、縁部よりも多くの光を受ける。
【００８１】
本発明のモザイキングモジュールは、このことをビグネッティング防止関数(anti-vignetting function)で対処しており、これについて、図５を参照して説明する。幾つかの焦点カラム(focal column)(500)(502)(504)(506)(508)が、像平面(509)から集束して焦点(510)で交差し、イメージングするターゲット領域(512)(例えば、地面)の範囲に亘って広がっている。カラム(500)乃至(508)は、単一のカメラ又はセンサの個々の解像カラムであってよく、又は独立した幾つかのカメラ又はセンサの焦点軸を表してもよい。参考の目的で説明すると、カラム(504)が軸として機能し、カラム(504)が像平面(509)と交差する点(513)が主位置として機能する。露光制御モジュールは、ビグネッティング防止関数を適用して、入力ピクセルの元の強度と、カラム依存したビグネッティング防止因数を乗じる。受光面は座標系を持つ平面として表されるから、各カラムは幾つかの分解ロー(resolution rows)を有している(図示せず)。この関係は、カラムｘ及びローｙのピクセルｐについて、次のとおり表すことができる：
【００８２】
＜調整された強度＞＝＜元の強度＞＊ｆ(ｘ)；
但し、ｆ(ｘ)は形状の関数(function of the form)である：
ｆ(ｘ)＝cos(軸外角度(off-axis angle))＊＊４
軸外角度(514)は、中央カラム(504)ではゼロであり、カラム(502)とカラム(506)ではより大きく、カラム(500)とカラム(508)ではさらに大きい。全体の視野角度(516)(ＦＯＶ×角度)がカラム(504)とカラム(508)の間に示されている。
【００８３】
関数ｆ(ｘ)は、幾つかの線セグメントによってカラム間で近似できる。任意のカラムｃ１とカラムｃ２間の線セグメントの範囲内にある点に関して、調整係数が次のように演算される：
＜ｃの調整係数＞＝ｆ(ｃ１)＋[ｆ(ｃ２)−ｆ(ｃ１)＊(ｃ−ｃ１)／(ｃ２−ｃ１)]；
但し、ｆ(ｃ１)及びｆ(ｃ２)は夫々カラムｃ１及びカラムｃ２の軸外角度のｆ関数値である。
【００８４】
入力画像の各セットをモザイク画像にステッチする(stitched)必要がある。露光制御モジュールが各カメラ又はセンサの受光量を調節するにしても、得られる入力画像は強度について異なったままであることがある。本発明は、隣接する入力画像間の重なり領域を比較して、相対強度のさらなるバランス調整を行う強度バランスモジュールを提供する。隣接する入力画像を同時に得るから、重なり領域は理論上、双方の入力画像において同じ強度を有するはずである。しかしながら、様々な要因により、強度値は通常同じではない。強度差を生じさせる幾つかの要因として、例えば、露光制御モジュールが特定のカメラだけの視野に存在する異常に明るい対象物又は暗い対象物によってバイアスされることや、カメラのボアサイト角度が異なる(即ち、傾斜の大きいカメラは、より垂直なカメラよりも受光量が少ない)ことを挙げることができる。
【００８５】
２つの隣接する画像をバランス調整するために、一方を基準画像(reference image)として選択し、他方を二次的画像とする。例えば次のプロセスを用いて、相関ベクター(ｆＲ、ｆＧ、ＦＢ)を決定する。Ｖを、ピクセルの値(Ｒ、Ｇ及びＢ)を表す３×１ベクトルとする：
【数１】
0006282275.tif 000002
相関マトリクスＣを次のように導き出すことができる：
【数２】
0006282275.tif 000003
但し、ＦＲ＝ＡｖｇＩｒ／ＡｖｇＩｎであり、ＡｖｇＩｒは基準画像内の重なり領域の平均赤強度であり、ＡｖｇＩｎは新画像内の重なり領域の平均赤強度であり、ＦＧとＦＢについても同様に導き出される。
【００８６】
相関マトリクスは、二次的画像の重なり領域の平均強度が、基準画像の重なり領域の平均強度と同一になるように、二次的画像のピクセル値を増減する(scale)。第２画像は、ピクセル値に相関マトリクスを乗ずることにより、基準画像とのバランス調整を行うことができる。
【００８７】
このため、本発明に従うバランス処理の一実施例では、中央画像が基準画像とされている。基準画像は、まず、複合画像(又はモザイク)にコピーされる。基準画像と隣接画像(例えば、すぐ左の画像)との重なり領域が相互に関連づけられて、バランス相関マトリクス(ＢＣＭ)を演算する。ＢＣＭは、重なり領域の強度を双方の画像で一致させるために、隣接画像のピクセルを表すベクトルと乗算される。この関係の一実施形態を、次のように表すことができる：
Ｉ(中央)＝中央画像の重なり領域の平均強度、とし、
Ｉ(隣接)＝隣接画像の重なり部分の平均強度、とすると、
バランス係数＝Ｉ(中央)／Ｉ(隣接)、となる。
【００８８】
各カラーチャンネル(即ち、赤、緑及び青)のバランス係数は、個別に演算される。これら３つの値がＢＣＭを形成する。バランス処理された隣接画像は、モザイクにコピーされる。コピーされた画像の境界での滑らかな移行(transitioning)が、マスクで「フェザリング(feathering)」することでなされている。このマスクは、隣接画像と同じ大きさを有し、幾つかの要素を含んでいる。マスク中の各要素は、モザイク内の対応する隣接画像ピクセルの重みを示す。重みは、境界のピクセルでは０であり(即ち、出力値は基準画像からとられる)、選択した混合幅(chosen blending width)に達した後、１(unity)になるまで、隣接画像の方向に徐々に増大する。混合領域を越えると、隣接画像のピクセルによってモザイクが完全に決定される。同様に、他の全ての構成入力画像間の重なり部分に対しても分析、処理されて、相関ベクトルを演算し、画像強度がバランス調整される。
【００８９】
例えば、次のプロセス(図６を参照)を用いて相関マトリクスを決定する。図６は、本発明に従って生成されるストリップ(600)を示している。基本モザイク(602)と新モザイク(604)が、経路(又は軌道)(606)に沿って追加され、領域(308)内で互いに重なっている。以下のＶを、ピクセルのＲ値、Ｇ値及びＢ値を表すベクトルとする：
【数３】
0006282275.tif 000004
ｈを、領域(608)の移行幅(transition width)とし、ｙを、重なり領域の境界(610)から点Ａまでの軌道(606)に沿う距離とすると、そのピクセル値はＶによって表される。以下のＣを相関マトリクスとする：
【数４】
0006282275.tif 000005
バランス調整したＶ値を、Ｖ'する：
０＜ｙ＜ｈの場合、Ｖ’＝[ｙ／ｈ.Ｉ＋(１−ｙ／ｈ).Ｃ]×Ｖ；
ｙ＞＝ｈの場合、Ｖ’＝Ｖ；
但し、Ｉは単位マトリクス(identity matrix)である：
【数５】
0006282275.tif 000006
「フェザリング」技術はまた、視覚的に認識される継ぎ目を小さくするために、勾配(gradient)と組み合わせて使用されることに留意すべきである。
【００９０】
モザイクが長い場合、重なり部分の強度差は、モザイクの一端から他端まで変化することがある。視覚的に認識される継ぎ目ができないように単一の相関ベクトルを演算することはできないこともあろう。モザイクは、モザイクを構成する元の入力画像の位置に対応する幾つかのセグメントに分割できる。上記プロセスは、各セグメントに別々に適用されて、色は局部的により一致するようになる。
【００９１】
このように精密なアルゴリズムの下では、(南北の飛行経路を仮定すると)２つのセグメントの境界にあるピクセルは、垂直な継ぎ目を生成する可能性がある。この問題を回避するために、この領域内のピクセルのバランス係数は、一方のセグメントのバランス係数から他方のセグメントのバランス係数まで「移行」されなくてはならない。これについては、図７を参照して説明する。
【００９２】
図７は、本発明に従って生成されるストリップ(700)を示している。基本モザイク(702)と新セグメント(704)が領域(706)において重なっている。モザイク(702)と別の新セグメント(708)が領域(710)において重なっている。セグメント(704)とセグメント(708)が領域(712)において重なり、領域(706)(710)(712)は全て領域(714)にて重なり、一致している。説明の都合上、点(716)を、ｙ軸(718)とｘ軸(720)の原点とする。ｙ軸(718)に沿う移動は、イメージングシステムの飛行経路に沿う移動を表している。点(716)は、領域(714)の左下に位置している。
【００９３】
本発明によれば、ストリップの次元は、構成モザイクの最小値ｘと最大値ｙによって決定される。出力ストリップは背景色に初期化される。第１モザイクはストリップに移される。次に、隣の(飛行経路に沿う)モザイクが処理される。新モザイクと第１モザイクの重なり領域の強度値は、カラーチャンネル毎に個別の相関関係がある。新モザイクは、モザイクを構成した元の入力画像に対応している幾つかのセグメントに分割される。幾つかのマスク要素を含むマスクマトリクスが、新モザイクに対して生成される。マスク要素は、新モザイク内の対応するピクセルに対する相関マトリクスを含んでいる。マスクにおける全ての要素は、１に初期化される。マスクの大きさを、新モザイクの移行領域だけに制限できる。中央セグメントに対応するマスク領域が処理される。重なり領域の端部における要素の値が、相関ベクトルに設定される。次に、第１モザイクからストリップに沿って徐々に離れていくと、相関マトリクスの成分が、所定の移行距離にて１になるまで、増大又は減少される(１よりも夫々小さい又は大きい)。次に、中央セグメントに隣接するセグメントに対応するマスクの領域が同様に処理される。しかしながら、第１モザイクによって形成される領域(714)と、新画像の中央セグメント及び隣接セグメントは、特別な処理を必要とする。隣接セグメントに対する相関マトリクスが中央セグメントの相関マトリクスと同一でないことにより、第１モザイクとの重なり領域(714)における２つのセグメントの境界に、継ぎ目が現れることがある。従って、コーナー部は、双方のセグメントの相関マトリクスにより影響を受ける。中央セグメントとの境界までの距離ｘと、重なり端部までの距離ｙにあるマスクセルＡに対して、その相関マトリクスは、２つのセグメントの距離加重平均(distance-weighted average)であり、次のように評価される：
領域(714)内で中央セグメントの境界までの距離ｘのピクセルＡ(ｘ，ｙ)に対して、そのバランス調整された値が、２つのセグメントを用いて演算された値の距離加重平均として演算され；
Ｖ１は、セグメント(704)に基づいてバランス調整されたＲＧＢベクトルであり；
Ｖ２は、セグメント(708)に基づいてバランス調整されたＲＧＢベクトルであり；
Ｖ’は、バランス調整された(最終)ＲＧＢベクトルの和
Ｖ’＝((ｄ−ｘ)／ｄ).Ｖ１＋(ｘ／ｄ).Ｖ２
であり；
ｘ軸は、重なり領域の底部を通る線であり、
ｙ軸は、セグメント(704)とセグメント(708)の重なり領域の左側を通る線であり、
ｈは、移行幅であり、
ｄは、セグメント(704)とセグメント(708)の重なり領域の幅である。
他の隣接セグメントに対応するマスク領域も同様に演算される。
【００９４】
さらに、本発明では、色忠実度(color fidelity)(即ち、ホワイトバランス)フィルタが適用される。このフィルタは、色忠実度を高めるために、Ｒ成分とＢ成分を決定可能な因子(determinable factor)と乗算する。この因子は、カメラとレンズを較正することによって決定できる。色忠実度フィルタは、画像の色がそれら忠実度を、人間の目で直接感知されるように保持することを保証する。画像キャプチャ装置中で、赤、緑及び青の受光要素が、キャプチャされることになっている色に対する感度と異なることがある。白色対象物の画像がキャプチャされる場合に、「ホワイトバランス」処理が適用される。理論上、その白色対象物の画像のピクセルは、Ｒ値、Ｇ値及びＢ値が等しいべきである。しかし実際には、感度の相異や他の要因によって、Ｒ、Ｇ及びＢ毎の平均の色値は夫々、ａｖｇＲ、ａｖｇＧ及びａｖｇＢとなることがある。カラー成分を等しくするために、ピクセルのＲ値、Ｇ値及びＢ値は、下記の比率が乗算される：
【００９５】
Ｒ値は、比率ａｖｇＧ／ａｖｇＲが乗算され；
Ｂ値は、比率ａｖｇＧ／ａｖｇＢが乗算される。
最終結果は、白色対象物の画像のＲＧＢ成分が等しくなるように設定されたものである。
【００９６】
殆どの用途において、ストリップは通常、広い非水面領域をカバーする。このため、ストリップの平均強度は、高反射性の表面のような異常例(anomalies)によって歪められる可能性が少ない。本発明は、平均と標準偏差が所望の値となるように、各ストリップの平均強度を正規化する強度正規化モジュール(intensity normalization module)を提供する。例えば、平均値１２７が写真測量法の標準である。標準偏差５１は、画像の特徴を視覚認知するのに最適な範囲に亘って強度値を広げるのに有用である。各ストリップは、異なる照明条件において撮影されることがあるので、異なる画像データプロファイル(即ち、平均強度及び標準偏差)を有することがある。本モジュールは、ストリップを、全てが同じ平均及び標準偏差を有するように正規化する。これにより、ストリップは、継ぎ目が見えないようにまとめてステッチされる。
【００９７】
この強度正規化は、Ｒ、Ｇ及びＢの各チャンネル、及び全チャンネルに対する平均強度の計算を含んでいる。その後、全体の標準偏差が演算される。各ピクセルの各Ｒ値、Ｇ値及びＢ値が、新たな平均及び標準偏差に変換される：
新値＝新平均＋(旧値−旧平均)＊(新標準偏差／旧標準偏差)
【００９８】
次に、複数の隣接するストリップを組み合わせて、対象領域のタイルモザイク(tiled mosaic)が生成される。完成したタイルは、ＵＳＧＳクアッド(USGS quads)又は４分の１クアッド(quarter-quads)に対応できる。ストリップをモザイクにステッチすることは、モザイクをまとめてステッチしてストリップを生成することと同様であって、ここではストリップがモザイクの役割を果たしている。２つのストリップ間の継ぎ目ライン(seam line)では、ラインがビルや橋等の高架構造物を横切っている場合に問題が生じることがある。これは写真測量法では古典的な問題であり、２つの異なる視点から見られる同じ対象物によって引き起こされる視差(parallax)から生じるものである。ビルのイメージング中、例えば、一方のストリップは、ビルの一方の側からのビューを表す一方で、別のストリップは、ビルの別の側からのビューを表す。画像がまとめてステッチされた後、得られたモザイクは、テント小屋(tepee)のように見えるかもしれない。この問題に対処するために、地形案内型モザイキング処理(terrain-guided mosaicing process)を実行して、継ぎ目ラインの配置(placement)が案内される。例えば、画像データと共に収集したＬＩＤＡＲデータやＤＥＭデータ、又は画像データから分析したＬＩＤＡＲデータやＤＥＭデータを処理して、それらが一緒にモザイキングされる際に、画像の構成及び形状を決定されてよい。このため、モザイク画像の中には、継ぎ目ラインが直線ではなく、高架構造物を蛇行するように前後にシフトする継ぎ目ラインを含むものもある。
【００９９】
図８を参照すると、前述の本発明に基づいたイメージング処理(800)の一実施形態が示されている。処理(800)は、収集された１又は複数の未処理(raw)の一連の画像(802)で開始する。画像(802)はその後、ホワイトバランス調整処理(804)によって処理され、一連の中間画像に変換される。次に、一連の画像(802)は、オルソ補正(Orthorectification)処理(808)に進む前に、ビグネッティング防止機能(806)によって処理される。前述したように、オルソ補正は、画像センサシステム又はプラットホームからの位置及び姿勢データ(810)と、ＤＴＭデータ(812)とに依存してよい。ＤＴＭデータ(812)は、位置データ(810)から、例えば、ＵＳＧＳ ＤＴＭデータ(814)又はＬＩＤＡＲデータ(816)から作られてよい。一連の画像(802)はここでオルソ補正され、カラーバランス調整(818)が続く。カラーバランス調整後、一連の画像(802)は、モザイキングモジュール(820)により、複合画像(822)に変換される。モジュール(820)は、この変換中、モザイキング処理とフェザリング処理を実行する。ここで、１又は複数の複合画像(822)はさらに、ステップ(824)において、勾配を用いたモザイキングとフェザリングによって、画像ストリップ(826)に組み合わされる。強度正規化(828)によって画像ストリップが処理される。ここで正規化されたストリップ(828)は、ステップ(830)において勾配を含むモザイキングとフェザリングとによって再びモザイキングされ、最終タイルモザイク(832)を描画する。ステップ(830)において行われるモザイキングは、ＤＴＭデータ(812)又はＬＩＤＡＲデータ(816)に基づく地形案内型モザイキングを含んでよい。
【０１００】
図９は、カメラアレイアセンブリで撮影された写真が、如何にして調整されて、個々のフレームを生成できるかを図式的に示すものである。本実施形態は、５台のカメラからのオルソ補正されたデータを用いており、移動体から見下ろしたフォトパター(photo patter)図を示している。
【０１０１】
図１０は、本発明の特定の実施形態に従う処理ロジックのブロック図である。ブロック図(1000)に示すように、処理ロジックは１又は複数の入力を受け取る。１又は複数の入力としては、標高測定値(1002)、姿勢測定値(1004)、並びに／又はフォト及びセンサイメージ(photo and sensor imagery)(1006)が挙げられる。ブロック(1008)に示すように、分析前に、特定の入力が最初の処理ステップに通されてよく、そこで姿勢測定値が地上制御点からのデータと合成される。標高測定値(1002)と姿勢測定値(1004)が合成されて、処理された標高データ(1010)が生成される。処理された標高データ(1010)がその後使用されて、標高ＤＥＭ(1014)及びＤＴＭ(1016)を生成される。同様に、姿勢測定値(1006)がフォト及びセンサ画像(1006)と合成されて、地理的(georeferenced)画像(1012)が生成され、該画像には、次に、画像処理(1018)が施される。画像処理(1018)は、色のバランス調整及び勾配フィルタリングを含んでよい。
【０１０２】
使用されるデータセット(1020)に応じて、ＤＴＭ(1016)又はＵＳＧＳ ＤＥＭ(1022)の何れかが、処理された画像(1018)と組み合わされ、オルソ補正された画像(1024)を生成する。オルソ補正された画像(1024)はその後、セルフロッキング飛行ライン(1026)に送られる。その後、バランス調整投影モザイキング(balancing projection mosaicing)(1028)が続き、最終的なフォト出力(1030)を生成する。
【０１０３】
本発明は、図３Ａ乃至図３Ｅ、図２２Ａ乃至図２２Ｂ、及び図２３に示されたようなカメラアレイを用いて、オルソ及び／又は斜め画像データをキャプチャしてよく、３次元画像(即ち、３Ｄ点群)又は数値標高モデル(ＤＥＭ)を生成するために、姿勢及び位置の測定値を用いて、画像データをマージしてよい。上述したように、Ｄ３点群又はＤＥＭは、人工構造を含む地表面の表現である。Ｄ３点群又はＤＥＭは、ステレオグラフィック技術を用いて、オルソ及び／又は斜め画像から生成されてよく、又は、その代わりに、ＬＩＤＡＲ若しくは既存のＤＥＭから直接にもたらされてよい。ＤＥＭ又は３Ｄ点群は、１つのカメラから得られた、時間的に重なっている任意の画像、又は、空間及び／又は時間的に重なっている２つのカメラから得られた複数の画像から生成されてよい。重なっている一連の画像が、一般的な写真測量技術を用いてオルソ補正されることで、オルソマップが生成されてよく、該オルソマップでは、各ピクセルは、上述したような固有の緯度及び軽度座標と固有の標高座標とを有している。
【０１０４】
対象物の標高を計算するためには、重なっているオルソ及び／又は斜め画像(つまり、立体画像)が、立体視差を決定して、図２４に示すような立体／３次元の眺めを生じるのに必要とされる。重なっている画像は、１つのカメラから、時間的に重なって得られてよく、又は、２つのカメラから、空間及び／又は時間的に重なって得られてよい。図２４は、異なる２つの時刻にて斜めカメラアレイから得られた、重なっている一連の斜め画像を示している。図２４のカメラアレイアセンブリが示されているが、その他のオルソ及び／又は斜めカメラアレイアセンブリが使用されてよい。画像領域(2402)と画像領域(2404)の隣接する境界は、若干重なるべきである。ある実施形態では、画像領域(2402)と画像領域(2404)の隣接する境界は、約１％と約１００％の間で重なる。別の実施形態では、画像領域(2402)と画像領域(2404)の隣接する境界は、約２０％と約７０％の間で重なる。別の実施形態では、画像領域(2402)と画像領域(2404)の隣接する境界は、約５０％と約７０％の間で重なる。別の実施形態では、サイドラップ領域(2406)は、約２０％と約３０％の間で重なり、フォアラップ領域(2408)は、約５０％乃至約７０％で重なる。
【０１０５】
以下に述べるように、対象の標高は、ステレオグラフィック技術を用いて、重なっているオルソ及び／又は斜め画像から計算されてよく、又は、その代わりに、ＬＩＤＡＲ若しくは既存のＤＥＭから直接得られてよい。各画像の主点(principal point)(例えば、画像(2402)の主点(2502))は、ＡＭＵによりヨー、ピッチ、ロールを補正した後に仮想コーナーフィデュシャリー座標(virtual corner fiduciary coordinates)を決定する直接計算手法を用いて、又は、図２５に示すように、航空三角測量(aerial triangularization)手法(例えば、左上及び右下(ＵＬ−ＬＲ)と右上及び左下(ＵＲ−ＬＬ))を用いて、配置される。共役な主点は、隣接する画像の主点であって、同様に配置される。一連の斜め画像は、主点と共役な主点とが、直線上に配置されている。主点と共役な主点の間の線は、飛行経路(又はトラック)である。
【０１０６】
画像中央の突出は、対象物が、それらの正しい位置からずれた又は変位した画像変位をもたらす。高度による写真のゆがみ(Relief displacement)は、特定の地表面からの対象物の相対的な高さの違いに起因している。特定の地表面の上又は下に延びている全ての対象物は、対象物の高さに比例した画像変位を示すであろう。対象物が高くなればなるほど、高度による写真のゆがみは大きくなる。高い対象物は、高い高度からでも画像の変位を示し得る。
【０１０７】
径方向変位は、主点からの対象物の相対距離の違いによる。主点から離れている全ての対象物は、主点からの対象物の距離に比例した径方向変位を示す。その距離が大きいほど、径方向変位は大きくなる。
【０１０８】
立体視差は、飛行経路に沿った異なる視点から同じ対象物の画像をキャプチャすることで起こる。対象物の標高は、立体視差を用いて計算されてよい。
ｈ＝（Ｈ’）＊ｄＰ／（Ｐ＋ｄＰ）
ここで、ｈは、対象物の標高の高さ、Ｈ’は、飛行高度、ｄＰは、視差の差分、Ｐは、平均の画像基線長(image base length)である。
【０１０９】
或いは、対象物の標高は、重なっている斜め画像を用いて計算されてよい。
ｈ＝ｄ＊（Ｈ’）／ｒ
ここで、ｈは、対象物の標高の高さ、Ｈ’は、飛行高度であって、カメラの焦点距離と分数縮尺を掛けることで得られてよく、ｄは、基部から頂点までの対象物の長さ、ｒは、主点から対象物の頂点までの距離である。
【０１１０】
本発明は、側方向オーバーサンプリング(lateral oversampling)をある程度用いて、出力品質を向上させる。図１１は、本発明の特定の実施形態に従う、移動体から見下ろした側方向オーバーサンプリングパターン(1100)の図であり、最小の側方向オーバーサンプリングを示している。この図では、中央カメラに割り当てられた中央天底領域(1102)が、左側天底領域(1104)及び右側天底領域(1106)とほんの僅かに重なっているが、この重なりは最小限にされている。図１２は、本発明の特定の実施形態に従う、移動体から見下ろした側方向オーバーサンプリングパターン(1200)の図であり、より大きな度合いの側方向オーバーサンプリングを示している。この図では、中央天底領域(1202)は、左側天底領域(1204)及び右側天底領域(1206)とかなりの程度で重なっている。
【０１１１】
図１１及び図１２に示す側方向オーバーサンプリングを使用することに加えて、本発明は、飛行ラインオーバーサンプリングを同様に用いてよい。図１３は、本発明の特定の実施例に基づいた、移動体から見下ろした飛行ラインオーバーサンプリングパターン(1300)の図であって、ある程度の飛行ラインオーバーサンプリングと最小の側方向オーバーサンプリングとを示している。中央天底領域(1302)(1304)は、飛行ラインに沿って互いに重なっているが、左側天底領域(1306)(1308)と、又は右側天底領域(1310)(1312)と、側方向に重なっていない。
【０１１２】
図１４は、本発明の特定の実施形態に基づいており、移動体から見下ろした飛行ラインオーバーサンプリングの図であり、大幅な飛行ラインオーバーサンプリングと大幅な側方向オーバーサンプリングを示している。中央天底領域(1402)乃至(1406)の各々はお互いに、さらには、左側天底領域(1408)乃至(1412)及び右側天底領域(1414)乃至(1418)と、大幅に重なっていることがわかる。左側天底領域(1408)乃至(1412)は互いに重なっており、右側天底領域(1414)乃至(1418)も同様である。従って、表面上の各点は、少なくとも２回、場合によっては４回もサンプリングされる。この技術では、異なるカメラセンサによって２回以上カバーされる画像領域において、側方向(経路を横切る方向)と飛行ライン方向(経路に沿う方向)に画像解像度を倍増させることで、解像度を全体で４倍にできる。実際には、画像／センサ解像度の向上は、各次元において２倍よりも幾らか低く、各次元でおよそ４０％であり、又は１.４×１.４＝約２倍である。これは、サブピクセルのアライメント／向きの統計的変動によるものである。実際、ピクセルのグリッドは、重なったピクセルのグリッドから正確に等距離であることは殆どない。非常に精密な側方向のカメラセンサのアライメントがサブピクセルレベルで行われるのであれば、画像解像度の４倍増が実現できるであろう。
【０１１３】
図１５は、本発明の特定の実施形態に基づいた、移動体から見下ろした累加的拡大(progressive magnification)パターン(1500)の図である。中央天底領域(1502)は、その左縁部と右縁部にて夫々、左内側天底領域(1504)及び右内側天底領域(1506)と境界をなしている。左内側天底領域(1504)は、その左縁部にて、左外側天底領域(1508)と境界なす一方、右内側天底領域(1506)は、その右縁部にて、右外側天底領域(1510)と境界をなしている。なお、これらの領域は、重なりとオーバーサンプリングの程度が互いに最小限であることに留意すべきである。
【０１１４】
図１６は、本発明の特定の実施形態に基づいており、移動体から見下ろした累加的拡大パターン(1600)の図である。中央天底領域(1602)は、その左縁部と右縁部にて夫々、左内側天底領域(1604)及び右内側天底領域(1606)と境界をなしている。左内側天底領域(1604)は、その左縁部にて、左外側天底領域(1608)と境界をなす一方、右内側天底領域(1606)は、その右縁部にて、右外側天底領域(1610)と境界をなしている。上記の如く、これらの領域は、重なりとオーバーサンプリングの程度が互いに最小限であることに留意すべきである。天底領域(1604)乃至(1610)の内部には夫々、グレーで陰影を付けて示す中央画像領域(1614)乃至(1620)がある。
【０１１５】
図１７は、本発明の特定の実施形態に基づいており、移動体から見下ろした累加的拡大パターン(1700)の図である。パターン(1700)の中央において、左内側天底領域(1702)と右内側天底領域(1704)が中央で重なっている。左中間天底領域(1706)及び右中間天底領域(1708)は夫々、領域(1702)及び領域(1704)の外側に部分的に配置されており、各々は、各隣接領域と重なる領域を約５０％共有している。左外側天底領域(1710)及び右外側天底領域(1712)は夫々、領域(1706)及び領域(1708)の外側に部分的に配置されており、各々は、各隣接領域と重なる領域を約５０％共有している。中央画像領域(1714)は、パターン(1700)の中央に配置されており、天底領域(1702)乃至(1712)の中央部分で構成されている。
【０１１６】
図１８は、本発明の特定の実施形態に基づいており、システム(1800)の構成の概略図を示している。システム(1800)は、１又は複数のＧＰＳ衛星(1802)及び１又は複数のＳＡＴＣＯＭ衛星(1804)を含んでよい。また、１又は複数のＧＰＳ位置システム(1806)を含んでよく、該システム(1806)は、１又は複数のモジュール(1808)と動作可能に接続されており、該モジュール(1808)は、ＬＩＤＡＲ、ＧＰＳ及び／又はＸ、Ｙ、Ｚの位置データを収集し、この情報を１又は複数のデータキャプチャシステムアプリケーション(1812)に供給する。ＤＧＰＳ(1810)は、１又は複数のＳＡＴＣＯＭ衛星(1804)と無線通信リンク(1826)を通じて通信する。１又は複数のＳＡＴＣＯＭ衛星(1804)は、次々に１又は複数のデータキャプチャシステムアプリケーション(1812)と通信できる。
【０１１７】
１又は複数のデータキャプチャシステムアプリケーション(1812)は、オートパイロット(1816)、ＳＳＤ及び／又はＲｅａｌＴｉｍｅ ＳｔｉｔｃｈＧシステム(1820)とインターフェースしてよく、これらは互いに相互作用することもできる。ＳＳＤ(1814)は、ＲｅａｌＴｉｍｅ ＤＥＭ(1818)と動作可能に接続されてよい。最後に、ＲｅａｌＴｉｍｅ ＤＥＭ(1818)及びＲｅａｌＴｉｍｅ ＳｔｉｔｃｈＧシステム(1820)は、ディスクアレイ(1824)等の格納デバイスと接続されてよい。
【０１１８】
本発明は、コマウントされ、コレジスタされるオーバーサンプリングをある程度用いて、ピクセル解像度の物理的限界を克服できる。これらのコマウントされ、コレジスタされたオーバーサンプリング技術は、アクロストラックカメラアレイ、アロングトラックカメラアレイ、又はそれらの任意の組合せを用いても同様に十分に働く。図１９は、本発明の特定の実施形態に基づいており、移動体から見下ろしている単一のカメラアレイ(112)について、側方向にコマウントされ、コレジスタされたオーバーサンプリング配置(1900)の図であり、最小限の側方向オーバーサンプリングを示している。カメラは、垂直方向のサイドラップ(sidelap)領域(1904)(1908)において少し重なっている。図１９は３台のカメラのアレイを示しており、これらサブピクセル較正技術は、較正されている２乃至任意の数のカメラの任意の数のカメラセンサを用いる際も同様に上手く機能する。
【０１１９】
図３及び図４の画像センサと同様に、カメラセンサはコレジスタされて、各センサの相互間の、及び／又は天底カメラに対する各センサの取付角度の物理的オフセットを較正すできる。これにより、初期の「精密な(close)」較正がもたらされる。これらの初期較正パラメータは、システム(100)の機上コンピュータシステム(104)に入力されて、飛行中にオーバーサンプリング技術を用いてアップデートできる。
【０１２０】
図１９を参照して、符号Ａ、Ｂ及びＣを付した矩形は、３台のカメラのアレイＣ−Ｂ−Ａ(図示せず)からの画像領域(1902)(1906)(1910)を表している。カメラＡ乃至Ｃ(図示せず)によって撮影された領域(1902)(1906)(1910)の画像を夫々俯瞰図として示している。ここでも、図３及び図４と同様に、「斜視(cross-eyed)」の配置であるため、領域(1902)の画像は右側カメラＡによって撮影され、領域(1906)の画像は中央／天底カメラＢによって撮影され、領域(1910)の画像は左側カメラＣによって撮影される。カメラＡ乃至Ｃはアレイを形成し(図示せず)、該アレイは、殆どの用途において、垂直下向きに向けられる。
【０１２１】
図１９において、Ａ／Ｂ及びＢ／Ｃサイドラップが付されたハッチング領域は夫々、画像重なり領域(1904)(1908)を表している。左側画像重なり領域(1904)は、右側カメラＡが中央／天底カメラＢと重なっている領域であり、右側画像重なり領域(1908)は、左側カメラＣが中央／天底カメラＢと重なっている領域である。これらサイドラップ領域(1904)(1908)において、カメラセンサのグリッドは、重なり領域(1904)(1908)の各ピクセルを両断(bisect)し、これにより、コマウントされ、コレジスタされたオーバーサンプリングの機構を介して、これら領域(1904)(1908)の画像解像度が事実上４倍になる。実際には、画像／センサ解像度は、各次元において２倍、即ち２×２＝４倍向上する。この画像解像度の４倍増の向上により、隣接するカメラ間のアライメント精度も４倍向上する。
【０１２２】
さらに、隣接するカメラ間のアライメント精度を４倍増にすることで、剛性取付プレートに固定された全てのセンサについて、システム(100)のアライメント精度が向上する。カメラとセンサは、前述のように、剛性取付プレートに固定される剛性取付ユニットに固定されている。具体的に、剛性取付ユニットに固定されている隣接するカメラの角度アライメントが改善されると、他のセンサの角度アライメントも向上する。剛性取付プレートに固定された他のセンサのアライメント精度の向上により、これらセンサの画像解像度も改善される。
【０１２３】
重なっている２列のカメラアレイ(112)について、側方向にコマウントされ、コレジスタされたオーバーサンプリング配置(2000)を図２０に示す。これらのサブピクセル較正技術は、アクロストラックカメラアレイ、アロングトラックカメラアレイ、又はそれらの任意の組合せを用いても同様に十分に働く。具体的には、図２０は、本発明の特定の実施形態に基づいており、移動体から見下ろしており、重なっている２列のカメラアレイ(112)について、側方向にコマウントされ、コレジスタされたオーバーサンプリング配置(2000)の図であり、最大限の側方向オーバーサンプリングを示している。隣接するカメラは、垂直方向のサイドラップ領域(2006)(2008)(2014)(2016)において少し重なっており、対応しているカメラは、画像領域(2002)(2010)(2018)(2004)(2012)(2020)において完全に重なっている。図２０は３台のカメラの２列のアレイを示しているが、これらサブピクセル較正技術は、較正されている２乃至任意の数のカメラの任意の数のカメラセンサを用いる際も同様に上手く機能する。
【０１２４】
図３及び図４の画像センサと同様に、カメラセンサはコレジスタされて、各センサの相互間の、及び／又は天底カメラに対する各センサの取付角度の物理的オフセットを較正できる。本実施形態において、複数の、即ち少なくとも２つの剛性取付ユニットは、剛性取付プレートに固定されており、コレジスタされている。これにより、初期の「精密な」較正がもたらされる。これらの初期較正パラメータは、システム(100)の機上コンピュータシステム(104)に入力されて、飛行中にアップデートできる。
【０１２５】
図２０を参照して、符号Ａ、Ｂ及びＣを付した矩形は、重なっている２列に３台のカメラのアレイＣ−Ｂ−Ａ(図示せず)からの画像領域(2002)(2010)(2018)及び(2004)(2012)(2020)を夫々表している。カメラＡ乃至Ｃ(図示せず)及び重なっているカメラＡ’乃至Ｃ’(図示せず)によって夫々撮影された領域(2002)(2010)(2018)及び(2004)(2012)(2020)の画像を俯瞰図として示している。ここでも、図３及び図４と同様に、「斜視」の配置であるため、領域(2002)の画像は右側カメラＡによって撮影され、領域(2010)の画像は中央／天底カメラＢによって撮影され、領域(2018)の画像は左側カメラＣによって撮影される。さらに、領域(2004)の画像は右側カメラＡ’によって撮影され、領域(2012)の画像は中央カメラＢ’によって撮影され、領域(2020)の画像は左側カメラＣ’によって撮影される。カメラＡ乃至Ｃ及び重なっているカメラＡ’乃至Ｃ’はアレイを形成し(図示せず)、該アレイは、殆どの用途において、垂直下向きに向けられる。
【０１２６】
図２０において、Ａ／Ｂ及びＢ／Ｃサイドラップが付されたハッチング領域は夫々、重なっている２つの画像重なり領域(2006)(2008)及び(2014)(2016)を表している。左側画像重なり領域(2006)(2008)は夫々、右側カメラＡが中央／天底カメラＢとオーバーラップしており、右側カメラＡ’が中央カメラＢ’と重なっている領域である。右側画像重なり領域(2014)(2016)は、左側カメラＣが中央／天底カメラＢとオーバーラップしており、左側カメラＣ’が中央カメラＢ’と重なっている領域である。これらサイドラップ領域(2006)(2008)及び(2014)(2016)において夫々、カメラセンサのグリッドは、重なり領域(2006)(2008)及び(2014)(2016)の各ピクセルを両断し、これにより、コマウントされ、コレジスタされたオーバーサンプリングの機構を介して、これら領域(2006)(2008)及び(2014)(2016)の画像解像度が事実上４倍になる。実際には、画像／センサ解像度は、各次元において２倍、即ち２×２＝４倍向上する。前述のように、この画像解像度の４倍増の向上により、隣接するカメラ間のアライメント精度も４倍向上する。
【０１２７】
重なっている２列のカメラアレイを含むことによって、重なっているサイドラップの重なり領域(2006)(2008)及び(2014)(2016)についても画像解像度は事実上４倍になる。これにより、驚くべきことに、システム(100)の較正及びカメラアライメントにおいて全体的に６４倍向上する。
【０１２８】
重なっているサイドラップの領域(2006)(2008)において、重なっているカメラセンサのグリッドは、サイドラップの領域(2006)(2008)の各ピクセルを両断し、これにより、コマウントされ、コレジスタされたオーバーサンプリングの機構を介して、これら領域(2006)(2008)の画像解像度が事実上４倍になる。同様に、重なっているサイドラップの領域(2014)(2016)において、重なっているカメラセンサのグリッドは、サイドラップの領域(2014)(2016)の各ピクセルを両断し、これにより、これら領域(2014)(2016)の画像解像度が事実上４倍になる。実際には、画像／センサ解像度はここでも、各次元において２倍、即ち２×２×２×２×２×２＝６４倍向上する。この全体としての画像解像度の６４倍増の向上により、隣接するカメラ間のアライメント精度も６４倍向上する。
【０１２９】
隣接し、対応するカメラ間のアライメント精度が６４倍増に向上することで、剛性取付プレートに固定された全てのセンサについて、システム(100)のアライメント精度が向上する。カメラＡ乃至Ｃ、及び所望により他のセンサは、第１の剛性取付ユニットに固定され、カメラＡ’乃至Ｃ’、及び所望により他のセンサは、第２の剛性取付ユニットに固定され、これら剛性取付ユニットは夫々剛性取付プレートに固定されている。具体的に、第１及び／又は第２の剛性取付ユニットに固定されている、隣接するカメラ及び／又は対応するカメラの角度アライメントが改善されると、他のセンサの角度アライメントも向上する。剛性取付プレートに固定された他のセンサのアライメント精度の向上により、これらセンサの画像解像度も改善される。
【０１３０】
重なっている２列のカメラアレイを含むことによって、Ａ／Ｂ及びＢ／Ｃのサイドラップの重なり領域についてだけでなく、全体の画像について、画像解像度は事実上４倍になる。図２０を参照して、「重なりグリッド４×」が付された重なりグリッド細部は、右側画像領域(2018)(2020)の重なり領域(2022)(2024)を夫々表している。重なっている領域(2022)(2024)において、重なっているカメラセンサのグリッドは、重なり領域(2022)(2024)の各ピクセルを両断し、これにより、コマウントされ、コレジスタされたオーバーサンプリングの機構を介して、これら領域(2022)(2024)の画像解像度が事実上４倍になる。実際には、画像解像度は、各次元において２倍、即ち２×２＝４倍向上する。
【０１３１】
好ましい実施形態において、一方のカメラアレイはモノクロ用であり、他方のカメラアレイはＲＧＢ(red-green-blue)用である。各アレイが異なる色の帯域をカバーしているとしても、簡単な画像処理技術を用いて、全ての色の帯域にて、この解像度を向上させる利点を実現できる。これらの技術によりもたらされる別の利点は、１列のカメラアレイがＲＧＢ用、その他の重なっているカメラアレイが赤外線や近赤外線(又はさらに他の幾つかの帯域幅)用である場合、優れたマルチスペクトル画像を得られることである。
【０１３２】
従って、前述した図１９の実施形態について特定された(identified)改善(即ち、４倍)は全て、図２０の実施形態に適用されるが、システム(100)の較正精度及び全体の画像解像度に対して、さらなる大きな改善(即ち、６４倍)を、重なっている２列のカメラアレイによって実現できる。
【０１３３】
図２１は、本発明の特定の実施形態に基づいており、移動体から見下ろしている２列のカメラアレイ(112)について、前方及び側方向にコマウントされ、コレジスタされたオーバーサンプリング配置(2100)の図である。具体的には、図２１は、本発明の特定の実施形態に従う、移動体から見下ろしており、重なっている２列のカメラアレイ(112)について、前方及び側方向にコマウントされ、コレジスタされたオーバーサンプリング配置(2100)の図であり、最小限の前方及び最小限の側方向オーバーサンプリングを示している。隣接するカメラは、垂直方向のサイドラップ領域(2104)(2108)(2124)(2128)において少し重なっており、対応するカメラは、水平方向のサイドラップ領域(2112)(2116)(2120)に沿って少し重なっている。図２１は、３台のカメラの２列のアレイを示しているが、これらサブピクセル較正技術は、較正されている２以上の任意の数のカメラの任意の数のカメラセンサを有し、重なっている２列のカメラアレイを用いる際も同様に上手く機能する。
【０１３４】
図３及び図４の画像センサと同様に、カメラセンサはコレジスタされて、各センサの相互間の、及び／又は天底カメラに対する各センサの取付角度の物理的オフセットを較正できる。本実施形態において、複数の、即ち少なくとも２つの剛性取付ユニットは、剛性取付プレートに固定されており、コレジスタされている。これにより、初期の「精密な」較正がもたらされる。これらの初期較正パラメータは、システム(100)の機上コンピュータシステム(104)に入力されて、飛行中にアップデートできる。
【０１３５】
図２１を参照して、符号Ａ、Ｂ及びＣを付した矩形は夫々、３台のカメラのアレイＣ−Ｂ−Ａ(図示せず)からの画像領域(2102)(2106)(2110)を表し、矩形Ｄ、Ｅ及びＦは夫々、３台のカメラのアレイＦ−Ｅ−Ｄ(図示せず)からの画像領域(2122)(2126)(2130)を表している。カメラＡ乃至Ｃ(図示せず)によって夫々撮影された領域(2102)(2106)(2110)の画像、及びカメラＤ乃至Ｆ(図示せず)によって夫々撮影された領域(2122)(2126)(2130)の画像を、俯瞰図として示している。ここでも、図３及び図４と同様に、「斜視」の配置であるため、領域(2102)の左後側画像は右後側カメラＡによって撮影され、領域(2106)の中央後側画像は後側の中央／天底カメラＢによって撮影され、領域(2110)の右後側画像は左後側カメラＣによって撮影される。さらに、領域(2122)の左前側画像は右前側カメラＤによって撮影され、領域(2126)の中央前側画像は中央前側カメラＥによって撮影され、領域(2020)の右前側画像は左前側カメラＦによって撮影される。カメラＡ乃至Ｃ及び重なっているカメラＤ乃至Ｆは、アレイを形成し(図示せず)、該アレイは、殆どの用途において、垂直下向きに向けられる。
【０１３６】
図２１において、垂直なハッチング領域は、４つの画像重なり領域(2104)(2108)(2124)(2128)を表している。左後側画像重なり領域(2104)は、右後側カメラＡが中央／天底カメラＢとオーバーラップしており、右後側画像重なり領域(2108)は、左後側カメラＣが中央／天底カメラＢと重なっている領域である。左前側画像重なり領域(2124)は、右前側カメラＤが中央／天底カメラＥとオーバーラップしており、右前側画像重なり領域(2128)は、左前側カメラＦが中央カメラＥと重なっている領域である。
【０１３７】
図２１を参照して、「サイドラップ領域４：１」が付された重なりグリッドの細部は、重なっているサイドラップ重なり領域(2104)(2108)(2124)(2128)を表している。これらサイドラップ重なり領域(2104)(2108)(2124)(2128)において、カメラセンサのグリッドは、重なり領域(2104)(2108)(2124)(2128)の各ピクセルを両断し、これにより、コマウントされ、コレジスタされたオーバーサンプリングの機構を介して、これら領域(2104)(2108)(2124)(2128)の画像解像度が事実上４倍になる。実際には、画像／センサ解像度は、各次元において２倍、即ち２×２＝４倍向上する。前述のように、この画像解像度の４倍増の向上により、隣接するカメラ間のアライメント精度も４倍向上する。
【０１３８】
隣接するカメラ間のアライメント精度が４倍増に向上することで、剛性取付プレートに固定された全てのセンサについて、システム(100)のアライメント精度が向上する。カメラＡ乃至Ｃ、及び所望により他のセンサは、第１の剛性取付ユニットに固定され、カメラＤ乃至Ｆ、及び所望により他のセンサは、第２の剛性取付ユニットに固定され、これら剛性取付ユニットは夫々剛性取付プレートに固定されている。具体的には、第１又は第２の剛性取付ユニットに固定されており、隣接しているカメラの角度アライメントが改善されると、取付ユニットに固定されている他のセンサの角度アライメントも向上する。剛性取付プレートに固定された他のセンサのアライメント精度の向上により、これらセンサの画像解像度も改善される。
【０１３９】
同様に、水平なハッチング領域は、３つの画像重なり領域(2112)(2116)(2120)を表している。左前側画像重なり領域(2112)は、右後側カメラＡが右前側カメラＤと重なっている領域であり、中央前側画像重なり領域(2116)は、後側の中央／天底カメラＢが中央前側カメラＥと重なっている領域であり、右後側画像重なり領域(2120)は、左後側カメラＣが左前側カメラＦと重なっている領域である。
【０１４０】
図２１を参照して、「フォアラップ領域４：１」が付された重なりグリッドの細部は、重なっているフォアラップ重なり領域(2112)(2116)(2120)を表している。これらフォアラップ重なり領域(2112)(2116)(2120)において、カメラセンサのグリッドは、重なり領域(2112)(2116)(2120)の各ピクセルを両断し、これにより、コマウントされ、コレジスタされたオーバーサンプリングの機構を介して、これら領域(2112)(2116)(2120)の画像解像度が事実上４倍になる。実際には、画像／センサ解像度は、各次元において２倍、即ち２×２＝４倍向上する。この画像解像度の４倍増の向上により、対応するカメラ間のアライメント精度も４倍向上する。
【０１４１】
対応するカメラ間のアライメント精度が４倍増に向上することで、剛性取付プレートに固定された全てのセンサについて、システム(100)のアライメント精度が向上する。カメラＡ乃至Ｃ、及び所望により他のセンサは、第１の剛性取付ユニットに固定され、カメラＤ乃至Ｆ、及び所望により他のセンサは、第２の剛性取付ユニットに固定され、これら剛性取付ユニットは夫々剛性取付プレートに固定されている。具体的に、第１又は第２の剛性取付ユニットに固定されている、対応するカメラの角度アライメントが改善されると、他のセンサの角度アライメントも向上する。剛性取付プレートに固定された他のセンサのアライメント精度の向上により、これらセンサの画像解像度も改善される。
【０１４２】
図２０の重なっているサイドラップ重なり領域(2006)(2008)及び(2014)(2016)と同様に、図２１の交差しているフォアラップ及びサイドラップ重なり領域(2114)(2118)は、驚くべきことに、システムの構成及びカメラアライメントにおいて全体的に６４倍向上する。図２１を参照して、「クアッド重なり領域６４：１」が付された交差グリッド細部は、交差しているフォアラップ及びサイドラップ重なり領域(2118)を表している。交差しているフォアラップ及びサイドラップ重なり領域(2114)(2118)において、重なっているカメラセンサのグリッドは、交差領域(2114)(2118)の各ピクセルを両断し、これにより、コマウントされ、コレジスタされたオーバーサンプリングの機構を介して、これら領域(2114)(2118)の画像解像度が事実上４倍になる。実際には、画像／センサ解像度はここでも、各次元において２倍、即ち２×２×２×２×２×２＝６４倍向上する。この全体としての画像解像度の６４倍増の向上により、隣接するカメラ間のアライメント精度も６４倍向上する。
【０１４３】
隣接し、対応するカメラ間のアライメント精度が６４倍増に向上することで、剛性取付プレートに固定された全てのセンサについて、システム(100)のアライメント精度が向上する。カメラＡ乃至Ｃ、及び所望により他のセンサは、第１の剛性取付ユニットに固定され、カメラＤ乃至Ｅ、及び所望により他のセンサは、第２の剛性取付ユニットに固定され、これら剛性取付ユニットは夫々剛性取付プレートに固定されている。具体的に、第１及び／又は第２の剛性取付ユニットに固定されている、隣接するカメラ及び／又は対応するカメラの角度アライメントが改善されると、他のセンサの角度アライメントも向上する。剛性取付プレートに固定された他のセンサのアライメント精度の向上により、これらセンサの画像解像度も改善される。
【０１４４】
好ましい実施形態において、一方のカメラアレイはモノクロ用であり、他方のカメラアレイはＲＧＢ用である。各アレイが異なる色の帯域をカバーしているとしても、簡単な画像処理技術を用いて、全ての色の帯域にて、この解像度を向上させる利点を実現できる。これらの技術によりもたらされる別の利点は、１列のカメラアレイがＲＧＢ用、及びその他の重なっているカメラアレイが赤外線や近赤外線(又はさらに他の幾つかの帯域幅)用である場合、優れたマルチスペクトル画像を得られることである。
【０１４５】
図１９乃至図２１に示すように、これら技術を用いて、光学ガラスが「非常に小さな」対象物を解像することができないことに起因した、カメラシステムに課せられた解像限界を克服できる。上述したように、これらの技術は、アクロストラックカメラアレイ、アロングトラックカメラアレイ、又はそれらの任意の組合せを用いても同様に十分に働く。特に、カメラレンズの光学ガラスには、非常に小さな対象物を解像する能力に物理的限界があることが知られている。このことはよく「ガラスの解像限界」と呼ばれる。例えば、１０，０００フィート(３，０４８メートル)の標高から１ミリメートルのピクセルが必要とされる場合、非常に高倍率の望遠レンズを用いて約１００フィート(３０．４８メートル)の地上幅(ground swath)を得ることが必要とされるだろう。これは、電荷結合デバイスセンサで幾らでもピクセルを与えることができる(例えば、１億ピクセル)としても、最も純度の高いガラスの解像力でも標高１０，０００フィート(３，０４８メートル)にて１ミリメートルのピクセルの画像解像を可能にすることはできないからである。この例は、ガラスにおけるピクセル解像度の物理的限界と同様、画像センサのピクセル密度限界が存在する点をはっきりさせるために使われる。
【０１４６】
剛性取付プレートに取り付けられた剛性取付ユニットにおけるシステム(100)の画像センサアライメントと関連する較正技術とは、前述のように、この問題に対する独自の解決策を提供する。これら技術を用いることにより、ガラスの解像限界を事実上克服することができる。例えば、単一のカメラアレイにより１倍(又はなし)のオーバーサンプリングの利益がもたらされる。しかしながら、重なっている２列のカメラアレイにより、画像解像度と、全地球空間的(overall geospatial)な水平方向及び垂直方向の精度との双方において、全体として４倍増の向上がもたらされる。さらに、重なっている３列のカメラアレイにより、全体として１６倍増の向上がもたらされ、重なっている４列のカメラアレイにより、全体として６４倍増の向上がもたらされる、という具合である。
【０１４７】
これらの例から推測できるように、全体的な向上の式は次のとおりである：
全体的な向上＝４Ｎ
但し、Ｎは、重なっているカメラアレイの数である。
【０１４８】
４列のカメラアレイがある場合、重なっているカメラアレイは３列である(即ち、Ｎ＝３)。従って、４列のカメラアレイは、画像解像度と、全地球空間的な水平方向及び垂直方向の精度との双方において、全体として６４倍(即ち、４３＝６４倍)増の向上をもたらす。
【０１４９】
さらに、これらのサブピクセル較正技術は、米国特許出願公開第２００４／００５４４８８Ａ１号(現在、米国特許第７，２１２，９３８Ｂ２号)に開示されているセルフロッキング飛行経路技術と組み合わせることができ、この出願の開示は全て、引用を以て本明細書の一部となる。
【０１５０】
図１９乃至図２１に示す、前面方向及び／又は側方向にコマウントされ、コレジスタされたオーバーサンプリングに加えて、本発明はまた、画像解像度をさらに向上させるために、図１３乃至図１７に示す、飛行ラインオーバーサンプリングを用いることもできる。これらの飛行ラインオーバーサンプリング技術は、アクロストラックカメラアレイ、アロングトラックカメラアレイ、又はそれらの任意の組合せを用いても同様に十分に働く。
図１３乃至図１７に示すように、飛行ラインは画像領域において互いに重なり合うが、これは、各飛行ラインが互いに平行であるためである。これらの重なり画像領域を用いて、ステレオグラフィック技術により、隣接する飛行ライン内の画像における軌道に沿う視差と軌道を横切る視差とによって、センサを較正することができる。
【０１５１】
実施形態において、セルフロッキング飛行経路は、３以上の進行ライン(travel lines)の群から少なくとも３つの略平行な進行ラインを生成する任意のパターンであってよい。さらに、少なくとも１つの進行ラインは、他の略平行な進行ラインと対向する方向にあるべきである。好ましい実施形態において、進行パターンは、一致する方向にある少なくとも１対の進行ラインと、対向する方向にある少なくとも１対の進行ラインであってよい。
【０１５２】
反対方向のセルフロッキング飛行経路を用いる場合、観察可能な位置エラーが、一部の画像領域において倍増することがある。従って、セルフロッキング飛行経路技術は、これらの位置エラーを大きく低減するためのアルゴリズムを含んでいる。位置エラーのこの低減は、最大の位置エラーが発生する外側領域、即ち左端と右端の「翼(wing)」画像領域において特に重要である。
【０１５３】
実施形態において、これらの位置的向上は、パターンマッチング技術を用いて、飛行ライン(例えば、北／南)から得られたピクセルパターン領域を、隣接する飛行ライン(例えば、北／南)から得られた同じピクセルパターン領域と自動的に一致させることによって、実現できる。好ましい実施形態において、１又は複数のＧＰＳ位置システムからの緯度／経度座標を用いて、このパターンマッチング処理を速めることができる。
【０１５４】
同様に、これらのサブピクセル較正とセルフロッキング飛行経路技術は、ステレオグラフィック技術と組み合わされてよい。これは、ステレオグラフィック技術が、各ピクセルの、他の全てのピクセルに対する位置精度に大きく依存しているためである。具体的には、これらの技術は、特に、最大の位置エラーが発生する左端と右端の「翼」画像領域において、ステレオグラフィック画像解像度と、全地理空間の(geospatial)水平方向及び垂直方向の精度とを改善する。さらに、ステレオグラフィック技術は、既知の標高データを、改善されたステレオグラフィックデータセットに一致させるのに用いられる。従って、サブピクセル較正、セルフロッキング飛行経路、及びステレオグラフィック技術を組み合わせることで、大幅に改善したデジタル標高モデルが提供され、優れた画像が得られる。
【０１５５】
さらに、これらのサブピクセル較正とセルフロッキング飛行経路技術は、システム(100)の動的なリアルタイムの較正を提供するために使用できる。具体的には、これらの技術は、１又は複数のカメラアレイアセンブリ(112)をシステム(100)上に迅速に「ロールオン(roll on)」し、ターゲット領域の画像データの収集を直ちに開始し、そして高品質の画像を素早く生成する性能を提供する。これは、前述のように、個々のセンサが、剛性取付プレートに固定されている剛性取付ユニットにおいて最初に較正されているからである。具体的には、カメラセンサはコレジスタされて、各センサの相互間の、及び／又は天底カメラに対する各センサの取付角度の物理的オフセットを較正する。ある実施形態において、複数の、即ち少なくとも２つの剛性取付ユニットは、剛性取付プレートに固定されており、コレジスタされている。これにより、初期の「精密な」較正がもたらされる。これらの初期較正パラメータは、前述のように、システム(100)の機上コンピュータシステム(104)に入力されて、飛行中にオーバーサンプリング技術を用いてアップデートできる。
【０１５６】
ある実施形態において、システム(100)は、較正パラメータを更新するためのリアルタイムな自己較正システムを含む。具体的には、機上コンピュータ(104)ソフトウェアは、前述のように、コマウントされ、コレジスタされたオーバーサンプリング技術と、飛行ラインオーバーサンプリング技術を用いて、較正パラメータを絶えず監視し更新するためのリアルタイムソフトウェア「デーモン」(即ち、バックグラウンド閉ループ監視ソフトウェア)を含む。好ましい実施形態において、リアルタイムデーモンは、サブピクセル較正、セルフロッキング飛行経路、及びステレオグラフィック技術を組み合わせることで、ステレオグラフィック画像解像度と、全地理空間の水平方向及び垂直方向の精度とを改善する。具体的には、ステレオグラフィック技術は、既知の標高データを、改善されたステレオグラフィックデータセットに一致させるのに用いられる。従って、サブピクセル較正、セルフロッキング飛行経路、及びステレオグラフィック技術を組み合わせることで、大幅に改善したデジタル標高モデルが提供され、優れた画像が得られる。
【０１５７】
ある実施形態では、システム(100)は、ＧＰＳ入力データを提供するためのリアルタイムＧＰＳデータシステムを含んでいる。ＧＰＳやＩＭＵ等の電子デバイスからの入力データによって、そして業界標準のＧＰＳやＩＭＵのソフトウェアシステムによって増強される較正ソフトウェアによって、較正精度が促進される。従って、このリアルタイムな自己較正システムの重要なコンポーネントは、衛星電話、携帯電話、ＲＦモデム、又は類似のデバイス等の潜在的に低い帯域幅の通信チャンネルを介したリアルタイムＧＰＳ入力データである。リアルタイムＧＰＳ入力データの潜在的なソースには、プロジェクト制御されたアドホックステーション、固定放送ＧＰＳ位置(若しくはその類似物)、又は機上ＩＭＵ経由の慣性ナビゲーションが含まれる。
【０１５８】
図１９乃至図２１に示したような、前面方向及び／又は側方向にコマウントされ、コレジスタされたオーバーサンプリングと、図１３乃至図１７に示した飛行ラインオーバーサンプリングとに加えて、本発明は、防振及び恒温手法を用いて、単一のカメラ内にて画像収集の不正確性と、２又は３以上のカメラの間にて画像合成の不正確性とを更に低減してよい。例えば、図２６Ａ及び図２６Ｂは、精度を増加するための、カメラのマルチステージ分離の実施例を図示している。図２６Ａ及び図２６Ｂは、防振部材と熱スリーブを示しているが、その他の防振及び恒温手法が使用されてよい。更に、図２６Ａ及び図２６Ｂは、オルソ及び斜め画像センサを備えており、アロングトラック斜視式に構成されたカメラアレイを示しているが、これらの防振及び恒温技術は、オルソ画像センサ、斜め画像センサ、又はそれらの任意の組合せを備えたその他のカメラアレイを用いる場合でも、同様に十分に働く。
【０１５９】
カメラアレイアセンブリ(2600)の上記の実施例では、画像センサは、アロングトラック斜視式で配置されている。図２６Ａに示したように、取付ユニット(2604)は、簡単な構造であり、その中に、画像センサ(2606)(2608)(2610)(2612)が配置されている。画像センサ(2606)乃至(2614)は、全てのセンサの焦点軸が、アパーチャ(2620)で規定された交差領域内で集束し互いに交差するように、取付ユニット(2604)の内部に、又は取付ユニット(304)に沿って配置される。
【０１６０】
図２６Ｂに示すように、斜め画像センサ(2606)はレンズ(2628)を有しており、オルソ画像センサ(2608)はレンズ(2630)を有しており、オルソ画像センサ(2610)はレンズ(2632)を有しており、斜め画像センサはレンズ(2634)を有している。画像センサ及びレンズアセンブリの振動は、個々の構成要素のアライメント変動に起因した振動不正確性を引き起こす。更に、画像センサとレンズアセンブリの熱膨張と収縮は、温度勾配による熱不正確性を起こす。これらの振動不正確性と熱不正確性をできるだけ小さくするために、振動／熱スリーブが、各レンズの周囲に配置されてよく、及び／又は、振動部材が、各レンズを固定するのに使用されてよい。図２６Ａ及び図２６Ｂは、斜め画像センサ(2606)とオルソ画像センサ(2608)の夫々について、防振／恒温スリーブ(2622)(2624)を示している。防振／恒温スリーブ(2622)(2624)は、同じであっても、用途の特定の仕様に応じて異なっていてもよい。防振／恒温スリーブは、振動を減衰し、及び／又は、レンズを熱的に絶縁できる任意の材料で作られてよい。
【０１６１】
更に振動不正確性をできるだけ小さくするために、各レンズは、図２６Ａに示すように防振部材(2626)に固定されてよい。図２６Ｂは、斜め画像センサ(2606)及びオルソ画像センサ(2608)の夫々について、防振取付部材(2636)(2638)を示している。防振取付部材(2636)(2638)は、同じであっても、用途の特定の仕様に応じて異なっていてもよい。防振取付部材は、振動を減衰し、及び／又は、レンズを熱的に絶縁できる任意の材料で作られてよい。
【０１６２】
コマウントされ、コレジスタされたオーバーサンプリング技術、サブピクセル較正技術、飛行ラインオーバーサンプリング技術、防振技術、恒温技術、又はそれらの任意の組合せを、画像収集中に用いることで、あたかも、画像が単一のカメラ又は画像センサから得られたかのように、複数のカメラ又は画像センサから得られた画像を同じ精度で合成することができる。好ましい実施例では、高められたこのメトリック精度は、仮想フレームを生じる。
【０１６３】
上記のモジュール、アルゴリズム及びプロセスは、多くの技術及び構成において実施できる。本発明の実施形態は、ソフトウェア又はハードウェア、又はそれらの組合せに関する機能例を含み得る。さらに、本発明のモジュール及びプロセスは、単一の機能例(例えば１つのソフトウェアプログラム)において一緒に組み合わされてよく、動作可能に連携された別個の機能デバイス(例えば複数のネットワーク化されたプロセッサ／メモリブロック)を含んでもよい。そのような実施は全て本発明に含まれる。
【０１６４】
本明細書に記載した実施形態及び実施例は、本発明及びその実際の用途を最も良く説明し、それによって当該分野の当業者が本発明を実施及び利用できるように示されている。しかしながら、当該技術の当業者であれば、前述の記載及び実施例は、説明と例示の目的のためだけに示されていることが認識できるであろう。前述の記載は、包括的であること、及び、本発明を、開示した正確な形態に限定することを意図していない。前述の教示を参照して、添付の特許請求の範囲の精神及び範囲から逸脱することなく、多くの変更及び変形を加えることが可能である。
【図１】
0006282275.tif 000007
【図１Ａ】
0006282275.tif 000008
【図１Ｂ】
0006282275.tif 000009
【図２】
0006282275.tif 000010
【図３Ａ】
0006282275.tif 000011
【図３Ｂ】
0006282275.tif 000012
【図３Ｃ−１】
0006282275.tif 000013
【図３Ｃ−２】
0006282275.tif 000014
【図３Ｄ】
0006282275.tif 000015
【図３Ｅ】
0006282275.tif 000016
【図４Ａ】
0006282275.tif 000017
【図４Ｂ】
0006282275.tif 000018
【図４Ｃ−１】
0006282275.tif 000019
【図４Ｃ−２】
0006282275.tif 000020
【図４Ｄ】
0006282275.tif 000021
【図４Ｅ】
0006282275.tif 000022
【図５】
0006282275.tif 000023
【図６】
0006282275.tif 000024
【図７】
0006282275.tif 000025
【図８】
0006282275.tif 000026
【図９】
0006282275.tif 000027
【図１０】
0006282275.tif 000028
【図１１】
0006282275.tif 000029
【図１２】
0006282275.tif 000030
【図１３】
0006282275.tif 000031
【図１４】
0006282275.tif 000032
【図１５】
0006282275.tif 000033
【図１６】
0006282275.tif 000034
【図１７】
0006282275.tif 000035
【図１８】
0006282275.tif 000036
【図１９】
0006282275.tif 000037
【図２０】
0006282275.tif 000038
【図２１】
0006282275.tif 000039
【図２２Ａ】
0006282275.tif 000040
【図２２Ｂ】
0006282275.tif 000041
【図２３】
0006282275.tif 000042
【図２４】
0006282275.tif 000043
【図２５】
0006282275.tif 000044
【図２６Ａ】
0006282275.tif 000045
【図２６Ｂ】
0006282275.tif 000046