(57)【要約】  画像取得システムは、複数のカメラ、及び、カメラマウントを具備している。カメラマウントは曲線部を有し、複数のカメラは曲線部に取り付けられている。カメラの視線が交差するように、カメラは、カメラマウントの曲線部に対して、放射状に内側に向けられている。画像は、複数のカメラを用いて、実質的に同期して取得される。取得された画像は、集合の画像を形成するためにつなぎ合わせられる。画像取得システムは、航空機内に配置されて、環境俯瞰図を形成し、かつ、取得された画像は、実質的にリアルタイムで見るために遠隔地に転送される。遠隔地のユーザは、集合の画像内に関心領域を指定し、かつ、画像取得システムは、ユーザの指定に基づき、集合の画像の一部を描画する。
2009527150.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）曲線部を有するカメラマウントと、
（ｂ）複数のカメラと
を具備する画像取得システムであって、
前記カメラマウントの曲線部は、それを貫通して形成された複数の開口部を有し、
前記各開口部は、前記複数のカメラのうちの１個のカメラに対応するよう構成され、
前記曲線部は、内側凹面と外側凸面とを有し、
前記各カメラは、対物端とセンサ端とを有し、
前記各カメラの前記対物端は、前記カメラマウントの前記曲線部に取り付けられ、
前記カメラは、交差する視線を有し、
前記カメラの視線は、発散領域を通過して交差領域に向かって発散し、
前記カメラは、前記発散領域内の１又は複数の対象物の画像を取得するよう構成される
ことを特徴とする画像取得システム。
【請求項２】
各カメラの各対物端の一部は、前記カメラマウントの前記曲線部を通過することを特徴とする請求項１に記載の画像取得システム。
【請求項３】
複数の固定リングをさらに具備し、
前記各固定リングは、前記カメラマウントの前記曲線部を通過する、対応するカメラの前記対物端の前記一部に接続されることを特徴とする請求項１に記載の画像取得システム。
【請求項４】
前記カメラマウントに接続された複数のカラーをさらに具備し、
各カラーは、前記カメラマウントに対して、対応するカメラを取り付けるよう機能することを特徴とする請求項１に記載の画像取得システム。
【請求項５】
前記カメラマウントは、プラットフォームに取り付けられ、
前記プラットフォームは、環境に対して、移動可能であることを特徴とする請求項１に記載の画像取得システム。
【請求項６】
前記カメラマウントは、プラットフォームに取り付けられ、
前記プラットフォームは、空中輸送機であることを特徴とする請求項１に記載の画像取得システム。
【請求項７】
前記空中輸送機は、胴体を有し、
前記カメラマウントは、前記胴体の内部に取り付けられることを特徴とする請求項６に記載の画像取得システム。
【請求項８】
前記胴体は、底部と、前記底部に設けられたウインドウとを有することを特徴とする請求項７に記載の画像取得システム。
【請求項９】
前記カメラの前記視線は、前記ウインドウに最も近い共通点で交差することを特徴とする請求項８に記載の画像取得システム。
【請求項１０】
前記カメラマウントの前記曲線部は、直径を有し、
前記ウインドウは、直径を有し、
前記カメラマウントの前記直径は、前記ウインドウの前記直径よりも大きいことを特徴とする請求項８に記載の画像取得システム。
【請求項１１】
（ａ）複数のカメラと、
（ｂ）前記センサ部と通信するプロセッサと
を具備する画像取得システムであって、
各カメラは、
（１）鏡胴と、１又は複数のレンズ要素とを具備するレンズアセンブリと、
（２）前記センサアセンブリに取り付けられたセンサ部と
を具備し、
前記センサ部は、前記レンズアセンブリを通じて取得されたビューを表す画像データを取得するよう機能し、
前記複数のカメラは、交差する視線を有するように向けられ、
隣接したレンズアセンブリを通じて取得されたビューの少なくとも一部はオーバーラップし、
前記プロセッサは、前記センサ部を用いて、実質的に同期して取得された画像データから、２次元画像を生成するよう構成されることを特徴とする画像取得システム。
【請求項１２】
曲線部を有するカメラマウントをさらに具備し、
前記カメラは、前記カメラマウントの前記曲線部に沿って配置されることを特徴とする請求項１１に記載の画像取得システム。
【請求項１３】
前記カメラに対して、遠隔に配置されたディスプレイをさらに具備し、
前記ディスプレイは、前記プロセッサと通信し、
前記ディスプレイは、前記生成された２次元画像の少なくとも一部を表示するよう機能することを特徴とする請求項１１に記載の画像取得システム。
【請求項１４】
前記各カメラには、シャッタが設けられていることを特徴とする請求項１１に記載の画像取得システム。
【請求項１５】
前記シャッタは、各カメラに対応する各センサ部と通信する制御ロジックを具備することを特徴とする請求項１４に記載の画像取得システム。
【請求項１６】
前記シャッタは、前記センサ部と通信するグローバルシャッタを具備し、
前記複数のカメラは、前記グローバルシャッタに従って、同期して画像を取得するよう機能することを特徴とする請求項１５に記載の画像取得システム。
【請求項１７】
（ａ）複数のカメラを設けるステップと、
（ｂ）前記複数のカメラを用いて、複数の画像を取得するステップと、
（ｃ）前記複数の画像の少なくとも一部をつなぎ合わせて、集合の画像を形成するステップと、
（ｄ）視覚ディスプレイ上に、前記集合の画像の少なくとも一部を描画するステップと
を具備する画像を供給する方法であって、
前記複数のカメラは、交差する視線を有するように配置され、
前記各カメラは、個々のレンズを有し、
前記視線は、交差の共通点で交差し、
前記取得された画像は、対象物のビューを表し、
前記交差の共通点は、前記複数のカメラと前記対象との間に配置され、
前記画像は、実質的に同期して取得され、
前記集合の画像は、前記複数のカメラによって、実質的に同じ時刻に取得された画像の少なくとも一部を具備することを特徴とする方法。
【請求項１８】
前記描画された前記集合の画像の少なくとも一部は、前記カメラの少なくとも２つを通じて、取得されたビューに一致することを特徴とする請求項１７に記載の方法。
【請求項１９】
関心のある画像領域を指示するユーザの入力を受信するステップをさらに具備し、
前記描画された前記集合の画像の少なくとも一部は、前記指示された関心のある画像領域に一致することを特徴とする請求項１７に記載の方法。
【請求項２０】
前記つなぎ合わせるステップの動作は、前記指示された関心のある画像領域に対応する画像だけをつなぎ合わせるステップを具備することを特徴とする請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、発明の名称を「マルチレンズアレイシステム及び方法」とする、２００６年２月１３日に出願された米国仮出願第６０／７７２６７０号の優先権を主張し、その開示は、引用することにより本明細書に組み込まれる。
【０００２】
本発明は、米国内務省（国防総省高等研究計画局のための国家ビジネスセンター）によって与えられたＤＡＲＰＡ契約番号ＮＢＣＨ０５００９０に基づく国家の支援により実施された。政府は本発明にある種の権利を有している。
【背景技術】
【０００３】
画像取得システムは、写真の開始以来、多様な形態で存在してきた。画像取得システムの１タイプは、単一の画像、又は、合成画像を形成するためにつなぎ合わせられる数個の画像を取得することに使用されるカメラアレイを具備している。画像を取得するための多様な方法、及び、装置が作成され、かつ、使用されてきた一方で、本発明者に先立って、添付の特許請求の範囲に記載された発明を作成、又は、使用した者はいないと確信している。
【発明の開示】
【課題を解決するための手段】
【０００４】
本明細書が、本発明を特に指摘し、かつ、明確に請求する請求項を用いて結論付ける一方で、本発明は、以下の添付図面に関連した実施例の説明によって、よりよく理解されると確信している。図面において、類似の参照番号は、同じ要素を特定している。
【０００５】
本発明のいくつかの実施例に関する次の説明は、本発明の範囲を限定することに使用されてはならない。他の実施例、特徴、様態、実施形態、及び本発明の利点は、実例として、本発明を実施するために熟考された最良の形態の１つを示す以下の説明から、当業者には明らかである。本発明は、本発明から全く逸脱することなく、他の異なって明確な態様をとることができることが理解される。したがって、図面、及び、説明は、本来は説明的なものとして取り扱われなければならず、限定されてはならない。
【０００６】
図１に示され、かつ、以下により詳細が説明されるように、本実施例の画像取得システムは、俯瞰図を取得する航空機（１０）の使用、及び、人々（１２）、施設、都市、又は、画像取得システムの視野に入る他の場所ないしは物の広角ビデオ画像を用いる。取得された画像の少なくとも一部は、地上局（１４）にほぼリアルタイムで転送される。図示されていないが、複数の地上局（１４）には、他の地上局（１４）と航空機（１０）との間の中継局として動作する少なくとも１つの地上局（１４）が設けられている。
【発明を実施するための最良の形態】
【０００７】
図１に示された航空機（１０）は無人機である。なお、有人機、ヘリコプタ、飛行船、バルーン、又は、他のタイプの飛行船を含む他のタイプの航空機（１０）を使用してよいが、限定はされないことが理解される。画像取得システムは、地上車両、舟艇などを含む他のタイプの車両を使用してよいが、限定はされないことも理解される。又は、画像取得システムを、塔、ビルなどの固定位置の構造物に取り付けてよい。画像取得システムはまた、航空機、又は、他の車両における一部を取得する画像と、固定位置に取り付けられた一部を取得する画像との組み合わせであってもよい。本明細書の一部の実施例は、その視界が一般に下方向に向けられるなどの鉛直に方向を向けられる画像取得システムを意図している。一方で、本明細書に説明される画像取得システムはまた、水平、又は、他の適切な方向に方向を設けられることが理解される。画像取得システムが設けられ、かつ、使用される他の方法が当業者には明らかである。
【０００８】
図２乃至図５に示すように、本実施例の画像取得システムは、カメラマウント（２０）、又は、光学台を具備している。カメラマウント（２０）は、アクリル、ポリカーボネート、又は、他のプラスチック、アルミニウム、又は、他の金属、又は、他の材料であってもよく、これらの組み合わせであってもよい。図に示すように、カメラマウント（２０）は、カメラマウント（２０）の外周を形成し、かつ、放射状に外側に延出するドーム状の凸部（２２）と縁部（２４）とを有している。又は、縁部（２４）は、任意の適切な角度、又は、他の構成を有してもよい。ほんの一例として、縁部（２４）は、内径が約４６インチから約４８インチまで、かつ、外径が約４８インチから約５０インチまでであってもよい。又は、他の内径、及び、外径を使用してもよい。
【０００９】
凸部（２２）は、外表面部（２６）と内表面部（２８）と、それを貫通して形成された複数の開口部（３０）とを有している。本実施例では、凸部（２２）は、２７１個の開口部（３０）を有し、それぞれがカメラ（４０）を収容するように構成されている。しかし、１００個以下、１００個以上、２００個以上、３００個以上、又は、他の適切な個数を含む、任意の適切な開口部（３０）の個数を使用してよいが、限定はされないことが理解される。本実施例の各開口部（３０）は、他の直径を使用してよいが、約３８ミリの直径を有している。ほんの一例として、凸部（２２）は、内側の曲率半径が約２４インチから約２６インチまで、かつ、外側の曲率半径が約２４．１２５インチから約２６．１２５インチまでであってもよい。本実施例の凸部（２２）は、内側の曲率半径が約２４インチ、かつ、外側の曲率半径が約２４．１２５インチである。又は、他の内側、又は、外側の曲率半径を使用してもよい。他の実施形態では、凸部（２２）は、双曲線、又は、放物線の半径を有している。他の適切な構成が当業者には明らかである。
【００１０】
他の実施形態では、カメラマウント（２０）は一般に平坦である。本実施形態では、各カメラ（４０）は、１つの共通の仮想点に向けられるか、又は、そうでなければ、別の方向に向けてもよい。換言すれば、カメラマウント（２０）が一般に平坦である場合には、カメラ（４０）の視線は、カーブしたカメラマウント（２０）に対して、本明細書に説明された方法と類似の方法でやはり交差し、かつ、そのような視線は、カーブしたカメラマウントに対して、本明細書に説明された関係と類似の相対的な角度関係を有してもよい。さらに他の実施形態では、カメラ（４０）を多様なサイズに形成してもよい。例えば、比較的大規模なカメラ（４０）を、比較的小規模なカメラ（４０）のアレイの中央に設置してもよい。同様に、数個のカメラ（４０）には、種々の光学特性、又は、他の種々の特性が備えられる。したがって、カメラマウント（２０）にマウントされた全てのカメラ（４０）は一様に同じである必要はないことが理解される。
【００１１】
本実施例の各カメラ（４０）は、以下にさらに詳細を説明するセンサ部（４２）とレンズ部（４４）とを具備している。カメラ（４０）は、各レンズ部（４４）が放射状に内側に向けられるように、カメラマウント（２０）の凸部（２２）上に配置されている。したがって、複数のカメラ（４０）はカメラマウント（２０）に取り付けられ、カメラ（４０）のレンズ部（４４）の視線は交差していることが理解される。本実施例の各レンズ部（４４）は、図６及び図７に示される実施例のように、各カラー（５０）によって凸部（２２）に取り付けられている。図に示すように、各カラー（５０）は、側壁（５２）と、内側凹所（５４）と、外側凹所（５６）とを有している。各側壁（５２）は、それを貫通して形成された、複数のねじ開口部（６４）を有している。内側凹所（５４）は、放射状に内側に延出する内側ショルダ（５８）を有し、一方で、外側凹所（５６）は、放射状に外側に延出する外側ショルダ（６０）を有している。さらに図示するように、カラー（５０）は、円錐台状開口を形成する張り出し部（６２）を具備している。張り出し部（６２）は、内側ショルダ（５８）に隣接し、かつ、内側ショルダ（５８）に対して約６０度の角度を形成している。当然、他の適切な方向、又は、構成を使用してもよい。
【００１２】
他の実施形態では、パン・チルト・ズーム（ＰＴＺ）カメラ（図示せず）がカメラ（４０）との組み合わせで使用されている。ＰＴＺのようなカメラは、カメラ（４０）として同じプラットフォームにマウントしてもよい。加えて、又は、代替として、ＰＴＺカメラを他の場所に配置してもよい。さらに他の変形形態では、発明の名称を「監視システム及び方法」とする、その開示は本明細書に引用されることにより組み込まれる米国特許公開第２００６／００２８５５０号に開示されたカメラシステムが、カメラと組み合わせて使用されている。上記ＰＴＺカメラを備えたカメラシステムは、一般に、カメラ（４０）が共通に配置され、及び／又は、他の場所に配置されている。カメラ（４０）と組み合わせることに適切な他のカメラ、又は、カメラシステムが、当業者には明らかである。
【００１３】
本実施例では、外側ショルダ（６０）が凸部（２２）の外表面部（２６）に隣接するように、各開口部（３０）に、各カラー（５０）の外側凹所（５６）を挿入することによって、カラー（５０）は、カメラマウント（２０）に取り付けられている。全ての開口部（３０）がそれに挿入された対応するカラー（５０）を有するまで、これが繰り返されることが理解される。１実施形態では、カラー（５０）は、接着剤、又は、エポキシ樹脂を使用して、凸部（２２）に取り付けられている。他の実施形態では、カラー（５０）が開口部（３０）に螺合されるように、外側の凹所（５６）、及び、開口部（３０）には、ねじが切られている。カラー（５０）がカメラマウント（２０）に取り付けられるさらに他の方法には、溶接、インターフェースフィッティング、又は、他の技術を含み、限定はされないことが当業者には明らかである。又は、カメラマウント（２０）は、カラー（５０）、又は、それに類似した構造がカメラマウント（２０）と一体的に形成されるように、構成してよい。当然、カメラマウント（２０）にカメラ（４０）を取り付けるための他の技術、又は、構造を使用してもよい。換言すれば、本明細書に説明されたカラー（５０）は、単に省略可能である。
【００１４】
カラー（５０）がカメラマウント（２０）に取り付けられる前、又は、後に、レンズ部（４４）は、カラー（５０）に挿入され、かつ、そこに取り付けられる。特に、レンズ部（４４）の先端部、即ち、対物端が内側ショルダ（５８）に隣接するように、レンズ部（４４）は、各カラー（５０）に挿入されている。次いで、カラー（５０）の側壁（５２）を貫通して形成されたねじ開口部（６４）内に１組のねじ（図示せず）を挿入し、かつ、締めることによって、各レンズ部（４４）は、それに対応するカラー（５０）に取り付けられている。レンズ部（４４）は、任意の民生品（ＣＯＴＳ）レンズアセンブリであってもよく、各カメラ（４０）は、ＣＯＴＳカメラであってもよいことが理解される。ねじ、又は、他のデバイスの使用によって、カラー（５０）は、多様な外径を有する多様なタイプのレンズ部（４４）を収容し、かつ、取り付けることができる。
【００１５】
又は、レンズ部（４４）がカラー（５０）に螺合されるように、側壁（５２）の内側には、ねじが切られてもよい。レンズ部（４４）をカラー（５０）に取り付けるさらに他の適切な構造、及び、技術が、当業者には明らかである。又は、カラー（５０）に類似した構造がそれとともに一体的に形成されるように、レンズ部（４４）を構成してもよい。したがって、カラー（５０）は、レンズ部（４４）から分離した部品として、本明細書に説明された他のコンポーネントのように、単に省略可能であることが理解される。
【００１６】
図８は、取り付け部（７０）によって航空機（１０）の胴体（８０）に取り付けられたカメラマウント（２０）を示している。１実施形態では、取り付け部（７０）は、カリフォルニア州Ｖａｎ  ＮｕｙｓのＰｉｃｔｏｒｖｉｓｉｏｎ社（以前のＷｅｓｃａｍ）による「Ｐｉｃｔｏｒｖｉｓｉｏｎ  ＸＲ」構造である。当然、他のタイプの取り付け部（７０）を使用してもよい。取り付け部（７０）が任意の多様な特性を有することも理解される。例えば、取り付け部（７０）は、取り付け部（７０）が胴体（８０）に対するカメラマウント（２０）の動きを防止するように、実質的に固定式であってもよい。又は、取り付け部（７０）は、胴体（８０）に対するカメラマウント（２０）の動きをある程度許容するジンバル機構、又は、類似の機構を具備してもよい。取り付け部（７０）は、緩衝するように構成されたパッド、クッション、弾性のある部材など、又は、胴体（８０）からカメラマウント（２０）に振動が伝わらないように構成された他の機構を具備してよいことも理解される。取り付け部（７０）のためのさらに他の適切な機構、及び、構成が、当業者には明らかである。
【００１７】
本実施例では、カメラ（４０）が胴体（８０）を貫通して「見る」ことができるように、ウインドウ（８２）が胴体（８０）に設けられている。換言すれば、全てのカメラ（４０）がウインドウ（８２）によって形成された共通の中央開口部に向くように、各カメラ（４０）は方向を向けられている。特に、本実施例のカメラ（４０）は、交差する視線を有している。図８に示すように、最外部のカメラ（４０）の交差する視線は、最大収束角度（８４）を形成している。この角度（８４）の頂点は、「仮想点」として取り扱ってよい。最外部のカメラ（４０）の視線は、ほぼウインドウ（８２）で収束するように図示されている。一方で、これらの視線は、他の場所（例えば、ウインドウ（８２）の上、ウインドウ（８２）の下など）で収束してもよいことが理解される。視線収束ポイントに向かって、視線は、発散領域として取り扱ってよい領域を通過して発散している。本実施例では、カメラ（４０）によって取得される画像の対象物（例えば、人、場所、対象物、イベントなど）は、発散領域の範囲内に配置されている。換言すれば、「仮想点」は、カメラ（４０）と画像を取得しようとする対象物との間に配置されている。又は、視線は、ほぼ対象物で収束してよい。さらに他の変形形態として、対象物がカメラ（４０）と「仮想点」との間に配置されるように対象物を配置してよい。
【００１８】
本実施例では、ウインドウ（８２）は、実質的に両側に平らであるが、ウインドウ（８２）がレンズ要素として設けられるように、ウインドウ（８２）の片側、又は、両側がカーブしてよいことが理解される。同様に、本実施例のウインドウ（８２）が直径約２０２．９ｍｍである一方で、他の適切な直径、又は、寸法を使用してよいことが理解される。
【００１９】
１実施形態では、最大収束角度（８４）は約９２度である。他の実施形態では、最大収束角度（８４）は約８１度である。当然、他の適切な最大収束角度（８４）を使用してもよい。又は、カメラマウント（２０）は、最外部のカメラ（４０）の視線が収束しないように、構成され、又は、使用してもよい。最大収束角度（８４）が、カメラマウント（２０）の凸部（２２）の曲率半径、及び／又は、多様な他の要素の関数として変化してよいことも理解される。カメラ（４０）によって集合で取得された視野が、最大収束角度（８４）に比例するか、又は、最大収束角度（８４）と他の関係を有することも、当業者には認識される。又は、カメラ（４０）によって集合で取得された視野は、最大収束角度（８４）に比例的ではなくてもよい。
【００２０】
カメラマウント（２０）が移動中のプラットフォーム（例えば、航空機（１０））に取り付けられる場合、カメラ（４０）によって取得された画像は、ジッタの傾向を有しているか、又は、別な方法でプラットフォームのモーションによる影響を受けていることが理解される。そのような効果は、プラットフォームに対する安定化カメラマウント（２０）、及び／又は、カメラマウント（２０）に対する安定化カメラ（４０）によって対処してもよい。例えば、緩衝構造、又は、機構を、カメラ（４０）、カメラマウント（２０）、取り付け部（７０）、及び／又は、他の場所の中、又は、間に取り入れてもよい。上記のように、そのような緩衝構造、又は、機構は、任意の個数の以下を具備してよい。
スプリング、ゴム又は発泡性パッド、空気入りタイヤ、ジンバルなど
加えて、あったとしても、画像取得システムの種々のコンポーネントは、種々の方法で緩衝してもよい。他の緩衝技術、及び、緩衝するための変形形態が、当業者には明らかである。
【００２１】
又は、カメラ（４０）によって取得された画像上のプラットフォームの移動、振動などの効果は、画像の処理によって対処してもよい。そのような「補正」処理は、類似の効果に対処するための上記のハードウエアベースの技術に加えるか、又は、その代わりに実行してもよい。例えば、以下にさらに詳細が説明されるように、単一カメラ（４０）によって取得された画像がより大規模な画像の「タイル」として取り扱われるように、カメラ（４０）によって取得された画像は、集合で、広角画像を形成するように組み合わせてもよい。以下にもさらに詳細が説明されるように、モザイク技術は、そのようなタイル間のモーション（例えば、他のタイルに対する１つのタイルのモーション、又は、平行移動）を除去するために使用してもよい。なお、一方で、グローバルモーション推定は、集合で、広角画像のモーションに対処するために使用してもよい。換言すれば、モザイクは、相互に対するカメラ（４０）のモーションに対処するために使用してよく、一方で、グローバルモーション推定は、地上に対するカメラ（４０）の集合(collective)のモーションに対処するために使用してもよい。
【００２２】
代表的なレンズアセンブリ（９０）は、図９乃至図１１に示されている。１実施形態では、上記のレンズ部（４４）は、レンズアセンブリ（９０）を具備している。図示され、かつ、以下にさらに詳細が説明されるように、レンズアセンブリ（９０）は、ハウジング（９２）、又は、鏡胴、複数のレンズ要素（９４，９６，９８）、キャップ（１００，１０２）、スペーサ（１０４，１０６）、及びリテイナ（１０８，１１０）を具備している。外周フランジ（１２０）は、レンズアセンブリ（９０）の対物端近傍に外側に向かって放射状に延出している。
【００２３】
本実施例では、フロントレンズ要素（９４）は遠心に（例えば、レンズアセンブリ（９０）の対物端に）配置され、リアレンズ要素（９８）は近接して配置され、かつ、ミドルレンズ要素（９６）はフロントレンズ要素（９４）とリアレンズ要素（９８）との間に配置されるように、レンズアセンブリ（９０）が構成されている。レンズ部（４４）は、任意の目的のためにレンズ部（４４）を分離する選択を提供する、１又は複数の機構を具備してもよいことが理解される。例えば、ハウジング（９２）がこれらの部分を相互に螺合しないことによって分解されるように、レンズアセンブリ（９０）のハウジング（９２）は、サービスのねじを切った機構を有する別の部分に構成されてもよい。ハウジング（９２）を変化してもよい他の方法が、当業者には明らかである。
【００２４】
図１０、及び、図１１に示すように、レンズアセンブリ（９０）は、光（１１２）が、最初にフロントレンズ要素（９４）を通過し、次いでミドルレンズ要素（９６）を通過し、次いでリアレンズ要素（９８）を通過するように構成されている。これは、画像投影（１１４）を画像平面（１１６）に形成している。本実施例では、レンズアセンブリ（９０）がセンサ部（４２）に接続される場合、画像投影（１１４）がセンサ部（４２）によって受け取られるように、センサ部（４２）は、画像平面（１１６）内に配置されている。レンズ要素（９４，９６，９８）のいくつかの代表的な機構が以下に説明される。なお、一方で、レンズ要素（９４，９６，９８）は、他の適切な構成を有してもよく、かつ、任意の個数、又は、タイプのレンズ要素を使用してもよいことが理解される。
【００２５】
フロントレンズ要素（９４）は、第１凸面（１２０）、及び、実質的に平らな第２面（１２２）を具備している。第１凸面（１２０）は、他の適切な曲率半径を使用してよいが、曲率半径が約４８．７８５ｍｍである。同様に、第２面（１２２）は、必ずしも実質的に平らである必要はなく、任意の適切な曲率半径であってもよい。例えば、第２面（１２２）は、やや凹面状であってもよい。本実施例では、フロントレンズ要素（９４）は、ＳＣＨＯＴＴ  ＳＫ１６ガラスである。又は、他の適切なガラスを使用してもよい。
【００２６】
ミドルレンズ要素（９６）は、両凹状であり、かつ、第１凹面（１２４）、及び、第２凹面（１２６）を具備している。第１凹面（１２４）は、曲率半径が約１３５．３５ｍｍである。一方で、第２凹面（１２６）は、曲率半径が約４１．１０７ｍｍである。当然、第１凹面（１２４）、又は、第２凹面（１２６）の一方か、又は、両方に、他の適切な曲率半径を使用してもよい。本実施例では、ミドルレンズ要素（９６）は、ＳＣＨＯＴＴ  Ｆ４ガラスである。又は、他の適切なガラスを使用してもよい。
【００２７】
リアレンズ要素（９８）は、第１凸面（１２８）、及び、第２凸面（１３０）を具備している。第１凸面（１２８）は、曲率半径が約１１５．２４ｍｍである。一方で、第２凸面（１３０）は、曲率半径が約１９３．２４１ｍｍである。当然、第１凸面（１２８）、又は、第２凸面（１３０）の一方か、又は、両方に、他の適切な曲率半径を使用してもよい。本実施例では、リアレンズ要素（９８）は、ＳＣＨＯＴＴ  ＳＫ１６ガラスである。又は、他の適切なガラスを使用してもよい。
【００２８】
図１２は、一連の代替のレンズ要素（１４０，１４２，１４４，１４６，１４８，１５０）を示している。本実施例では、第１レンズ要素（１４０）は、第１凸面（１５２）、及び、第２凹面（１５４）を具備している。第２レンズ要素（１４２）は、第１凸面（１５６）、及び、実質的に平らな第２面（１５８）を具備している。第３レンズ要素（１４４）は、第１凸面（１６０）、及び、実質的に平らな第２面（１６２）を具備している。第４レンズ要素（１４６）は、実質的に平らな第１面（１６４）、及び、第２凹面（１６６）を具備している。本実施例では、第３及び第４レンズ要素（１４４，１４６）は、第４レンズ要素（１４６）の実質的に平らな第１面（１６４）が第３レンズ要素（１４４）の実質的に平らな第２面（１６２）に隣接するように配置されている。第５レンズ要素（１４８）は、実質的に平らな第１面（１６８）、及び、第２凸面（１７０）を具備している。第６レンズ要素（１５０）は、第１凸面（１７２）、及び、第２凹面（１７４）を具備している。本実施例では、第５及び第６レンズ要素（１４８，１５０）は、第６レンズ要素（１５０）の第１凸面（１６８）が第５レンズ要素（１４８）の第２凸面（１７０）に隣接するように配置されている。当然、レンズ要素（１４０，１４２，１４４，１４６，１４８，１５０）のこれらの構成は、単に例示的であって、かつ、任意の個数のレンズ要素、又は、レンズ要素構成を使用してもよい。
【００２９】
図１３は、どのようにレンズアセンブリ（９０）がカメラマウント（２０）に取り付けられているかの実施例を示している。図に示すように、レンズアセンブリ（９０）の外周フランジ（１２０）がカメラマウント（２０）の外表面部（２６）に隣接するように、レンズアセンブリ（９０）の対物端の一部は、カメラマウント（２０）を貫通して挿入されている。固定リング（１１８）は、レンズアセンブリ（９０）の対物端にかみ合わせられ、かつ、カメラマウント（２０）の内表面部（２８）に隣接している。したがって、固定リング（１１８）と外周フランジ（１２０）とは、カメラマウント（２０）を「サンドイッチ」し、それによって、レンズアセンブリ（９０）をカメラマウント（２０）にクランプして固定している。レンズアセンブリ（９０）、又は、カメラ（４０）をカメラマウント（２０）に取り付ける他の適切な方法が、当業者には明らかである。
【００３０】
本実施例の各カメラ（４０）は、概数で次のパラメータを有している。なお、それぞれは単に概算の値である。
Ｆ値  ６
有効焦点距離  １８０ｍｍ
画像距離  １２４ｍｍ
画像サイズ  ２０４８×２０４８ピクセル（又は、２４×２４ｍｍ）
スペクトル範囲  ４５０〜７００ｎｍ
長さ  ２００ｍｍ
視野  １０．８°
入口瞳孔直径  ３０ｍｍ
被写界深度  １．５ｋｍ〜無限
ピクセルピッチ  １２ミクロン
当然、これらの列挙された各パラメータ値は単に例示的なものであって、かつ、他の適切なパラメータ値を使用してもよい。例えば、カメラ（４０）のスペクトル範囲は、約３００〜約３００００ｎｍを含む範囲のどこにでも収まってよい。１実施形態では、カメラ（４０）が集合で単一の「ギガピクセルカメラ」を形成するように、カメラ（４０）を用いて、実質的に同期して取得された画像を組み合わせることによって形成された画像は、約１０億ピクセルを具備している。
【００３１】
本実施例では、各センサ部（４２）は、可視光（例えば、約４５０〜約７００ｎｍの範囲の波長を有する）を取得するよう機能するセンサ要素（図示せず）を具備している。各センサ部（４２）は、ＣＣＤセンサ（例えば、フレーム転送、インタライン転送など）、ＣＭＯＳセンサ（例えば、電子ロールシャッタを備えた）、又は、他のタイプのセンサを具備してもよい。ほんの一例として、センサ部（４２）は、他のセンサを使用してよいが、カリフォルニア州Ｓａｎ  ＪｏｓｅのＣｙｐｒｅｓｓ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ社によるＬＵＰＡ４０００センサである。１実施形態では、カメラ（４０）は、モノクロ画像を取得するように構成されている。他の実施形態では、カメラ（４０）は、多色画像を取得するように構成されている。さらに他の変形形態では、カメラ（４０）が赤外カメラを具備するように、センサ部（４２）は、赤外イメージングコンポーネントを具備している。赤外カメラ（４０）は、受動暗視コンポーネント、能動暗視コンポーネント、又は、それらの組み合わせを具備してもよい。さらに他の変形形態では、カメラ（４０）は、赤外画像と非赤外画像との両方を取得するよう機能している。
【００３２】
本実施例のセンサ部（４２）は、グローバルシャッタを形成するように構成されている。換言すれば、カメラ（４０）は、実質的に同期して、かつ、同調して全ての画像を取得するように構成されている。グローバルシャッタは、機械的、及び／又は、電気的に形成されていることが理解される。例えば、機械的、又は、電子的なグローバルシャッタは、各カメラ（４０）の露光時間を他のカメラ（４０）と実質的に同じ時刻で開始、及び、終了させてもよい。グローバルシャッタを実施する適切な技術が、当業者には明らかである。グローバルシャッタは必ずしも必要でなく、任意の適切な変更形態を使用してよいことも理解される。ほんの一例として、共通時刻にピクセルを登録するアルゴリズムを使用してもよい。そのようなアルゴリズムを実装する適切な方法は、グローバルシャッタの他の変形形態のように、当業者には明らかである。
【００３３】
センサ部（４２）は、対応するレンズ部（４４）に適切な方法で取り付けられている。例えば、センサ部（４２）が対応するレンズ部（４４）上に螺合されるように、センサ部（４２）、及び、レンズ部（４４）はサービスのねじが切られた機構を具備してもよい。又は、センサ部（４２）は、対応するレンズ部（４４）上に留めるか、又は、掛けるように構成してもよい。さらに他の変形形態として、対応するレンズ部（４４）に取り外し可能に接続する代わりに、溶接、接着剤を使用すること、一体形成などによって、又は、他の技術を使用することによって、センサ部（４２）を対応するレンズ部（４４）に永続的に接続してもよい。レンズ部（４４）とセンサ部（４２）との間の他の適切な構造的な関係が、当業者には明らかである。
【００３４】
全てのセンサ部（４２）を位置合わせすることなどによって、全てのセンサ部（４２）をクロックすることが望ましい。例えば、各センサ部（４２）の底部が、他のセンサ部（４２）の底部と、カメラマウント（２０）の外表面部（２６）から等距離になるまで、センサ部（４２）は、各センサ部（４２）を回転することによってクロックしてもよい。センサ部（４２）はまた、それらが全て平行であるように、全てのセンサ部（４２）の各底部エッジを位置合わせすることによってクロックしてもよい。そのようなクロック方法は、各センサ部（４２）が回転されるように、レンズアセンブリ（９０）のハウジング（９２）が螺合可能に共に取り付けられた２つの部分を具備する実施形態か、又は、他の適切な実施形態において実行してよい。さらに他の実施形態では、センサ部（４２）が起動され、かつ、センサ部（４２）によって取得されたビデオが見られている。本実施形態では、取得された画像内の対象物又は地物が、隣接したセンサ部（４２）からのビュー(view)の中で、一貫して位置合わせされるまで、センサ部（４２）を回転することによってクロックを実行してもよい。クロックはモザイクアルゴリズムのための検索空間を初期化してもよいことが理解される。センサ部（４２）をクロック、又は、位置合わせする他の方法は、当業者には明らかである。
【００３５】
本実施例では、カメラ（４０）が地上約７．６ｋｍ、又は、約２５０００ｆｔに配置される場合（例えば、航空機（１０）にマウントされたカメラ（４０））、カメラ（４０）は、約１１ｋｍ四方の領域（「フットプリント」）の画像を集合で見て、かつ、取得してよい。カメラ（４０）は、そのような画像の解像度が約０．５ｍであるように構成してよい。ほんの一例として、カメラ（４０）は、高度約７．６ｋｍから地上フットプリント約１１ｋｍ四方の範囲内で、大きさが０．５ｍ以上の地物の約５０％コントラストをもたらしてもよい。カメラ（４０）に関係する地上フットプリントのサイズは、カメラ（４０）の高度の関数として、解像度として変化してもよいことが理解される。例えば、１実施形態では、カメラ（４０）が高度７．６ｋｍから０．５ｍの解像度をもたらす場合には、カメラ（４０）は、高度１８ｋｍから１．２ｍの解像度をもたらしてもよい。他の適切な程度の解像度、高度、及びフットプリントサイズを使用してもよい。
【００３６】
代表的な画像取得システムのカメラ（４０）は、有効焦点距離、及び、入口瞳孔サイズが全ての同じであって、結果的に一定の角速度でシーンをサンプリングするセンサを組み込んでいる。各ピクセルに直線的に幾何学的な歪みを良好に補正されたレンズを備えたセンサは、各センサアレイ上に平面をマッピングしている。センサ間の均一な角度の解像度によって、画像取得システムで観測された合成シーンは、各センサから一定の距離で、平面に対して均一にスケーリングしてもよい。サンプリングされているシーンが画像取得システムから多様な距離にある場合、縮尺の変化は、シーンへの距離の変化に比例してよい。原則として、各センサ入口瞳孔の座標システムの原点が、共通点に共通に配置されるが、各瞳孔平面は、全体の画像取得システムの視野をサンプリングするこの点を中心にして単に回転される。この量は、画像取得システムの視野の共通ボリュームを多かれ少なかれサンプリングするための隣接したセンサ手段をもたらしてもよい。各センサは、画像取得システム視野をサンプリングし、かつ、各センサアレイの各ピクセルは、各センササンプルをサンプリングしてもよい。画像取得システムボアサイト方向に直角な平面が角度の逆によってサンプリングされるように、画像取得システム視野のボリュームをスケーリングするように設計された各センサを有することも可能である。
【００３７】
カメラ（４０）がビデオ画像を取得することに使用される場合、そのようなビデオは、任意の適切なフレームレートを有してもよい。例えば、適切なフレームレートは、１秒当たり約５フレーム以上であってよい。又は、１秒当たり５フレーム以下を含む、他の適切なフレームレートを使用してもよい。各カメラ（４０）はまた、露光時間約１ｍｓ、開口約ｆ２．８、ＮＤ４ニュートラル密度フィルタを使用して、画像を取得してもよい。他の適切な露光時間、開口設定、及びフィルタ選択が、当業者には明らかである。
【００３８】
カメラマウント（２０）にマウントされたカメラ（４０）にある程度の較正を実行することが望まれている。そのような較正は、マウント不正確性、又は、センサ部（４２）、又は、レンズ部（４４）の不整合を検出、及び／又は、補正することに使用してよい。例えば、カメラ（４０）の各視線ができるだけ単一の共通点で全て交差するように、カメラ（４０）の調整を促進するため、較正を実行してもよい。較正はまた、各センサ部（４２）からその各第１レンズ（９４）に一致した距離を形成するために実行してよい。どのような理由であってもカメラ（４０）を理想的に調整することができない場合、一部の補正係数、又は、画像処理の間に計上される係数を取得するために較正を使用してもよい。換言すれば、別な方法で、そのような欠点によって生じる悪影響に対処するために、較正の間に発見された構造的、又は、他の欠点は、画像処理の間に計上してよい。
【００３９】
１つの代表的な較正方法では、レンズ部（４４）は、カメラマウント（２０）の下に配置された平らなチェッカボードパターン（図示せず）上に光を投影することに使用される。チェッカボードパターンは、複数の四角形を具備し、各四角形には、各レンズ部（４４）が関係付けられている。レンズ部（４４）を貫通して照らされた光が、チェッカボードパターン内の対応する四角形の中央に配置されるまで、各レンズ部（４４）はカメラマウント（２０）に対して調整される。
【００４０】
他の代表的な較正方法では、視準器（図示せず）がカメラマウント（２０）の中央部下に配置される。視準器は、２軸で回転するように構成されている。光は視準器にもたらされ、かつ、視準器によってもたらされ、かつ、視準器は光を各カメラ（４０）に選択的に向けるように、２軸で回転されている。必要に応じて、視準器が対応するカメラ（４０）に向かって向けられるとき、視準器によってもたらされた光がそのレンズ部（４４）に固定されたセンサ部（４２）に到達することを確実にするように、各レンズ部（４４）はカメラマウント（２０）に対して調整される。上記の較正の構造、及び、方法は単に例示的であって、他の適切な較正方法を使用してよいことが、当業者には理解される。
【００４１】
較正はまた、ハードウエア誤差、又は、異常（例えば、レンズ要素（９４，９６，９８）の欠陥、センサの欠陥など）、ある種の環境要素、又は、画像処理の間に考慮することが望ましい他の要素を計上することに使用してよい。ほんの一例として、以下の任意のものを較正の間に決定してもよい。
幾何学的な歪み、及び／又は、視野内の不均一な照明、アレイ内の各ピクセルの不均一な応答、アレイ内の故障したピクセル、アレイ内の各ピクセルの不均一なゲイン、及び／又は、オフセット
そのような誤差、又は、係数は、較正の間に明らかにされ、かつ、補正され、又は、別な方法で、画像処理の間に対処してもよい。
【００４２】
広角ビデオ画像などの広角画像を形成するために、カメラ（４０）によって取得された画像（例えば、実質的に同期して取得された画像）を合成してよいことが理解される。当然、カメラ（４０）によって取得された画像は、代わりに、狭視野などの任意の適切な視野を有する画像を形成するために、合成することができる。カメラ（４０）によって取得された画像は、処理され、かつ、インタラクティブな方法でユーザに提示してよいことがさらに理解される。例えば、図１を再度参照すれば、航空機（１０）内から取得された画像は、地上局（１４）、又は、他の場所のユーザに転送してもよい。カメラ（４０）によって集合で取得された広角画像の少なくとも一部がユーザに提示される場合、より詳細を見るための画像であれば、ユーザは一部を選択することができる。したがって、ユーザには、ユーザインターフェースを介して、ユーザに広角画像の選択された一部（又は、選択されたビューの範囲）を表示するために、比較的広域の範囲内のパン、チルト、及び／又は、ズーム、広角画像の効果がある「仮想パン・チルト・ズーム（ＰＴＺ）カメラ」が設けられている。比較的高解像度のカメラ（４０）のアレイが広角画像を集合で取得するのに使用されているので、カメラ（４０）のアレイの代わりに、単一カメラが同じ広角画像を取得するために使用されたとしても、別な方法で取得されるよりも、そのような広角画像のズームイン部分は、より高い解像度をもたらしている。
【００４３】
図１４は、カメラ（４０）によって取得された画像を処理する方法の一環として、実行されるいくつかの動作を図示している。ブロック１０００に示すように、複数の画像は、カメラ（４０）によって実質的に同期して取得される。ほんの一例として、そのような画像のぞれぞれは「タイル画像」と呼ばれる。次いで、ブロック１０１０に示すように、各タイル画像がレジストレーションされる。そのようなレジストレーションは、画像が取得された特定のカメラ（４０）、画像が取得された時間、画像によってもたらされた視野の範囲の地理的な位置、及び／又は、他の情報に、各画像を関連付けるステップを具備してもよい。次に、ブロック１０２０に示すように、各タイル画像はシャープ化される。そのようなシャープ化は、輝度補正、コントラスト強調、固定パターンノイズ除去、ガンマ補正、故障したピクセルの検出、及び、その内挿、ホワイトクリップ、歪み補正、周辺減光補正、及び／又は、他の適切な処理を具備してもよい。
【００４４】
ブロック１０３０に示すように、シャープ化されたタイル画像は、コーナー検出の対象としてよい。用語「コーナー検出」がこの動作を示すことに使用される。一方で、この動作をコーナー（例えば、タイル画像のコーナー、又は、タイル画像内のコーナー）の検出だけに、必ずしも限定することを意図していない。実際、タイル画像内の任意の適切な地物を、この動作の一環として検出してもよい。例えば、検出されたタイル画像の地物は、所定の縮尺で全方向に傾斜している画像位置を具備してもよい。コーナー検出は画像内に複数の参照点を与え、かつ、そのような参照点は後の処理に有用であることが理解される。
【００４５】
次に、ブロック１０４０に示すように、各タイル画像間のモーション（例えば、平行移動、アフィン、投射など）が、ブロック１０３０で検出されたコーナー／地物を使用して検出される。上述のように、そのようなタイル画像間のモーションを除去するため、モザイク技術を使用してもよい（例えば、他のタイル画像に対する１つのタイル画像のモーション、又は、平行移動）。本実施例では、この動作は、同時刻に取得された隣接するタイル画像内から検出されたコーナー／地物の相対的な位置を比較するステップを具備している。加えて、ブロック１０５０に示すように、グローバルモーション推定、及び、調整を実行してもよい。隣接したタイル画像ペアに注目するブロック１０４０に関するモザイクに比べて、グローバルモーション推定は、タイル画像群の補正により注目している。特に、グローバルモーション推定は、ブロック１０４０でなされた複数のモーション、又は、平行移動の結果、及び／又は、補正の包括的な比較を具備してもよい。故に、そのようなグローバルモーション推定は、ブロック１０４０で発生したモーション検出、及び、補正の間に発生した誤差を検出、及び、補正することに使用してもよい。
【００４６】
ブロック１０４０，１０５０に基づき実行された処理は、ブロック１０００で取得されたタイル画像が、それらが最初に取得されたときには、かなり誤った調整が相互になされていたことを明らかにする。したがって、ブロック１０３０に対応する動作の実行の間に、１以上のタイル画像に共通のコーナー／地物が検出可能であることから、隣接したタイル画像に関するビューの間の空間的なオーバーラップの程度は、ブロック１０４０に基づいて実行された処理を促進することが当業者には明らかである。そのようなオーバーラップはまた、画像データに発生する近隣のギャップを減少することができる。したがって、本実施例では、カメラ（４０）によって取得された画像は、ある程度のオーバーラップを有している。例えば、所定のカメラ（４０）によって取得された画像は、その特定のカメラ（４０）に隣接したカメラ（４０）によって取得された画像に対して、約４２％、又は、４３％のオーバーラップを有してもよい。又は、他の適切なオーバーラップの程度を使用してもよい。
【００４７】
ブロック１０３０，１０４０，１０５０を参照する上記の処理を通じて、タイル画像の適切な相対位置を決定することによって、本実施例の処理は、ブロック１０６０に進む。そこで、タイル画像は、切り出され、位置合わせされ、かつ、つなぎ合わせられて、集合画像を形成する。当然、ブロック１０６０に基づいて生成された集合画像は、つなぎ合わせられた全てのタイル画像を必ずしも具備する必要は無い。例えば、ブロック１０７０の議論の後に一層理解されるように、集合画像は、いくつかのタイル画像、単一のタイル画像、さらに、単一のタイル画像の一部を具備している。ブロック１０６０に基づくつなぎ合わせは、実質的にリアルタイムで実行してもよい（例えば、画像がカメラ（４０）によって取得されつつ、つなぎ合わせられる）ことが理解される。又は、つなぎ合わせは、タイル画像がしばらく蓄積された後など、後で実行してもよい。つなぎ合わせる前、間、又は、後に、タイル画像をオルソ補正（例えば、カメラ（４０）の中心が無限にあるように見えるように）してもよいことが理解される。オルソ補正、又は、類似技術が使用される場合、つなぎ合わせは、各タイル画像内の地物と、地図、又は、モデル上の地物との相関をとることによって実行してもよい。そのような補正は、ブロック１０３０を参照する上記のコーナー検出の代わりに（又は、加えて）使用してもよい。他の適切なつなぎ合わせ技術が、当業者には明らかである。
【００４８】
上記のように、ユーザには、ブロック１０６０で生成された画像内にパン、チルト、及び／又は、ズームの効果がある「仮想パン・チルト・ズーム（ＰＴＺ）カメラ」を設けてもよい。したがって、ユーザは、ユーザインターフェースを介して、広角画像（又は、選択されたビュー内）の選択された部分を選択的に見ることができる。したがって、ブロック１０７０に示すように、ユーザのＰＴＺ選択を受け取ってもよい。そのようなＰＴＺ選択は、ユーザによって希望された画像領域、透視ビュー、及び／又は、ズームレベルを示してもよい。そのようなＰＴＺ選択に応答して、ブロック１０８０に示すように、選択されたＰＴＺビューに対応する集合の画像の領域を抽出してもよい。
【００４９】
カメラ（４０）が動いているプラットフォーム（例えば、飛行中の航空機（１０））に配置されている場合は、タイル画像がブロック１０００に基づき取得されると、ブロック１０８０に基づき抽出されたＰＴＺビューは、プラットフォームとともに「動く」傾向があることが理解される。そのような動きが望まれず、かつ、抽出されたＰＴＺビューが、固定位置のプラットフォームに取り付けられたカメラ（４０）によって取得されたように見えることを望む場合、静止した視点、又は、固定の視点の見た目を供給するために、追加的な処理を使用してもよい。したがって、ブロック１０９０に示すように、グローバルモーション推定、及び、調整を実行してもよい。そのような処理は、抽出されたＰＴＺビューから、そのような動きを本質的に取り消すことによって、プラットフォームの動きを考慮してもよい。
【００５０】
グローバルモーション推定は、多様な方法で実行してもよい。例えば、１実施形態では、グローバルモーション推定方法は、ランダムサンプルコンセンサスアルゴリズム（ＲＡＮＳＡＣ：random sample consensus algorithm）を具備している。例えば、ＲＡＮＳＡＣは、カメラ（４０）によって取得された連続フレーム間、又は、画像間に、ホモグラフィ(homography)マッピングを実行することに使用してもよい。本実施例では、これはグローバルレベル（例えば、複数のカメラ（４０）によって同期して取得された画像を使用して）で実行されている。だが、タイルレベル（例えば、単一のカメラ（４０）によって取得された画像を使用して）で実行してもよい。グローバルモーション推定はまた、少なくとも部分的に、ほんの一例として、航空機（１０）の速度、及び、高度などの物理的なパラメータに基づいてもよい。グローバルモーション推定を実行するための他の適切な方法が、当業者には明らかである。同様に、グローバルモーション調整の効果がある適切な方法が、当業者には明らかである。例えば、抽出されたＰＴＺ画像のためのカメラ（４０）のソースを、プラットフォームが動くことに伴って変化させてよく、それによって、抽出されたＰＴＺ画像内で固定された遠近法画像を形成してもよい。
【００５１】
以下の代表的な処理に従ってタイル画像を処理することによって、ブロック１１００に示すように、ユーザの選択に基づき調整されたＰＴＺビューをユーザに供給してもよい。
【００５２】
他の選択的な画像処理動作として、カメラ（４０）によって取得された画像は、カメラ（４０）の視野内の地理的な領域に対応する地理的な地上座標系を用いてレジストレーションしてもよい。そのような「ジオレジストレーション」は、特定のカメラ（４０）のビュー、又は、そのようなビューの一部と、地図上の対応する位置との間に相関を形成してもよい。ジオレジストレーション情報は、任意の適切な技術を使用して取得してもよい。例えば、そのときにカメラ（４０）によって見られた地理的な位置の少なくとも大まかなアイデアを取得するために、航空機（１０）の地理的な位置に関する情報は、ＧＰＳ技術、又は、他の技術を使用して取得してよく、かつ、時間の関数として、カメラ（４０）によって取得された画像と関係付けてよい。解像度、又は、ジオレジストレーション情報の精度は、ほんの一例として、高度情報とともに、選択された画像部分に関するカメラ（４０）の視線方向などの追加的な要素を計上することによって改善してもよい。ジオレジストレーション情報を取得する他の技術は、目立つランドマークなどの既知の地理的な位置を有する対象物を用いて、カメラ（４０）の視野内に検出された対象物を認識するステップ、及び、関連付けるステップ（例えば、対象物認識ロジックを使用して）を具備してよい。ジオレジストレーション情報を取得する他の方法が、当業者には明らかである。
【００５３】
ジオレジストレーション情報は、カメラ（４０）によって取得された画像とともに転送してもよく、又は、別な方法で、カメラ（４０）によって取得された画像に関するデータに基づき取得可能であってもよい。例えば、ジオレジストレーションは、航空機（１０）内、地上局（１４）、及び／又は、他の場所で、実行してもよい。ジオレジストレーション情報が画像とともに転送される場合、そのジオレジストレーション情報を注記として画像に与えるか、又は、別な方法で与えてもよい。
【００５４】
さらに他の選択的な処理動作として、関心のある人、又は、対象物を追跡してもよい（例えば、自動的に）。例えば、そのような追跡は、人／対象物の移動にあわせて、関心のある人／対象物が、表示されるビュー内の実質的に中央を維持するように、ユーザに表示されるビュー（１１００）を自動的に調整するステップを具備してもよい。カメラ（４０）が移動可能なプラットフォーム（例えば、航空機（１０））にマウントされ、関心のある人／対象物が、別の方法で、プラットフォームにマウントされたカメラ（４０）の集合の視野を離れる場合、さらに、自動化された追跡をプラットフォームの移動（例えば、自動制御によって、パイロットに追跡ナビゲーション情報を提供することによって、など）に持ち越してもよい。追跡は、タイル画像レベル、及び／又は、全体が融合された画像レベルで発生してもよい。追跡の効果がある他の方法が、当業者には明らかである。
【００５５】
追跡が始動されるいくつかの方法があることが理解される。例えば、追跡が特定の対象物、人、イベントなどの認識によって始動されるように、画像処理は、対象物認識、顔の特徴認識などを具備してもよい。又は、追跡の変形形態として、対象物／顔／イベント認識は、カメラ（４０）の集合の視野内の特定の対象物／顔／イベントを検出することに使用してよく、かつ、認識された対象物／人／イベントのズームインされたビューを自動的に供給してよい。追跡はまた、ユーザインターフェースを通じて、供給されたユーザ選択に従って始動してもよい。例えば、ユーザは、関心のある対象物を「クリック」するか、又は、関心のある対象物を指定するための入力を他の形態で与えてもよく、それに従って、指定された対象物を追跡してもよい。追跡の始動は、自動、及び、手動の組み合わせであってもよい。例えば、認識アルゴリズムは、関心のある人、又は、対象物を認識し、かつ、ユーザインターフェースにより、どの人、又は、どの対象物が追跡されるか否かを判断するため、選択することをユーザに表示してもよい。本実施形態では、追跡が正当であるかを判断するため、ユーザは、さらなる調査のために人、又は、対象物にズームインしてもよい。追跡を望むならば、ユーザは、ユーザインターフェースを通じて、同じことを表示してもよく、それに従って、人、又は、対象物を追跡してもよい。追跡が利用可能な場合、追跡を始動するためのさらに他の方法を使用してもよいことが理解される。
【００５６】
以下の処理は単に例示的であって、任意の動作は変更され、代用され、補足され、又は、省略されることが理解される。動作はまた、順序を変更してよく、かつ、同様に、１つの動作の出力を前の動作の２回目の繰り返しのための入力としてフィードバックしてもよい。例えば、ブロック１０６０で生成された集合の画像は、ブロック１０７０で受け取ったユーザのＰＴＺ選択に対応して補正され、かつ、つなぎ合わせられたタイル画像だけを具備してもよい。したがって、ユーザが指示する関心領域に対応する画像データの部分だけが処理されるように、ユーザのＰＴＺ選択に基づき、画像処理をストリームライン化してもよいことが理解される。又は、蓄積、又は、他の目的などのために、ユーザが指示する関心領域以外のタイル画像を処理してもよい。
【００５７】
処理は種々の場所にあるハードウエアで実行してもよいことが理解される。例えば、調整されたＰＴＺビューがプラットフォームからユーザに転送されるように、処理は、実質的にカメラ（４０）を備えたプラットフォーム（例えば、航空機（１０）内に配置された）と共通に配置されるハードウエアで実行してもよい。又は、登録されたタイル画像をカメラ（４０）プラットフォームから遠隔地に転送してもよく、そこで、ハードウエアがブロック（１０２０，１０３０，１０４０，１０５０，１０６０，１０７０，１０８０，１０９０，１１００）に対応する動作を実行する。画像処理動作が種々の場所にあるハードウエアに割り当てられるさらに他の方法が、当業者には明らかである。
【００５８】
本実施例では、ユーザインターフェースによって、ユーザは、１又は複数のカメラ（４０）によって取得された１又は複数の画像の少なくとも一部を見ることができ、かつ、さらに、ユーザは、上記のように、入力としてＰＴＺ選択を与えることができる。ユーザインターフェースはまた、インタラクティブ地図などの特徴を組み込んでもよい。カメラ（４０）が動くプラットフォーム（例えば、飛行中の航空機（１０））に取り付けられる場合、インタラクティブ地図は、実質的にリアルタイムで、カメラ（４０）の集合の視野内の地理的な領域を可視化して表示してもよい。インタラクティブ地図によって、ユーザはまた、関心のある地理的な領域を選択することができ、かつ、そのような領域のＰＴＺビューが、その選択に応答して供給される。したがって、インタラクティブ地図は、上記のＰＴＺ選択を実行するための装置を提供してもよい。インタラクティブ地図を使用して指示された関心領域が、現在、カメラ（４０）の視野内にない場合、その関心領域を指示する地図を用いたユーザの相互作用によって、指示された関心領域がカメラ（４０）の視野内にある位置に航空機（１０）を移動してもよい。故に、インタラクティブ地図は、航空機（１０）（又は、他の車両）を遠隔に制御し、加えて、ＰＴＺ選択を実行するための装置を提供してもよい。インタラクティブ地図は、他の適切な特徴を有してもよい。
【００５９】
他の単に具体的な実施例として、ユーザインターフェースは、発明の名称を「没入型監視システムインターフェース」とする、米国出願公開第２００６／００３３８１３号に説明されたユーザインターフェースのいずれかとの類似性を具備しているか、又は、共有してもよい。なお、その開示は、引用により本明細書に組み込まれている。例えば、本明細書に説明された集合の画像は、その公報に説明された正方形の画像に類似した方法で表示してもよい。本明細書に説明されたＰＴＺ選択、及び、ビューは、その公報に説明されたＰＴＺ選択、及び、ビューに類似した方法で、それぞれ、実行され、かつ、表示される。又は、その公報に説明されたユーザインターフェースは、本実施例、及び、その変形形態に適合するように、他の適切な方法で変形してよい。ユーザインターフェースが提供されるさらに他の方法が、当業者には明らかである。本明細書に記載された画像取得システムと、米国出願公開第２００６／００３３８１３に記載されたシステムなどの画像取得システムとを組み合わせ、かつ、その組み合わせられた画像取得システムによって供給されたビューは、その公報に説明された相関方法の使用を含む、種々の方法で関連付けられるが、限定はされないことも理解される。
【００６０】
上記に説明されたカメラマウント（２０）、カメラ（４０）、及び、画像処理を用いた画像取得システムは、種々の方法で使用してよいことが、当業者には理解される。いくつかの代表的な利用が以下に説明される一方で、そのような実施例は、任意の方法を網羅することを意図していない。実際、以下に説明された変形形態を含む、他の利用の多様性は、限定はされないことが、当業者には明らかである。
【００６１】
１つの代表的な利用は、テロリスト爆撃リトレースである。例えば、カメラ（４０）を備えたカメラマウント（２０）は、気球（又は、他の空中プラットフォーム）内に配置してよい。なお、カメラ（４０）は、気球が都市領域上空に浮かんでいる間、都市領域の画像を持続的に取得している。カメラ（４０）によって取得された画像は蓄積、及び／又は、レビューのために、気球内に配置された記憶デバイスに蓄積してよく、及び／又は、遠隔地（例えば、地上局（１４））に転送してよい。自動車爆弾、又は、他のデバイスが爆発すれば、カメラ（４０）によって取得された画像は、爆発の詳細のためにレビューしてもよい。例えば、ユーザインターフェースによって、ユーザは、爆発が発生した画像の領域にズームインすることができ、次いで、爆弾源を決定するためにビデオを通じてバックトラックすることができる。自動車爆弾の場合、ユーザインターフェースによって、ユーザは、カメラ（４０）によって取得されたビデオを「巻戻す」ことができ、使用された自動車タイプ、その爆発前の自動車によって運連されたルート、自動車の出所、運転手の識別などを判断することができる。カメラ（４０）、及び、ユーザインターフェースはまた、次の爆発の活動を評価することに使用してもよい。例えば、カメラ（４０）によって取得されたビデオは、爆発のシーンを逃れるテロリストを探し、かつ、追跡するために、モニターしてもよい。画像取得システムが都市領域の至る所に固定的に配置された他のカメラ（例えば、ＰＴＺカメラなど）をさらに具備する場合、カメラ（４０）を使用して取得されたビューは、人々、場所、イベント（例えば、爆発）、又は、関心のある物の追加的な視点を供給するために、その固定されたカメラによって取得されたビューと関連付けてよい。カメラ（４０）が爆弾事件、又は、類似の事件に関する情報を提供することに利用される他の方法は、当業者には明らかである。
【００６２】
カメラマウント（２０）上のカメラ（４０）の他の代表的な利用は、軍事査察、又は、類似の目的のための戦術的な「上空の目」ビューの供給である。例えば、カメラ（４０）を備えたカメラマウント（２０）は、航空機（１０）内に配置してよい。なお、カメラ（４０）は、航空機（１０）が敵地、又は、未知の地域を飛行する間に、画像を取得する。カメラ（４０）によって取得された画像は、実質的にリアルタイムで、地上局（１４）に配置された軍事指揮要員に転送してよい。数人のユーザ（例えば、さまざまな位置で）が、カメラ（４０）によって取得された集合の画像の同じか、又は、異なる部分を同期して見ることが理解される。航空機（１０）、及び、カメラ（４０）によって、指揮官は、人の偵察者を使用する必要がなく、かつ、実質的にリアルタイムで、例えば、丘の向こう側の活動、又は、対象物、又は、他の関心のある遠隔地をインタラクティブに見ることができる。ユーザインターフェースは、はじめにユーザに広角画像を供給し、次いで、ユーザは、より近づいた、高解像度のビューのための関心領域を選択することができる。関心領域の地理的な位置に関する情報はまた、ユーザインターフェースを介して、ユーザに転送してよい。ユーザインターフェースによって、さらに、そのユーザは、航空機（１０）を遠隔に制御することができ、加えて、そのユーザは、広角ビデオ画像内に「仮想パン・チルト・ズームカメラ」効果をもたらすことができる。又は、航空機（１０）は、動いている人々（１２）、又は、関心のある対象物の持続的な高解像度ビューを供給するため、及び／又は、それらのターゲット情報を供給するために、その人々（１２）、又は、関心のある対象物を自動的に追跡してもよい。他の適切な偵察利用、又は、類似の利用が、当業者には明らかである。
【００６３】
さらに他の代表的な利用は、国境警備である。本実施例では、カメラ（４０）を備えたカメラマウント（２０）は、国境上を持続的に飛行、又は、ホバリングする航空機（１０）内に配置してよい。カメラ（４０）によって取得された画像は、国境往来者を自動的に検出する（例えば、モーション検出、及び／又は、対象物認識ロジックを使用して）ために、処理してもよい。国境往来者が自動的、又は、他の方法で検出されると、国境往来者によって占められた広角画像の一部をズームインしてよく、かつ、国境往来者を自動的に追跡してよい。国境往来者が、他の方法で、航空機（１０）内のカメラ（４０）の集合の視野を離れた場合、さらに、そのような自動追跡を航空機（１０）飛行の制御に持ち越してもよい。国境往来者の画像は、国境往来者の地理的な位置に関する情報とともに、国境往来者の存在の警告を備えて、地上局（１４）に転送してよい。他の代表的な利用として、画像取得システムは、都市領域の至る所に固定的に配置された他のカメラ（例えば、ＰＴＺカメラなど）をさらに具備し、カメラ（４０）を使用して取得されたビューは、人々、場所、又は、関心のある物の追加的な視点を供給するために、その固定カメラによって取得されたビューと関連付けてよい。又は、カメラマウント（２０）とカメラ（４０）との組み合わせを、他の適切な方法で設定する国境警備に使用してもよい。同様の実装は、仮想セキュリティ（例えば、建物の監視）を具備してもよい。
【００６４】
本発明の多様な実施形態を示し、かつ、説明したが、本明細書に記載された方法、及び、システムのさらなる改良は、本発明の範囲を逸脱することなく、当業者による適切な変形例によってなされうる。そのような潜在的な変形例のいくつかが言及されたが、他の変形例が当業者には明らかである。例えば、上記の実施例、実施形態、幾何学的形状、材料、寸法、比率、ステップなどは、例示であって限定されるものではない。したがって、本発明の範囲は、特許請求の範囲に関して取り扱われ、かつ、明細書、及び、図面に示され、かつ、説明された構造、及び、処理の詳細によって限定されないことが理解されなければならない。
【図面の簡単な説明】
【００６５】
【図１】図１は、代表的な画像取得及び転送システムを示している。
【図２】図２は、カメラアレイの代表的なマウントの鳥瞰図を示している。
【図３】図３は、３−３線に沿った図２のマウントの断面図を示している。
【図４】図４は、マウントにマウントされた複数のカメラを備えた図２のマントの鳥瞰図を示している。
【図５】図５は、５−５線に沿った図４のマウントの断面図を示している。
【図６】図６は、図２のマウントにカメラを取り付けるのに適合した代表的なカラーの鳥瞰図を示している。
【図７】図７は、図６のカラーの断面図を示している。
【図８】図８は、胴体に固定された図２のマウントの断面図を示している。
【図９】図９は、代表的なレンズアセンブリの分解図を示している。
【図１０】図１０は、図９のレンズアセンブリの断面図を示している。
【図１１】図１１は、図９のレンズアセンブリのレンズ要素を通過する光を示している。
【図１２】図１２は、図９のレンズアセンブリにおける使用に適合した代表的な代替のレンズ要素を通過する光を示している。
【図１３】図１３は、図２のマウントにマウントされた図９のレンズアセンブリの部分断面図を示している。
【図１４】図１４は、代表的な画像処理方法の動作を表すフローチャートを示している。
【符号の説明】
【００６６】
１０  航空機
１２  人々
１４  地上局
２０  カメラマウント
２２  凸部
２４  縁部
２６  外表面部
３０  開口部
【図１】
2009527150.tif 000003
【図２】
2009527150.tif 000004
【図３】
2009527150.tif 000005
【図４】
2009527150.tif 000006
【図５】
2009527150.tif 000007
【図６】
2009527150.tif 000008
【図７】
2009527150.tif 000009
【図８】
2009527150.tif 000010
【図９】
2009527150.tif 000011
【図１０】
2009527150.tif 000012
【図１１】
2009527150.tif 000013
【図１２】
2009527150.tif 000014
【図１３】
2009527150.tif 000015
【図１４】
2009527150.tif 000016
【国際調査報告】
2009527150.tif 000017
2009527150.tif 000018
2009527150.tif 000019
2009527150.tif 000020
2009527150.tif 000021