(57)【要約】パノラマ映像化システム２０は、オーバーラップする視野１４を有する複数のカメラを有する。ポインティング・デバイス２２は、ビューポート方向情報を処理システム２１に供給し、処理システムは、視野１４を結合して、カメラ１２によって撮像されたパノラマビューを表すパノラマビュー・データを生成し、ビューポートの方向に沿うビューポート・データを生成する。処理システムはビジョン処理ボードを用いる。表示装置２６は、画像領域を示すビューポート１１３のデータを映す。処理システムは、カメラの相対位置、個々のカメラのレンズ歪曲、ロール、ピッチ、ヨーに関して補正を行なう。本システムは、自動的にビューポートを動かして対象を追跡する自動追跡アセンブリを含んでもよく、処理システムは、複数のユーザーが複数のビューポートを見ることができるようにしてもよい。カメラは車両７００に搭載される。
2006503375.tif 000002
【特許請求の範囲】
【請求項１】
それぞれのカメラがその視野（１４）から画像データを生成し、それぞれのカメラの視野（１４）が隣接する視野（１４）とオーバーラップする複数のカメラ（１２）と、
ビューポート（１１３）方向情報を供給するためのポインティング・デバイス（２２）と、
前記ビューポート（１１３）方向情報と前記複数のカメラからの前記画像データとを受信し、前記受信したビューポート（１１３）方向情報に応じて、前記受信した画像データからビューポート（１１３）データを生成する処理システム（２１）と
を備え、
当該処理システム（２１）が、オーバーラップする視野からの前記画像データを結合して、パノラマビューを表すパノラマビュー・データを生成し、前記ビューポート（１１３）データは、前記ビューポート（１１３）方向情報によって選択された前記パノラマビューの一部を表し、当該処理システム（２１）が、前記複数のカメラ（１２）の相対位置に関してビューポート（１１３）データを補正する、パノラマ映像化システム（２０）。
【請求項２】
前記処理システム（２１）が、動く対象を自動的に追跡する、請求項１に記載のパノラマ映像化システム（２０）。
【請求項３】
前記処理システム（２１）が、ロール、ピッチ、またはヨーに関して前記ビューポート（１１３）データを補正する、請求項１に記載のパノラマ映像化システム（２０）。
【請求項４】
前記複数のカメラ（１２）が、移動車両（７００）に搭載されている、請求項１に記載のパノラマ映像化システム（２０）。
【請求項５】
それぞれのカメラがその視野（１４）から画像データを生成し、それぞれの視野（１４）が隣接する視野（１４）とオーバーラップする複数のカメラ（１２）と、
第１ビューポート（１１３）方向情報を供給するための第１ポインティング・デバイス（２２）と、
第２ビューポート（１１３）方向情報を供給するための第２ポインティング・デバイス（２２）と、
前記第１ビューポート（１１３）方向情報、前記第２ビューポート（１１３）方向情報、および前記複数のカメラ（１２）からの前記画像データを受信し、前記受信した第１ビューポート（１１３）方向情報に応じて、前記受信した画像データから第１ビューポート（１１３）データを生成し、さらに、前記受信した第２ビューポート（１１３）方向情報に応じて、前記受信した画像データから第２ビューポート（１１３）データを生成する処理システム（２１）と
を備え、
当該処理システム（２１）が、オーバーラップする視野からの画像データを結合して、パノラマビューを表すパノラマビュー・データを生成し、前記第１ビューポート（１１３）データは、前記第１ビューポート（１１３）方向情報によって選択された前記パノラマビューの一部を表し、前記第２ビューポート（１１３）データは、前記第２ビューポート（１１３）方向情報によって選択された前記パノラマビューの一部を表し、少なくとも１つのビューポートが、動く対象を自動的に追跡する、パノラマ映像化システム（２０）。
【請求項６】
前記第１ビューポート（１１３）データを表示するための第１表示装置（２６）と、前記第２ビューポート（１１３）データを表示するための第２表示装置（２６）とをさらに含む、請求項５に記載のパノラマ映像化システム（２０）。
【請求項７】
制御情報を生成する制御アセンブリをさらに含み、前記処理システム（２１）が、前記制御情報に基づいて前記第１ビューポート（１１３）データを生成する、請求項５に記載のパノラマ映像化システム（２０）。
【請求項８】
レンズを有する複数のカメラを、オーバーラップする視野を有する画像を該カメラが生成するように配置するステップと、
ビューポート方向情報を取得するステップと、
前記ビューポート方向情報により選択されたパノラマビューの一部を表すパノラマビュー・データを生成するように、かつ、カメラレンズにより引き起こされる歪曲が補正されるように画像を処理するステップと
を含むパノラマビュー映像化方法。
【請求項９】
前記処理ステップが、動く対象を自動的に追跡する、請求項８に記載のパノラマ映像化システム（２０）。
【請求項１０】
車体（７００）と、
前記車体に搭載され、それぞれのカメラがその視野（１４）から画像データを生成し、それぞれのカメラの視野（１４）が隣接する視野（１４）とオーバーラップする複数のカメラ（１２）と、
ビューポート（１１３）方向情報を供給するためのポインティング・デバイス（２２）と、
前記ビューポート（１１３）方向情報と前記複数のカメラ（１２）からの前記画像データとを受信し、前記受信したビューポート（１１３）方向情報に応じて、前記受信した画像データからビューポート（１１３）データを生成する処理システム（２０２）と
を含み、
当該処理システム（２０２）が、オーバーラップする視野からの前記画像データを結合して、パノラマビューを表すパノラマビュー・データを生成し、前記ビューポート（１１３）データは、前記ビューポート（１１３）方向情報によって選択された前記パノラマビューの一部を表し、当該処理システム（２０２）が、動く対象を自動的に追跡する、車両ビジョンシステム（２００）。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
[0001]本出願は、２００２年１０月１８日付けで出願された米国特許仮出願第６０／４１９４６２号の利益を主張するものであり、これを参照により本明細書に援用する。
【発明の分野】
【０００２】
[0002]本発明は、ある領域のパノラマ映像化を得るために複数のカメラを用いることに関する。
【関連技術の説明】
【０００３】
[0003]装甲車両、例えば軍用車両または警備車両の乗員は、多くの場合、彼ら自身を敵にさらすことなく、彼らの車両の周囲で起こっていることを観察する必要がある。従来、防弾ガラス・プリズムブロックが、このために用いられてきた。
【０００４】
[0004]つい最近では、ジンバル式搭載カメラが、フラットパネル・ディスプレイ（ＦＰＤ）またはヘルメット搭載ディスプレイ（ＨＭＤ）に表示されるパノラマビューを提供するのに用いられてきた。そのようなシステムでは、視方向は、通常、ジンバル式搭載カメラの視方向を変えることによって調節可能である。多くの場合、ジョイスティックまたはヘッドトラッカーのようなポインティング・デバイスにより、視方向は制御される。ヘッドトラッカーを用いると、観察者により見られるであろうものに一致するように、視方向を設定することができ、それにより、きわめて直感的に理解可能な、ある領域を見る方法が提供される。
【０００５】
[0005]装甲軍用車両の周囲で起こっていることを観察するための別のアプローチは、全方向からの画像を取得するように、車両の外側に一組のカメラを配置することである。これらの画像を集めて電子的に処理することで、所望の視方向に沿う画像を提供することができる。そのような提供された画像を、本明細書中ではビューポートと呼ぶ。そのようなアプローチの一例は、Beltらの、"Combat Vehicle Visualization System," Proceedings of SPIE, v.4021, p.252 (2000)に見られる。
【０００６】
[0006]上記のアプローチは、それらが、装甲軍用車両の乗員を危険にさらすことなく、パノラマ映像化を可能とし、そのため敵性環境においてきわめて有利である点で有益であるが、それらは最良ではない。プリズムブロックは有益であるが、そのようなブロックは、水平方向および垂直方向の両方において制限されたビューを提供するものである。ジンバル式搭載カメラは、固有の機械的な動作遅延によって、所望のビューポートを変更可能な速度が制限される点で、難点を有している。さらに、マルチ・カメラシステムは、画像の取込みおよび処理のために、大きく、かさばり、きわめて精巧で、かつ高価な専用コンピュータがそれらには必要であるという、深刻な難点に苦しめられていた。
【０００７】
[0007]したがって、専用コンピュータを必要としないマルチカメラ・パノラマ映像化システムは有益であろう。隣接する視野をともに継ぎ目無しに結合するようなマルチカメラ・パノラマ映像化システムは、特に有用であろう。やはり有用であろうものは、複数のユーザーが彼ら自身の視方向を選択できるようにするマルチカメラ・パノラマ映像化システムである。レンズ歪曲、ならびにロール、ピッチ、およびヨーのようなさまざまな画像形成の問題に関して補正を行うマルチカメラ・パノラマ映像化システムもまた有益であろう。応用によっては、パノラマビュー領域内で動く対象を手動および／または自動で追跡することができるマルチカメラ・パノラマ映像化システムが非常に有用であろう。
【発明の概要】
【０００８】
[0008]本発明の原理は、専用コンピュータを必要としないが、隣接する視野を継ぎ目無しにともに結合することができる、新規なマルチカメラ・パノラマ映像化システムに備えるものである。そのようなマルチカメラ・パノラマ映像化システムは、複数のユーザーが彼ら自身の視方向を選択できるようにして、動く対象を手動および／または自動で追跡することができるようにして、ならびに、レンズ歪曲や、ロール、ピッチ、およびヨーの補正といった、さまざまな画像形成の問題に関して補正を行うようにして、実施することができる。
【０００９】
[0009]本発明に従うパノラマ映像化システムは、それぞれのカメラがカメラの視野からの画像データを生成する複数のカメラを含んでいる。さらに、それぞれのカメラの視野は、隣接する視野とオーバーラップしている。ポインティング・デバイスが、ビューポート方向情報を処理システムに供給し、処理システムはまた、カメラから画像データを受信する。処理システムは、好ましくは、オーバーラップする視野からの画像データを結合して、カメラにより撮像されたパノラマビューを表すパノラマビュー・データを生成する。それから処理システムは、パノラマビュー・データに基づいて、ビューポートの方向に沿うビューポート・データを生成する。処理システム自体は、ビジョン処理ボードを含んでいる。
【００１０】
[0010]ヘルメット搭載ディスプレイ、ＣＲＴ、またはフラットパネル・ディスプレイのような表示装置を用いてビューポート・データを映し出すことができる。実際には、好適なポインティング・デバイスは、マウス、ヘッドトラッカー、タッチスクリーン、またはジョイスティックでありうる。
【００１１】
[0011]さらに、処理システムは、それぞれのカメラの相対位置に関して、それぞれのカメラのレンズ歪曲に関して、ならびに、ロール、ピッチ、およびヨーに関して補正を行うことが有効である。しかし、レンズ歪曲を処理する補正方法は、そのようなレンズ歪曲がカメラによって処理される場合、または許容範囲内にある場合には、省くことができる。
【００１２】
[0012]パノラマ映像化システムは、ビューポート・データを制御する制御情報を生成する制御アセンブリを含んでもよい。加えて、パノラマ映像化システムは、自動的にビューポートを動かして、動く対象を追跡する自動追跡アセンブリを含んでもよい。さらに、パノラマ映像化システムは、複数のポインティング・デバイスを含んでもよく、また、処理システムは、複数のビューポートを生成し、複数のユーザーがそれぞれのユーザーによって選択された領域を映像化することを可能としてもよい。そのようなシステムにおいては複数の表示装置を用いてもよい。有用には、パノラマ映像化システムは、移動車両（例えば戦車）に搭載されたカメラを用いて実施してもよい。
【００１３】
[0013]本発明の上記列挙した特徴が得られる様式が詳細に理解できるように、上で簡単に概要を述べた本発明のより詳細な説明が、添付の図面に示した本発明の実施形態を参照することにより得られる。
【００１４】
[0014]しかし、添付の図面は単に本発明の典型的な実施形態のみを例示するものであり、したがってその範囲を限定するものとして考えられるべきではなく、なぜなら本発明は、他の等しく有効な実施形態を許容しうるものだからであるということに留意すべきである。
【好ましい実施形態の詳細な説明】
【００１５】
[0022]本発明の原理は、専用コンピュータを必要としない、マルチカメラ・パノラマ映像化システムに備えるものである。本発明の原理に従うパノラマ映像化システムは、隣接する視野をともに継ぎ目無しに結合することができる。さらに、実施形態によっては、複数のユーザーが彼ら自身の視方向を選択できるようにすることができる。さらに、他の実施形態は、パノラマビュー領域内で動く対象を手動および／または自動で追跡するように構成することができる。
【００１６】
[0023]ここで図１を参照すると、本パノラマ映像化システムは、複数の撮像カメラ１２を含んでいる。好ましくは、撮像カメラは、カメラ位置に関係する変換パラメータを校正手順中に決定することができるように、決められた相対位置に配置される。これらの変換パラメータを順次用いて、共通の座標フレームを全てのカメラおよび全てのビューに提供する。図１は複数のカメラの平面図であるが、外向き画像形成ミラーに面する垂直に向けられたカメラのような、他の向きのものも可能である。加えて、さまざまなレンズ特性に関係するレンズ歪曲補正パラメータもまた、校正手順中に決定することができる。レンズ歪曲補正パラメータは、特に隣接する視野を結合するときに、光学性能改善を可能とする。
【００１７】
[0024]図２は、撮像カメラ１２の視野１４を示している。これらの視野は、本システムのパノラマビュー全体を画定している。視野１４は、隣接する視野１４の継ぎ目無しの結合を可能とするようにオーバーラップ１６とするのが有用である。図１および図２は円形に配置された撮像カメラ１２および視野１４を示しているが、これは必要条件ではない。本発明の原理は、他の被写域（例えば４５°）を有し、かつ異なるカメラ配置設定を有する複数のカメラに適用可能である。したがって、３つ以上の視野１４がオーバーラップしうる配置でカメラを配置することができる。
【００１８】
[0025]図３は、撮像カメラ１２からの画像データを電子的に処理する処理システム２１を含むパノラマ視像システム２０を示している。パノラマ視像システム２０はまた、１つ以上のポインティング・デバイス２２、１つ以上の制御アセンブリ２４、および１つ以上の表示装置２６をも含んでいる。ポインティング・デバイスおよび制御アセンブリは、所望のビューポートに関連する情報（下記参照）、視野情報、およびオペレーター制御情報を、処理システム２１に供給する。表示装置は、ユーザーに、当該ビューポートの画像を提供する。
【００１９】
[0026]処理システム２１には、ウィンドウズ・オペレーティングシステムを用い、かつ、専用処理ボードを受け入れるＰＣＩバスを有するパーソナルコンピュータ（ＰＣ）等のＰＣが含まれる。そのような専用処理ボードには、Pyramid Vision Technologies, Inc.製のAcadiaビジョンアクセラレータのようなビジョン処理ボードが含まれる。典型的なポインティング・デバイス２２は、キーボード、マウス、ジョイスティック、トラックボール、タッチスクリーン、またはヘッドトラッカーでありうる。典型的な制御アセンブリ２４には、前方ビューと後方ビューとの間で切り換える電気スイッチ、およびズーム調整つまみが含まれうる。典型的な表示装置は、フラットパネル・ディスプレイ、ＣＲＴ、またはヘルメット搭載ディスプレイでありうる。また、表示装置はカメラまたはメモリーのような記録装置でありうるということにも留意すべきである。
【００２０】
[0027]パノラマ視像システム２０は、かなりの量の画像処理を必要とする。図４は、好適な画像処理システム１００の一実施形態を示している。図４は、処理ステップを示すフローチャートと、複数のモジュールを有する処理システムのブロック図との両方を示しているということに留意すべきである。
【００２１】
[0028]画像処理システム１００は、撮像カメラ１２から、オーバーラップする視野１６の画像情報を受信する。受信された画像情報はマルチプレクサ１１０に与えられ、マルチプレクサ１１０は、撮像カメラからのさまざまなストリームの中から選択する。選択された映像ストリームは、ポインティング・デバイス２２からの、および制御アセンブリ２４からの情報に基づくものである（図３参照）。例えば、ここで図２を参照すると、画像処理システム１００は、射手のヘッドトラッカーに基づいて対象、例えば画像領域１１３内の敵を追跡しうる。
【００２２】
[0029]図４を再び参照すると、校正中に決定されたレンズ歪曲補正パラメータに基づいて、歪んだカメラ画像は、レンズ歪曲については、射影的流れ場、または非射影的流れ場すなわち区分的（タイル張りされた）二次変換によって射影的流れ場を近似するものを用いたモジュール１２０によって補正される。レンズ歪曲が補正された映像ストリームは、それから、モジュール１３０によって、実際上のロール、ピッチおよび／またはヨーに関して、射影的に補正される。調整された映像ストリームは、それから、モジュール１４０によってともに結合され、継ぎ目無しのパノラマを与える。継ぎ目無しのパノラマは、それから、モジュール１５０によって、ビューポートとしてディスプレイに供給される。所望の画像領域１１３を表示するこのビューポートは、実際上のカメラの回転、レンズ歪曲および他の人工的なものを除去するようにして電子的に調整されたものである。ビューポートは、実際に画像領域１１３の方向に向けられたカメラから得られるであろうビューと同じ、または非常に近いものである。画像処理システム１００の大部分は、Acadiaビジョンアクセラレータ・ボードのような単一のビデオ処理ボードを用いて実現されるということに留意すべきである。このように、ビジョンアクセラレータは、メインコンピュータの計算の要求仕様を低くする。
【００２３】
[0030]パノラマ視像システム２０は、同じ組のカメラが別々の方向のビューを別々の観察者に対して同時に与えることができるという点において、ジンバル式システムよりも有利である。さらに、パノラマ視像システム２０は、より高速であり、実際上のカメラのパン、ティルト、およびロールを除去するものである。従来のジンバル式システムは、通常、ロールを除去することはできない。さらに、パノラマ視像システム２０は、動く部分を有さず、また、間の点を通してパンする必要なく、ビューポートからビューポートへと「ジャンプ」する能力を有している。
【００２４】
[0031]図３に示すパノラマ視像システム２０は有用であるが、応用によっては、最良ではないかも知れない。例えば、図５は、処理システム１７０が複数のビデオ処理カードを含み、そのうちの２枚（カードＡおよびカードＢ）が示されている、本発明の一実施形態を示している。図５はさらに、任意選択のプリプロセッサ１７５を示している。作動中、撮像カメラ１２からの画像データは、カードＡおよびカードＢの両方に並列に与えられる。用いられる場合には、プリプロセッサ１７５は、入力画像データをデジタル処理して、共通の作業、例えばレンズ歪曲補正を遂行する。カードＡおよびＢは、さらに、制御アセンブリ２４から並列の情報を受信する。しかし、それぞれのカードは、別のポインティング・デバイス２２からポインティング情報を受信する。これにより、２人のユーザーが別々のビューポートを見ることが可能とされる。さらに、任意選択のプリプロセッサ１７５により、１つのプリプロセッサがすべてのカードに共通の作業を処理することが可能とされる。
【００２５】
[0032]本発明の別の実施形態を図６に示す。図６は、自動追跡モジュール２０５を有する処理システム２０２を含むパノラマ視像システム２００を示している。自動追跡モジュール２０５は、撮像カメラ１２から画像データを受信する。自動追跡モジュールはまた、動く対象が含まれうる画像領域１１３（図２参照）を識別する、ポインティング・デバイス２２からの情報をも受信する。撮像カメラからの画像データにおける変化、および制御アセンブリ２４からの制御情報に基づいて、自動追跡モジュールは、自動的にそのビューポートを移動させて、動く対象を追跡する。動く対象の検出は、適用可能な技術分野の当業者には周知である。例えば、２０００年６月２７日付けでHansenらに交付された米国特許第６０８１６０６号、および、２００２年８月１３日付けでWixsonに交付された米国特許第６４３４２５４号を参照。
【００２６】
[0033]また、図６を参照すると、かわりに、制御アセンブリ２４からの制御情報およびポインティング・デバイス２２からの情報は、動く目標を見つけるためにビューポートを手動で合わせられるようなものとすることができる。そして、動く目標の自動追跡は、オペレーターまたはソフトウエア・ルーチンによって開始することができる。
【００２７】
[0034]本発明の原理は、装甲軍用車両または警備車両のような移動車両の乗員を守るのに用いることができる。そして、そのような乗員は、彼ら自身を敵にさらすことなく、車両の周囲で起こっていることを観察することができる。例えば、図７は、カメラ１２が戦車車体に外側に搭載された、戦車７００に取り付けられたパノラマ視像システムを示している。戦車７００内の１人又は複数のオペレーターは、ポインティング・デバイスを用いて、ビューポート方向情報を処理システムに供給する。
【００２８】
[0035]上記のものは、本発明の好ましい実施形態に向けられているが、本発明の基本的な範囲から逸脱せずに本発明の別のさらなる実施形態を案出することができ、その範囲は、添付の特許請求の範囲によって定められる。
【図面の簡単な説明】
【００２９】
【図１】ある領域のパノラマビューを提供するように構成された複数の撮像カメラの平面図である。
【図２】図１に示す複数の撮像カメラのオーバーラップする視野を示している。
【図３】本発明の原理に従うパノラマ視像システムのブロック図である。
【図４】図３のパノラマ視像システムに用いられる画像処理システムの一実施形態を示している。
【図５】図３のパノラマ視像システムにおける複数のビデオカードの使用法を示している。
【図６】自動追跡モジュールを含むパノラマ視像システムを示している。
【図７】装甲軍用車両に搭載されたパノラマ視像システムを示している。
【図１】
2006503375.tif 000003
【図２】
2006503375.tif 000004
【図３】
2006503375.tif 000005
【図４】
2006503375.tif 000006
【図５】
2006503375.tif 000007
【図６】
2006503375.tif 000008
【図７】
2006503375.tif 000009
【国際調査報告】
2006503375.tif 000010