(57)【特許請求の範囲】
【請求項１】
狭い視野と広い視野とを有するデュアル視野光学画像化システムであって、
画像センサを含む検出器アセンブリと、
シーンから第１電磁放射線を受け取り、前記システムの前記狭い視野に対応する前記第１電磁放射線を出力するように構成されている狭い視野対物光学系と、
前記シーンから第２電磁放射線を受け取り、前記システムの前記広い視野に対応する前記第２電磁放射線を出力するように構成されている広い視野対物光学系と、
前記第１電磁放射線を受け取り、前記画像センサ上にフォーカスするように構成されているイメージャ光学系であり、前記画像センサは、前記第１電磁放射線から狭い視野画像フレームを生成するように構成されている、イメージャ光学系と、
前記広い視野対物光学系と前記イメージャ光学系との間に配置され、前記イメージャ光学系に対して前記第２電磁放射線を選択的に通過させるように構成されている視野選択メカニズムであり、
前記イメージャ光学系は、さらに、前記第２電磁放射線を前記画像センサ上にフォーカスするように構成されており、かつ、
前記画像センサは、さらに、前記第１電磁放射線および前記第２電磁放射線から合せて結合画像フレームを生成するように構成されており、
前記結合画像フレームは、前記狭い視野および前記広い視野の両方からの画像を含んでいる、
視野選択メカニズムと、
前記画像センサに接続され、前記画像センサから前記狭い視野画像フレームおよび前記広い画像フレームを受け取って、処理するように構成されている、画像処理回路であり、画像再構成モジュールを含む、画像処理回路と、
を含み、
前記画像再構成モジュールは、それぞれの結合画像フレームについて、
前記結合画像フレームを受け取り、
先行して保管された狭い視野画像フレームを受け取り、
前記結合画像フレームと前記先行して保管された狭い視野画像フレームとの間のコンテンツの差を判断するために、前記結合画像フレームを前記先行して保管された狭い視野画像フレームと比較し、
広い視野画像フレームを生成するように、前記コンテンツの差に基づいて、前記結合画像フレームから前記狭い視野からの画像を取り除く、
ように構成されている、
デュアル視野光学画像化システム。
【請求項２】
前記視野選択メカニズムは、シャッタを含み、
前記シャッタの少なくとも一部分は、前記第２電磁放射線を前記イメージャ光学系からブロックするように、前記広い視野対物光学系と前記イメージャ光学系との間の光路の中へ選択的に移動可能であり、かつ、前記第２電磁放射線を前記イメージャ光学系まで通過させるように、前記光路の外へ選択的に移動可能である、
請求項１に記載のデュアル視野光学画像化システム。
【請求項３】
前記視野選択メカニズムは、前記第２電磁放射線を通過させる透過部分および前記第２電磁放射線をブロックする遮断部分を有する回転シャッタホイールを含む、
請求項２に記載のデュアル視野光学画像化システム。
【請求項４】
前記視野選択メカニズムは、
前記イメージャ光学系と、前記狭い視野対物光学系および前記広い視野対物光学系の両方との間に配置されたビームスプリッタと、
前記広い視野対物光学系と前記ビームスプリッタとの間に置かれたシャッタであり、前記第２電磁放射線が前記ビームスプリッタに対して方向付けられている開放状態および前記第２電磁放射線が前記ビームスプリッタに到達するのをブッロクされる閉鎖状態を有する、シャッタと、
を含む、請求項３に記載のデュアル視野光学画像化システム。
【請求項５】
前記シャッタが前記閉鎖状態である場合、前記ビームスプリッタは、
前記第１電磁放射線のうち第１部分を前記イメージャ光学系まで通し、前記第１電磁放射線のうち第２部分を反射する、ように構成されており、
前記シャッタが前記開放状態である場合、前記ビームスプリッタは、
前記第１電磁放射線および前記第２電磁放射線を受け取って、結合し、
前記第１電磁放射線のうち前記第１部分を前記イメージャ光学系まで通し、前記第１電磁放射線のうち第２部分を反射し、かつ、
前記第２電磁放射線のうち第１部分を前記イメージャ光学系まで通し、前記第２電磁放射線のうち第２部分を前記第１電磁放射線のうち前記第２部分と共に反射する、ように構成されている、
請求項４に記載のデュアル視野光学画像化システム。
【請求項６】
前記画像処理回路は、さらに、
前記狭い視野画像フレームから生成され、前記狭い視野に対応している第１表示画像、および、前記狭い視野画像フレームと前記結合画像フレームとの組み合わせから生成され、前記広い視野に対応している第２表示画像を出力する、
ように構成されている、
請求項１に記載のデュアル視野光学画像化システム。
【請求項７】
前記画像処理回路は、前記狭い視野画像フレームを連続的に１つずつ保管するように構成されているフレームバッファを含み、かつ、
前記画像再構成モジュールは、前記フレームバッファから前記先行して保管された狭い視野画像フレームを受け取る、ように構成されている、
請求項６に記載のデュアル視野光学画像化システム。
【請求項８】
前記画像処理回路は、前記第２表示画像を生成するために、前記広い視野画像フレームを処理するように構成されている、
請求項７に記載のデュアル視野光学画像化システム。
【請求項９】
光学画像化システムにおいて２つの視野を同時に観察する方法であって、
狭い視野について、画像センサにおいて第１電磁放射線エネルギを収集して、複数の狭い視野画像フレームを生成するステップと、
広い視野について、広い対物光学系を使用して第２電磁放射線エネルギを同時に収集するステップと、
前記第２電磁放射線エネルギを前記画像センサに対して選択的に方向付けるステップと、
前記画像センサにおいて、前記第１電磁放射線エネルギと前記第２電磁放射線エネルギとの組み合わせから複数の結合画像フレームを生成するステップと、
前記狭い視野に対応する第１表示画像ストリームを生成するため、かつ、前記広い視野に対応する第２表示画像ストリームのための複数の広い視野画像フレームを生成するために、前記複数の狭い視野画像フレームと前記複数の結合画像フレームとを処理するステップと、
前記第１表示画像ストリームと前記第２表示画像ストリームとを表示するステップと、
を含み、
前記複数の広い視野画像フレームを生成することは、
画像再構成モジュールで前記結合画像フレームを受け取ること、
前記画像再構成モジュールで先行して保管された狭い視野画像フレームを受け取ること、
前記画像再構成モジュールを用いて、前記結合画像フレームと前記先行して保管された狭い視野画像フレームとの間のコンテンツの差を判断するために、前記結合画像フレームと前記先行して保管された狭い視野画像フレームを比較すること、および、
前記広い視野画像フレームを生成するように、前記結合画像フレームにおける画像から前記先行して保管された狭い視野画像フレームにおける画像を取り除くこと、
を含む、
方法。
【請求項１０】
前記第２電磁放射線エネルギを前記画像センサに対して選択的に方向付けるステップは、
前記第２電磁放射線エネルギを前記画像センサに到達することからブロックするように、前記広い対物光学系と前記画像センサとの間の光路の中へシャッタを選択的に移動するステップ、および、前記第２電磁放射線エネルギが前記画像センサに到達できるように、前記光路の外へ前記シャッタを選択的に移動するステップ、を含む、
請求項９に記載の方法。
【請求項１１】
前記複数の狭い視野画像フレームと前記複数の結合画像フレームとを処理するステップは、前記複数の狭い視野画像フレームのそれぞれ１つを連続的にフレームバッファの中に保管するステップ、を含み、かつ、
前記先行して保管された狭い視野画像フレームを受け取ることは、前記フレームバッファから前記先行して保管された狭い視野画像フレームを受け取ること、を含む、
請求項９に記載の方法。
【請求項１２】
第２表示画像ストリームを生成することは、前記複数の広い視野画像フレームを処理することを含む、
請求項１１に記載の方法。
【請求項１３】
前記画像センサの飽和閾値を動的に調整するステップを、
さらに含む、請求項９に記載の方法。
【発明の詳細な説明】
【背景技術】
【０００１】
遠距離にあるターゲットを検出し、識別するためには、様々な電気光学（electro-optical、EO）センサシステムが狭い視野（narrow  field-of-view、NFOV）を用いて高倍率で動作することが要求される。しかしながら、そうしたシステムのオペレータは、非常に狭い視界（例えば、５度未満）により結果として生じる「ソーダストロー（"soda  straw"）」ビューまたは状況認識の欠如について、しばしば不満を言う。従って、広い視野（wide  field-of-view、WFOV）モードへのアクセスを提供することも、しばしば望ましいものである。従来のデュアルFOVシステムは、両方の視野から同時にエネルギーを収集するために、広い視野が観察されている間には狭い視界を不明瞭にするスイッチングハードウェア又はその逆も同様、または、追加のセンサ、および、ときどきは追加的な光学系のいずれかを必要とする。両方のソリューションは、関連した欠点を有している。複数のセンサおよび複数の光路を提供する必要性は、システムのサイズ（size）、重量（weight）、電力（power）、およびコスト（cost）（しばしば、SWaP-Cとして参照される）メトリクスを不必要に追加する。同時デュアルセンサシステムにおいては、両方のフルモーションビデオ「FMV（"full  motion  video"）」ストリームを維持するために著しい帯域幅が必要とされ、上記のビデオおよび他のシステム機能の品質を潜在的に制限している。広い視野と狭い視野との間のスイッチングは、特に手動切り替えを必要とするシステムにおいて、遅延を生じ、そして、ターゲットについてトラッキングの喪失を生じてしまい、再取得を必要とする。広い視界からエネルギーが収集されている間は、狭い視野が不明瞭であるせいである。
【発明の概要】
【０００２】
態様および実施形態は、単一の画像センサを使用して複数の視野について同時に観察または画像化を提供するように構成された光学システムに向けられている。
【０００３】
一つの実施形態に従って、第１視野と第２視野とを有するデュアル視野光学画像化システムは、画像センサを含む検出器アセンブリ、シーンから第１電磁放射線を受け取り、システムの第１視野に対応する第１電磁放射線を出力するように構成されている第１視野対物光学系、および、シーンから第２電磁放射線を受け取り、システムの第２視野に対応する第２電磁放射線を出力するように構成されている第２視野対物光学系を含む。本システムは、さらに、第１電磁放射線を受け取り、画像センサ上にフォーカスするように構成されているイメージャ光学系であり、画像センサは、第１電磁放射線から第１視野画像フレームを生成するように構成されている、イメージャ光学系、および、第２視野対物光学系とイメージャ光学系との間に配置され、イメージャ光学系に対して第２電磁放射線を選択的に通過させるように構成されている視野選択メカニズムを含む。イメージャ光学系は、さらに、第２電磁放射線を画像センサ上にフォーカスするように構成されており、かつ、画像センサは、さらに、第１電磁放射線および第２電磁放射線から合せて結合画像フレームを生成するように構成されている。結合画像フレームは、第１視野および第２視野の両方からの画像を含んでいる。
【０００４】
一つの例において、視野選択メカニズムは、シャッタを含み、シャッタの少なくとも一部分は、第２電磁放射線をイメージャ光学系からブロックするように第２視野対物光学系とイメージャ光学系との間の光路の中へ選択的に移動可能であり、かつ、第２電磁放射線をイメージャ光学系まで通過させるように光路の外へ選択的に移動可能である。別の実施形態において、視野選択メカニズムは、第２電磁放射線を通過させる透過部分および第２電磁放射線をブロックする遮断部分を有する回転シャッタホイールを含む。別の実施形態において、視野選択メカニズムは、イメージャ光学系と、第１視野対物光学系および第２視野対物光学系の両方との間に配置されたビームスプリッタ、および、第２視野対物光学系とビームスプリッタとの間に置かれたシャッタであり、第２電磁放射線がビームスプリッタに対して方向付けられている開放状態および第２電磁放射線がビームスプリッタに到達するのをブッロクされる閉鎖状態を有するシャッタを含む。一つの例において、シャッタが閉鎖状態である場合、ビームスプリッタは、第１電磁放射線のうち第１部分をイメージャ光学系まで通し、第１電磁放射線のうち第２部分を反射するように構成されており、シャッタが開放状態である場合、ビームスプリッタは、第１電磁放射線および第２電磁放射線を受け取って、結合し、第１電磁放射線のうち第１部分をイメージャ光学系まで通し、第１電磁放射線のうち第２部分を反射し、かつ、第２電磁放射線のうち第１部分をイメージャ光学系まで通し、第２電磁放射線のうち第２部分を第１電磁放射線のうち第２部分と共に反射するように構成されている。
【０００５】
本システムは、さらに、画像センサに接続された画像処理回路を含む。画像処理回路は、画像センサから第１視野画像フレームおよび結合画像フレームを受け取って、処理し、かつ、第１視野画像フレームから生成され、第１視野に対応している第１表示画像、および、第１視野画像フレームと結合画像フレームとの組み合わせから生成され、第２視野に概ね対応している第２表示画像を出力する、ように構成されている。一つの例において、画像処理回路は、第１視野画像フレームを連続的に１つずつ保管するように構成されているフレームバッファを含む。別の例において、画像処理回路は、フレームバッファに接続された画像再構成モジュールを含む。画像再構成モジュールは、それぞれの結合画像フレームについて、結合画像フレームを受け取り、フレームバッファから先行して保管された第１視野画像フレームを受け取り、結合画像フレームと保管された第１視野画像フレームとの間のコンテンツの差を判断するために、結合画像フレームを保管された第１視野画像フレームと比較し、かつ、コンテンツの差に基づいて近似の第２視野画像フレームを生成するように構成されている。別の例において、画像処理回路は、第２表示画像を生成するために、近似の第２視野画像を処理するように構成されている。
【０００６】
別の実施形態に従って、光学画像化システムにおいて２つの視野を同時に観察する方法は、第１視野について、画像センサにおいて第１電磁放射線エネルギを収集して、複数の第１画像フレームを生成するステップ、第２視野について、第２対物光学系を使用して第２電磁放射線エネルギを同時に収集するステップ、第２電磁放射線エネルギを画像センサに対して選択的に方向付けるステップ、画像センサにおいて、第１電磁放射線エネルギと第２電磁放射線エネルギとの組み合わせから複数の結合画像フレームを生成するステップ、第１視野に対応する第１表示画像ストリームおよび第２視野に概ね対応する第２表示画像ストリームを生成するために、複数の第１画像フレームと複数の結合画像フレームとを処理するステップ、および、第１表示画像ストリームと第２表示画像ストリームとを表示するステップ、を含む。
【０００７】
一つの例において、第２電磁放射線エネルギを画像センサに対して選択的に方向付けるステップは、第２電磁放射線エネルギを画像センサに到達することからブロックするように、第２対物光学系と画像センサとの間の光路の中へシャッタを選択的に移動するステップ、および、第２電磁放射線エネルギが画像センサに到達できるように、光路の外へシャッタを選択的に移動するステップ、を含む。
【０００８】
別の例において、複数の第１画像フレームと複数の結合画像フレームとを処理するステップは、複数の第１画像フレームのそれぞれ１つを連続的にフレームバッファの中に保管するステップを含む。一つの例において、複数の第１画像フレームと複数の結合画像フレームとを処理するステップは、さらに、複数の結合画像フレームのうち各結合画像フレームについて、画像再構成モジュールで結合画像フレームを受け取ること、画像再構成モジュールでフレームバッファから先行して保管された第１画像フレームを受け取ること、および、画像再構成モジュールを用いて、結合画像フレームと先行して保管された第１画像フレームを比較して、第２視野に概ね対応している第２画像フレームを生成するように、結合画像フレームにおける画像から先行して保管された第１画像フレームにおける画像を減算すること、によって、複数の第２画像フレームを生成するステップを含む。一つの例において、第２表示画像ストリームを生成することは、複数の第２画像フレームを処理することを含む。
【０００９】
本方法は、例えば、画像センサの飽和閾値を動的に調整するステップをさらに含む。
【００１０】
これらの例示的な態様および実施形態に係るさらに他の態様、実施形態、および利点が、詳細に以下で説明される。ここにおいて開示される実施形態は、ここにおいて開示される原理のうち少なくとも１つと一貫性のある任意の方法において他の実施形態と組み合わされてよい。そして、「実施形態（"an  embodiment"）」、「いくつかの実施形態（"some  embodiment"）」、「代替的な実施形態（"alternate  embodiment"）」、「様々な実施形態（"various  embodiment"）」、「一つの実施形態（"one  embodiment"）」、等は、必ずしも相互に排他的なものではなく、説明される特定の特徴、構造、または特性が少なくとも１つの実施形態に含まれ得ることを示すように意図されている。そうした用語のここにおける出現は、必ずしもすべてが同じ実施形態を参照するものではない。
【図面の簡単な説明】
【００１１】
少なくとも１つの実施形態に係る様々な態様が、添付図面を参照して以下に説明される。図面は、縮尺どおりに描かれることを意図されていない。図面は、様々な態様および実施形態について例示およびさらなる理解を提供するために含まれており、そして、この明細書の中に組み込まれ、かつ、その一部を構成するが、本発明の範囲の定義として意図されたものではない。図面においては、様々な図に示されている同一またはほぼ同じコンポーネントは、同様な番号によって表わされている。明確化の目的のために、全てのコンポーネントが全ての図においてラベル付けされなくてもよい。
【図１】図１は、本発明の態様に従った、デュアル視野光学システムの一つの例に係るブロック図である。
【図２】図２は、本発明の態様に従った、デュアル視野光学システムの別の例に係るブロック図である。
【図３Ａ】図３Ａは、本発明の態様に従った、デュアル視野光学システムにおいて使用することができるシャッタメカニズムの一つの例に係る図である。
【図３Ｂ】図３Ｂは、本発明の態様に従った、デュアル視野光学システムにおいて使用することができるシャッタメカニズムの別の例に係る図である。
【図４Ａ】図４Ａは、本発明の態様に従った、シャッタ開放状態について光路を示しているデュアル視野光学システムの別の例に係るブロック図である。
【図４Ｂ】図４Ｂは、本発明の態様に従った、シャッタ開放状態について光路を示している図４Ａのデュアル視野光学システムのブロック図である。
【図５】図５は、本発明の態様に従った、デュアル視野光学システムと共に使用するための画像処理サブシステムおよび方法の一つの例に係る機能ブロック図である。
【図６】図６は、本発明の態様に従った、図５のサブシステムおよび方法に対応する画像処理プロセスフローの一つの例を示す機能ブロック図である。
【図７Ａ】図７Ａは、本発明の態様に従った、様々な実施例についての相対的画像センサ飽和および派生する信号誤差を示す図である。
【図７Ｂ】図７Ｂは、本発明の態様に従った、様々な実施例についての相対的画像センサ飽和および派生する信号誤差を示す図である。
【図７Ｃ】図７Ｃは、本発明の態様に従った、様々な実施例についての相対的画像センサ飽和および派生する信号誤差を示す図である。
【発明を実施するための形態】
【００１２】
態様および実施形態は、単一の検出器アセンブリにおいて同時又は一時的に２つの視野を多重化して収集し、かつ、観察できるように構成された光学システムに向けられている。特に、所定の実施形態は、共通（共有の）イメージャ光学素子（imager  optics）および単一の画像センサを使用して、広い視野と狭い視野の両方を画像化する能力を提供する。このことは、従来のデュアル視野画像化システムについて一般に必要とされるような複数のセンサおよび関連する光学素子に対する必要性を回避している。より詳細に以下で説明するように、視野選択メカニズムおよび計算方法は、分離した又は個別の視野を単一のセンサによる使用のための単一チャネルへとパーズし（parse）、かつ、再結合するために使用される。所定の実施形態においては、例えば、シャッタまたは回転ミラーを使用して、異なる視野を画像化光路に出入りするように時間的に切り替えることによって、２つの異なる視野が組み合わされる。他の実施形態においては、画像処理を介して２つの画像を分離することができるように、両方の視野からの画像を画像センサ上へ時間的に変調すること（modulating）によって、２つの異なる視野が組み合わされる。出力は、単一のセンサからの２つの相補的な視野を含んでおり、例えば、分割画面表示、ピクチャインピクチャ、またはデュアルモニターディスプレイといった、様々な表示モードのいずれかを使用して、オペレータによって使用され、または観察される。以下でさらに説明されるように、所定の実施形態においては、第１視野（primary  field-of-view）、例えば狭視野、が常に画像化され、そして、視野選択メカニズムは、第１視野を遮ることなく、第２視野（secondary  field-of-view）、例えば、広視野を、画像化光学経路の中へ選択的に結合するように構成されている。このことは、ターゲットの喪失、または、別の視野の観察／画像化を可能にするために第１視野が常に不明瞭である従来のデュアル視野システムに関連する他の欠点の喪失を回避するという利点を提供する。
【００１３】
ここにおいて説明される方法および装置の実施形態は、適用において、以下の説明において明らかにされ又は添付の図面に示されるコンポーネントの構成および配置に係る詳細に限定されるものではないことを理解されたい。本方法および装置は、他の実施形態において実施することができ、かつ、様々な方法で実践または実行することができる。特定の実施形態に係る例は、ここにおいては説明目的のためだけに提供されるものであり、そして、限定することを意図するものではない。また、ここにおいて使用される表現および用語は、説明を目的とするものであり、限定的であるとみなされるべきではない。「含む（"including"、"comprising"、"having"、"containing”、"involving"）」及びそれらの変形のここにおける使用は、それ以降に列挙されるアイテム及びその等価物ならびに追加のアイテムを包含することを意味する。「または（"or"）」に対する参照は、「または」を使用して記載されるあらゆる用語が、単一、１つ以上、および全ての記載された用語のうちいずれかを示し得るように包括的なものであると理解されてよい。表と裏、左と右、上面と底面、上部と下部、および、垂直と水平に対するあらゆる参照は、説明の便宜のために意図されたものであり、本システムおよび方法またはそれらのコンポーネントをいずれか１つの位置的または空間的な方向に限定するものではない。
【００１４】
図１を参照すると、所定の実施態様に従った、デュアル視野光学システム100のブロック図が示されている。電磁放射線105、例えば、観察されるシーン110からの可視光線または赤外電磁放射線を含むがこれに限定されないもの、が、検出器アセンブリ120において収集され、そして、画像化される。検出器アセンブリ120は、例えば、焦点面アレイ（focal  plane  array、FPA）といった、画像センサ122を含んでいる。画像センサ122は、一般に感光性ピクセルの２次元アレイである、感光性エレメントを含み、感光性エレメントから画像データを読み出し、そして、シーン110の画像を構成するための関連する電子回路を伴っている。そうした画像センサおよび読み出しエレクトロニクス、およびその動作は、当業者によってよく理解されている。より詳細に以下で説明するように、検出器アセンブリ120は、さらに、画像処理モジュール124を含むことができる。画像処理モジュールは、１つまたはそれ以上のプロセッサまたは他のコンピューティングデバイスを含むことができ、そして、第１視野および第２視野からの画像フレームをパーズと結合の両方を行い、または、インターリーブするために計算ビデオ処理を実行する。処理された画像フレームは、システムユーザによる観察のために、１つまたはそれ以上のディスプレイ170に対して提供され得る。
【００１５】
光学システム100は、２つの対物光学系（front  objective  optics）を含んでいる。一つは、第１FOV光学系130として参照される、第１視野のためのものであり、そして、一つは、第２FOV光学系140として参照される、第２視野のためのものである。一つの例において、第１視野は、狭い視野であって、例えば、特定のターゲットの高倍率画像を獲得するために使用され得るものであり、そして、第２視野は、広い視野であって、例えば、状況認識のために使用され得るようなものである。第１FOV光学系130および第２FOV光学系のそれぞれは、電磁放射線105をシーン110から受け取り、そして、イメージャ光学系150の共通または共有セットに方向付けるように構成された一つまたはそれ以上のレンズまたはミラーを含むことができる。第１FOV光学系130は、ここにおいて第１FOV135として参照される、システムの第１視野に対応する電磁放射線を収集し、かつ、方向付ける。シーン110の第１視野画像を生成するように検出器アセンブリ120によって処理されるものである。同様に、第２FOV光学系140は、ここにおいて第２FOV145として参照される、システムの第２視野に対応する電磁放射線を収集し、かつ、方向付ける。第２視野の画像フレームを生成するように検出器アセンブリ120によって処理されるものである。
【００１６】
光学システム100はさらに、第１FOV135および第２FOV145の両方を受け取り、かつ、イメージャ光学系150に対して出力165を提供する視野選択メカニズム160を含んでいる。さらに以下で説明するように、出力165は、第１FOV135と第２FOV145のいずれか、または両方を含んでよい。イメージャ光学系150は、視野選択メカニズム160からの出力165を受光し、そして、画像センサによって出力が画像化される検出器アセンブリ120に対してフォーカスするように構成された一つまたはそれ以上のレンズまたはミラーを含んでよい。
【００１７】
上述のように、所定のアプリケーションにおいては、第１視野に係る観察／画像化撮像を不明瞭にする又は中断することなく、第２視野に係る観察または画像化ができるようにすることが特に有利である。例えば、ターゲットを追跡するために使用されている狭い視野を遮ることなく、広い視野の観察／画像化が状況認識を提供することができるようにすることが有利であり得る。従って、所定の実施形態において、視野選択メカニズムは、第１FOV135をイメージャ光学系150まで通過させ、かつ、第２次FOV145も、またイメージャ光学系まで選択的に通過させるように構成されている。このように、そうした実施形態において、視野選択メカニズム160からの出力165は、第１FOV145のみ、または、第１FOV135と第２FOV145の組み合わせ、のいずれかを含む。視野選択メカニズム160は、ユーザからのコマンドに応じて、または、自動的にこれらの２つの選択肢の間で出力165を変更するように構成されてよい。自動的とは、例えば、フレームごと、数フレームごと、または、固定または可変でもよい他の選択された周期性を伴うものである。
【００１８】
視野選択メカニズム160は、例えば、シャッタ機構またはビームスプリッタを含む、様々な異なる構造のうちのいずれかを使用して実施され得る。
【００１９】
図２を参照すると、一実施形態に従って、視野選択メカニズム160は、第２FOV光学系140とイメージャ光学系150との間で選択的に光路を出入りするよう移動することができる可動シャッタ210を含んでいる。シャッタ210が開放であるときには、第２FOV145が、第２FOV135と共にイメージャ光学系150まで通される。このように、画像センサ122まで通され、かつ、画像化される電磁放射線155aは、第１FOVおよび第２FOVの両方を含んでおり、そして、画像センサ122から出力される画像データ220は、両方の視野を含んでいる。シャッタ210が閉鎖であるときには、第２FOV145が、光路外に反射され、そして、イメージャ光学系150から画像センサ122に対して提供される電磁放射線155bは、出力画像データ220と同様に、第１FOV135だけを含んでいる。シャッタ210が閉鎖であるとき、第２FOV145は、イメージャ光学系150から単に反射され、または、不要な迷反射（stray  reflections）を防ぐために任意的なビームダンプ230に対して方向付けされ得る。
【００２０】
シャッタ210は、例えば、可動バイパスミラーを含み得る。一つの例において、シャッタ210は、第２FOV145をイメージャ光学系150に向けて伝送する開口部、および、第２FOVを遮断または反射する遮断部を含む回転シャッタホイールを含んでいる。シャッタ210のために使用することができる回転シャッタホイール300の一つの例が、図３Ａに示されている。この例において、シャッタホイール300は、開口（open）または透明な部分310、および、不透明または遮蔽部分320を含んでいる。シャッタホイール300は、中心軸330に関して回転するように構成されている。シャッタホイール300は、第２FOV光学系140とイメージャ光学系155との間の光路に置かれてよく、シャッタホイールが回転すると、開口部310と遮断部320が交互に光路に出入りし、それによって第２FOV145を選択的に通過させ又はブッロクする。図３Ａに示される例において、シャッタホイール300は、概ね「５０／５０」または５０％の開放デューティサイクルを有するように構成されている。つまり、シャッタホイール300が軸330に関して回転するにつれて、第２FOV145は、概ね５０％の時間に通過され、概ね５０％の時間にブロックされる。従って、例えば、３０Ｈｚのシャッタ回転速度、および、例えば、６０フレーム毎/秒（fps）のセンサフレーム速度について、第２FOV145は、概ね３０ｆｐｓの速度で画像化される。この場合に、第２FOV145は、イメージャ光学系150まで通過され、画像フレーム―１つおきに画像センサ122において収集される。しかしながら、シャッタ210の他の数多くの構成が実施され得る。例えば、図３Ｂは、概ね「７５／２５」または２５％の開放デューティサイクルを有するように構成された回転シャッタホイール350の一つの例を示している。そうした例を使用して、第２FOV145は、イメージャ光学系150まで通過され、そして、概ね４番目の画像フレーム毎に画像センサ122において収集される。開口部310のサイズ、およびその回転速度、といったシャッタホイールのコンフィグレーションは、第２視野から画像を収集するために望まれるフレームレートに基づいて選択することができる。所定の例において、シャッタホイールは、調節可能な開口部310を有することができ、そうして、開口部のサイズ、および結果として生じる開放デューティサイクルは、異なる状況やアプリケーションにおいて第１視野と第２従ってとの間でパフォーマンスをバランスするようにシステムコントローラまたはユーザによって変更され得る。
【００２１】
別の実施形態に従って、視野選択メカニズム160は、第１FOV135と第２FOV145とを結合し、そして、結合された電磁放射線をイメージャ光学系150まで通過させるビームスプリッタを含むことができる。所定の例において、ビームスプリッタは、第２視野の光路においてシャッタと組み合わせて使用することができる。
【００２２】
例えば、図４Ａおよび図４Ｂを参照すると、視野選択メカニズムが広帯域ビームスプリッタ410とシャッタ210の組み合わせ、第２FOV光学系とビームスプリッタ410との間の第２光路に置かれるもの、を含む光学システム100aの別の例が示されている。シャッタは、図３Ａまたは図３Ｂに示されているものといった、シャッタホイールを含むことができ、もしくは、第２FOV145がビームスプリッタ410に到達するのを選択的に阻止することができるシャッタの別のコンフィグレーションを含んでよい。図４Ａは、開放位置（open  position）にあるシャッタ210を用いた光線路（ray  path）を概略的に示しており、そして、図４Ｂは、閉鎖位置（closed  position）にあるシャッタ210を用いた光線路を概略的に示す。
【００２３】
シャッタ210が開放であるか閉鎖であるかにかかわらず、第１FOV105はビームスプリッタ410に対して方向付けられており、そして、少なくともその一部はビームスプリッタからイメージャ光学系150に対して方向付けられている。図示された例において、イメージャ光学系150に対して方向付けられている第１FOV135の一部は、ビームスプリッタ410を通して送られる。シャッタ210が開放であるときには、図４Ａに示されるように、第２FOV145も、また、ビームスプリッタ410に対して方向付けられており、そして、その少なくとも一部が、ビームスプリッタからイメージャ光学系150に対して方向付けられている。従って、この場合に、ビームスプリッタ410は、第１FOV135と第２FOV145を結合し、イメージャ光学系150に対して方向付けられており、そして、第１FOVの少なくとも一部と第２FOVの少なくとも一部とを含むビーム420を生成する。このビームは、イメージャ光学系によって検出器アセンブリ上にフォーカスされ、ここで、第１視野と第２視野の両方からの画像を含む画像フレームが生成される。
【００２４】
シャッタ210が閉鎖であるときには、第２FOV145がビームスプリッタ410に到達するのがブロックされる。従って、この場合には、ビームスプリッタ410からイメージャ光学系150に対して方向付けられたビーム430は、ビームスプリッタ410を通して送られる第１FOV135の少なくともその部分だけを含んでいる。この場合に、検出器アセンブリにおいて生成される画像フレームは、第１視野だけからの画像を含んでいる。上述のように、ブロックされた第２FOV145は、図４Ｂに示されるように、任意的にビームダンプ230に対して方向付けされ得る。
【００２５】
所定の実施例において、ビームスプリッタ410は、図４Ａと図４Ｂに示されるように、その上に入射する電磁放射線のいくらかが通過され、そして、残りが反射されるように、所定の通過／反射比率（transmission/reflection  ratio）を用いて構成されている。一つの例において、ビームスプリッタ410は、ビームスプリッタの界面（interface）に入射する電磁放射線の概ね７０％が通過され、そして、残りの概ね３０％が反射されるように、７０／３０の比率を用いて構成されている。この比率は、スペクトルまたは空間的な比率ではなくて、電磁放射線のエネルギーまたは強度の観点から与えられるものである。別の言葉で言えば、７０／３０の比率については、入射電磁放射線のエネルギーまたは強度の概ね７０％、視野の全空間範囲にわたり、かつ、ビームスプリッタによってサポートされている全スペクトル範囲にわたるもの、が通過され、そして、残りの３０％が反射される。このオペレーションは、特定のスペクトル帯域を通過させ、かつ、他のスペクトル帯域を反射するダイクロイック（dichroic）ビームスプリッタと対照的である。
【００２６】
このように、図示された例においては、第１FOV135のエネルギーの約７０％が、イメージャ光学系150に向けてビームスプリッタ410を通じて送られており（シャッタ210が開放であるか閉鎖であるかに応じて、ビーム420または430におけるもの）、そして、第１FOV135のエネルギーの約３０％が、ビーム425（図４Ａに示されるシャッタ開放の場合）、または、ビーム435（図４Ｂに示されるシャッタ閉の場合）として反射される。同様に、この例においては、シャッタ210が開放であるときに、第２FOV148のエネルギーの約７０％がビームスプリッタ410を通過し、そして、ビーム425として（第１FOV135の約３０％と共に）廃棄される。一方、第２FOV145のエネルギーに係る残りの約３０％が、ビーム420としてイメージャ光学系150に向かって反射される。以下の表１は、このオペレーションの概要を提供している。
【表１】
0006403924.tif 000002
【００２７】
上述の例はビームスプリッタについて７０／３０の比率を使用しているが、ビームスプリッタ410は、あらゆる比率を用いて構成することができ、７０／３０に限定されるものではないことが正しく理解されよう。所定のアプリケーションにおいては、第１視野におけるものとしての第２視野においては、同一または類似のパフォーマンスを有することを必ずしも要しない。パフォーマンスは、検出器アセンブリに到達するエネルギーの量によって影響され得る。そうしたアプリケーションにおいては、ビームスプリッタ410について７０／３０又は類似した通過／反射比率が適切であり得る。システム設計者は、２つの視野間における最高のパフォーマンスのバランスを達成するように、通過／反射比率を選択することができる。
【００２８】
このように、上述の視野選択メカニズム160を組み込んでいる光学システムは、任意的にビームスプリッタ410と組み合わせて、シャッタ210の使用を通して、第１（例えば、狭い）と第２（例えば、広い）視野とを同時に結合することができる。回転シャッタホイール、または他のシャッタ機構は、選択された速度において第２視野を選択的に結合することができる。その結果として、画像センサの出力として画像フレームのストリームが生成される。そのいくらかは第１視野からだけの画像を含み、一方で、その他は「結合（"combined"）」フレームであり、第１視野および第２視野の両方からの画像を含んでいる。上述のように、これらのフレームを分離し、そして、第１視野のビュー（view）と第２視野のビューの両方を生成し、かつ、表示するように、これらのフレームを処理するために、画像処理技術を使用することができる。
【００２９】
図５を参照すると、所定の実施形態に従った、画像処理サブシステムおよび方法の一つの例に対応する機能ブロック図が示されている。上述のように、画像処理回路510は、検出器アセンブリ120の一部であってよく、または、検出器アセンブリに結合され、かつ、検出器アセンブリから画像データを受け取ることができる別個のコンポーネントまたはシステムの中に含まれてよい。画像処理回路510、およびその構成要素は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせにおいて実施され得るものである。
【００３０】
一つの実施形態に従って、画像処理回路510は、入力として、画像センサ122からの出力画像データ510を受け取る。上述のように、この出力画像データ510は、第１視野だけに対応する所定の画像フレーム、第１画像フレーム512として参照されるもの、および、第１視野と第２視野の両方からの画像を含む他の画像フレーム、結合画像フレーム514として参照されるもの、を含んでいる。画像センサの特定のフレームレートにおいて、第１画像フレーム512と結合画像フレーム514が、画像処理回路に対して連続的かつ逐次的に（すなわち、１つずつ）提供されている。シャッタ210が開閉する速度を制御することによって、第１画像フレーム512と結合画像フレーム514の比率およびシーケンスをコントロールすることができる。例えば、上述のように、３０Ｈｚで回転する５０／５０の開／閉比率を伴う、図３Ａに示されるシャッタホイール300といった、回転シャッタホイールを使用し、かつ、６０ｆｐｓの画像センサを仮定すると、出力画像データ510は、第１画像フレーム512と結合画像フレーム514との間を交替するものであり、結合画像フレームである１つおき画像フレームを伴っている。従って、この例において、第１視野は３０ｆｐｓのフレームレートを有している。別の例では、なおも６０ｆｐｓの画像センサを使用し、かつ、代わりに、図３Ｂに示されるシャッタホイール300aといった、７５／２５の回転シャッタホイールを使用して、出力画像データ510のうち４つおきの画像フレームが結合画像フレーム514である。当業者によって理解されるように、第１画像フレーム512と結合画像フレーム514のあらゆる所望のシーケンスは、シャッタスピードおよび画像センサ122のフレームレートを適切に選択することによって生成することができる。所定のアプリケーションにおいては、第１画像フレーム512を用いて結合画像フレームが生成され、継続される速度にかかわらず、少なくとも３０ｆｐｓといった、第１視野について最小フレームレートを維持することが望ましいだろう。
【００３１】
図６は、図５の画像処理サブシステムおよび方法に対応するプロセスフローの一つの例を示している。図６に示される例においては、１つおきの画像フレームが結合画像フレームであるように、視野選択メカニズム160が制御されている。従って、この例において、画像センサ122からの出力510は、図６に示すように、インターリーブされた第１画像フレーム（Pn）と結合画像フレーム（Cn）のストリームである。
【００３２】
一つの実施形態に従って、第１画像フレーム512は、出力および表示のために第１画像フレーム514を処理して、フォーマットする画像処理モジュール520に対して提供される。画像処理モジュール520によって実行される画像処理は、様々な周知の技術およびプロセスのあらゆるものを含むことができる。限定されるものではないが、例えば、信号ゲイン、レベル、または色を調整すること、特定の表示タイプのためにフォーマットすること、等を含んでいる。このように、システムからの表示出力530は、画像処理回路510からの処理された第１画像フレームから形成された第１視野表示画像532を含む。第１視野表示画像532は、例えば、一連の「静止（"still"）」画像、または、フルモーションビデオストリームを含み得る。表示出力530は、例えば、システムオペレータによる観察のためにディスプレイ170に対して提供され得る。
【００３３】
さらに図５と図６を参照すると、第１画像フレーム512は、また、少なくとも１つの第１画像フレームが保管されているフレームバッファ540に対しても提供される。結合画像フレーム514は、フレームバッファ540から保管された第１画像フレームを伴って、画像再構成モジュール550に対して供給される。一つの例において、画像センサ122から出力された各第１画像フレーム（Pn）は、フレームバッファ530と画像処理モジュール520の両方に対して送られ、そこで処理されて、表示のために出力される。後続の各第１画像フレームを用いて、フレームバッファ540における先行フレーム（prior  frame）が後続のフレームと置き換えられる。このように、各結合画像フレーム（Cn）について、フレームバッファ540は常に最新の先行第１画像フレーム（Pn-1）を保管している。
【００３４】
図６を参照すると、各結合画像フレーム（Cn）について、プロセス610が発生する。出力ストリーム510における現在の結合画像フレーム512（Cn）が、フレームバッファ540からの最新の先行第１画像フレーム（Pn-1）と共に、画像再構成モジュール550により受け取られる。画像再構成モジュール550は、第２視野だけに対応している第２画像フレーム555（Sn）を派生させるために、先行第１画像フレーム512（P  n-1）を使用して結合画像フレーム514（C  n）を処理するように動作する。一つの例において、画像再構成モジュール550は、結合画像フレーム514（C  n-1）から第１視野画像を「差し引く（"subtract  out"）」ために比較と減算を実行する。結合画像フレーム514（C  n-1）におけるコンテンツまたは画像を先行第１画像フレーム512（Pn-1）におけるものと比較すること、および、結合画像フレームから先行第１画像フレーム512に存在する画像に対応する画像を除去することによるものである。この比較と減算の後の結果である「残り（"left  over"）」は、第２視野だけから収集された画像に近似したものであり、第２画像フレーム555（Sn）として画像処理モジュール520に対して提供される。このオペレーションは、次のように記述することができる。
（第１＋第２）−第１＝第２    （１）
または：
Sn≒Cn-Pn-1    （２）
【００３５】
画像センサ122のフレームレートが十分に高いこと、および、結合画像フレームが出力データストリーム510の中に含まれるレート（例えば、１フレームおき、３フレーム毎、または、４フレーム毎のレート）が与えられるとすれば、先行第１画像フレーム（画像再構成モジュール550によって使用されるもの）が後続の結合画像フレームの中に含まれるものとほとんど同一である画像を含むように、連続するフレーム間において存在する経過時間（elapsed  time）は非常に少ない。この場合に、画像再構成モジュール555によって実行される比較および減算オペレーションから生成される第２画像フレーム555は、画像センサ122において第２視野だけを画像化することによって得られるであろう画像の非常に良好な近似だろう。
【００３６】
所定の実施形態において、システムオペレータまたは設計者は、画像センサフレームレートまたは結合画像フレームに対する第１画像フレームのシーケンシング（sequencing）比率（すなわち、結合画像フレームが出力データストリーム510の中に含まれるレート）を制御し、かつ、選択することができる。第１視野532に対して望まれるパフォーマンスレベルとバランスされた第２視野表示画像534の画像品質についての許容可能なパフォーマンスレベルを達成するためである。例えば、観察されるシーンが急速に変化していることが期待される場合には（例えば、高速で移動しているターゲットを追跡する場合）、第２画像フレーム555において許容可能な画像品質を達成するために、高いフレームレートまたは結合画像フレームの高い包含レート（high  rate  of  inclusion）（例えば、１フレームおき）で画像センサ122を使用することが望ましいだろう。代替的に、最大の第１視野パフォーマンスが望まれる状況（context）においては、ソフトウェアまたはファームウェア機能は、第２視野をブロックし、そして、同時に上述のフレーム抽出プロセスを禁止する状態に視野選択メカニズムを保持することができ、第１視野においてシステムのフルフレームレート能力を可能にしている。
【００３７】
図７Ａ−図７Ｃを参照すると、所定の実施形態に従って、上述のフレーム減算プロセスにおける誤差を低減するために、画像センサ122の飽和閾値（saturation  threshold）は、例えば、フィルタを使用すること、露光時間（exposure  time）を調整すること、等によって制御され得る。図７Ａ−図７Ｃにおいて、ライン710は、画像センサ122の飽和閾値を表しており、そして、画像フレーム720は、画像センサ122からの出力510について上述のフレーム減算プロセスを実行することによって生成された派生フレームであり、表示出力530として処理され、そして出力され得る。図７Ａを参照すると、結合フレーム514（Cn）のエネルギーが画像センサの飽和閾値710を超えるとすれば、先行画像フレーム512（Pn-1）を差し引くことは、Pn-1信号強度が検出器飽和レベルの大きな部分（fraction）である場合には、結果として生じる派生第２画像フレーム724a（Sn）において非常に高い誤差（破線ボックス730aによって図式的に示されている）を生じるであろう。この場合に示されるように、派生第２画像フレーム722aにおけるエネルギーは、飽和閾値710を超過したので失われている結合フレーム514における大量なエネルギーのせいで低く、大きな誤差730aを結果として生じている。対照的に、図７Ｂを参照すると、結合フレーム514におけるエネルギーが飽和閾値710の下にあるように、画像センサの飽和レベルを増加させることができる。この場合に、派生第２画像フレーム722bにおける誤差は、図７Ａに示される場合に比べて大きく低減されており、もしくは、除去さえもされている（派生第２画像フレーム722bにおける信号エネルギーが増加する）。しかしながら、この場合に、第１視野のための画像センサ122の感度は、図７Ａに示される場合に比べて減少する。このように、第１視野のためのセンサ感度は、派生第２視野における誤差に対してトレードオフ（traded  off）され得るものであり、逆もまた同様である。例えば、図７Ｃは、結合画像フレーム514におけるエネルギーが閾値を超えるが、図７Ａに示される場合よりも小さくなるように、結合閾値710が設定されている「妥協（"compromise"）」の場合を示しており、派生第２画像フレーム722cにおいていくらかの誤差730bを結果として生じているが、図７Ａに示される場合よりも少ない。所定の実施形態に従って、画像センサ122の飽和閾値は、動的に（dynamically）制御することができる。例えば、画像センサの前方の光路（「上流（"upstream"）」）の中へフィルタを選択的に挿入することにより、または、各フレームについて統合または露光時間を調整することによるものである。このようにして、第１視野における高い感度と第２視野における許容可能な誤差レベルとの間の動的な調整およびトレードオフを達成することができる。
【００３８】
上述のように、所定の実施形態において、画像センサ122は、ピクセルの２次元アレイを含んでいる。従って、一つの例において、画像再構成モジュール550は、ピクセルごとに比較と減算オペレーションを実行することができる。代替的に、比較と減算オペレーションは、ピクセルグループについて、例えば、行ごとに、列ごとに、もしくは、２次元ピクセルグループ（例えば、２×２ピクセル、４×４ピクセル、または他のいくつかのグループ化）に基づいて実行することができる。２つの画像フレーム間においてそうした比較と減算オペレーションを実行するための数学的なオペレーションおよびソフトウェアアルゴリズムは、当該技術分野において十分に理解されている。所定の実施形態に従って、時間センサの統合は、結合画像フレーム514におけるボケ（blur）を防止するために、シャッタに含まれるマークに基づくことができる。例えば、図３Ａと図３Ｂを参照すると、回転するシャッタホイール300、300aには、画像ボケを防止するために使用することができる基準マーク340を設けることができる。
【００３９】
再び図５を参照すると、画像処理モジュール520は、出力および表示のために受け取った第２画像フレーム555を処理し、かつ、フォーマットする。上述のように、この画像処理は、あらゆる様々な周知の技術およびプロセスを含み得る。表示のために画像を処理し、かつ、フォーマットするために当該技術分野において一般的に使用されるものとして、レベル／ゲイン／カラー／コントラスト制御、サイズフォーマット、等といったものである。このように、システムからの表示出力530は、さらに、画像処理回路510からの処理された第２画像フレーム（Sn）から形成される第２視野表示画像534を含んでいる。第２視野表示画像534は、例えば、一連の「静止（"still"）」画像、または、フルモーションビデオストリームを含み得る。一つの例において、画像処理モジュール520は、表示出力530のために２つのフルモーションビデオストリームを生成するように、処理された第１および第２画像フレームを時間的に多重化する。
【００４０】
このように、態様および実施形態は、単一のイメージャ光学列（optical  train）150および画像センサ122を使用して、２つの視野の同時（時間的に多重化された）画像化を達成することを可能にする光学システムおよび画像処理方法を提供する。上述のように、第１および第２視野からの電磁放射線は、イメージャ光学系150および検出器アセンブリ120に対して同時に送ることができる。第１視野からの電磁放射線は、全ての画像フレームにおいて存在しており、第２視野は、視野選択メカニズム160を介して所定の「結合（"combined"）」画像フレームの中に選択的に結合されている。結合画像フレームは、上述のように、第２視野の画像に対応する画像を抽出するために処理され得る。このようにして、第１視野を不明瞭にすることなく、単一の画像センサ122（および、共有のイメージャ光学系150）を使用して、第１視野と第２視野の両方から画像を獲得することができる。
【００４１】
少なくとも１つの実施形態について上記にいくつかの態様を説明したが、当業者にとっては、様々な変更、修正、および改良が容易に思い付くであろうことが理解されるべきである。そうした代替、変更、および改良は、本開示の一部であることが意図されており、かつ、本発明の範囲内にあるものと意図されている。従って、前述の説明および図面は例示のためのものであるにすぎず、そして、本発明の範囲は、添付の請求項、およびそれらの均等物の適切な解釈から決定されるべきである。
【要約】
第１FOV（視野）と第２FOVを同時に見ることができるデュアル視野光学画像化システムである。本システムの一例は、画像センサ、第１FOVおよび第２FOVにそれぞれ対応する電磁放射線を受信して出力するように構成された第１および第２FOV対物光学系、イメージャ光学系、および、第２FOV対物光学系とイメージャ光学系との間に配置されて第２FOVをイメージャ光学系まで選択的に通過させるように構成された視野選択メカニズム、第１FOV画像フレームおよび第１視野と第２視野の両方からの画像を含む結合画像フレームを生成するように構成されている画像センサ、を含む。【図１】
0006403924.tif 000003
【図２】
0006403924.tif 000004
【図３Ａ】
0006403924.tif 000005
【図３Ｂ】
0006403924.tif 000006
【図４Ａ】
0006403924.tif 000007
【図４Ｂ】
0006403924.tif 000008
【図５】
0006403924.tif 000009
【図６】
0006403924.tif 000010
【図７Ａ】
0006403924.tif 000011
【図７Ｂ】
0006403924.tif 000012
【図７Ｃ】
0006403924.tif 000013