(57)【要約】  陸上車両（３０００）への搭載を意図された光電子視認装置であって、全方位画像センサ（３００）と、少なくとも１個の方位調整可能なカメラ（３１０）であって、前記全方位画像センサの視野よりも狭い視野でより良好な解像度を有しているカメラ（３１０）と、画像表示装置（３３０、４３０）とを含む光電子視認装置において、データプロセッサ（３２０）であって、前記全方位画像センサから少なくとも１個の第１の画像（２０１）、および前記方位調整可能なカメラから１個の第２の画像（２０２）を受信すること、前記第１および第２の画像から、前記第２の画像（２０２）の少なくとも１個の区画が前記第１の画像の１個の区画（２０１１）に埋め込まれている合成画像（２１０）を合成すること、ならびに前記合成画像を前記画像表示装置に送信することを行うべく構成またはプログラミングされたデータプロセッサ（３２０）も含んでいることを特徴とする光電子視認装置。上述の光電子視認装置を備えた装甲車両（３０００）。上述の光電子装置により実行される方法。
2019526182.tif 000002
【特許請求の範囲】
【請求項１】
陸上車両（３０００）への搭載を意図された光電子視認装置であって、
−  全方位画像センサ（３００）と、
−  少なくとも１個の方位調整可能なカメラ（３１０）であって、前記全方位画像センサの視野よりも狭く、且つ前記カメラの少なくとも一組の向きにおいて前記全方位画像センサの視野に含まれる視野でより良好な解像度を有しているカメラ（３１０）と、
−  画像表示装置（３３０、４３０）とを含むと共に、
データプロセッサ（３２０）であって、
−  前記全方位画像センサから少なくとも１個の第１の画像（２０１）、および前記方位調整可能なカメラから１個の第２の画像（２０２）を受信すること、
−  前記第１および第２の画像から、前記第２の画像（２０２）の少なくとも１個の区画が前記第１の画像の１個の区画（２０１１）に埋め込まれている合成画像（２０、２１０）を合成すること、ならびに
−  前記合成画像を前記画像表示装置に送信することを行うべく構成またはプログラミングされたデータプロセッサ（３２０）も含む光電子視認装置において、前記データプロセッサ（３２０）が、前記合成画像（２１０）を、前記方位調整可能なカメラと同じ向きであるがより広い視野を有する仮想カメラにより取得されるであろう画像に対応するように合成すべく構成またはプログラミングされていることを特徴とする光電子視認装置。
【請求項２】
前記データプロセッサ（３２０）が、ユーザー（３５０）から発せられた命令に応答して前記合成画像（２１０）の視野の大きさを変更すべく構成またはプログラミングされている、請求項１に記載の光電子視認装置。
【請求項３】
前記データプロセッサ（３２０）が、前記第１の画像のストリームおよび前記第２の画像のストリームから前記合成画像のストリームをリアルタイムに合成すべく構成またはプログラミングされている、請求項１または２に記載の光電子視認装置。
【請求項４】
前記画像表示装置（４３０）が、方位センサを備えた可搬表示装置であり、前記画像表示装置はまた、前記カメラの向きを前記可搬表示装置の向きにサーボ制御するシステム（４３５）を含んでいる、請求項１〜３のいずれか１項に記載の光電子視認装置。
【請求項５】
前記全方位画像センサ（３００）および前記方位調整可能なカメラ（３１０）が、異なるスペクトル範囲で動作すべく設計されている、請求項１〜４のいずれか１項に記載の光電子視認装置。
【請求項６】
前記全方位画像センサ（３００）が半球センサである、請求項１〜５のいずれか１項に記載の光電子視認装置。
【請求項７】
前記方位調整可能なカメラ（３１０）が、１°〜２０°、好適には３°〜１２°の間に含まれるおそらくは可変な視野を有している、請求項１〜６のいずれか１項に記載の光電子視認装置。
【請求項８】
請求項１〜７のいずれか１項に記載の光電子視認装置を備えた装甲車両（３０００）。
【請求項９】
請求項１〜７のいずれか１項に記載の光電子装置により実行される方法であって、以下のステップ：
−  全方位画像センサ（３００）から第１の画像（２０１）を受信するステップと、
−  方位調整可能なカメラ（３１０）から、第２の画像（２０２）であって、前記第１の画像の視野よりも狭く、且つ前記第１の画像の視野に含まれる視野でより良好な解像度を有する第２の画像（２０２）を受信するステップと、
−  前記第１および第２の画像から、前記第２の画像の少なくとも１個の区画が前記第１の画像の１個の区画（２０１１）に埋め込まれている合成画像（２１０）であって、前記方位調整可能なカメラと同じ向きであるがより広い視野を有する仮想カメラにより取得されるであろう画像に対応する合成画像（２１０）を合成するステップと、
−  前記合成画像を表示するステップとを含む方法。
【請求項１０】
前記合成画像（２１０）が、前記方位調整可能なカメラと同じ向きであるがより広い視野を有する仮想カメラにより取得されるであろう画像に対応している、請求項９に記載の方法。
【請求項１１】
ユーザーから発せられた命令に応答して前記合成画像（２１０）の視野の大きさを変更するステップも含んでいる、請求項９または１０のいずれか１項に記載の方法。
【請求項１２】
前記合成画像のストリームが、前記第１の画像のストリームおよび前記第２の画像のストリームからリアルタイムに合成される、請求項９〜１１のいずれか１項に記載の方法。
【請求項１３】
前記合成画像が方位センサを備えた可搬表示装置（４３０）に表示され、前記方法がまた以下のステップ：
−  前記センサにより生成された信号から前記可搬表示装置の向きを決定するステップと、
−  前記カメラ（２１０）の向きを前記可搬表示装置の向きにサーボ制御するステップとを含んでいる、請求項９〜１２のいずれか１項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、陸上車両、特に装甲車両または戦車用の光電子視認装置に関する。
【背景技術】
【０００２】
上述の車両に、可視または赤外領域で動作する複数の検知／指示カメラを備えることは公知であり、前記カメラは方位調整可能であって、数度の、典型的に３°〜９°の間または４°〜１２°の間で可変な、おそらくは２０°にも達し得る視野を有している。これらのカメラは極めて良好な解像度を有しているが、これらは視野が狭いため使用が容易でない。すなわち車両が移動している環境内で上述のカメラが観察する小領域の位置を操作者が特定するのは困難である。これについては、操作者があたかもストローを通して外界を見るように感じるため、「ストロー効果」と言われる。
【０００３】
これらのカメラを超広視野モード（４０°〜４５°程度の視野）で動作可能にすべく光学部品を変更することにより上述の短所を緩和することが可能である。このような解決策の実行は高価であり、さらにカメラを超広視野モードへ切り替えることで同時に狭視野を視認することが妨げられる。
【０００４】
文献米国特許出願公開第２００２／７５２５８号明細書に、複数のレンズを有する全方位の第１のカメラと、方位調整可能な高解像度の第２のカメラとを含む監視システムが記述されている。当該システムにおいて、第２のカメラにより取得された高解像度画像が、第１のカメラから出力されるパノラマ画像に埋め込められる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２００２／７５２５８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、従来技術の短所を克服し、ＡＦＶまたは戦車等の車両の乗員の要求により良く適した視認システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
この目的のため、本発明は、最新式の装甲車両が多くの場合、方位角が３６０°、且つ−１５°〜−７５°の垂直弧に沿った視認を可能にする超広視野視認システム、例えばＴｈａｌｅｓ社の「ＡＮＴＡＲＥＳ」システム等の半球センサを備えているという事実を利用する。この超広視野は、１個以上の検知／指示カメラの、当該カメラの少なくとも特定の範囲の向きにおける視野を含んでいる。本発明は従って、そのような超広視野視認システムにより取得された画像区画と、検知／指示カメラにより取得された画像とを、所与のディスプレイ内で組み合わせるという考えに基づいている。本発明によれば、検知／指示カメラから送られた高解像度狭視野画像は、視認システムから出力された、より低解像度の広視野画像の区画に埋め込められる。従って、検知／指示カメラと同じ向きであるがより広い視野を有する仮想カメラにより取得されるであろう画像に対応する合成画像が得られる。有利な特徴として、ユーザーは、検知／指示カメラの高解像度を利用すべくズームインする、または視野を広げて、例えば基準点を識別すべくズームアウトすることができる。
【０００８】
従って、本発明の主題の一つは、陸上車両への搭載を意図された光電子視認装置であり、
−  全方位画像センサと、
−  少なくとも１個の方位調整可能なカメラであって、全方位画像センサの視野よりも狭く、且つ当該カメラの少なくとも一組の向きにおいて全方位画像センサの視野に含まれる視野でより良好な解像度を有しているカメラと、
−  画像表示装置とを含むと共に、
データプロセッサであって、
−  前記全方位画像センサから少なくとも１個の第１の画像、および前記方位調整可能なカメラから１個の第２の画像を受信すること、
−  第１および第２の画像から、第２の画像の少なくとも１個の区画が第１の画像の１個の区画に埋め込まれている合成画像を合成すること、ならびに
−  前記合成画像を画像表示装置に送信することを行うべく構成またはプログラミングされたデータプロセッサも含み、当該データプロセッサは、前記合成画像を、前記方位調整可能なカメラと同じ向きであるがより広い視野を有する仮想カメラにより取得されるであろう画像に対応するように合成すべく構成またはプログラミングされている。
【０００９】
上述の装置の特定の実施形態によれば、
−  データプロセッサは、ユーザーから発せられた命令に応答して前記合成画像の視野の大きさを変更すべく構成またはプログラミングされていてよく、
−  データプロセッサは、前記第１の画像のストリームおよび前記第２の画像のストリームから前記合成画像のストリームをリアルタイムに合成すべく構成またはプログラミングされていてよく、
−  画像表示装置は、方位センサを備えた可搬表示装置であってもよく、当該装置はまた、カメラの向きを可搬表示装置の向きにサーボ制御するシステムを含んでおり、
−  全方位画像センサおよび方位調整可能なカメラは、異なるスペクトル範囲で動作すべく設計されていてよく、
−  全方位画像センサは半球センサであってよく、
−  方位調整可能なカメラは、１°〜２０°、好適には３°〜１２°の間に含まれるおそらくは可変な視野を有していてよい。
【００１０】
本発明の別の主題は、上述の光電子視認装置を備えた装甲車両である。
【００１１】
本発明の更に別の主題は、上述の光電子装置により実行される方法であって、以下のステップ：
−  全方位画像センサから第１の画像を受信するステップと、
−  方位調整可能なカメラから、第２の画像すなわち第１の画像の視野よりも狭く、且つ第１の画像の視野に含まれる視野でより良好な解像度を有する第２の画像を受信するステップと、
−  第１および第２の画像から、第２の画像の少なくとも１個の区画が第１の画像の１個の区画に埋め込まれている合成画像すなわち前記方位調整可能なカメラと同じ向きであるがより広い視野を有する仮想カメラにより取得されるであろう画像に対応する合成画像を合成するステップと、
−  前記合成画像を表示するステップとを含んでいる。
【００１２】
上述の方法の特定の実施形態によれば、
−  ．
−  本方法はまた、以下のステップ、すなわちユーザーから発せられた命令に応答して前記合成画像の視野の大きさを変更するステップを含んでいてよく、
−  前記合成画像のストリームは、前記第１の画像のストリームおよび前記第２の画像のストリームからリアルタイムに合成することができ、
−  前記合成画像は方位センサを備えた可搬表示装置上に表示可能であり、本方法はまた以下のステップ、すなわち前記センサにより生成された信号から前記可搬表示装置の向きを決定するステップと、カメラの向きを可搬表示装置の向きにサーボ制御するステップとを含んでいる。
【００１３】
本発明の他の特徴、詳細事項、および利点は、例示的に示す添付図面に関する記述を精査することにより明らかになろう。
【図面の簡単な説明】
【００１４】
【図１】本発明の原理の模式的表現である。
【図２Ａ】本発明の実行中に表示される各種画像を示す。
【図２Ｂ】本発明の実行中に表示される各種画像を示す。
【図２Ｃ】本発明の実行中に表示される各種画像を示す。
【図２Ｄ】本発明の実行中に表示される各種画像を示す。
【図２Ｅ】本発明の実行中に表示される各種画像を示す。
【図３】本発明の各実施形態による２個の光電子装置を模式的に示す。
【図４】本発明の各実施形態による２個の光電子装置を模式的に示す。
【発明を実施するための形態】
【００１５】
本明細書において、
−  用語「検知／指示カメラ」は、方位面内で垂直弧に沿った視野が典型的には１２°または１５°以下、但し２０°程度の場合もある比較的小さい方位調整可能なデジタルカメラを示す。検知／指示カメラは、可視スペクトル領域、近赤外域（暗視）、中央または遠赤外域（熱カメラ）で動作可能である、または実際にはマルチスペクトルまたはハイパースペクトル型であってもよい。
−  用語「超広視野」および「全方位」は同義と考えられ、方位面内、垂直弧に沿って、またはその両方で少なくとも４５°延在する視野を指す。
−  用語「半球センサ」は、方位面内で３６０°且つ垂直弧に沿って少なくとも４５°延在する視野を有する画像センサを指す。これは、例えば、魚眼対物レンズ、または実際には視野がより小さいカメラと当該カメラにより取得された画像を組み合わせるデジタルプロセッサの組からなる複合センサを用いる単一センサのことである。半球センサは、特定の種類の全方位または超広視野画像センサである。
【００１６】
上で説明したように、本発明の一態様は、所与の表示において、半球視認システム（またはより一般には超広視野視認システム）により取得された画像区画と、検知／指示カメラにより取得された画像とを組み合わせることである。これは、画面、仮想現実ヘッドセット等の１個以上の表示装置により表示された１個以上の合成画像の合成につながる。
【００１７】
本発明による装置を用いる際に、操作者は例えば、視野が（方位面内で）２０°×（垂直弧に沿って）１５°の広視野視認モードを選択することができる。選択は、キーボード、サムホイール、ジョイスティック等の適当なインターフェースツールで行われる。適当にプログラミングされたデータプロセッサが次いで、所望の大きさの視野を有し、且つ検知／指示カメラの視認方向に向けられた半球視認システムから出力された画像の区画を選択する。視野の大きさが例えば９°×６°に対応する検知／指示カメラにより取得された画像が、同一縮尺で当該画像の中央に埋め込まれる。これを図１の左側パネルに示しており、参照番号１００は合成画像を示しており、１０１は、操作者が自身のベアリング（方位）を認識できるように半球視認システムから生じた「コンテキスト」を提供する当該合成画像の外側部分に対応しているのに対し、１０２は、検知／指示カメラから生じた当該合成画像の中心部分を示す。基本画像１０１、１０２の縮尺が同一であり、従って、合成画像が示すシーンの連続性に断絶が無い点に注意されたい。基本画像１０１、１０２の解像度が同一でなく、別々のスペクトル範囲に対応している場合があるため、視差の回避が困難であるという事実はさておき、合成画像は、検知／指示カメラと同じ向きであるがより広い視野を有する「仮想」カメラと称するカメラにより取得されるであろう画像に対応している。
【００１８】
文献米国特許出願公開第２００２／７５２５８号明細書の監視システムの場合とは逆に、検知／指示カメラの向きが変更される際に基本画像１０２は基本画像１０１の内部で移動しない。対照的に、検知／指示カメラの視野は、基本画像１０２を視野の中心に合わせたままにすべく変更される。このような仕方で、合成画像の中心部が常に高解像度を有している。
【００１９】
操作者がズームアウトすることにより、更に視野の大きさが拡大したならば、画像の中心部１０２は縮小する。操作者がズームインした場合、図１の中央パネルに示すようにこの中心部１０２は前記外側部分が消滅する（同図の右側パネル）まで外側部分１０１が隠されるまで拡大する。ここで表示を変更することにより行われるデジタルズーム機能に言及する。検知／指示カメラはまた、光学ズームを含んでいてよいが、カメラが光学的にズームインされた場合はカメラから出力される画像の視野の大きさが減少し、従って合成画像１００の中心部１０２が縮小する。合成画像１００に適用されるデジタルズームは、画像１０１と１０２との寸法比率を適宜復元することができる。
【００２０】
有利な特徴として、検知／指示カメラおよび半球視認システムは、毎秒数フレームの速度で画像流を送る。好適には、これらの画像はリアルタイムまたはほぼリアルタイム、すなわち待ち時間が１秒を超えず、好適には０．０２秒（後者は１フレームの標準持続時間に対応）で組み合わせられる。
【００２１】
図２Ａ〜２Ｅに、本発明による光電子装置の画面２に表示された合成画像をより詳細に示す。
【００２２】
図２Ａに当該画面の概要を示す。
【００２３】
画面の下部の横長画像２０は、半球センサから出力されたパノラマ画像２０１（方位面内で３６０°、当該平面に垂直に−１５°〜＋７５°）と、検知／指示カメラ、この場合は赤外線カメラから出力された画像２０２とを組み合わせることにより得られた第１の合成画像に対応している。実際に、パノラマ画像２０１の長方形が画像２０２（または特定のケースでは当該画像の区画）により代替されている。検知／指示カメラが光学ズームを備えている場合、画像２０２の大きさは可変的であってよいが、いずれにせよパノラマ画像２０１の僅かな部分しか占めていない。図２Ｂに当該横長画像の詳細を示す。横長画像を表示する場合、合成画像の中心が必ずしも検知／指示カメラの視認方向に合わされている訳ではない点に注意されたい。
【００２４】
画面の最上部２１は、半球画像センサから出力されたコンテキスト２０１１、すなわちパノラマ画像２０１の区画２０１１に埋め込められた、検知／指示カメラからの出力画像２０２を表示する第２の合成画像２１０を示す。ユーザーは、合成画像２１０の視野の大きさを減少させるべくデジタルズーム（検知／指示カメラの光学ズームから独立した）を起動することを決定できる。埋め込み画像２０２は従って、パノラマ画像の区画２０１１が隠されるまで拡大されたように見える。図２Ｃ、２Ｄおよび２Ｅは益々高いズームレベルに対応している。図２Ｅは特に、検知／指示カメラから出力された画像２０２だけが表示される（図１の右側パネル参照）限定的なケースに対応している。無論、ユーザーは任意の時点で再度画像のコンテキストを見るためにズームアウトすることを決定できる。
【００２５】
本発明の利点の一つは、検知／指示カメラにより観察された領域が識別されている横長画像の表示２０と、視野の大きさが中間的な合成画像２１との両方を利用できることである。これは検知／指示カメラの光学ズームを単独で用いた場合には不可能であろう。
【００２６】
画面の別の部分を用いてパノラマ画像２０１の詳細を表示することができる。これは本発明とは直接関係しない。
【００２７】
図３に、装甲車両３０００に設置された、本発明の第１の実施形態による光電子装置を模式的に示す。参照番号３００は車両のルーフに載置された半球画像センサを示し、３１０はタレットに設置された検知／指示カメラに対応し、３１１は、操作者３５０がカメラ３１０およびその光学ズームの向きを制御できるようにするジョイスティック型の制御装置に対応している。３２０は、センサ３００およびカメラ３１０からの画像ストリームを受信して画面３３０に表示される１個以上の合成画像を合成するデータプロセッサを示す。この図の下部はこれらの合成画像２１０を示しており、当該画像は図２Ａ〜２Ｅに関して上で述べたものである。
【００２８】
図４に、同じく装甲車両３０００に設定された、本発明の第２の実施形態による光電子装置を模式的に示す。本装置は、表示画面および制御装置３１１が例えば一対の双眼鏡、仮想現実ヘッドセット、またはタブレット等の可搬表示装置４３０により代替されている点で図３の装置とは異なる。当該装置４３０は位置および方位センサ、すなわちジャイロスコープ、加速度計、光学センサ等を備え、車両に固有の座標系における自身の位置および特に自身の向きを決定することができる。サーボ制御装置システム４３５は、データプロセッサ３２０と特定の要素を共有していてよく、カメラ３１０の向きを装置４３０の向きにサーボ制御する。装置により表示された合成画像は、向きの変化にリアルタイムに適合する。従って、操作者３５０は、あたかも一対のズーム双眼鏡により車両３０００の装甲を透過して視認している印象を受ける。また、例えば図２Ａに示す横長画像２０等の超広視野合成画像を表示する画面があってもよい。
【００２９】
今述べた実施形態において、光電子装置は、単一の超広視野視認システム（半球センサ）および単一の検知／指示カメラを含んでいる。しかし、より一般には、このような装置は、例えば異なるスペクトル領域で動作する複数の超広視野視認システム、および／または任意選択的に独立に方位が調整可能な複数の検知／指示カメラを含んでいてよい。従って、複数の異なる合成画像を生成して表示することができる。
【００３０】
データプロセッサは、汎用コンピュータであっても、画像処理専用のマイクロプロセッサボードであっても、更には専用デジタル電子回路であってもよい。本発明を実行するために、それ自体が公知の画像処理アルゴリズムを実行する。
【図１】
2019526182.tif 000003
【図２Ａ】
2019526182.tif 000004
【図２Ｂ】
2019526182.tif 000005
【図２Ｃ】
2019526182.tif 000006
【図２Ｄ】
2019526182.tif 000007
【図２Ｅ】
2019526182.tif 000008
【図３】
2019526182.tif 000009
【図４】
2019526182.tif 000010
【国際調査報告】
2019526182.tif 000011
2019526182.tif 000012
2019526182.tif 000013
2019526182.tif 000014