(57)【要約】【課題】少なくとも１つの第１スペクトル画像を第２スペクトル画像に変換する方法およびシステムを提供する。【解決手段】第１スペクトル記録装置（１）を用いて、対応する第１スペクトルセンサ基準データ（ｂ１、ｂ２）とともに第１の画像部分を含む、少なくとも１つの基準場面（ＲＳ）の少なくとも１つの第１スペクトル基準画像（ＮＲＩ）を記録する工程と、対応する第２スペクトル基準情報（ＲＧＢ）を提供する工程と、基準場面（ＲＳ）に関連する第１スペクトルセンサ基準データ（ｂ１、ｂ２）と、少なくとも基準場面（ＲＳ）に関連する第２スペクトル情報（ＲＧＢ）の対応部分とから、少なくとも一組の基準データ（Ｔ１、Ｔ２）を提供する工程と、少なくとも１つの目標第１スペクトル画像（ＮＴＩ）または目標第２スペクトル画像を提供する工程と、一組の基準データ（Ｔ１、Ｔ２）を使用して、各目標第１スペクトル画像（ＮＴＩ）または目標第２スペクトル画像をそれぞれ第２スペクトル画像（ＣＩ）または第１スペクトル画像に変換する工程とを含む、第１スペクトルの少なくとも１つの画像を第２スペクトルの画像に変換する方法。【選択図】なし
2009545804.tif 000002
【特許請求の範囲】
【請求項１】
第１スペクトル記録装置（１）を用いて、対応する第１スペクトルセンサ基準データ（ｂ１、ｂ２）とともに第１の画像部分を含む、少なくとも１つの基準場面（ＲＳ）の少なくとも１つの第１スペクトル基準画像（ＮＲＩ）を記録する工程と、
対応する第２スペクトル基準情報（ＲＧＢ）を提供する工程と、
前記基準場面（ＲＳ）に関連する前記第１スペクトルセンサ基準データ（ｂ１、ｂ２）と、少なくとも該基準場面（ＲＳ）に関連する前記第２スペクトル情報（ＲＧＢ）の対応部分とから、少なくとも一組の基準データ（Ｔ１、Ｔ２）を提供する工程と、
少なくとも１つの目標第１スペクトル画像（ＮＴＩ）または目標第２スペクトル画像を提供する工程と、
前記一組の基準データ（Ｔ１、Ｔ２）を使用して、各目標第１スペクトル画像（ＮＴＩ）または目標第２スペクトル画像をそれぞれ第２スペクトル画像（ＣＩ）または第１スペクトル画像に変換する工程とを含む、第１スペクトルの少なくとも１つの画像を第２スペクトルの画像に変換する方法。
【請求項２】
前記記録装置が夜間視装置である、請求項１に記載の方法。
【請求項３】
例えばすべての獲得可能な第１スペクトルセンサ値のリストまたは複数の獲得可能な第１スペクトルセンサ値のアレイを提供することによって、前記第１スペクトル記録装置（１）によって生成することができる、複数の獲得可能な第１スペクトルセンサ基準データ部分を索引付けすることを伴う、索引付けされたデータセットを生成する工程と、
前記索引付けされた第１スペクトルセンサ基準データ部分およびそれに対応する第２スペクトル基準情報部分が同じ索引ポインタとともに提供されるように、前記少なくとも１つの第１スペクトル基準画像（ＮＲＩ）を利用して、前記第２スペクトル基準情報（ＲＧＢ）を前記索引付けされたデータセットに割り当てる工程とを含む、先行する請求項のいずれか一項に記載の方法。
【請求項４】
前記第２スペクトル基準情報（ＲＧＢ）が、例えば基準場面の目視検査によって既に既知であるか、または、
対応する第２スペクトル情報（ＲＧＢ）とともに第２の第２スペクトル画像を含む、各基準場面の少なくとも１つの第２スペクトル基準画像（ＣＲＩ）を提供することによって提供される、先行する請求項のいずれか一項に記載の方法。
【請求項５】
前記一組の基準データが、
第１の画像部分の基準場面画像の座標が対応する第２の画像部分の基準場面画像座標にほぼ対応するように、複数の第１の第１スペクトル画像部分およびそれに対応する第２の第２スペクトル画像部分を選択する工程と、
結果として得られる索引の各入力が、選択された第１の画像部分および対応する第２の画像部分と関連付けられた前記第１スペクトルセンサ基準データ及び前記それに対応する第２スペクトル情報を指すように、例えば少なくとも１つのルックアップテーブル（Ｔ１、Ｔ２）内の、前記第１スペクトルセンサ基準データおよび前記第２スペクトル情報を索引付けする工程とによって生成される、請求項４に記載の方法。
【請求項６】
目標第１スペクトル画像（ＮＴＩ）をそれぞれの第２スペクトル画像（ＣＩ）に変換する場合には、
目標第１スペクトル画像（ＮＴＩ）の各目標第１スペクトル画像部分と関連付けられた第１スペクトルセンサデータと、第１の画像部分の第１スペクトルセンサ基準データとの間の最も密接な一致を見つける工程と、
前記第１スペクトルセンサデータに基づいて、各第１スペクトル目標画像部分を、該目標画像部分と最も密接に一致した前記第１の画像部分と関連付けられた、前記第２の第２スペクトル画像部分と置き換えて、前記第２スペクトル画像（ＣＩ）を生成する工程とを含み、
あるいは、逆に、目標第２スペクトル画像をそれぞれの第１スペクトル画像に変換する場合には、
目標第２スペクトル画像の各目標第２スペクトル画像部分と関連付けられた第２スペクトル情報と、第２の画像部分の第２スペクトル情報との間の最も密接な一致を見つける工程と、
前記第２スペクトル情報に基づいて、各第２スペクトル目標画像部分を、該目標画像部分と最も密接に一致した前記第１の画像部分と関連付けられた、前記第１の第１スペクトル画像部分と置き換えて、前記第１スペクトル画像を生成する工程とを含む、請求項５に記載の方法。
【請求項７】
目標第１スペクトル画像（ＮＴＩ）をそれぞれの第２スペクトル画像（ＣＩ）に変換する場合には、
目標画像（ＮＴＩ）の各目標画像部分と関連付けられた第１スペクトルセンサデータと前記第１の画像部分の前記第１スペクトルセンサ基準データとの間の最も密接な一致を見つける工程と、
各目標画像部分をそれぞれの索引入力ポインタと置き換えて、索引画像を提供する工程と、
各索引入力ポインタを該索引入力のそれぞれの第２スペクトル情報と置き換えることによって、前記索引画像を前記第２スペクトル画像（ＣＩ）に変換する工程とを含み、
あるいは、逆に、目標第２スペクトル画像をそれぞれの第１スペクトル画像に変換する場合には、
目標第２スペクトル画像の各目標画像部分と関連付けられた第２スペクトル情報と前記第２の画像部分の前記第２スペクトル基準データとの間の最も密接な一致を見つける工程と、
各目標画像部分をそれぞれの索引入力ポインタと置き換えて、索引画像を提供する工程と、
各索引入力ポインタを該索引入力のそれぞれの第１スペクトル情報と置き換えることによって、前記索引画像を前記第１スペクトル画像に変換する工程とを含む、請求項５または６に記載の方法。
【請求項８】
前記第１スペクトルセンサ基準データが、前記スペクトルの少なくとも２つの異なる部分に関連する多重帯域データを含む、先行する請求項のいずれか一項に記載の方法。
【請求項９】
前記第２スペクトル基準情報が総天然色の色情報である、先行する請求項のいずれか一項に記載の方法。
【請求項１０】
前記第１スペクトルセンサ基準データおよび前記目標画像が、ほぼ同じタイプの第１スペクトル記録装置によって生成される、先行する請求項のいずれか一項に記載の方法。
【請求項１１】
少なくとも１つの第１スペクトル画像を第２スペクトル画像に変換する、好ましくは先行する請求項のいずれかに記載の方法を実施するように構成されたシステムであって、
少なくとも１つの基準場面（ＲＳ）に関連する第１スペクトルセンサ基準データを生成するように構成された、少なくとも第１スペクトル記録装置（１）と、
同じ基準場面（ＲＳ）に関連する自然の第２スペクトル情報を提供するように構成された少なくとも第２スペクトル情報プロバイダ（５）と、 
目標場面の少なくとも第１スペクトル目標画像または少なくとも第２スペクトル目標画像を提供する、少なくとも目標画像生成器とを備え、
前記システムが、前記第１スペクトルセンサ基準データの少なくとも一部を、前記第２スペクトル情報の対応する部分と組み合わせて使用して、各目標第１スペクトル画像（ＮＴＩ）をそれぞれの第２スペクトル画像（ＣＩ）に、または逆に各目標第２スペクトル画像をそれぞれの第１スペクトル画像に変換するように構成された変換器（１０）を備える、システム。
【請求項１２】
前記第１スペクトルセンサ基準データの少なくとも一部、または潜在的に獲得可能な第１スペクトルセンサ基準データを、前記第２スペクトル情報の対応する部分と組み合わせて含む、少なくとも一組の基準データが格納されるメモリを備える、請求項１１に記載のシステム。
【請求項１３】
異なる基準場面に関連する基準データの様々な組を利用するように構成され 前記変換器（１０）が、目標画像を第２スペクトル画像に変換するため基準データの前記組の１つを選択するように制御可能である、請求項１１または１２に記載のシステム。
【請求項１４】
前記変換器が、複数の索引入力を含む少なくとも１つの索引付けされたデータセットを備え、各入力が少なくとも、
第１スペクトル基準画像または潜在的に獲得可能な第１スペクトルセンサ基準データから選択された第１の画像部分と関連付けられた、前記第１スペクトルセンサ基準データと、
それに対応する第２スペクトル情報とを含む、請求項１１から１３のいずれか一項に記載のシステム。
【請求項１５】
前記変換器（１０）が、目標画像（ＮＴＩ）の各目標画像部分と関連付けられた第１スペクトルまたは第２スペクトルデータと、前記基準場面にそれぞれ関連する前記第１スペクトルデータまたは前記第２スペクトルデータとの間の最も密接な一致を見つけるように構成される、請求項１４に記載のシステム。
【請求項１６】
前記変換器（１０）が、各目標第１スペクトル画像部分を、前記第１スペクトルセンサデータに基づいて前記目標画像部分に最も密接に一致した、前記第１の画像部分と関連付けられた第２の第２スペクトル画像部分と置き換えて、前記第２スペクトル画像（ＣＩ）を生成するように構成される、請求項１５に記載のシステム。
【請求項１７】
前記変換器（１０）が、各目標第２スペクトル画像部分を、前記第２スペクトルセンサデータに基づいて前記目標第２スペクトル画像部分に最も密接に一致した、前記第２の画像部分と関連付けられた第１の第１スペクトル画像部分と置き換えて、前記第１スペクトル画像を生成するように構成される、請求項１５または１６に記載のシステム。
【請求項１８】
前記変換器が、各目標画像部分をそれぞれの索引入力ポインタと置き換えて、索引画像を提供し、各索引入力ポインタを、前記索引入力のそれぞれの第２スペクトルまたは第１スペクトル情報と置き換えるように構成される請求項１５から１７のいずれか一項に記載のシステム。
【請求項１９】
前記索引付けされたデータセットが、第１の画像部分およびそれぞれの第１スペクトルセンサデータ（ｂ１、ｂ２）、例えば多重帯域センサデータに関連する、ならびに、対応する第２スペクトル画像（ＣＲＩ）の第２の画像部分およびそれぞれの第２スペクトル情報（ＲＧＢ）、例えばそれぞれの赤、緑、および青の値に関連する、少なくとも１つのテーブルを含む、請求項１４から１８のいずれか一項に記載のシステム。
【請求項２０】
前記第１スペクトルセンサ基準データおよび前記第２スペクトル情報を処理して、少なくとも一組の基準データを提供するように構成されたデータプロセッサ（３０）を備え、前記データプロセッサ（３０）が、
第１の画像部分の基準場面画像の座標が、対応する第２の画像部分の基準場面画像の座標にほぼ対応するように、第１スペクトル基準画像（ＮＲＩ）からの複数の第１の第１スペクトル画像部分、および対応する第２スペクトル画像（ＣＲＩ）からの対応する第２の第２スペクトル画像部分を選択し、
結果として得られる索引の各入力が、選択された第１の画像部分および対応する第２の画像部分と関連付けられた前記第１スペクトルセンサ基準データおよび前記対応する第２スペクトル情報を指すように、例えば少なくとも１つのルックアップテーブル（Ｔ１、Ｔ２）の中で前記第１スペクトルセンサ基準データおよび前記第２スペクトル情報を索引付けするように構成される、請求項１１から１９のいずれか一項に記載のシステム。
【請求項２１】
前記第２スペクトル情報を記録する、例えば少なくとも１つの第２スペクトル基準画像（ＣＲＩ）を記録する、第２スペクトル画像記録装置（５）を備える、請求項１１から２０のいずれか一項に記載のシステム。
【請求項２２】
前記目標画像生成器が夜間視装置である、請求項１１から２１のいずれか一項に記載のシステム。
【請求項２３】
コンピュータコードを含み、コンピュータデバイスによって実行されたとき、請求項１から１０のいずれか一項に記載の方法にしたがって、第１スペクトル目標画像の第２スペクトル画像への変換、または逆の変換を実施するように構成された、かつ／あるいはコンピュータデバイスによって実行されたとき、請求項１１から２２のいずれか一項に記載のシステムの変換器を提供するように構成された、コンピュータプログラムまたはコンピュータプログラム製品。
【請求項２４】
請求項１から１０のいずれか一項に記載の方法において生成される基準データセットであって、前記基準場面（ＲＳ）に関連する前記第１スペクトルセンサ基準データ（ｂ１、ｂ２）の少なくとも一部、および前記基準場面（ＲＳ）に関連する前記第２スペクトル情報（ＲＧＢ）の少なくとも対応する部分から提供される、基準データセット。
【請求項２５】
請求項２４による基準データセットを含む情報キャリア。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも１つの第１スペクトル画像を第２スペクトル画像に変換する方法およびシステムに関する。
【背景技術】
【０００２】
従来技術により、第１スペクトル画像を色画像に変換する様々な方法が知られている。従来技術の方法は、論文"Natural colour mapping for multiband nightvision imagery" by Alexander Toet, Information Fusion, vol 4 (2003), pp 155-166に記載されている。この論文では、（融合した）多重スペクトル夜間像に自然な昼光色の外観を与える方法が提示されている。入力については、既知の方法は、多重帯域夜間視システムの３つの個々の帯域（または最初の３つの主成分）をＲＧＢ画像のそれぞれのチャネルに対してマッピングすることによって生成される、擬似色ＲＧＢ画像を必要とする。擬似色ＲＧＢ夜間視画像は、知覚的に逆相関された（decorrelated）色空間に転換される。この色空間では、自然色画像（目標場面）の一次統計は多重スペクトル夜間視画像（ソース場面）に転送される。この方法の唯一の要件は、ソース場面および目標場面の色組成がある程度互いに類似していることである。
【０００３】
既知の方法は、多重帯域画像の色の統計的性質（平均、標準偏差）を基準色画像のものに等化することに基づく。この方法の利点は、任意の基準色画像に基づいて目標画像を転換することができる点である。（例えば、ヴァン・ゴッホの絵画からの色を適用して、転換に対する基準を提供することができる。）
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】"Natural colour mapping for multiband nightvision imagery" by Alexander Toet, Information Fusion, vol 4 (2003), pp 155-166
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、第１スペクトル画像を第２スペクトル画像に変換する改善された方法およびシステムを提供することを目的とする。特に、本発明は、比較的単純で迅速な形で改善された第２スペクトル画像を提供することができる、方法およびシステムを提供することを目的とする。
【０００６】
本発明の一実施形態によれば、
第１スペクトル記録装置を用いて、対応する第１スペクトルセンサ基準データとともに第１の画像部分を含む、少なくとも１つの基準場面の少なくとも１つの第１スペクトル基準画像を記録する工程と、
対応する第２スペクトル基準情報を提供する工程と、
基準場面に関連する第１スペクトルセンサ基準データと、少なくとも基準場面に関連する第２スペクトル情報の対応部分とから、少なくとも一組の基準データを提供する工程と、
少なくとも１つの目標第１スペクトル画像または目標第２スペクトル画像を提供する工程と、
一組の基準データを使用して、各目標第１スペクトル画像または目標第２スペクトル画像をそれぞれ第２スペクトル画像または第１スペクトル画像に変換する工程とを含む、第１スペクトルの少なくとも１つの画像を第２スペクトルの画像に変換する方法が提供される。
【０００７】
例えば、第２スペクトルは、人間の目で検出可能な色を含む広範な可視スペクトルであることができ、第１スペクトルは、例えば赤外線波長を含む、異なるスペクトルであることができる。一例として、方法は、夜間視画像を自然な総天然色画像に変換するのに有利である。
【０００８】
基準データは、第１スペクトルまたは第２スペクトルの目標画像（使用の間、一般には基準場面の画像ではないが、目に見える目標場面の画像である）を、目標場面の第２スペクトル／第１スペクトル画像に転換するのに使用することができる。このようにして、例えば、比較的単純な変換手段またはアルゴリズムを利用して、比較的高速の変換を実施することができる。さらに、本発明の方法は、より自然な見た目の色を有する変換された色付きの夜間視像、例えばほぼ天然色の像を提供するのに使用することができる。例えば、このようにして、好ましくはリアルタイムで適用可能な比較的高速の（計算上安価な）アルゴリズムを提供することができる。また、方法は、より堅牢なアルゴリズムを提供することができ、それによって、長時間にわたって一定のままである物体色が得られる。さらに、色の現実性を向上することができる（即ち、昼光色に非常に類似した色が得られる最適な着色スキーム）。さらに、本発明は一般的な着色方法を提供することができ、それは、１を超えるあらゆる帯域数のセンサ信号にも適用することができる。例えば、さらなる実施形態では、上述の画像部分はピクセルである。さらに、例えば、目標画像は、適切な記録デバイスによって記録された記録画像であるか、または、異なる形で提供する、例えばコンピュータ計算によって、コンピュータシミュレータによって提供することができる。
【０００９】
本出願では、基準場面は屋内の場面、屋外の場面、および／または、例えば第２スペクトルが自然の総天然色スペクトルである場合に材料を目視検査することによって、第１のスペクトルセンサ出力およびそれに対応する第２スペクトル情報が既知である、例えば一組の異なる材料のサンプルを含むことができるので、用語「基準場面」は広範に解釈されるべきである。
【００１０】
例えば、第１スペクトル画像は夜間視画像であることができ、第２スペクトル画像は自然色画像であることができ、またはその逆であることができる。一般に、第１スペクトルは第２スペクトルとは異なり、また例えば異なる色スキームに関する。一例として、各スペクトルは１つまたは複数のスペクトル域によって提供することができる。特に、上述のスペクトルの一方（例えば、第２スペクトル）は、可視光スペクトルまたはその一部に限定することができ、スペクトルの他方（例えば、第１スペクトル）は、可視光スペクトルを越えて、またはその向こうに広がることができる。
【００１１】
上述のことから次のように、本発明の応用例は、軍事用暗視ゴーグルおよび観察カメラのものなどの夜間観察システム内にある。逆に、本発明は、それに加えて、昼光色像を夜間視像に変換する方法を提供する。昼夜変換の応用例は、昼光色像が一般に利用可能である一方で夜間視像が純粋に軍事範囲のものであることによって不足していることを考慮すれば、シミュレーション産業の範囲内にある。
【００１２】
さらなる実施形態では、方法は、
例えばすべての獲得可能な第１スペクトルセンサ値のリストまたは複数の獲得可能な第１スペクトルセンサ値のアレイを提供することによって、第１スペクトル記録装置によって生成することができる、複数の獲得可能な第１スペクトルセンサ基準データ部分を索引付けすることを伴う、索引付けされたデータセットを生成する工程と、
索引付けされた第１スペクトルセンサ基準データ部分およびそれに対応する第２スペクトル基準情報部分が同じ索引ポインタとともに提供されるように、少なくとも１つの第１スペクトル基準画像を利用して、第２スペクトル基準情報を索引付けされたデータセットに割り当てる工程とを含むことができる。
【００１３】
例えば、第１スペクトル記録装置によって生成することができる、複数の獲得可能な第１スペクトルセンサの基準データ部分の索引付けは、索引を提供し、様々な獲得可能な第１スペクトル基準データ部分を様々なポインタに割り当てる（それによって、１つの索引ポインタは１つの第１スペクトルセンサデータ部分に関連する）ことを伴う場合がある。
【００１４】
一例として、第１スペクトル（夜間視）基準データを提供するため、二重帯域夜間視センサデバイスが適用され、各帯域が２５６の異なるセンサ値（例えば、１〜２５６）を獲得することができる場合、索引付けされたデータセットは、２５６×２５６の入力を有することがある（データポインタは１〜６５５３６に及ぶ）。さらに、この例では、２５６個の入力のみの索引付けされたデータセットが適用される場合、入力は、獲得可能なセンサ信号の規則的または均一な分布に関連する場合がある。データまたは画像のそのような索引付けは、当業者には既知であり、例えば、一般に利用可能なコンピュータ描画プログラムによって適用されるような、グレースケーリング総天然色画像に類似するか、またはそれに等しい。
【００１５】
さらなる実施形態では、第１スペクトル画像を第２スペクトル画像に変換する場合、方法は、
第１スペクトル目標画像の目標画像部分を一組の基準データの第１の画像部分に一致させる工程と、
各目標画像部分が、それぞれの第１スペクトルセンサ目標画像部分に最も密接に一致する第１の画像部分に属する第２スペクトル情報部分にリンクされるようにして、第２スペクトル情報部分をすべての目標画像部分に割り当てる工程と、
割り当てられた第２スペクトル情報部分に基づいて第２スペクトル画像を生成する工程とを含むことができる。
【００１６】
同様に、第２スペクトル画像を第１スペクトル画像に変換する場合、方法は、
第２スペクトル目標画像の目標画像部分を一組の基準データの第２の画像部分に一致させる工程と、
各目標画像部分が、それぞれの第２スペクトル基準情報に最も密接に一致する第２の画像部分に属する第１スペクトル情報部分にリンクされるようにして、第１スペクトル情報部分をすべての目標画像部分に割り当てる工程と、
割り当てられた第１スペクトル情報部分に基づいて第１スペクトル画像を生成する工程とを含むことができる。
【００１７】
上述のことから次のように、第２スペクトル基準情報の少なくとも一部は、例えば基準場面の目視検査によって既に既知である場合がある。また、第２スペクトル基準情報は、
第２の第２スペクトル画像部分をそれに対応する第２スペクトル情報とともに含む、各基準場面の少なくとも１つの第２スペクトル基準画像を提供することによって提供することができる。
【００１８】
また、さらなる実施形態によれば、基準データの組は、単に、
第１の画像部分の基準場面画像の座標がそれに対応する第２の画像部分の基準場面画像の座標に対応するようにして、複数の第１の第１スペクトル画像部分およびそれに対応する第２の第２スペクトル画像部分を選択し、
結果として得られる索引の各入力が、選択された第１の画像部分およびそれに対応する第２の画像部分と関連付けられた第１スペクトルセンサ基準データおよびそれに対応する第２スペクトル情報を指すようにして、第１スペクトルセンサ基準データおよび第２スペクトル情報を索引付けすることによって、生成することができる。上述のことから次のように、例えば、索引は、予め定められた潜在的に獲得可能な第１スペクトルセンサ基準データから始めて、第２スペクトル情報をリストに結び付け、上述の第１（夜間視）および第２（第２スペクトル）の画像部分を利用することによって、蓄積されてもよい。
【００１９】
さらなる別の実施形態では、方法は、
記録された目標画像の各目標画像部分と関連付けられた第１スペクトルセンサデータと、第１の画像部分の第１スペクトルセンサ基準データとの間の最も密接な一致を見つける工程と、
第１スペクトルセンサデータに基づいて、各目標画像部分を、該目標画像部分と最も密接に一致した第１の画像部分と関連付けられた、第２の第２スペクトル画像部分と置き換えて、第２スペクトル画像を生成する工程とを含むことができる。
【００２０】
あるいは、方法は、目標第２スペクトル画像をそれぞれの第１スペクトル画像に変換する場合には、
目標第２スペクトル画像の各目標第２スペクトル画像部分と関連付けられた第２スペクトル情報と、第２の画像部分の第２スペクトル情報との間の最も密接な一致を見つける工程と、
第２スペクトル情報に基づいて、各第２スペクトル目標画像部分を、該目標画像部分と最も密接に一致した第１の画像部分と関連付けられた、第１の第１スペクトル画像部分と置き換えて、第１スペクトル画像を生成する工程とを含むことができる。
【００２１】
また、さらなる実施形態では、方法は、
記録された目標画像の各目標画像部分と関連付けられた第１スペクトルセンサデータと第１の画像部分の第１スペクトルセンサ基準データとの間の最も密接な一致を見つける工程と、
各目標画像部分をそれぞれの索引入力ポインタと置き換えて、索引画像を提供する工程と、
各索引入力ポインタを該索引入力のそれぞれの第２スペクトル情報と置き換えることによって、索引画像を第２スペクトル画像に変換する工程とを含む。
【００２２】
代替例では、第２スペクトル画像をそれぞれの第１スペクトル画像に変換する場合、方法は、
目標第２スペクトル画像の各目標画像部分と関連付けられた第２スペクトル情報と第２の画像部分の第２スペクトル基準データとの間の最も密接な一致を見つける工程と、
各目標画像部分をそれぞれの索引入力ポインタと置き換えて、索引画像を提供する工程と、
各索引入力ポインタを該索引入力のそれぞれの第１スペクトル情報と置き換えることによって、索引画像を第１スペクトル画像に変換する工程とを含むことができる。
【００２３】
本発明はまた、請求項１１の特徴によって特徴付けられるシステムを提供する。
【００２４】
システムは、好ましくは、本発明による方法を実施するように構成されており、また、
少なくとも１つの基準場面に関連する第１スペクトルセンサ基準データを生成するように構成された、少なくとも第１スペクトル記録装置と、
同じ基準場面に関連する自然の第２スペクトル情報を提供するように構成された少なくとも第２スペクトル情報プロバイダと、
目標場面の少なくとも第１スペクトル目標画像または少なくとも第２スペクトル目標画像を提供するように構成された、少なくとも目標画像生成器とを備えることができ、
システムは、上述の第１スペクトルセンサ基準データの少なくとも一部を、上述の自然の第２スペクトル情報の対応する部分と組み合わせて使用して、各目標第１スペクトル画像をそれぞれの第２スペクトル画像に、または逆に各目標第２スペクトル画像をそれぞれの第１スペクトル画像に変換するように構成された変換器を備える。
【００２５】
また、コンピュータコードを含み、コンピュータデバイスによって実行されたとき、本発明による方法にしたがって、第１スペクトル目標画像の第２スペクトル画像への変換、または逆の変換を実施するように構成された、かつ／あるいはコンピュータデバイスによって実行されたとき、本発明によるシステムの変換器を提供するように構成された、コンピュータプログラムまたはコンピュータプログラム製品、例えば情報キャリアが提供される。一例として、情報キャリアは、基準場面に関連する第１スペクトルセンサ基準データの少なくとも一部、およびその基準場面に関連する第２スペクトル情報の少なくとも対応する一部から提供された、本発明による方法において生成された基準データセットを有することができる。
【００２６】
一実施形態では、本発明の背後にある基本概念は、それに対するセンサ値およびそれに対応する第２スペクトルの両方が既知である、少なくとも一組の画像サンプルを使用することであり、そのことが上述の利点を提供することができる。ここでは、知覚的に逆相関された第２スペクトル空間は、第１スペクトル画像を自然の第２スペクトル画像に転換するのには使用されない。
【００２７】
例えば、上述の最も密接に一致する着色の概念を使用して、単一（または多重帯域）センサ画像を昼光色画像に変えることができる。また、本発明の方法を使用して、昼光色画像を単一（または多重帯域）センサ画像に変えることができる。この場合、基準画像は、シミュレートしようとする画像であることができる（単一または多重帯域）センサ画像であり、目標画像は昼光色情報を含む。この逆のスキームをセンサシミュレーションに適用して、一般に利用可能な日中像を夜間像に変換することができる。これは、既存の日中視データベースから夜間視データベースを自動的に生成するように機能することができる。
【００２８】
本発明の別の応用例は、古い画像、映像、および写真、例えば第二次世界大戦のカラーフィルムを着色または再着色して、そのような画像、映像、および写真の質を向上させるものである。その場合、例えば、基準画像と目標画像の両方が色画像である場合がある。
【００２９】
本発明のさらなる有利な実施形態は従属クレームに記載されている。本発明のこれらおよび他の態様は、以下に記載する実施形態から明白になり、またそれらを参照して解明されるであろう。
【図面の簡単な説明】
【００３０】
【図１】基準データセットを生成する第１工程の間の、本発明の一実施形態による方法およびシステムの概略図である。
【図２】基準データセットを生成するさらなる工程を示す、本発明の一実施形態による方法およびシステムの概略図である。
【図３】目標場面を記録し、夜間視画像を色画像に変換する間の、本発明の一実施形態による方法およびおシステムの概略図である。
【図４】基準データセットの生成を示す図である。
【図５】目標画像の変換における基準データの使用を示す図である。
【発明を実施するための形態】
【００３１】
本出願では、等しいまたは対応する特徴は、等しいまたは対応する参照符号によって示す。
【００３２】
図１〜３は、目標場面ＴＳの夜間視目標画像をそれぞれの色画像ＣＩに変換するシステムを概略的に示す。逆に、システムは、色目標画像をそれぞれの夜間視画像に変換するため、または例えば風化もしくは退色した古い色画像を再着色するために適用することができる。
【００３３】
本実施形態では、システムは、
少なくとも１つの基準場面ＲＳに関連する自然色情報（すなわち、第２スペクトル情報）を提供するように構成された少なくとも色情報プロバイダ５（図１を参照）と、
同じ基準場面ＲＳ（１つまたは複数）に関連する夜間視センサ基準データを生成するように構成された少なくとも夜間視装置１（すなわち、第１スペクトル記録装置）（図２を参照）と、
目標場面ＴＳの目標夜間視画像ＮＴＩを生成するように構成された少なくとも夜間視装置１’（図３を参照）とを備えることができる。
【００３４】
また、システムは、上述の夜間視センサ基準データの少なくとも一部を上述の自然色情報の対応する部分と組み合わせて使用して、各記録された目標画像ＮＴＩをそれぞれの色画像ＣＩに変換するように構成された変換器１０を備えることができる。
【００３５】
本実施形態では、システムは２つの夜間視装置１および１’を備える。夜間視装置の構造は、当業者には既知のようなものであり、したがって、本出願では詳細に説明する必要はないであろう。基本的に、夜間視装置は、人間の目には直接見えない画像を記録するシステム（例えば、映像増倍管またはＩＲセンサを含むシステム）である。例えば、夜間視装置１は１つまたは複数のセンサ２を備え、各センサ２は、光スペクトルの１つまたは複数の帯域を検出するように構成される。したがって、装置１は、単一の光帯域を検出するように構成された単一帯域装置であることができるが、好ましくは、装置１は、複数の帯域（例えば、可視光に関連する第１の帯域と赤外〜可視光に関連する第２の帯域、または７００ｎｍ未満の光波長を含む第１の帯域と７００ｎｍ超過の波長を含む第２の帯域、あるいは２つを超える帯域）を検出するように構成された多重帯域装置である。以下では、非制限例として、２つの帯域の値がｂ１（帯域１）およびｂ２（帯域２）によって示される、二重帯域夜間視検出に関して実施形態を説明する。夜間視装置は、例えば夜間の、視覚的状況が損なわれている間の視覚を改善するために使用することができる。例えば、夜間視装置は、目標場面の静止画像および／または（半）連続リアルタイム映像を生成するように構成することができる。
【００３６】
また、夜間視装置１は、記録画像を補強し、かつ表示装置４上に画像を表示するように構成することができる。例えば、装置の上述の１つまたは複数のセンサ２は、特にセンサ２が画像増倍管を備える場合に、画像の補強を提供するように構成することができる。また、専用の画像補強手段を装置に提供することができる。特に、夜間視装置１は、場面の画像を、例えばピクセルから蓄積する画像をデジタル記録するように構成される。
【００３７】
更に、夜間視装置１は、適切な制御部、コンピュータ、コントローラ、アナログおよび／またはデジタル映像プロセッサ、信号処理ソフトウェアおよび／またはハードウェア、ならびに／あるいは他の適切な信号処理手段を備える信号処理部３を備えることができる。好ましくは、装置１は、例えば信号処理部３に統合された、少なくとも１つのメモリ部９（図３のような）、または別個のメモリ部（図２を参照）を備え、そのメモリ部は、検出された目標場面および／または他の情報に関連するセンサ信号データを格納することができる。
【００３８】
信号処理部３は、センサ信号を処理するため、センサ（１つまたは複数）２に結合することができ、検出した目標場面を装置１のユーザに対して表示するため、処理したセンサ信号を表示装置４に出力するように構成することができる。また、装置１を操作するための、例えば、１つもしくは複数のボタン、スイッチ、キーボード、タッチスクリーン、および／または他の適切なユーザ相互作用手段を含む、ユーザインターフェース８を提供することができる。
【００３９】
図２は、第１の夜間視装置１を概略的示し、図３は、第２の夜間視装置１’を示す。例えば、夜間視装置１および１’はほぼ同じタイプのものであり、例えば、ほぼ同じタイプの夜間視センサ（１つもしくは複数）２を備え、あるいは、ほぼ同じスペクトル域を検出し、かつ／またはほぼ同じ境界波長を有する様々な帯域の光を検出するように構成されている。
【００４０】
本発明のシステムでは、図３の第２の夜間視装置１’を使用して、目標場面ＴＣの目標夜間視画像ＮＴＩを生成／記録することができる。本発明のシステムの実施形態では、図３の装置１’は、目標画像ＮＴＩをそれぞれの色（または着色）画像ＣＩに変換する、上述の変換器１０をさらに備え、それらの色画像はそれぞれのカラー表示装置４上に表示することができる。変換器１０の動作はより詳細に後述する。変換器１０は、様々な形に設計することができ、例えば、別個の構成要素であるか、または上述の信号処理部３と統合することができる。例えば、変換器１０の少なくとも一部は、コンピュータコードを含み、その実行中に夜間視目標画像の色画像への変換を実施するコンピュータプログラムによって提供することができる。
【００４１】
色情報プロバイダは、様々な形で構成することができ、例えば、色画像記録装置５であることができる。記録装置５は、少なくとも１つの基準場面ＲＳに関連する自然色情報を記録するように構成することができる。結果として得られる記録画像は、色ピクセルから蓄積するデジタル色画像であることができ、各ピクセルは好ましくは、多数の色、例えば数千色または数百万色を持つことができる。
【００４２】
例えば、色画像記録装置５は、人間の目に見える少なくとも３つの異なる色、例えば赤、緑、青を含む色情報を記録するように構成することができる。また、自然色情報は、様々なタイプの情報を含むことができ、好ましくは、その情報から総天然色画像を再構築できるようなものである。本実施形態では、自然色情報は、単に光の三原色（ＲＧＢ）形式のデータを含み、画像の各ピクセルはそれぞれのＲＧＢ値を備えている。
【００４３】
例えば、色画像記録装置５は、ビデオカメラおよび／または写真カメラ、画像色スキャナー、および／または別の適切なタイプの色画像生成器であることができる。また、例えば、色画像記録装置は、例えば複合昼間／夜間撮像装置の形で、上述の夜間視装置１と統合することができる。
【００４４】
図１に概略的に示されるように、一例として、色画像記録装置５は、目標（基準）場面の検出、目標場面に関連するそれぞれのセンサ信号の処理、センサ信号の格納、目標場面の記録画像の表示をそれぞれ行うため、１つまたは複数の適切な色センサ１６、信号プロセッサ１７、メモリ１９、および表示装置１８を備えることができる。
【００４５】
色画像記録装置５を使用する代わりに、例えば、色情報は、目標場面の目視検査によって、または異なる手法で提供することができる。
【００４６】
本実施形態では、システムは、上述の夜間視装置１および色画像記録装置５から記録データを受け取るように構成されたデータプロセッサ３０を備えることができる。一例として、データプロセッサ３０は別個の処理部であるか、または夜間視装置１および／または色画像記録装置５に統合することができる。データプロセッサ３０、夜間視装置１、および色画像記録装置５の間の通信は、当業者には理解されるように、例えば無線および／または優先通信リンクを介して、様々な形で達成することができる。色画像記録装置５からデータプロセッサ３０へのデータ転送は、図１の矢印Ｄ（Ｒ，Ｇ，Ｂ）によって表される。例えば、このデータ転送Ｄ（Ｒ，Ｇ，Ｂ）は、データプロセッサ３０への記録色画像の転送を含むことができる。図２では、例えば、記録夜間視画像をデータプロセッサ３０にロードするための、夜間視装置１からデータプロセッサ３０へのデータ転送は、矢印Ｄ（ｂ１、ｂ２）によって表される。
【００４７】
本実施形態では、データプロセッサ３０は、上述の夜間視センサ基準データおよび自然色情報を処理して、少なくとも一組の基準データＴ１、Ｔ２を提供するように構成される（図４を参照）。例えば、データプロセッサ３０は、第１の画像部分の基準場面画像の座標が、それに対応する第２の画像部分の基準場面画像の座標にほぼ対応するようにして、複数の第１の夜間視画像部分（例えば、画像サンプル、ピクセル、またはピクセル群）およびそれに対応する第２の色画像部分を選択するように構成することができる。例えば、画像部分は、ピクセル、隣接したピクセルの小さな群、またはそれぞれの画像からのサンプルであることができる。一実施形態では、第１の画像部分は最初に選択され、その後、それに対応する第２の画像部分が検索される。あるいは、第２の画像部分を最初に選択し、その後、それに対応する第１の画像部分を検索することができ、または、夜間視目標画像からの画像部分の選択と、色画像からの画像部分の選択との組み合わせを適用することができる。更に、有利には、第１および／または第２の画像部分はそれぞれの画像から無作為に選択することができる。
【００４８】
あるいは、データプロセッサ３０が、どの夜間視センサ基準データが夜間視装置１によって獲得可能であるかを決定し、その決定に基づいて索引付きデータセットを構築するように構成されていると有利である。例えば、潜在的に獲得可能な夜間視センサ値のリストは、既にデータプロセッサ３０のメモリにロードしているか、または適切なインターフェースを、例えばユーザインターフェースを介して、もしくはデータプロセッサ３０と夜間視装置１との間の通信手段を介して、データプロセッサ３０に提供することができる。後者の場合、夜間視装置１は、潜在的に獲得可能なセンサ値のリストをデータプロセッサ３０に送信するように構成することができる。
【００４９】
基準データセットＴ１、Ｔ２は、少なくとも１つの基準場面ＲＳに関連する、ほぼすべての夜間視センサ基準データおよび色情報を含んでも（またはそれに基づいても）よい。また、例えば、夜間視センサ基準データおよびそれに対応する色情報の一部分のみを使用して、それぞれの基準データセットＴ１、Ｔ２を形成することができる。例えば、基準画像は、数千ピクセルまたはさらには数百万ピクセルを含んでもよく、約千以下の第１のピクセル（および第２のピクセル）のみを選択して、基準データセットを組み立てることができる。しかし、最良の結果を提供するために、好ましくは、ほぼすべての夜間視センサ基準データおよびそれに対応する色情報を使用して、基準データセットＴ１、Ｔ２を生成する。
【００５０】
例えば、データプロセッサ３０は、例えば少なくとも１つのルックアップテーブルＴ１、Ｔ２（図４を参照）において、結果として得られる索引の各入力が、第１の画像部分（例えば、ピクセル）およびそれに対応する第２の画像部分（例えば、ピクセル）と関連付けられた夜間視センサ基準データ（ｂ１，ｂ２）およびそれに対応する色情報（Ｒ，Ｇ，Ｂ）を指すようにして、夜間視センサ基準データおよび色情報に索引を付けることができる。ここでは、第１の画像部分それぞれの基準場面画像の座標は、それに対応する第２の画像部分の基準場面画像の座標にほぼ対応する（それによって、第１および第２の画像部分はそれぞれ基準場面のほぼ同じ部分に関連する）。対応する第１および第２の画像部分を見つけるため、データプロセッサ３０は、当業者には理解されるような様々なデータ処理技術、例えば、パターン認識、画像再スケーリング、画像整合、および／または他の方法を使用することができる。
【００５１】
さらなる実施形態では、索引付けは、そのデータが夜間視装置１によって生成されてもよいことが既に分かっている、潜在的に獲得可能な夜間視センサ基準データのアレイまたはリストを使用することを伴う（論点とは無関係に、夜間視装置１が基準場面ＲＳを検出すると、そのようなデータがすべて実際に生成される場合）。例えば、夜間視装置によって生成することができる複数の獲得可能な夜間視センサ基準データを伴う、索引付けされたデータセットを生成することができ、索引付けされた夜間視センサ基準データ部分およびそれに対応する色基準情報部分が同じ索引ポインタによって提供されるように、少なくとも１つの夜間視基準画像（ＮＲＩ）を使用して、色基準情報（ＲＧＢ）を索引付けされたデータセットに割り当てることができる。
【００５２】
上述のルックアップテーブルＴ１、Ｔ２の例を図４に示す。本実施形態では、例えば、索引付けされたデータセットは、（潜在的に獲得可能な）第１の画像部分およびそれぞれの（潜在的に獲得可能な）夜間視センサデータ、例えば多重帯域センサデータに関連する第１のテーブルＴ１を含む。また、索引付けされたデータセットは、第２の画像部分およびそれぞれの色情報、例えば、それぞれの赤、緑、青の値に関連する第２のテーブルＴ２を含む。当業者には理解されるように、各データセットＴ１、Ｔ２は、様々な形で、様々な形式でデジタル的にメモリに格納することができる。
【００５３】
一例として、第１のテーブルＴ１は、夜間視装置によって得られるかも知れないすべてのセンサデータ、またはセンサデータの一部の予め定められたリストを含むことができる。一例として、装置１のセンサが２５６の異なる第１の帯域センサ値および２５６の異なる第２の帯域センサ値を生成することができる場合、合計で２５６×２５６の異なる入力を有する索引を構築することができる（ただし、図４では、索引は、２５６という大幅に少ない量の入力を含む）。
【００５４】
夜間視装置１’の上述の変換器１０は、データ処理部３０によって提供されている上述の基準データセットＴ１、Ｔ２を使用して、記録された目標画像ＮＴＩをそれぞれの色画像ＣＩに変換するように構成することができる。例えば、上述の基準場面に関連する上述の自然色情報と組み合わせて上述の夜間視センサ基準データを含む一組の基準データＴ１、Ｔ２は、変換器１０が基準データセットＴ１、Ｔ２を読み取ることができるように、好ましくは、夜間視装置１’のメモリ９に格納される。一例として、基準データＴ１、Ｔ２は、信号プロセッサの上述のメモリ９に格納することができ、かつ／または変換器１０はデータセットを保持するメモリを備えることができる。
【００５５】
さらなる実施形態では、システムは、異なる基準場面に関連する基準データの様々な組を利用するように構成することができる。例えば、夜間視装置１’の変換器１０は、例えば上述のユーザインターフェースＢを介して、目標画像を色画像に変換するため、基準データの組の１つを選択するように制御可能であり得る。好ましくは、上述したように、異なるデータセットが、装置１’の適切なメモリを介して変換器１０に提供される。
【００５６】
目標画像ＮＴＩの色画像ＣＩへの変換を提供するため、例えば、変換器１０は、記録された目標画像ＮＴＩの各目標画像部分と関連付けられた夜間視センサデータと、第１の画像部分の夜間視センサ基準データとの間の最も密接な一致を見つけるように構成することができる。また、変換器１０は、各目標画像部分を第２の色画像部分と置き換えるように構成することができ、その第２の画像部分は、夜間視センサデータに基づいてその目標画像部分に最も密接に一致した第１の画像部分と関連付けられて、色画像ＣＩを生成する。さらに、変換器１０は、各目標画像部分をそれぞれの索引入力ポインタと置き換えて、索引画像を提供し、また、各索引入力ポインタをその索引入力のそれぞれの色情報と置き換えるように構成することができる。
【００５７】
上述のシステムを使用して、少なくとも１つの夜間視画像を色画像に変換する、様々な順序で行うことができる次の工程を含む方法を実施することができる。
【００５８】
色画像記録装置５を使用して、特定の基準場面の色基準画像ＣＲＩを記録する工程（図１および４を参照）、
少なくとも１つの夜間視装置１を用いて、少なくとも１つの基準場面の少なくとも１つの夜間視基準画像ＮＲＩを記録する工程（図２および４を参照）、
基準データＴ１、Ｔ２を提供する工程（図４を参照）、
夜間視装置１’を使用して、目標場面ＴＳの少なくとも１つの目標夜間視画像ＮＴＩを記録する工程（図３および５を参照）、ならびに、
基準データの組を使用して、記録された各目標画像ＮＴＩをそれぞれの色画像ＣＩに変換する工程（図３および５を参照）。
【００５９】
例えば、色画像記録装置５は、少なくとも１つの総天然色画像を記録して、昼間色情報を提供することができる。上述のことから次のように、本実施形態では、夜間視センサ基準データおよび目標画像は、ほぼ同じタイプの夜間視装置１、１’によって生成される。
【００６０】
より具体的には、図１、２、および４は、基準データセットを生成する色画像記録装置５および夜間視装置１の適用を示す。ここでは、夜間視装置１は、特に昼間または別の視力が損なわれる状況で、基準場面ＲＳ（図２および図４を参照）の夜間視基準画像ＮＲＩを記録するのに使用される。上述のことから次のように、記録された夜間視基準画像ＮＲＩは、第１の夜間視ピクセルを、それに対応する夜間視センサ基準データとともに、例えば第１のセンサ帯域（値ｂ１）から得られるデータおよび第２のセンサ帯域（値ｂ２）から得られるデータ（各ピクセルに対して１つのｂ１値および各ピクセルに対して１つのｂ２値）とともに含むことができる。記録された夜間視基準画像ＮＲＩの一例も図４に示され、ｂ１＝１４１およびｂ２＝１６３の二重帯域値が与えられている第１の（左上）ピクセルを示している。
【００６１】
また、色画像記録装置５は、場面の適切な自然色情報（図１を参照）を提供するため、ほぼ同じ基準場面ＲＳの色基準画像ＣＲＩを記録することができる。記録された色画像ＣＲＩは、対応する色情報、例えばＲＧＢ情報とともにピクセルを含むことができる（一例として、第１のピクセルがＲ＝１３４、Ｇ＝１４９、Ｂ＝１１８のＲＧＢ色値を有する図４も参照）。色基準画像ＣＲＩの記録は、好ましくは、視界が良好な間に、例えば昼間に実施される。色基準画像ＣＲＩおよびそれに対応する基準夜間視基準画像ＮＲＩは、好ましくは、結果として得られるデータを、以下の工程においてデータプロセッサ３０によって互いに比較し、一致させることができるようなものである。
【００６２】
次の工程は、色画像記録装置５および夜間視装置１によって記録されたデータを、適切な基準データセットに組み合わせることであり得る。この目的のため、基準場面の記録された色画像ＣＲＩおよびそれに対応する記録された夜間視画像ＮＲＩを、データプロセッサ３０に転送することができる。次に、一例として、データプロセッサ３０は、複数の第１の夜間視画像部分（例えば、ピクセル）を選択肢、第１のルックアップテーブルＴ１中の夜間視センサ基準データに索引を付けることによって、基準データの組を生成することができる。
【００６３】
また、第１の画像部分の基準場面画像の座標がそれに対応する第２の画像部分の基準場面画像の座標にほぼ対応するようにして、対応する第２の色画像部分を選択し、第２のテーブルＴ２中で索引付けすることができる。２つのテーブルを単一のルックアップテーブルＴ１、Ｔ２に組み合わせることができる（図４を参照）。
【００６４】
逆に、例えば、データプロセッサは、色画像ＣＲＩから第２の画像部分を選択することによって開始し、その後でそれに対応する第１の画像部分を見つけることができる。
【００６５】
組み合わせた基準データセット（例えば、テーブルＴ１、Ｔ２）では、各入力（ｉ）は、選択された第１の画像部分およびそれに対応する第２の画像部分に関連付けられた夜間視センサ基準データおよびそれに対応する色情報を指す。一例として、図４では、第１の入力（ｉ＝１）は、両方の基準画像ＣＲＩ、ＮＲＩからの基準場面の同一部分に対するピクセル（またはピクセル群）に関し、値ｂ１＝６４、ｂ２＝６７、Ｒ＝６６、Ｇ＝６５、およびＢ＝６２を含む。
【００６６】
あるいは、上述において、潜在的に獲得可能な夜間視センサデータのリスト（または、複数の獲得可能なセンサ値ｂ１、ｂ２が割り当てられている索引ポインタｉのリスト）を含む、予め定められた第１のルックアップテーブルＴ１がすでに提供されている場合がある。その場合、第２のテーブルＴ２は、単に、夜間視基準画像ＮＲＩに関連する実際の夜間視センサデータを、最初に予め定められた第１のルックアップテーブルＴ１に一致させ、一致が見出された場合、それに対応するＲＧＢ情報（色基準画像ＣＲＩの対応する部分からの）をそれぞれの索引ポインタ（第２のテーブルＴ２内）に割り当てることによって提供することができる。例えば、夜画像基準画像ＮＲＩのピクセルをすべて、予め定められた第１のルックアップテーブルＴ１の内容と順に比較することができるので、これらの各ピクセルを、それぞれの索引ポインタｉに割り当てることができ、その際、それに対応するＲＧＢ値（色基準画像ＣＲＩから得られる）は第２のルックアップテーブルＴ２にロードされる。
【００６７】
基準データセットＴ１、Ｔ２が生成された後、単純なやり方でそれを使用して、夜間視画像を色画像に変換することができる。図３および５は、基準データセットＴ１、Ｔ２の使用を示す。この場合、夜間視装置１’は、目標場面ＴＳに関連する目標画像ＮＴＩを記録することができる。
【００６８】
次に、装置１’の変換器部１０は、基準データセットＴ１、Ｔ２を使用して記録された目標画像を処理して、色画像ＣＩを生成することができる。
【００６９】
例えば、変換器１０は、
記録された目標画像ＮＴＩの目標画像部分、例えばピクセルを、基準データの組Ｔ１、Ｔ２の第１の画像部分に一致させ、
各目標画像部分が、それぞれの目標画像部分に最も密接に一致する第１の画像部分に属する自然色情報部分にリンクされるような形で、自然色情報部分をすべての目標画像部分に割り当て、
割り当てられた自然色情報部分に基づいて色画像ＣＩを生成することができる。
【００７０】
例えば、変換器１０は、記録された目標画像ＮＴＩの各目標画像部分と関連付けられた夜間視センサデータと、第１の画像部分の夜間視センサ基準データとの間の最も密接な一致を見つけることができる。次に、変換器１０は、各目標画像部分を、夜間視センサデータに基づいてその目標画像部分と最も密接に一致した、第１の画像部分と関連付けられた第２の色画像部分と置き換えて、色画像ＣＩを生成することができる。
【００７１】
例えば、本実施形態では、変換器１０は、各目標画像部分をそれぞれの索引入力ポインタと置き換えて、索引画像ＭＢＩＩを提供することができる（図５を参照）。索引画像ＭＢＩＩを完成した後、索引画像は、単に、各索引入力ポインタをその索引入力のそれぞれの色情報と置き換えることによって、色画像ＣＩに変換することができる。
【００７２】
これは図５の例で概略的に示される。例えば、記録された目標場面画像ＮＴＩの第３のピクセル（左上）は、ｂ１＝１４１およびｂ２＝１６３の値を有することが分かる。変換器１０は、これらのセンサ帯域値をルックアップテーブルＴ１、Ｔ２と比較して、第２の入力（ｉ＝２）がこれらのセンサ帯域値と最も密接に一致することを見出すことができる。次に、この最も密接に一致する索引ポインタ（２）は、索引画像ＭＢＩＩの第３のピクセルに割り当てられている。このようにして、索引画像ＭＢＩＩのすべてのピクセルに端樹陰名やり方でデータセットポインタを提供することができる。次に、索引画像中の索引ポインタは、単にそれぞれのＲＧＢ値と置き換えることができる。したがって、この例では、索引画像ＭＢＩＩが色画像ＣＩに変換されるように、第３のピクセルのポインタ（２）は、Ｒ＝１３４、Ｇ＝１４９、およびＢ＝１１８などと置き換えられる。
【００７３】
上述のことから次のように、多重帯域目標画像ＮＲＩは、各ピクセルの索引が多重帯域センサ値を指す（例えば、多重帯域ルックアップテーブルＴ１の入力２は（１４１，１６３）を指す）、索引付けされた（例えば虚数）画像ＭＢＩＩと置き換えることができる。入力の限定された組が使用されるとき、元のものと可能な限り一致する画像が得られる一組の多重帯域の組み合わせを使用することができる。次に、多重帯域ルックアップテーブルＴ１を新しいもの（自然色ルックアップテーブルＴ２）と置き換えることができ、各ピクセルはそれにしたがって着色される（例えば、自然色ルックアップテーブルの入力２の場合、センサ信号（１４１，１６３）は三種屡次のＲ，Ｇ，Ｂ色値（１３４，１４９，１１８）に置き換えられる）。
【００７４】
本発明の方法およびシステムは、所与の場面ＲＳの自然色基準画像ＣＲＩおよび多重帯域夜間センサ画像ＮＲＩから成る対応する画像対（あるいは、センサ出力および自然色が既知である異なる素材の一組のサンプル）の可用性に依存することができる。この画像対の画像を登録することができる（即ち、センサ画像ＮＲＩの各ピクセルに対して、描写された場面ＲＳの同一部分を表す自然色画像ＣＲＩに対応するピクセルがある）。対応するセンサおよび色画像対ＮＲＩ、ＣＲＩに表される場面ＲＳは、多重帯域夜間センサ（またはそれぞれの装置１’）が使用されるであろう環境に特有であり得る。
【００７５】
次に、自然色ルックアップテーブルＴ２を、多重帯域画像ＮＲＩおよびそれに対応する（ＲＧＢ）基準画像ＣＲＩから、次のように作成することができる。多重帯域基準画像ＮＲＩの第１のピクセルから開始して、予め定められた多重帯域ルックアップテーブルＴ１内で対応する索引が探索される（例えば、第１のピクセルに対する入力２）。自然色ルックアップテーブルＴ２の入力は、基準画像中の対応するピクセルのＲＧＢ値（即ち、この例では（１３４，１４９，１１８））に等しくなる。同じ手順が好ましくはすべてのピクセルに対して繰り返される。
【００７６】
一実施形態では、予め定められた多重帯域ルックアップテーブルＴ１内で同じ索引（ｉ）を有する１つを超える目標ピクセル（または画像部分もしくはサンプル）がある場合、入力は、同じ索引を有する２つ（以上）のピクセルにわたって平均で設定することができる。あるいは、知覚によるＬａｂ色空間内の平均を得ることができる。例えば、いくつかのピクセルが同じ索引を有する場合、同じ索引を有するすべてのピクセルにわたるＬａｂ値に対して平均を取ることができ、それを、ＲＧＢに変換することができるが（ここでは、ＣＩＥ  Ｌ＊ａ＊ｂ標準色空間規格の間の差は最小限にされる）、他の重み付けが可能である。
【００７７】
最適な色転換が導き出されると、基準画像ＣＲＩ、ＮＲＩを分配することができる。次に、色転換スキームが、多重帯域ルックアップテーブルＴ１および自然色ルックアップテーブルＴ２によって完全に定義される。
【００７８】
その結果、上述のことから以下のように、実際の色転換は、多重帯域目標画像ＮＴＩを索引付けされた画像ＭＢＩＩに転換し（多重帯域ルックアップテーブルＴ１中で最も密接な一致を見つける）、次に、多重帯域センサ画像のルックアップテーブルＴ１を自然色ルックアップテーブルＴ２に置き換える（即ち、このテーブルによって参照されるＲＧＢ値を使用する）ことを含むことができる。
【００７９】
例えば、このようにして、特定の環境（例えば、ヒース、山岳地方、森林など）に対して最適な転換を提供することができ、多重帯域センサが使用される状況に該当する色マッピングを選択することができる。
【００８０】
このようにして、夜間視像の着色は速やかに、例えばリアルタイムで行うことができる。目標画像中のオブジェクトの「色を固定することができる」（即ち、実質的に色を変更しない）。最適な着色方法を提供して、より自然に見える色画像ＣＩ（または実質的に総天然色の画像）を提供することができる。方法は、例えば、２つのセンサ帯域、３つの帯域、またはそれ以上の帯域を用いて目標画像に適用することができる。
【００８１】
上述の実施形態では、索引付けされたデータセットを使用して、夜間視画像が色画像に変換される。あるいは、データセットを使用して、アナログ手法で色画像を夜間視画像に変換する、例えば夜間視をシミュレートすることができる。例えば、後者の場合、方法は
目標色画像の各色目標画像部分と関連付けられた色情報と色画像部分の色基準データとの間の最も密接な一致を見つける工程と、
各目標画像部分をそれぞれの索引入力ポインタと置き換えて、索引画像を提供する工程と、
各索引入力ポインタをその索引エントリのそれぞれの夜間視情報と置き換えることによって、索引画像を夜間視画像に変換する工程とを含むことができる。
【００８２】
また、他のスペクトルの画像を変換することができる。
【００８３】
本発明の例証的な実施形態を、添付図面を参照して非常に詳細に記載してきたが、本発明はそれらの実施形態に限定されないことが理解されるであろう。請求項に規定されるような本発明の範囲または趣旨から逸脱することなく、様々な変更または修正が当業者によって達成されてもよい。
【００８４】
本出願において、用語「備える（含む）」は他の要素または工程を除外しない。また、用語「１つの」はそれぞれ複数を除外しない。また、単一のプロセッサ、夜間視装置、変換器、または他のユニットが、請求項において詳述されるいくつかの手段の機能を満たしてもよい。請求項におけるあらゆる参照符号（１つまたは複数）は、請求項の範囲を限定するものとして解釈されないものとする。
【００８５】
例えば、夜間視装置および方法は、霧および／または煙が出ている状況など、夜間以外の視力が損なわれる期間に目標場面を見るのにも使用することができるので、用語「夜間視」は広く解釈されるべきである。
【００８６】
また、例えば、色情報プロバイダは、色に対して基準場面ＲＳの十分な基準画像を生成するように構成することができる。あるいは、色情報プロバイダは、基準場面の部分のみをサンプリングするように構成することができ、結果として得られる色情報サンプルを使用して所望の色情報を提供することができる。
【００８７】
さらに、基準場面は、屋外の場面であることができ、かつ／あるいは、夜間視センサ出力および（自然／昼光）色が既知であり、かつ／またはそれらを決定することができる、複数のオブジェクトまたは場面の部分、例えば、１つもしくは複数の物質、植物、空、木、建物を含むことができる。
【００８８】
さらに、単純な実施形態では、色情報を提供するのに色画像記録装置は使用されず、その際、所与の基準場面の検出された夜間視画像は、異なる場面部分（例えば、空、建物、木、人）を識別するために調査され、その後、特定の色情報がそれらの場面部分に（例えば、手作業で）割り当てられる。ここで、色情報は、単にそれらの場面部分の既知の、または予め定められた昼光色であることができる。
【００８９】
また、一実施形態では、上述の基準データセットを使用して、色画像を夜間視画像に返還するように構成されたプロセッサを備える、夜間視シミュレータシステムが提供される。
【符号の説明】
【００９０】
１、１’  夜間視装置
２  センサ
３  信号処理部
４  表示装置
５  記録装置
８  ユーザインターフェース
９  メモリ部
１０  変換器
３０  データプロセッサ
【図１】
2009545804.tif 000003
【図２】
2009545804.tif 000004
【図３】
2009545804.tif 000005
【図４】
2009545804.tif 000006
【図５】
2009545804.tif 000007
【国際調査報告】
2009545804.tif 000008
2009545804.tif 000009
2009545804.tif 000010