(57)【要約】  過酷環境下でも視認性の良い画像を得ることができる画像生成装置を提供する。  本発明の一態様に係る画像生成装置は、第１波長帯で撮影された第１の画像と、前記第１の画像において撮像された範囲が、前記第１波長帯と異なる第２波長帯で撮影された第２の画像とから、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む、前記範囲の合成画像を生成する処理部と、前記合成画像を出力する出力部と、を備える。
2018220780.tif 000002
【特許請求の範囲】
【請求項１】
第１波長帯で撮影された第１の画像と、前記第１の画像において撮像された範囲が、前記第１波長帯と異なる第２波長帯で撮影された第２の画像とから、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む、前記範囲の合成画像を生成する処理手段と、
前記合成画像を出力する出力手段と、
を備える画像生成装置。
【請求項２】
前記第１の画像と前記合成画像との差分画像に対してノイズを抑制する処理を行うノイズ抑制手段と、
ノイズを抑制する処理が行われた前記差分画像であるノイズ抑制差分画像を、前記合成画像に加算する第１加算手段と、
を備える請求項１に記載の画像生成装置。
【請求項３】
前記第２の画像のテクスチャを抽出する分離手段と、
抽出された前記テクスチャを表す第１テクスチャ画像を、前記ノイズ抑制差分画像が加算された前記合成画像に加算する第２加算手段と、
を備える請求項２に記載の画像生成装置。
【請求項４】
前記処理手段は、前記第２の画像から構造成分を分離し、前記第１周波数成分と、前記第２の画像の前記構造成分に基づく第２周波数成分とを含む前記合成画像を生成する、
請求項１から３のいずれか１項に記載の画像生成装置。
【請求項５】
前記処理手段は、前記第２の画像からテクスチャ成分を分離し、分離された前記テクスチャ成分を表す第２テクスチャ画像が加算された前記合成画像を生成する
請求項４に記載の画像生成装置。
【請求項６】
前記処理手段は、前記第１の画像から構造成分を分離し、前記第１の画像の前記構造成分に基づく前記第１周波数成分と、前記第２周波数成分とを含む前記合成画像を生成する、
請求項１から５のいずれか１項に記載の画像生成装置。
【請求項７】
前記第１波長帯の光は可視光を含み、
前記第２波長帯の光は、遠赤外光を含む
請求項１から６のいずれか１項に記載の画像生成装置。
【請求項８】
前記第１周波数成分は、一部の空間周波数帯の前記合成画像の成分であり、前記第２周波数成分は、前記第１周波数成分の空間周波数帯よりも高い空間周波数を含む空間周波数帯の前記合成画像の成分である
請求項１から７のいずれか１項に記載の画像生成装置。
【請求項９】
請求項１から８のいずれか１項に記載の画像生成装置と、
前記第１の画像を撮像する第１の画像取得装置と、
前記第２の画像を撮像する第２の画像取得装置と、
表示装置と、
を含み、前記出力手段は前記表示装置に前記合成画像を表示する
画像生成システム。
【請求項１０】
第１波長帯で撮影された第１の画像と、前記第１の画像において撮像された範囲が、前記第１波長帯と異なる第２波長帯で撮影された第２の画像とから、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む、前記範囲の合成画像を生成し、
前記合成画像を出力する
画像生成方法。
【請求項１１】
前記第１の画像と前記合成画像との差分画像に対してノイズを抑制する処理を行い、
ノイズを抑制する処理が行われた前記差分画像であるノイズ抑制差分画像を、前記合成画像に加算する、
請求項１０に記載の画像生成方法。
【請求項１２】
前記第２の画像のテクスチャを抽出し、
抽出された前記テクスチャを表す第１テクスチャ画像を、前記ノイズ抑制差分画像が加算された前記合成画像に加算する、
請求項１１に記載の画像生成方法。
【請求項１３】
前記第２の画像から構造成分を分離し、前記第１周波数成分と、前記第２の画像の前記構造成分に基づく第２周波数成分とを含む前記合成画像を生成する、
請求項１０から１２のいずれか１項に記載の画像生成方法。
【請求項１４】
前記第２の画像からテクスチャ成分を分離し、分離された前記テクスチャ成分を表す第２テクスチャ画像が加算された前記合成画像を生成する
請求項１３に記載の画像生成方法。
【請求項１５】
前記第１の画像から構造成分を分離し、前記第１の画像の前記構造成分に基づく前記第１周波数成分と、前記第２周波数成分とを含む前記合成画像を生成する、
請求項１０から１４のいずれか１項に記載の画像生成方法。
【請求項１６】
前記第１波長帯の光は可視光を含み、
前記第２波長帯の光は、遠赤外光を含む
請求項１０から１５のいずれか１項に記載の画像生成方法。
【請求項１７】
前記第１周波数成分は、一部の空間周波数帯の前記合成画像の成分であり、前記第２周波数成分は、前記第１周波数成分の空間周波数帯よりも高い空間周波数を含む空間周波数帯の前記合成画像の成分である
請求項１０から１６のいずれか１項に記載の画像生成方法。
【請求項１８】
コンピュータに、
第１波長帯で撮影された第１の画像と、前記第１の画像において撮像された範囲が、前記第１波長帯と異なる第２波長帯で撮影された第２の画像とから、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む、前記範囲の合成画像を生成する生成処理と、
前記合成画像を出力する出力処理と、
を実行させるプログラムを記憶する記憶媒体。
【請求項１９】
コンピュータに、
前記第１の画像と前記合成画像との差分画像に対してノイズを抑制する処理を行うノイズ抑制処理と、
ノイズを抑制する処理が行われた前記差分画像であるノイズ抑制差分画像を、前記合成画像に加算する第１加算処理と、
を実行させるプログラムを記憶する請求項１８に記載の記憶媒体。
【請求項２０】
コンピュータに、
前記第２の画像のテクスチャを抽出する分離処理と、
抽出された前記テクスチャを表す第１テクスチャ画像を、前記ノイズ抑制差分画像が加算された前記合成画像に加算する第２加算処理と、
を実行させるプログラムを記憶する請求項１９に記載の記憶媒体。
【請求項２１】
前記生成処理は、前記第２の画像から構造成分を分離し、前記第１周波数成分と、前記第２の画像の前記構造成分に基づく第２周波数成分とを含む前記合成画像を生成する、
請求項１８から２０のいずれか１項に記載の記憶媒体。
【請求項２２】
前記生成処理は、前記第２の画像からテクスチャ成分を分離し、分離された前記テクスチャ成分を表す第２テクスチャ画像が加算された前記合成画像を生成する
請求項２１に記載の記憶媒体。
【請求項２３】
前記生成処理は、前記第１の画像から構造成分を分離し、前記第１の画像の前記構造成分に基づく前記第１周波数成分と、前記第２周波数成分とを含む前記合成画像を生成する、
請求項１８から２２のいずれか１項に記載の記憶媒体。
【請求項２４】
前記第１波長帯の光は可視光を含み、
前記第２波長帯の光は、遠赤外光を含む
請求項１８から２３のいずれか１項に記載の記憶媒体。
【請求項２５】
前記第１周波数成分は、一部の空間周波数帯の前記合成画像の成分であり、前記第２周波数成分は、前記第１周波数成分の空間周波数帯よりも高い空間周波数を含む空間周波数帯の前記合成画像の成分である
請求項１８から２４のいずれか１項に記載の記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、過酷環境下でも視認性の良い画像を得ることができる画像生成装置、画像生成システム、画像生成方法および画像生成プログラムに関する。
【背景技術】
【０００２】
ドライバーの視界の補助、運転の支援、セキュリティー監視、災害救助などの用途で、過酷環境下でも視認性の良い画像を利用者に提供する技術が求められている。過酷環境は、例えば、夜間等の暗い環境、及び、霧、霞又は煙などによって視界が不良である環境などである。一般的な可視光カメラによって、このような過酷環境下で撮影された画像の画質は、ノイズ及びぼけが生じるために低下することが知られている。例えば、夜間は照度が低いので、明るい画像を得るためには、ゲインを上げる設定をする必要がある。しかし、ゲインを上げたときに生ずる高感度ノイズにより、得られる画像の画質が悪化し、視認性が低下する。また、霧、霞又は煙などが発生している状況では、散乱の影響によって画像にぼけが生じるので、得られる画像の画質が悪化し、視認性が低下する。【０００３】
過酷環境下では不可視光の波長帯の活用も広まっている。例えば、遠赤外光に感度を持つカメラを使用することによって、過酷環境下でも鮮明で高画質な画像を撮影できることが知られている。その理由は、遠赤外光は物体から生ずる放射熱に起因するので、夜間の、環境光が全くない状況でも画像が取得できるからである。また、光は波長が短いほど散乱の影響を受けやすいので、可視光に比べて波長の長い遠赤外光は、散乱の影響が少ない。そのため、遠赤外光に感度を持つカメラを使用することによって、霧、霞又は煙が発生している状況でも、鮮明さが損なわれない高画質な画像を撮影できる。ところが、遠赤外線カメラは、物体から生ずる放射熱、即ち温度を画像化するため、遠赤外線カメラによって得られる画像の見え方は、人間の知覚特性とかけ離れている。そのため、赤外線カメラによって得られる画像は、人間にとって不自然であると感じられ、さらに、視認性が低下するという問題がある。例えば、黒い服を着ている人物であっても、体温の影響で、遠赤外線カメラの画像上では白く映る。そのため、画像において白く映る人物が、黒い服を着ている人物であると、すぐに認識できない可能性がある。さらには、温度が一様な領域は、画像上では平坦な領域になる。例えば、温度が一様な路面の状況などを、遠赤外線カメラの画像によって把握することは容易ではない。遠赤外線カメラの画像の視認性の低さのために、遠赤外線カメラは、夜間における運転支援カメラとして使用するのに適しているとは言えない。【０００４】
このように、可視光又は遠赤外光などの単一波長帯の光だけでは、過酷環境下では視認性の良い画像を得ることができない。そこで、異なる波長帯の光で撮影した画像を合成し、それらの波長帯の持つ利点を併せ持つ画像を生成する技術が提案されている。【０００５】
特許文献１には、可視光の輝度成分と、近赤外光の輝度成分とを、所定の比率で合成する技術が記載されている。【０００６】
特許文献２には、可視光画像と不可視光画像の夫々の所定の領域ごとに、相関値を計算し、計算された相関値に基づいて出力を切り替える技術が記載されている。【０００７】
特許文献３には、可視光画像及び近赤外画像の、同じ位置の画素のうち、明るい方の画素の輝度情報を用いて、擬似濃淡画像を生成する技術が記載されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１３−２５５１４４号公報
【特許文献２】特開２０１７−１１６３３号公報
【特許文献３】特開２０１０−１６６３６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、特許文献１〜３に記載の技術には、以下に記載する課題がある。【００１０】
特許文献１の技術は、可視光画像にノイズ及びぼけ生じて画質が悪化していたとしても、可視光画像に生じているノイズ及びぼけは、除去されずに出力画像に合成されてしまう。そのため、特許文献１の技術には、出力画像の画質が低画質になり、出力画像の視認性が低下するという課題がある。【００１１】
特許文献２の技術は、可視光画像の、ノイズ及びぼけなどが生じて画質が低下している領域を、不可視光画像の対応する領域で置き換える。そのため、画質を向上させることができると考えられる。しかし、前述のように、遠赤外光などの不可視光画像は見え方が人間の知覚特性とかけ離れている。そのため、特許文献２の技術には、出力画像が不自然な画像になり、出力画像視認性が低下するという課題がある。【００１２】
特許文献３の技術では、可視光画像の、ノイズ・ぼけが生じて画質が低下している領域に含まれる画素と、不可視光画像の、不自然に見える領域に含まれる画素が、出力画像において混在する。そのため、特許文献３の技術にも、視認性が低下する課題がある。【００１３】
以上のように、特許文献１から特許文献３の技術においては、過酷環境下で視認性の良い画像を得ることができないという課題がある。【００１４】
本発明の目的の１つは、過酷環境下でも視認性の良い画像を得ることができる画像生成装置等を提供することである。
【課題を解決するための手段】
【００１５】
本発明の一態様に係る画像生成装置は、第１波長帯で撮影された第１の画像と、前記第１の画像において撮像された範囲が、前記第１波長帯と異なる第２波長帯で撮影された第２の画像とから、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む、前記範囲の合成画像を生成する処理手段と、前記合成画像を出力する出力手段と、を備える。【００１６】
本発明の一態様に係る画像生成方法は、第１波長帯で撮影された第１の画像と、前記第１の画像において撮像された範囲が、前記第１波長帯と異なる第２波長帯で撮影された第２の画像とから、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む、前記範囲の合成画像を生成し、前記合成画像を出力する。【００１７】
本発明の一態様に係る記憶媒体は、コンピュータに、第１波長帯で撮影された第１の画像と、前記第１の画像において撮像された範囲が、前記第１波長帯と異なる第２波長帯で撮影された第２の画像とから、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む、前記範囲の合成画像を生成する生成処理と、前記合成画像を出力する出力処理と、を実行させるプログラムを記憶する。本発明は、上述の記憶媒体が記憶するプログラムによっても実現される。
【発明の効果】
【００１８】
本発明によれば、過酷環境下でも視認性の良い画像を得ることができる。
【図面の簡単な説明】
【００１９】
【図１】図１は、本発明の第１の実施形態に係る画像生成システムの構成の一例を示すブロック図である。
【図２】図２は、本発明の第１の実施形態の画像生成装置の構成の例を表すブロック図である。
【図３】図３は、本発明の第１の実施形態の画像生成装置の動作の例を表すフローチャートである。
【図４】図４は、本発明の第２の実施形態の画像生成システムの構成の例を表すブロック図である。
【図５】図５は、本発明の第２の実施形態の画像生成装置の構成の例を表すブロック図である。
【図６】図６は、本発明の第２の実施形態の画像生成装置の動作の例を表すフローチャートである。
【図７】図７は、本発明の第３の実施形態の画像生成システムの構成を表すブロック図である。
【図８】図８は、本発明の第３の実施形態の画像生成装置の構成を表すブロック図である。
【図９】図９は、本発明の第３の実施形態の画像生成装置の動作の例を表すフローチャートである。
【図１０】図１０は、本発明の第４の実施形態の画像生成システムの構成の例を表すブロック図である。
【図１１Ａ】図１１Ａは、本発明の第４の実施形態の画像生成装置の構成の例を表すブロック図である。
【図１１Ｂ】図１１Ｂは、本発明の第４及び第５の実施形態の第２フィルタ処理部の構成の例を表すブロック図である。
【図１２】図１２は、本発明の第４の実施形態の画像生成装置の動作の例を表すフローチャートである。
【図１３】図１３は、本発明の第５の実施形態の画像生成システムの構成の例を表すブロック図である。
【図１４】図１４は、本発明の第５の実施形態の画像生成装置の構成の例を表すブロック図である。
【図１５】図１５は、本発明の第５の実施形態の画像生成装置の動作の例を表すフローチャートである。
【図１６】図１６は、本発明の第６の実施形態の画像生成システムの構成の例を表すブロック図である。
【図１７Ａ】図１７Ａは、本発明の第６の実施形態の画像生成装置の構成の例を表すブロック図である。
【図１７Ｂ】図１７Ｂは、本発明の第６及び第７の実施形態の第２フィルタ処理部の構成の例を表すブロック図である。
【図１８】図１８は、本発明の第６の実施形態の画像生成装置の動作の例を表すフローチャートである。
【図１９】図１９は、本発明の第７の実施形態の画像生成システムの構成の例を表すブロック図である。
【図２０】図２０は、本発明の第７の実施形態の画像生成装置の構成の例を表すブロック図である。
【図２１】図２１は、本発明の第７の実施形態の画像生成装置の動作の例を表すフローチャートである。
【図２２】図２２は、本発明の第８の実施形態の画像生成システムの構成の例を表すブロック図である。
【図２３Ａ】図２３Ａは、本発明の第８の実施形態の画像生成装置の構成の例を表すブロック図である。
【図２３Ｂ】図２３Ｂは、本発明の第８及び第９の実施形態の第２フィルタ処理部の構成の例を表すブロック図である。
【図２４】図２４は、本発明の第８の実施形態の画像生成装置の動作の例を表すフローチャートである。
【図２５】図２５は、本発明の第９の実施形態の画像生成システムの構成の例を表すブロック図である。
【図２６】図２６は、本発明の第９の実施形態の画像生成装置の構成の例を表すブロック図である。
【図２７】図２７は、本発明の第９の実施形態の画像生成装置の動作の例を表すフローチャートである。
【図２８】図２８は、本発明の第１０の実施形態の画像生成システムの構成の例を表すブロック図である。
【図２９Ａ】図２９Ａは、本発明の第１０の実施形態の画像生成装置の構成の例を表すブロック図である。
【図２９Ｂ】図２９Ｂは、本発明の第１０及び第１１の実施形態の第２フィルタ処理部の構成の例を表すブロック図である。
【図３０】図３０は、本発明の第１０の実施形態の画像生成装置の動作の例を表すフローチャートである。
【図３１】図３１は、本発明の第１１の実施形態の画像生成システムの構成の例を表すブロック図である。
【図３２】図３２は、本発明の第１１の実施形態の画像生成装置の構成の例を表すブロック図である。
【図３３】図３３は、本発明の第１１の実施形態の画像生成装置の動作の例を表すフローチャートである。
【図３４】図３４は、本発明の第１２の実施形態の画像生成システムの構成の例を表すブロック図である。
【図３５Ａ】図３５Ａは、本発明の第１２の実施形態の画像生成装置の構成の例を表すブロック図である。
【図３５Ｂ】図３５Ｂは、本発明の第１２及び第１３の実施形態の第２フィルタ処理部の構成の例を表すブロック図である。
【図３６】図３６は、本発明の第１２の実施形態の画像生成装置の動作の例を表すフローチャートである。
【図３７】図３７は、本発明の第１３の実施形態の画像生成システムの構成の例を表すブロック図である。
【図３８】図３８は、本発明の第１３の実施形態の画像生成装置の構成の例を表すブロック図である。
【図３９Ａ】図３９Ａは、本発明の第１３の実施形態の画像生成装置の動作の例を表すフローチャートである。
【図３９Ｂ】図３９Ｂは、本発明の第１３の実施形態の画像生成装置の動作の例を表すフローチャートである。
【図４０】図４０は、本発明の第１４の実施形態の画像生成装置の構成の例を表すブロック図である。
【図４１】図４１は、本発明の第１４の実施形態の画像生成装置の動作の例を表すフローチャートである。
【図４２】図４２は、本発明の実施形態に係る画像生成装置の各々を実現できるコンピュータのハードウェア構成の例を表すブロック図である。
【図４３】図４３は、第１の画像の例である。
【図４４】図４４は、第２の画像の例である。
【図４５】図４５は、第３の画像の例である。
【発明を実施するための形態】
【００２０】
次に、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２１】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画像生成システム１の構成の一例を示すブロック図である。図１に示す通り、画像生成システム１は、第１の画像取得装置２０００と、第２の画像取得装置３０００と、画像生成装置１００と、表示装置４０００と、を含む。画像生成装置１００は、第１の画像取得装置２０００、第２の画像取得装置３０００、及び、表示装置４０００と、通信可能に接続されている。
【００２２】
装置間の接続は、例えばＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）ケーブルやＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ケーブル等のケーブルを用いた有線接続であってもよい。装置間の接続は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮ等を用いた無線接続であってもよい。装置間の接続は、以上の例に限定されない。
【００２３】
第１の画像取得装置２０００及び第２の画像取得装置３０００は、所定の波長帯の光の強度の２次元分布を画像情報として取得する装置である。第１の画像取得装置２０００及び第２の画像取得装置３０００は、例えば、一般的なデジタルカメラ、ウェブカメラ、赤外線カメラ等の撮像装置によって実現される。撮像装置は、例えば、撮像素子を用いたカメラ等である。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、またはマイクロボロメータ等である。撮像素子から出力される画像データが示す画像のサイズは、例えば、１９２０×１０８０ピクセルであってもよい。なお、画像のサイズは、例えば、画像の縦方向のピクセル数及び横方向のピクセル数によって表される。第１の画像取得装置２０００及び第２の画像取得装置３０００は、以上の例に限定されない。第１の画像取得装置２０００と第２の画像取得装置３０００は、それぞれ、取得した画像情報を示す画像データを、画像生成装置１００に出力する。以下では、第１の画像取得装置２０００が出力する画像データを、第１の画像と表記する。第２の画像取得装置３０００が出力する画像データを、第２の画像と表記する。第１の画像取得装置２０００及び第２の画像取得装置３０００の画角は、同一であってもよく、異なっていてもよい。第１の画像の画素数と、第２の画像の画素数は、同一であってもよく、異なっていてもよい。  第１の画像取得装置２０００及び第２の画像取得装置３０００は、撮像された範囲の少なくとも一部が共通であるように設置される。しかし、第１の画像取得装置２０００及び第２の画像取得装置３０００の間の距離が大きくなるのに従って、視差が拡大し、画像の位置合わせが容易ではなくなる。第１の画像取得装置２０００と第２の画像取得装置３０００は、視差が無視できる程度に近い距離に設置されていればよい。第１の画像取得装置２０００及び第２の画像取得装置３０００は、例えば、光軸が平行であり、かつ、光軸の間の距離が３０ｃｍ程度となるように設置されていてもよい。また、第１の画像取得装置２０００及び第２の画像取得装置３０００は、ハーフミラーやダイクロイックミラーを使用して、第１の画像取得装置２０００及び第２の画像取得装置３０００の光軸が一致するよう配置されていてもよい。このような配置によって、第１の画像と第２の画像との間の視差を無くすことができる。
【００２４】
第１の画像と第２の画像の双方において撮像されている範囲を、共通範囲と表記する。撮像された画像において、共通範囲が撮像された領域を、共通領域と表記する。第１の画像に、共通領域ではない領域が含まれている場合、例えば、後述の、画像生成装置１００の取得部１０５が、第１の画像から共通領域を抽出し、抽出した共通領域を新たな第１の画像にしてもよい。第２の画像に、共通領域ではない領域が含まれている場合、例えば、同様に後述の取得部１０５が、第２の画像から共通領域を抽出し、抽出した共通領域を新たな第２の画像にしてもよい。第１の画像及び第２の画像における共通領域の位置は、第１の画像取得装置２０００及び第２の画像取得装置３０００のカメラパラメータ及び相対位置に基づいて、予め計算されていてもよい。カメラパラメータ及び相対位置は、予め、測定などによって得られていればよい。取得部１０５が、第１の画像と第２の画像との間の共通領域を抽出してもよい。共通領域を抽出する方法として、既存の様々な方法が適用できる。
【００２５】
第１の画像のサイズと第２の画像のサイズとが一致しない場合、後述の取得部１０５が、第１の画像及び第２の画像の少なくとも一方に、例えば、第１の画像のサイズ及び第２の画像のサイズが一致するように補間又は間引きを行ってもよい。
【００２６】
以下の説明では、第１の画像取得装置２０００の撮像範囲は、第２の画像取得装置３０００の撮像範囲と同じである。第１の画像のサイズは、第２の画像のサイズと同じである。
【００２７】
第１の画像取得装置２０００及び第２の画像取得装置３０００が感度を有する波長帯は、特に限定されない。第１の画像取得装置２０００及び第２の画像取得装置３０００は、異なる波長帯に感度を有していてもよい。その場合、共通範囲の異なる特性を取得することができる。以下で説明する例では、第１の画像取得装置２０００は、可視〜短波赤外（波長約３６０ｎｍ〜１７００ｎｍ）に感度を持つカメラである。第２の画像取得装置３０００は、遠赤外（波長約７．５μｍ〜１３μｍ）に感度を持つカメラである。
【００２８】
画像生成装置１００は、第１の画像取得装置２０００から第１の画像を受信する。画像生成装置１００は、第２の画像取得装置３０００から、第２の画像を受信する。画像生成装置１００は、受信した第１の画像と第２の画像とを用いて、第１の画像から抽出された成分と第２の画像から抽出された成分とを含む、合成画像を生成する。画像生成装置１００は、合成画像を、表示装置４０００に出力する。画像生成装置１００の具体的な機能構成については、他の図面を参照して説明を行う。画像生成装置１００は、生成した合成画像を記憶してもよい。画像生成装置１００は、例えば画像生成装置１００を操作するユーザの指示に従って、記憶している合成画像を読み出し、読み出した合成画像を表示装置４０００に出力してもよい。
【００２９】
表示装置４０００は、画像生成装置１００から合成画像を受け取り、受け取った合成画像を表示する。
【００３０】
（画像生成装置１００の構成）
以下の説明では、第１の画像の画素値及び第２の画像の画素値は、１次元のデータである。すなわち、第１の画像及び第２の画像では、１つの画素の画素値は、１個のスカラーによって表される。画素値は多次元のデータであってもよい。すなわち、１つの画素の画素値が、複数のスカラーによって表されていてもよい。例えば、第１の画像及び第２の画像はカラー画像であり、第１の画像及び第２の画像の画素値は、Ｒ、Ｇ、Ｂのそれぞれのチャネルの輝度値を持つ３次元のデータによって表されていてもよい。このように画素値が多次元によって表されている場合、後述の処理は、次元毎に適用されればよい。例えば、画素値がＲ、Ｇ、Ｂのそれぞれのチャネルの輝度値を持つ３次元のデータによって表されている場合、画素値がＲのチャネルの輝度値を持つ１次元のデータである画像に対して、後述の処理が適用されればよい。画素値が１次元のデータである画像に対して処理が適用された結果、１つの合成画像が得られる。同様に、画素値がＧのチャネルの輝度値を持つ１次元のデータである画像に対して、後述の処理が適用されればよい。さらに、画素値がＢのチャネルの輝度値を持つ１次元のデータである画像に対して、後述の処理が適用されればよい。３回の処理によって、画素値が１次元のデータである３つの合成画像が得られる。さらに、最終的な合成画像は、得られた３つの合成画像の、位置が同一である画素の３つの１次元の画素値を、その位置における画素の３次元の画素値として持つカラー画像であればよい。なお、画素値とは、画像内に含まれる画素の輝度値、色相、彩度などの画素の性質を表す値のことである。
【００３１】
次に、本実施形態の画像生成装置１００について、図面を参照して詳細に説明する。
【００３２】
図２は、本実施形態の画像生成装置１００の構成の例を表すブロック図である。図２に示す通り、画像生成装置１００は、第１フィルタ処理部１０１と、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６とを含む。
【００３３】
取得部１０５は、第１の画像取得装置２０００から第１の画像を取得し、第２の画像取得装置３０００から第２の画像を取得する。取得部１０５は、取得した第１の画像と第２の画像とを、第１フィルタ処理部１０１に送る。取得部１０５は、第１の画像を、さらに、減算部１０２に送る。
【００３４】
第１フィルタ処理部１０１は、取得部１０５から、第１の画像と第２の画像とを受け取る。以下、第１の画像は、「第１の画像Ｓ１」と表記される。第１の画像は、単に「Ｓ１」とも表記される。第２の画像は、「第２の画像Ｓ２」と表記される。第２の画像は、単に「Ｓ２」とも表記される。第１フィルタ処理部１０１は、第１の画像Ｓ１と第２の画像Ｓ２とに画像変換を適用し、その結果として中間画像を生成する。画像変換については後で詳細に説明する。中間画像は、「中間画像Ｓ１’」と表記される。中間画像は、単に「Ｓ１’」とも表記される。また、中間画像は、合成画像と表記されることがある。第１フィルタ処理部１０１は、生成した中間画像Ｓ１’を、減算部１０２と、第１加算部１０４とに出力する。
【００３５】
第１フィルタ処理部１０１が第１の画像と第２の画像とに適用する画像変換は、第１の画像と第２の画像とを、第１の画像の成分及び第２の画像の成分を含む中間画像に変換する処理である。第１フィルタ処理部１０１は、例えば、第１の画像の中間画像への寄与に対する第２の画像の中間画像への寄与の比が、第１の周波数帯と、第１の周波数帯とは異なる第２の周波数帯とで異なるように、中間画像を生成してもよい。第１フィルタ処理部１０１は、例えば、第１の画像の中間画像への寄与に対する第２の画像の中間画像への寄与の比が、第１の周波数帯よりも高い第２の周波数帯において、第１の周波数帯における比よりも大きくなるよう、中間画像を生成してもよい。言い換えると、第１フィルタ処理部１０１は、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む中間画像を生成する。第１周波数成分は、第１の周波数帯における成分である。第２周波数成分は、第２の周波数帯における成分である。更に具体的には、中間画像は、第１の画像の、所定の周波数より低い周波数の成分と、第２の画像の、所定の周波数以上の周波数の成分とが合成された画像であってもよい。中間画像は、第２の画像のエッジと同じ位置にある第１の画像のエッジを保存しながら行われる、第１の画像の平滑化又は高周波成分の低減であってもよい。
【００３６】
以下では、上述の画像変換について、更に詳しく説明する。
【００３７】
画像変換は、例えば、Ｓ２をガイド画像とするＧｕｉｄｅｄ  Ｆｉｌｔｅｒを、Ｓ１に対して適用することであってもよい。第１フィルタ処理部１０１は、Ｓ２をガイド画像とするＧｕｉｄｅｄ  Ｆｉｌｔｅｒを、Ｓ１に対して適用することによって得られる画像を、中間画像Ｓ１’として生成してもよい。Ｓ２をガイド画像とするＧｕｉｄｅｄ  ＦｉｌｔｅｒをＳ１に適用することによって、ガイド画像であるＳ２に存在するエッジなどをＳ１において保存したまま、Ｓ１の平滑化がなされる。次式は、Ｇｕｉｄｅｄ  Ｆｉｌｔｅｒの計算式を示す。
【００３８】
【数１】
2018220780.tif 000003
【００３９】
数１において、スカラーi及びkは、それぞれ、位置を表す。スカラーqiは、Ｓ１’の、位置iにおける画素値である。スカラーpiは、Ｓ１の、位置iにおける画素値である。スカラーIiは、Ｓ２の、位置iにおける画素値である。画素の集合ωkは、画像中の位置kの画素を中心とした１辺が（２ｒ＋１）画素の矩形領域を表す。スカラーNωは、１辺が（２ｒ＋１）画素の矩形領域に含まれる画素の総数であり、Nω＝(２ｒ＋１)２が成り立つ。また、μk及びσｋ２は、それぞれ、Ｓ２の矩形領域ωkに含まれる画素の画素値の平均値及び分散値である。スカラーεは、予め定められた正規化パラメータである。次式によって表される値が、Ｓ１の矩形領域ωkに含まれる画素の画素値の平均値である。
【００４０】
【数２】
2018220780.tif 000004
【００４１】
画像変換は、Ｓ２を参照画像とするＪｏｉｎｔ  Ｂｉｌａｔｅｒａｌ  Ｆｉｌｔｅｒを、Ｓ１に適用することであってもよい。第１フィルタ処理部１０１は、Ｓ２を参照画像とするＪｏｉｎｔ  Ｂｉｌａｔｅｒａｌ  Ｆｉｌｔｅｒを、Ｓ１に適用することによって算出される画像を、Ｓ１’として得てもよい。Ｓ２を参照画像とするＪｏｉｎｔ  Ｂｉｌａｔｅｒａｌ  Ｆｉｌｔｅｒを、Ｓ１に適用することによって、Ｓ２に存在するエッジなどをＳ１において保存したまま、Ｓ１のノイズ除去等を行うことができる。Ｊｏｉｎｔ  Ｂｉｌａｔｅｒａｌ  Ｆｉｌｔｅｒの計算式を次式に示す。
【００４２】
【数３】
2018220780.tif 000005
【００４３】
ここで、関数G(σs, x) は、分散σs2 、平均0である正規分布関数である。関数 G (σr, x) は、分散σr2、平均0である正規分布関数である。||i-j||は画像における位置iと位置jの距離である。|Ii-Ij |は、Ｓ２の、位置iにおける画素値と、Ｓ２の、位置jにおける画素値との差の絶対値である。
【００４４】
画像変換は、ラプラシアンピラミッドを用いて複数の周波数成分に分解した、第１の画像および第２の画像を、周波数成分ごとに設定された比率で合成することであってもよい。画像の周波数成分は、画像の、複数の空間周波数帯の１つにおける成分である。ラプラシアンピラミッドは、画像を異なる複数の周波数成分に分解する方法である。
【００４５】
第１フィルタ処理部１０１は、例えば、画像を異なる２つの周波数成分に分解するラプラシアンピラミッドを第１の画像に適用することによって、第１の画像の高周波成分と、低周波成分を得てもよい。高周波成分は、２つの周波数帯のうち、周波数が高い方の周波数帯における成分である。低周波成分は、２つの周波数帯のうち、周波数が低い方の周波数帯における成分である。この場合、第１フィルタ処理部１０１は、同じラプラシアンピラミッドを、同様に、第２の画像に適用することによって、第２の画像の高周波成分と、低周波成分を得ればよい。次に、第１フィルタ処理部１０１は、第１の画像の低周波成分と、第２の画像の高周波成分とを使用して、ラプラシアンピラミッドの逆手順により画像を再構成してもよい。第１フィルタ処理部１０１は、第１の画像の低周波成分と、第２の画像の高周波成分とを使用した再構成によって得られた画像を、Ｓ１’とする。
【００４６】
以上の説明では、第１フィルタ処理部１０１が、高周波と低周波の２つの周波数成分に分解する例を示したが、分解する周波数成分の個数は特に限定されない。また、上述の例では、同一の周波数帯において中間画像の成分に含まれる第１の画像の成分の比率および第２の画像の成分の比率は、１または０である。しかし、同一の周波数帯において中間画像の成分に含まれる第１の画像の成分の比率および第２の画像の成分の比率は、和が１であるように設定された実数であってもよい。言い換えると、第１フィルタ処理部１０１は、周波数帯ごとに和が１になるよう設定された比率を、第１の画像の各周波数成分および第１の画像の各周波数成分に重みとして掛け、重みがかけられた各周波数成分を合成した画像を、Ｓ１’として生成してもよい。比率は、周波数が高いほど第２の画像の比率が大きく、周波数が低いほど第１の画像の比率が大きくなるよう設定されていてもよい。その場合、Ｓ１’は、低い周波数帯では第２の画像Ｓ２の低周波成分よりも第１の画像Ｓ１の低周波成分を多く含み、高い周波数帯では第１の画像Ｓ１の低周波成分よりも第２の画像Ｓ２の低周波成分を多く含む。
【００４７】
このように、第１フィルタ処理部１０１が生成する中間画像には、第１の画像の低周波成分（例えば、グレースケール画像の輝度、又は、カラー画像の色など）の特性を保持しつつ、第２の画像の高周波成分（例えば、エッジやテクスチャの成分）が反映されている。言い換えると、第１フィルタ処理部１０１は、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む中間画像を生成する。なお、以下の説明では、「テクスチャ」はテクスチャの高周波成分を表し、テクスチャの低周波成分は、輝度又は色などの分布に含まれる。
【００４８】
減算部１０２は、第１の画像Ｓ１を取得部１０５から受け取り、中間画像Ｓ１’を第１フィルタ処理部１０１から受け取る。減算部１０２は、受け取った、第１の画像Ｓ１と画像Ｓ１’との差分をとり、第１の画像Ｓ１と画像Ｓ１’との差分を表す差分画像Ｄを生成する。減算部１０２は、例えば、差分画像Ｄの、位置iにおける画素の画素値が、第１の画像Ｓ１の、位置iにおける画素の画素値から、中間画像Ｓ１’の、位置iにおける画素の画素値を引いた値であるように、差分画像Ｄを生成すればよい。減算部１０２は、生成した差分画像Ｄをノイズ抑制部１０３に出力する。
【００４９】
ノイズ抑制部１０３は、減算部１０２から差分画像Ｄを受け取る。ノイズ抑制部１０３は、受け取った差分画像Ｄに対してノイズ抑制処理を適用し、ノイズ抑制処理が適用された差分画像Ｄである画像Ｄ’を生成する。ノイズ抑制部１０３は、生成した画像Ｄ’を第１加算部１０４に出力する。ノイズ抑制部１０３によるノイズ抑制処理の例として、シュリンケージがある。ノイズ抑制部１０３は、差分画像Ｄの画素（以下、対象画素と表記）の画素値にシュリンケージを適用し、得られた値を、画像Ｄ’の、対象画素と同じ位置の画素の画素値にする。ノイズ抑制部１０３は、差分画素Ｄのすべての画素に対して、同様の処理を行えばよい。以下では、ノイズ抑制処理の適用前の、差分画像Ｄの画素の画素値をｗとし、ノイズ抑制処理としてのシュリンケージの適用によって得られたその画素の画素値をｗ’とする。次に示す数４は、シュリンケージの具体例を表す式である。数５も、シュリンケージの具体例を表す式である。
【００５０】
【数４】
2018220780.tif 000006
【００５１】
【数５】
2018220780.tif 000007
【００５２】
ここで、αは減衰係数であり、λは減衰幅であり、関数sign(w)はwの正負符号を出力する関数であり、|w|はwの絶対値であり、関数max(a、b)はaおよびbの最大値を出力する関数である。他にも多種のシュリンケージが存在する。ノイズ抑制部１０３によるノイズ抑制処理に適用可能なシュリンケージは、上述の例に限られない。
【００５３】
ノイズ抑制処理は、例えば、ラプラシアンピラミッドを利用した処理であってもよい。ノイズ抑制部１０３は、まず、ラプラシアンピラミッドを差分画像Ｄに適用することによって、差分画像Ｄを周波数分解する。すなわち、ノイズ抑制部１０３は、差分画像Ｄを、複数の周波数成分に分解する。以下の説明では、周波数成分の数をＮとする。差分画像Ｄのn番目の周波数成分を表す画像を、画像Ln{D}と表記する。また、ガウシアンフィルタが掛けられた画像を、ガウシアン画像と表記する。差分画像Ｄに再帰的にガウシアンフィルタをn回かけて生成したガウシアン画像を、ガウシアン画像gn {D}と表記する。差分画像の複数の周波数成分は、階層数Ｎのガウシアン画像gn {D}(0≦n＜N)の、隣接階層間の差分として、数６のように定義される。ここで、画像g0 {D}は差分画像Ｄそのものある。ガウシアン画像gn+1 {D}は、ガウシアン画像gn {D}にガウシアンフィルタをかけた画像である。数６では、Ln{D}、gn{D}は、それぞれ、例えば、各要素が画素値である行列を表すとみなすことができる。この場合、Ln{D}、gn{D}のそれぞれの（ｉ，ｊ）要素は、位置が（ｉ，ｊ）によって示される画素の画素値である。数６の最初の式は、行列の引き算を表す。上述のように画像g0{D}は、画像Dそのものであるので、数６においてg0{D}（すなわち、nが0である場合のgn{D}）の各要素は、差分画像Dの画素値である。Expandは、例えば補間等によって画像の解像度を向上させる処理（すなわち、画像の縦方向及び横方向の画素数を増加させる処理）である、アップサンプリング処理を表す。数６のExpandは、画像gn+1{D}の画素数が、画像gn{D}の画素数と同じサイズになるように、gn+1{D}の画素数を増加させる。
【００５４】
【数６】
2018220780.tif 000008
【００５５】
ノイズ抑制部１０３は、例えば数６に従って、差分画像Ｄが分解されたN個の周波数成分を表す画像Ln {D} (1≦n＜N) を生成する処理を行う。この処理によって生成される画像Ln{D}が表す成分の空間周波数は、nが大きいほど低い。すなわち、画像 L0 {D}は、差分画像Ｄの最も空間周波数の高い成分を表し、L1 、L2 、…、 LN-1の順に、これらの画像が表す成分の空間周波数は低くなる。
【００５６】
次に、ノイズ抑制部１０３は、例えば、最も高い周波数成分の比率が最も小さくなるよう、各周波数成分に対してあらかじめ設定された比率を用いて、Ln {D}のノイズを低減させてもよい。数７は、比率の例を表す。例えば、比率αnは、番号がnである周波数成分の比率である。
【００５７】
【数７】
2018220780.tif 000009
【００５８】
ノイズ抑制部１０３は、画像Ｄ’の周波数成分を表す画像Ln{D'}を、例えば、画像Ln{D}の各画素の画素値に比率αnをかけることを表す式Ln {D'}=αnLn {D} に従って生成する。数７に示す例のように、最も空間周波数の高い成分の比率が０である場合、最も空間周波数の高い成分に含まれる高周波ノイズは除去される。以上により、ノイズ抑制部１０３は、高周波ノイズが除去されたラプラシアンピラミッドLn {D'}を生成できる。比率αnの値は、数７の例に限られない。例えば、周波数成分のノイズの量が多いほど、その周波数成分の比率は小さくてもよい。
【００５９】
ノイズ抑制部１０３は、比率を使用する代わりに、例えば、ノイズの量の多いほど画素値の減衰率が高くなるように周波数成分ごとに定義されたシュリンケージ処理を、画像Ln{D}に対して行うことによって得られる画像を、画像Ln{D'}としてもよい。最も空間周波数が高い成分のシュリンケージ処理が、画素値の減衰率が最も高くなるように定義されていれば、高周波ノイズを除去することができる。番号nの周波数成分のシュリンケージ処理を表す関数をShrinkn (x)とすると、上述のシュリンケージ処理は、式Ln {D'}=Shrinkn (Ln {D})と表される。シュリンケージ処理として、既存の様々なシュリンケージ処理を適用できる。ノイズ抑制部１０３は、以上のように、周波数成分毎のノイズ量に合わせたシュリンケージによりノイズ抑制してもよい。
【００６０】
次に、ノイズ抑制部１０３は、ラプラシアンピラミッドLn {D'}を統合し、統合されたラプラシアンピラミッドLn {D'}を表す画像を、画像Ｄ’として生成する。ラプラシアンピラミッドの統合は、例えば次式によって表される。
【００６１】
【数８】
2018220780.tif 000010
【００６２】
ただし、gN-1 {D' }=gN-1 {D}とする。
【００６３】
以上の説明では、ラプラシアンピラミッドが用いられたが、ノイズ抑制部１０３は、ラプラシアンピラミッドの代わりにウェーブレット変換を用いて同様の処理を行うことができる。
【００６４】
ノイズ抑制部１０３は、ノイズが抑制された差分画像である画像Ｄ’を、第１加算部１０４に送出する。
【００６５】
第１加算部１０４は、ノイズ抑制部１０３から、ノイズが抑制された差分画像である画像Ｄ’を受け取り、第１フィルタ処理部１０１から、第２の画像のエッジやテクスチャなどの高周波成分を保存しながら平滑化が行われた第１の画像である、画像Ｓ１’を受け取る。第１加算部１０４は、受け取った、ノイズが抑制された画像Ｄ’と中間画像Ｓ１’とを加算して、差分画像Ｄ’と中間画像Ｓ１’とが加算された画像である合成画像Ｓ３＝Ｓ１’＋Ｄ’を生成する。言い換えると合成画像Ｓ３の画素の画素値は、その画素と同じ位置における、差分画像Ｄ’の画素の画素値と中間画像Ｓ１’の画素の画素値との和である。第１加算部１０４は、生成した合成画像Ｓ３を、出力部１０６に送出する。
【００６６】
出力部１０６は、第１加算部１０４から合成画像Ｓ３を受け取り、受け取った合成画像Ｓ３を表示装置４０００に出力する。
【００６７】
次に、本実施形態の画像生成装置１００の動作について、図面を参照して詳細に説明する。
【００６８】
図３は、本実施形態の画像生成装置１００の動作の例を表すフローチャートである。
【００６９】
まず、取得部１０５が、第１の画像と第２の画像とを受け取る（ステップＳ１０１）。取得部１０５は、受け取った第１の画像と第２の画像とを、第１フィルタ処理部１０１に送出する。取得部１０５は、さらに、第１の画像を減算部１０２に送出する。
【００７０】
第１フィルタ処理部１０１は、第１の画像と第２の画像とを受け取る。第１フィルタ処理部１０１は、受け取った第１の画像と第２の画像とから、第１の画像に基づく第１周波数成分と、第２の画像に基づく第２周波数成分とを含む中間画像を生成する（ステップＳ１０２）。第１周波数成分は、第１の周波数帯における成分である。第２周波数成分は、第１の周波数帯よりも高い周波数を持つ、第２の周波数帯における成分である。第１フィルタ処理部１０１は、生成した中間画像を、減算部１０２と、第１加算部１０４とに送出する。
【００７１】
減算部１０２は、取得部１０５から第１の画像を受け取り、第１フィルタ処理部１０１から中間画像を受け取る。減算部１０２は、受け取った第１の画像と中間画像との差分画像を生成する（ステップＳ１０３）。差分画像は、第１の画像から中間画像を生成した際に中間画像において失われた、第１の画像の成分に相当する。減算部１０２は、例えば、第１の画像から中間画像が引かれた、差分画像を生成すればよい。すなわち、減算部１０２は、画素の画素値が、その画素と同じ位置において、第１の画像の画素の画素値から差分画像の画素の画素値を引いた値である、差分画像を生成すればよい。減算部１０２は、生成した差分画像を、ノイズ抑制部１０３に送出する。
【００７２】
ノイズ抑制部１０３は、減算部１０２から差分画像を受け取り、受け取った差分画像に対してノイズを抑制する処理を行う（ステップＳ１０４）。ノイズ抑制部１０３は、ノイズを抑制する処理が行われた差分画像（以下、ノイズ抑制差分画像とも表記）を、第１加算部１０４に送出する。
【００７３】
第１加算部１０４は、第１フィルタ処理部１０１から中間画像を受け取る。第１加算部１０４は、第１フィルタ処理部１０１から受け取った中間画像と、ノイズ抑制部１０３から受け取ったノイズ抑制差分画像とを足すことによって、中間画像とノイズ抑制差分画像との合成画像を生成する（ステップＳ１０５）。第１加算部１０４は、生成した合成画像を、出力部１０６に送出する。
【００７４】
出力部１０６は、第１加算部１０４から合成画像を受け取り、受け取った合成画像を、表示装置４０００に出力する（ステップＳ１０６）。表示装置４０００は、合成画像を受け取り、受け取った合成画像を表示する。
【００７５】
減算部１０２によって生成される差分画像Ｄは、中間画像において失われた第１の画像のテクスチャ成分を表す。ノイズ抑制部１０３によって生成される差分画像Ｄ’は、差分画像Ｄに対してノイズの低減を行う処理（すなわち、ノイズの抑制を行う処理）を適用することによって生成された画像である。上述のように、第１フィルタ処理部１０１によって生成される中間画像Ｓ１’は、第２の画像に基づく高周波成分（第２周波数成分）と、第１の画像に基づく低周波数成分（第１周波数成分）を含む画像である。言い換えると、第２の画像に存在するエッジ等は中間画像Ｓ１’において保存される。しかし、第１の画像に存在するエッジ等は、第２の画像のそのエッジ等と同じ位置にエッジ等が存在しない場合、中間画像Ｓ１’では失われる。
【００７６】
例えば、第１の画像Ｓ１が可視から短波赤外の光の画像である場合、例えば暗所などの過酷環境下では、第１の画像Ｓ１には、高周波成分として、エッジ及びテクスチャに加えて、高感度ノイズが含まれる。そのため、撮像の対象の輪郭やテクスチャは視認しにくい。しかし、第１の画像Ｓ１の画素値の分布（例えば、背景や対象の明るさや色）は、肉眼で知覚されるシーンに近い。第１の画像Ｓ１の低周波成分は、視認性の向上に寄与するが、第１の画像Ｓ１の高周波成分は、ノイズが含まれているままでは視認性の向上に寄与しない。第２の画像Ｓ２が遠赤外の画像である場合、第２の画像に含まれるノイズは少ない。そのため、例えば背景と温度の異なる対象の輪郭等は視認しやすい。しかし、第２の画像Ｓ２の画素値の分布は肉眼によって知覚されるシーンと異なるので、第２の画像Ｓ２の視認性は高いとは言えない。第２の画像Ｓ２の高周波成分は、視認性の向上に寄与するが、第２の画像Ｓ２の低周波成分は、視認性の向上に寄与しない。
【００７７】
中間画像Ｓ１’では、第１の画像Ｓ１のノイズ、エッジ、テクスチャ等の高周波成分と第２の画像の低周波成分は低減されているが、第１の画像Ｓ１の低周波成分と、第２の画像Ｓ２の高周波成分は保存されている。差分画像Ｄは、第１の画像Ｓ１に含まれ中間画像Ｓ１’に含まれない、第１の画像Ｓ１のノイズ、エッジ、及び、テクスチャ等の高周波成分を含む。差分画像Ｄ’では、差分画像Ｄに含まれていたノイズが低減される。第１加算部１０４によって生成される合成画像Ｓ３は、中間画像Ｓ１’と差分画像Ｄ’との合成画像、すなわち、中間画像Ｓ１’の画素の画素値に、差分画像Ｄ’の同じ位置の画素の画素値を加えることによって生成された画像である。上述のように、中間画像Ｓ１’は、第２の画像に存在するエッジ等の高周波成分を含み、受信した第１の画像Ｓ１に含まれていたノイズ及びテクスチャ等の高周波成分が低減された第１の画像である。差分画像は、中間画像Ｓ１’には含まれない第１の画像Ｓ１の高周波成分のうち、ノイズが低減された画像である。そのため、合成画像は、第１の画像ではノイズのために必ずしも判然としないが第２の画像には存在するエッジ等の高周波成分と、第１の画像の低周波成分に加えて、第１の画像のノイズが低減されたテクスチャを含む。よって、合成画像の視認性は、第１の画像の視認性と比較して、向上している。
【００７８】
このように、本実施形態によると、中間画像において失われている第１の画像のテクスチャ成分が、ノイズを低減する処理がなされてから中間画像に加算されることによって、視認性の高い合成画像が得られる。
【００７９】
＜第２の実施形態＞
次に、本発明の第２の実施形態について、図面を参照して詳細に説明する。
【００８０】
図４は、本実施形態の画像生成システム２の構成の例を表すブロック図である。本実施形態の画像生成システム２は、図１に示す第１の実施形態の画像生成システム１と比較すると、画像生成装置１００の代わりに、画像生成装置２００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。
【００８１】
図５は、本実施形態の画像生成装置２００の構成の例を表すブロック図である。画像生成装置２００は、第１フィルタ処理部１０１と、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６と、テクスチャ抽出部２０１と、第２加算部２０２とを含む。
【００８２】
本実施形態の取得部１０５は、第１の実施形態の取得部１０５と同じ動作を行う。本実施形態の取得部１０５は、更に、受けとった第２の画像を、テクスチャ抽出部２０１に送出する。
【００８３】
本実施形態の第１加算部１０４は、生成した合成画像を、第２加算部２０２に送出する。本実施形態の第１加算部１０４の他の動作は、第１の実施形態の第１加算部１０４の動作と同じである。
【００８４】
テクスチャ抽出部２０１は、取得部１０５から第２の画像を受け取る。テクスチャ抽出部２０１が、第２の画像のテクスチャを表すテクスチャ画像を生成する。言い換えると、テクスチャ抽出部２０１が、第２の画像から、第２の画像のテクスチャを、テクスチャ画像として抽出する。テクスチャ抽出部２０１は、例えば、受け取った第２の画像に空間高周波通過フィルタを適用することによって、第２の画像から、第２の画像のテクスチャを表すテクスチャ画像を抽出すればよい。テクスチャ抽出部２０１は、後述される構造／テクスチャ分解部４０２と同じ方法で、第２の画像をテクスチャ成分と構造成分とに分解し、得られたテクスチャ成分を表す画像を、テクスチャ画像として生成してもよい。なお、以下では、画像のテクスチャ（以下、テクスチャ成分とも表記）を表すテータは、画像（すなわち、テクスチャ画像）であるとして説明する。しかし、画像のテクスチャ成分を表すデータは、必ずしも画像の形式のデータでなくてもよい。画像のテクスチャ成分を表すデータは、その画像の各画素の画素値の、テクスチャに由来する成分の値を特定できるデータであればよい。テクスチャ抽出部２０１は、抽出したテクスチャ画像を、第２加算部２０２へ送出する。
【００８５】
第２加算部２０２は、第１加算部１０４から合成画像を受け取り、テクスチャ抽出部２０１からテクスチャ画像を受け取る。第２加算部２０２は、受け取った合成画像にテクスチャ画像を加算することによって、合成画像を更新する。第２加算部２０２は、合成画像にテクスチャ画像を加算することによって、新たな合成画像を生成するとみなすこともできる。第２加算部２０２は、更新された合成画像を、出力部１０６に送出する。
【００８６】
本実施形態の出力部１０６は、第２加算部２０２から、更新された合成画像を受け取る。出力部１０６は、受け取った合成画像を表示装置４０００に出力する。
【００８７】
次に、本実施形態の画像生成装置２００の動作について、図面を参照して詳細に説明する。
【００８８】
図６は、本実施形態の画像生成装置２００の動作の例を表すフローチャートである。図６に示すステップＳ１０１からステップＳ１０５までの動作及びステップＳ１０６の動作は、以下の相違を除いて、図３に示す第１の実施形態の画像生成装置２００の同じ符号が付与されているステップの動作と同じである。
【００８９】
ステップＳ１０１において、取得部１０５は、受け取った第２の画像を、テクスチャ抽出部２０１にも送出する。ステップＳ１０５において、第１加算部１０４は、生成した合成画像を、第２加算部２０２に送出する。図６の例では、画像生成装置２００は、ステップＳ１０５の次に、ステップＳ２０１を行う。
【００９０】
ステップＳ２０１において、テクスチャ抽出部２０１が、第２の画像のテクスチャ画像を生成する。言い換えると、テクスチャ抽出部２０１が、第２の画像から、第２の画像のテクスチャを、テクスチャ画像として抽出する。テクスチャ抽出部２０１は、抽出したテクスチャ画像を、第２加算部２０２に送出する。
【００９１】
次に、第２加算部２０２は、第１加算部１０４が生成した合成画像に、テクスチャ抽出部２０１が抽出したテクスチャ画像を加える（ステップＳ２０２）。第２加算部２０２は、テクスチャ画像が加えられた合成画像を、出力部１０６に送出する。
なお、ステップＳ２０１の動作の順番は、図６の例に限られない。画像生成装置２００は、ステップＳ２０１の動作を、ステップＳ１０１の後、ステップＳ２０２の前のどの時点で行ってもよい。画像生成装置２００は、ステップＳ２０１の動作を、ステップＳ１０２からステップＳ１０５までの少なくともいずれかと並列に行ってもよい。
【００９２】
本実施形態の第２加算部２０２は、第１の実施形態の合成画像に、更に、テクスチャ抽出部２０１によって抽出されたテクスチャ画像を加算する。従って、本実施形態には、さらに視認性の高い画像を得ることができるという効果がある。
【００９３】
＜第３の実施形態＞
次に、本発明の第３の実施形態について、図面を参照して詳細に説明する。
【００９４】
図７は、本実施形態の画像生成システム３の構成を表すブロック図である。本実施形態の画像生成システム３は、図１に示す第１の実施形態の画像生成システム１と比較すると、画像生成装置１００の代わりに、画像生成装置３００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。
【００９５】
図８は、本実施形態の画像生成装置３００の構成を表すブロック図である。画像生成装置３００は、第２フィルタ処理部３０１と、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６とを含む。減算部１０２、ノイズ抑制部１０３、第１加算部１０４、取得部１０５及び出力部１０６は、以下の相違を除いて、第１の実施形態の減算部１０２、ノイズ抑制部１０３、第１加算部１０４及び出力部１０６と同じである。取得部１０５は、第２の実施形態の取得部１０５と同様に動作する。
【００９６】
第２フィルタ処理部３０１は、第１フィルタ処理部１０１と、テクスチャ抽出部２０１と、第３加算部３０２とを含む。第１フィルタ処理部１０１は、以下の相違を除いて、第１の実施形態の第１フィルタ処理部１０１と同じである。テクスチャ抽出部２０１は、以下の相違を除いて、第２の実施形態のテクスチャ抽出部２０１と同じである。なお、画像生成装置３００は、第２フィルタ処理部３０１を含まず、第２フィルタ処理部３０１の代わりに、第１フィルタ処理部１０１、テクスチャ抽出部２０１及び第３加算部３０２を含んでいてもよい。
【００９７】
第１フィルタ処理部１０１は、生成した中間画像を、第３加算部３０２に送出する。
【００９８】
テクスチャ抽出部２０１は、抽出した、第２の画像のテクスチャを表すテクスチャ画像を、第３加算部３０２に送出する。
【００９９】
第３加算部３０２は、生成された中間画像を第１フィルタ処理部１０１から受け取り、抽出されたテクスチャ画像をテクスチャ抽出部２０１から受け取る。第３加算部３０２は、受け取った中間画像に、受け取ったテクスチャ画像を加算する。第３加算部３０２は、受け取った中間画像に、受け取ったテクスチャ画像を加算することによって、新たな中間画像を生成するとみなすこともできる。第３加算部３０２は、テクスチャ画像が加算された中間画像を、減算部１０２と第１加算部１０４とに送出する。
【０１００】
減算部１０２は、第３加算部３０２から、テクスチャ画像が加算された中間画像を受け取る。減算部１０２の他の動作は、第１の実施形態の減算部１０２の動作と同じである。
【０１０１】
第１加算部１０４は、第３加算部３０２から、テクスチャ画像が加算された中間画像を受け取る。第１加算部１０４の他の動作は、第１の実施形態の第１加算部１０４の動作と同じである。
【０１０２】
次に、本実施形態の画像生成装置３００の動作について図面を参照して詳細に説明する。
【０１０３】
図９は、本実施形態の画像生成装置３００の動作の例を表すフローチャートである。図９に示す、ステップＳ１０１、ステップＳ１０２、及び、ステップＳ１０３からステップＳ１０６までの動作は、以下の相違を除いて、図３に示す第１の実施形態の同じ符号が付与されたステップの動作と同じである。
【０１０４】
図９に示す例では、本実施形態の画像生成装置３００は、ステップＳ１０２の動作の後に、ステップＳ２０１の動作を行う。ステップＳ２０１の動作は、テクスチャ抽出部２０１が、生成したテクスチャ画像を、第３加算部３０２に送出する点を除いて、第２の実施形態のステップＳ２０１の動作と同じである。なお、画像生成装置３００は、ステップＳ２０１の動作を、ステップＳ１０２の動作の前に行ってもよい。画像生成装置３００は、ステップＳ２０１の動作を、ステップＳ１０２の動作と並列に行ってもよい。
【０１０５】
次に、第３加算部３０２が、中間画像とテクスチャ画像とを受け取り、受け取った中間画像に、受け取ったテクスチャ画像を加える（ステップＳ３０２）。第３加算部３０２は、テクスチャ画像が加えられた中間画像を、減算部１０２と第１加算部１０４とに送出する。
【０１０６】
ステップＳ３０２の動作の後、画像生成装置３００はステップＳ１０３からステップＳ１０６までの動作を行う。
【０１０７】
本実施形態の第３加算部３０２は、中間画像に、第２の画像のテクスチャ画像を足す。そのため、第１加算部１０４によって生成される合成画像には、第２の実施形態の合成画像と同様に、第２の画像のテクスチャが含まれている。従って、本実施形態には、第２の実施形態と同様に、さらに視認性の高い画像を得ることができるという効果がある。
【０１０８】
＜第４の実施形態＞
次に、本発明の第４の実施形態について、図面を参照して詳細に説明する。
【０１０９】
図１０は、本実施形態の画像生成システム４の構成の例を表すブロック図である。図１０によると、本実施形態の画像生成システム４は、第１の実施形態の画像生成システム１と比較すると、画像生成装置１００の代わりに、画像生成装置４００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。
【０１１０】
図１１Ａは、本実施形態の画像生成装置４００の構成の例を表すブロック図である。本実施形態の画像生成装置４００は、減算部１０２、ノイズ抑制部１０３、第１加算部１０４、取得部１０５、出力部１０６、及び、第２フィルタ処理部４０１を含む。減算部１０２、ノイズ抑制部１０３、第１加算部１０４、取得部１０５及び出力部１０６は、以下の相違を除いて、第１の実施形態の減算部１０２、ノイズ抑制部１０３、第１加算部１０４、取得部１０５及び出力部１０６と同じである。
【０１１１】
図１１Ｂは、本実施形態の第２フィルタ処理部４０１の構成の例を表すブロック図である。第２フィルタ処理部４０１は、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２と、を含む。第１フィルタ処理部１０１は、以下の相違を除いて、第１の実施形態の第１フィルタ処理部１０１と同じである。なお、画像生成装置４００は、第２フィルタ処理部４０１を含まず、第２フィルタ処理部４０１の代わりに、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２とを含んでいてもよい。
【０１１２】
取得部１０５は、第１の画像Ｓ１を、第１フィルタ処理部１０１と減算部１０２とに送出する。取得部１０５は、第２の画像Ｓ２を、構造／テクスチャ分解部４０２に送出する。
【０１１３】
構造／テクスチャ分解部４０２は、取得部１０５から、第２の画像を受け取る。構造／テクスチャ分解部４０２は、受け取った第２の画像を、構造成分を表す構造画像Ｓ２’と、テクスチャ成分をあらわすテクスチャ画像Ｔ２とに分離する。構造成分は、例えば、滑らかな輝度値の変化及び輝度値のエッジ成分である。テクスチャ成分は、例えば、輝度値の微小振動成分である。構造／テクスチャ分解部４０２による、第２の画像を構造画像Ｓ２’とテクスチャ画像Ｔ２とに分離する方法については、後で詳細に説明する。上述のように、以上及び以下の説明では、画像のテクスチャ成分を表すデータは、画像（すなわちテクスチャ画像）である。しかし、画像のテクスチャ成分を表すデータは、画像の形式のデータではなくてよい。画像のテクスチャ成分を表すデータは、その画像の各画素の画素値の、テクスチャに由来する成分の値を特定できる形式のデータであればよい。同様に、以下の説明では、画像の構造成分を表すデータは、画像（すなわち、構造画像）である。しかし、画像の構造成分を表すデータは、画像の形式のデータでなくてよい。画像の構造成分を表すデータは、その画像の各画素の画素値の、構造に由来する（例えば、テクスチャに由来しない）成分の値を特定できる形式のデータであればよい。構造／テクスチャ分解部４０２は、構造画像Ｓ２’を、第１フィルタ処理部１０１に送出する。
【０１１４】
第１フィルタ処理部１０１は、取得部１０５から第１の画像Ｓ１を受け取り、構造／テクスチャ分解部４０２から、第２の画像の構造画像Ｓ２’を受け取る。第１フィルタ処理部１０１は、受け取った第２の画像の構造画像Ｓ２’を、第１の実施形態における第２の画像として使用して、第１の実施形態の第１フィルタ処理部１０１と同様に、中間画像Ｓ１’を生成する。言い換えると、第１フィルタ処理部１０１は、第１の画像に基づく第１周波数成分と第２の画像の構造成分を表す構造画像に基づく第２周波数成分とを含む中間画像を生成する。
【０１１５】
次に、構造／テクスチャ分解部４０２による、第２の画像を構造画像Ｓ２’とテクスチャ画像Ｔ２とに分離する方法について詳細に説明する。
【０１１６】
画像の構造成分とテクスチャ成分を計算する方法の例として、Ｔｏｔａｌ  Ｖａｒｉａｔｉｏｎ（ＴＶ）正則化法がある。ＴＶ正則化による構造成分とテクスチャ成分の分離は、次式を計算することによって行われる。
【０１１７】
【数９】
2018220780.tif 000011
【０１１８】
ここで、f及びuは、入力画像における位置xの関数であり、f(x)は入力画像の位置xにおける画素値であり、u(x)の最適解がSとして算出される。Jε(u)はエネルギー汎関数であり、∇u(x)は、u(x)の勾配を表す。入力画像は、例えば、第１の画像、または、第２の画像である。S、 Tは、それぞれ、入力画像の構造成分とテクスチャ成分である。λ、εは、所定の正則化パラメータである。数９では、f及びuが連続関数である場合の式を表すが、実際にはf及びuは離散値を持つ。構造／テクスチャ分解部４０２は、実際には、数９を離散化した式に基づいて、入力画像を構造成分とテクスチャ成分に分離すればよい。
【０１１９】
なお、構造／テクスチャ分解部４０２は、構造成分及びテクスチャ成分の分離を、上述のＴＶ正則化法以外の方法、例えば、ハイパスフィルタ又はローパスフィルタを用いた方法によって計算してもよい。その場合、構造／テクスチャ分解部４０２は、入力画像に空間ハイパスフィルタを適用し、得られた結果をその入力画像のテクスチャ成分とし、入力画像からテクスチャ成分を引いた成分を構造成分としてもよい。構造／テクスチャ分解部４０２は、入力画像に空間ローパスフィルタを適用し、得られた結果をその入力画像の構造成分とし、入力画像から構造成分を引いた成分をテクスチャ成分としてもよい。ただし、本実施形態では、構造／テクスチャ分解部４０２は、第２の画像の構造成分を算出し、第２の画像の構造成分を表す構造画像Ｓ２’を生成すればよい。
【０１２０】
次に、本実施形態の画像生成装置４００の動作について、図面を参照して詳細に説明する。
【０１２１】
図１２は、本実施形態の画像生成装置４００の動作の例を表すフローチャートである。図１２に示す、ステップＳ１０１の動作と、ステップＳ１０３からステップＳ１０６までの動作は、以下の相違を除いて、図３に示す、第１の実施形態の同じ符号が付与されているステップの動作と同じである。
【０１２２】
ステップＳ１０１において、取得部１０５は、受け取った第１の画像を第１フィルタ処理部１０１と減算部１０２とに送出する。取得部１０５は、受け取った第２の画像を、構造／テクスチャ分解部４０２に送出する。ステップＳ１０１の後、画像生成装置４００は、ステップＳ４０１及びステップＳ４０２の動作を行う。
【０１２３】
ステップＳ４０１において、構造／テクスチャ分解部４０２は、受け取った第２の画像から構造成分を分離し、分離した構造成分を表す、第２の画像の構造画像を生成する。前述のように、第２の画像の構造画像は、第２の画像の画素値の、滑らかに変化する成分に加えて、エッジの成分も含む。構造／テクスチャ分解部４０２は、生成した、第２の画像の構造画像を第１フィルタ処理部１０１に送出する。
【０１２４】
ステップＳ４０２において、第１フィルタ処理部１０１は、第１の画像に基づく第１周波数成分と、第２の画像に構造画像に基づく第２周波数成分とを含む中間画像を生成する。ステップＳ４０２における第１フィルタ処理部１０１の動作は、第２の画像そのものの代わりに第２の画像の構造画像を第２の画像として使用した、図３に示す第１の実施形態のステップＳ１０２の動作と同じである。第１フィルタ処理部１０１は、例えば、第２の画像の構造画像をガイド画像として使用するガイデッド・フィルタを第１の画像に適用することによって得られる画像を、中間画像として生成すればよい。
【０１２５】
画像生成装置４００は、ステップＳ４０２の動作の後、ステップＳ１０３からステップＳ１０６までの動作を行う。ステップＳ１０３からステップＳ１０６の動作は、図３に示す、第１の実施形態のステップＳ１０３からステップＳ１０６の動作と同じである。
【０１２６】
本実施形態には、視認性が更に向上した画像を生成できるという効果がある。その理由は、構造／テクスチャ分解部４０２が、第２の画像の構造画像を生成するからである。そのため、第１フィルタ処理部１０１が、第２の画像の構造画像をガイド画像として使用してガイデッド・フィルタを第１の画像に適用することができる。第２の画像の構造画像には、第２の画像のエッジ成分は含まれるが、第２の画像のテクスチャ成分は含まれない。第２の画像にテクスチャがある場合、第２の画像をそのままガイド画像として使用するガイデッド・フィルタを第１の画像に適用すると、第１の画像の平滑化において、第２の画像のテクスチャのエッジと同じ位置に存在するノイズ等が保存される。第２の画像の構造画像をガイド画像として使用するガイデッド・フィルタを第１の画像に適用した場合、第２の画像のテクスチャが存在しても、第１の画像の平滑化において、第２の画像のテクスチャのエッジと同じ位置に存在するノイズ等は保存されない。この場合であっても、第２の画像の輪郭等のエッジと同じ位置に存在するエッジは保存される。第４の実施形態によると、第２の画像にテクスチャがあった場合でも、構造成分のみを抜き出しているので、効果的にガイデッド・フィルタを掛けることができる。
【０１２７】
＜第５の実施形態＞
次に、本発明の第５の実施形態について、図面を参照して詳細に説明する。
【０１２８】
図１３は、本実施形態の画像生成システム５の構成の例を表すブロック図である。図１３に示す画像生成システム５は、図４に示す、第２の実施形態の画像生成システム２と比較すると、画像生成装置２００の代わりに画像生成装置５００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。
【０１２９】
図１４は、本実施形態の画像生成装置５００の構成の例を表すブロック図である。画像生成装置５００は、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６と、テクスチャ抽出部２０１と、第２加算部２０２と、第２フィルタ処理部４０１とを含む。図１４に示す画像生成装置５００は、図５に示す画像生成装置２００と比較すると、第１フィルタ処理部１０１の代わりに、第２フィルタ処理部４０１を含む。
【０１３０】
図１１Ｂは、本実施形態の第２フィルタ処理部４０１の構成の例を表すブロック図である。第２フィルタ処理部４０１は、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２とを含む。本実施形態の第２フィルタ処理部４０１は、第４の実施形態の第２フィルタ処理部４０１と同じである。なお、画像生成装置５００は、第２フィルタ処理部４０１を含まず、第２フィルタ処理部４０１の代わりに、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２とを含んでいてもよい。
【０１３１】
本実施形態の減算部１０２、ノイズ抑制部１０３、第１加算部１０４、取得部１０５、出力部１０６、テクスチャ抽出部２０１及び第２加算部２０２は、以下の相違を除いて、第２の実施形態の、同じ名称及び符号が付与されている構成要素と同じ動作を行う。本実施形態の第２フィルタ処理部４０１は、第４の実施形態の第２フィルタ処理部４０１と同じ動作を行う。
【０１３２】
本実施形態の取得部１０５は、受信した第１の画像Ｓ１を、第１フィルタ処理部１０１と減算部１０２とに送出する。本実施形態の取得部１０５は、更に、受信した第２の画像Ｓ２を、テクスチャ抽出部２０１及び構造／テクスチャ分解部４０２に送出する。
【０１３３】
次に、本実施形態の画像生成装置５００の動作について、図面を参照して詳細に説明する。
【０１３４】
図１５は、本実施形態の画像生成装置５００の動作の例を表すフローチャートである。図１５に示す、ステップＳ１０１、ステップＳ４０１、ステップＳ４０２、及び、ステップＳ１０３からステップＳ１０５の動作は、図１２に示す、第４の実施形態の同じ符号が付与されているステップの動作と同じである。図１５に示す、ステップＳ２０１、ステップＳ２０２、及び、ステップＳ１０６の動作は、図６に示す、第２の実施形態の同じ符号が付与されているステップの動作と同じである。また、画像生成装置５００は、ステップＳ２０１の動作を、ステップＳ１０１、ステップＳ４０１、ステップＳ４０２、ステップＳ１０３からステップＳ１０５のどの動作の後に行ってもよい。画像生成装置５００は、ステップＳ２０１の動作を、ステップＳ４０１、ステップＳ４０２、ステップＳ１０３からステップＳ１０５の少なくともいずれかの動作と並列に行ってもよい。
【０１３５】
以上で説明した本実施形態には、更に視認性が向上した画像を生成することができるという効果がある。その効果は、第２の実施形態の効果が生じる理由と同じ理由に加えて、第４の実施形態の効果が生じる理由と同じ理由によって生じる。
【０１３６】
＜第６の実施形態＞
次に、本発明の第６の実施形態について、図面を参照して詳細に説明する。
【０１３７】
図１６は、本実施形態の画像生成システム６の構成の例を表すブロック図である。本実施形態の画像生成システム６は、図７に示す、第４の実施形態の画像生成システム４と比較すると、画像生成装置４００の代わりに、画像生成装置６００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。
【０１３８】
図１７Ａは、本実施形態の画像生成装置６００の構成の例を表すブロック図である。図１７Ａに示すように、画像生成装置６００は、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６と、第２フィルタ処理部６０１とを含む。画像生成装置６００は、図８に示す、第４の実施形態の画像生成装置４００と比較すると、第２フィルタ処理部４０１の代わりに、第２フィルタ処理部６０１を含む。減算部１０２、ノイズ抑制部１０３、第１加算部１０４、取得部１０５及び出力部１０６は、以下の相違を除いて、第４の実施形態の、同じ名称と符号が付与されている構成要素の動作と同じ動作を行う。
【０１３９】
図１７Ｂは、本実施形態の第２フィルタ処理部６０１の構成の例を表すブロック図である。第２フィルタ処理部６０１は、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２と、第３加算部３０２と、を含む。すなわち、第２フィルタ処理部６０１は、第４の実施形態の第２フィルタ処理部４０１と比較すると、第３加算部３０２を更に含む。なお、画像生成装置６００は、第２フィルタ処理部６０１を含まず、第２フィルタ処理部６０１の代わりに、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２と、第３加算部３０２とを含んでいてもよい。
【０１４０】
第１フィルタ処理部１０１及び構造／テクスチャ分解部４０２は、それぞれ、以下の相違を除いて、第４の実施形態の第１フィルタ処理部１０１及び構造／テクスチャ分解部４０２の動作と同じ動作を行う。第３加算部３０２は、以下の相違を除いて、第３の実施形態の第３加算部３０２の動作と同じ動作を行う。
【０１４１】
本実施形態の構造／テクスチャ分解部４０２は、第４の実施形態の構造／テクスチャ分解部４０２の動作と同じ動作を行う。すなわち、構造／テクスチャ分解部４０２は、第２の画像を構造成分とテクスチャ成分とに分解し、第２の画像の構造成分を表す、第２の画像の構造画像を生成し、生成した構造画像を第１フィルタ処理部１０１に送出する。構造／テクスチャ分解部４０２は、更に、第２の画像のテクスチャ成分を表すテクスチャ画像を生成する。構造／テクスチャ分解部４０２は、生成したテクスチャ画像を、第３加算部３０２に送出する。
【０１４２】
第１フィルタ処理部１０１は、第４の実施形態の第１フィルタ処理部１０１と同様に、第１の画像と、第２の画像の構造画像から、中間画像を生成する。言い換えると、第１フィルタ処理部１０１は、第１の画像に基づく第１周波数成分と第２の画像の構造成分を表す構造画像に基づく第２周波数成分とを含む中間画像を生成する。第１フィルタ処理部１０１は、生成した中間画像を、第３加算部３０２に送出する。
【０１４３】
第３加算部３０２は、生成された中間画像を第１フィルタ処理部１０１から受信し、生成された、第２の画像のテクスチャ成分を表すテクスチャ画像を、構造／テクスチャ分解部４０２から受信する。第３加算部３０２は、第１フィルタ処理部１０１から受け取った中間画像に、構造／テクスチャ分解部４０２から受け取ったテクスチャ画像を加算することによって、中間画像を更新する。第３加算部３０２は、中間画像にテクスチャ画像が加算された、新たな中間画像を生成するとみなすこともできる。第３加算部３０２は、テクスチャ画像が加算された中間画像を、減算部１０２と第１加算部１０４とに送出する。
【０１４４】
次に、本実施形態の画像生成装置６００の動作について、図面を参照して詳細に説明する。
【０１４５】
図１８は、本実施形態の画像生成装置６００の動作の例を表すフローチャートである。図１８に示す、ステップＳ１０１の動作は、図１２に示す、第４の実施形態のステップＳ１０１の動作と同じである。本実施形態の画像生成装置６００は、ステップＳ１０１の動作の次に、ステップＳ６０１の動作を行う。
【０１４６】
ステップＳ６０１において、構造／テクスチャ分解部４０２は、第２の画像の構造成分を表す構造画像と、第２の画像のテクスチャ成分を表すテクスチャ画像とを生成する。画像生成装置６００は、ステップＳ６０１の次に、ステップＳ４０２の動作を行う。ステップＳ４０２の動作は、第４の実施形態のステップＳ４０２の動作と同じである。
【０１４７】
画像生成装置６００は、ステップＳ４０２の動作の次に、ステップＳ３０２及びステップＳ１０３からステップＳ１０６の動作を行う。ステップＳ３０２及びステップＳ１０３からステップＳ１０６の動作は、図９に示す、第３の実施形態のステップＳ３０２及びステップＳ１０３からステップＳ１０６の動作と同じである。
【０１４８】
以上で説明した本実施形態には、更に視認性が向上した画像を生成することができるという効果がある。その効果は、第３の実施形態の効果が生じる理由と同じ理由に加えて、第４の実施形態の効果が生じる理由と同じ理由によって生じる。
【０１４９】
＜第７の実施形態＞
次に、本発明の第７の実施形態について、図面を参照して詳細に説明する。
【０１５０】
図１９は、本実施形態の画像生成システム７の構成の例を表すブロック図である。本実施形態の画像生成システム７は、図４に示す第２の実施形態の画像生成システム２と比較すると、画像生成装置２００の代わりに、画像生成装置７００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。
【０１５１】
図２０は、本実施形態の画像生成装置７００の構成の例を表すブロック図である。画像生成装置７００は、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６と、テクスチャ抽出部２０１と、第２加算部２０２と、第２フィルタ処理部６０１とを含む。本実施形態の画像生成装置７００は、図１４に示す第５の実施形態の画像生成装置５００と比較すると、第２フィルタ処理部４０１の代わりに、第２フィルタ処理部６０１を含む。減算部１０２、ノイズ抑制部１０３、第１加算部１０４及び取得部１０５は、第５の実施形態の同じ名称と符号とが付与されている構成要素と同じである。出力部１０６、テクスチャ抽出部２０１及び第２加算部２０２は、以下の相違を除いて、第５の実施形態の同じ名称と符号とが付与されている構成要素と同じである。
【０１５２】
図１７Ｂは、本実施形態の第２フィルタ処理部６０１の構成の例を表すブロック図である。本実施形態の第２フィルタ処理部６０１は、第６の実施形態の第２フィルタ処理部６０１と同じである。なお、画像生成装置７００は、第２フィルタ処理部６０１を含まず、第２フィルタ処理部６０１の代わりに、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２と、第３加算部３０２とを含んでいてもよい。
【０１５３】
次に、本実施形態の画像生成装置７００の動作について、図面を参照して詳細に説明する。
【０１５４】
図２１は、本実施形態の画像生成装置７００の動作の例を表すフローチャートである。図２１のステップＳ１０１、ステップＳ６０１、ステップＳ４０２、ステップＳ３０２、及び、ステップＳ１０３からステップＳ１０４において、画像生成装置７００は、図１８に示す、第６の実施形態の同じ符号が付与されているステップと同様に動作する。ステップＳ１０５、ステップＳ２０１、ステップＳ２０２及びステップＳ１０６において、画像生成装置７００は、図１５に示す、第５の実施形態の同じ符号が付与されているステップと同様に動作する。
【０１５５】
以上で説明した本実施形態には、更に視認性が向上した画像を生成することができるという効果がある。その効果は、第２の実施形態の効果が生じる理由と同じ理由と、第３の実施形態の効果が生じる理由と同じ理由とに加えて、第４の実施形態の効果が生じる理由と同じ理由によって生じる。
【０１５６】
＜第８の実施形態＞
次に、本発明の第８の実施形態について、図面を参照して詳細に説明する。
【０１５７】
図２２は、本実施形態の画像生成システム８の構成の例を表すブロック図である。画像生成システム８は、図１に示す第１の実施形態の画像生成システム１と比較すると、画像生成装置１００の代わりに画像生成装置８００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。
【０１５８】
図２３Ａは、本実施形態の画像生成装置８００の構成の例を表すブロック図である。画像生成装置８００は、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６と、第２フィルタ処理部８０１とを含む。本実施形態の画像生成装置８００は、図２に示す第１の実施形態の画像生成装置１００と比較すると、第１フィルタ処理部１０１の代わりに、第２フィルタ処理部８０１を含む。本実施形態の減算部１０２、ノイズ抑制部１０３、第１加算部１０４、取得部１０５及び出力部１０６は、以下の相違を除いて、第１の実施形態の、同じ名称と符号が付与されている構成要素と同じである。
【０１５９】
図２３Ｂは、本実施形態の第２フィルタ処理部８０１の構成の例を表すブロック図である。第２フィルタ処理部８０１は、第１フィルタ処理部１０１と、構造／テクスチャ分解部８０２と、を含む。なお、画像生成装置８００は、第２フィルタ処理部８０１を含まず、第２フィルタ処理部８０１の代わりに、第１フィルタ処理部１０１と、構造／テクスチャ分解部８０２とを含んでいてもよい。
【０１６０】
本実施形態の取得部１０５は、第１の画像及び第２の画像を、第２フィルタ処理部８０１に送出する。具体的には、取得部１０５は、第１の画像を、構造／テクスチャ分解部８０２に送出し、第２の画像を、第１フィルタ処理部１０１に送出する。
【０１６１】
構造／テクスチャ分解部８０２は、第１の画像を、構造成分と、テクスチャ成分とに分離する。構造／テクスチャ分解部８０２は、第４の実施形態の構造／テクスチャ分解部４０２による、画像を構造成分とテクスチャ成分に分離する方法と同じ方法によって、第１の画像を、構造成分とテクスチャ成分とに分離すればよい。構造／テクスチャ分解部８０２は、構造成分を表す構造画像Ｓ１’’’を、第１フィルタ処理部１０１に送出する。
【０１６２】
第１フィルタ処理部１０１は、第１の画像の構造成分Ｓ１’’’を、第１の実施形態における第１の画像として使用して、第１の実施形態の第１フィルタ処理部１０１と同様の動作を行う。言い換えると、第１フィルタ処理部１０１は、第１の画像の構造成分を表す構造画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む中間画像を生成する。
【０１６３】
次に、本実施形態の画像生成装置８００の動作について、図面を参照して詳細に説明する。
【０１６４】
図２４は、本実施形態の画像生成装置８００の動作の例を表すフローチャートである。図２４のステップＳ１０１の動作は、図３に示す、第１の実施形態のステップＳ１０１の動作と同様である。画像生成装置８００は、ステップＳ１０１の動作の次に、ステップＳ８０１の動作を行う。
【０１６５】
ステップＳ８０１において、構造／テクスチャ分解部８０２は、第１の画像を構造成分とテクスチャ成分に分解し、第１の画像の構造成分を表す構造画像を生成する（ステップＳ８０１）。構造／テクスチャ分解部８０２は、第１の画像の構造画像を、第１フィルタ処理部１０１に送出する。
【０１６６】
次に、第１フィルタ処理部１０１は、第１の画像の構造画像に基づく第１周波数成分と、第２の画像に基づく第２周波数成分とを含む中間画像を生成する（ステップＳ８０２）。
【０１６７】
画像生成装置８００は、ステップＳ８０２の次に、ステップＳ１０３、ステップＳ１０４、ステップＳ１０５及びステップＳ１０６の動作を行う。画像生成装置８００は、ステップＳ１０３、ステップＳ１０４、ステップＳ１０５及びステップＳ１０６において、第１の実施形態における、同じ符号が付与されているステップの動作と同様の動作を行う。
【０１６８】
以上で説明した本実施形態には、更に視認性が向上した画像を生成することができるという効果がある。その効果は、第１の実施形態の効果が生じる理由と同じ理由に加えて、第１フィルタ処理部１０１が、第１の画像の構造画像を使用して中間画像を生成することによって生じる。第１の画像にテクスチャが存在する場合であっても、第１の画像の構造画像には、第１の画像のテクスチャは含まれない。そのため、中間画像は、第１の画像のテクスチャの影響を受けない。そのため、中間画像を使用して生成される合成画像の視認性が向上する。
【０１６９】
＜第９の実施形態＞
次に、本発明の第９の実施形態について、図面を参照して詳細に説明する。
【０１７０】
図２５は、本実施形態の画像生成システム９の構成の例を表すブロック図である。画像生成システム９は、図４に示す第２の実施形態の画像生成システム２と比較すると、画像生成装置２００の代わりに画像生成装置９００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。
【０１７１】
図２６は、本実施形態の画像生成装置９００の構成の例を表すブロック図である。画像生成装置９００は、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６と、テクスチャ抽出部２０１と、第２加算部２０２と、第２フィルタ処理部８０１とを含む。画像生成装置９００は、図５に示す、第２の実施形態の画像生成装置２００と比較すると、第１フィルタ処理部１０１の代わりに、第２フィルタ処理部８０１を含む。画像生成装置９００の他の構成要素は、以下の相違を除いて、第２の実施形態の画像生成装置２００に含まれる、同じ名称と同じ符号が付与されている構成要素と同様である。
【０１７２】
本実施形態の取得部１０５は、第１の画像及び第２の画像を、第２フィルタ処理部８０１に送出する。具体的には、取得部１０５は、第１の画像を、構造／テクスチャ分解部８０２に送出し、第２の画像を、第１フィルタ処理部１０１に送出する。
【０１７３】
図２３Ｂは、本実施形態の第２フィルタ処理部８０１の構成を表すブロック図である。本実施形態の第２フィルタ処理部８０１は、第８の実施形態の第２フィルタ処理部８０１と同じである。なお、画像生成装置９００は、第２フィルタ処理部８０１を含まず、第２フィルタ処理部８０１の代わりに、第１フィルタ処理部１０１と、構造／テクスチャ分解部８０２とを含んでいてもよい。
【０１７４】
次に、本実施形態の画像生成装置９００の動作について、図面を参照して詳細に説明する。
【０１７５】
図２７は、本実施形態の画像生成装置９００の動作の例を表すフローチャートである。画像生成装置９００は、ステップＳ１０１、ステップＳ８０１、ステップＳ８０２、ステップＳ１０３、ステップＳ１０４において、第８の実施形態の、同じ符号が付与されているステップの動作と同じ動作を行う。画像生成装置９００は、ステップＳ１０５、ステップＳ２０１、ステップＳ２０２、ステップＳ１０６において、第２の実施形態の、同じ符号が付与されているステップの動作と同じ動作を行う。
【０１７６】
以上で説明した本実施形態には、更に視認性が向上した画像を生成することができるという効果がある。その効果は、第２の実施形態の効果が生じる理由と同じ理由に加えて、第８の実施形態の効果が生じる理由と同じ理由によって生じる。
【０１７７】
＜第１０の実施形態＞
次に、本発明の第１０の実施形態について、図面を参照して詳細に説明する。
【０１７８】
図２８は、本実施形態の画像生成システム１０の構成の例を表すブロック図である。画像生成システム１０は、図１に示す第１の実施形態の画像生成システム１と比較すると、画像生成装置１００の代わりに画像生成装置１０００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。
【０１７９】
図２９Ａは、本実施形態の画像生成装置１０００の構成の例を表すブロック図である。画像生成装置１０００は、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６と、第２フィルタ処理部１００１とを含む。画像生成装置１０００は、図２に示す、第１の実施形態の画像生成装置１００と比較すると、第１フィルタ処理部１０１の代わりに、第２フィルタ処理部１００１を含む。本実施形態の画像生成装置１０００の他の構成要素は、以下の相違を除いて、第１の実施形態の画像生成装置１００の、同じ名称と同じ符号が付与されている構成要素と同様である。
【０１８０】
図２９Ｂは、本実施形態の第２フィルタ処理部１００１の構成の例を表すブロック図である。第２フィルタ処理部１００１は、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２と、構造／テクスチャ分解部８０２とを含む。なお、画像生成装置１０００は、第２フィルタ処理部１００１を含まず、第２フィルタ処理部１００１の代わりに、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２と、構造／テクスチャ分解部８０２とを含んでいてもよい。
【０１８１】
取得部１０５は、受け取った第１の画像と第２の画像とを、第２フィルタ処理部１００１に送出する。具体的には、取得部１０５は、第１の画像を構造／テクスチャ分解部８０２に送出し、第２の画像を構造／テクスチャ分解部８０２に送出する。取得部１０５は、以上の相違を除いて、第１の実施形態の取得部１０５と同様に動作する。
【０１８２】
構造／テクスチャ分解部４０２は、第４の実施形態の構造／テクスチャ分解部４０２と同じである。構造／テクスチャ分解部８０２は、第８の実施形態の構造／テクスチャ分解部８０２と同じである。
【０１８３】
第１フィルタ処理部１０１は、第１の画像の構造成分を表す構造画像と、第２の画像の構造成分を表す構造画像とを、それぞれ、第１の実施形態における第１の画像と第２の画像として使用して、第１の実施形態の第１フィルタ処理部１０１と同様に動作する。言い換えると、第１フィルタ処理部１０１は、第１の画像の構造成分を表す構造画像に基づく第１周波数成分と第２の画像の構造成分を表す構造画像に基づく第２周波数成分とを含む中間画像を生成する。第１フィルタ処理部１０１は、生成された中間画像Ｓ１’を、減算部１０２と、第１加算部１０４とに出力する。
【０１８４】
次に、本実施形態の画像生成装置１０００の動作について、図面を参照して詳細に説明する。
【０１８５】
図３０は、本実施形態の画像生成装置１０００の動作の例を表すフローチャートである。画像生成装置１０００は、図３０に示すステップＳ１０１及びＳ８０１において、第８の実施形態のステップＳ１０１及びＳ８０１の動作と同じ動作を行う。画像生成装置１０００は、ステップＳ４０１において、第４の実施形態のステップＳ４０１の動作と同じ動作を行う。画像生成装置１０００は、ステップＳ４０１の動作の後に、ステップＳ１００１の動作を行う。
【０１８６】
ステップＳ１００１において、第１フィルタ処理部１０１は、第１の画像の構造画像に基づく第１周波数成分と第２の画像の構造画像に基づく第２周波数成分とを含む中間画像を生成する。
【０１８７】
ステップＳ１００１の次に、画像生成装置１０００は、ステップＳ１０３以降の動作を行う。画像生成装置１０００は、ステップＳ１０３、ステップＳ１０４、ステップＳ１００５及びステップＳ１０６において、第１の実施形態の符号が付与されているステップの動作と同じ動作を行う。
【０１８８】
以上で説明した本実施形態には、更に視認性が向上した画像を生成することができるという効果がある。その効果は、第４の実施形態の効果が生じる理由と同じ理由に加えて、第８の実施形態の効果が生じる理由と同じ理由によって生じる。
【０１８９】
＜第１１の実施形態＞
次に、本発明の第１１の実施形態について、図面を参照して詳細に説明する。
【０１９０】
図３１は、本実施形態の画像生成システム１１の構成の例を表すブロック図である。画像生成システム１１は、図２に示す第２の実施形態の画像生成システム２と比較すると、画像生成装置２００の代わりに画像生成装置１１００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。
【０１９１】
図３２は、本実施形態の画像生成装置１１００の構成の例を表すブロック図である。画像生成装置１１００は、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６と、テクスチャ抽出部２０１と、第２加算部２０２と、第２フィルタ処理部１００１とを含む。画像生成装置１１００は、図５に示す、第２の実施形態の画像生成装置２００と比較すると、第１フィルタ処理部１０１の代わりに、第２フィルタ処理部１００１を含む。画像生成装置１１００の他の構成要素は、以下の相違を除いて、第２の実施形態の画像生成装置２００に含まれる、同じ名称と同じ符号が付与されている構成要素と同様である。
【０１９２】
図２９Ｂは、本実施形態の第２フィルタ処理部１００１の構成の例を表すブロック図である。本実施形態の第２フィルタ処理部１００１は、第１０の実施形態の第２フィルタ処理部１００１と同じである。なお、画像生成装置１１００は、第２フィルタ処理部１００１を含まず、第２フィルタ処理部１００１の代わりに、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２と、構造／テクスチャ分解部８０２とを含んでいてもよい。
【０１９３】
取得部１０５は、受け取った第１の画像と第２の画像とを、第２フィルタ処理部１００１に送出する。具体的には、取得部１０５は、第１の画像を構造／テクスチャ分解部８０２に送出し、第２の画像を構造／テクスチャ分解部８０２に送出する。本実施形態の取得部１０５は、以上の点を除いて、第２の実施形態の取得部１０５と同様に動作する。
【０１９４】
次に、本実施形態の画像生成装置１１００の動作について、図面を参照して詳細に説明する。
【０１９５】
図３３は、本実施形態の画像生成装置１１００の動作の例を表すフローチャートである。画像生成装置１１００は、図３３に示すステップＳ１０１からステップＳ１０４において、第１０の実施形態の画像生成装置１０００の、同じ符号が付与されている動作と同じ動作を行う。画像生成装置１１００は、図３３に示すステップＳ１０５からステップＳ１０６において、第２の実施形態の画像生成装置２００の、同じ符号が付与されている動作と同じ動作を行う。
【０１９６】
以上で説明した本実施形態には、更に視認性が向上した画像を生成することができるという効果がある。その効果は、第２の実施形態の効果が生じる理由と同じ理由に加えて、第１０の実施形態の効果が生じる理由と同じ理由によって生じる。
【０１９７】
＜第１２の実施形態＞
次に、本発明の第１２の実施形態について、図面を参照して詳細に説明する。
【０１９８】
図３４は、本実施形態の画像生成システム１２の構成の例を表すブロック図である。画像生成システム１２は、図１に示す第２の実施形態の画像生成システム１と比較すると、画像生成装置１００の代わりに画像生成装置１２００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。
【０１９９】
図３５Ａは、本実施形態の画像生成装置１２００の構成の例を表すブロック図である。画像生成装置１２００は、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６と、第２フィルタ処理部１２０１とを含む。画像生成装置１２００は、図２に示す、第１の実施形態の画像生成装置１００と比較すると、第１フィルタ処理部１０１の代わりに、第２フィルタ処理部１２０１を含む。本実施形態の画像生成装置１０００の他の構成要素は、以下の相違を除いて、第１の実施形態の画像生成装置１００の、同じ名称と同じ符号が付与されている構成要素と同様である。本実施形態の取得部１０５は、第１０の実施形態の取得部１０５と同じである。
【０２００】
図３５Ｂは、本実施形態の第２フィルタ処理部１２０１の構成の例を表すブロック図である。第２フィルタ処理部１２０１は、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２と、構造／テクスチャ分解部８０２と、第３加算部３０２とを含む。本実施形態の構造／テクスチャ分解部４０２及び第３加算部３０２は、第６の実施形態の構造／テクスチャ分解部４０２及び第３加算部３０２と同じである。本実施形態の構造／テクスチャ分解部８０２は、第８の実施形態の構造／テクスチャ分解部８０２と同じである。  なお、画像生成装置１２００は、第２フィルタ処理部１２０１を含まず、第２フィルタ処理部１２０１の代わりに、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２と、構造／テクスチャ分解部８０２と、第３加算部３０２とを含んでいてもよい。
【０２０１】
第１フィルタ処理部１０１は、第１の画像の構造成分を表す構造画像と、第２の画像の構造成分を表す構造画像とを、それぞれ、第１の実施形態における第１の画像と第２の画像として使用して、第１の実施形態の第１フィルタ処理部１０１と同様に動作する。言い換えると、第１フィルタ処理部１０１は、第１の画像の構造成分を表す構造画像に基づく第１周波数成分と第２の画像の構造成分を表す構造画像に基づく第２周波数成分とを含む中間画像を生成する。第１フィルタ処理部１０１は、生成された中間画像Ｓ１’を、第３加算部３０２に出力する。
【０２０２】
次に、本実施形態の画像生成装置１２００の動作について、図面を参照して詳細に説明する。
【０２０３】
図３６は、本実施形態の画像生成装置１２００の動作の例を表すフローチャートである。画像生成装置１２００は、図３６に示すステップＳ１０１及びステップＳ８０１において、第８の実施形態の、ステップＳ１０１及びステップＳ８０１の動作と同じ動作を行う。画像生成装置１２００は、図３６に示すステップＳ６０１において、第６の実施形態のステップＳ６０１の動作と同じ動作を行う。画像生成装置１２００は、図３６に示すステップＳ１００１において、第１０の実施形態のステップＳ１００１の動作と同じ動作を行う。画像生成装置１２００は、図３６に示すステップＳ３０２からステップＳ１０６において、第６の実施形態の、ステップＳ３０２からステップＳ１０６の動作と同じ動作を行う。
【０２０４】
以上で説明した本実施形態には、更に視認性が向上した画像を生成することができるという効果がある。その効果は、第３の実施形態の効果が生じる理由と同じ理由、第４の実施形態の効果が生じる理由と同じ理由に加えて、第８の実施形態の効果が生じる理由と同じ理由によって生じる。
【０２０５】
＜第１３の実施形態＞
次に、本発明の第１３の実施形態について、図面を参照して詳細に説明する。
【０２０６】
図３７は、本実施形態の画像生成システム１３の構成の例を表すブロック図である。画像生成システム１３は、図２に示す第２の実施形態の画像生成システム２と比較すると、画像生成装置２００の代わりに画像生成装置１３００を含む。本実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００は、それぞれ、第１の実施形態の第１の画像取得装置２０００、第２の画像取得装置３０００及び表示装置４０００と同じである。
【０２０７】
図３８は、本実施形態の画像生成装置１３００の構成の例を表すブロック図である。画像生成装置１１００は、減算部１０２と、ノイズ抑制部１０３と、第１加算部１０４と、取得部１０５と、出力部１０６と、テクスチャ抽出部２０１と、第２加算部２０２と、第２フィルタ処理部１２０１とを含む。画像生成装置１３００は、図５に示す、第２の実施形態の画像生成装置２００と比較すると、第１フィルタ処理部１０１の代わりに、第２フィルタ処理部１２０１を含む。画像生成装置１１００の他の構成要素は、以下の相違を除いて、第２の実施形態の画像生成装置２００に含まれる、同じ名称と同じ符号が付与されている構成要素と同様である。本実施形態の取得部１０５は、第１１の実施形態の取得部１０５と同じである。
【０２０８】
図３５Ｂは、本実施形態の第２フィルタ処理部１２０１の構成の例を表すブロック図である。本実施形態の第２フィルタ処理部１２０１は、第１２の実施形態の第２フィルタ処理部１２０１と同じである。なお、画像生成装置１３００は、第２フィルタ処理部１２０１を含まず、第２フィルタ処理部１２０１の代わりに、第１フィルタ処理部１０１と、構造／テクスチャ分解部４０２と、構造／テクスチャ分解部８０２と、第３加算部３０２とを含んでいてもよい。
【０２０９】
次に、本実施形態の画像生成装置１３００の動作について、図面を参照して詳細に説明する。
【０２１０】
図３９Ａ及び図３９Ｂは、本実施形態の画像生成装置１３００の動作の例を表すブロック図である。画像生成装置１３００は、図３９Ａに示す、ステップＳ１０１からステップＳ１０４において、第１２の実施形態のステップＳ１０１からステップＳ１０４の動作と同じ動作を行う。図３９Ｂに示す、ステップＳ１０５からステップＳ１０６において、第１２の実施形態のステップＳ１０５からステップＳ１０６の動作と同じ動作を行う。
【０２１１】
以上で説明した本実施形態には、更に視認性が向上した画像を生成することができるという効果がある。その効果は、第２の実施形態の効果が生じる理由と同じ理由に加えて、第１２の実施形態の効果が生じる理由と同じ理由によって生じる。
【０２１２】
＜第１４の実施形態＞
次に、本発明の第１４の実施形態について、図面を参照して詳細に説明する。
【０２１３】
図４０は、本実施形態の画像生成装置１４００の構成の例を表すブロック図である。図４０に示す画像生成装置１４００は、処理部１４０１と、出力部１４０２とを含む。
【０２１４】
処理部１４０１は、第１の画像と、第１の画像において撮像された範囲が撮影された第２の画像とから、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む、範囲の合成画像を生成する。第１の画像は、第１波長帯で撮影された画像である。第２の画像は、第１波長帯と異なる第２波長帯で撮影された画像である。出力部１４０２は、合成画像を出力する。
【０２１５】
処理部１４０１は、例えば、第１の実施形態及び第２の実施形態における第１フィルタ処理部１０１である。処理部１４０１は、例えば、第３の実施形態から第１３の実施形態のいずれかに係る第２フィルタ処理部であってもよい。また、第１の実施形態から第１３の実施形態の中間画像は、本実施形態の合成画像に相当する。
【０２１６】
本実施形態によると、視認性の高い合成画像が得られるという効果がある。その理由は、処理部１４０１が、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む、合成画像を生成するからである。例えば、第１の画像の第１周波数成分の視認性はよいが第２周波数成分にノイズが含まれ、第２の画像の第１周波数成分の視認性はよくないが第２周波数成分が視認性の向上に寄与する場合がある。このような場合、生成される合成画像では、第１の画像の第１周波数成分の視認性が第２の画像の第２周波数成分により向上する。
【０２１７】
＜実装例＞
具体的な事例を説明する。図４３と図４４は夫々、第１の画像と、第２の画像の一例である。図４３から分かるように、夜間暗所では光量が少ないので、第１の画像にはノイズが生じている。そのため、第１の画像の視認性は、著しく低下している。一方、図４４から分かるように、第２の画像はノイズが少なく高画質ではあるが、第２の画像の画素値の分布は、第１の画像の画素値の分布とは大きく異なっている。第２の画像の見え方は、人間の知覚特性とかけ離れた、不自然な見え方である。さらに、第２の画像では、人物以外の周辺物体の温度が一様であるために、周辺物体の観測はできていない。そのため、第２の画像の視認性は、低下している。
【０２１８】
図４５は合成画像の一例である。第１の画像では失われてしまっていた、服のしわや、右の人物がメガネをかけている様子が、合成画像では確認できる。このように、合成画像の画質は向上していることが分かる。また、第２の画像の画素値分布は、第２の画像では上着、髪、肌がネガポジ反転したような明るさになっているように、人間の目には不自然である。しかし、合成画像の画素値分布は、第１の画像の画素値分布と同様であるので、合成画像の視認性は向上している。
【０２１９】
また、第２波長帯として遠赤外光を使用しており、人物以外の周辺領域の温度は一様であるため、前述のように、第２の画像では、人物以外の周辺領域は第２の画像では、平坦な画像領域になっている。すなわち、温度が一様な周辺領域の情報を第２の画像から得ることはできない。しかし、テクスチャ補正処理によって、上述の平坦な画像領域に、第１の画像の対応する領域の情報が追加されているので、合成画像の視認性は向上している。
【０２２０】
以上のように、本発明の実施形態に係る画像生成装置によれば、過酷環境下でも高い視認性が得られる効果を奏する。
【０２２１】
＜他の実施形態＞
本発明の実施形態に係る画像生成装置の各々は、プログラムがロードされたメモリとそのプログラムを実行するプロセッサとを含むコンピュータ、回路等の専用のハードウェア、及び、前述のコンピュータと専用のハードウェアとの組合せによって実現できる。
【０２２２】
図４２は、本発明の実施形態に係る画像生成装置の各々を実現できるコンピュータ１００００のハードウェア構成の例を表すブロック図である。図４２に示すコンピュータ１００００は、プロセッサ１０００１と、メモリ１０００２と、記憶装置１０００３と、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１０００４とを含む。また、コンピュータ１００００は、記憶媒体１０００５にアクセスすることができる。メモリ１０００２と記憶装置１０００３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ハードディスクなどの記憶装置である。記憶媒体１０００５は、例えば、ＲＡＭ、ハードディスクなどの記憶装置、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、可搬記憶媒体である。記憶装置１０００３が記憶媒体１０００５であってもよい。プロセッサ１０００１は、メモリ１０００２と、記憶装置１０００３に対して、データやプログラムの読み出しと書き込みを行うことができる。プロセッサ１０００１は、Ｉ／Ｏインタフェース１０００４を介して、例えば、第１の画像取得装置２０００、第２の画像取得装置３０００、及び、表示装置４０００にアクセスすることができる。プロセッサ１０００１は、記憶媒体１０００５にアクセスすることができる。記憶媒体１０００５には、コンピュータ１００００を、本発明のいずれかの実施形態に係る画像生成装置として動作させるプログラムが格納されている。
【０２２３】
プロセッサ１０００１は、記憶媒体１０００５に格納されている、コンピュータ１００００を、上述の画像生成装置として動作させるプログラムを、メモリ１０００２にロードする。そして、プロセッサ１０００１が、メモリ１０００２にロードされたプログラムを実行することにより、コンピュータ１００００は、上述の画像生成装置として動作する。
【０２２４】
第１フィルタ処理部１０１、減算部１０２、ノイズ抑制部１０３、第１加算部１０４、取得部１０５、出力部１０６は、メモリ１０００２にロードされた専用のプログラムを実行するプロセッサ１０００１により実現できる。テクスチャ抽出部２０１、第２加算部２０２、第２フィルタ処理部３０１、第３加算部３０２、第２フィルタ処理部４０１、構造／テクスチャ分解部４０２は、メモリ１０００２にロードされた専用のプログラムを実行するプロセッサ１０００１により実現できる。第２フィルタ処理部６０１、第２フィルタ処理部８０１、構造／テクスチャ分解部８０２、第２フィルタ処理部１００１、第２フィルタ処理部１２０１は、メモリ１０００２にロードされた専用のプログラムを実行するプロセッサ１０００１により実現できる。
【０２２５】
第１フィルタ処理部１０１、減算部１０２、ノイズ抑制部１０３、第１加算部１０４、取得部１０５、出力部１０６の一部又は全部は、回路等の専用のハードウェアによって実現することもできる。テクスチャ抽出部２０１、第２加算部２０２、第２フィルタ処理部３０１、第３加算部３０２、第２フィルタ処理部４０１、構造／テクスチャ分解部４０２の一部又は全部は、回路等の専用のハードウェアによって実現することもできる。第２フィルタ処理部６０１、第２フィルタ処理部８０１、構造／テクスチャ分解部８０２、第２フィルタ処理部１００１、第２フィルタ処理部１２０１の一部又は全部は、回路等の専用のハードウェアによって実現することもできる。
【０２２６】
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０２２７】
（付記１）
第１波長帯で撮影された第１の画像と、前記第１の画像において撮像された範囲が、前記第１波長帯と異なる第２波長帯で撮影された第２の画像とから、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む、前記範囲の合成画像を生成する処理手段と、
前記合成画像を出力する出力手段と、
を備える画像生成装置。
【０２２８】
（付記２）
前記第１の画像と前記合成画像との差分画像に対してノイズを抑制する処理を行うノイズ抑制手段と、
ノイズを抑制する処理が行われた前記差分画像であるノイズ抑制差分画像を、前記合成画像に加算する第１加算手段と、
を備える付記１に記載の画像生成装置。
【０２２９】
（付記３）
前記第２の画像のテクスチャを抽出する分離手段と、
抽出された前記テクスチャを表す第１テクスチャ画像を、前記ノイズ抑制差分画像が加算された前記合成画像に加算する第２加算手段と、
を備える付記２に記載の画像生成装置。
【０２３０】
（付記４）
前記処理手段は、前記第２の画像から構造成分を分離し、前記第１周波数成分と、前記第２の画像の前記構造成分に基づく第２周波数成分とを含む前記合成画像を生成する、
付記１から３のいずれか１項に記載の画像生成装置。
【０２３１】
（付記５）
前記処理手段は、前記第２の画像からテクスチャ成分を分離し、分離された前記テクスチャ成分を表す第２テクスチャ画像が加算された前記合成画像を生成する
付記４に記載の画像生成装置。
【０２３２】
（付記６）
前記処理手段は、前記第１の画像から構造成分を分離し、前記第１の画像の前記構造成分に基づく前記第１周波数成分と、前記第２周波数成分とを含む前記合成画像を生成する、
付記１から５のいずれか１項に記載の画像生成装置。
【０２３３】
（付記７）
前記第１波長帯の光は可視光を含み、
前記第２波長帯の光は、遠赤外光を含む
付記１から６のいずれか１項に記載の画像生成装置。
【０２３４】
（付記８）
前記第１周波数成分は、一部の空間周波数帯の前記合成画像の成分であり、前記第２周波数成分は、前記第１周波数成分の空間周波数帯よりも高い空間周波数を含む空間周波数帯の前記合成画像の成分である
付記１から７のいずれか１項に記載の画像生成装置。
【０２３５】
（付記９）
付記１から８のいずれか１項に記載の画像生成装置と、
前記第１の画像を撮像する第１の画像取得装置と、
前記第２の画像を撮像する第２の画像取得装置と、
表示装置と、
を含み、前記出力手段は前記表示装置に前記合成画像を表示する
画像生成システム。
【０２３６】
（付記１０）
第１波長帯で撮影された第１の画像と、前記第１の画像において撮像された範囲が、前記第１波長帯と異なる第２波長帯で撮影された第２の画像とから、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む、前記範囲の合成画像を生成し、
前記合成画像を出力する
画像生成方法。
【０２３７】
（付記１１）
前記第１の画像と前記合成画像との差分画像に対してノイズを抑制する処理を行い、
ノイズを抑制する処理が行われた前記差分画像であるノイズ抑制差分画像を、前記合成画像に加算する、
付記１０に記載の画像生成方法。
【０２３８】
（付記１２）
前記第２の画像のテクスチャを抽出し、
抽出された前記テクスチャを表す第１テクスチャ画像を、前記ノイズ抑制差分画像が加算された前記合成画像に加算する、
付記１１に記載の画像生成方法。
【０２３９】
（付記１３）
前記第２の画像から構造成分を分離し、前記第１周波数成分と、前記第２の画像の前記構造成分に基づく第２周波数成分とを含む前記合成画像を生成する、
付記１０から１２のいずれか１項に記載の画像生成方法。
【０２４０】
（付記１４）
前記第２の画像からテクスチャ成分を分離し、分離された前記テクスチャ成分を表す第２テクスチャ画像が加算された前記合成画像を生成する
付記１３に記載の画像生成方法。
【０２４１】
（付記１５）
前記第１の画像から構造成分を分離し、前記第１の画像の前記構造成分に基づく前記第１周波数成分と、前記第２周波数成分とを含む前記合成画像を生成する、
付記１０から１４のいずれか１項に記載の画像生成方法。
【０２４２】
（付記１６）
前記第１波長帯の光は可視光を含み、
前記第２波長帯の光は、遠赤外光を含む
付記１０から１５のいずれか１項に記載の画像生成方法。
【０２４３】
（付記１７）
前記第１周波数成分は、一部の空間周波数帯の前記合成画像の成分であり、前記第２周波数成分は、前記第１周波数成分の空間周波数帯よりも高い空間周波数を含む空間周波数帯の前記合成画像の成分である
付記１０から１６のいずれか１項に記載の画像生成方法。
【０２４４】
（付記１８）
コンピュータに、
第１波長帯で撮影された第１の画像と、前記第１の画像において撮像された範囲が、前記第１波長帯と異なる第２波長帯で撮影された第２の画像とから、第１の画像に基づく第１周波数成分と第２の画像に基づく第２周波数成分とを含む、前記範囲の合成画像を生成する生成処理と、
前記合成画像を出力する出力処理と、
を実行させるプログラムを記憶する記憶媒体。
【０２４５】
（付記１９）
コンピュータに、
前記第１の画像と前記合成画像との差分画像に対してノイズを抑制する処理を行うノイズ抑制処理と、
ノイズを抑制する処理が行われた前記差分画像であるノイズ抑制差分画像を、前記合成画像に加算する第１加算処理と、
を実行させるプログラムを記憶する付記１８に記載の記憶媒体。
【０２４６】
（付記２０）
コンピュータに、
前記第２の画像のテクスチャを抽出する分離処理と、
抽出された前記テクスチャを表す第１テクスチャ画像を、前記ノイズ抑制差分画像が加算された前記合成画像に加算する第２加算処理と、
を実行させるプログラムを記憶する付記１９に記載の記憶媒体。
【０２４７】
（付記２１）
前記生成処理は、前記第２の画像から構造成分を分離し、前記第１周波数成分と、前記第２の画像の前記構造成分に基づく第２周波数成分とを含む前記合成画像を生成する、
付記１８から２０のいずれか１項に記載の記憶媒体。
【０２４８】
（付記２２）
前記生成処理は、前記第２の画像からテクスチャ成分を分離し、分離された前記テクスチャ成分を表す第２テクスチャ画像が加算された前記合成画像を生成する
付記２１に記載の記憶媒体。
【０２４９】
（付記２３）
前記生成処理は、前記第１の画像から構造成分を分離し、前記第１の画像の前記構造成分に基づく前記第１周波数成分と、前記第２周波数成分とを含む前記合成画像を生成する、
付記１８から２２のいずれか１項に記載の記憶媒体。
【０２５０】
（付記２４）
前記第１波長帯の光は可視光を含み、
前記第２波長帯の光は、遠赤外光を含む
付記１８から２３のいずれか１項に記載の記憶媒体。
【０２５１】
（付記２５）
前記第１周波数成分は、一部の空間周波数帯の前記合成画像の成分であり、前記第２周波数成分は、前記第１周波数成分の空間周波数帯よりも高い空間周波数を含む空間周波数帯の前記合成画像の成分である
付記１８から２４のいずれか１項に記載の記憶媒体。
【０２５２】
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【０２５３】
１    画像生成システム
２    画像生成システム
３    画像生成システム
４    画像生成システム
５    画像生成システム
６    画像生成システム
７    画像生成システム
８    画像生成システム
９    画像生成システム
１０    画像生成システム
１１    画像生成システム
１２    画像生成システム
１３    画像生成システム
１００    画像生成装置
１０１    第１フィルタ処理部
１０２    減算部
１０３    ノイズ抑制部
１０４    第１加算部
１０５    取得部
１０６    出力部
２００    画像生成装置
２０１    テクスチャ抽出部
２０２    第２加算部
３００    画像生成装置
３０１    第２フィルタ処理部
３０２    第３加算部
４００    画像生成装置
４０１    第２フィルタ処理部
４０２    構造／テクスチャ分解部
５００    画像生成装置
６００    画像生成装置
６０１    第２フィルタ処理部
７００    画像生成装置
８００    画像生成装置
８０１    第２フィルタ処理部
８０２    構造／テクスチャ分解部
９００    画像生成装置
１０００    画像生成装置
１００１    第２フィルタ処理部
１１００    画像生成装置
１２００    画像生成装置
１２０１    第２フィルタ処理部
１３００    画像生成装置
１４００    画像生成装置
２０００    第１の画像取得装置
３０００    第２の画像取得装置
４０００    表示装置
１００００    コンピュータ
１０００１    プロセッサ
１０００２    メモリ
１０００３    記憶装置
１０００４    Ｉ／Ｏインタフェース
１０００５    記憶媒体
【図１】
2018220780.tif 000012
【図２】
2018220780.tif 000013
【図３】
2018220780.tif 000014
【図４】
2018220780.tif 000015
【図５】
2018220780.tif 000016
【図６】
2018220780.tif 000017
【図７】
2018220780.tif 000018
【図８】
2018220780.tif 000019
【図９】
2018220780.tif 000020
【図１０】
2018220780.tif 000021
【図１１Ａ】
2018220780.tif 000022
【図１１Ｂ】
2018220780.tif 000023
【図１２】
2018220780.tif 000024
【図１３】
2018220780.tif 000025
【図１４】
2018220780.tif 000026
【図１５】
2018220780.tif 000027
【図１６】
2018220780.tif 000028
【図１７Ａ】
2018220780.tif 000029
【図１７Ｂ】
2018220780.tif 000030
【図１８】
2018220780.tif 000031
【図１９】
2018220780.tif 000032
【図２０】
2018220780.tif 000033
【図２１】
2018220780.tif 000034
【図２２】
2018220780.tif 000035
【図２３Ａ】
2018220780.tif 000036
【図２３Ｂ】
2018220780.tif 000037
【図２４】
2018220780.tif 000038
【図２５】
2018220780.tif 000039
【図２６】
2018220780.tif 000040
【図２７】
2018220780.tif 000041
【図２８】
2018220780.tif 000042
【図２９Ａ】
2018220780.tif 000043
【図２９Ｂ】
2018220780.tif 000044
【図３０】
2018220780.tif 000045
【図３１】
2018220780.tif 000046
【図３２】
2018220780.tif 000047
【図３３】
2018220780.tif 000048
【図３４】
2018220780.tif 000049
【図３５Ａ】
2018220780.tif 000050
【図３５Ｂ】
2018220780.tif 000051
【図３６】
2018220780.tif 000052
【図３７】
2018220780.tif 000053
【図３８】
2018220780.tif 000054
【図３９Ａ】
2018220780.tif 000055
【図３９Ｂ】
2018220780.tif 000056
【図４０】
2018220780.tif 000057
【図４１】
2018220780.tif 000058
【図４２】
2018220780.tif 000059
【図４３】
2018220780.tif 000060
【図４４】
2018220780.tif 000061
【図４５】
2018220780.tif 000062
【手続補正書】
【提出日】令和1年11月20日(2019.11.20)
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１波長帯で撮影された第１の画像と、前記第１の画像において撮像された範囲が、前記第１波長帯と異なる第２波長帯で撮影された第２の画像とから、前記第１の画像に基づく第１周波数成分と前記第２の画像に基づく第２周波数成分とを含む、前記範囲の合成画像を生成する処理手段と、
前記合成画像を出力する出力手段と、
を備える画像生成装置。
【請求項２】
前記第１の画像と前記合成画像との差分画像に対してノイズを抑制する処理を行うノイズ抑制手段と、
ノイズを抑制する処理が行われた前記差分画像であるノイズ抑制差分画像を、前記合成画像に加算する第１加算手段と、
を備える請求項１に記載の画像生成装置。
【請求項３】
前記第２の画像のテクスチャを抽出する分離手段と、
抽出された前記テクスチャを表す第１テクスチャ画像を、前記ノイズ抑制差分画像が加算された前記合成画像に加算する第２加算手段と、
を備える請求項２に記載の画像生成装置。
【請求項４】
前記処理手段は、前記第２の画像から構造成分を分離し、前記第１周波数成分と、前記第２の画像の前記構造成分に基づく第２周波数成分とを含む前記合成画像を生成する、
請求項１から３のいずれか１項に記載の画像生成装置。
【請求項５】
前記処理手段は、前記第２の画像からテクスチャ成分を分離し、分離された前記テクスチャ成分を表す第２テクスチャ画像が加算された前記合成画像を生成する
請求項４に記載の画像生成装置。
【請求項６】
前記処理手段は、前記第１の画像から構造成分を分離し、前記第１の画像の前記構造成分に基づく前記第１周波数成分と、前記第２周波数成分とを含む前記合成画像を生成する、
請求項１から５のいずれか１項に記載の画像生成装置。
【請求項７】
前記第１波長帯の光は可視光を含み、
前記第２波長帯の光は、遠赤外光を含む
請求項１から６のいずれか１項に記載の画像生成装置。
【請求項８】
前記第１周波数成分は、一部の空間周波数帯の前記合成画像の成分であり、前記第２周波数成分は、前記第１周波数成分の空間周波数帯よりも高い空間周波数を含む空間周波数帯の前記合成画像の成分である
請求項１から７のいずれか１項に記載の画像生成装置。
【請求項９】
第１波長帯で撮影された第１の画像と、前記第１の画像において撮像された範囲が、前記第１波長帯と異なる第２波長帯で撮影された第２の画像とから、前記第１の画像に基づく第１周波数成分と前記第２の画像に基づく第２周波数成分とを含む、前記範囲の合成画像を生成し、
前記合成画像を出力する
画像生成方法。
【請求項１０】
コンピュータに、
第１波長帯で撮影された第１の画像と、前記第１の画像において撮像された範囲が、前記第１波長帯と異なる第２波長帯で撮影された第２の画像とから、前記第１の画像に基づく第１周波数成分と前記第２の画像に基づく第２周波数成分とを含む、前記範囲の合成画像を生成する生成処理と、
前記合成画像を出力する出力処理と、
を実行させるプログラム。
【国際調査報告】
2018220780.tif 000063
2018220780.tif 000064
2018220780.tif 000065
2018220780.tif 000066