(57)【要約】  画像処理装置１００は、不可視ディテール成分Ｄ１を分離する不可視画像フィルター分離部１０１と、可視ベース成分Ｄ２Ａと可視ディテール成分Ｄ２Ｂとを分離する可視画像フィルター分離部１０２ａと、可視輝度ベース成分Ｄ３Ａと可視色ベース成分Ｄ３Ｂとを分離するベース輝度色分離部１０２ｂと、可視輝度ディテール成分Ｄ４を分離するディテール輝度色分離部１０２ｃと、合成輝度ディテール成分Ｄ５を生成するディテール合成部１０３と、合成輝度成分Ｄ６を生成する合成輝度成分生成部１０４と、合成画像ＤＯＵＴを生成する輝度色合成部１０５と、を有する。
2018070100.tif 000002
【特許請求の範囲】
【請求項１】
同一視野を有し、第１の波長帯域の光を受光することで取得される第１画像と前記第１の波長帯域と異なる第２の波長帯域の光を受光することで取得される第２画像とから合成画像を生成する画像処理装置であって、
前記第１画像から、前記第１画像のベース成分である第１ベース成分から分離された輝度成分である第１輝度ベース成分と、前記第１ベース成分から分離された色成分である第１色ベース成分と、前記第１画像のディテール成分である第１ディテール成分から分離された輝度成分である第１輝度ディテール成分とを分離する第１画像分離部と、
前記第２画像から前記第２画像のディテール成分である第２ディテール成分を分離する第２画像分離部と、
前記第１輝度ディテール成分に対してゲイン調整を行うことで得られた第１のゲイン調整成分と、前記第２ディテール成分に対してゲイン調整を行うことで得られた第２のゲイン調整成分との加算平均を取った値を合成輝度ディテール成分として生成するディテール合成部と、
前記合成輝度ディテール成分と前記第１輝度ベース成分とを合成することで合成輝度成分を生成する合成輝度成分生成部と、
前記合成輝度成分と前記第１色ベース成分とを合成することで前記合成画像を生成する輝度色合成部と
を有する画像処理装置。
【請求項２】
前記第１画像分離部は、
前記第１画像から前記第１画像のベース成分である第１ベース成分と前記第１画像のディテール成分である第１ディテール成分とを分離する第１画像フィルター分離部と、
前記第１ベース成分から前記第１ベース成分の輝度成分である第１輝度ベース成分と前記第１ベース成分の色成分である第１色ベース成分とを分離するベース輝度色分離部と、
前記第１ディテール成分から前記第１ディテール成分の輝度成分である第１輝度ディテール成分を分離するディテール輝度色分離部と
を有する請求項１に記載の画像処理装置。
【請求項３】
前記第１画像フィルター分離部は、
前記第１画像に対してフィルター処理を行い、平滑化された前記第１ベース成分を生成する第１画像フィルター処理部と、
前記第１ベース成分と前記第１画像との差分から前記第１ディテール成分を生成する第１画像差分処理部と
を有する請求項２に記載の画像処理装置。
【請求項４】
前記第１画像分離部は、
前記第１画像から前記第１画像の輝度成分である第１輝度成分と前記第１画像の色成分である第１色成分とを分離する第１画像輝度色分離部と、
前記第１輝度成分から前記第１輝度成分のベース成分である第１輝度ベース成分と前記第１輝度成分のディテール成分である第１輝度ディテール成分とを分離する第１輝度成分分離部と、
前記第１色成分から前記第１色成分のベース成分である第１色ベース成分を分離する第１色成分分離部と
を有する請求項１に記載の画像処理装置。
【請求項５】
前記第２画像分離部は、
前記第２画像に対してフィルター処理を行い、平滑化された第２ベース成分を生成する第２画像フィルター処理部と、
前記第２ベース成分と前記第２画像との差分から前記第２ディテール成分を生成する第２画像差分処理部と
を有する請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第１の波長帯域の光は、可視光であり、
前記第２の波長帯域の光は、不可視光である
請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記不可視光は、赤外光又は紫外光である
請求項６に記載の画像処理装置。
【請求項８】
前記第１の波長帯域の光は、赤色の波長帯域の赤色光、緑色の波長帯域の緑色光、及び青色の波長帯域の青色光であり、
前記第２の波長帯域の光は、白色光である
請求項１から５のいずれか１項に記載の画像処理装置。
【請求項９】
請求項１から６のいずれか１項に記載の画像処理装置と、
赤外光を検出する赤外画素と、赤色光を検出する赤色画素と、緑色光を検出する緑色画素と、青色光を検出する青色画素とを有し、前記第１画像及び前記第２画像を取得するイメージセンサと
を有する撮影装置。
【請求項１０】
請求項１から５、又は８のいずれか１項に記載の画像処理装置と、
白色光を検出する白色画素と、赤色光を検出する赤色画素と、緑色光を検出する緑色画素と、青色光を検出する青色画素とを有し、前記第１画像及び前記第２画像を取得するイメージセンサと
を有する撮影装置。
【請求項１１】
請求項１から８のいずれか１項に記載の画像処理装置と、
前記第２画像を取得する第１のイメージセンサと、前記第１のイメージセンサと並べられて配置された前記第１画像を取得する第２のイメージセンサと
を有する撮影装置。
【請求項１２】
前記第１のイメージセンサにより取得された前記第２画像と、前記第２のイメージセンサにより取得された前記第１画像とを位置合わせ調整する
請求項１１に記載の撮影装置。
【請求項１３】
同一視野を有し、第１の波長帯域の光を受光することで取得される第１画像と前記第１の波長帯域と異なる第２の波長帯域の光を受光することで取得される第２画像とから合成画像を生成する画像処理方法であって、
前記第１画像から、前記第１画像のベース成分である第１ベース成分から分離された輝度成分である第１輝度ベース成分と、前記第１ベース成分から分離された色成分である第１色ベース成分と、前記第１画像のディテール成分である第１ディテール成分から分離された輝度成分である第１輝度ディテール成分とを分離する第１画像分離ステップと、
前記第２画像から前記第２画像のディテール成分である第２ディテール成分を分離する第２画像分離ステップと、
前記第１輝度ディテール成分に対してゲイン調整を行うことで得られた第１のゲイン調整成分と、前記第２ディテール成分に対してゲイン調整を行うことで得られた第２のゲイン調整成分との加算平均を取った値を合成輝度ディテール成分として生成するディテール合成ステップと、
前記合成輝度ディテール成分と前記第１輝度ベース成分とを合成することで合成輝度成分を生成する合成輝度成分生成ステップと、
前記合成輝度成分と前記第１色ベース成分とを合成することで前記合成画像を生成する輝度色合成ステップと
を有する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影対象からの第１の波長帯域の光を受光することで取得される第１画像と同じ撮影対象からの第２の波長帯域の光を受光することで取得される第２画像とから視認性の高い合成画像を生成する画像処理装置、画像処理方法、及び撮影装置に関する。
【背景技術】
【０００２】
可視画像と赤外画像、又はＲＧＢ画像と狭帯域画像などのような、画像特徴の異なる複数種類の画像を、シーン（撮影対象の状態又は撮影対象の周辺状況など）に応じて選択して統合（合成）することにより、視認性の高い画像を生成する画像統合技術がある。例えば、近赤外画像は、霞発生時又は高ダイナミックレンジ環境下で高い視認性を発揮し、衛星又はドローンからの撮像で得られた狭帯域画像は、海洋及び植生領域のモニタリングへの活用に適している。また、近赤外光源などの不可視光を照射する照射装置と、信号レベルが高く且つノイズレベルの低い画像を取得するカメラとを有し、夜間での監視シーンに適した監視装置も多く市販されている。このような画像特徴の異なる画像のいずれかを、可視画像と合成することで、可視画像だけでは判別が難しかったシーンが撮影された場合であっても、注目すべき物体又は対象を容易に判別することが可能である。【０００３】
特許文献１には、同一の対象を異なる条件で撮影することで得られた第１画像及び第２画像のうち、表示用の第１画像に含まれるエッジを、第２画像のエッジ成分を利用して的確に強調する画像処理方法が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２４１５８４号公報（請求項１、図２、段落０１２７）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された画像処理方法では、低照度条件下において可視画像にノイズが含まれるという課題があった。具体的には、特許文献１の技術は、可視画像の輝度成分に含まれるノイズに関しては、エッジ量の調整によりノイズの抑制が可能であるが、可視画像の色成分に含まれるノイズ（以下、色ノイズともいう）は、そのまま合成されるため、色ノイズが十分に抑制されず、視認性の高い画像（画像データ）を生成することができなかった。【０００６】
そこで、本発明は、画像に色ノイズが含まれるようなシーンが撮影された場合であっても、色ノイズの影響を低減した、視認性の高い合成画像を生成することができる画像処理装置、画像処理方法、及び撮影装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る画像処理装置は、同一視野を有し、第１の波長帯域の光を受光することで取得される第１画像と前記第１の波長帯域と異なる第２の波長帯域の光を受光することで取得される第２画像とから合成画像を生成する画像処理装置であって、前記第１画像から、前記第１画像のベース成分である第１ベース成分から分離された輝度成分である第１輝度ベース成分と、前記第１ベース成分から分離された色成分である第１色ベース成分と、前記第１画像のディテール成分である第１ディテール成分から分離された輝度成分である第１輝度ディテール成分とを分離する第１画像分離部と、前記第２画像から前記第２画像のディテール成分である第２ディテール成分を分離する第２画像分離部と、前記第１輝度ディテール成分に対してゲイン調整を行うことで得られた第１のゲイン調整成分と、前記第２ディテール成分に対してゲイン調整を行うことで得られた第２のゲイン調整成分との加算平均を取った値を合成輝度ディテール成分として生成するディテール合成部と、前記合成輝度ディテール成分と前記第１輝度ベース成分とを合成することで合成輝度成分を生成する合成輝度成分生成部と、前記合成輝度成分と前記第１色ベース成分とを合成することで前記合成画像を生成する輝度色合成部とを有する。【０００８】
本発明の他の態様に係る撮影装置は、上述の画像処理装置と、赤外光を検出する赤外画素と、赤色光を検出する赤色画素と、緑色光を検出する緑色画素と、青色光を検出する青色画素とを有し、前記不可視画像及び前記可視画像を取得するイメージセンサとを有する。【０００９】
本発明の他の態様に係る画像処理方法は、同一視野を有し、第１の波長帯域の光を受光することで取得される第１画像と前記第１の波長帯域と異なる第２の波長帯域の光を受光することで取得される第２画像とから合成画像を生成する画像処理方法であって、前記第１画像から、前記第１画像のベース成分である第１ベース成分から分離された輝度成分である第１輝度ベース成分と、前記第１ベース成分から分離された色成分である第１色ベース成分と、前記第１画像のディテール成分である第１ディテール成分から分離された輝度成分である第１輝度ディテール成分とを分離する第１画像分離ステップと、前記第２画像から前記第２画像のディテール成分である第２ディテール成分を分離する第２画像分離ステップと、前記第１輝度ディテール成分に対してゲイン調整を行うことで得られた第１のゲイン調整成分と、前記第２ディテール成分に対してゲイン調整を行うことで得られた第２のゲイン調整成分との加算平均を取った値を合成輝度ディテール成分として生成するディテール合成ステップと、前記合成輝度ディテール成分と前記第１輝度ベース成分とを合成することで合成輝度成分を生成する合成輝度成分生成ステップと、前記合成輝度成分と前記第１色ベース成分とを合成することで合成画像を生成する輝度色合成ステップとを有する。
【発明の効果】
【００１０】
本発明によれば、可視画像に色ノイズが含まれるようなシーンが撮影された場合であっても色ノイズの影響を低減した、視認性の高い合成画像を生成することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態１に係る画像処理装置の概略的な構成を示すブロック図である。
【図２】（ａ）は、実施の形態１における不可視画像フィルター分離部の概略的な構成の一例を示すブロック図であり、（ｂ）は、実施の形態１における可視画像フィルター分離部の概略的な構成の一例を示すブロック図である。
【図３】実施の形態１におけるディテール合成部の概略的な構成を示すブロック図である。
【図４】実施の形態１に係る画像処理装置の動作を示すフローチャートである。
【図５】本発明の実施の形態２に係る画像処理装置の概略的な構成を示すブロック図である。
【図６】実施の形態２に係る画像処理装置の動作を示すフローチャートである。
【図７】本発明の実施の形態３に係る撮影装置の概略的な構成を示すブロック図である。
【図８】変形例の構成を示すハードウェア構成図である。
【発明を実施するための形態】
【００１２】
以下、図を参照しながら実施の形態に係る画像処理装置、画像処理方法、及び撮影装置について説明する。
【００１３】
実施の形態に係る画像処理装置及び画像処理方法は、撮影装置（受光素子）が第１の波長帯域の光を受光することで取得される第１画像（例えば、可視画像、ＲＧＢ画像など）と、撮影装置（受光素子）が第１の波長帯域と異なる第２の波長帯域の光を受光することで取得される第２画像（例えば、不可視画像、白色画像など）とから、視認性に優れた合成画像を生成する。
【００１４】
以下の説明において、可視画像とは、人間の目に見える光線（可視光）を撮影できる撮影装置による撮影で生成された画像（画像データ）をいう。不可視画像とは、可視画像以外の画像であり、人間の目に見えない光線（不可視光）を撮影できる撮影装置による撮影で生成された画像（画像データ）をいう。一般に、可視光とは、約４００ｎｍ〜７００ｎｍの波長帯域の光をいい、例えば、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の波長帯域の光を含む。また、不可視光とは、可視光の帯域以外の帯域の光をいい、例えば、紫外光（一般に、約４００ｎｍ以下の波長帯域の光）又は赤外光（一般に、約７００ｎｍ以上の波長帯域の光）を含む。
【００１５】
また、以下の実施の形態においては、画像データは、ディテール成分と、ディテール成分以外の成分であるベース成分とに分離して処理される。ディテール成分とは、各画素の画素値（信号値）が周辺画素と比べて小刻みに変化する成分であり、高周波成分とも呼ばれる。ベース成分とは、各画素の画素値が周辺画素と比べて小刻みに変化しない成分であり、低周波数成分とも呼ばれる。つまり、ディテール成分は、画像における画素値の細かな変化を表しており、ベース成分は、画像における画素値の一定の範囲の一律な変化を表している。ディテール成分は、例えば、被写体からの反射光成分であり、ベース成分は、例えば、照明光成分である。
【００１６】
また、以下で説明する画像処理装置の発明は、画像処理方法の発明として捉えることも可能である。
【００１７】
《１》実施の形態１
《１−１》構成
まず、実施の形態１に係る画像処理装置１００の各構成要素の概略について説明する。図１は、本発明の実施の形態１に係る画像処理装置１００の概略的な構成を示すブロック図である。図１に示されるように、実施の形態１に係る画像処理装置１００は、第２画像分離部（不可視画像分離部）としての不可視画像フィルター分離部１０１と、第１画像分離部としての可視画像分離部１０２と、ディテール合成部１０３と、合成輝度成分生成部１０４と、輝度色合成部１０５とを有する。可視画像分離部１０２は、可視画像フィルター分離部１０２ａと、ベース輝度色分離部１０２ｂと、ディテール輝度色分離部１０２ｃとを有する。
【００１８】
図１に示されるように、画像処理装置１００には画像データとしての不可視画像（第２画像）ＤＩＮ１及び可視画像（第１画像）ＤＩＮ２が入力される。不可視画像ＤＩＮ１及び可視画像ＤＩＮ２は、同一視野を有する撮影手段により取得されることが望ましい。同一視野を有するとは、不可視画像ＤＩＮ１を撮影する撮影手段と可視画像ＤＩＮ２を撮影する撮影手段が同一の撮影領域（撮影範囲）を有することをいい、不可視画像ＤＩＮ１を撮影する撮影手段の撮影領域と可視画像ＤＩＮ２を撮影する撮影手段の撮影領域とが完全に一致することは要求されていない。
【００１９】
不可視画像ＤＩＮ１及び可視画像ＤＩＮ２は、例えば、並べられた不可視画像カメラと可視画像カメラから取得される画像を直接用いることができる。また、不可視画像ＤＩＮ１及び可視画像ＤＩＮ２は、並べられた不可視画像カメラと可視画像カメラから取得される画像について位置合わせ調整を行い、位置合わせ調整後の画像を用いることも可能である。
【００２０】
不可視画像ＤＩＮ１及び可視画像ＤＩＮ２は、例えば、赤外光を検出する不可視画像ＤＩＮ１検出用の赤外画素と、可視光を検出する可視画像ＤＩＮ２検出用のＲＧＢ画素（赤色光を検出する赤色画素、緑色光を検出する緑色画素、青色光を検出する青色画素）とを有するイメージセンサにより取得されることができる。また、不可視画像ＤＩＮ１及び可視画像ＤＩＮ２のかわりに、例えば、白色光を検出する白色画素（Ｗ画素）とＲＧＢ画素とを有するイメージセンサを用いて２種類の画像を取得することができる。
【００２１】
図１に示されるように、不可視画像フィルター分離部１０１は、不可視画像ＤＩＮ１に対してフィルター処理を行うことで、不可視画像ＤＩＮ１のディテール成分（第２ディテール成分）である不可視ディテール成分Ｄ１を生成する。可視画像フィルター分離部１０２ａは、可視画像ＤＩＮ２に対してフィルター処理を行うことで、可視画像のベース成分（第１ベース成分）である可視ベース成分Ｄ２Ａと可視画像のディテール成分（第１ディテール成分）である可視ディテール成分Ｄ２Ｂとを生成する。
【００２２】
図１に示されるように、ベース輝度色分離部１０２ｂは、可視ベース成分Ｄ２Ａを第１輝度ベース成分としての可視輝度ベース成分（可視ベース成分の内の輝度成分）Ｄ３Ａと第１色ベース成分としての可視色ベース成分（可視ベース成分の内の色成分）Ｄ３Ｂとに分離する。ディテール輝度色分離部１０２ｃは、可視ディテール成分Ｄ２Ｂから可視輝度ディテール成分（可視ディテール成分の内の輝度成分）Ｄ４を抽出する。
【００２３】
図１に示されるように、ディテール合成部１０３は、不可視ディテール成分Ｄ１と可視輝度ディテール成分Ｄ４とを合成することで、合成輝度ディテール成分Ｄ５を生成する。合成輝度成分生成部１０４は、合成輝度ディテール成分Ｄ５と可視輝度ベース成分Ｄ３Ａとを合成することで、合成輝度成分Ｄ６を生成する。輝度色合成部１０５は、合成輝度成分Ｄ６と可視色ベース成分Ｄ３Ｂとを合成することで、合成画像ＤＯＵＴを生成して出力する。
【００２４】
次に、実施の形態１に係る画像処理装置１００の各構成要素の詳細について説明する。図２（ａ）は、実施の形態１における不可視画像フィルター分離部１０１の概略的な構成の一例を示すブロック図であり、図２（ｂ）は、実施の形態１における可視画像フィルター分離部１０２ａの概略的な構成の一例を示すブロック図である。図２（ａ）に示されるように、不可視画像フィルター分離部１０１は、不可視画像フィルター処理部１１１及び不可視画像差分処理部１１２を有する。
【００２５】
不可視画像フィルター処理部１１１は、不可視画像ＤＩＮ１を受け取り、受け取った不可視画像ＤＩＮ１に対して平滑化のためのフィルター処理を行うことで、平滑化された不可視ベース成分Ｄ１１を生成する。不可視画像差分処理部１１２は、平滑化された不可視ベース成分Ｄ１１と不可視画像ＤＩＮ１とを受け取り、不可視ベース成分Ｄ１１と不可視画像ＤＩＮ１との差分である不可視ディテール成分Ｄ１を生成する。
【００２６】
不可視画像フィルター処理部１１１においてフィルター処理を行うフィルターは、例えば、ボックスフィルター若しくはガウシアンフィルターなどの平滑化フィルター、又はバイラテラルフィルター若しくはガイデッドフィルターなどのエッジ保存平滑化フィルターである。
【００２７】
図２（ｂ）に示されるように、可視画像フィルター分離部１０２ａは、可視画像フィルター処理部１２１及び可視画像差分処理部１２２を有する。可視画像フィルター処理部１２１は、可視画像ＤＩＮ２を受け取り、受け取った可視画像ＤＩＮ２に対して平滑化のためのフィルター処理を行うことで、平滑化された可視ベース成分Ｄ２Ａを生成する。可視画像差分処理部１２２は、平滑化された可視ベース成分Ｄ２Ａと可視画像ＤＩＮ２とを受け取り、可視ベース成分Ｄ２Ａと可視画像ＤＩＮ２との差分である可視ディテール成分Ｄ２Ｂを生成する。可視画像フィルター分離部１０２ａにおけるフィルター処理は、チャネル毎（例えば、Ｒ信号、Ｇ信号及びＢ信号毎）に行うことが望ましい。
【００２８】
図１に示されるように、ベース輝度色分離部１０２ｂは、可視画像フィルター分離部１０２ａから可視ベース成分Ｄ２Ａを受け取り、受け取った可視ベース成分Ｄ２Ａを輝度成分である可視輝度ベース成分Ｄ３Ａと色成分である可視色ベース成分Ｄ３Ｂとに分離する。ベース輝度色分離部１０２ｂは、可視画像がＲＧＢ画像の場合、ＲＧＢ画像を、色相と彩度と明度からなるＨＳＶ（Ｈｕｅ，Ｓａｔｕｒａｔｉｏｎ，Ｌｉｇｈｔｎｅｓｓ）形式、輝度と色成分からなるＹＵＶ形式、及び輝度と色成分からなるＹＣｂＣｒ形式のいずれかに変換する。ベース輝度色分離部１０２ｂは、可視輝度ベース成分Ｄ３ＡとしてＨ（色相）チャネル又はＹ（輝度）チャネル、可視色ベース成分Ｄ３Ｂとして残りの色チャネル、色相、彩度チャネルなどを出力する。
【００２９】
ディテール輝度色分離部１０２ｃは、可視画像フィルター分離部１０２ａから可視ディテール成分Ｄ２Ｂを受け取り、輝度成分である可視輝度ディテール成分Ｄ４を抽出する。ディテール輝度色分離部１０２ｃは、ベース輝度色分離部１０２ｂと同様の手法で、可視輝度ディテール成分Ｄ４としてＨチャネル又はＹチャネルなどを出力する。
【００３０】
一方、ディテール輝度色分離部１０２ｃは、可視ディテール成分Ｄ２Ｂから可視色ディテール成分は抽出又は分離しない。可視色ディテール成分は低照度条件下における色ノイズの原因となる成分であるため、可視色ディテール成分を使用しないことにより、低照度条件下における色ノイズの影響を低減した、視認性の高い合成画像ＤＯＵＴを生成することができる。
【００３１】
図３は、実施の形態１におけるディテール合成部１０３の概略的な構成を示すブロック図である。図３に示されるように、実施の形態１におけるディテール合成部１０３は、ゲイン調整部１０３ａ，１０３ｂと、加算処理部１０３ｃとを有する。ディテール合成部１０３は不可視画像フィルター分離部１０１から受け取った不可視ディテール成分Ｄ１と、ディテール輝度色分離部１０２ｃから受け取った可視輝度ディテール成分Ｄ４とを合成することで、合成輝度ディテール成分Ｄ５を生成する。
【００３２】
ゲイン調整部１０３ａは、不可視画像フィルター分離部１０１から不可視ディテール成分Ｄ１を受け取り、不可視ディテール成分Ｄ１に対してゲイン調整（増幅又は減少）を行うことにより第２のゲイン調整成分としてのゲイン調整成分Ｄ４１を出力する。ゲイン調整部１０３ｂは、ディテール輝度色分離部１０２ｃから可視輝度ディテール成分Ｄ４を受け取り、可視輝度ディテール成分Ｄ４に対してゲイン調整（増幅又は減少）を行うことにより第１のゲイン調整成分としてのゲイン調整成分Ｄ４２を出力する。
【００３３】
加算処理部１０３ｃは、ゲイン調整部１０３ａ，１０３ｂから、ゲイン調整成分Ｄ４１及びゲイン調整成分Ｄ４２を受け取り、両者の加重平均（加算平均）を取った値Ｄ５を出力する。ゲイン調整部１０３ａ，１０３ｂが取得するゲインは、固定値でも良いし、シーン、アプリケーション、又は画像特性に応じて調整されても良い。
【００３４】
ディテール合成部１０３において、不可視ディテール成分Ｄ１と可視輝度ディテール成分Ｄ４とを個別にゲイン調整することにより、アプリケーションの種類に応じたゲイン調整が可能となり、複数のアプリケーションに容易に対応することができる。具体的には、例えば、赤外光照射による暗部補正を実施したい場合には、可視画像ＤＩＮ２には多量のノイズが含まれていると考えられるため、可視輝度ディテール成分Ｄ４のゲインは小さい値を設定し、不可視ディテール成分Ｄ１のゲインは１以上の値を設定する。
【００３５】
また、赤外光の大気透過性を利用した霞補正を実施したい場合には、可視輝度ディテール成分Ｄ４のゲインは１に近い値を設定し、不可視ディテール成分Ｄ１のゲインは１以上の値を設定する。視認性を向上させるためにゲインを大きく設定すれば、強調処理が働くため、アプリケーションの種類又は撮像機器の特性などに応じて個別に設定することが好ましい。
【００３６】
ここでのゲインはスカラー値の単純積算で求めることができ、また、ガンマ変換などのべき乗演算で求めてもよい。
【００３７】
合成輝度成分生成部１０４は、ディテール合成部１０３から受け取った合成輝度ディテール成分Ｄ５と、ベース輝度色分離部１０２ｂから受け取った可視輝度ベース成分Ｄ３Ａとを合成することで、合成輝度成分Ｄ６を出力する。合成輝度成分生成部１０４による合成の方法は、例えば、単純な加算平均を取る方法、領域別に視認性が高い成分を選択する方法がある。
【００３８】
輝度色合成部１０５は、合成輝度成分生成部１０４から受け取った合成輝度成分Ｄ６と、ベース輝度色分離部１０２ｂから受け取った可視色ベース成分Ｄ３Ｂとを合成することで、合成画像ＤＯＵＴを出力する。輝度色合成部１０５による輝度成分と色成分の合成方法は、ベース輝度色分離部１０２ｂ及びディテール輝度色分離部１０２ｃで行う変換方法に対応する方法とし、例えば、ベース輝度色分離部１０２ｂ及びディテール輝度色分離部１０２ｃでＲＧＢからＹＵＶへの変換を行っていたのであれば、輝度色合成部１０５ではＹＵＶからＲＧＢへの変換を行う。一方、ベース輝度色分離部１０２ｂ及びディテール輝度色分離部１０２ｃでＹＵＶからＲＧＢへの変換を行っていたのであれば、輝度色合成部１０５ではＲＧＢからＹＵＶへの変換を行う。
【００３９】
《１−２》動作
次に、ガイデッドフィルターを用いたフィルター処理に関して説明する。ガイデッドフィルターの出力であるベース成分をｑ、入力画像をＩとした場合、ｑとＩは、線形回帰係数
【数１】
2018070100.tif 000003
を用いて式（１）のような線形関係で表される。
【数２】
2018070100.tif 000004
【００４０】
ここで、入力画像Ｉのある画素ｘを中心とした局所領域をΩとした場合、線形回帰係数
【数３】
2018070100.tif 000005
は式（２）のように表される。
【数４】
2018070100.tif 000006
【００４１】
次に、線形回帰係数の導出方法を説明する。入力画像Ｉの分散ｖａｒＩの画素位置ｘに対応する画素値は、式（３）で表される。
【数５】
2018070100.tif 000007
【００４２】
次に、分散値が極端に少ない領域のみについて平滑化処理を行い、その他の領域のテクスチャを保存するため、分散ｖａｒＤＩＮを式（４）に基づき階調変換を行い線形回帰係数ａ（ｘ）を得る。なお、ｅｐｓは、エッジ保存の度合いを決定する定数パラメータである。
【数６】
2018070100.tif 000008
また、係数ｂは式（５）に基づき導出する。
【００４３】
【数７】
2018070100.tif 000009
式（４）、式（５）で得られた線形回帰係数ａ（ｘ）及びｂ（ｘ）を基にガイデッドフィルター出力値ｑを導出する。ｑは、図２（ａ）に示されるように、不可視ベース成分Ｄ１１に対応する。
【００４４】
図２（ａ）に示されるように、不可視ディテール成分Ｄ１は、不可視画像ＤＩＮ１と不可視ベース成分Ｄ１１の差分から求める。
【００４５】
上記では、不可視画像フィルター分離部１０１が行う処理として平滑化フィルターを用いた例を挙げたが、これに限らずラプラシアンフィルターなどのハイパスフィルターを用いて直接ディテール成分を出力してもよい。
【００４６】
続いて、実施の形態１に係る画像処理装置１００の動作を説明する。図４は、実施の形態１に係る画像処理装置１００の動作を示すフローチャートである。図４に示されるように、画像処理装置１００の動作が開始されると、ステップＳ１において、不可視画像ＤＩＮ１と可視画像ＤＩＮ２が画像処理装置１００に対して入力される。
【００４７】
次のステップＳ２において、可視画像ＤＩＮ２が可視画像フィルター分離部１０２ａに入力され、可視画像ＤＩＮ２に対してフィルター処理が行われる。
【００４８】
次のステップＳ４において、可視ベース成分Ｄ２Ａ及び可視ディテール成分Ｄ２Ｂに対して輝度色分離処理が行われる。
【００４９】
ステップＳ２及びＳ４の処理と並行して、ステップＳ３において、不可視画像ＤＩＮ１が不可視画像フィルター分離部１０１に入力され、不可視画像ＤＩＮ１に対してフィルター処理が行われる。
【００５０】
次のステップＳ５において、不可視ディテール成分Ｄ１と可視輝度ディテール成分Ｄ４が合成（ディテール合成）されることで、合成輝度ディテール成分Ｄ５が得られる。
【００５１】
次のステップＳ６において、合成輝度ディテール成分Ｄ５と可視輝度ベース成分Ｄ３Ａとが合成（成分合成）されることで、合成輝度成分Ｄ６が得られる。
【００５２】
最後にステップＳ７において、合成輝度成分Ｄ６と可視色ベース成分Ｄ３Ｂとが合成（輝度色合成）されることで、合成画像ＤＯＵＴが得られる。
【００５３】
《１−３》効果
実施の形態１に係る画像処理装置１００によれば、可視画像に対してフィルター処理及び輝度色分離処理を行い、色ノイズの原因となる可視色ディテール成分を合成に使用しない構成とする。これにより、可視画像に色ノイズが含まれるようなシーン（例えば、低照度条件下）が撮影された場合であっても、色ノイズの影響が低減された、視認性の高い合成画像ＤＯＵＴを取得することができる。
【００５４】
実施の形態１に係る画像処理装置１００によれば、ディテール合成部１０３は、ゲイン調整部１０３ａ，１０３ｂと、加算処理部１０３ｃとを有し、ゲイン調整後の不可視ディテール成分Ｄ１と可視輝度ディテール成分Ｄ４とを加重平均（加算平均）することで合成輝度ディテール成分Ｄ５を生成する。これにより、様々なシーンでより視認性の高い画像の取得を実現できる。
【００５５】
実施の形態１に係る画像処理装置１００によれば、不可視画像フィルター分離部１０１及び可視画像フィルター分離部１０２ａにおけるフィルター処理は、単純なフィルター演算処理と、加算及び減算処理のみで構成される。これにより、少ない計算コストで画像処理を実現することができる。
【００５６】
実施の形態１に係る画像処理装置１００によれば、単純かつ計算コストの小さい構成で、リアルタイム処理に適する高速な画像処理を行う。これにより、従来可視画像だけでは判別が難しかったシーンが撮影された場合であっても、注目すべき物体及び対象を容易に判別することが可能である。
【００５７】
本実施の形態では、画像処理装置１００への入力が可視画像と不可視画像となる場合を例に挙げたが、視認性の高い画像と視認性の低い画像との組合せであれば、上記の入力の組合せに限ることなく同等の効果が得られる。例えば、視認性の高い画像とは長時間露光画像であり、視認性の低い画像とは短時間露光画像である。あるいは、視認性の高い画像とは日中に撮影した明環境画像であり、視認性の低い画像とは夜中に撮影した暗環境画像である。
【００５８】
《２》実施の形態２
《２−１》構成
図５は、本発明の実施の形態２に係る画像処理装置２００の概略的な構成を示すブロック図である。図５において、図１（実施の形態１）に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。図５に示されるように、実施の形態２に係る画像処理装置２００は、可視画像分離部２０２の構成において実施の形態１と異なる。具体的には、実施の形態２における可視画像分離部２０２は、第１画像輝度色分離部としての輝度色分離部２０２ａと、第１輝度成分分離部としてのフィルター分離部２０２ｂと、第１色成分分離部としてのフィルター処理部２０２ｃとを有する。
【００５９】
実施の形態１に係る画像処理装置１００では、可視画像ＤＩＮ２に対してフィルター処理を行った後に、分離された成分（可視ベース成分Ｄ２Ａ及び可視ディテール成分Ｄ２Ｂ）に対して輝度色分離処理を行っていた。これに対して、実施の形態２に係る画像処理装置２００では、可視画像ＤＩＮ２に対してまず輝度色分離処理を行い、輝度色分離処理をした後に分離された輝度成分及び色成分に対してフィルター処理を行う。
【００６０】
輝度色分離部２０２ａは、可視画像ＤＩＮ２を受け取り、受け取った可視画像ＤＩＮ２を輝度成分である可視輝度成分Ｄ８Ａと色成分である可視色成分Ｄ８Ｂとに分離する。輝度色分離部２０２ａにおける分離の処理は、実施の形態１におけるベース輝度色分離部１０２ｂ及びディテール輝度色分離部１０２ｃと同様の処理である。
【００６１】
フィルター分離部２０２ｂは、輝度色分離部２０２ａから可視輝度成分Ｄ８Ａを受け取り、受け取った可視輝度成分Ｄ８Ａをベース成分である可視輝度ベース成分Ｄ９Ａとディテール成分である可視輝度ディテール成分Ｄ９Ｂとに分離し出力する。フィルター分離部２０２ｂにおける分離の処理は、実施の形態１の不可視画像フィルター分離部１０１及び可視画像フィルター分離部１０２ａと同様の処理である。
【００６２】
フィルター処理部２０２ｃは、輝度色分離部２０２ａから可視色成分Ｄ８Ｂを受け取り、受け取った可視色成分Ｄ８Ｂに対してフィルター処理による平滑化を行い、平滑化された可視色ベース成分Ｄ１０を出力する。フィルター処理にはボックスフィルター又はガウシアンフィルターなどの平滑化フィルターの他、バイラテラルフィルター又はガイデッドフィルター等のエッジ保存平滑化フィルターを用いることが望ましい。
【００６３】
実施の形態２におけるディテール合成部１０３、合成輝度成分生成部１０４、及び輝度色合成部１０５の構成は、実施の形態１と同じである。
【００６４】
《２−２》動作
続いて、実施の形態２に係る画像処理装置２００の動作を説明する。図６は、実施の形態２に係る画像処理装置２００の動作を示すフローチャートである。図６に示されるように、画像処理装置２００の動作が開始すると、ステップＳ１１において不可視画像ＤＩＮ１と可視画像ＤＩＮ２が画像処理装置１００に対して入力される。
【００６５】
次のステップＳ１２において、可視画像ＤＩＮ２に対して輝度色分離処理が行われる。
【００６６】
次のステップＳ１４において、可視輝度成分Ｄ８Ａ及び可視色成分Ｄ８Ｂに対してフィルター処理が行われる。
【００６７】
ステップＳ１２及びＳ１４の処理と並行して、次のステップＳ１３において、不可視画像ＤＩＮ１が不可視画像フィルター分離部１０１に入力されることで、不可視画像ＤＩＮ１に対してフィルター処理が行われる。
【００６８】
次のステップＳ１５において、不可視ディテール成分Ｄ１と可視輝度ディテール成分Ｄ４が合成（ディテール合成）することで、合成輝度ディテール成分Ｄ５が得られる。
【００６９】
次のステップＳ１６において、合成輝度ディテール成分Ｄ５と可視輝度ベース成分Ｄ３Ａとが合成（成分合成）することで、合成輝度成分Ｄ６が得られる。
【００７０】
最後のステップＳ１７において、合成輝度成分Ｄ６と可視色ベース成分Ｄ３Ｂとが合成（輝度色合成）することで、合成画像ＤＯＵＴが得られる。
【００７１】
《２−３》効果
実施の形態２に係る画像処理装置２００によれば、実施の形態１に係る画像処理装置１００と同様の効果を得ることができる。
【００７２】
実施の形態２に係る画像処理装置２００によれば、可視画像ＤＩＮ２に対して輝度色分離処理をした後にフィルター処理を行うため、輝度色分離処理の回数を１回とすることができ、実施の形態１に係る画像処理装置１００と比較してさらに計算量を低減することができる。
【００７３】
《３》実施の形態３
図７は、本発明の実施の形態３に係る撮影装置３００の概略的な構成を示すブロック図である。図７に示されるように、撮影装置３００は、実施の形態１に係る画像処理装置１００（又は実施の形態２に係る画像処理装置２００）と、第１のイメージセンサ３０１と、第２のイメージセンサ３０２とを有する。
【００７４】
第１のイメージセンサ３０１及び第２のイメージセンサ３０２としては、例えば、ＣＣＤ（Ｃｈａｒｇｅｄ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどを採用することができる。
【００７５】
第１のイメージセンサ３０１は撮影対象を撮影することで不可視画像ＤＩＮ１を取得し、画像処理装置１００に対して不可視画像ＤＩＮ１を入力する。第２のイメージセンサ３０２は撮影対象を撮影することで可視画像ＤＩＮ２を取得し、画像処理装置１００に対して可視画像ＤＩＮ２を入力する。第１のイメージセンサ３０１と第２のイメージセンサ３０２とは、同一視野を有すように、近接して並べて配置されることが望ましい。
【００７６】
第１のイメージセンサ３０１が取得した不可視画像ＤＩＮ１と、第２のイメージセンサ３０２が取得した可視画像ＤＩＮ２とが、同一視野を有する場合には、不可視画像ＤＩＮ１と可視画像ＤＩＮ２とを、そのまま合成に使うことが可能である。また、不可視画像ＤＩＮ１の領域と可視画像ＤＩＮ２の領域とが異なる場合には、これら２つの画像の位置合わせの処理を行った上で、これらの画像の合成処理に使うことが可能であり、高い視認性を持つ撮影画像を取得することができる。
【００７７】
《４》変形例
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。
【００７８】
図８は、上記実施の形態１及び２に係る画像処理装置１００，２００の変形例の構成を示すハードウェア構成図である。画像処理装置１００，２００は、半導体集積回路によって構成することが可能であるが、図８に示されるように、ソフトウェアとしてのプログラムを格納する記憶装置としてのメモリ９１と、メモリ９１に格納されたプログラムを実行する情報処理部としてのプロセッサ９２とを用いて（例えば、コンピュータにより）実現してもよい。なお、画像処理装置１００，２００の一部を、図８に示されるメモリ９１と、プログラムを実行するプロセッサ９２とによって実現してもよい。
【００７９】
上記実施の形態の説明における不可視画像には、赤外光により取得された赤外画像の他、紫外光により取得された紫外光画像及びレーダ画像等が適用可能である。
【００８０】
上記実施の形態の説明では、可視画像と不可視画像とを組み合わせたが、可視画像と不可視画像の組み合わせの他に、ＲＧＢ画像と狭帯域画像（可視帯域を含む）の組み合わせについても適用可能である。
【００８１】
本発明は、例えば、監視カメラ又は車載カメラで近赤外光源など特定スペクトルの光源を照射しつつ撮像を行う場合で、光源照射によりノイズの少ない特定スペクトル画像と、色情報を含む可視画像の合成を行う際に特に有効である。
【符号の説明】
【００８２】
１００、２００  画像処理装置、  １０１  不可視画像分離部（不可視画像フィルター分離部、第２画像分離部）、  １０２，２０２  可視画像分離部（第１画像分離部）、  １０２ａ  可視画像フィルター分離部（第１画像フィルター分離部）、  １０２ｂ  ベース輝度色分離部、  １０２ｃ  ディテール輝度色分離部、  １０３  ディテール合成部、  １０３ａ，１０３ｂ  ゲイン調整部、  １０３ｃ  加算処理部、  １０４  合成輝度成分生成部、  １０５  輝度色合成部、  １１１  不可視画像フィルター処理部（第２画像フィルター処理部）、  １１２  不可視画像差分処理部（第２画像差分処理部）、  １２１  可視画像フィルター処理部（第１画像フィルター処理部）、  １２２  可視画像差分処理部（第１画像差分処理部）、  ２０２ａ  輝度色分離部、  ２０２ｂ  フィルター分離部、  ２０２ｃ  フィルター処理部、  ３００  撮影装置、  ３０１  第１のイメージセンサ、  ３０２  第２のイメージセンサ、  ＤＩＮ１  不可視画像（第２画像）、  ＤＩＮ２  可視画像（第１画像）、  ＤＯＵＴ  合成画像。
【図１】
2018070100.tif 000010
【図２】
2018070100.tif 000011
【図３】
2018070100.tif 000012
【図４】
2018070100.tif 000013
【図５】
2018070100.tif 000014
【図６】
2018070100.tif 000015
【図７】
2018070100.tif 000016
【図８】
2018070100.tif 000017
【手続補正書】
【提出日】平成30年1月24日(2018.1.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
同一視野を有し、第１の波長帯域の光である可視光を受光することで取得される第１画像と前記第１の波長帯域と異なる第２の波長帯域の光である不可視光を受光することで取得される第２画像とから合成画像を生成する画像処理装置であって、
前記第１画像から、前記第１画像のベース成分である第１ベース成分から分離された輝度成分である第１輝度ベース成分と、前記第１ベース成分から分離された色成分である第１色ベース成分と、前記第１画像のディテール成分である第１ディテール成分から分離された輝度成分である第１輝度ディテール成分とを分離する第１画像分離部と、
前記第２画像から前記第２画像のディテール成分である第２ディテール成分を分離する第２画像分離部と、
前記第２ディテール成分に対してゲイン調整を行うことで得られた第２のゲイン調整成分と、前記第２ディテール成分のゲインよりも小さいゲインで前記第１輝度ディテール成分に対してゲイン調整を行うことで得られた第１のゲイン調整成分との加算平均を取った値を合成輝度ディテール成分として生成するディテール合成部と、
前記合成輝度ディテール成分と前記第１輝度ベース成分とを合成することで合成輝度成分を生成する合成輝度成分生成部と、
前記合成輝度ディテール成分と前記第１輝度ベース成分とを合成することで合成輝度成分を生成する合成輝度成分生成部と、
前記合成輝度成分と前記第１色ベース成分とを合成することで前記合成画像を生成する輝度色合成部と
を有する画像処理装置。
【請求項２】
前記第１画像分離部は、
前記第１画像に対してエッジ保存平滑化フィルター処理を行うことで平滑化された前記第１ベース成分を生成し、また前記第１ベース成分と前記第１画像との差分から前記第１ディテール成分を生成する第１画像フィルター分離部と、
前記第１ベース成分から前記第１ベース成分の輝度成分である第１輝度ベース成分と前記第１ベース成分の色成分である第１色ベース成分とを分離するベース輝度色分離部と、
前記第１ディテール成分から前記第１ディテール成分の輝度成分である第１輝度ディテール成分を分離するディテール輝度色分離部と
を有する請求項１に記載の画像処理装置。
【請求項３】
前記第１画像分離部は、
前記第１画像から前記第１画像の輝度成分である第１輝度成分と前記第１画像の色成分である第１色成分とを分離する第１画像輝度色分離部と、
前記第１輝度成分から前記第１輝度成分のベース成分である第１輝度ベース成分と前記第１輝度成分のディテール成分である第１輝度ディテール成分とを分離する第１輝度成分分離部と、
前記第１色成分から前記第１色成分のベース成分である第１色ベース成分を分離する第１色成分分離部と
を有する請求項１に記載の画像処理装置。
【請求項４】
前記第２画像分離部は、
前記第２画像に対してエッジ保存平滑化フィルター処理を行うことで平滑化された第２ベース成分を生成し、前記第２ベース成分と前記第２画像との差分から前記第２ディテール成分を生成する第２画像フィルター分離部
を有する請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
請求項１から４のいずれか１項に記載の画像処理装置と、
前記第２画像を取得する第１のイメージセンサと、前記第１のイメージセンサと並べられて配置された前記第１画像を取得する第２のイメージセンサと
を有する撮影装置。
【請求項６】
前記第１のイメージセンサにより取得された前記第２画像と、前記第２のイメージセンサにより取得された前記第１画像とを位置合わせ調整する
請求項５に記載の撮影装置。
【請求項７】
同一視野を有し、第１の波長帯域の光である可視光を受光することで取得される第１画像と前記第１の波長帯域と異なる第２の波長帯域の光である不可視光を受光することで取得される第２画像とから合成画像を生成する画像処理方法であって、
前記第１画像から、前記第１画像のベース成分である第１ベース成分から分離された輝度成分である第１輝度ベース成分と、前記第１ベース成分から分離された色成分である第１色ベース成分と、前記第１画像のディテール成分である第１ディテール成分から分離された輝度成分である第１輝度ディテール成分とを分離する第１画像分離ステップと、
前記第２画像から前記第２画像のディテール成分である第２ディテール成分を分離する第２画像分離ステップと、
前記第２ディテール成分に対してゲイン調整を行うことで得られた第２のゲイン調整成分と、前記第２ディテール成分のゲインよりも小さいゲインで前記第１輝度ディテール成分に対してゲイン調整を行うことで得られた第１のゲイン調整成分との加算平均を取った値を合成輝度ディテール成分として生成するディテール合成ステップと、
前記合成輝度ディテール成分と前記第１輝度ベース成分とを合成することで合成輝度成分を生成する合成輝度成分生成ステップと、
前記合成輝度成分と前記第１色ベース成分とを合成することで前記合成画像を生成する輝度色合成ステップと
を有する画像処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の一態様に係る画像処理装置は、同一視野を有し、第１の波長帯域の光である可視光を受光することで取得される第１画像と前記第１の波長帯域と異なる第２の波長帯域の光である不可視光を受光することで取得される第２画像とから合成画像を生成する画像処理装置であって、前記第１画像から、前記第１画像のベース成分である第１ベース成分から分離された輝度成分である第１輝度ベース成分と、前記第１ベース成分から分離された色成分である第１色ベース成分と、前記第１画像のディテール成分である第１ディテール成分から分離された輝度成分である第１輝度ディテール成分とを分離する第１画像分離部と、前記第２画像から前記第２画像のディテール成分である第２ディテール成分を分離する第２画像分離部と、前記第２ディテール成分に対してゲイン調整を行うことで得られた第２のゲイン調整成分と、前記第２ディテール成分のゲインよりも小さいゲインで前記第１輝度ディテール成分に対してゲイン調整を行うことで得られた第１のゲイン調整成分との加算平均を取った値を合成輝度ディテール成分として生成するディテール合成部と、
前記合成輝度ディテール成分と前記第１輝度ベース成分とを合成することで合成輝度成分を生成する合成輝度成分生成部と、前記合成輝度ディテール成分と前記第１輝度ベース成分とを合成することで合成輝度成分を生成する合成輝度成分生成部と、前記合成輝度成分と前記第１色ベース成分とを合成することで前記合成画像を生成する輝度色合成部とを有する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の他の態様に係る撮影装置は、上述の画像処理装置と、前記第２画像を取得する第１のイメージセンサと、前記第１のイメージセンサと並べられて配置された前記第１画像を取得する第２のイメージセンサとを有する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の他の態様に係る画像処理方法は、同一視野を有し、第１の波長帯域の光である可視光を受光することで取得される第１画像と前記第１の波長帯域と異なる第２の波長帯域の光である不可視光を受光することで取得される第２画像とから合成画像を生成する画像処理方法であって、前記第１画像から、前記第１画像のベース成分である第１ベース成分から分離された輝度成分である第１輝度ベース成分と、前記第１ベース成分から分離された色成分である第１色ベース成分と、前記第１画像のディテール成分である第１ディテール成分から分離された輝度成分である第１輝度ディテール成分とを分離する第１画像分離ステップと、前記第２画像から前記第２画像のディテール成分である第２ディテール成分を分離する第２画像分離ステップと、前記第２ディテール成分に対してゲイン調整を行うことで得られた第２のゲイン調整成分と、前記第２ディテール成分のゲインよりも小さいゲインで前記第１輝度ディテール成分に対してゲイン調整を行うことで得られた第１のゲイン調整成分との加算平均を取った値を合成輝度ディテール成分として生成するディテール合成ステップと、前記合成輝度ディテール成分と前記第１輝度ベース成分とを合成することで合成輝度成分を生成する合成輝度成分生成ステップと、前記合成輝度成分と前記第１色ベース成分とを合成することで前記合成画像を生成する輝度色合成ステップとを有する。
【手続補正書】
【提出日】平成30年4月18日(2018.4.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
同一視野を有し、第１の波長帯域の光である可視光を受光することで取得される第１画像と前記第１の波長帯域と異なる第２の波長帯域の光である不可視光を受光することで取得される第２画像とから合成画像を生成する画像処理装置であって、
前記第１画像から、前記第１画像のベース成分である第１ベース成分から分離された輝度成分である第１輝度ベース成分と、前記第１ベース成分から分離された色成分である第１色ベース成分と、前記第１画像のディテール成分である第１ディテール成分から分離された輝度成分である第１輝度ディテール成分とを分離する第１画像分離部と、
前記第２画像から前記第２画像のディテール成分である第２ディテール成分を分離する第２画像分離部と、
前記第２ディテール成分に対してゲイン調整を行うことで得られた第２のゲイン調整成分と、前記第２ディテール成分のゲインよりも小さいゲインで前記第１輝度ディテール成分に対してゲイン調整を行うことで得られた第１のゲイン調整成分との加算平均を取った値を合成輝度ディテール成分として生成するディテール合成部と、
前記合成輝度ディテール成分と前記第１輝度ベース成分とを合成することで合成輝度成分を生成する合成輝度成分生成部と、
前記合成輝度成分と前記第１色ベース成分とを合成することで前記合成画像を生成する輝度色合成部と
を有する画像処理装置。
【請求項２】
前記第１画像分離部は、
前記第１画像に対してエッジ保存平滑化フィルター処理を行うことで平滑化された前記第１ベース成分を生成し、また前記第１ベース成分と前記第１画像との差分から前記第１ディテール成分を生成する第１画像フィルター分離部と、
前記第１ベース成分から前記第１ベース成分の輝度成分である第１輝度ベース成分と前記第１ベース成分の色成分である第１色ベース成分とを分離するベース輝度色分離部と、
前記第１ディテール成分から前記第１ディテール成分の輝度成分である第１輝度ディテール成分を分離するディテール輝度色分離部と
を有する請求項１に記載の画像処理装置。
【請求項３】
前記第１画像分離部は、
前記第１画像から前記第１画像の輝度成分である第１輝度成分と前記第１画像の色成分である第１色成分とを分離する第１画像輝度色分離部と、
前記第１輝度成分から前記第１輝度成分のベース成分である第１輝度ベース成分と前記第１輝度成分のディテール成分である第１輝度ディテール成分とを分離する第１輝度成分分離部と、
前記第１色成分から前記第１色成分のベース成分である第１色ベース成分を分離する第１色成分分離部と
を有する請求項１に記載の画像処理装置。
【請求項４】
前記第２画像分離部は、
前記第２画像に対してエッジ保存平滑化フィルター処理を行うことで平滑化された第２ベース成分を生成し、前記第２ベース成分と前記第２画像との差分から前記第２ディテール成分を生成する第２画像フィルター分離部
を有する請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
請求項１から４のいずれか１項に記載の画像処理装置と、
前記第２画像を取得する第１のイメージセンサと、前記第１のイメージセンサと並べられて配置された前記第１画像を取得する第２のイメージセンサと
を有する撮影装置。
【請求項６】
前記第１のイメージセンサにより取得された前記第２画像と、前記第２のイメージセンサにより取得された前記第１画像とを位置合わせ調整する
請求項５に記載の撮影装置。
【請求項７】
同一視野を有し、第１の波長帯域の光である可視光を受光することで取得される第１画像と前記第１の波長帯域と異なる第２の波長帯域の光である不可視光を受光することで取得される第２画像とから合成画像を生成する画像処理方法であって、
前記第１画像から、前記第１画像のベース成分である第１ベース成分から分離された輝度成分である第１輝度ベース成分と、前記第１ベース成分から分離された色成分である第１色ベース成分と、前記第１画像のディテール成分である第１ディテール成分から分離された輝度成分である第１輝度ディテール成分とを分離する第１画像分離ステップと、
前記第２画像から前記第２画像のディテール成分である第２ディテール成分を分離する第２画像分離ステップと、
前記第２ディテール成分に対してゲイン調整を行うことで得られた第２のゲイン調整成分と、前記第２ディテール成分のゲインよりも小さいゲインで前記第１輝度ディテール成分に対してゲイン調整を行うことで得られた第１のゲイン調整成分との加算平均を取った値を合成輝度ディテール成分として生成するディテール合成ステップと、
前記合成輝度ディテール成分と前記第１輝度ベース成分とを合成することで合成輝度成分を生成する合成輝度成分生成ステップと、
前記合成輝度成分と前記第１色ベース成分とを合成することで前記合成画像を生成する輝度色合成ステップと
を有する画像処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の一態様に係る画像処理装置は、同一視野を有し、第１の波長帯域の光である可視光を受光することで取得される第１画像と前記第１の波長帯域と異なる第２の波長帯域の光である不可視光を受光することで取得される第２画像とから合成画像を生成する画像処理装置であって、前記第１画像から、前記第１画像のベース成分である第１ベース成分から分離された輝度成分である第１輝度ベース成分と、前記第１ベース成分から分離された色成分である第１色ベース成分と、前記第１画像のディテール成分である第１ディテール成分から分離された輝度成分である第１輝度ディテール成分とを分離する第１画像分離部と、前記第２画像から前記第２画像のディテール成分である第２ディテール成分を分離する第２画像分離部と、前記第２ディテール成分に対してゲイン調整を行うことで得られた第２のゲイン調整成分と、前記第２ディテール成分のゲインよりも小さいゲインで前記第１輝度ディテール成分に対してゲイン調整を行うことで得られた第１のゲイン調整成分との加算平均を取った値を合成輝度ディテール成分として生成するディテール合成部と、前記合成輝度ディテール成分と前記第１輝度ベース成分とを合成することで合成輝度成分を生成する合成輝度成分生成部と、前記合成輝度成分と前記第１色ベース成分とを合成することで前記合成画像を生成する輝度色合成部とを有するものである。
【国際調査報告】
2018070100.tif 000018
2018070100.tif 000019
2018070100.tif 000020
2018070100.tif 000021