(57)【要約】      （修正有）【課題】白飛びや黒潰れを含まずクリアな画像を提供する画像処理装置を提供する。【解決手段】画像処理装置は１００、可視光画像を取得する第１撮像部１１０と、可視光画像の各画素の第１画素値が第１範囲内にあるか判定する第１判定部１３３と、第１範囲内にある場合にない場合よりも大きな第１重みを付ける第１重み付け部１３４と、被写体に近赤外線を照射する近赤外線照射部１２０Ａと、近赤外線画像を取得する第２撮像部１２０Ｂと、近赤外線画像の各画素の第２画素値が第２範囲内にあるか判定する第２判定部１３１と、第２範囲内にある場合にない場合よりも大きな第２重みを付ける第２重み付け部１３２と、各画素について、第１画素値に第１重みを乗じた第３画素値と、第２画素値に第２重みを乗じた第４画素値との和に基づいて各画素の画素値を求める画素値算出部１３６と、各画素の画素値を有する画像を表す画像信号を出力する画像出力部１３７とを含む。【選択図】図１
2018032952.tif 000002
【特許請求の範囲】
【請求項１】
可視光が照射された被写体によって反射された第１反射光から得られる可視光画像を取得する第１撮像部と、
前記可視光画像の各画素の第１画素値が第１下限閾値から第１上限閾値までの第１範囲内にあるかどうかを判定する第１判定部と、
前記第１判定部によって前記第１画素値が前記第１範囲内にあると判断される場合に、前記第１画素値が前記第１範囲内にないと判断される場合よりも大きな第１重みを前記第１画素値に付ける第１重み付け部と、
近赤外線を前記被写体に照射する近赤外線照射部と、
前記被写体で反射された近赤外線から近赤外線画像を取得する第２撮像部と、
前記近赤外線画像の各画素の第２画素値が第２下限閾値から第２上限閾値までの第２範囲内にあるかどうかを判定する第２判定部と、
前記第２判定部によって前記第２画素値が前記第２範囲内にあると判断される場合に、前記第２画素値が前記第２範囲内にないと判断される場合よりも大きな第２重みを前記第２画素値に付ける第２重み付け部と、
前記各画素について、前記第１画素値に前記第１重みが付けられた第３画素値と、前記第２画素値に前記第２重みが付けられた第４画素値とに基づいて、前記各画素の画素値を求める、画素値算出部と、
前記画素値算出部によって求められた前記各画素の画素値を有する画像を表す画像信号を出力する画像出力部と
を含む、画像処理装置。
【請求項２】
前記近赤外線照射部は、所定の変調方式で変調した近赤外線を前記被写体に照射し、
前記第２撮像部は、前記被写体で反射された近赤外線を検波し、検波した近赤外線から前記近赤外線画像を取得する、請求項１記載の画像処理装置。
【請求項３】
前記第１判定部によって前記第１画素値が前記第１範囲内にあると判断される場合に、前記第１画素値が前記第１範囲内にないと判断される場合よりも大きな第３重みを、前記可視光画像の各画素の色を表す第１色信号に付ける第３重み付け部をさらに含み、
前記画像出力部は、前記第１色信号に前記第３重みが付けられた第２色信号が表す色を前記各画素に付与した画像を表す画像信号を出力する、請求項１又は２記載の画像処理装置。
【請求項４】
前記第１撮像部によって取得される可視光画像を所定数の空間周波数の帯域毎に分割する第１分割部と、
前記第２撮像部によって取得される近赤外線画像を前記所定数の空間周波数の帯域毎に分割する第２分割部と
をさらに含み、
前記第１判定部、前記第１重み付け部、前記第２判定部、前記第２重み付け部、及び前記画素値算出部は、前記所定数だけ設けられており、
前記所定数の前記第１判定部は、それぞれ、前記帯域毎に分割された可視光画像について、前記各画素の第１画素値が第１下限閾値から第１上限閾値までの第１範囲内にあるかどうかを判定し、
前記所定数の前記第１重み付け部は、それぞれ、前記所定数の前記第１判定部によって各帯域における前記各画素の前記第１画素値が前記第１範囲内にあると判断される場合に、前記各画素の前記第１画素値が前記第１範囲内にないと判断される場合よりも大きな第１重みを前記第１画素値に付け、
前記所定数の前記第２判定部は、それぞれ、前記帯域毎に分割された近赤外線画像について、前記各画素の第２画素値が第２下限閾値から第２上限閾値までの第２範囲内にあるかどうかを判定し、
前記所定数の前記第２重み付け部は、それぞれ、前記所定数の前記第２判定部によって各帯域における前記各画素の前記第２画素値が前記第２範囲内にあると判断される場合に、前記各画素の前記第２画素値が前記第２範囲内にないと判断される場合よりも大きな第２重みを前記第２画素値に付け、
前記所定数の前記画素値算出部は、それぞれ、各帯域における前記各画素について、前記第１画素値に前記第１重みが付けられた第３画素値と、前記第２画素値に前記第２重みが付けられた第４画素値とに基づいて、各帯域における前記各画素の画素値を求め、
前記画像出力部は、前記所定数の前記画素値算出部によって求められた各帯域における前記各画素の画素値を有する画像を表す各帯域の画像信号を合成した画像信号を出力する、請求項１乃至３のいずれか一項記載の画像処理装置。
【請求項５】
前記所定数の前記第１判定部によって、前記帯域毎に分割された可視光画像について、前記第１画素値が前記第１範囲内にあると判断される場合に、それぞれ、前記第１画素値が前記第１範囲内にないと判断される場合よりも大きな第３重みを、前記可視光画像の各画素の色を表す第１色信号に付ける前記所定数の第３重み付け部をさらに含み、
前記画像出力部は、前記第１色信号に前記第３重みが付けられた第２色信号が表す色を前記各帯域における前記各画素に付与した画像を表す画像信号を出力する、請求項４記載の画像処理装置。
【請求項６】
前記所定数の前記画素値算出部によって求められる各帯域における前記各画素の画素値に対して、帯域毎に重みを付ける第４重み付け部をさらに含み、
前記画像出力部は、前記所定数の前記画素値算出部によって求められ、さらに、前記第４重み付け部によって重み付けられた各帯域における前記各画素の画素値を有する画像を表す各帯域の画像信号を合成した画像信号を出力する、請求項４又は５記載の画像処理装置。
【請求項７】
前記画素値算出部は、前記第３画素値と、前記第４画素値との和を、前記第１重みと前記第２重みとの和で除算して、前記各画素の画素値を求める、請求項１乃至６のいずれか一項記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
従来より、オリジナルの赤外光画像データと、メモリに登録された被写体の輝度情報とを用いてパターンマッチングして、予め輝度情報が記憶された被写体が赤外光画像データに存在するか否かを判定し、被写体が存在する場合に、赤外光画像データからその被写体に対応する赤外光画像データを抽出し、被写体に対応する赤外光画像データを可視光画像データにおける対応する被写体の画像データと置換するように合成処理する画像入力装置がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１２−０６７０２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、従来の装置では、被写体に対応する赤外光画像データの抽出は、オリジナルの赤外光画像データと、メモリに登録された被写体の輝度情報とのパターンマッチングで行うため、パターンマッチングが成功しない場合には、被写体に対応する赤外光画像データを抽出することができない。また、赤外光画像データを抽出できない場合には、可視光画像データに白飛び（画像が真っ白に表示されること）や、黒潰れ（輝度がなく真っ黒に表示されること）が生じる画素が含まれる可能性が高いため、クリアな画像を生成することができない。
【０００５】
このように、従来の装置は、赤外光画像データを可視光画像データの対応する被写体の画像データと置換するように合成処理を行った画像を生成できないことがあり、クリアな画像が得られないおそれがある。
【０００６】
そこで、白飛びや黒潰れを含まず、クリアな画像を提供できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の形態の画像処理装置は、
可視光が照射された被写体によって反射された第１反射光から得られる可視光画像を取得する第１撮像部と、
前記可視光画像の各画素の第１画素値が第１下限閾値から第１上限閾値までの第１範囲内にあるかどうかを判定する第１判定部と、
前記第１判定部によって前記第１画素値が前記第１範囲内にあると判断される場合に、前記第１画素値が前記第１範囲内にないと判断される場合よりも大きな第１重みを前記第１画素値に付ける第１重み付け部と、
近赤外線を前記被写体に照射する近赤外線照射部と、
前記被写体で反射された近赤外線から近赤外線画像を取得する第２撮像部と、
前記近赤外線画像の各画素の第２画素値が第２下限閾値から第２上限閾値までの第２範囲内にあるかどうかを判定する第２判定部と、
前記第２判定部によって前記第２画素値が前記第２範囲内にあると判断される場合に、前記第２画素値が前記第２範囲内にないと判断される場合よりも大きな第２重みを前記第２画素値に付ける第２重み付け部と、
前記各画素について、前記第１画素値に前記第１重みが付けられた第３画素値と、前記第２画素値に前記第２重みが付けられた第４画素値とに基づいて、前記各画素の画素値を求める、画素値算出部と、
前記画素値算出部によって求められた前記各画素の画素値を有する画像を表す画像信号を出力する画像出力部と
を含む。
【０００８】
このように、第１下限閾値から第１上限閾値までの第１範囲内にある第１画素値に重みを付けた第３画素値と、第２下限閾値から第２上限閾値までの第２範囲内にある第２画素値に重みを付けた第４画素値とに基づいて、各画素の画素値を求めるので、白飛びや黒潰れの発生を抑制することができる。
【０００９】
従って、クリアな画像を提供できる画像処理装置を提供することができる。
【００１０】
本発明の第２の形態の画像処理装置では、
前記近赤外線照射部は、所定の変調方式で変調した近赤外線を前記被写体に照射し、
前記第２撮像部は、前記被写体で反射された近赤外線を検波し、検波した近赤外線から前記近赤外線画像を取得する。
【００１１】
このため、第２撮像部は、近赤外線照射部によって変調された近赤外線の反射光のみから得られる近赤外線画像を取得することができ、近赤外線照射部によって変調された近赤外線以外の光による影響を排除でき、クリアな画像が得られる。
【００１２】
本発明の第３の形態の画像処理装置は、
前記第１判定部によって前記第１画素値が前記第１範囲内にあると判断される場合に、前記第１画素値が前記第１範囲内にないと判断される場合よりも大きな第３重みを付ける第３重み付け部をさらに含み、
前記画像出力部は、前記可視光画像の各画素の色を表す第１色信号に前記第３重みが付けられた第２色信号が表す色を前記各画素に付与した画像を表す画像信号を出力する。
【００１３】
このように、第３の形態の画像処理装置によれば、可視光画像の各画素の色を表す第１色信号に第３重みを乗じた第２色信号が表す色を各画素に付与するので、画像出力部が出力する画像信号によって、色を含む画像を表示することができる。
【００１４】
本発明の第４の形態の画像処理装置は、
前記第１撮像部によって取得される可視光画像を所定数の空間周波数の帯域毎に分割する第１分割部と、
前記第２撮像部によって取得される近赤外線画像を前記所定数の空間周波数の帯域毎に分割する第２分割部と
をさらに含み、
前記第１判定部、前記第１重み付け部、前記第２判定部、前記第２重み付け部、及び前記画素値算出部は、前記所定数だけ設けられており、
前記所定数の前記第１判定部は、それぞれ、前記帯域毎に分割された可視光画像について、前記各画素の第１画素値が第１下限閾値から第１上限閾値までの第１範囲内にあるかどうかを判定し、
前記所定数の前記第１重み付け部は、それぞれ、前記所定数の前記第１判定部によって各帯域における前記各画素の前記第１画素値が前記第１範囲内にあると判断される場合に、前記各画素の前記第１画素値が前記第１範囲内にないと判断される場合よりも大きな第１重みを前記第１画素値に付け、
前記所定数の前記第２判定部は、それぞれ、前記帯域毎に分割された近赤外線画像について、前記各画素の第２画素値が第２下限閾値から第２上限閾値までの第２範囲内にあるかどうかを判定し、
前記所定数の前記第２重み付け部は、それぞれ、前記所定数の前記第２判定部によって各帯域における前記各画素の前記第２画素値が前記第２範囲内にあると判断される場合に、前記各画素の前記第２画素値が前記第２範囲内にないと判断される場合よりも大きな第２重みを前記第２画素値に付け、
前記所定数の前記画素値算出部は、それぞれ、各帯域における前記各画素について、前記第１画素値に前記第１重みが付けられた第３画素値と、前記第２画素値に前記第２重みが付けられた第４画素値とに基づいて、各帯域における前記各画素の画素値を求め、
前記画像出力部は、前記所定数の前記画素値算出部によって求められた各帯域における前記各画素の画素値を有する画像を表す各帯域の画像信号を合成した画像信号を出力する。
【００１５】
このように、第４の形態の画像処理装置によれば、可視光画像と近赤外線画像を所定数の空間周波数の帯域に分けて重み付けを行い、各帯域における各画素の画素値を求め、各帯域の画像信号を合成した画像信号を出力する。空間周波数の帯域毎に重み付けを行うことで、より視認性の高い画像を生成することができる。
【００１６】
本発明の第５の形態の画像処理装置は、
前記所定数の前記第１判定部によって、前記帯域毎に分割された可視光画像について、前記第１画素値が前記第１範囲内にあると判断される場合に、それぞれ、前記第１画素値が前記第１範囲内にないと判断される場合よりも大きな第３重みを、前記可視光画像の各画素の色を表す第１色信号に付ける前記所定数の第３重み付け部をさらに含み、
前記画像出力部は、前記第１色信号に前記第３重みが付けられた第２色信号が表す色を前記各帯域における前記各画素に付与した画像を表す画像信号を出力する。
【００１７】
このように、第５の形態の画像処理装置によれば、可視光画像の各画素の色を表す第１色信号に第３重みを乗じた第２色信号が表す色を各画素に付与するので、空間周波数の各帯域における特徴を最終的に合成される画像に反映させた上で、画像出力部が出力する画像信号によって、色を含む画像を表示することができる。
【００１８】
本発明の第６の形態の画像処理装置は、
前記所定数の前記画素値算出部によって求められる各帯域における前記各画素の画素値に対して、帯域毎に重みを付ける第４重み付け部をさらに含み、
前記画像出力部は、前記所定数の前記画素値算出部によって求められ、さらに、前記第４重み付け部によって重み付けられた各帯域における前記各画素の画素値を有する画像を表す各帯域の画像信号を合成した画像信号を出力する。
【００１９】
このように、第６の形態の画像処理装置によれば、可視光画像と近赤外線画像を所定数の空間周波数の帯域に分けて重み付けを行い、各帯域における各画素の画素値を求め、各帯域の画像信号を合成した画像信号を出力する。空間周波数の帯域毎に重み付けを行うことで、空間周波数の各帯域における特徴を最終的に合成される画像に反映させることができ、ダイナミックレンジを圧縮しつつ、視認性の高い画像を生成することができ、モニタのダイナミックレンジが小さい場合にも、オーバーフロー／アンダーフローが生じることなく、視認性の高い画像を提供することができる。
【００２０】
本発明の第７の形態の画像処理装置では、
前記画素値算出部は、前記第３画素値と、前記第４画素値との和を、前記第１重みと前記第２重みとの和で除算して、前記各画素の画素値を求める。
【００２１】
このため、各画素の画素値は、第３画素値と第４画素値との和を第１重みと第２重みとの和で除算した値になり、第１重みと第２重みとの和の大きさに応じた値として求められる。
【発明の効果】
【００２２】
白飛びや黒潰れを含まず、クリアな画像を提供できる画像処理装置を提供することができる。
【図面の簡単な説明】
【００２３】
【図１】実施の形態１の画像処理装置１００の構成を示す図である。
【図２】可視光画像と近赤外線画像から、画像出力部１３７によってモニタ５０に出力される画像を生成する処理を説明する図である。
【図３】実施の形態２の画像処理装置２００の構成を示す図である。
【図４】画像処理装置２００が実行する処理を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明の画像処理装置を適用した実施の形態について説明する。
【００２５】
＜実施の形態１＞
図１は、実施の形態１の画像処理装置１００の構成を示す図である。
【００２６】
画像処理装置１００は、撮像部１１０、近赤外線照射部１２０Ａ、撮像部１２０Ｂ、及び信号処理部１３０を含む。画像処理装置１００には、モニタ５０が接続されている。
【００２７】
以下では、一例として、画像処理装置１００が夜間の車両の前方の視界確保を補助するナイトビュー装置（夜間暗視装置）に適用される形態について説明する。
【００２８】
撮像部１１０は、車両の前方において可視光が照射された被写体によって反射された反射光から得られる可視光画像を取得する。撮像部１１０は、第１撮像部の一例である。撮像部１１０は、例えば、車両に前方を向けて取り付けられ、車両の前方の画像を取得できるＣＣＤ(Charge Coupled Device)カメラのようなデジタルカメラであればよい。なお、被写体は、車両の前方に存在する路面、区画線、標識、車両、人間、動物等である。
【００２９】
近赤外線照射部１２０Ａは、車両に前方を向けて取り付けられ、車両の前方の被写体に所定の変調方式で変調した近赤外線を照射する。近赤外線は、波長が約０．７μｍ〜２．５μｍの電磁波であり、赤色の可視光に近い波長を有する。
【００３０】
所定の変調方式としては、例えば、パルス波又は正弦波を搬送波として用いる変調方式がある。近赤外線照射部１２０Ａは、例えば、数１０ｋＨｚ程度のパルス波又は正弦波を用いて近赤外線を変調し、変調した近赤外線を被写体に照射する。
【００３１】
撮像部１２０Ｂは、近赤外線照射部１２０Ａから照射されて被写体で反射された近赤外線（変調された近赤外線）を受光し、受光した近赤外線を同期検波（同期復調）して近赤外線画像を取得する。撮像部１２０Ｂは、近赤外線（変調された近赤外線）を同期検波（同期復調）する際に、近赤外線照射部１２０Ａが近赤外線の変調に用いる搬送波（パルス波又は正弦波）と同一のパルス波又は正弦波を用いる。このため、撮像部１２０Ｂによって復調される近赤外線は、近赤外線照射部１２０Ａから照射された近赤外線のみであり、近赤外線照射部１２０Ａから照射された近赤外線以外は含まれない。撮像部１２０Ｂは、被写体で反射された近赤外線を受光して同期検波するので、近赤外線画像には白飛びが生じることはない。近赤外線の輝度は、可視光に比べると微弱だからである。
【００３２】
撮像部１２０Ｂは、近赤外線照射部１２０Ａが変調に用いた搬送波と位相が同期した搬送波を用いて、受光した近赤外線の同期検波を行う。このような近赤外線照射部１２０Ａと撮像部１２０Ｂを用いることにより、変調された近赤外線を反射する被写体の反射率を得ることができ、反射率に基づいて、変調された近赤外線を反射する被写体の輝度を求めることができる。撮像部１２０Ｂが出力する近赤外線画像は、各画素の輝度を表す。撮像部１２０Ｂは、第２撮像部の一例である。
【００３３】
信号処理部１３０は、有効性判定部１３１、重み付け部１３２、有効性判定部１３３、重み付け部１３４、重み付け部１３５、画素値算出部１３６、及び画像出力部１３７を有する。
【００３４】
有効性判定部１３１は、撮像部１２０Ｂによって取得される近赤外線画像の輝度信号Ｙｉに基づき、近赤外線画像の有効性を画素毎に判定する。有効性判定部１３１は、第２判定部の一例である。
【００３５】
ここで、有効性とは、近赤外線画像の各画素に画像としての情報が含まれるかどうかを表す。例えば、白飛びのように輝度が極端に高い画素、又は、黒潰れのように輝度が極端に低い画素は、有効性を有しない画素である。極端に高い輝度と極端に低い輝度との間の所定の範囲内の輝度を有する画素は、有効性を有する画素である。
【００３６】
有効性判定部１３１は、所定の上限閾値Ｉｍａｘよりも輝度が高い画素と、所定の下限閾値Ｉｍｉｎよりも輝度が低い画素とは、有効性を有しない画素であると判定する。また、有効性判定部１３１は、輝度が所定の上限閾値Ｉｍａｘ以下で、かつ、所定の下限閾値Ｉｍｉｎ以上の画素は、有効性を有する画素であると判定する。なお、近赤外線画像は、色信号を含まず、輝度信号を含む画像である。輝度信号Ｙｉが表す輝度は画素値と同義である。
【００３７】
重み付け部１３２は、有効性判定部１３１の判定結果に応じて、撮像部１２０Ｂによって取得される近赤外線画像の各画素の輝度信号Ｙｉに重みＷｉを付ける。重み付け部１３２は、近赤外線画像の各画素について、輝度信号Ｙｉに重みＷｉを乗じた輝度信号ＷｉＩｉを出力する。
【００３８】
重み付け部１３２は、第２重み付け部の一例である。実施の形態１では、有効性判定部１３１によって有効性があると判定された画素に対して、重み付け部１３２が各画素の輝度信号Ｙｉに付ける重みＷｉは１であり、有効性判定部１３１によって有効性がないと判定された画素に対して、重み付け部１３２が各画素の輝度信号Ｙｉに付ける重みＷｉは０である。重み付け部１３２が重み付けに用いる重みＷｉは、第２重みの一例である。
【００３９】
有効性判定部１３３は、撮像部１１０によって取得される可視光画像の各画素の輝度信号Ｙｖに基づき、可視光画像の有効性を画素毎に判定する。有効性判定部１３３は、第１判定部の一例である。
【００４０】
ここで、有効性とは、可視光画像の各画素に画像としての情報が含まれるかどうかを表す。有効性の意味は、有効性判定部１３１が判定する有効性と同様であり、白飛びや黒潰れが生じた画素は、有効性を有しない画素であり、所定の範囲内の輝度を有する画素は、有効性を有する画素である。また、輝度信号Ｙｖが表す輝度は、撮像部１１０によって取得される可視光画像の画素値と同義である。
【００４１】
有効性判定部１３３は、所定の上限閾値Ｉｍａｘよりも輝度が高い画素と、所定の下限閾値Ｉｍｉｎよりも輝度が低い画素とについては、有効性を有しない画素であると判定する。また、有効性判定部１３１は、輝度が所定の上限閾値Ｉｍａｘ以下で、かつ、所定の下限閾値Ｉｍｉｎ以上の画素は、有効性を有する画素であると判定する。
【００４２】
なお、ここでは、有効性判定部１３３が用いる上限閾値Ｉｍａｘ及び下限閾値Ｉｍｉｎと、有効性判定部１３１が用いる上限閾値Ｉｍａｘ及び下限閾値Ｉｍｉｎとが等しい形態について説明するが、有効性判定部１３３が用いる上限閾値Ｉｍａｘ及び下限閾値Ｉｍｉｎと、有効性判定部１３１が用いる上限閾値Ｉｍａｘ及び下限閾値Ｉｍｉｎとは、異なっていてもよい。
【００４３】
重み付け部１３４は、有効性判定部１３３の判定結果に応じて、撮像部１１０によって取得される可視光画像の各画素の輝度信号Ｙｖに重みＷｖを付ける。重み付け部１３４は、重み付け部１３２と同様に重み付けを行う。重み付け部１３４は、可視光画像の各画素について、輝度信号Ｙｖに重みＷｖを乗じた輝度信号ＷｖＩｖを出力する。重み付け部１３４は、第１重み付け部の一例である。
【００４４】
有効性判定部１３３によって有効性があると判定された画素に対して、重み付け部１３４が可視光画像の各画素の輝度信号Ｙｖに付ける重みＷｖは１であり、有効性判定部１３３によって有効性がないと判定された画素に対して、重み付け部１３４が可視光画像の各画素の輝度信号Ｙｖに付ける重みＷｖは０である。重み付け部１３４が重み付けに用いる重みＷｖは、第１重みの一例である。
【００４５】
重み付け部１３５は、重み付け部１３４から入力される重みＷｖを用いて、撮像部１１０によって取得される可視光画像の各画素の色信号Ｃｓに重み付けを行う。重み付け部１３５は、第３重み付け部の一例である。重み付け部１３５が重み付けに用いる重みＷｖは、第３重みの一例である。重み付け部１３５は、重み付けを行った色信号ＷｖＣｓを画像出力部１３７に出力する。
【００４６】
画素値算出部１３６は、重み付け部１３４によって可視光画像の各画素について求められる輝度信号ＷｖＩｖと、重み付け部１３２によって近赤外線画像の各画素について求められる輝度信号ＷｉＩｉとの和を、重み付け部１３４によって付けられる重みＷｖと重み付け部１３２によって付けられる重みＷｉとの和で除算して、各画素の画素値を表す輝度信号Ｙを求める。
【００４７】
すなわち、画素値算出部１３６が各画素について求める輝度信号Ｙは、次式（１）によって表される。
Ｙ＝（Ｙｖ×Ｗｖ＋Ｙｉ×Ｗｉ）／（Ｗｖ＋Ｗｉ）      （１）
【００４８】
画像出力部１３７は、画素値算出部１３６がすべての画素について求める輝度信号Ｙと、重み付け部１３５によって重み付けられた色信号ＷｖＣｓとを含む画像信号をモニタ５０に出力する。
【００４９】
モニタ５０は、車両のダッシュボードやメータパネルに配置される液晶ディスプレイパネル又は有機ＥＬ(Electroluminescence)パネル、又は、ヘッドアップディスプレイ等である。
【００５０】
図２は、可視光画像と近赤外線画像から、画像出力部１３７によってモニタ５０に出力される画像を生成する処理を説明する図である。
【００５１】
可視光画像は、輝度信号Ｙｖを有する画像であり、片側１車線で対向２車線の道路において、左車線を画像の奥に向かって進む車両１のブレーキランプが光っており、ブレーキランプ及びその周辺を表す画素の輝度は、有効性判定部１３３が用いる上限閾値Ｉｍａｘを上回っている。すなわち、白飛びが生じている。また、右車線を画像の手前に向かって進む車両２のヘッドライトが光っており、ヘッドライト及びその周辺を表す画素の輝度は、有効性判定部１３３が用いる上限閾値Ｉｍａｘを上回っている。こちらも白飛びが生じている。
【００５２】
また、可視光画像には、信号機３、標識４Ａ、４Ｂの画像が含まれている。
【００５３】
近赤外線画像には、輝度信号Ｙｉを有する画像であり、車両１、２、及び信号機３に加えて、人間５の画像が含まれているが、標識４Ａ、４Ｂの画像は含まれていない。標識４Ａ、４Ｂの画像は含まれていないのは、近赤外線では近赤外線画像として表示される程度の十分な輝度が得られなかったためである。人間５は、可視光画像では、車両２のヘッドライトの照射光によって埋もれており、確認することができない。
【００５４】
このような可視光画像に対して、有効性判定部１３３が上限閾値Ｉｍａｘ及び下限閾値Ｉｍｉｎを用いて可視光画像の有効性を画素毎に判定し、重み付け部１３４が有効性判定部１３３の判定結果に応じて各画素に重みＷｖを付ける。
【００５５】
また、重み付け部１３５は、重み付け部１３４から入力される重みＷｖを用いて、可視光画像の各画素の色信号Ｃｓに重み付けを行う。
【００５６】
また、近赤外線画像に対して、有効性判定部１３１が上限閾値Ｉｍａｘ及び下限閾値Ｉｍｉｎを用いて近赤外線画像の有効性を画素毎に判定し、重み付け部１３２が有効性判定部１３１の判定結果に応じて各画素に重みＷｉを付ける。
【００５７】
そして、画素値算出部１３６が式（１）を用いて各画素について輝度信号Ｙを求め、すべての画素の輝度信号Ｙと色信号ＷｖＣｓとを含む画像信号が、画像出力部１３７によってモニタ５０に出力され、図２の右に示すように表示される。
【００５８】
モニタ５０に表示される画像では、車両１のブレーキランプと車両２のヘッドライトとその周辺との画素には、近赤外線画像の画像が表示される。有効性判定部１３３が用いる上限閾値Ｉｍａｘを上回ると、重みＷｖが０に設定され、重みＷｉが１に設定されるため、車両１のブレーキランプと車両２のヘッドライトとその周辺との画素には、可視光画像の輝度は含まれず、近赤外線画像の輝度が表示されるからである。また、車両１のブレーキランプと車両２のヘッドライトとその周辺との画素については、重みＷｖが０に設定されるため、色信号Ｃｓの信号レベルはゼロになり、色は付けられない。
【００５９】
この結果、車両１のブレーキランプと車両２のヘッドライトとその周辺との画素は、輝度のみによって白く表示される。
【００６０】
また、車両１のブレーキランプと車両２のヘッドライトとその周辺以外の画素については、重みＷｖ及び重みＷｉがともに１に設定されるため、可視光画像の輝度と、近赤外線画像の輝度とを５０％ずつ含む画像が表示される。また、重みＷｖが１に設定されることにより、重み付けされた色信号Ｃｓの信号レベル（ＷｖＣｓ）はＣｓになり、可視光画像に含まれる色信号が反映される。すなわち、可視光画像と同じように色が付けられる。
【００６１】
この結果、車両１のブレーキランプと車両２のヘッドライトとその周辺以外の画素については、可視光画像の輝度と近赤外線画像の輝度とを５０％ずつ含み、可視光画像と同じように色が付けられた画像が表示される。図２に示すように、信号機３、標識４Ａ、４Ｂ、及び人間５のすべてが表示される。
【００６２】
以上のように、車両１のブレーキランプと、車両２のヘッドライトと、その周辺との画素に白飛びや黒潰れが生じている可視光画像と、同じ被写体についての近赤外線画像とを用いて、有効性判定部１３１及び１３３で近赤外線画像及び可視光画像の有効性を判定し、重み付け部１３２及び１３４で近赤外線画像及び可視光画像に重み付けを行い、さらに重み付け部１３５で色信号Ｃｓに重み付けを行うことにより、図２の右側に示すように、白飛びや黒潰れのない、クリヤな画像を得ることができる。
【００６３】
そして、従来のように、車両や人の検知を行わないので、可視光画像と近赤外線画像とに基づいて、クリヤな画像を確実に取得することができる。
【００６４】
従って、実施の形態１によれば、信頼性の高い画像処理装置１００を提供することができる。
【００６５】
また、撮像部１２０Ｂが受光する近赤外線には、近赤外線照射部１２０Ａから照射されて被写体で反射された近赤外線以外は含まれないため、変調された近赤外線を反射する被写体の反射率を得ることができ、反射率に基づいて、変調された近赤外線を反射する被写体の輝度を求めることができる。
【００６６】
従って、近赤外線照射部１２０Ａが照射する近赤外線以外の影響を排除して、被写体の輝度を正確に捉えることができ、信頼性の高い画像処理装置１００を提供することができる。特に、近赤外線（波長が約０．７μｍ〜２．５μｍ）は、赤外線の中でも逆光の影響を受けやすい遠赤外線（波長が約４μｍ〜１０００μｍ）と異なり、逆光の影響を受けにくいので、被写体の輝度を正確に求めて、信頼性の高い画像を確実に取得することができる。
【００６７】
また、以上では、画像処理装置１００をナイトビュー装置（夜間暗視装置）に適用する形態について説明したが、画像処理装置１００は、同期検波で求める近赤外線画像と可視光画像とを用いるため、日中において逆光等が眩しい状況においても、白飛びや黒潰れを抑制したクリアな画像を提供することができ、日中（日の出から日没までの日照時間帯）においても有用である。
【００６８】
なお、以上では、近赤外線照射部１２０Ａが、数１０ｋＨｚ程度のパルス波又は正弦波を用いて近赤外線を変調し、撮像部１２０Ｂは、近赤外線照射部１２０Ａが変調に用いる搬送波（パルス波又は正弦波）と同一のパルス波又は正弦波を用いて、変調された近赤外線を復調する形態について説明したが、搬送波の波形や周波数は、ここに記載したものに限られず、他の波形（例えば、鋸波等）や周波数の信号を用いてもよい。
【００６９】
また、以上では、近赤外線照射部１２０Ａが所定の変調方式で変調した近赤外線を照射し、撮像部１２０Ｂが近赤外線照射部１２０Ａによって変調された近赤外線を復調し、復調した近赤外線から近赤外線画像を取得する形態について説明したが、近赤外線照射部１２０Ａが変調していない近赤外線を照射するとともに、撮像部１２０Ｂが近赤外線（変調されていない近赤外線）を受光し、受光した近赤外線から近赤外線画像を取得してもよい。
【００７０】
また、以上では、画素値算出部１３６が、輝度信号ＷｖＩｖと、輝度信号ＷｉＩｉとの和を、重みＷｖと重みＷｉとの和で除算して、各画素の画素値を表す輝度信号Ｙを求める形態について説明したが、輝度信号Ｙの求め方は、この手法に限られない。例えば、輝度信号ＷｖＩｖと、輝度信号ＷｉＩｉとの和の平均値を輝度信号Ｙとして求めてもよいし、その他の手法で求めてもよい。
【００７１】
＜実施の形態２＞
図３は、実施の形態２の画像処理装置２００の構成を示す図である。
【００７２】
画像処理装置２００は、実施の形態１の画像処理装置１００の可視光画像及び近赤外線画像をＮ（Ｎは２以上の整数）個の空間周波数の帯域に分割し、各帯域について、実施の形態１と同様の処理を行う点が実施の形態１の画像処理装置１００と異なる。また、さらに、画像処理装置２００は、各帯域について実施の形態１と同様の処理を行って得るＮ個の画像に重み付けを行って合成する点が実施の形態１の画像処理装置１００と異なる。
【００７３】
以下では、実施の形態１との相違点を中心に説明する。実施の形態１の画像処理装置１００と同様の構成要素には同一符号を付し、その説明を省略する。
【００７４】
画像処理装置２００は、撮像部１１０、近赤外線照射部１２０Ａ、撮像部１２０Ｂ、分割部２４０Ａ、２４０Ｂ、信号処理部１３０−１〜１３０−Ｎ、重み付け部２５０Ａ１〜２５０ＡＮ、２５０Ｂ１〜２５０ＢＮ、合成部２６０Ａ、２６０Ｂ、及び画像出力部２７０を含む。画像処理装置２００には、モニタ５０が接続されている。
【００７５】
分割部２４０Ａは、撮像部１１０によって取得される可視光画像の各画素の輝度信号Ｙｖ及び色信号ＣｓをＮ個の空間周波数の帯域に分割し、各帯域に分割したＮ個の輝度信号及び色信号をそれぞれ信号処理部１３０−１〜１３０−Ｎに出力する。分割部２４０Ａは、例えば、ＦＦＴ(Fourier Transform：フーリエ変換)、又は、Wavelet変換等を行うことにより、輝度信号Ｙｖ及び色信号ＣｓをＮ個の空間周波数の帯域に分割すればよい。分割部２４０Ａは、第１分割部の一例である。
【００７６】
空間周波数のＮ個の帯域に分割されたＮ個の可視光画像の輝度信号は、信号処理部１３０−１〜１３０−Ｎの有効性判定部１３３及び重み付け部１３４に入力され、空間周波数のＮ個の帯域に分割したＮ個の色信号は、信号処理部１３０−１〜１３０−Ｎの重み付け部１３５に入力される。
【００７７】
分割部２４０Ｂは、撮像部１２０Ｂによって取得される近赤外線画像の輝度信号ＹｉをＮ個の空間周波数の帯域に分割し、各帯域に分割したＮ個の輝度信号をそれぞれ信号処理部１３０−１〜１３０−Ｎに出力する。空間周波数のＮ個の帯域に分割されたＮ個の近赤外線画像の輝度信号は、信号処理部１３０−１〜１３０−Ｎの有効性判定部１３１及び重み付け部１３２に入力される。分割部２４０Ｂは、第２分割部の一例である。
【００７８】
分割部２４０Ｂは、例えば、ＦＦＴ（フーリエ変換)、又は、Wavelet変換等を行うことにより、輝度信号ＹｉをＮ個の空間周波数の帯域に分割すればよい。
【００７９】
信号処理部１３０−１〜１３０−Ｎは、互いに同一の構成を有し、それぞれが、有効性判定部１３１、重み付け部１３２、有効性判定部１３３、重み付け部１３４、重み付け部１３５、及び画素値算出部１３６を有する。信号処理部１３０−１〜１３０−Ｎは、画像出力部１３７（図１参照）を含まない点が実施の形態１の信号処理部１３０と異なる。画像出力部１３７と同様の処理は、画像出力部２７０が行う。
【００８０】
図３では、信号処理部１３０−１〜１３０−Ｎのすべての内部構成を示す代わりに、信号処理部１３０−２に含まれる有効性判定部１３１、重み付け部１３２、有効性判定部１３３、重み付け部１３４、重み付け部１３５、及び画素値算出部１３６を示す。
【００８１】
信号処理部１３０−１〜１３０−Ｎは、それぞれ、空間周波数のＮ個の帯域に分割されたＮ個の可視光画像の輝度信号、空間周波数のＮ個の帯域に分割したＮ個の色信号、及び、空間周波数のＮ個の帯域に分割されたＮ個の近赤外線画像の輝度信号に基づき、実施の形態１の信号処理部１３０と同様の信号処理を行う。
【００８２】
重み付け部２５０Ａ１〜２５０ＡＮは、それぞれ、信号処理部１３０−１〜１３０−Ｎの重み付け部１３５によって重み付けられた各帯域の色信号に重み付けを行って合成部２６０Ａに出力する。重み付け部２５０Ａ１〜２５０ＡＮで付ける重みＷｆ１〜ＷｆＮは、任意に設定することができ、例えば、ナイトビューの画像として人間に見えやすい色の帯域の重みを重く（値を大きく）設定し、ナイトビューの画像として人間に見えにくい色の帯域の重みを軽く（値を小さく）設定すればよい。また、各帯域の色信号のうち、振幅が大きい帯域の重みが大きくなるように、重みＷｆ１〜ＷｆＮを設定してもよい。また、重み付け部２５０Ａ１〜２５０ＡＮで付ける重みＷｆ１〜ＷｆＮは、重み付けを行った後のナイトビューの画像が人間にとって見え易くなるように、実験等で決めてもよい。
【００８３】
重み付け部２５０Ｂ１〜２５０ＢＮは、それぞれ、信号処理部１３０−１〜１３０−Ｎの重み付け部１３４によって重み付けられた各帯域の輝度信号に重み付けを行って合成部２６０Ｂに出力する。重み付け部２５０Ｂ１〜２５０ＢＮで付ける重みＷｆ１〜ＷｆＮは、任意に設定することができ、例えば、ナイトビューの画像として人間に見えやすい帯域の重みを重く（値を大きく）設定し、ナイトビューの画像として人間に見えにくい帯域の重みを軽く（値を小さく）設定すればよい。
【００８４】
なお、ここでは、一例として重み付け部２５０Ｂ１〜２５０ＢＮで付ける重みＷｆ１〜ＷｆＮが重み付け部２５０Ａ１〜２５０ＡＮで付ける重みＷｆ１〜ＷｆＮとそれぞれ等しい形態について説明するが、重み付け部２５０Ｂ１〜２５０ＢＮで付ける重みＷｆ１〜ＷｆＮと、重み付け部２５０Ａ１〜２５０ＡＮで付ける重みＷｆ１〜ＷｆＮとは異なっていてもよい。
【００８５】
合成部２６０Ａは、重み付け部２５０Ａ１〜２５０ＡＮによって重み付けられた各帯域の色信号を合成して画像出力部２７０に出力する。
【００８６】
合成部２６０Ｂは、重み付け部２５０Ｂ１〜２５０ＢＮによって重み付けられた各帯域の輝度信号を合成して画像出力部２７０に出力する。
【００８７】
画像出力部２７０は、合成部２６０Ａから入力される色信号と、合成部２６０Ｂから入力される輝度信号とを含む画像信号をモニタ５０に出力する。画像出力部２７０は、画像出力部１３７と同様の処理は、画像出力部２７０が行う。
【００８８】
図４は、画像処理装置２００が実行する処理を示すフローチャートである。
【００８９】
処理を開始（スタート）すると、撮像部１１０で可視光画像を取得する（ステップＳ１Ａ）とともに、近赤外線照射部１２０Ａで近赤外線を照射し（ステップＳ１Ｂ１）、近赤外線画像を取得する（ステップＳ１Ｂ２）。
【００９０】
分割部２４０Ａは、撮像部１１０によって取得される可視光画像の各画素の輝度信号Ｙｖ及び色信号ＣｓをＮ個の空間周波数の帯域の輝度信号Ｙｖｋ及び色信号Ｃｓｋに分割する（ステップＳ２Ａ）。
【００９１】
分割部２４０Ｂは、撮像部１２０Ｂによって取得される近赤外線画像の各画素の輝度信号ＹｉをＮ個の空間周波数の帯域の輝度信号Ｙｉｋに分割する（ステップＳ２Ｂ）。
【００９２】
画像処理装置２００は、ｋを０（ｋ＝０）に設定する（ステップＳ３Ａ、Ｓ３Ｂ）。ｋの値は、分割部２４０Ａ及び２４０Ｂによって分割される空間周波数の帯域の数（分割数）であり、１〜Ｎ（Ｎは２以上の整数）の値を取る。
【００９３】
有効性判定部１３３は、各画素の輝度信号Ｙｖｋの有効性を判定する（ステップＳ４Ａ）。有効性の判定は、輝度信号Ｙｖｋが下限閾値ＴｈｖＬ以上、上限閾値ＴｈｖＨ以下であるかどうか（ＴｈｖＬ≦Ｙｖｋ≦ＴｈｖＨが成立するかどうか）を判定することによって行う。
【００９４】
有効性判定部１３１は、各画素の輝度信号Ｙｉｋの有効性を判定する（ステップＳ４Ｂ）。有効性の判定は、輝度信号Ｙｉｋが下限閾値ＴｈｉＬ以上、上限閾値ＴｈｉＨ以下であるかどうか（ＴｈｉＬ≦Ｙｉｋ≦ＴｈｉＨが成立するかどうか）を判定することによって行う。
【００９５】
ここで、まず、ステップＳ５Ａ１〜Ｓ１０Ａについて説明する。
【００９６】
重み付け部１３４は、ステップＳ４Ａにおいて有効性判定部１３３が有効性がある（ＴｈｖＬ≦Ｙｖｋ≦ＴｈｖＨが成立する）と判定すると、重みＷｖｋを重みＷｖｋＨに設定する（ステップＳ５Ａ１）。すなわち、Ｗｖｋ＝ＷｖｋＨとなる。重みＷｖｋＨは、後述する重みＷｖｋＬよりも重い値であり、例えば、１である。
【００９７】
重み付け部１３４は、ステップＳ４Ａにおいて有効性判定部１３３が有効性がない（ＴｈｖＬ≦Ｙｖ≦ＴｈｖＨが成立しない）と判定すると、重みＷｖｋを重みＷｖｋＬに設定する（ステップＳ５Ａ２）。すなわち、Ｗｖｋ＝ＷｖｋＬとなる。重みＷｖｋＬは、重みＷｖｋＨよりも軽い値であり、例えば、０である。
【００９８】
重み付け部１３４は、ステップＳ５Ａ１又はＳ５Ａ２で設定した重みＷｖｋ（ＷｖｋＨ又はＷｖｋＬ）で輝度信号Ｙｖｋに重み付けを行い、輝度信号Ｙｖｋｗを求める（ステップＳ６Ａ）。Ｙｖｋｗ＝Ｙｖｋ×Ｗｖｋである。
【００９９】
重み付け部１３５は、重み付け部１３４が重み付けに用いる重みＷｖｋを用いて、色信号Ｃｓｋに重み付けを行い、色信号Ｃｓｋｗを求める（ステップＳ７Ａ）。Ｃｓｋｗ＝Ｃｓｋ×Ｗｖｋである。
【０１００】
重み付け部２５０Ａｋは、重みＷｆｋで色信号Ｃｓｋｗに重み付けを行い、色信号Ｃｓｋｗｗを求める（ステップＳ８Ａ）。Ｃｓｋｗｗ＝Ｃｓｋｗ×Ｗｆｋである。
【０１０１】
合成部２６０Ａは、色信号を合成し、色信号Ｃｓを求める（ステップＳ９Ａ）。ステップＳ９Ａの処理は、ｋが１からＮになるまで、ステップＳ８Ａで求められる色信号Ｃｓｋｗｗを加算することによって、Ｃｓを求める処理であり、色信号Ｃｓ＝Ｃｓ＋Ｃｓｋｗｗである。
【０１０２】
画像処理装置２００は、ｋ＞Ｎであるかどうかを判定する（ステップＳ１０Ａ）。画像処理装置２００は、ｋ＞Ｎが成立しなければ（Ｓ１０Ａ：ＮＯ）、フローをステップＳ１１Ａに進行させる。
【０１０３】
画像処理装置２００は、ｋをインクリメントする（ステップＳ１１Ａ）。ステップＳ１１Ａの処理が終了すると、フローはステップＳ４Ａにリターンする。この結果、ステップＳ１０Ａにおいてｋ＞Ｎが成立するまでフローが繰り返し実行され、ステップＳ１０Ａでｋ＞Ｎが成立すると、フローはステップＳ１２に進行する。
【０１０４】
重み付け部１３２は、ステップＳ４Ｂにおいて有効性判定部１３１が有効性がある（ＴｈｉＬ≦Ｙｉｋ≦ＴｈｉＨが成立する）と判定すると、重みＷｉｋを重みＷｉｋＨに設定する（ステップＳ５Ｂ１）。すなわち、Ｗｉｋ＝ＷｉｋＨとなる。重みＷｉｋＨは、後述する重みＷｉｋＬよりも重い値であり、例えば、１である。
【０１０５】
重み付け部１３２は、ステップＳ４Ｂにおいて有効性判定部１３１が有効性がない（ＴｈｉＬ≦Ｙｉ≦ＴｈｉＨが成立しない）と判定すると、重みＷｉｋを重みＷｉｋＬに設定する（ステップＳ５Ｂ２）。すなわち、Ｗｉｋ＝ＷｉｋＬとなる。重みＷｉｋＬは、重みＷｉｋＨよりも軽い値であり、例えば、０である。
【０１０６】
重み付け部１３２は、ステップＳ５Ｂ１又はＳ５Ｂ２で設定した重みＷｉｋ（ＷｉｋＨ又はＷｉｋＬ）で輝度信号Ｙｉｋに重み付けを行い、輝度信号Ｙｉｋｗを求める（ステップＳ６Ｂ）。Ｙｉｋｗ＝Ｙｉｋ×Ｗｉｋである。
【０１０７】
画素値算出部１３６は、ステップＳ６Ｂで求められた輝度信号Ｙｉｋｗと、ステップＳ６Ａで求められた輝度信号Ｙｖｋｗとを加算して輝度信号Ｙｋｗを求める（ステップＳ７Ｂ）。Ｙｋｗ＝Ｙｉｋｗ＋Ｙｖｋｗである。
【０１０８】
重み付け部２５０Ａｋは、重みＷｆｋで輝度信号Ｙｋｗに重み付けを行い、輝度信号Ｙｋｗｗを求める（ステップＳ８Ｂ）。輝度信号Ｙｋｗｗ＝Ｙｋｗ×Ｗｆｋである。
【０１０９】
合成部２６０Ｂは、輝度信号を合成し、輝度信号Ｙを求める（ステップＳ９Ｂ）。ステップＳ９Ｂの処理は、ｋが１からＮになるまで、ステップＳ８Ｂで求められる輝度信号Ｙｋｗｗを加算することによって、輝度信号Ｙを求める処理であり、Ｙ＝Ｙ＋Ｙｋｗｗである。
【０１１０】
画像処理装置２００は、ｋ＞Ｎであるかどうかを判定する（ステップＳ１０Ｂ）。画像処理装置２００は、ｋ＞Ｎが成立しなければ（Ｓ１０Ｂ：ＮＯ）、フローをステップＳ１１Ｂに進行させる。
【０１１１】
画像処理装置２００は、ｋをインクリメントする（ステップＳ１１Ｂ）。ステップＳ１１Ｂの処理が終了すると、フローはステップＳ４Ｂにリターンする。この結果、ステップＳ１０Ｂにおいてｋ＞Ｎが成立するまでフローが繰り返し実行され、ステップＳ１０Ｂでｋ＞Ｎが成立すると、フローはステップＳ１２に進行する。
【０１１２】
画像出力部２７０は、輝度信号Ｙと色信号Ｃｓとを含む画像信号をモニタ５０に出力する（ステップＳ１２）。
【０１１３】
以上の処理を行うことにより、分割部２４０ＡによってＮ個の空間周波数の帯域に分割された可視光画像の各画素の輝度信号Ｙｖｋ及び色信号Ｃｓｋと、分割部２４０ＢによってＮ個の空間周波数の帯域に分割された近赤外線画像の各画素の輝度信号Ｙｉｋについて、信号処理部１３０−１〜１３０−Ｎを行い、さらに、各帯域について重み付け部２５０Ａ１〜２５０ＡＮで重み付けを行った後に、合成部２６０Ａによって合成される色信号Ｃｓと、合成部２６０Ｂによって合成される輝度信号Ｙとを含む画像信号をモニタ５０に出力することができる。
【０１１４】
従って、実施の形態２によれば、実施の形態１と同様に、信頼性の高い画像処理装置２００を提供することができる。
【０１１５】
また、実施の形態２では、Ｎ個の空間周波数の帯域で得られる輝度信号Ｙｋｗ（＝Ｙｉｋｗ＋Ｙｖｋｗ）に別々に重み付けを行ってから合成するので、ダイナミックレンジを圧縮しつつ、視認性の高い画像を生成することができ、モニタ５０のダイナミックレンジが小さい場合にも、オーバーフロー／アンダーフローが生じることなく、視認性の高い画像を提供することができる。
【０１１６】
なお、以上では、各帯域の色信号に重み付けを行う重み付け部２５０Ａ１〜２５０ＡＮと、各帯域の輝度信号に重み付けを行う重み付け部２５０Ｂ１〜２５０ＢＮとを含む形態について説明した。
【０１１７】
しかしながら、重み付け部２５０Ａ１〜２５０ＡＮと、重み付け部２５０Ｂ１〜２５０ＢＮとを含まずに、信号処理部１３０−１〜１３０−Ｎから出力される、空間周波数のＮ個の帯域に分割したＮ個の色信号を合成部２６０Ａで合成するとともに、信号処理部１３０−１〜１３０−Ｎから出力される、空間周波数のＮ個の帯域に分割されたＮ個の可視光画像の輝度信号、及び、空間周波数のＮ個の帯域に分割されたＮ個の近赤外線画像の輝度信号を合成部２６０Ｂで合成して、画像出力部２７０からモニタ５０に出力してもよい。
【０１１８】
以上、本発明の例示的な実施の形態の画像処理装置について説明したが、本発明は、具体的に開示された実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【符号の説明】
【０１１９】
１００  画像処理装置
１１０  撮像部
１２０Ａ  近赤外線照射部
１２０Ｂ  撮像部
１３０  信号処理部
１３１  有効性判定部
１３２  重み付け部
１３３  有効性判定部
１３４  重み付け部
１３５  重み付け部
１３６  画素値算出部
１３７  画像出力部
５０  モニタ
２００  画像処理装置
１１０  撮像部
１２０Ａ  近赤外線照射部
１２０Ｂ  撮像部
２４０Ａ、２４０Ｂ  分割部
１３０−１〜１３０−Ｎ  信号処理部
２５０Ａ１〜２５０ＡＮ、２５０Ｂ１〜２５０ＢＮ  重み付け部
２６０Ａ、２６０Ｂ  合成部
２７０  画像出力部
【図１】
2018032952.tif 000003
【図２】
2018032952.tif 000004
【図３】
2018032952.tif 000005
【図４】
2018032952.tif 000006