(57)【要約】  撮影対象を撮影した可視光画像から大気中の粒子による影響を除去し、復元画像の品質を向上させる。画像処理装置は、撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定する推定部と、前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する復元部と、を備える。
2016114148.tif 000002
【特許請求の範囲】
【請求項１】
撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定する推定手段と、
前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する復元手段と、
を備える、画像処理装置。
【請求項２】
前記可視光画像と前記推定された分光反射率比とが入力され、撮影対象の各注目画素における分光反射率比を、前記可視光画像の情報と前記注目画素の周辺領域の分光反射率比とを用いて補正した補正分光反射率比を算出する第１補正手段を更に備え、
前記復元手段は、前記補正分光反射率比と、前記近赤外光画像の輝度を乗算し、前記復元可視光画像を生成する、
請求項１記載の画像処理装置。
【請求項３】
前記第１補正手段は、前記可視光画像の情報を用いて同一領域と見なせる前記注目画素の周辺領域の画素群をそれぞれ抽出し、前記抽出した画素群の分光反射率比に基づき、前記注目画素の分光反射率比を補正する、
請求項２記載の画像処理装置。
【請求項４】
前記第１補正手段は、前記注目画素を含む所定の周辺領域の画素について、合成重みを算出し、前記周辺領域の画素における分光反射率比を合成して前記補正分光反射率比を算出する、
請求項２又は請求項３に記載の画像処理装置。
【請求項５】
前記近赤外光画像の各画素における大気透過率を推定し、前記推定した劣化量を用いて前記近赤外光画像を補正する第２補正手段を更にを備え、
前記復元手段は、推定された前記分光反射率比と前記第２補正手段で補正された補正近赤外光画像の輝度を乗算して前記復元可視光画像を生成する、
請求項１から請求項４のいずれか１つに記載の画像処理装置。
【請求項６】
前記第２補正手段は、前記近赤外光画像における前記各注目画素の画素値を、前記注目画素の周辺領域の前記近赤外光画像の画素値を用いて補正する、
請求項５に記載の画像処理装置。
【請求項７】
前記近赤外光画像を、前記可視光画像を用いて補正する第３補正手段を備え、
前記復元手段は、推定された前記分光反射率比と前記第３補正手段で補正された補正近赤外光画像の輝度を乗算して前記復元可視光画像を生成する、
請求項１から請求項４のいずれか１つに記載の画像処理装置。
【請求項８】
前記近赤外画像と前記可視光画像における所定の画素における、近赤外光の大気透過率が、可視光の大気透過率よりも小さな値を持つ場合、大気透過率の推定誤差があると予測する、
請求項７に記載の画像処理装置。
【請求項９】
撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定し、
前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する、
画像処理方法。
【請求項１０】
コンピュータに、
撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定し、
前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する、
ことを実行させるプログラムを格納する記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置等に関し、近赤外光画像を用いた画像処理に関する。
【背景技術】
【０００２】
霧又は靄の発生時に撮影した可視光画像は、大気中の粒子の影響により、白む、又は、低コントラストとなって画質が劣化する。図１５に示すように、霧又は靄の環境下では、撮影対象の反射光は、撮影対象からカメラまでの経路における大気中の粒子によって拡散され減衰する。また、同時に、環境光も大気中の粒子によって拡散され、その拡散光もカメラの撮像センサに到達する。そのため、カメラの撮像センサに照射される光は、撮影対象からの減衰した反射光と拡散された環境光との混合光となる。撮影対象を撮影した可視光画像から、大気中の粒子の影響を除去するためには、混合光から拡散された環境光の影響を除去し、大気中の粒子による減衰を復元する必要がある。【０００３】
これまで、劣化のない可視画像への復元を実現するために、霧又は靄中の大気における透過率が高く、劣化の少ない近赤外光画像の情報を利用する手法が提案されている。【０００４】
特許文献１は、可視光画像を輝度信号と色差信号に分離し、輝度信号に近赤外信号を合成することで可視光画像を強調する技術を開示する。特許文献２は、低彩度の領域であって、長波長輝度信号の輪郭成分と可視光輝度信号の輪郭成分との差が所定の基準値以上の領域に対し、対象画像の輝度信号を長波長輝度信号で置き換えることで、可視光画像を強調する技術を開示する。【０００５】
特許文献１又は特許文献２の技術は、輝度信号の強調処理であり、強調された画像の視認性は向上する。しかしながら、色情報等に対する画質の向上は図られていない。【０００６】
一方、色情報を含む画質を向上させる画像処理として、非特許文献１が知られている。非特許文献１は、好天時では各画素の周辺にいずれかのカラーチャネルで０の値を持つ画素が存在するという事前知識を用いている。劣化を復元する際に、復元可視光画像と近赤外光画像の局所勾配量が類似するという制約をかけることで、可視光画像の復元性能を向上させている。【０００７】
なお、特許文献３には、蛍光物質を含む試料における蛍光波長域と蛍光波長域外の長波長域を測定する分光測定の技術が記載されている。また、特許文献４には、印刷物の反射光による物体色と、表示画面上の光源色を一致させる技術が記載されている。さらに、特許文献５には、赤外像を可視像または近赤外像に変換する技術が記載されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１３−２５５１４４号公報
【特許文献２】特開２０１０−１７８０３６号公報
【特許文献３】特開２０１２−０４２３１３号公報
【特許文献４】特開平０９−１０２８８２号公報
【特許文献５】特開平０６−１２１２３２号公報
【非特許文献】
【０００９】
【非特許文献１】Ｃ．Ｆｅｎｇ，Ｓ．Ｚｈｕｏ，Ｘ．Ｚｈａｎｇ，Ｌ．Ｓｈｅｎ  ａｎｄ  Ｓ．Ｓｕｓｓｔｒｕｎｋ，“Ｎｅａｒ−Ｉｎｆｒａｒｅｄ  Ｇｕｉｄｅｄ  Ｃｏｌｏｒ  Ｉｍａｇｅ  Ｄｅｈａｚｉｎｇ”  ＩＥＥＥ  ２０ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  （ＩＣＩＰ），Ｍｅｌｂｏｕｒｎｅ，Ａｕｓｔｒａｌｉａ，Ｓｅｐｔｅｍｂｅｒ  １５−１８，２０１３
【発明の概要】
【発明が解決しようとする課題】
【００１０】
非特許文献１の技術は、復元可視光画像と近赤外光画像の局所勾配量の比が１：１であると仮定して処理している。しかし、一般に、可視光画像と近赤外光画像の局所勾配量との比は物体の反射特性に依存するため、その関係が必ずしも成り立つわけではない。その結果、処理後の復元画像で過度の強調または劣化復元の不足が発生することになり、高品質な復元画像を生成することができない。【００１１】
このように、撮影対象を撮影した可視光画像から大気中の粒子による影響を除去し、復元画像の品質を向上させることが可能な画像処理装置等が望まれている。【００１２】
本発明の目的は、上記の課題を解決する画像処理装置等を提供することにある。
【課題を解決するための手段】
【００１３】
本発明の一態様である画像処理装置は、撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定する推定部を備える。さらに、画像処理装置は、前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する復元部と、を備える。【００１４】
本発明の一態様である画像処理方法は、撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定する。さらに、画像処理方法は、前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する。【００１５】
本発明の一態様であるプログラムを格納する記録媒体は、コンピュータに、撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定し、前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する、ことを実行させる。
【発明の効果】
【００１６】
本発明は、撮影対象を撮影した可視光画像から大気中の粒子による影響を除去し、復元画像の品質を向上させることができる。
【図面の簡単な説明】
【００１７】
【図１】第１の実施形態による画像処理装置の構成を示すブロック図である。
【図２】第１の実施形態による画像処理装置の動作を示すフローチャートである。
【図３】第２の実施形態による画像処理装置の構成を示すブロック図である。
【図４】第２の実施形態による画像処理装置の動作を示すフローチャートである。
【図５】第３の実施形態による画像処理装置の構成を示すブロック図である。
【図６】第３の実施形態による画像処理装置の動作を示すフローチャートである。
【図７】第３の実施形態による画像処理装置の構成の変形例を示すブロック図である。
【図８】第３の実施形態による画像処理装置の変形例の動作を示すフローチャートである。
【図９】第４の実施形態による画像処理装置の構成を示すブロック図である。
【図１０】第４の実施形態による画像処理装置の動作を示すフローチャートである。
【図１１】第４の実施形態による画像処理装置の構成の変形例を示すブロック図である。
【図１２】第４の実施形態による画像処理装置の変形例の動作を示すフローチャートである。
【図１３】環境光の算出方法を表す説明図である。
【図１４】第１〜４の実施形態による画像処理装置をコンピュータで実現するためのハードウエア構成を示すブロック図である。
【図１５】霧の発生時における光の経路を表すモデル図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について図面を用いて説明する。なお、実施形態の構成を説明する図面中の矢印の方向は、一例を示すものであり、ブロック間の信号の向きを限定するものではない。
【００１９】
（第１の実施形態）
本発明の第１の実施形態による画像処理装置について、図面を用いて詳細に説明する。図１は、第１の実施形態による画像処理装置の構成を示すブロック図である。第１の実施形態の画像処理装置１０は、推定部１１と、復元部１２と備える。
【００２０】
撮影対象を撮影した可視光画像（以後、撮影可視光画像と示す）と撮影対象を撮影した近赤外光画像（撮影近赤外光画像）とが、推定部１１に入力される。推定部１１は、各画素位置における撮影対象の、可視光波長領域における分光反射率と、近赤外光波長領域における分光反射率との比を表す分光反射率比を推定する。
【００２１】
推定部１１における分光反射率比の推定について説明する。図１５に示すように、霧の環境においては、撮影対象からの反射光は、撮影対象からカメラまでの経路における霧の粒子によって拡散され減衰する。また、同時に、環境光も霧の粒子によって拡散され、その拡散光もカメラの撮像センサ（図示せず）に到達する。そのため、カメラの撮像センサに照射される光は、減衰した撮影対象からの反射光と拡散された環境光との混合光となる。
【００２２】
このとき、カメラの撮像センサの画素位置ｘにおけるカラーチャネルｃで観測された可視光の輝度ＩＣ（ｘ）は、撮影対象表面の反射光の輝度ＪＣ（ｘ）と環境光の輝度ＡＣとを用いて、式（１）で表される。ただし、ｔ（ｘ）は、可視光の大気透過率を表す。なお、式（１）は、非特許文献１に記載されている霧モデルである。
【００２３】
また、同様に、画素位置ｘにおける観測された近赤外光の輝度Ｉｉｒ（ｘ）は、同位置における反射光の輝度Ｊｉｒ（ｘ）と環境光の輝度Ａｉｒおよび近赤外光の大気透過率ｔｉｒ（ｘ）とを用いて、式（２）で表される。
【００２４】
可視光の反射光ＪＣ（ｘ）及び近赤外光の反射光Ｊｉｒ（ｘ）は、同位置における撮影対象の分光反射率ＲＣ（ｘ）及びＲｉｒ（ｘ）と、光源から撮影対象への照射光の強度及び撮影対象の形状で形成される画像中の陰影を表すパラメータｌ（ｘ）とを用いて、式（３）及び式（４）のように表すことができる。
Ｉｃ（ｘ）＝ｔ（ｘ）・Ｊｃ（ｘ）＋（１−ｔ（ｘ））・Ａｃ            （１）
Ｉｉｒ（ｘ）＝ｔｉｒ（ｘ）・Ｊｉｒ（ｘ）＋（１−ｔｉｒ（ｘ））・Ａｉｒ    （２）
Ｊｃ（ｘ）＝ｌ（ｘ）・Ｒｃ（ｘ）                                （３）
Ｊｉｒ（ｘ）＝ｌ（ｘ）・Ｒｉｒ（ｘ）                                （４）
近赤外光の大気の透過率は、霧中において、可視光と比較して高いことが知られている。そのため、第１の実施形態では、霧中の近赤外光の拡散は無視できるレベルであるとする。大気透過率ｔｉｒ（ｘ）を１．０と設定すると、式（２）で表される観測された近赤外光Ｉｉｒ（ｘ）は、式（５）のように書き換えることができる。
Ｉｉｒ（ｘ）＝Ｊｉｒ（ｘ）                                        （５）
一般に、大気中の光の透過率は、大気中の粒子の大きさや密度、撮影対象までの距離に依存する。また、画像中の撮影対象の陰影は、照射光の強度と撮影対象の形状に依存する。そのため、可視光の大気透過率ｔ（ｘ）と陰影を表すパラメータｌ（ｘ）は無相関であり、その関係は、式（６）のように表すことができる。ただし、関数Ｃｏｖ（・）は、共分散を表す。
Ｃｏｖ（ｔ−１，ｌ）＝０                                      （６）
分光反射率Ｒｃ（ｘ）およびＲｉｒ（ｘ）が画像内で一定である場合、分光反射率Ｒｃ（ｘ）とＲｉｒ（ｘ）との分光反射率比αｃは、式（１）、（３）、（４）、（５）および（６）を統合し、式（７）のように表すことができる。
2016114148.tif 000003
【００２５】
各画素位置について、当該画素を中心とした領域Ｍ×Ｎ（Ｍ，Ｎは整数）において分光反射率Ｒｃ（ｘ）およびＲｉｒ（ｘ）が一定であると仮定し、推定部１１は、式（７）を用いて、当該画素における分光反射率の比α（ｘ）を推定する。ここで、環境光Ａｃの算出方法として、観測画像における輝度と、その輝度の画素の数との関係から求める例がる。例えば、図１３に示すように、観測画像の各カラーチャネルのヒストグラムを生成する。図１３のグラフにおいて、横軸はカラーチャネルにおける輝度を示し、縦軸はその輝度の画素の数（出現頻度）を示す。図中、ヒストグラムにおける輝度の小さい方（原点側）から画素の数を加算していき、予め指定された加算による累積値に達した輝度位置の輝度をＡｃとする。尚、環境光の輝度Ａｃに対して、ある所定の比率を掛けたり、リミッタを設けたりしてもよい。
【００２６】
復元部１２には、撮影近赤外光画像と、推定部１１で推定された分光反射率比とが入力され、復元可視光画像が生成される。式（３）および式（４）を統合すると、可視光波長領域における反射光と近赤外光波長領域における反射光の関係は、式（８）のように表される。
2016114148.tif 000004
【００２７】
復元部１２は、撮影近赤外光画像と、分光反射率Ｒｃ（ｘ）とＲｉｒ（ｘ）との分光反射率比αｃをもとに、式（８）を用いて、各画素位置で、推定された分光反射率比と撮影近赤外光画像の輝度とを乗算し、復元可視光画像を生成する。
【００２８】
次に、第１の実施形態による画像処理装置の動作について図面を用いて説明する。図２は、第１の実施形態による画像処理装置の動作を示すフローチャートである。
【００２９】
撮影可視光画像と撮影近赤外光画像とが推定部１１に入力される。推定部１１は、各画素位置における撮影対象の、可視光波長領域における分光反射率と近赤外光波長領域における分光反射率の比を表す分光反射率比を推定する（Ｓ１）。
【００３０】
復元部１２は、撮影近赤外光画像と、推定部１１で推定された分光反射率比とに基づき、復元可視光画像を生成する。（Ｓ２）
（第１の実施形態の効果）
第１の実施形態の画像処理装置１０は、撮影対象を撮影した可視光画像から大気中の粒子による影響を除去し、復元画像の品質を向上させることができる。その理由は、各画素位置における撮影対象の可視光波長領域における分光反射率と近赤外光波長領域における分光反射率の比を表す分光反射率比を推定し、各画素位置における推定された分光反射率比と撮影近赤外光画像とを用いて復元可視光画像を生成するからである。
【００３１】
（第２の実施形態）
次に、本発明の第２の実施形態による画像処理装置について、図面を用いて説明する。
【００３２】
図３は、本発明の第２の実施形態による画像処理装置の構成を示すブロック図である。第２の実施形態の画像処理装置２０は、推定部１１と、復元部１２と、第１補正部２３と、を備える。第２の実施形態の画像処理装置２０は、第１の実施形態の画像処理装置１０と比較して、第１補正部２３を備える点で異なる。以下、第２の実施形態について、相違する構成を主に説明し、第１の実施形態と同様の構成には、同じ符号を附して詳細な説明は省略する。
【００３３】
画像処理装置２０の第１補正部２３には、撮影した可視光画像（撮影可視光画像）と推定部１１で推定された分光反射率比とが入力される。続いて、第１補正部２３は、撮影対象の各注目画素における分光反射率比を、撮影可視光画像の情報と注目画素の周辺領域の分光反射率比とを用いて補正した分光反射率比（以後、補正分光反射率比と示す。）を推定する。
【００３４】
推定部１１で推定された分光反射率比は、当該画素を中心とした周辺領域において分光反射率が一定である前提のもと、式（７）を用いて推定される。しかし、実際には、撮影対象の模様や撮影対象間境界等で当該前提が成立していない場合が存在する。このような場合には、式（７）によって推定された分光反射率比に誤差が発生し、復元部１２による復元処理に失敗する場合がある。そこで、第１補正部２３は、可視光画像の情報を利用して同一領域と見なせる注目画素周辺の画素群をそれぞれ抽出し、これらの画素群の分光反射率比をもとにして、注目画素の分光反射率比を補正する。
【００３５】
分光反射率比の補正方法の一つとして、可視光画像の色情報をもとにした合成重みにより分光反射率比の平滑化を実施する方法がある。合成重みの算出方法として、可視光画像の各画素におけるＨＳＶ表色系における色相Ｈを利用する方法がある。画素位置ｘの注目画素の分光反射率比に対する、周辺画素の画素位置ｙにおける合成重みｗ（ｘ、ｙ）は、式（９）で表される色相間の距離ｄ（ｘ、ｙ）を用いて式（１０）で算出される。ただし、Ｈ（ｘ）、Ｈ（ｙ）は、ＨＳＶ表色系における色相Ｈであり、σＨ２は、あらかじめ設定されたパラメータである。
2016114148.tif 000005
【００３６】
2016114148.tif 000006
【００３７】
第１補正部２３は、注目画素を含む所定の周辺画素について、合成重みを算出し、式（１１）を用いて、周辺画素における分光反射率比α（ｙ）を合成することで、補正分光反射率比α’（ｘ）を算出する。
2016114148.tif 000007
【００３８】
なお、第１補正部２３は、式（９）の色相間の距離の算出に、Ｌ＊Ｃ＊ｈ表色系における色相ｈを用いてもよい。また、色相間の距離の算出に、ｙｕｖ表色系におけるｕｖ平面上で原点を中心に注目画素の色位置と周辺画素の色位置がなす角θを用いてもよい。また、式（１０）による合成重みの算出は、距離ｄ（ｘ，ｙ）が小さい値ほど大きな値を算出し、大きな値になるほど小さい値を算出する特性のある別の関数を用いてもよい。あるいは、合成重みの算出として、あらかじめ手動で設定された色相間の距離に対する合成重みを保持するテーブルから距離ｄ（ｘ，ｙ）に対応する合成重みを読み出す方法を用いてもよい。
【００３９】
画像処理装置２０の復元部１２には、撮影近赤外光画像と第１補正部２３からの補正分光反射率比とが入力され、復元可視光画像が生成される。復元部１２における生成処理において、復元部１２への入力は分光反射率比から補正分光反射率比に変わっている。
【００４０】
次に、第２の実施形態による画像処理装置の動作について図面を用いて説明する。図４は、第２の実施形態による画像処理装置の動作を示すフローチャートである。
【００４１】
画像処理装置２０の推定部１１には、撮影可視光画像と撮影近赤外光画像とが入力される。推定部１１は、各画素位置における撮影対象の、可視光波長領域における分光反射率と近赤外光波長領域における分光反射率の比である分光反射率比を推定する（Ｓ１０１）。
画像処理装置２０の第１補正部２３には、撮影可視光画像と推定部１１で推定された分光反射率比とが入力される。第１補正部２３は、各注目画素における分光反射率比を、撮影可視光画像の情報と注目画素周辺の分光反射率比とを用いて補正し、補正分光反射率比を算出する（Ｓ１０２）。
【００４２】
画像処理装置２０の復元部１２には、撮影近赤外光画像と、第１補正部２３で補正された補正分光反射率比とが入力され、復元可視光画像が生成される（Ｓ１０３）。
（第２の実施形態の効果）
第２の実施形態の画像処理装置２０は、第１の実施形態の画像処理装置１０と同様に、撮影対象を撮影した可視光画像から大気中の粒子による影響を除去し、復元画像の品質を向上させることができる。
【００４３】
更に、第２の実施形態の画像処理装置２０は、撮影対象の模様、又は、撮影対象間の境界等の存在に起因する可視光画像の復元処理の失敗を低減することができる。その理由は、第１補正部２３が、可視光画像の情報を利用して同一領域と見なせる注目画素周辺の画素群をそれぞれ算出し、これらの画素群の分光反射率比をもとにして、注目画素の分光反射率比を補正するからである。
【００４４】
（第３の実施形態）
次に、本発明の第３の実施形態による画像処理装置について、図面を用いて説明する。
【００４５】
図５は、本発明の第３の実施形態による画像処理装置の構成を示すブロック図である。第３の実施形態の画像処理装置３０は、推定部１１と、復元部１２と、第１補正部２３と、第２補正部３４とを備える。第３の実施形態の画像処理装置３０は、第２の実施形態の画像処理装置２０と比較して、第２補正部３４を備える点で異なる。以下、第３の実施形態について、相違する構成を主に説明し、第２の実施形態と同様の構成には同じ符号を附して説明を省略する。
【００４６】
撮影近赤外光画像が第２補正部３４に入力され、第２補正部３４は、撮影近赤外光画像の各画素における大気中の粒子の影響による劣化量を推定し、撮影近赤外光画像から劣化を低減させて、補正された近赤外光画像（以後、補正近赤外光画像）を生成する。
【００４７】
第１の実施形態および第２の実施形態では、撮影近赤外光画像における霧の影響による劣化は無視できるものとし、式（２）における近赤外光の大気透過率ｔｉｒ（ｘ）を１．０に設定して処理を実行している。しかし、実際には、無視できない程度の劣化が発生している場合がある。そのため、第２補正部３４は、撮影近赤外光画像の各画素における大気透過率ｔｉｒ（ｘ）を推定し、大気中の粒子の影響による劣化を低減させる。
【００４８】
近赤外光の大気透過率ｔｉｒ（ｘ）の推定方法として、好天時では各画素の周辺には０の値を持つ画素が存在するという事前知識を用いる方法がある。画素位置ｘの注目画素を含む周辺画素の画素位置ｙの最小画素値ｐｉｒ（ｘ）は、式（１２）を用いて算出できる。
2016114148.tif 000008
【００４９】
算出された最小画素値は、大気中の粒子によって拡散された環境光の影響であると考えると、注目画素における大気透過率ｔｉｒ（ｘ）は、式（１３）のように表される。
2016114148.tif 000009
【００５０】
したがって、画素位置ｘにおける近赤外領域における反射光Ｊｉｒ（ｘ）は、式（１４）を用いて算出できる。なお、Ｉｉｒ（ｘ）は観測された近赤外光を、Ａｉｒは環境光（近赤外光）表す。
2016114148.tif 000010
【００５１】
第２補正部３４は、式（１４）を用いて各画素における反射光Ｊｉｒ（ｘ）を算出し、補正近赤外光画像として出力する。なお、第２補正部３４は、式（１３）の大気透過率の算出の際に、最小画素値ｐｉｒ（ｘ）に対して、上限値を設けてもよい。あるいは、あらかじめ設定された係数を乗算する等の補正を行ってもよい。また、大気透過率ｔｉｒ（ｘ）は、注目画素周辺の近赤外光画像の輝度、又は、算出された大気透過率の値を用いて補正してもよい。例えば、画素位置ｘの注目画素に対する周辺画素の画素位置ｙにおける合成重みｗｉｒ（ｘ，ｙ）を、式（１５）を用いて算出し、式（１６）を用いて周辺画素における算出された大気透過率の値を合成することで、注目画素の大気透過率の値を補正することができる。ただし、σｉｒ２は、あらかじめ設定されたパラメータである。
2016114148.tif 000011
【００５２】
2016114148.tif 000012
【００５３】
画像処理装置３０の推定部１１には、撮影可視光画像と第２補正部３４からの補正近赤外光画像とが入力され、分光反射率比が推定される。画像処理装置３０の推定部１１における推定処理において、推定部１１への入力の一部は撮影近赤外光画像から補正近赤外光画像に変わっている。
【００５４】
画像処理装置３０の復元部１２には、第１補正部２３からの補正分光反射率比と第２補正部３４からの補正近赤外光画像とが入力され、復元可視光画像が生成される。画像処理装置３０の復元部１２における生成処理において、復元部１２への入力の一部は撮影近赤外光画像から補正近赤外光画像に変わっている。
【００５５】
次に、第３の実施形態による画像処理装置の動作について図面を用いて説明する。図６は、第３の実施形態による画像処理装置の動作を示すフローチャートである。
【００５６】
初めに、撮影した近赤外光画像が、画像処理装置３０の第２補正部３４に入力される。第２補正部３４は、撮影近赤外光画像における大気中の粒子による劣化量を推定し、劣化を低減させて撮影近赤外光画像を補正し、補正近赤外光画像を生成する（Ｓ２０１）。
【００５７】
画像処理装置３０の推定部１１には、撮影可視光画像と第２補正部３４からの補正近赤外光画像とが入力される。推定部１１は、各画素位置における撮影対象の、可視光波長領域と近赤外光波長領域における分光反射率比を推定する（Ｓ２０２）。
【００５８】
画像処理装置３０の第１補正部２３は、撮影可視光画像と推定部１１からの分光反射率比とが入力される。第１補正部２３は、各注目画素における分光反射率比を、撮影可視光画像の情報と注目画素周辺の分光反射率比とを用いて補正し、補正分光反射率比を算出する（Ｓ２０３）。
【００５９】
画像処理装置３０の復元部１２に、第２補正部３４からの補正近赤外光画像と第１補正部２３からの補正分光反射率比とが入力され、復元可視光画像が生成される（Ｓ２０４）。
【００６０】
（第３の実施形態の効果）
第３の実施形態の画像処理装置３０は、第２の実施形態の画像処理装置２０と同様に、撮影対象を撮影した可視光画像から大気中の粒子による影響を除去し、復元画像の品質を向上させることができる。
【００６１】
更に、第３の実施形態の画像処理装置３０は、撮影対象の模様、又は、撮影対象間の境界等の存在に起因する可視光画像の復元処理の失敗を低減することができる。
【００６２】
更に、第３の実施形態の画像処理装置３０は、第２の実施形態よりも高品質な復元画像を生成できる。その理由は、第２補正部３４は、近赤外光画像の各画素における大気透過率を算出し、近赤外光画像における大気中の粒子による劣化を低減させる補正を実行するからである。
【００６３】
（第３の実施形態の変形例）
次に、第３の実施形態の変形例について、説明する。第３の実施形態による画像処理装置３０は、第２補正部３４を第２の実施形態の画像処理装置２０に設ける例であるが、第２補正部３４を第１の実施形態の画像処理装置１０に設けてもよい。図７は、第３の実施形態の変形例である画像処理装置３１の構成を示すブロック図である。図７に示す画像処理装置３１は、推定部１１と、復元部１２と、第２補正部３４を備える。
【００６４】
画像処理装置３１の第２補正部３４に、撮影近赤外光画像が入力される。第２補正部３４は、撮影近赤外光画像における大気中の粒子の影響による劣化量を推定し、劣化を低減するように補正された近赤外光画像（以後、補正近赤外光画像）を生成する。画像処理装置３１の第２補正部３４における近赤外光画像の補正処理は、第３の実施形態の画像処理装置３０の第２補正部３４の補正処理と同様である。
【００６５】
画像処理装置３１の推定部１１に、撮影可視光画像と第２補正部３４からの補正近赤外光画像とが入力され、分光反射率比が推定される。画像処理装置３１の推定部１１における推定処理は、画像処理装置３０の推定部１１の推定処理と同様である。
【００６６】
画像処理装置３１の復元部１２に、推定部１１からの分光反射率比と第２補正部３４で補正された補正近赤外光画像とが入力され、復元可視光画像が生成される。画像処理装置３１の復元部１２における生成処理において、復元部１２への入力の一部は撮影近赤外光画像から補正近赤外光画像に変わっている。
【００６７】
図８は、第３の実施形態の変形例による画像処理装置の動作を示すフローチャートである。
【００６８】
初めに、画像処理装置３１の第２補正部３４に、撮影した近赤外光画像が入力され、第２補正部３４は、撮影近赤外光画像における大気中の粒子による劣化量を算出し、算出された劣化を低減させることで撮影近赤外光画像を補正し、補正近赤外光画像を生成する（Ｓ２１１）。
【００６９】
画像処理装置３０の推定部１１に、撮影可視光画像と第２補正部３４からの補正近赤外光画像とが入力される。推定部１１は、各画素位置における撮影対象の、可視光波長領域と近赤外光波長領域における分光反射率比を推定する（Ｓ２１２）。
【００７０】
画像処理装置３０の復元部１２に、第２補正部３４からの補正近赤外光画像と推定部１１からの分光反射率比とが入力され、復元可視光画像が生成される（Ｓ２１４）。
【００７１】
（第３の実施形態の変形例の効果）
第３の実施形態の変形例である画像処理装置３１は、第１の実施形態の画像処理装置１０と同様に、撮影対象を撮影した可視光画像から大気中の粒子の影響を除去して、復元画像の品質を向上させることができる。
【００７２】
更に、画像処理装置３１は、近赤外光画像における大気中の粒子の影響を除去し、復元可視光画像の第１の実施形態よりも高品質な復元画像を生成できる。その理由は、第２補正部３４は、近赤外光画像の各画素における大気透過率を推定し、大気中の粒子の影響による劣化を低減させる補正を実行するからである。
【００７３】
（第４の実施形態）
次に、本発明の第４の実施形態による画像処理装置について、図面を用いて説明する。
【００７４】
図９は、本発明の第４の実施形態による画像処理装置の構成を示すブロック図である。第４の実施形態の画像処理装置４０は、推定部１１と、復元部１２と、第１補正部２３と、第３補正部４４と、を備える。第４の実施形態の画像処理装置４０は、第３の実施形態の画像処理装置３０と比較して、第２補正部３４が、第３補正部４４となっている点で異なる。第３補正部４４は、撮影対象を撮影した近赤外光画像における大気中の粒子の影響を除去するために、撮影可視光画像を利用する点で、第２補正部３４と異なる。以下、第４の実施形態について、相違する構成を主に説明し、第３の実施形態と同様の構成には同じ符号を附して説明を省略する。
【００７５】
第３補正部４４に、撮影可視光画像と撮影近赤外光画像とが入力される。第３補正部４４は、撮影近赤外光画像における大気中の粒子の影響による劣化量を推定し、撮影近赤外光画像における劣化を低減させた補正近赤外光画像を生成する。第３補正部４４は、追加入力として撮影可視光画像の情報を用いることにより、近赤外光の大気透過率ｔｉｒ（ｘ）の推定精度を向上させる。撮影可視光画像の情報を用いる方法として、可視光の大気透過率推定を利用する方法がある。一般に、近赤外光の大気透過率は、可視光の大気透過率と比較して高いことが知られている。そのため、近赤外光の推定大気透過率が可視光の推定大気透過率よりも小さな値を持つ場合には、何らかの推定誤差が発生していることが予測される。そこで、第３補正部４４は、可視光において、好天時では各画素の周辺にはいずれかのカラーチャネルで０の値を持つ画素が存在するという事前知識を用いる。第３補正部４４は、可視光の大気透過率を推定し、式（１２）および式（１３）で算出された近赤外光の大気透過率を修正することにより、式（１４）による近赤外光の補正性能を向上させる。
【００７６】
可視光の大気透過率ｔｖ（ｘ）の推定方法の一例として、式（１８）のように、周辺画素の輝度の最小値を利用する方法がある。式（１８）は、ある周辺画素ｙにおける各カラーチャネルの輝度のうち環境光の中の割合が最も小さい値を求め、さらに各周辺画素ｙのうち最も小さい値を求めて可視光の大気透過率を推定する方法である。
2016114148.tif 000013
【００７７】
近赤外光の大気透過率の修正は、式（１２）および式（１３）で算出された近赤外光の大気透過率ｔｉｒ（ｘ）と可視光の大気透過率ｔｖ（ｘ）のうち小さくない方を、式（１９）を用いて求めることで実行される。
2016114148.tif 000014
【００７８】
なお、第３補正部４４は、算出された可視光の大気透過率ｔｖ（ｘ）を予め下限値を設定しておき、設定された下限値より小さくならないよう補正してもよい。また、算出された可視光の大気透過率ｔｖ（ｘ）に対して、予め設定された係数を乗算する、あるいは、設定された指数値を用いてべき乗処理することで補正してもよい。
【００７９】
第４の実施形態の画像処理装置４０は、第３の実施形態の画像処理装置３０の第２補正部３４が第３補正部４４に置き換わっている。このため、画像処理装置４０の推定部１１には、撮影可視光画像と第３補正部４４からの補正近赤外光画像とが入力され、分光反射率比が推定される。画像処理装置４０の推定部１１における推定処理において、推定部１１への入力の一部は撮影可視光画像の情報が考慮された補正近赤外光画像に変わっている。
【００８０】
また、画像処理装置４０の復元部１２に、第１補正部２３からの補正分光反射率比と第３補正部４４からの補正近赤外光画像とが入力され、復元可視光画像が生成される。画像処理装置４０の復元部１２における生成処理において、第３の実施形態による画像処理装置３０の復元部１２への入力の一部は撮影可視光画像の情報が考慮された補正近赤外光画像に変わっている。
【００８１】
次に、第４の実施形態による画像処理装置の動作について図面を用いて説明する。図１０は、第４の実施形態による画像処理装置の動作を示すフローチャートである。
【００８２】
画像処理装置４０の第３補正部４４に、撮影可視光画像と撮影近赤外光画像が入力される。第３補正部４４は、撮影近赤外光画像における大気中の粒子の影響による劣化量を算出し、撮影近赤外光画像の劣化を低減させる補正をし、補正近赤外光画像を生成する（Ｓ３０１）。
【００８３】
画像処理装置４０の推定部１１に、撮影可視光画像と補正近赤外光画像とが入力され、推定部１１は、各画素位置における撮影対象の、可視光波長領域と近赤外光波長領域における分光反射率比を推定する（Ｓ３０２）。
【００８４】
画像処理装置４０の第１補正部２３に、撮影可視光画像と推定部１１からの分光反射率比とが入力される。第１補正部２３は、各注目画素における分光反射率比を、撮影可視光画像の情報と注目画素周辺の分光反射率比とを用いて補正し、補正分光反射率比を算出する（Ｓ３０３）。
【００８５】
画像処理装置４０の復元部１２に、第３補正部４４からの補正近赤外光画像と第１補正部２３からの補正分光反射率比が入力され、復元可視光画像が生成される（Ｓ３０４）。
【００８６】
（第４の実施形態の効果）
第４の実施形態の画像処理装置４０は、第１の実施形態の画像処理装置１０と同様に、撮影対象を撮影した可視光画像から大気中の粒子による影響を除去し、高品質な復元画像を生成できる。
【００８７】
更に、画像処理装置４０は、撮影対象の模様、又は、撮影対象間の境界等の存在に起因する可視光画像の復元処理の失敗を低減することができる。
【００８８】
更に、画像処理装置４０は、近赤外光画像から大気中の粒子による影響を除去し、復元可視光画像の第３の実施形態よりも高品質な復元画像を生成できる。
【００８９】
その理由は、第３補正部４４は、近赤外光画像の各画素における大気透過率を推定し、大気中の粒子の影響による劣化を低減させる補正を実行する。その際に、撮影可視光画像の情報を用いることにより、近赤外光の大気透過率の推定精度を向上できるからである。
【００９０】
（第４の実施形態の変形例）
次に、第４の実施形態の変形例について説明する。第４実施形態による画像処理装置４１は、第２の実施形態の画像処理装置２０に第３補正部４４を設ける例である。
【００９１】
図１１は、第４の実施形態の変形例である画像処理装置４１の構成を示すブロック図である。図１１に示す画像処理装置４１は、推定部１１と、復元部１２と、第３補正部４４を備える。
【００９２】
画像処理装置４１の第３補正部４４に、撮影近赤外光画像が入力される。第３補正部４４は、撮影近赤外光画像における大気中の粒子の影響による劣化量を推定し、撮影近赤外光画像の劣化を低減する補正をし、補正近赤外光画像を生成する。画像処理装置４１の第３補正部４４における近赤外光画像の補正処理は、第４の実施形態の画像処理装置４０の第３補正部４４の補正処理と同様である。
【００９３】
画像処理装置４１の推定部１１に、撮影可視光画像と第３補正部４４からの補正近赤外光画像とが入力され、分光反射率比が推定される。画像処理装置４１の推定部１１における推定処理は、画像処理装置３１の推定部１１の推定処理と同様である。
【００９４】
画像処理装置４１の復元部１２に、推定部１１からの分光反射率比と第３補正部４４からの補正近赤外光画像とが入力され、復元可視光画像が生成される。画像処理装置４１の復元部１２における生成処理は、復元部１２への入力の一部が撮影近赤外光画像から補正近赤外光画像に変わっている。
図１２は、第４の実施形態の変形例による画像処理装置の動作を示すフローチャートである。
【００９５】
初めに、画像処理装置４１の第３補正部４４に、撮影近赤外光画像が入力される。第３補正部４４は、撮影近赤外光画像における大気中の粒子による劣化量を推定し、撮影近赤外光画像の劣化を低減する補正をし、補正近赤外光画像を生成する（Ｓ３０１）。
【００９６】
画像処理装置４１の推定部１１に、撮影可視光画像と第３補正部４４からの補正近赤外光画像とが入力される。推定部１１は、各画素位置における撮影対象の、可視光波長領域と近赤外光波長領域における分光反射率比を推定する（Ｓ３０２）。
【００９７】
画像処理装置４１の復元部１２に、第３補正部４４からの補正近赤外光画像と推定部１１からの分光反射率比とが入力され、復元可視光画像が生成される（Ｓ３１４）。
【００９８】
なお、第４の実施形態の変形例として、第２の実施形態の画像処理装置２０に第３補正部４４を設ける例を説明したが、これに限られない。例えば、第３の実施形態の変形例である画像処理装置３１の第２補正部３４を第３補正部４４に置き換えてもよい。
（第４の実施形態の変形例の効果）
第４の実施形態の変形例である画像処理装置４１は、第１の実施形態の画像処理装置１０と同様に、撮影可視光画像から大気中の粒子の影響を除去して、高品質な復元画像を生成できる。
【００９９】
更に、画像処理装置４１は、撮影近赤外光画像における大気中の粒子の影響を除去し、復元可視光画像の第３の実施形態の変形例である画像処理装置３１よりも高品質な復元画像を生成できる。その理由は、第３補正部４４は、撮影近赤外光画像の各画素における大気透過率を推定し、大気中の粒子の影響による劣化を低減させる補正を実行する。その際に、その際に、撮影可視光画像の情報を用いることにより、近赤外光の大気透過率の推定精度を向上できるからである。
【０１００】
上記の第１〜第４の実施形態に記載の画像処理装置は、各処理部をハードウエアである集積回路で構成することができる。また、各処理部の機能を画像処理プログラム等のソフトウエアで構成し、コンピュータ装置により画像処理装置の各処理を実行させることも可能である。
【０１０１】
（ハードウエア構成図）
図１４は、本発明の第１〜４の実施の形態における画像処理装置をコンピュータ装置で実現したハードウエア構成を示す図である。図１４に示されるように、画像処理装置は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９１、ネットワーク接続用の通信Ｉ／Ｆ（通信インターフェース）９２、メモリ９３、及び、プログラムを格納するハードディスク等の記憶装置９４を含む。
【０１０２】
ＣＰＵ９１は、オペレーティングシステムを動作させて本発明の第１〜４の実施の形態に係る画像処理装置を制御する。またＣＰＵ９１は、例えば、ドライブ装置に装着された記録媒体からメモリ９３にプログラムやデータを読み出す。
【０１０３】
また、ＣＰＵ９１は、例えば、第１の実施の形態における画像処理装置１０の推定部１１、復元部１２の少なくとも一部として機能し、プログラムに基づいて各種の処理を実行する。
【０１０４】
記憶装置９４は、例えば、光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、又は半導体メモリ等である。記憶装置の一部の記憶媒体は、不揮発性記憶装置であり、そこにプログラムを記憶する。また、プログラムは、通信網に接続されている。図示しない外部コンピュータからダウンロードされてもよい。
【０１０５】
ＣＰＵ９１は、システムバス９７を介して入力装置９５及び、出力装置９６に接続されている。入力装置９５は、例えば、マウス、キーボード、キーボタン、又は、タッチパネルなどで実現され、入力操作に用いられる。出力装置９６は、例えば、ディスプレイで実現され出力を確認するために用いられる。
【０１０６】
以上のように、本発明の各実施の形態は、図１４に示されるハードウエア構成によって実現される。但し、画像処理装置が備える各部の実現手段は、特に限定されない。すなわち、画像処理装置は、物理的に結合した一つの装置により実現されてもよいし、物理的に分離した二つ以上の装置を有線又は無線で接続し、これら複数の装置により実現してもよい。
【０１０７】
以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、第１から第４の実施形態では、霧中の例を用いて説明したが、靄又は煙霧中でも適用することができる。
【０１０８】
この出願は、２０１５年１月１６日に出願された日本出願特願２０１５−００７２０４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【０１０９】
上記の実施形態の一部又は全部は、以下の付記のように記載されうるが、以下には限られない。
【０１１０】
（付記１）
撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定する推定部と、
前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する復元部と、を備える画像処理装置。
【０１１１】
（付記２）
前記可視光画像と前記推定された分光反射率比とが入力され、撮影対象の各注目画素における分光反射率比を、前記可視光画像の情報と前記注目画素の周辺領域の分光反射率比とを用いて補正した補正分光反射率比を算出する第１補正部を更に備え、
前記復元部は、前記補正分光反射率比と、前記近赤外光画像の輝度を乗算し、前記復元可視光画像を生成する、
付記１記載の画像処理装置。
【０１１２】
（付記３）
前記第１補正部は、前記可視光画像の情報を用いて同一領域と見なせる前記注目画素の周辺領域の画素群をそれぞれ抽出し、前記抽出した画素群の分光反射率比に基づき、前記注目画素の分光反射率比を補正する、
付記２記載の画像処理装置。
【０１１３】
（付記４）
前記第１補正部は、
前記可視光画像の色情報を用いて合成重みにより分光反射率比を平滑化する、
付記３に記載の画像処理装置。
【０１１４】
（付記５）
前記合成重みは、前記可視光画像の各画素におけるＨＳＶ表色系の色相Ｈを用いる、
付記４に記載の画像処理装置。
【０１１５】
（付記６）
前記第１補正部は、前記注目画素を含む所定の周辺領域の画素について、前記合成重みを算出し、前記周辺領域の画素における分光反射率比を合成して前記補正分光反射率比を算出する、
付記２から付記５のいずれか１つに記載の画像処理装置。
【０１１６】
（付記７）
前記近赤外光画像の各画素における大気透過率を推定し、前記推定した劣化量を用いて前記近赤外光画像を補正する第２補正部を更に備え、
前記復元部は、推定された前記分光反射率比と前記第２補正部で補正された補正近赤外光画像の輝度を乗算して復元可視光画像を生成する、
付記１から付記６のいずれか１つに記載の画像処理装置。
【０１１７】
（付記８）
前記第２補正部は、前記近赤外光画像における前記各注目画素の画素値を、前記注目画素の周辺領域の前記近赤外光画像の画素値を用いて補正する、
付記７に記載の画像処理装置。
【０１１８】
（付記９）
前記近赤外光画像を、前記可視光画像を用いて補正する第３補正部を更に備え、
前記復元部は、推定された前記分光反射率比と前記第３補正部で補正された補正近赤外光画像の輝度を乗算して復元可視光画像を生成する、
付記１から付記６のいずれか１つに記載の画像処理装置。
【０１１９】
（付記１０）
前記近赤外画像と前記可視光画像における所定の画素における、近赤外光の大気透過率が、可視光の大気透過率よりも小さな値を持つ場合、大気透過率の推定誤差があると予測する、
付記９に記載の画像処理装置。
【０１２０】
（付記１１）
撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定し、
前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する、画像処理方法。
【０１２１】
（付記１２）
コンピュータに、
撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定し、
前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する、
ことを実行させるプログラム。
【符号の説明】
【０１２２】
１０    画像処理装置
１１    推定部
１２    復元部
２０    画像処理装置
２３    第１補正部
３０    画像処理装置
３１    画像処理装置
３４    第２補正部
４０    画像処理装置
４１    画像処理装置
４４    第３補正部
９１  ＣＰＵ
９２  通信Ｉ／Ｆ（通信インターフェース）
９３  メモリ
９４  記憶装置
９５  入力装置
９６  出力装置
９７  システムバス
【図１】
2016114148.tif 000015
【図２】
2016114148.tif 000016
【図３】
2016114148.tif 000017
【図４】
2016114148.tif 000018
【図５】
2016114148.tif 000019
【図６】
2016114148.tif 000020
【図７】
2016114148.tif 000021
【図８】
2016114148.tif 000022
【図９】
2016114148.tif 000023
【図１０】
2016114148.tif 000024
【図１１】
2016114148.tif 000025
【図１２】
2016114148.tif 000026
【図１３】
2016114148.tif 000027
【図１４】
2016114148.tif 000028
【図１５】
2016114148.tif 000029
【手続補正書】
【提出日】平成29年6月22日(2017.6.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定する推定手段と、
前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する復元手段と、
を備える、画像処理装置。
【請求項２】
前記可視光画像と前記推定された分光反射率比とが入力され、撮影対象の各注目画素における分光反射率比を、前記可視光画像の情報と前記注目画素の周辺領域の分光反射率比とを用いて補正した補正分光反射率比を算出する第１補正手段を更に備え、
前記復元手段は、前記補正分光反射率比と、前記近赤外光画像の輝度を乗算し、前記復元可視光画像を生成する、
請求項１記載の画像処理装置。
【請求項３】
前記第１補正手段は、前記可視光画像の情報を用いて同一領域と見なせる前記注目画素の周辺領域の画素群をそれぞれ抽出し、前記抽出した画素群の分光反射率比に基づき、前記注目画素の分光反射率比を補正する、
請求項２記載の画像処理装置。
【請求項４】
前記第１補正手段は、前記注目画素を含む所定の周辺領域の画素について、合成重みを算出し、前記周辺領域の画素における分光反射率比を合成して前記補正分光反射率比を算出する、
請求項２又は請求項３に記載の画像処理装置。
【請求項５】
前記近赤外光画像の各画素における大気透過率を推定し、前記推定した大気透過率を用いて前記近赤外光画像を補正する第２補正手段を更に備え、
前記復元手段は、推定された前記分光反射率比と前記第２補正手段で補正された補正近赤外光画像の輝度を乗算して前記復元可視光画像を生成する、
請求項１から請求項４のいずれか１つに記載の画像処理装置。
【請求項６】
前記第２補正手段は、前記近赤外光画像における前記各注目画素の画素値を、前記注目画素の周辺領域の前記近赤外光画像の画素値を用いて補正する、
請求項５に記載の画像処理装置。
【請求項７】
前記近赤外光画像を、前記可視光画像を用いて補正する第３補正手段を備え、
前記復元手段は、推定された前記分光反射率比と前記第３補正手段で補正された補正近赤外光画像の輝度を乗算して前記復元可視光画像を生成する、
請求項１から請求項４のいずれか１つに記載の画像処理装置。
【請求項８】
前記近赤外光画像と前記可視光画像における所定の画素における、近赤外光の大気透過率が、可視光の大気透過率よりも小さな値を持つ場合、大気透過率の推定誤差があると予測する、
請求項７に記載の画像処理装置。
【請求項９】
撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定し、
前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する、
画像処理方法。
【請求項１０】
コンピュータに、
撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定し、
前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する、
ことを実行させるプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本発明の一態様であるプログラムは、コンピュータに、撮影対象を撮影した、可視光画像と近赤外光画像の各画素位置における、可視光波長領域の分光反射率と近赤外光波長領域の分光反射率との比を表す分光反射率比を推定し、前記各画素位置で、推定された前記分光反射率比と前記近赤外光画像の輝度を乗算し、復元可視光画像を生成する、ことを実行させる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
撮影近赤外光画像が第２補正部３４に入力され、第２補正部３４は、撮影近赤外光画像の各画素における大気中の粒子の影響による大気透過率を推定し、撮影近赤外光画像から劣化を低減させて、補正された近赤外光画像（以後、補正近赤外光画像）を生成する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００６４
【補正方法】変更
【補正の内容】
【００６４】
画像処理装置３１の第２補正部３４に、撮影近赤外光画像が入力される。第２補正部３４は、撮影近赤外光画像における大気中の粒子の影響による大気透過率を推定し、劣化を低減するように補正された近赤外光画像（以後、補正近赤外光画像）を生成する。画像処理装置３１の第２補正部３４における近赤外光画像の補正処理は、第３の実施形態の画像処理装置３０の第２補正部３４の補正処理と同様である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【００６８】
初めに、画像処理装置３１の第２補正部３４に、撮影した近赤外光画像が入力され、第２補正部３４は、撮影近赤外光画像における大気中の粒子による大気透過率を算出し、劣化を低減させることで撮影近赤外光画像を補正し、補正近赤外光画像を生成する（Ｓ２１１）。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
第３補正部４４に、撮影可視光画像と撮影近赤外光画像とが入力される。第３補正部４４は、撮影近赤外光画像における大気中の粒子の影響による大気透過率を推定し、撮影近赤外光画像における劣化を低減させた補正近赤外光画像を生成する。第３補正部４４は、追加入力として撮影可視光画像の情報を用いることにより、近赤外光の大気透過率ｔｉｒ（ｘ）の推定精度を向上させる。撮影可視光画像の情報を用いる方法として、可視光の大気透過率推定を利用する方法がある。一般に、近赤外光の大気透過率は、可視光の大気透過率と比較して高いことが知られている。そのため、近赤外光の推定大気透過率が可視光の推定大気透過率よりも小さな値を持つ場合には、何らかの推定誤差が発生していることが予測される。そこで、第３補正部４４は、可視光において、好天時では各画素の周辺にはいずれかのカラーチャネルで０の値を持つ画素が存在するという事前知識を用いる。第３補正部４４は、可視光の大気透過率を推定し、式（１２）および式（１３）で算出された近赤外光の大気透過率を修正することにより、式（１４）による近赤外光の補正性能を向上させる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
画像処理装置４０の第３補正部４４に、撮影可視光画像と撮影近赤外光画像が入力される。第３補正部４４は、撮影近赤外光画像における大気中の粒子の影響による大気透過率を算出し、撮影近赤外光画像の劣化を低減させる補正をし、補正近赤外光画像を生成する（Ｓ３０１）。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００９２
【補正方法】変更
【補正の内容】
【００９２】
画像処理装置４１の第３補正部４４に、撮影近赤外光画像が入力される。第３補正部４４は、撮影近赤外光画像における大気中の粒子の影響による大気透過率を推定し、撮影近赤外光画像の劣化を低減する補正をし、補正近赤外光画像を生成する。画像処理装置４１の第３補正部４４における近赤外光画像の補正処理は、第４の実施形態の画像処理装置４０の第３補正部４４の補正処理と同様である。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００９５
【補正方法】変更
【補正の内容】
【００９５】
初めに、画像処理装置４１の第３補正部４４に、撮影近赤外光画像が入力される。第３補正部４４は、撮影近赤外光画像における大気中の粒子による大気透過率を推定し、撮影近赤外光画像の劣化を低減する補正をし、補正近赤外光画像を生成する（Ｓ３０１）。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１１９
【補正方法】変更
【補正の内容】
【０１１９】
（付記１０）
前記近赤外光画像と前記可視光画像における所定の画素における、近赤外光の大気透過率が、可視光の大気透過率よりも小さな値を持つ場合、大気透過率の推定誤差があると予測する、
付記９に記載の画像処理装置。
【国際調査報告】
2016114148.tif 000030
2016114148.tif 000031