(57)【要約】【課題】  霧が濃い画像でも霧除去を可能とする。【解決手段】  霧濃度算出部１１は、分離された照明光成分を用いて、与えられた入力画像の霧濃度を算出する。反射率成分霧除去部１３は、反射率算出部１２が算出した反射率成分について霧除去をおこなう。照明光成分霧除去部１４は分離された照明光成分について、霧除去をおこなう。ここで、照明光成分霧除去部１４よりも反射率成分霧除去部１３の方が霧除去度は大きい。これにより、照明光成分の霧除去程度をそれほど大きくすることなく、反射率成分の霧除去度を大きくすることができる。【選択図】  図１
2015189874.tif 000002
【特許請求の範囲】
【請求項１】
霧含有画像から反射率成分と照明光成分とを分離する分離手段、
前記分離した反射率成分について、別途決定された霧濃度に基づいて霧を除去する反射率成分霧除去手段、
前記分離した照明光成分について、前記霧濃度に基づいて霧を除去する照明光成分霧除去手段、
前記霧除去後の反射率成分および前記霧除去後の照明光成分を合成する合成手段、
を備え、
前記反射率成分霧除去手段における霧除去と前記照明光成分霧除去手段における霧除去では、霧除去度が異なること、
を特徴とする霧除去装置。
【請求項２】
請求項１の霧除去装置において、
前記反射率成分霧除去手段における霧除去の方が、前記照明光成分霧除去手段における霧除去よりも、霧除去度が高いこと、
を特徴とする霧除去装置。
【請求項３】
請求項１または請求項２の霧除去装置において、
前記照明光成分霧除去手段における霧除去の方が、前記反射率成分霧除去手段における霧除去よりも、霧除去度が高いこと、
を特徴とする霧除去装置。
【請求項４】
霧含有画像から反射率成分と照明光成分とを分離し、
前記反射率成分について、別途決定された霧濃度に基づいて霧を除去し、
前記照明光成分について、前記霧濃度に基づいて霧を除去し、
前記霧除去後の反射率成分および前記霧除去後の照明光成分を合成する画像生成方法であって、
前記反射率成分についての霧除去処理と、前記照明光成分についての霧除去処理とで、霧除去度を変更した画像を生成すること、
を特徴とする画像生成方法。
【請求項５】
霧含有画像から反射率成分と照明光成分とを分離する分離手段、
前記分離した反射率成分について、別途決定された霧濃度に基づいて霧を除去する反射率成分霧除去手段、
前記分離した照明光成分について、前記霧濃度に基づいて霧を除去する照明光成分霧除去手段、
前記霧除去後の反射率成分および前記霧除去後の照明光成分を合成する合成手段、
を備えたことを特徴とする霧除去装置。
【請求項６】
霧含有画像から反射率成分と照明光成分とを分離する分離手段、
前記分離した反射率成分について、別途決定された霧濃度に基づいて霧を除去する反射率成分霧除去手段、
前記分離した照明光成分および前記霧除去後の反射率成分を合成する合成手段、
を備えたこと、
を特徴とする霧除去装置。
【請求項７】
霧含有画像から反射率成分と照明光成分とを分離する分離手段、
前記分離した照明光成分について、別途決定された霧濃度に基づいて霧を除去する照明光成分霧除去手段、
前記霧除去後の照明光成分および前記分離された反射率成分を合成する合成手段、
を備えたことを特徴とする霧除去装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、霧除去装置に関し、特に幅の広い霧除去技術にする。
【背景技術】
【０００２】
特開2012-168936号公報には、大気モデルに基づく霧除去技術が開示されている（背景技術の欄、参照）。大気モデルとは、大気中に浮遊粒子がある場合に、撮像機で物体を撮像し又は肉眼で物体を観察する光学原理をいう。大気モデルは、下記式（１）で示される。【０００３】
I(x)=J(x)t(x)+A(1-t(x))      ・・・式 (1)
Iは観測画像（霧がある画像）、Jは処理画像（霧がない画像）、tは霧の濃度、xは対象画素の座標、Aは大気光を示す。【０００４】
撮像装置で観察した画像I(x)は、物体からの反射光J(x)が空中の浮遊粒子により散乱された後においても残存する部分J(x)t(x)と、太陽光が空中の浮遊粒子により散乱された結果である大気環境光A(1-t(x)) から構成される。【０００５】
なお、前記公報の図１０には、前記I(x)、J(x)、A、t(x)の各値が示す画像を用いて説明がなされている。【０００６】
上記式(1)より、霧の濃度tと、大気光Aを求めることで、観測画像Iから処理画像Jを求めることができる。【０００７】
Kaiming Heらは、IEEE Conference on Computer Vision and Pattern Recognition, 2009にて、論文「Single Image Haze Removal Using Dark Channel Prior」にて、新規の霧除去技術を提案した。【０００８】
簡単に説明すると、前記大気モデルにおいて、各画素に対して、下記式(2)により、周辺画素を含めた画素値の最小値を求め（ダークチャネルプライヤ（Dark Channel Prior（以下DCPと略す）））、かかる値が霧の濃度を表すと仮定し、このDCPの値より、霧除去の程度を変えるというものである。【０００９】
【数１】
2015189874.tif 000003
【００１０】
これは、一般的な霧のない自然画像においては、影や彩度が高い部分がどの画素の周辺にもあるため、DCPの値はほぼ0となる。一方、霧のある画像においては、霧により輝度が高くなり、DCPの値が高くなる。したがって、DCPが0となるように処理を行うことにより霧除去が可能となるというものである。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかし、前記霧除去の手法においては以下のような問題があった。霧が濃い画像では、色成分が少なく、起伏がない画像となる。かかる画像では、DCPと入力画像が近い値となり、DCPの値を0になるように処理を行うと、処理後の画像は非常に暗くなる。逆に、画像が暗くなることを防ぐためにパラメータを弱めに設定すると、霧除去の効果が弱く、画像が明瞭にならないという問題があった。【００１２】
この発明は、上記問題を解決し、霧を含有する画像から霧除去をおこなう霧除去装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
(1)本発明にかかる霧除去装置は、霧含有画像から反射率成分と照明光成分とを分離する分離手段、前記分離した反射率成分について、別途決定された霧濃度に基づいて霧を除去する反射率成分霧除去手段、前記分離した照明光成分について、前記霧濃度に基づいて霧を除去する照明光成分霧除去手段、前記霧除去後の反射率成分および前記霧除去後の照明光成分を合成する合成手段、を備え、前記反射率成分霧除去手段における霧除去と前記照明光成分霧除去手段における霧除去では、霧除去度が異なる。【００１４】
このように、前記反射率成分と前記照明光成分で霧除去度を異ならせて、合成することにより、より柔軟な霧除去処理が可能となる。【００１５】
(2)本発明にかかる霧除去装置においては、前記反射率成分霧除去手段における霧除去の方が、前記照明光成分霧除去手段における霧除去よりも、霧除去度が高い。したがって、前記霧が濃い場合でも、エッジを強調するとともに、画像全体の明るさを保持した画像を得ることができる。【００１６】
(3)本発明にかかる霧除去装置においては、前記照明光成分霧除去手段における霧除去の方が、前記反射率成分霧除去手段における霧除去よりも、霧除去度が高い。したがって、画像全体の明るさを下げつつ、エッジ強調をしない画像を得ることができる。【００１７】
(4)本発明にかかる画像生成方法においては、霧含有画像から反射率成分と照明光成分とを分離し、前記反射率成分について、別途決定された霧濃度に基づいて霧を除去し、前記照明光成分について、前記霧濃度に基づいて霧を除去し、前記霧除去後の反射率成分および前記霧除去後の照明光成分を合成する画像生成方法であって、前記反射率成分についての霧除去処理と、前記照明光成分についての霧除去処理とで、霧除去度を変更した画像を生成する。したがって、前記反射率成分と前記照明光成分で前記霧除去度を異ならせた画像を生成することができる。【００１８】
(5)本発明にかかる霧除去装置においては、霧含有画像から反射率成分と照明光成分とを分離する分離手段、前記分離した反射率成分について、別途決定された霧濃度に基づいて霧を除去する反射率成分霧除去手段、前記分離した照明光成分について、前記霧濃度に基づいて霧を除去する照明光成分霧除去手段、前記霧除去後の反射率成分および前記霧除去後の照明光成分を合成する合成手段を備えている。これにより、前記反射率成分および前記照明光成分を独立して、霧除去処理が可能となる。【００１９】
(6)本発明にかかる霧除去装置においては、霧含有画像から反射率成分と照明光成分とを分離する分離手段、前記分離した反射率成分について、別途決定された霧濃度に基づいて霧を除去する反射率成分霧除去手段、前記分離した照明光成分および前記霧除去後の反射率成分を合成する合成手段を備えている。したがって、反射率成分だけについて前記霧除去処理を施した画像を生成することができる。【００２０】
(7)本発明にかかる霧除去装置においては、霧含有画像から反射率成分と照明光成分とを分離する分離手段、前記分離した照明光成分について、別途決定された霧濃度に基づいて霧を除去する照明光成分霧除去手段、前記霧除去後の照明光成分および前記分離された反射率成分を合成する合成手段を備えている。したがって、照明光成分だけについて前記霧除去処理を施した画像を生成することができる。【００２１】
なお、本明細書において、「霧」とは、靄（もや）、霞（かすみ）、煙、粉塵、砂塵、雨、雪も含む概念である。【００２２】
請求項に記載した各種手段と、実施形態の構成との対応について説明する。「算出手段」とは、霧濃度算出部１１が該当する。「分離手段」とは、照明光分離部４が該当する。「反射率成分霧除去手段」は、反射率成分霧除去部１３が、「照明光成分霧除去手段」は、照明光成分霧除去部１４が、それぞれ該当する。「合成手段」は合成部１６が該当する。【００２３】
この発明の特徴、他の目的、用途、効果等は、実施形態および図面を参酌することにより明らかになるであろう。
【図面の簡単な説明】
【００２４】
【図１】画像処理装置１の構成を示す。
【図２】照明光成分および反射率成分と、霧除去の強度との関係を示す。
【発明を実施するための形態】
【００２５】
以下、本発明における実施形態について、図面を参照して説明する。図１に、本発明の１実施形態にかかる霧除去装置１０を有する画像処理装置１の構成を示す。
【００２６】
霧除去装置１０は、照明光分離部２３、反射率成分霧除去部１３、照明光成分霧除去部１４、霧濃度算出部１１、および合成部１６を備えている。
【００２７】
照明光分離部２３は、エッジ保存型ローパスフィルタを有しており、YUV変換部３にて、変換されたYUVデータの局所的な明るさの加重平均値、すなわち、照明光成分を算出し、これにより、照明光成分と、反射率成分の分離を行う。
【００２８】
霧濃度算出部１１は、分離された照明光成分を用いて、与えられた入力画像の霧濃度を算出する。本実施形態においては、背景技術で説明したDCPが霧の濃度を表すと仮定し、このDCPの値より、最終的な霧濃度tを求めた。
【００２９】
反射率成分霧除去部１３は、反射率算出部１２が算出した反射率成分について霧除去をおこなう。照明光成分霧除去部１４は分離された照明光成分について、霧除去をおこなう。照明光成分霧除去部１４と反射率成分霧除去部１３とで、霧除去の除去度は異なる。詳しくは後述する。
【００３０】
合成部１６は、霧除去がなされた照明光成分と前記反射率成分を用いて、霧除去された画像を合成する。合成された画像は、RGB変換部１８にてYUVデータからRGBデータに変換される。
【００３１】
照明光成分霧除去部１４と反射率成分霧除去部１３とで行う霧除去について説明する。
【００３２】
レティネックス（Retinex）理論では、観測画像Iは、照明光Lと反射率Rの積で定義される。
【００３３】
I＝RL      ・・・式(3)
大気モデルの式(1)を変形すると、式(4)が得られる。
【００３４】
J(x)＝（I(x)−A）/t(x)+A    ・・・(4)
が得られる。
【００３５】
ここで、上記I、J、Aに、レティネックス理論を適用し、それぞれを反射率成分および照明光成分の積で表すと、下記式(5)が求まる。
【００３６】
JR JL=(IR IL−AR AL)/t  +ARAL   ・・・式 (5)
ここで、大気モデルにおいては、大気光Aには反射率成分はないと仮定する。また、照明光成分に対しても、当然大気モデルの式（１）が成り立つ。したがって、前記式(4)を照明光成分に限定して考えると、下記の２つの制約条件が設定できる。
【００３７】
AR=1     ・・・式(6)
JL=(IL-AL)/t+AL      ・・・式(7)
式(6)、(7)を式(5)に代入すると式(8)が導出される。
【００３８】
JR=(IR IL-(1-t)AL)/(IL-(1-t)AL )  ・・・式(8)
この式(8)から、JRの値は、IR>1のときIRより大きくなり、IR<1のときIRより小さくなる。つまり、反射率成分に対して、霧濃度に応じてエッジを強調する処理を行っており、これは、霧によりエッジがなまることとの整合性がある。
【００３９】
このように、式(7)で照明光成分についての霧除去を、式(8)で反射率成分についての霧除去をと、照明光成分と反射率成分とを別々に霧除去可能となる。
【００４０】
図２を用いて照明光成分と反射率成分とを別々に霧除去できることのメリットについて説明する。霧除去度を大きくすると、反射率成分はエッジ強調度が高くなり、照明光成分は明るさ(輝度)が減少する。逆に霧除去度を小さくすると、反射率成分はエッジ強調度が低くなり、照明光成分の減少度が低くなる。つまりそれほど暗くならない。したがって、霧が濃いことで、色が薄く、起伏が乏しい画像については、霧除去度を大きくすると、エッジは強まるものの、画像が暗くなってしまう。
【００４１】
これに対して、本手法ではそのような画像であっても、反射率成分については、霧除去度を大きくし、一方、照明光成分は霧除去度を小さくすることができる。したがって、画像の明るさを保ったまま視認性を向上させることができる。
【００４２】
かかる照明光成分と反射率成分とで、霧除去の程度を変える手法としては、照明光成分、反射率成分それぞれの霧除去処理における霧濃度を異なる値を用いる、または、照明光成分、反射率成分それぞれの霧除去処理結果について、重み付けするようにすればよい。
【００４３】
前者としては、たとえば、式(7)、式(8)における値tを両者で変更すればよい。霧は濃く、かつ、画像の平均的な輝度が低い（高くない）画像であれば、エッジ強調強めにするが、輝度はあまり下げない方がよい。したがって、照明光成分の値tをtLと、反射率成分の値tをtRとした場合、照明光成分の霧除去は弱めに、反射率成分の霧除去は強めになるように（tL＞ tR）とすればよい。
【００４４】
また、霧除去処理結果について、重み付けするには、たとえば、以下のようにすればよい。
【００４５】
霧除去後の照明光成分をJL、重み付けした結果をJL’とする場合に下記式(9)にて、JL’  を求める。
【００４６】
JL’＝IL+k（JL−IL)  ・・・(9)
(9)式は、求めた値に対して係数をかけるのではなく、元画像からの変化量に対して、係数kによって変更できるようにすることにより、重み付けを変えられるようにしたものである。具体的には、照明光成分の霧除去程度を弱くしたい場合には、k＜１とすればよい。
【００４７】
このように、視認障害を含有する画像をレティネックス理論における照明光成分、反射率成分、それぞれに分離し、それぞれに対して大気モデルに基づく前記障害除去強度を異なるように画像処理をし、その後両者を合成することにより、それぞれに応じた視認障害の軽減処理が可能となる。本実施形態においては、照明光成分に対しては霧により明るくなった分の輝度を下げ、反射率成分に対しては霧によりなまったエッジを強調するようにしたが、両者は相対的な値であるので、照明光成分に対する処理のみを弱めるだけでも、同様の効果を奏する。
【００４８】
また、霧除去後照明光成分と霧除去後反射率成分の別々の調整については、これ以外の組み合わせでも適用は可能である。
【００４９】
（２.  他の実施形態）
本実施形態においては、RGB値を一旦、YUV値にて判断する場合について説明したが、他の色空間モデル（HSVなど）を採用してもよい。霧濃度算出および／または霧除去処理にて、必要な場合に、その段階でRGBから変換するようにしてもよい。
【００５０】
また、本実施形態においては、霧除去する場合を例として、説明したが、霧以外の外光成分を除去する場合にも適用可能である。
【００５１】
本実施形態においては、霧濃度について、DCPにて求めるようにしたが、霧濃度の算出について他の手法であってもよく、また、操作者が手動で調整するようにしてもよい。
【００５２】
上記においては、本発明を好ましい実施形態として説明したが、限定のために用いたのではなく、説明のために用いたものであって、本発明の範囲および精神を逸脱することなく、添付のクレームの範囲において、変更することができるものである。
【符号の説明】
【００５３】
４      照明光分離部
１３      反射率成分霧除去部
１４      照明光成分霧除去部
１６      合成部
【図１】
2015189874.tif 000004
【図２】
2015189874.tif 000005
【手続補正書】
【提出日】平成28年9月23日(2016.9.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
霧含有画像から反射率成分と照明光成分とを分離する分離手段、
前記分離した反射率成分について、別途決定された霧濃度に基づいて霧を除去する反射率成分霧除去手段、
前記分離した照明光成分について、前記霧濃度に基づいて霧を除去する照明光成分霧除去手段、
前記霧除去後の反射率成分および前記霧除去後の照明光成分を合成する合成手段、
を備え、
前記反射率成分霧除去手段及び前記照明光成分霧除去手段は、大気光には反射率成分はないこと及び前記照明光成分に対して大気モデルが成り立つことを条件として前記照明光成分と前記反射率成分とについて別々に霧除去し、前記反射率成分霧除去手段における霧除去と前記照明光成分霧除去手段における霧除去では、霧除去度が異なること、
を特徴とする霧除去装置。
【請求項２】
請求項１の霧除去装置において、
前記反射率成分霧除去手段における霧除去の方が、前記照明光成分霧除去手段における霧除去よりも、霧除去度が高いこと、
を特徴とする霧除去装置。
【請求項３】
請求項１の霧除去装置において、
前記照明光成分霧除去手段における霧除去の方が、前記反射率成分霧除去手段における霧除去よりも、霧除去度が高いこと、
を特徴とする霧除去装置。
【請求項４】
霧含有画像から反射率成分と照明光成分とを分離し、
前記反射率成分について、別途決定された霧濃度に基づいて霧を除去し、
前記照明光成分について、前記霧濃度に基づいて霧を除去し、
前記霧除去後の反射率成分および前記霧除去後の照明光成分を合成する画像生成方法であって、
大気光には反射率成分はないこと及び前記照明光成分に対して大気モデルが成り立つことを条件として、前記反射率成分についての霧除去処理と、前記照明光成分についての霧除去処理とで、霧除去度を変更した画像を生成すること、
を特徴とする画像生成方法。
【国際調査報告】
2015189874.tif 000006
2015189874.tif 000007
2015189874.tif 000008
2015189874.tif 000009