(57)【要約】【課題】同一の対象について異なる条件で撮影した第１画像および第２画像を利用して、第１画像を強調すること。【解決手段】第１条件で得られた画像を分割した複数の第１分割画像について、周囲の前記第１分割画像に基づく相対値である第１エッジ量を抽出する第１エッジ量抽出部３３ａと、前記第１条件とは異なる第２条件で得られた画像を分割した複数の第２分割画像について、周囲の前記第２分割画像に基づく相対値である第２エッジ量を抽出する第２エッジ量抽出部３４と、前記第１エッジ量の符号と、前記第１分割画像に対応する前記第２分割画像の第２エッジ量に基づいて、前記第１条件で得られた画像を強調するエッジ強調処理部３６とを備える。【選択図】図２
2014241584.tif 000002
【特許請求の範囲】
【請求項１】
第１条件で得られた画像を分割した複数の第１分割画像について、周囲の前記第１分割画像に基づく相対値である第１エッジ量を抽出するステップと、
前記第１条件とは異なる第２条件で得られた画像を分割した複数の第２分割画像について、周囲の前記第２分割画像に基づく相対値である第２エッジ量を抽出するステップと、
前記第１エッジ量の符号と前記第１分割画像に対応する前記第２分割画像の第２エッジ量とに基づいて、前記第１条件で得られた画像を強調するステップと、を備えることを特徴とする画像処理方法。
【請求項２】
前記第１エッジ量の符号が正の場合、前記第１エッジ量に対応する前記第１分割画像の値に前記第２エッジ量の絶対値に基づく値を加算し、前記第１エッジ量の符号が負の場合、前記第１エッジ量に対応する前記第１分割画像の値に前記第２エッジ量の絶対値に基づく値を減算することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
所定の第１分割画像の値と前記所定の第１分割画像を中心とした周囲の前記第１分割画像の値の平均との差分値を前記所定の第１分割画像の前記第１エッジ量とし、
所定の第２分割画像の値と前記所定の第２分割画像を中心とした周囲の前記第２分割画像の値の平均との差分値を前記所定の第２分割画像の前記第２エッジ量とすることを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記第１分割画像の値は、前記第１分割画像の輝度情報に基づく画素値であることを特徴とする請求項２に記載の画像処理方法。
【請求項５】
前記第２条件は、前記第１条件と異なる波長であることを特徴とする請求項１に記載の画像処理方法。
【請求項６】
前記第１条件で得られた画像は、可視光で撮影した画像であり、前記第２条件で得られた画像は、赤外光で撮影した画像を含む画像であることを特徴とする請求項４に記載の画像処理方法。
【請求項７】
前記第１条件で得られた画像は、遠赤外光で撮影した画像であり、前記第２条件で得られた画像は、可視光で撮影した画像であることを特徴とする請求項４に記載の画像処理方法。
【請求項８】
前記第１条件で得られた画像と前記第２条件で得られた画像との撮影範囲は同じであることを特徴とする請求項１に記載の画像処理方法。
【請求項９】
前記第１、第２分割画像は画素であることを特徴とする請求項１に記載の画像処理方法。
【請求項１０】
前記第１エッジ量と前記第２エッジ量とに基づいて、前記第１分割画像がノイズを含むノイズ画像か否かを判定するステップを、更に備え、
前記第１分割画像が前記ノイズ画像である場合、前記第１条件で得られた画像を強調するステップにおいて、前記第２エッジ量のみに基づいて強調することを特徴とする請求項１に記載の画像処理方法。
【請求項１１】
前記第１分割画像のコントラストに基づいて正規化した前記第１エッジ量が、前記第２分割画像のコントラストに基づいて正規化した前記第２エッジ量よりも小さい場合に、前記第１分割画像をノイズ画像と判定することを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
第１条件で画像を取得し、前記第１条件とは異なる第２条件で画像を取得する画像取得部と、
前記第１条件で取得した画像を分割した複数の第１分割画像について、周囲の前記第１分割画像に基づく相対値である第１エッジ量を抽出する第１エッジ量抽出部と、
前記第２条件で取得した画像を分割した複数の第２分割画像について、周囲の前記第２分割画像に基づく相対値である第２エッジ量を抽出する第２エッジ量抽出部と、
前記第１エッジ量の符号と、前記第１分割画像に対応する前記第２分割画像の第２エッジ量に基づいて、前記第１条件で得られた画像を強調するエッジ強調処理部と、を備えることを特徴とする画像処理システム。
【請求項１３】
前記画像取得部は、
可視光及び赤外光にて撮像可能なカメラと、
前記カメラの光学系に対して挿抜可能に設けられた赤外光カットフィルタと、を備え、
前記赤外光カットフィルタを挿入した状態、挿入していない状態を前記第１条件、前記第２条件とすることを特徴とする請求項１２に記載の画像処理システム。
【請求項１４】
前記画像取得部は、前記第１条件で撮影する第１カメラと前記第２条件で撮影する第２カメラとを備えることを特徴とする請求項１２に記載の画像処理システム。
【請求項１５】
前記エッジ強調処理部は、前記第１エッジ量の符号が正の場合、前記第１エッジ量に対応する前記第１分割画像の値に前記第２エッジ量の絶対値に基づく値を加算し、前記第１エッジ量の符号が負の場合、前記第１エッジ量に対応する前記第１分割画像の値に前記第２エッジ量の絶対値に基づく値を減算することを特徴とする請求項１２に記載の画像処理システム。
【請求項１６】
前記第１エッジ量抽出部は、所定の第１分割画像の値と前記所定の第１分割画像を中心とした周囲の前記第１分割画像の値の平均との差分値を前記所定の第１分割画像の前記第１エッジ量とし、
前記第２エッジ量抽出部は、所定の第２分割画像の値と前記所定の第２分割画像を中心とした周囲の前記第２分割画像の値の平均との差分値を前記所定の第２分割画像の前記第２エッジ量とすることを特徴とする請求項１２に記載の画像処理システム。
【請求項１７】
前記第１分割画像の値は、前記第１分割画像の輝度情報に基づく画素値であることを特徴とする請求項１２に記載の画像処理システム。
【請求項１８】
前記第２条件は、前記第１条件と異なる波長であることを特徴とする請求項１２に記載の画像処理システム。
【請求項１９】
前記第１条件で得られた画像は、可視光で撮影した画像であり、前記第２条件で得られた画像は、赤外光で撮影した画像を含む画像であることを特徴とする請求項１７に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影条件を異ならせた２つの画像の一方から抽出したエッジ成分を他方の画像に合成し、エッジ強調処理を実行する画像処理方法、及び画像処理システムに関する。
【背景技術】
【０００２】
近年、防災意識の高まりから、災害用監視カメラを設置する自治体が増加している。この災害用監視カメラの１つとして、例えば津波監視カメラが知られている。自治体では海岸近くに設置された津波監視カメラを用いて、遠隔地から海面や海岸の様子を把握し、地震発生時に海岸近くに残っている人を確認すると、防災無線等を用いて避難誘導を行うようなシステムの開発が進んでいる。
【０００３】
このような災害用監視カメラでは、様々な環境下において鮮明かつ目視上の自然さを維持した画像を撮影する必要がある。しかし、激しい降雨や濃霧が発生しているような状況においては、一般的には可視光に基づく画像（可視光画像）は不鮮明となる。このような場合に、従来は赤外光の波長帯に感度を有する赤外線カメラが用いられていた。赤外線カメラでは、使用波長の特性として光が散乱しにくく、霧などの細かな水粒子で視界が遮られていても、鮮明な画像（赤外光画像）を撮影することが可能である。
【０００４】
ただし、波長領域が４０００ｎｍ以上の遠赤外線では遠赤外線の波長がイメージセンサの画素サイズを超えてしまうためイメージセンサの受光時に画素単位での階調精度が低下し、輪郭が不鮮明になりやすい。そこで通常、災害用監視カメラでは、波長領域が７００ｎｍ〜１５００ｎｍ程度の近赤外光を用いる（近赤外光画像）。近赤外光を用いることで可視光よりも光の散乱が抑制され、しかも近赤外光の波長がイメージセンサの画素サイズよりも小さくイメージセンサの受光時の階調精度の低下の影響を受けないため、輪郭が鮮明な画像が得られる。しかし、近赤外光を撮影した画像を表示デバイスで再生すると、青色の空等は黒く、緑色の葉等は白く再生され、濃淡（輝度）に対する通常の人の知覚とは異質なモノクロ画像となってしまう。
【０００５】
また、災害用監視カメラの使用者は、撮影した画像を通じてカメラが設置された海岸の状況や、監視地域における人の状態を把握する必要性から、災害用監視カメラにおいては監視すべき対象を目視によって背景から容易に切り分けるため、特にエッジの再現力（解像度）を高める必要がある。
【０００６】
このような課題に対して、Ｒ，Ｇ，Ｂ画素およびＩｒ画素（カラーフィルタを備えず、ＲＧＢ波長領域および近赤外光の波長領域に感度を有する画素）を備えるイメージセンサを用い、Ｉｒ画素に基づく画像とＲ，Ｇ，Ｂ画素に基づく画像とを合成する技術が開示されている（特許文献１）。特許文献１によれば、Ｉｒ画素に基づく画像データを輝度情報として取り扱い、Ｒ，Ｇ，Ｂ画素に基づく画像データからＩｒ成分を除去した後に色成分を抽出し、これらを合成することで疑似カラー画像を生成することができるとしている。
【０００７】
また、特許文献１と同様にＲ，Ｇ，Ｂ，Ｉｒ画素を備えるイメージセンサを用いて、可視光成分と赤外光成分とのうちエッジが鮮明な方の情報に基づいて、可視光画像のエッジ強調フィルタの係数を変える技術が開示されている（特許文献２）。特許文献２によれば、実際にはエッジが存在するのにエッジが認識できない不都合を回避し、エッジに対して常に適切なフィルタ処理が実行できるとしている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−１８４８０５号公報
【特許文献２】特開２００８−２８３５４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、画像のエッジ成分は可視光画像および赤外光画像の双方に同じ状態で含まれているとは限らず、撮影が行われる環境次第で、可視光画像と赤外光画像とのいずれかでエッジ成分が消失している場合や、これらの画像間で本来は同一のエッジなのにもかかわらず、エッジの方向（立ち上がりエッジ／立ち下りエッジ）が逆転している場合がある。特許文献１に開示された技術では、疑似カラー画像の生成に際して、可視光画像における輝度情報（エッジ成分）は参照されないことから、赤外光画像と可視光画像とでエッジの方向が逆転しているような場合は、画像を合成した結果エッジが消失してしまう場合がある。
【００１０】
また、特許文献２に開示された技術では、そもそもエッジ強調を実行する対象である可視光画像のエッジ成分が完全に消滅している場合、どのようなフィルタ係数を用いてもエッジを復元することは事実上困難である。
【００１１】
本発明は、このような従来技術の課題を解決するべく案出されたものであり、その主な目的は、同一の対象について異なる条件で撮影した第１画像および第２画像を利用して、第１画像を強調することが可能な画像処理方法、及び画像処理システムを提供することにある。
【課題を解決するための手段】
【００１２】
本発明は、第１条件で得られた画像を分割した複数の第１分割画像について、周囲の前記第１分割画像に基づく相対値である第１エッジ量を抽出するステップと、前記第１条件とは異なる第２条件で得られた画像を分割した複数の第２分割画像について、周囲の前記第２分割画像に基づく相対値である第２エッジ量を抽出するステップと、前記第１エッジ量の符号と、前記第１分割画像に対応する前記第２分割画像の第２エッジ量に基づいて、前記第１条件で得られた画像を強調するステップと、を備える方法である。
【発明の効果】
【００１３】
本発明は、同一の対象について異なる条件で撮影した第１画像および第２画像を利用して、第１画像を強調することができる。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態に係る画像処理システムの概略構成を示す構成図
【図２】画像処理部装置の構成を示すブロック構成図
【図３】（ａ）は、第１エッジ抽出部が参照する画素について説明する説明図、（ｂ）は、第１エッジ抽出部の処理手順を示すフローチャート
【図４】（ａ）は、第２エッジ量抽出部が参照する画素について説明する説明図、（ｂ）は、第２エッジ量抽出部の処理手順を示すフローチャート
【図５】ノイズ画素判定部の処理手順を示すフローチャート
【図６】エッジ成分生成部の処理手順を示すフローチャート
【図７】可視光画像のエッジ方向を考慮した場合としなかった場合とにおけるエッジ強調結果を説明する表
【図８】図７におけるエッジ強調結果を示すグラフ
【図９】可視光画像のエッジ方向を考慮する前提で、ノイズ画素判定を行った場合と行わなかった場合とにおけるエッジ強調結果を説明する表
【図１０】図９におけるエッジ強調結果を示すグラフ
【図１１】第２実施形態に係る画像処理システムの概略構成を示す構成図
【図１２】第３実施形態に係る撮像装置の概略構成を示す構成図
【発明を実施するための形態】
【００１５】
本発明は、第１条件で得られた画像を分割した複数の第１分割画像について、周囲の前記第１分割画像に基づく相対値である第１エッジ量を抽出するステップと、前記第１条件とは異なる第２条件で得られた画像を分割した複数の第２分割画像について、周囲の前記第２分割画像に基づく相対値である第２エッジ量を抽出するステップと、前記第１エッジ量の符号と前記第１分割画像に対応する前記第２分割画像の第２エッジ量とに基づいて、前記第１条件で得られた画像を強調するステップと、を備える画像処理方法である。
【００１６】
これによって、同一の対象について異なる条件で撮影した第１画像および第２画像を利用して、第１画像を強調することが可能となる。
【００１７】
また、前記第１エッジ量の符号が正の場合、前記第１エッジ量に対応する前記第１分割画像の値に前記第２エッジ量の絶対値に基づく値を加算し、前記第１エッジ量の符号が負の場合、前記第１エッジ量に対応する前記第１分割画像の値に前記第２エッジ量の絶対値に基づく値を減算するものである。
【００１８】
これによって、同一の対象を撮影した第１画像と第２画像とにおいて、それぞれ同一座標の画素についてのエッジ方向（エッジが立ち上がりエッジか立ち下りエッジか）が異なっている場合においても、第２画像のエッジ成分を利用して第１画像のエッジを的確に強調することが可能となる。
【００１９】
また、所定の第１分割画像の値と前記所定の第１分割画像を中心とした周囲の前記第１分割画像の値の平均との差分値を前記所定の第１分割画像の前記第１エッジ量とし、所定の第２分割画像の値と前記所定の第２分割画像を中心とした周囲の前記第２分割画像の値の平均との差分値を前記所定の第２分割画像の前記第２エッジ量とするものである。
【００２０】
また、前記第１分割画像の値は、前記第１分割画像の輝度情報に基づく画素値であるものである。
【００２１】
また、前記第２条件は、前記第１条件と異なる波長であるものである。
【００２２】
これによって、第１画像では不明瞭なエッジを、これと異なる波長の光で撮影した第２画像のエッジ成分によって強調することが可能となる。
【００２３】
また、前記第１条件で得られた画像は、可視光で撮影した画像であり、前記第２条件で得られた画像は、赤外光で撮影した画像を含む画像であるものである。
【００２４】
これによって、濃霧等によって可視光画像のエッジが不鮮明となっている場合であっても、赤外光画像のエッジ成分を利用して、可視光画像のエッジを強調することが可能となる。また、通常の人の知覚と同じ特性を維持できるため、通常の人が見た場合、違和感の少ない画像を提供することが可能となる。
【００２５】
また、前記第１条件で得られた画像は、遠赤外光で撮影した画像であり、前記第２条件で得られた画像は、可視光で撮影した画像である。
【００２６】
また、前記第１条件で得られた画像と前記第２条件で得られた画像との撮影範囲は同じであるものである。
【００２７】
また、前記第１、第２分割画像は画素であるものである。
【００２８】
また、前記第１エッジ量と前記第２エッジ量とに基づいて、前記第１分割画像がノイズを含むノイズ画像か否かを判定するステップを、更に備え、前記第１分割画像が前記ノイズ画像である場合、前記第１条件で得られた画像を強調するステップにおいて、前記第２エッジ量のみに基づいて強調するものである。
【００２９】
これによって、第１画素がノイズ画素である場合は、エッジ成分を生成する際に第１エッジ量に基づく正負の符号が反映されなくなり、ノイズを強調する不自然なエッジの生成を抑制することが可能となる。
【００３０】
また、前記第１分割画像のコントラストに基づいて正規化した前記第１エッジ量が、前記第２分割画像のコントラストに基づいて正規化した前記第２エッジ量よりも小さい場合に、前記第１分割画像をノイズ画像と判定するものである。
【００３１】
これによって、第１画像および第２画像のダイナミックレンジを揃えることで、第１画素がノイズ画素であるか否かをより適切に判定することが可能となる。
【００３２】
また、本発明は、第１条件で画像を取得し、前記第１条件とは異なる第２条件で画像を取得する画像取得部と、前記第１条件で取得した画像を分割した複数の第１分割画像について、周囲の前記第１分割画像に基づく相対値である第１エッジ量を抽出する第１エッジ量抽出部と、前記第２条件で取得した画像を分割した複数の第２分割画像について、周囲の前記第２分割画像に基づく相対値である第２エッジ量を抽出する第２エッジ量抽出部と、前記第１エッジ量の符号と、前記第１分割画像に対応する前記第２分割画像の第２エッジ量に基づいて、前記第１条件で得られた画像を強調するエッジ強調処理部と、を備える画像処理システムである。
【００３３】
これによって、同一の対象について異なる条件で撮影した第１画像および第２画像を利用して、第１画像を強調することが可能となる。
【００３４】
また、前記画像取得部は、可視光及び赤外光にて撮像可能なカメラと、前記カメラの光学系に対して挿抜可能に設けられた赤外光カットフィルタと、を備え、前記赤外光カットフィルタを挿入した状態、挿入していない状態を前記第１条件、前記第２条件とするものである。
【００３５】
これによって、１眼カメラといった簡易な構成で可視光画像と赤外光画像とを撮影することができる。
【００３６】
また、前記画像取得部は、前記第１条件で撮影する第１カメラと前記第２条件で撮影する第２カメラとを備えるものである。
【００３７】
これによって、２眼カメラの構成とすることで、可視光画像と赤外光画像とを同時に撮影することができる。
【００３８】
また、前記エッジ強調処理部は、前記第１エッジ量の符号が正の場合、前記第１エッジ量に対応する前記第１分割画像の値に前記第２エッジ量の絶対値に基づく値を加算し、前記第１エッジ量の符号が負の場合、前記第１エッジ量に対応する前記第１分割画像の値に前記第２エッジ量の絶対値に基づく値を減算するものである。
【００３９】
これによって、同一の対象を撮影した第１画像と第２画像とにおいて、それぞれ同一座標の画素についてのエッジ方向（エッジが立ち上がりエッジか立ち下りエッジか）が異なっている場合においても、第２画像のエッジ成分を利用して第１画像のエッジを的確に強調することが可能となる。
【００４０】
また、前記第１エッジ量抽出部は、所定の第１分割画像の値と前記所定の第１分割画像を中心とした周囲の前記第１分割画像の値の平均との差分値を前記所定の第１分割画像の前記第１エッジ量とし、前記第２エッジ量抽出部は、所定の第２分割画像の値と前記所定の第２分割画像を中心とした周囲の前記第２分割画像の値の平均との差分値を前記所定の第２分割画像の前記第２エッジ量とするものである。
【００４１】
また、１分割画像の値は、前記第１分割画像の輝度情報に基づく画素値であるものである。
【００４２】
また、２条件は、前記第１条件と異なる波長であるものである。
【００４３】
これによって、第１画像では不明瞭なエッジを、これと異なる波長の光で撮影した第２画像のエッジ成分によって強調することが可能となる。
【００４４】
また、前記第１条件で得られた画像は、可視光で撮影した画像であり、前記第２条件で得られた画像は、赤外光で撮影した画像を含む画像であるものである。
【００４５】
これによって、濃霧等によって可視光画像のエッジが不鮮明となっている場合であっても、赤外光画像のエッジ成分を利用して、可視光画像のエッジを強調することが可能となる。また、通常の人の知覚と同じ特性を維持できるため、通常の人が見た場合、違和感の少ない画像を提供することが可能となる。
【００４６】
（第１実施形態）
図１は、第１実施形態に係る画像処理システム１の概略構成を示す構成図である。図１に示すように、画像処理システム１は、撮像部２と画像処理装置３とで構成されている。撮像部２と画像処理装置３とは、例えばインターネット等のネットワーク６０を介して接続され、撮像部２で生成された画像データは、遠隔地に存する画像処理装置３に送信されて、図示しない表示装置３８（図２参照）に映像が表示される。また、撮像部２を制御する各種のコマンド信号が画像処理装置３から撮像部２に送信される。
【００４７】
なお、画像データは、例えばＴＣＰ／ＩＰ、いわゆるインターネットプロトコルを利用して撮像部２から画像処理装置３に送信されるが、専用回線によって撮像部２と画像処理装置３とが１対１の関係で接続される、いわゆるＣＣＴＶ（Closed Circuit TV）と称される態様を用いてもよい。
【００４８】
撮像部２は、左カメラ（第１カメラ）４Ｌ，右カメラ（第２カメラ）４Ｒと、Ａ／Ｄ変換器５，５と、前処理部６Ｌ，６Ｒと、データ圧縮／送信部７とで構成されている。このように第１実施形態の撮像部２は２眼カメラを有する構成となっている。
【００４９】
左カメラ４Ｌはレンズ２１等の光学系と、赤外光カットフィルタ２５Ｌと、撮像素子２３Ｌとで構成されている。撮像素子２３Ｌは、それぞれＲ（Red），Ｇ（Green），Ｂ（Blue）の波長域の光を透過するカラーフィルタを備える画素がベイヤ配列（ＲＧＧＢ配列等）された、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）またはＣＣＤ（Charge Coupled Device）のカラーイメージセンサで構成される。左カメラ４Ｌは赤外光カットフィルタ２５Ｌを備えることから、撮像素子２３Ｌは、可視光（およそ３８０ｎｍ〜８１０ｎｍ）に対応したアナログ画像信号を出力する。なお、撮像素子２３Ｌとして、カラーフィルタを持たないモノクロイメージセンサを用いてもよい。
【００５０】
一方、右カメラ４Ｒはレンズ２１等の光学系と、赤外光透過フィルタ（可視光吸収フィルタ）２５Ｒと、撮像素子２３Ｒとで構成されている。撮像素子２３Ｒとしては左カメラ４Ｌと同様にＣＭＯＳまたはＣＣＤイメージセンサを利用できるが、撮像素子２３Ｒの撮像面にはカラーフィルタが備えられていない。右カメラ４Ｒは赤外光透過フィルタ２５Ｒを備えることから、撮像素子２３Ｒは、近赤外域（Ｉｒ（infrared））の光（およそ８１０ｎｍ〜１５００ｎｍ）に対応したアナログ画像信号を出力する。
【００５１】
左カメラ４Ｌと右カメラ４Ｒとは同一のタイミングで駆動され、これによって可視光に基づく第１条件で撮影された第１画像（以降、「可視光画像」と呼称する）と、赤外光に基づく第２条件で撮影された第２画像（以降、「赤外光画像」と呼称する）とが同時に取得される。そして、左カメラ４Ｌ、右カメラ４Ｒから出力されたアナログ画像信号はＡ／Ｄ変換器５，５によってデジタル画像データに変換される。
【００５２】
左カメラ４Ｌが出力したアナログ画像信号に基づくデジタル画像データは、前処理部６Ｌに出力される。前処理部６Ｌでは、画像データにデモザイク処理、ホワイトバランス調整、色補正、階調補正（γ補正）等を施す。デモザイク処理によって、ＲＧＢの各プレーン別の画像データ（可視光画像データ）が得られる。
【００５３】
一方、右カメラ４Ｒが出力したアナログ画像信号に基づくデジタル画像データは、前処理部６Ｒに出力される。前処理部６Ｒでは、画像データに階調補正（γ補正）等を施し、Ｉｒプレーンの画像データ（以降、「赤外光画像データ」と呼称する。また「可視光画像データ」と「赤外光画像データ」とを併せて、「画像データ」と呼称することがある）が得られる。ここで、デモザイク処理によってＲＧＢの各プレーンおよびＩｒプレーンに含まれる画素数は同一となる。
【００５４】
なお、後述するように、第１実施形態では可視光画像データから輝度情報を生成する。以降、ＲＧＢの三原色に基づく可視光画像データと、輝度に基づく可視光画像データとを区別するため、ＲＧＢに基づくデータの場合は「可視光画像データ（ＲＧＢ）」と、輝度情報に基づくデータの場合は「可視光画像データ（Ｙ）」と呼称する。またこれらのデータによって構成される画像を「可視光画像（ＲＧＢ）」、「可視光画像（Ｙ）」のように呼称する。
【００５５】
さて、レンズ２１を含む光学系は左カメラ４Ｌと右カメラ４Ｒとで同一であり、撮像素子２３Ｌ，２３Ｒの解像度（即ち画素数とセルサイズ）も同一とされている。従って、撮像部２から被写体までの距離が十分に大きければ（災害用監視カメラ等では、通常、この要件は満たされる）、左カメラ４Ｌおよび右カメラ４Ｒは実質的に同一対象（被写体）を撮影することになる。即ち、Ｒ，Ｇ，Ｂ，Ｉｒの画素が配置された各プレーンをｘｙ平面と捉えると、各プレーン上で同一のｘ，ｙ座標で指定される画素は、被写体の同一部位に対応している（同一位置を写している）と考えてよい。
【００５６】
もっとも、左カメラ４Ｌおよび右カメラ４Ｒの光軸を完全に平行にし、かつ光学倍率やイメージサークルを完全に同一に管理することは困難であるため、前処理部６Ｌ，６Ｒの後段に位置合わせ部（図示せず）を設けて左右の画像のエッジ位置を合わせる位置合わせ処理を行ってもよい。位置合わせ部は、左右の画像（例えば、左カメラ４Ｌに基づくＧプレーンおよび右カメラ４Ｒに基づくＩｒプレーン）から、立ち上がりおよび立ち下りエッジ（両エッジ）を検出して公知の特徴点マッチングを行なう。そして、マッチングの結果に基づいてＩｒプレーンに対してアフィン変換を行なう。これによって、可視光画像データ（ＲＧＢ）と赤外光画像データ（Ｉｒ）との間で、各プレーンにおいて同一座標の画素は被写体の同一部位を写している（つまり、被写体の同一位置に対応している）ことが担保される。なお、後述するように、可視光画像データ（Ｙ）と赤外光画像データとでは、エッジの方向が逆転することがあるため、上述した位置合わせ処理はエッジの方向性を排除した両エッジに基づいて実行するのが望ましい。また、予め所定のチャート等に基づいて、上述したアフィン変換のパラメータを求めておけば、特徴点マッチング処理を省略することができる。なお、上述するように位置合わせ処理を行うのであれば、必ずしも左右の画像の撮影範囲を一致させる必要はなく、一致する画像部分に対して、以下に述べるエッジ強調処理にて第１画像のエッジを強調してもよい。
【００５７】
この可視光画像データ（ＲＧＢ）および赤外光画像データは、データ圧縮／送信部７において公知の圧縮処理を施された上でネットワーク６０を経由して画像処理装置３に送信される。画像処理システム１の使用者の指示に基づいて、例えば静止画であればＪＰＥＧ形式、動画であればモーションＪＰＥＧ形式やＨ．２６４形式の圧縮データが画像処理装置３に送信される。このデータ圧縮の際に、可視光画像データ（ＲＧＢ）を輝度情報と色情報とに分離した場合は、画像処理装置３において、輝度情報と色情報とを分離する必要はない。
【００５８】
図２は、画像処理装置３の構成を示すブロック構成図である。画像処理装置３は、受信／データ復号部３０と、記憶部３１と、輝度／色情報分離部３２と、第１エッジ抽出部３３と、第２エッジ抽出部（第２エッジ量抽出部）３４と、ノイズ画素判定部３５と、エッジ強調処理部３６とで構成される。
【００５９】
なお、画像処理装置３は、図示しないＣＰＵ（Central Processing Unit）、ワークメモリ、プログラムメモリ、これらと画像処理装置３の各構成要素とを結合するバス等を備えており、ＣＰＵは、画像処理装置３の各構成要素を調停し、全体を制御する。もちろん、高速に動画を再生するような場合は、画像処理装置３の一部または全部をハードウェアで構成してもよい。
【００６０】
圧縮された状態で画像処理装置３に入力された画像データは、受信／データ復号部３０で可視光画像データ（ＲＧＢ）および赤外光画像データに復号される。可視光画像データ（ＲＧＢ）および赤外光画像データは、一時的に記憶部３１に格納され、その後、可視光画像データ（ＲＧＢ）は輝度／色情報分離部３２に出力され、赤外光画像データは第２エッジ抽出部３４に出力される。
【００６１】
輝度／色情報分離部３２は、可視光画像データ（ＲＧＢ）を構成するＲＧＢの組を、輝度情報（Ｙ）、色情報（Ｉ，Ｑ）に分離する。ＲＧＢからＹＩＱへの変換は以下（式１）〜（式３）を用いて行うことができる。
Ｙ  ＝  ０．３０×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ・・・（式１）
Ｉ  ＝  ０．６０×Ｒ−０．２８×Ｇ−０．３２×Ｂ・・・（式２）
Ｑ  ＝  ０．２１×Ｒ−０．５２×Ｇ＋０．３１×Ｂ・・・（式３）
【００６２】
なお、撮像部２の撮像素子２３Ｌがモノクロイメージセンサの場合、画像処理装置３には可視光画像（Ｙ）が直接入力されるから、輝度／色情報分離部３２の処理は不要である。また、後に説明する合成処理部３６ｂにおいて、可視光画像データ（Ｙ）および色情報を用いて可視光画像データ（ＲＧＢ）を生成する過程も不要である。
【００６３】
ＹＩＱへの変換に替えて、撮像部２で撮影される画像がＳＤ画像であればＹＣｂＣｒに変換してもよく、ＨＤ画像であればＹＰｂＰｒに変換してもよい。いずれの変換を行っても、ＲＧＢの組から輝度情報（可視光画像データ（Ｙ））と色情報とが得られ、このうちＹプレーンを構成する可視光画像データ（Ｙ）が第１エッジ抽出部３３に出力される。なお、上述の式によって計算を行うと、８ｂｉｔ精度であれば、可視光画像データ（Ｙ）は０〜２５５の値をとり、Ｉ，Ｑ（色情報）は−１２８〜＋１２７の値をとる。
【００６４】
第１エッジ抽出部３３は、第１エッジ量抽出部３３ａと、エッジ方向抽出部３３ｂとから構成される。第１エッジ抽出部３３において、第１エッジ量抽出部３３ａは可視光画像データ（Ｙ）の各画素（第１画素、後述する処理対象画素Ｐ）についてエッジ量（第１エッジ量）を抽出する。また、エッジ方向抽出部３３ｂは、第１エッジ量に基づく符号（正または負）を決定する。
【００６５】
図３（ａ）は、第１エッジ抽出部３３が参照する画素について説明する説明図、同（ｂ）は、第１エッジ抽出部３３の処理手順を示すフローチャートである。以降、図２と図３とを用いて、第１エッジ抽出部３３の動作について詳細に説明する。
【００６６】
第１エッジ抽出部３３の処理においては、図３（ａ）に示すように、処理対象画素Ｐを中心として周囲Ｍ×Ｍ画素領域（ウインドウ：ここではＭ＝５）が設定され、処理対象画素Ｐの処理が完了するごとにウインドウは１画素ずつ移動していく。
【００６７】
図３（ｂ）に示すように、まず、第１エッジ抽出部３３では、可視光画像データ（Ｙ）のうちＭ×Ｍ画素領域に含まれる画素の値の平均値を算出する（ＳＴ３０１）。そして、処理対象画素Ｐの画素値とＳＴ３０１で算出した平均値との差分（「処理対象画素Ｐの値」−「平均値」）を取得し、この差分（相対値）を第１エッジ量とする（ＳＴ３０２）。第１エッジ量は、正、０、負のいずれの値もとり得る。次に、第１エッジ量が"０"以上であるか、または"０"未満であるかを比較する（ＳＴ３０３）。
【００６８】
なお、第１エッジ量は、ＳＴ３０１による平均値を用いず、公知のエッジ検出フィルタによって求めてもよい。エッジ検出フィルタは、例えば３×３のマトリクスで構成され、中心画素を処理対象画素Ｐとして（その値は、正の数であって例えば"＋４"）、処理対象画素Ｐに隣接する強連結画素（４つ）の値を負の数である"−１"としたものである。この他にも、ＬａｐｌａｃｉａｎフィルタやＰｒｅｗｉｔｔフィルタ、Ｓｏｂｅｌフィルタなど、Ｍ×Ｍのマトリクスで構成されるエッジ検出フィルタにおいて、中心画素に対称、かつマトリクスを構成する要素の総和が"０"になるものであれば、どのような係数を用いてもよい。このマトリクスを可視光画像データ（Ｙ）に適用することで、処理対象画素Ｐについて第１エッジ量を求めることができる。
【００６９】
また、エッジ量を算出する際の平均値について、上記のように周囲Ｍ×Ｍ個から算出するのではなく、周囲の一部（例えば、処理対象画素Ｐの上下左右の画素のみ等）を用いて算出してもよい。
【００７０】
「第１エッジ量の値」≧「"０"」を満たす場合（ＳＴ３０３でＹｅｓ）は、エッジ方向を「＋１」とする（ＳＴ３０４）。「第１エッジ量の値」＜「"０"」である場合（ＳＴ３０３でＮｏ）は、エッジ方向を「−１」とする（ＳＴ３０５）。即ち、ここにいうエッジ方向とは、処理対象画素Ｐにおいてエッジが立ち上がっているか、立ち下がっているかの方向を指す。エッジが立ち上がっている場合は「＋１」とし、エッジが立ち下がっている場合は「−１」とする。一方、プログラムの上ではエッジ方向とは、第１エッジ量を計算した結果に基づいて定まる正負の符号ということであり、第１エッジ量を計算した結果が非負のとき、エッジ方向は「＋１」とされる。
【００７１】
なお、エッジ方向といった独立したフラグを用いることなく、第１エッジ量の符号を直接エッジ方向として利用することも可能である。ただし、第１エッジ量は計算結果として０を含むため、第１エッジ量＝０の場合にエッジ方向を「＋１」または「−１」のいずれとして取り扱うかを定めておく必要がある。なお、エッジ方向は、上述したエッジ検出フィルタを適用した結果に基づいて決定してもよく、この場合もエッジ量が０となる場合を考慮すればよい。
【００７２】
ＳＴ３０４またはＳＴ３０５の処理のいずれかを実行したのち、上述の処理を全ての処理対象画素Ｐについて実行したか否かを検査し（ＳＴ３０６）、実行していれば（ＳＴ３０６でＹｅｓ）プログラムを終了し、実行していなければ（ＳＴ３０６でＮｏ）、次の画素を中心に有するウインドウを設定する（ＳＴ３０７）。
【００７３】
以降、図２に戻って説明を続ける。図２において、記憶部３１に一時的に蓄積された赤外光画像データは、第２エッジ量抽出部３４に入力される。第２エッジ量抽出部３４は赤外光画像の各画素（第２画素、後述する処理対象画素Ｑ）についてエッジ量（第２エッジ量）を抽出する。
【００７４】
図４（ａ）は、第２エッジ量抽出部３４が参照する画素について説明する説明図、同（ｂ）は、第２エッジ量抽出部３４の処理手順を示すフローチャートである。以降、図２と図４とを用いて、第２エッジ量抽出部３４の動作について詳細に説明する。
【００７５】
第２エッジ量抽出部３４の処理においては、図４（ａ）に示すように、処理対象画素Ｑ（第２画素）を中心として周囲Ｎ×Ｎ画素領域（ウインドウ：ここではＮ＝５）が設定され、処理対象画素Ｑの処理が完了するごとにウインドウは１画素ずつ移動していく。
【００７６】
図４（ｂ）に示すように、まず、第２エッジ量抽出部３４では、赤外光画像データのうちＮ×Ｎ画素領域に含まれる画素の値の平均値を算出する（ＳＴ４０１）。そして、処理対象画素Ｑの画素値とＳＴ４０１で算出した平均値との差分（「処理対象画素Ｐの値」−「平均値」）を取得し、この差分（相対値）を第２エッジ量とする（ＳＴ４０２）。第２エッジ量は、正、０、負のいずれの値もとり得る。なお、第２エッジ量を、ＳＴ４０１による平均値を用いず、上述したエッジ検出フィルタによって求めてもよい。
【００７７】
ＳＴ４０２の処理を実行したのち、上述の処理を全ての処理対象画素Ｑについて実行したか否かを検査し（ＳＴ４０３）、実行していれば（ＳＴ４０３でＹｅｓ）プログラムを終了し、実行していなければ（ＳＴ４０３でＮｏ）、次の画素を中心に有するウインドウを設定する（ＳＴ４０４）。
【００７８】
以降、図２に戻って説明を続ける。図４に示すフローチャートを実行した後は、上述したように、第１エッジ量抽出部３３ａによって可視光画像（Ｙ）に含まれる各画素について第１エッジ量が抽出され、第２エッジ量抽出部３４によって赤外光画像に含まれる各画素について第２エッジ量が抽出されている。第１エッジ量および第２エッジ量は、ノイズ画素判定部３５に出力される。
【００７９】
図５は、ノイズ画素判定部３５の処理手順を示すフローチャートである。以降、図２と図５とを用いて、ノイズ画素判定部３５の動作について詳細に説明する。
【００８０】
ノイズ画素判定部３５では、処理対象画素Ｐに対応した第１エッジ量の絶対値に係数Ｔを乗じ、これと処理対象画素Ｑに対応した第２エッジ量の絶対値とを比較する（ＳＴ５０１）。なお、可視光画像データ（Ｙ）が配列されたＹプレーンにおける処理対象画素Ｐの座標と、赤外光画像データが配列されたＩｒプレーンにおける処理対象画素Ｑの座標は同一である。
【００８１】
ここで係数Ｔは、０より大きい値であって、
Ｔ＝可視光画像（Ｙ）のコントラストの正規化係数／赤外光画像のコントラストの正規化係数・・・（式４）
可視光画像（Ｙ）のコントラストの正規化係数＝２５５／可視光画像（Ｙ）を構成する画素値の最大値と最小値との差・・・（式５）
赤外光画像のコントラストの正規化係数＝２５５／赤外光画像を構成する画素値の最大値と最小値との差・・・（式６）
によって求めることができる。これによって可視光画像（Ｙ）と赤外光画像とを同一のコントラストの状態にして、処理対象画素Ｐがノイズ画素か否かを判定する。
【００８２】
ここで、「可視光画像（Ｙ）に基づく第１エッジ量の絶対値×係数Ｔ≧赤外光画像に基づく第２エッジ量の絶対値」の条件を満たす場合（ＳＴ５０１でＹｅｓ）は、処理対象画素Ｐは非ノイズ画素であると判定する（ＳＴ５０２）。他方、ＳＴ５０１の条件を満たさない場合（ＳＴ５０１でＮｏ）は、処理対象画素Ｐはノイズ画素であると判定する（ＳＴ５０３）。即ち、ノイズ画素判定部３５は上述の基準を用いて、可視光画像（Ｙ）に基づく第１エッジ量が、赤外光画像に基づく第２エッジ量より相対的に小さい場合はノイズの影響を受けた画素であると判定する。
【００８３】
ＳＴ５０２（ＳＴ５０３）の処理を実行したのち、上述の処理を全ての処理対象画素Ｐについて実行したか否かを検査し（ＳＴ５０４）、実行していれば（ＳＴ５０４でＹｅｓ）プログラムを終了し、実行していなければ（ＳＴ５０４でＮｏ）、次の画素の処理に進む（ＳＴ５０５）。
【００８４】
以降、図２に戻って説明を続ける。図５に示すフローチャートを実行した段階では、ノイズ画素判定部３５によって、可視光画像（Ｙ）に含まれる処理対象画素Ｐがノイズ画素か非ノイズ画素かが判定されている。この判定結果は、エッジ強調処理部３６を構成するエッジ成分生成部３６ａに出力される。エッジ成分生成部３６ａには、更に、エッジ方向抽出部３３ｂから、可視光画像（Ｙ）に基づく第１エッジ量に基づき決定された符号である「エッジ方向」と、第２エッジ量抽出部３４から、赤外光画像に基づく第２エッジ量とが入力される。エッジ成分生成部３６ａは、これらに基づいて、処理対象画素Ｐに対して付加するエッジ成分を生成する。
【００８５】
図６は、エッジ成分生成部３６ａの処理手順を示すフローチャートである。以降、図２と図６とを用いて、エッジ成分生成部３６ａの動作について詳細に説明する。
【００８６】
エッジ成分生成部３６ａでは、処理対象画素Ｐがノイズ画素と判定された画素であるか否かを検査する（ＳＴ６０１）。処理対象画素Ｐがノイズ画素である場合（ＳＴ６０１でＹｅｓ）は、エッジ方向を考慮しないでエッジ成分を生成する（ＳＴ６０２）。他方、処理対象画素Ｐがノイズ画素ではない場合（ＳＴ６０１でＮｏ）は、エッジ方向を考慮してエッジ成分を生成する（ＳＴ６０３）。
【００８７】
エッジ方向を考慮したエッジ成分の生成においては、エッジ成分Ｅｇは、上述した第１エッジ量に基づいて決定された符号であるエッジ方向（上述したように、「＋１」または「−１」のいずれかの値をとる）を考慮して、
Ｅｇ＝エッジ方向×第２エッジ量の絶対値×α・・・（式７）
で計算される。
他方、エッジ方向を考慮しないエッジ成分の生成においては、エッジ成分Ｅｇは、エッジ方向を考慮せず、
Ｅｇ＝第２エッジ量×β・・・（式８）
で計算される。
ここで、α，βはいずれも０より大きな定数であり、α，βを変えることでエッジ強調の強度を調整することができる。α，βを大きくするほどエッジ成分Ｅｇは大きくなり、エッジ強調効果が大きくなる。
【００８８】
ＳＴ６０２（ＳＴ６０３）の処理を実行したのち、上述の処理を全ての処理対象画素Ｐについて実行したか否かを検査し（ＳＴ６０４）、実行していれば（ＳＴ６０４でＹｅｓ）プログラムを終了し、実行していなければ（ＳＴ６０４でＮｏ）、次の画素の処理に進む（ＳＴ６０５）。
【００８９】
以降、図２に戻って説明を続ける。図６に示すフローチャートを実行した段階では、処理対象画素Ｐ、即ち可視光画像（Ｙ）に対して付加されるエッジ成分Ｅｇが計算されている。このエッジ成分Ｅｇは合成処理部３６ｂに出力される。
【００９０】
合成処理部３６ｂは、輝度／色情報分離部３２から処理対象画素Ｐの座標に対応した画素値（可視光画像データ（Ｙ））を取得し、当該画素値にエッジ成分Ｅｇを加算する。これによって可視光画像データ（Ｙ）、即ち輝度情報が赤外光画像データから抽出されたエッジ成分によって強調される。
【００９１】
このように、第１実施形態に係る画像処理装置３は、撮影対象を第１条件で撮影して得られた画像を構成する複数の第１画素のそれぞれについて、第１エッジ量を抽出する第１エッジ量抽出部３３ａと、同一の撮影対象を第１条件とは異なる第２条件で撮影して得られた画像を構成する複数の第２画素のそれぞれについて、第２エッジ量を抽出する第２エッジ量抽出部３４と、第１エッジ量に基づく第１画像のエッジを、第１画素のそれぞれについて、第１エッジ量に基づく符号と第２エッジ量とに応じて強調するエッジ強調処理部３６とを備える。
【００９２】
この構成は、画像処理装置３は、第１画像を構成する複数の第１画素について、第１エッジ量を抽出するとともに、第１エッジが立ち上がりエッジか立ち下りエッジかを示すエッジ方向を抽出する第１エッジ抽出部３３と、第１画像と同一対象を異なる条件で撮影した第２画像を構成する第２画素について、第２エッジ量を抽出する第２エッジ抽出部３４と、第２エッジ量に基づいて補正量を決定し、エッジ方向に基づいて補正量を正または負の値にしたエッジ成分を生成するエッジ成分生成部３６ａと、エッジ成分を第１画素に合成する合成処理部３６ｂとを備える、と言うこともできる。
【００９３】
その後、合成処理部３６ｂは、エッジ強調が施された輝度情報（Ｙ）と、輝度／色情報分離部３２から出力された色情報（Ｉ，Ｑ）とに基づき、可視光画像データ（ＲＧＢ）を以下の式を用いて生成する。
Ｒ＝Ｙ＋０．９４８９×Ｉ＋０．６５６１×Ｑ・・・（式９）
Ｇ＝Ｙ−０．２６４５×Ｉ−０．６８４７×Ｑ・・・（式１０）
Ｂ＝Ｙ−１．１２７０×Ｉ＋１．８０５０×Ｑ・・・（式１１）
そして、合成処理部３６ｂは計算した可視光画像データ（ＲＧＢ）を表示装置３８に出力する。
【００９４】
図７は、可視光画像（Ｙ）のエッジ方向を考慮した場合としなかった場合とにおけるエッジ強調結果を説明する表であり、図８は、図７におけるエッジ強調結果を示すグラフである。以降、図７、図８に図２を併用して、本発明の作用・効果について説明する。
【００９５】
図２を参照すると、図７における「可視光画像（Ｙ）の画素値」は輝度／色情報分離部３２の出力（輝度情報）に相当し、「赤外光画像の画素値」は記憶部３１から出力される赤外光画像データに相当し、「可視光画像（Ｙ）のエッジ方向」はエッジ方向抽出部３３ｂの出力に相当し、「可視光画像（Ｙ）のエッジ量」は第１エッジ量、即ち第１エッジ量抽出部３３ａの出力に相当し、「赤外光画像のエッジ量」は第２エッジ量、即ち第２エッジ量抽出部３４の出力に相当する。第１実施形態では、上述したように、可視光画像（Ｙ）に対してエッジ強調を行う場合に、原則的にエッジ方向を考慮して行う。図７および図８は、エッジ方向を考慮して合成した場合とエッジ方向を考慮しなかった場合とを比較するものである。
【００９６】
なお、図７においては、
エッジ方向を考慮しないで合成した場合の画素値＝可視光画像（Ｙ）の画素値＋赤外光画像のエッジ量（第２エッジ量）×β・・・（式１２）
エッジ方向を考慮して合成した場合の画素値＝可視光画像（Ｙ）の画素値＋エッジ方向×赤外光画像のエッジ量（第２エッジ量）の絶対値×α・・・（式１３）
とし、α、βについてはいずれも"３"に設定している。
【００９７】
ここで、例えばＰ＋１番目の画素位置に着目すると、エッジ方向を考慮しないで合成した場合では、
画素値（エッジ方向考慮なし）＝１１９＋（−５）×３＝１０４
となり、エッジ方向を考慮して合成した場合では、
画素値（エッジ方向考慮あり）＝１１９＋（＋１）×（５）×３＝１３４
となる。
【００９８】
図８は、図７に示すＰ番目〜Ｐ＋６番目までの画素について、「可視光画像（Ｙ）の画素値」（▲）を一点鎖線で、「赤外光画像の画素値」（■）を二点鎖線で、「エッジ方向を考慮しないで合成した場合」の画素値（◆）を破線で、「エッジ方向を考慮して合成した場合」の画素値（●）を実線で、それぞれ連結したものである。
【００９９】
図８において明白なように、「可視光画像（Ｙ）の画素値」（▲）はＰ＋２番目からＰ＋４番目にかけて立ち下りエッジとなっている。ところが、「赤外光画像の画素値」（■）は同じ範囲と方向において立ち上がりエッジとなっている。可視光と赤外光とでは波長帯が異なるため、画素列としてみたときに、このようにエッジの立ち上がりと立ち下りが相互に逆に（即ち、逆相に）なってしまう場合がある。
【０１００】
このようにエッジ方向が逆転している状況で、「エッジ方向を考慮しないで合成した場合」（◆）は、可視光画像（Ｙ）と赤外光画像とで画素値が相殺して、Ｐ番目からＰ＋６番目の間に本来あるべきエッジが消失していることが分かる。一方で「エッジ方向を考慮して合成した場合」（●）は（式１３）が適用されて、本来のエッジ（Ｐ＋３）の前後の画素位置において、即ちＰ＋２番目では画素値＝１２１が１５４に増加し、Ｐ＋４番目では画素値＝４４が１１に減少することで、可視光画像（Ｙ）に存在していたエッジが更に強調される。これによって、可視光画像（Ｙ）に基づいて最終的に生成される可視光画像（ＲＧＢ）においても、視認性が大幅に向上する。
【０１０１】
つまり、図８に示すように、本来の可視画像（Ｙ）において周囲より画素値が大きい部分にはさらに画素値が大きくなるように、可視画像（Ｙ）の画素値に第２エッジ量に基づく画素値（エッジ成分）を加算し、本来の可視画像（Ｙ）において周囲より画素値が小さい部分にはさらに画素値が小さくなるように、可視画像（Ｙ）の画素値に第２エッジ量に基づく画素値（エッジ成分）を減算することで、可視画像（Ｙ）の強調処理を行う。
【０１０２】
図９は、可視光画像のエッジ方向を考慮する前提で、ノイズ画素判定を行った場合と行わなかった場合とにおけるエッジ強調結果を説明する表であり、図１０は、図９におけるエッジ強調結果を示すグラフである。
【０１０３】
図９では、図７と比較すると「ノイズ判定結果」の欄が加えられている。このノイズ判定結果はノイズ画素判定部３５（図２参照）の出力に相当し、ノイズ判定結果＝１はノイズ画素、ノイズ判定結果＝０は非ノイズ画素であることを示す。図５を用いてＳＴ５０１、ＳＴ５０２、ＳＴ５０３で説明したように、ノイズ画素判定部３５では、「可視光画像（Ｙ）に基づく第１エッジ量の絶対値×係数Ｔ≧赤外光画像に基づく第２エッジ量の絶対値」を検査して、可視光画像（Ｙ）を構成する処理対象画素Ｐがノイズ画素であるか否かを判定する。
【０１０４】
上述したように、第１実施形態では可視光画像（Ｙ）に対してエッジ強調を行う場合に、原則的に（式１３）を適用してエッジ方向を考慮して行うが、例外処理として、ノイズ画素と判定した場合は（式１２）を適用してエッジ方向を考慮せずにエッジを合成する。
【０１０５】
なお、図９、図１０においては、上述の係数Ｔの値を"２"としている。また、（式１２）で用いるβの値および（式１３）で用いるαの値を"３"としている。
【０１０６】
ここで、例えばＰ＋４番目の画素位置に着目すると、Ｐ＋４番目のノイズ判定結果＝０であり、非ノイズ画素である。従って、エッジ方向が考慮されて、画素値の計算には（式１３）が適用される。即ち、
画素値＝６１＋（＋１）×０×３＝６１
となり、また、Ｐ＋３番目の画素位置に着目すると、Ｐ＋３番目のノイズ判定結果＝１であり、ノイズ画素である。従って、エッジ方向は考慮されず、画素値の計算には（式１２）が適用される。即ち、
画素値＝５８＋２４×３＝１３０
となる。
【０１０７】
図１０は、図９に示すＰ番目〜Ｐ＋６番目までの画素について、「可視光画像（Ｙ）の画素値」（▲）を一点鎖線で、「赤外光画像の画素値」（■）を二点鎖線で、「ノイズ判定を用いずに合成」した場合の画素値を（◆）を破線で、「ノイズ判定を用いて合成」した場合の画素値（●）を実線で、それぞれ連結したものである。
【０１０８】
図１０に示すように、「可視光画像（Ｙ）の画素値」（▲）はＰ番目からＰ＋６番目にかけて殆ど変化がない。ただし、図９によれば第１エッジ量はＰ番目〜Ｐ＋６番目にかけて、±に小幅に変動する部分が存在する。このような小幅な変動は本来的なエッジ成分ではなく、例えばイメージセンサへの入射光量が小さくなった場合に見られるノイズ（例えば、ショットノイズ）であることが多い。ところが、「赤外光画像の画素値」（■）はＰ＋３番目からＰ＋５番目にかけて立ち下りエッジとなっている。可視光と赤外光とでは波長帯が異なるため、画素列としてみたときに、このように可視光画像（Ｙ）は平坦だが、赤外光画像のみにエッジが含まれるような場合が存在する。
【０１０９】
処理対象画素Ｐがノイズ画素である場合に、可視光画像（Ｙ）のエッジ方向に考慮すると、図１０の「ノイズ判定を用いずに合成」（◆）のように、可視光画像（Ｙ）に含まれるノイズの影響を受けて不自然なエッジ成分を生成してしまう場合がある。一方、「ノイズ判定を用いて合成」（●）した場合は、処理対象画素Ｐがノイズ画素と判断されれば、エッジ成分の生成に可視光画像（Ｙ）から生成された第１エッジに基づくエッジ方向は関与しなくなるため、赤外光画像のエッジが直接的に反映されて、自然なエッジを得ることができる。
【０１１０】
なお、図３ないし図６のフローチャートを用いて説明したように、本発明は画像処理方法としての側面を有しており、そして当該画像処理方法をコード化したプログラムを、上述したプログラムメモリに格納して利用してもよい。
【０１１１】
（第２実施形態）
図１１は、第２実施形態に係る画像処理システム１の概略構成を示す構成図である。第１実施形態では撮像部２は可視光画像（ＲＧＢ）を撮影する左カメラ４Ｌと、赤外光画像を撮影する右カメラ４Ｒとを備えていたが、第２実施形態の撮像部２はカメラ４を１つのみ備える。
【０１１２】
カメラ４は、レンズ２１等の光学系と、撮像素子５１と、赤外光カットフィルタ５０とで構成される。撮像素子５１としては、カラーイメージセンサ、モノクロイメージセンサのいずれを用いてもよい。ただし、赤外光カットフィルタ５０は図示しない駆動源および機構によって、方向Ｄに変位可能に構成されており、ユーザは撮像部２の外部から、ネットワーク６０を介してコマンドを発行することで、レンズ２１および撮像素子５１の間の空間に対して、赤外光カットフィルタ５０を挿抜することができる。
【０１１３】
レンズ２１と撮像素子５１との間に赤外光カットフィルタ５０が挿入された状態で、可視光に基づく第１条件で可視光画像（ＲＧＢまたはＹ）が撮影され、赤外光カットフィルタ５０が抜去された状態（第２条件）で、赤外光に基づく第２条件で赤外光画像が撮影される。
【０１１４】
赤外光カットフィルタ５０の挿抜には機械的な動作を伴うことから、可視光画像（ＲＧＢまたはＹ）と赤外光画像との撮影には時間差がある。そしてカメラ４から出力されたアナログ画像信号はＡ／Ｄ変換器５によってデジタル画像データに変換され、前処理部６に出力される。このように２つの画像の撮影に時間差があっても、変化が緩慢な対象、例えば海面の高さを監視する等の用途には十分対応できる。
【０１１５】
前処理部６では、入力されたデジタル画像データが可視光画像データ（ＲＧＢまたはＹ）か、赤外光画像データかによって、それぞれ第１実施形態で説明した処理を実行する。その後、可視光画像データ（ＲＧＢまたはＹ）および赤外光画像データは、データ圧縮／送信部７からネットワーク６０を介して画像処理装置３へと送信される。以降の処理は、第１実施形態と同様であるので説明は省略する。
【０１１６】
（第３実施形態）
図１２は、第３実施形態に係る撮像装置７０の概略構成を示す構成図である。第１実施形態および第２実施形態では、画像処理装置３に対して撮像部２を遠隔に配置して、ネットワーク６０を介して撮像部２から画像処理装置３に画像データを送信する構成としていた。これに対して、第３実施形態は、撮像装置７０に画像処理部３を内蔵し、前処理部６の出力を直接的に画像処理部３に入力するようにしたものである。
【０１１７】
第３実施形態では、挿抜可能に構成された赤外光カットフィルタ５０を含め、カメラ４、Ａ／Ｄ変換器５等の構成は第２実施形態と共通であり、また画像処理部３の構成は第１実施形態で説明した画像処理装置３と共通であるので、これらの説明は省略する。
【０１１８】
なお、第１実施形態で説明した２眼カメラの構成を、第３実施形態と組み合わせて、２眼カメラのそれぞれに由来する画像データを、直接的に画像処理部３に入力する構成を採用してもよい。
【０１１９】
以上、詳細に説明してきたように、本発明において可視光画像（ＹまたはＲＧＢ）は、最終的に表示の用に供する（即ち、ユーザがモニタ等に映して視覚的に利用しようとする）画像である。本発明では、表示の用に供する第１画像を構成する複数の処理対象画素Ｐのそれぞれについて第１エッジ量を抽出し、表示の用に供する画像と同一の対象を撮影した表示の用に供されない第２画像を構成する複数の処理対象画素Ｑのそれぞれについて、第２エッジ量を抽出する。そして、表示の用に供する画像のエッジを、処理対象画素Ｐのそれぞれについて、第１エッジ量に基づく正負の符号（即ち、エッジ方向）と第２エッジ量とに応じて強調する。このように本発明においては、赤外光画像は表示の用に供する可視光画像（Ｙ）のエッジを強調するために利用される。これによって、濃霧の影響等で可視光画像（Ｙ）のエッジが不鮮明になっていても、赤外光画像から抽出したエッジ成分によって可視光画像（Ｙ）のエッジが強調される。しかも、この際に、可視光画像（Ｙ）のエッジ方向を考慮してエッジ成分を合成するため、可視光画像（Ｙ）のエッジは確実に強調される。
【０１２０】
なお、本発明は、ユーザが赤外光画像（可視光画像（Ｙ）と同様に単プレーンの画像として取り扱うことができる）を表示に用いる場合は、赤外光画像を第１画像として第１エッジ量とエッジ方向とを抽出し、可視光画像（Ｙ）を第２画像として第２エッジ量を抽出し、これらを上述した手順に従って合成し、エッジ強調がなされた赤外光画像を表示することも可能である。この手法は、赤外光として遠赤外光を利用する場合に特に有効である。即ち、サーモセンサを用いた遠赤外光画像（温度分布）では、一般にエッジが鮮明ではない。そこで、可視光画像の鮮明なエッジを赤外光画像のエッジ方向を考慮して合成することでサーモセンサによる赤外光画像をより鮮明（高解像化）にすることができる。ただし、遠赤外光画像では、温度分布を色彩化して表現することが多いため、エッジ強調された部分が温度分布と誤認識されないよう、エッジ成分については無彩色で表示する等の処理を導入することが望ましい。このように第１画像と第２画像を入れ替えることはもちろん、第１画像を遠赤外光画像とし、第２画像を近赤外光画像としても構わない。
【０１２１】
また、第１実施形態において詳細に説明したように、本発明は、第１条件で撮影した画像、即ち可視光画像（Ｙ）に含まれるエッジを、第２条件で撮影した画像、即ち赤外光画像から抽出した第２エッジ量を用いて強調しているが、第２エッジ量を抽出する画像は赤外光画像に限らない。また、強調する画像は輝度情報（Ｙ）だけに限らず、例えば色情報であってもよい。赤外光画像に替えて紫外光画像（例えば、波長３８０〜２００ｎｍ程度の近紫外光を用いて撮影した画像）を利用し、紫外光画像に基づいて第２エッジ量を抽出してもよい。紫外線画像は、赤外光透過フィルタ２５Ｒ（図１参照）に替えて紫外光透過フィルタ（可視光吸収）を用いて撮影することができる。ＣＭＯＳやＣＣＤで構成される撮像素子２３Ｒ（図１参照）は、通常、上述の近紫外光に対する感度を有しているため、フィルタを除き特殊な部材の追加は不要である。
【０１２２】
このように、第１条件で撮影した画像（表示に供する画像）と第２条件で撮影した画像（表示に供されない画像）とは、同一の被写体を撮影するものである限り、光（電磁波）の波長という条件を異ならせて撮影した画像のことをいう。即ち、本発明において、第１画像と第２画像は、被写体のエッジを抽出できる限りにおいて、いずれの波長の電磁波に基づいて取得されてもよい。
【０１２３】
更に、第２画像は、いわゆるＴＯＦ（Time of Flight）法を利用して取得した距離画像であってもよい。これによって、可視光画像（Ｙ）に含まれるエッジを距離情報（遠近の情報）に基づいて強調することが可能となる。もちろん、表示に供する画像を赤外光画像とし、表示に供されない画像を距離画像としてもよい。
【０１２４】
また、第１実施形態〜第３実施形態では、撮像素子２３Ｌ，２３Ｒ，５０とレンズ２１（図１参照）の間に、赤外光カットフィルタ２５Ｌ、赤外光透過フィルタ２５Ｒ等、透過する光の波長を規制する部材を配置して、可視光画像（ＲＧＢ）および赤外光画像を得ているが、この構成に替えて、いわゆるＲＧＢＷ（ＲＧＢＩｒ）の画素を備えた撮像素子を用いてもよい。この場合は独立した赤外光カットフィルタ２５Ｌや赤外光透過フィルタ２５Ｒが不要となる。
また、第１実施形態〜第３実施形態では、画素毎にエッジ量を求めて、エッジ強調処理を行っているが、画素毎に行う必要はなく、ユーザが任意の数に画像を分割し、その分割した単位でエッジ量を求めて、エッジ強調処理を行ってもよい。
また、本実施形態では、第２エッジ量に所定の係数（α、β）を乗算して、それを可視光画像の画素値に加算または減算しているが、第２エッジ量を基にした値（係数）を可視光画像の画素値に乗算してもよい。
【０１２５】
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。
【０１２６】
なお、上述の実施形態に示した本発明に係る画像処理装置、撮像装置、画像処理システムの各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【産業上の利用可能性】
【０１２７】
本発明に係る画像処理方法、及び画像処理システムは、同一の対象について異なる条件で撮影した第１画像および第２画像のうち、表示の用に供せられる第１画像に含まれるエッジを、第２画像のエッジ成分を利用して的確に強調することが可能であることから、あらゆる環境において鮮明な画像を撮影することを要求される監視カメラ、特に災害用監視カメラに好適に利用することが可能である。
【符号の説明】
【０１２８】
１      画像処理システム
２      撮像部
３      画像処理装置（画像処理部）
４Ｌ    左カメラ（第１カメラ）
４Ｒ    右カメラ（第２カメラ）
２３Ｌ  撮像素子
２３Ｒ  撮像素子
２５Ｌ  赤外光カットフィルタ
２５Ｒ  赤外光透過フィルタ
３２    輝度／色情報分離部
３３    第１エッジ抽出部
３３ａ  第１エッジ量抽出部
３３ｂ  エッジ方向抽出部
３４    第２エッジ抽出部（第２エッジ量抽出部）
３５    ノイズ画素判定部
３６    エッジ強調処理部
３６ａ  エッジ成分生成部
３７ｂ  合成処理部
【図１】
2014241584.tif 000003
【図２】
2014241584.tif 000004
【図３】
2014241584.tif 000005
【図４】
2014241584.tif 000006
【図５】
2014241584.tif 000007
【図６】
2014241584.tif 000008
【図７】
2014241584.tif 000009
【図８】
2014241584.tif 000010
【図９】
2014241584.tif 000011
【図１０】
2014241584.tif 000012
【図１１】
2014241584.tif 000013
【図１２】
2014241584.tif 000014