(57)【要約】【課題】複数の画像の何れかにエッジが存在する場合、このエッジを保存したままノイズを低減する。【解決手段】  バイラテラルフィルタ５は、フィルタの係数を算出する係数演算部５１とフィルタ部５２とを備える。係数演算部５１は、可視光撮像部２が撮像した可視光画像Ｖｉｓｉｂｌｅと、赤外光撮像部３が撮像した赤外光画像Ｉｎｆｒとの２枚の画像を基にフィルタの係数Ｗを算出する。フィルタ部５２は、係数Ｗを用いて可視光画像Ｖｉｓｉｂｌｅのフィルタ対象領域にフィルタリング処理を施す。【選択図】図２
2006180268.tif 000002
【特許請求の範囲】
【請求項１】
フィルタ対象画像のエッジを保存しつつ該フィルタ対象画像に対してフィルタリング処理を施す画像処理装置であって、
異なる撮像条件のもとで上記フィルタ対象画像と同一の像を撮像した複数の画像に基づいてエッジ評価値を算出するエッジ評価値算出手段と、
上記エッジ評価値に基づいてフィルタの係数を算出する係数算出手段と、
上記係数に基づいて上記フィルタ対象画像にフィルタリング処理を施すフィルタ手段と
を備えることを特徴とする画像処理装置。
【請求項２】
上記フィルタ対象画像の任意の座標の画素に対してフィルタリング処理を施す場合に、
上記エッジ評価値算出手段は、上記複数の画像の上記任意の座標の画素値と上記任意の座標の周辺の画素値との差を基にエッジ評価値を算出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記任意の座標と、上記任意の座標の周辺の座標との距離に基づいて距離評価値を算出する距離評価値算出手段を備え、
上記係数算出手段は、上記エッジ評価値と上記距離評価値とを基にフィルタの係数を算出すること
を特徴とする請求項２記載の画像処理装置。
【請求項４】
上記複数の画像の少なくとも１つは、赤外光に感度のある撮像素子で撮像した赤外光画像であることを特徴とする請求項１記載の画像処理装置。
【請求項５】
上記複数の画像の少なくとも１つは、紫外光に感度のある撮像素子で撮像した紫外光画像であることを特徴とする請求項１記載の画像処理装置。
【請求項６】
フィルタ対象画像のエッジを保存しつつ該フィルタ対象画像に対してフィルタリング処理を施す画像処理方法であって、
上記フィルタ対象画像と同一の像を異なる条件のもとで撮像した複数の画像に基づいてエッジ評価値を算出するエッジ評価値算出工程と、
上記エッジ評価値に基づいてフィルタの係数を算出するフィルタ係数算出工程と、
上記係数を用いて上記フィルタ対象画像にフィルタリング処理を施すフィルタ工程と
を有することを特徴とする画像処理方法。
【請求項７】
フィルタ対象画像のエッジを保存しつつ該フィルタ画像に対するフィルタリング処理をコンピュータに実行させるプログラムにおいて、
フィルタ対象画像と同一の像を異なる条件のもとで撮像した複数の画像に基づいてエッジ評価値を算出するエッジ評価値算出工程と、
上記エッジ評価値に基づいてフィルタの係数を算出するフィルタ係数算出工程と、
上記係数を用いて上記フィルタ対象画像にフィルタリング処理を施すフィルタ工程と
を有することを特徴とするプログラム。
【請求項８】
フィルタ対象画像のエッジを保存しつつ該フィルタ画像に対するフィルタリング処理をコンピュータに実行させるプログラムが記録された記録媒体において、
フィルタ対象画像と同一の像を異なる条件のもとで撮像した複数の画像に基づいてエッジ評価値を算出するエッジ評価値算出工程と、
上記エッジ評価値に基づいてフィルタの係数を算出するフィルタ係数算出工程と、
上記係数を用いて上記フィルタ対象画像にフィルタリング処理を施すフィルタ工程と
を有するプログラムが記載された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
画像のエッジを保存しつつ画像を平滑化する画像処理装置、画像処理方法、プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
従来、静止画や動画の画質を向上させるためにフィルタが使用されている。このようなフィルタの一つとして、バイラテラルフィルタと呼ばれるフィルタが存在する。バイラテラルフィルタは、エッジ保存フィルタの一種であり、画像のエッジを保存しつつノイズを除去して画像を平滑化させる。
【０００３】
図４にバイラテラルフィルタ２０の構成を示す。バイラテラルフィルタ２０は、フィルタ部２２と、フィルタの係数を演算する係数演算部２１とから構成される。フィルタ部２２のタップ数は、２Ｎ＋１である（Ｎは任意の自然数）。バイラテラルフィルタ２０の処理単位は、フィルタ対象領域である。フィルタ対象領域は、図５に示すように、フィルタ対象領域は入力画像ＩＮから座標（Ｘ、Ｙ）の画素を中心とした縦２Ｎ＋１×横２Ｎ＋１のマトリクスを抜き出したものである。バイラテラルフィルタ２０は、フィルタ対象領域の中心の座標（Ｘ、Ｙ）に対応する出力画素値ＯＵＴ（Ｘ、Ｙ）を算出する。
【０００４】
バイラテラルフィルタ２０は、入力画像のフィルタリング処理を１画素づつなめるように繰り返す。バイラテラルフィルタ２０による全ての画素のフィルタリング処理が完了したときに出力画像ＯＵＴが完成する。
【０００５】
係数演算部２１は、距離演算部２３と、エッジ演算部２４と、乗算部とから構成される。距離演算部２３は、以下の式（１）に従い、フィルタ対象領域の中心画素の座標（Ｘ、Ｙ）とフィルタ対象領域を構成する他の画素の座標（ＰＸ、ＰＹ）との距離に依存する値Ｗｓを算出する。式（１）において、σＳは座標（Ｘ、Ｙ）と座標（ＰＸ、ＰＹ）との標準偏差である。
【０００６】
エッジ演算部２４は、以下の式（２）に従い、ピクセル座標（Ｘ、Ｙ）における画素値とフィルタ対象領域の座標（ＰＸ、ＰＹ）における画素値との差に依存する値Ｗｒを求める。Ｗｒは、エッジの有無を示すエッジ評価値である。式（２）において、Ｅｄｇｅ（Ｘ、Ｙ）は座標（Ｘ、Ｙ）における画素値、Ｅｄｇｅ（ＰＸ、ＰＹ）は座標（ＰＸ、ＰＹ）における画素値、σｒはフィルタ対象領域を構成する画素の画素値の標準偏差である。
【０００７】
乗算部は、以下の式（３）に従い、ＷｓとＷｒとを乗算して係数Ｗを求める。係数Ｗは、フィルタ部２２に出力される。
【０００８】
【数１】
2006180268.tif 000003
【０００９】
【数２】
2006180268.tif 000004
【００１０】
【数３】
2006180268.tif 000005
【００１１】
フィルタ部２２は、フィルタ対象領域の画像データと係数Ｗとを入力して、出力画素値ＯＵＴ（Ｘ、Ｙ）を算出する。フィルタ部２２の演算を式（４）に示す。式（４）において、Ｗは係数演算部２１の出力、ＩＮ（Ｘ、Ｙ）は座標（Ｘ、Ｙ）における入力画像ＩＮの画素値である。
【００１２】
【数４】
2006180268.tif 000006
【００１３】
バイラテラルフィルタ２０では、エッジの検出を係数演算部２１で行う。フィルタ部２２は、係数演算部２１で算出した係数と入力画像ＩＮの画素値とを基に出力画素値ＯＵＴ（Ｘ、Ｙ）を算出する。
【００１４】
従来のバイラテラルフィルタ２０では、単一の入力画像ＩＮに基づいて係数の演算と出力画像の算出とを行うため、例えば、露出不足の画像に感度向上処理を適用したために強いノイズが含まれるようになった入力画像にフィルタリング処理を施すときなど、エッジの検出が不正確であったり、ノイズが連続している画像がエッジとして検出されて温存されたりすることがある。
【００１５】
また、バイラテラルフィルタ２０のバリエーションとして、クロスバイラテラルフィルタ３０と呼ばれるフィルタが存在する。クロスバイラテラルフィルタ３０は、フィルタを適用させる画像ＩＮと、エッジ評価用の画像Ｅｄｇｅとの２枚の入力画像を利用する。
【００１６】
図６にクロスバイラテラルフィルタ３０の構成を示す。クロスバイラテラルフィルタ３０は、係数演算部３１にエッジ評価用の画像Ｅｄｇｅを入力する。係数演算部３１は、画像Ｅｄｇｅから抜き出したフィルタ対象領域を用いて係数Ｗを算出する。フィルタ部３２は、フィルタ適用させる画像ＩＮを入力する。フィルタ部３２は、画像ＩＮから抜き出したフィルタ対象領域と係数Ｗとを用いて出力画素値ＯＵＴ（Ｘ、Ｙ）を算出する。
【００１７】
クロスバイラテラルフィルタ３０の構成要素は、バイラテラルフィルタと同じである。クロスバイラテラルフィルタ３０では、係数演算にエッジ評価用画像Ｅｄｇｅを使用するため、式（１）、式（２）における（Ｘ、Ｙ、ＰＸ、ＰＹ）はエッジ評価用画像Ｅｄｇｅ上の値となる。
【００１８】
クロスバイラテラルフィルタ３０は、例えば、フラッシュを用いて撮影した画像と、そうでない画像との２枚の画像とを使用する。フラッシュを用いて撮影した画像は、フラッシュなしで撮影した画像よりもエッジが鮮明であるが色味が単調になるという問題がある。フラッシュなしで撮影した画像は、色味は正確であるがノイズが多くなるという問題がある。クロスバイラテラルフィルタ３０は、フラッシュを用いて撮影した画像をエッジ評価用画像Ｅｄｇｅとし、フラッシュなしで撮影した画像をフィルタ適用のための画像ＩＮとすることにより、エッジが鮮明で色味が正確な画像を生成する（例えば、特許文献１参照）。
【００１９】
【特許文献１】Ｇｅｏｒｇ  Ｐｅｔｓｃｈｎｉｇｇ，Ｍａｎｅｅｓｈ  Ａｇａｒａｗａｌａ，Ｈｕｇｕｅｓ  Ｈｏｐｐｅ，Ｒｉｃｈａｒｄ  Ｓｚｅｌｉｓｋｉ，Ｍｉｃｈｅｌ  Ｃｏｈｅｎ，Ａｎｄ  Ｋｅｎｔａｒｏ  Ｔｏｙａｍａ．“Ｄｉｇｉｔａｌ  Ｐｈｏｔｏｇｒａｐｈｙ  ｗｉｔｈ  Ｆｌａｓｈ  ａｎｄ  Ｎｏ−Ｆｌａｓｈ  Ｉｍａｇｅ  Ｐａｉｒｓ”
【発明の開示】
【発明が解決しようとする課題】
【００２０】
従来のクロスバイラテラルフィルタ３０では、エッジ評価用画像Ｅｄｇｅでエッジ評価を行う。このクロスバイラテラルフィルタ３０では、エッジ評価用画像Ｅｄｇｅのエッジは評価されるが、フィルタ対象用画像ＩＮのエッジは評価されない。
【００２１】
本発明は、上述した課題に鑑みてなされたものであって、複数の画像の何れかにエッジが存在する場合、このエッジを保存したままノイズを低減する画像処理装置、画像処理方法、プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００２２】
上述した目的を達成するために、本発明にかかる画像処理装置は、フィルタ対象画像のエッジを保存しつつフィルタリング処理する画像処理装置であって、フィルタ対象画像と同一の像を撮像した複数の画像に基づいてエッジ評価値を算出するエッジ評価値算出手段と、エッジ評価値に基づいてフィルタの係数を算出する係数算出手段と、係数算出手段で算出された係数を用いてフィルタ対象画像にフィルタリング処理を施すフィルタ手段とを備える。
【００２３】
本発明にかかる画像処理方法は、フィルタ対象画像のエッジを保存しつつ該フィルタ対象画像に対してフィルタリング処理を施す画像処理方法であって、フィルタ対象画像と同一の像を異なる条件のもとで撮像した複数の画像に基づいてエッジ評価値を算出するエッジ評価値算出工程と、エッジ評価値に基づいてフィルタの係数を算出するフィルタ係数算出工程と、係数を用いて上記フィルタ対象画像にフィルタリング処理を施すフィルタ工程とを有する。
【００２４】
本発明にかかるプログラムは、フィルタ対象画像のエッジを保存しつつ該フィルタ画像に対するフィルタリング処理をコンピュータに実行させるプログラムにおいて、フィルタ対象画像と同一の像を異なる条件のもとで撮像した複数の画像に基づいてエッジ評価値を算出するエッジ評価値算出工程と、エッジ評価値に基づいてフィルタの係数を算出するフィルタ係数算出工程と、係数を用いて上記フィルタ対象画像にフィルタリング処理を施すフィルタ工程とを有する。
【００２５】
本発明にかかる記録媒体は、フィルタ対象画像のエッジを保存しつつ該フィルタ画像に対するフィルタリング処理をコンピュータに実行させるプログラムが記録された記録媒体において、フィルタ対象画像と同一の像を異なる条件のもとで撮像した複数の画像に基づいてエッジ評価値を算出するエッジ評価値算出工程と、エッジ評価値に基づいてフィルタの係数を算出するフィルタ係数算出工程と、係数を用いて上記フィルタ対象画像にフィルタリング処理を施すフィルタ工程とを有するプログラムが記載されている。
【発明の効果】
【００２６】
本発明を適用した画像処理装置は、複数枚の画像をエッジ検出の評価対象とし、入力した画像の少なくとも１枚の画像にエッジが存在する場合、このエッジを保存したままノイズを低減することができる。
【発明を実施するための最良の形態】
【００２７】
以下、図面を参照して本発明を適用した撮像装置について説明する。図１は、撮像装置１の構成を示すブロック図である。撮像装置１は、可視光画像を撮像する可視光撮像部２と、赤外光画像を撮像する赤外光撮像部３と、様々な画像処理を行う画像処理部４と、画像を表示する表示部７と、画像を格納するメモリ８と、外部記録装置１０とのデータの送受信を中継するシリアルインターフェース９と、撮像装置１全体を制御するシステムコントローラ６とを備える。
【００２８】
可視光撮像部２は、可視光に感度のある撮像素子を備え、撮像した可視光画像Ｖｉｓｉｂｌｅを画像処理部４に出力する。赤外光撮像部３は、赤外光に感度のある撮像素子を備え、撮像した赤外光画像Ｉｎｆｒを画像処理部４に出力する。赤外光画像Ｉｎｆｒを撮像する撮像素子と可視光画像Ｖｉｓｉｂｌｅを撮像する撮像素子とは、同画素数、同画角である。赤外光画像Ｉｎｆｒの座標（Ｘ、Ｙ）と可視光画像Ｖｉｓｉｂｌｅの任意の座標（Ｘ、Ｙ）には、同一の被写体が撮像されている。なお、撮像部は、図に示すように可視光用と赤外光用と別々に設けてもよいし、一つの撮像部内で可視光と赤外光とを分光するようにしてもよい。
【００２９】
画像処理部４は、バイラテラルフィルタ５を備える。図２は、バイラテラルフィルタ５の構成を示している。バイラテラルフィルタ５は、フィルタ部５２と、フィルタの係数を演算する係数演算部５１とから構成される。
【００３０】
係数演算部５１は、距離演算部５３と、エッジ演算部５４と、乗算部５５とから構成される。係数演算部５１は、可視光画像Ｖｉｓｉｂｌｅのフィルタ対象領域と、赤外光画像Ｉｎｆｒのフィルタ対象領域とを基に係数を算出する。フィルタ対象領域とは、座標（Ｘ、Ｙ）を中心とした縦２Ｎ＋１×横２Ｎ＋１のマトリクスを抜き出した領域である。
【００３１】
距離演算部５３は、以下の式（５）に従い、フィルタ対象領域の中心画素の座標（Ｘ、Ｙ）とフィルタ対象領域を構成する他の画素の座標（ＰＸ、ＰＹ）との距離に依存する値Ｗｓを算出する。式（５）において、σＳは座標（Ｘ、Ｙ）と座標（ＰＸ、ＰＹ）との標準偏差である。式（５）は、従来のバイラテラルフィルタにおける式（１）と同じ式である。
【００３２】
【数５】
2006180268.tif 000007
【００３３】
エッジ演算部５４は、以下の式（６）に従い、フィルタ対象領域の中心座標（Ｘ、Ｙ）とその他の座標（ＰＸ、ＰＹ）との画素値の差に依存する値Ｗｒを算出する。値Ｗｒは、エッジの有無を示すエッジ評価値である。式（６）において、Ｖｉｓｉｂｌｅ（Ｘ、Ｙ）は可視光画像Ｖｉｓｉｂｌｅから抜き出したフィルタ対象領域の中心座標（Ｘ、Ｙ）の画素値、Ｖｉｓｉｂｌｅ（ＰＸ、ＰＹ）は可視光画像Ｖｉｓｉｂｌｅから抜き出したフィルタ対象領域の座標（ＰＸ、ＰＹ）における画素値、σｖは可視光画像Ｖｉｓｉｂｌｅから抜き出したフィルタ対象領域を構成する画素の画素値の標準偏差である。また、式（６）において、Ｉｎｆｒ（Ｘ、Ｙ）は赤外光画像Ｉｎｆｒから抜き出したフィルタ対象領域の中心座標（Ｘ、Ｙ）の画素値、Ｉｎｆｒ（ＰＸ、ＰＹ）は赤外光画像Ｉｎｆｒから抜き出したフィルタ対象領域の座標（ＰＸ、ＰＹ）における画素値、σｉは赤外光画像Ｉｎｆｒから抜き出したフィルタ対象領域を構成する画素の画素値の標準偏差である。
【００３４】
エッジ演算部５４は、可視光画像Ｖｉｓｉｂｌｅの画素値と、赤外光画像Ｉｎｆｒの画素値との両方を基に値Ｗｒを算出する。Ｗｒは、可視光画像Ｖｉｓｉｂｌｅと赤外光画像Ｉｎｆｒとの少なくとも１枚の画像にエッジが存在するとそのエッジを反映して変化する。
【００３５】
【数６】
2006180268.tif 000008
【００３６】
乗算部５５は、以下の式（７）に従い、ＷｓとＷｒとを乗算して係数Ｗを求める。係数Ｗは、値Ｗｒの影響により、可視光画像Ｖｉｓｉｂｌｅと赤外光画像Ｉｎｆｒとの少なくとも１枚の画像にエッジが存在するとそのエッジを反映して変化する。
【００３７】
【数７】
2006180268.tif 000009
【００３８】
フィルタ部５２は、以下の式（８）に従って、可視光画像Ｖｉｓｉｂｌｅの座標（Ｘ、Ｙ）における画素値Ｖｉｓｉｂｌｅ（Ｘ、Ｙ）と係数Ｗとを基に出力画素値ＯＵＴ（Ｘ、Ｙ）を算出する。
【００３９】
【数８】
2006180268.tif 000010
【００４０】
本発明を適用した撮像装置１では、エッジ演算部５４において可視光画像Ｖｉｓｉｂｌｅと赤外光画像Ｉｎｆｒとの両方に含まれるエッジを反映した値Ｗｒを算出することにより、可視光画像Ｖｉｓｉｂｌｅと赤外光画像Ｉｎｆｒとの何れか一方にしか存在しないエッジであっても検出することができる。
【００４１】
自然光の下で撮像した場合、可視光画像Ｖｉｓｉｂｌｅにはエッジがあるが、赤外光画像Ｉｎｆｒにはエッジがない、または、赤外光画像Ｉｎｆｒにはエッジがあるが可視光画像Ｖｉｓｉｂｌｅにはエッジがないということがあり、両方の画像にエッジがあるとは限らない。本発明を適用した撮像装置１は、可視光画像Ｖｉｓｉｂｌｅと赤外光画像Ｉｎｆｒとの２枚の画像をエッジの評価対象とすることによりエッジの検出漏れを少なくする。
【００４２】
また、可視光画像Ｖｉｓｉｂｌｅと赤外光画像Ｉｎｆｒとは、同時に撮像することができるので撮像時間のずれが発生しない。さらに、赤外光画像Ｉｎｆｒは、自然光で撮像することができるのフラッシュが使えない状況でも撮像することができる。
【００４３】
また、本願発明は、可視光画像Ｖｉｓｉｂｌｅと赤外光画像Ｉｎｆｒ以外にも適用可能である。例えば、赤外光の代わりに紫外光を用いることもできる。波長の長い赤外光と、波長の短い赤外光というように、分光特性を細分化した画像を使用することもできる。
【００４４】
次に、変形例として３枚以上の画像をエッジ検出の評価用画像として使用するバイラテラルフィルタ６０について説明する。図３は、３枚の画像をエッジ評価用画像としたときのバイラテラルフィルタ６０の構成を説明する。バイラテラルフィルタ６０は、上述したバイラテラルフィルタ５と同様にフィルタ部６２と、係数演算部６１とを備える。このバイラテラルフィルタ６０には、３枚の画像が入力される。１枚目の画像は可視光画像Ｖｉｓｉｂｌｅ、２枚目の画像は波長の長い赤外光を撮像した長波長画像ＩｎｆｒＬｎｇ、３枚目の画像は波長の短い赤外光を撮像した短波長画像ＩｎｆｒＳｈｔである。
【００４５】
係数演算部６１は、３枚の画像Ｖｉｓｉｂｌｅ、ＩｎｆｒＬｎｇ、ＩｎｆｒＳｈｔを入力し、係数Ｗを算出する。係数Ｗは、３枚の画像に含まれるエッジを反映している。エッジは、３枚画像のうち少なくとも１枚の画像に含まれていればよい。
【００４６】
係数演算部６１は、距離演算部６３と、エッジ演算部６４と、乗算部６５とから構成される。係数演算部６１は、フィルタ対象領域を処理単位として係数Ｗを算出する。フィルタ対象領域とは、座標（Ｘ、Ｙ）を中心とした縦２Ｎ＋１×横２Ｎ＋１のマトリクスを抜き出した領域である。係数演算部６１は、３枚の画像Ｖｉｓｉｂｌｅ、ＩｎｆｒＬｎｇ、ＩｎｆｒＳｈｔのフィルタ対象領域を処理単位として使用する。
【００４７】
距離演算部６３は、上述した式（５）に従い、フィルタ対象領域の中心画素の座標（Ｘ、Ｙ）とフィルタ対象領域を構成する他の画素の座標（ＰＸ、ＰＹ）との距離に依存する値Ｗｓを算出する。距離演算部６３の式（５）は、上述した距離演算部５３と同じ式である。
【００４８】
エッジ演算部６４は、以下の式（９）に従って、フィルタ対象領域の中心座標（Ｘ、Ｙ）とその他の座標（ＰＸ、ＰＹ）との画素値の差に依存する値Ｗｒを算出する。式（９）において、Ｖｉｓｉｂｌｅ（Ｘ、Ｙ）は可視光画像Ｖｉｓｉｂｌｅから抜き出したフィルタ対象領域の中心座標（Ｘ、Ｙ）の画素値、Ｖｉｓｉｂｌｅ（ＰＸ、ＰＹ）は可視光画像Ｖｉｓｉｂｌｅから抜き出したフィルタ対象領域の座標（ＰＸ、ＰＹ）における画素値、σｖは可視光画像Ｖｉｓｉｂｌｅから抜き出したフィルタ対象領域を構成する画素の画素値の標準偏差である。式（９）においてＥｄｇｅ１（Ｘ、Ｙ）は長波長画像ＩｎｆｒＬｎｇの座標（Ｘ、Ｙ）における画素値、Ｅｄｇｅ１（ＰＸ、ＰＹ）は長波長画像ＩｎｆｒＬｎｇの座標（ＰＸ、ＰＹ）における画素値、σｒ１は長波長画像ＩｎｆｒＬｎｇから抜き出したフィルタ対象領域を構成する画素の画素値の標準偏差である。式（９）において、Ｅｄｇｅ２（Ｘ、Ｙ）は短波長画像ＩｎｆｒＳｈｔから抜き出したフィルタ対象領域の中心座標（Ｘ、Ｙ）の画素値、Ｅｄｇｅ２（ＰＸ、ＰＹ）は短波長画像ＩｎｆｒＳｈｔから抜き出したフィルタ対象領域の座標（ＰＸ、ＰＹ）における画素値、σｒ２はフィルタ対象領域を構成する画素の画素値の標準偏差である。
【００４９】
【数９】
2006180268.tif 000011
【００５０】
エッジ演算部６４は、可視光画像Ｖｉｓｉｂｌｅと、長波長画像ＩｎｆｒＬｎｇと、短波長画像ＩｎｆｒＳｈｔとの３枚の画像を基に値Ｗｒを算出する。Ｗｒは、可視光画像Ｖｉｓｉｂｌｅと、長波長画像ＩｎｆｒＬｎｇと、短波長画像ＩｎｆｒＳｈｔとの何れかにエッジが含まれている場合それを反映して変化する。
【００５１】
乗算部６５は、上述した式（７）に従い、係数Ｗを算出する。係数Ｗは、値Ｗｒの影響により、可視光画像Ｖｉｓｉｂｌｅ、長波長画像ＩｎｆｒＬｎｇ、短波長画像ＩｎｆｒＳｈｔとの何れかに含まれるエッジを反映した値となる。
【００５２】
フィルタ部６２は、上述した式（８）に従い、可視光画像Ｖｉｓｉｂｌｅの座標（Ｘ、Ｙ）における画素値ＩＮ（Ｘ、Ｙ）と係数Ｗとを基に出力画素値ＯＵＴ（Ｘ、Ｙ）を算出する。
【００５３】
このように、本発明を適用した撮像装置では、複数のエッジ評価画像をエッジ検出の評価対象とすることができる。また、式（９）を式（１０）のように変形することにより、エッジ検出対象となる画像を増加することができる。式（１０）における変数ｊは、エッジ検出対象となる画像の枚数を示す（ｊは任意の自然数）。エッジ検出対象の画像は、ｊ−１枚の画像にフィルタ対象用の画像１枚を足したｊ枚になる。
【００５４】
【数１０】
2006180268.tif 000012
【００５５】
本発明を適用した撮像装置１は、バイラテラルフィルタ５を備える。バイラテラルフィルタ５は、複数枚の画像をエッジ検出の評価対象とし、入力した画像の少なくとも１枚でエッジが検出されると、このエッジを保存した状態でノイズを低減することができる。
【００５６】
また、バイラテラルフィルタ５は、エッジ検出の評価対象として可視光画像Ｖｉｓｉｂｌｅと赤外光画像Ｉｎｆｒとをエッジ検出の評価対象とする。可視光画像と赤外光画像とは同時に撮像することができるため、画像の撮像時間にずれが生じず、動画や動く被写体のノイズを除去することもできる。
【００５７】
なお、本実施の形態では、本発明を撮像装置に適用した例について説明したが、本発明の要旨は、複数の画像のエッジを保存しつつノイズを除去する点であり、撮像部を備えない画像処理装置やパーソナルコンピュータなどの他の電子機器にも適用することができる。
【００５８】
また、エッジ検出の評価対象となる画像としては、波長の異なる画像の他に、色相の異なる画像なども使用することもできる。さらに、動画や動く被写体を撮像しない場合には、フラッシュを使用した画像とフラッシュを使用しない画像など撮像時間にずれが生じる画像を使用することもできる。
【００５９】
画像処理部４におけるフィルタリング処理は、制御プログラムに基づいて実行してもよい。このような制御プログラムは、撮像装置１のファームウェアに記録されている。なお、制御プログラムは、外部記録装置１０が読み取り可能な形式で記録された記録媒体を介して取得してもよい。制御プログラムを記録する記録媒体としては、磁気読取方式の記録媒体（例えば、磁気テープ、フレキシブルディスク、磁気カード）、光学読取方式の記録媒体（例えば、ＣＤ−ＲＯＭ、ＭＯ、ＣＤ−Ｒ、ＤＶＤ）、半導体メモリ（メモリカード、ＩＣカード）等が考えられる。また、制御プログラムは、いわゆるインターネット等を介して取得してもよい。
【図面の簡単な説明】
【００６０】
【図１】撮像装置の構成を示すブロック図である。
【図２】バイラテラルフィルタの構成を示すブロック図である。
【図３】３枚の画像をエッジ検出の評価対象とするバイラテラルフィルタの構成を示すブロック図である。
【図４】従来のバイラテラルフィルタの構成を示すブロック図である。
【図５】座標（Ｘ、Ｙ）を中心としたフィルタ対象領域を示す図である。
【図６】従来のクロスバイラテラルフィルタの構成を示すブロック図である。
【符号の説明】
【００６１】
１  撮像装置、２  可視光撮像部、３  赤外光撮像部、４  画像処理部、５  バイラテラルフィルタ、６  システムコントローラ、５１  係数演算部、５２  フィルタ部、５３  距離演算部、５４  エッジ演算部、５５  乗算部
【図１】
2006180268.tif 000013
【図２】
2006180268.tif 000014
【図３】
2006180268.tif 000015
【図４】
2006180268.tif 000016
【図５】
2006180268.tif 000017
【図６】
2006180268.tif 000018