(57)【特許請求の範囲】
【請求項１】
注目画素の各成分のノイズを検出するノイズ検出部と、
前記ノイズ検出部によりノイズが検出された場合、そのノイズが重畳していない成分の注目画素の値と最も近い値を持つ画素に注目画素の各成分全てを置き換える補間部と、
を備え、
前記ノイズ検出部は、RGB成分毎に注目画素と周辺画素の差分絶対値を算出することにより注目画素の各成分のノイズを検出することを特徴とするノイズ除去装置。
【請求項２】
前記補間部は、RGB各成分の差分和の値のうち最小値である画素のRGB値に注目画素の値を置き換えることを特徴とする請求項１に記載のノイズ除去装置。
【請求項３】
前記補間部は、RGB各成分の差分和の値が注目画素のみ最小値になる場合は2番目に小さい値の画素のRGB値に注目画素の値を置き換えることを特徴とする請求項２に記載のノイズ除去装置。
【請求項４】
前記補間部は、RGB各成分全てにノイズが重畳している場合、RGB成分毎にメディアンフィルタを用いてノイズを除去することを特徴とする請求項１に記載のノイズ除去装置。
【請求項５】
前記補間部は、RGB各成分全てにノイズが重畳している場合、前記差分絶対値の総和を求め、最も数値が大きい画素の値に注目画素の値を置き換えることを特徴とする請求項１に記載のノイズ除去装置。
【請求項６】
前記補間部は、注目画素を含む局所領域内においてノイズが重畳していると判定された画素を補間対象から除外することを特徴とする請求項１から５のいずれか一項に記載のノイズ除去装置。
【請求項７】
前記補間部は、注目画素にノイズが重畳している成分のみ、前記差分絶対値のうちノイズが重畳していない値を0に置き換えることを特徴とする請求項６に記載のノイズ除去装置。
【請求項８】
注目画素の各成分のノイズを検出するノイズ検出ステップと、
前記ノイズ検出ステップでノイズが検出された場合、そのノイズが重畳していない成分の注目画素の値と最も近い値を持つ画素に注目画素の各成分全てを置き換える補間ステップと、
を備え、
前記ノイズ検出ステップでは、RGB成分毎に注目画素と周辺画素の差分絶対値を算出することにより注目画素の各成分のノイズを検出することを特徴とするノイズ除去方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ノイズを除去するノイズ除去装置及びノイズ除去方法に関し、特に、映像信号の撮影時や伝送時等に生じるインパルス性ノイズを除去するノイズ除去装置及びノイズ除去方法に関する。
【背景技術】
【０００２】
映像信号をデジタル処理する際、符号化や伝送路誤りなどにおいてインパルス性ノイズが生じ、画像が劣化することがある。このインパルス性ノイズの除去にはメディアンフィルタが有効であることが知られている。
【０００３】
メディアンフィルタでは、図13に示すように、入力画像I100上の注目画素を含む局所領域（フィルタ窓）内の中央値を注目画素の出力値として出力画像O100を生成する。これにより、インパルス性ノイズの除去を行うことができる。しかし、メディアンフィルタを用いると、画像の細部を表現している所でぼけや滲みが生じることがある。また、RGB成分毎にフィルタ処理するため、本来の色と異なる色が出力されることがある。
【０００４】
一方、カラー画像の性質である成分間の相関を用いてノイズを判定し、除去を行う方法が知られている（特許文献１）。デジタルカラー画像は、例えばRGB成分などの複数の成分から表現されており、その成分間には相関がある。しかしながら、ノイズは、デジタル画像の成分毎に発生し、その成分間には相関がない。特許文献1では、この性質を用いてノイズ除去を行っている。
【０００５】
以下、図14を用いて、特許文献1の構成を説明をする。特許文献1の構成は、輪郭抽出部101と判定部102と補間部103から成る。輪郭抽出部101では、各RGB成分で処理が行われる。ここでは、R成分が入力信号である場合について説明する。
【０００６】
輪郭抽出部101に入力された入力データ（R）を第1ラインバッファ104へ供給する。第1ラインバッファ104に溜められた画像データを第2ラインバッファ105と水平HPF（High Pass Filter）108と補間部103へ供給する。処理に必要な3ラインのうち、2ライン分のデータがラインバッファに溜まると、3画素分のデータを同時に垂直HPF106へ供給する。垂直HPF106では、所定の高周波帯域に存在する垂直輪郭成分を抽出する。
【０００７】
垂直HPF106で抽出した垂直輪郭成分を水平LPF（Low Pass Filter）107へ供給する。水平LPF107では、垂直輪郭成分に含まれた対角線方向の輪郭成分を取り除く。一方、水平HPF108では、所定の高周波帯域に存在する水平輪郭成分を抽出する。水平LPF107と水平HPF108から出力された輪郭成分を加算し（Ra）、判定部102と補間部103へ供給する。
【０００８】
判定部102へは、輪郭抽出部101で抽出されたRGBそれぞれの輪郭成分（Ra,Ga,Ba）が供給される。判定部102に供給された輪郭成分をRGB成分相関性判定部109とRGB信号レベル判定部110へ供給する。RGB成分相関性判定部109では、輪郭成分よりRGB成分間の相関を判定する。表１にRGB成分相関判定器109の入出力テーブルを示す。
【表１】
0005861542.tif 000002
【０００９】
表１より、R,G,B成分間に相関性があると1を出力し、相関性がないと0を出力する。一方、RGB信号レベル判定部110では、入力された信号の大きさを比較する。各成分がある閾値CPよりも大きい場合は1、小さい場合は0とする。どれか1成分でも閾値CPよりも大きな値があると、RGB信号レベル判定部110の出力値は1となる（表2）。
【表２】
0005861542.tif 000003
【００１０】
RGB成分相関性判定部109とRGB信号レベル判定部110より出力された信号はノイズ判定部111に供給される。ノイズ判定部111では、RGB成分相関性判定部109とRGB信号レベル判定部110の結果より第1ルックアップテーブル（LUT）112を選択するか、第2ルックアップテーブル（LUT）113を選択するかを決定する。表3にノイズ判定部111の入出力テーブルを示す。
【表３】
0005861542.tif 000004
【００１１】
ノイズ判定部111の出力が1の場合は第1LUT112を選択し、0の場合は第2LUT113を選択する。ここで、第1LUT112では、図15(a)に示すような入出力特性を持ち、輪郭補正処理を行う。また、第2LUT113では、図15(b)に示すような入出力特性を持ち、ノイズ除去処理を行う。各LUTの入力値は輪郭抽出部101より補間部103へ供給された輪郭成分である。また、各LUTの入出力特性を示すグラフには多様な種類が存在する。ノイズ判定部111から出力された判定信号は、RGBそれぞれの補間部103へ供給される。判定信号より選択したLUTの値と、第1ラインバッファ104より供給された画像データを加算する。
【００１２】
以上の処理により、ノイズ除去が行われる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開平09-121366号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
特許文献1では、成分間の相関が無く信号レベルが閾値CPよりも小さいときにのみノイズ除去処理を行っている。しかしながら、表1に示されているように、RGB成分の相関は8通り存在する。そのため、特許文献1の方法によると、ノイズが重畳していない成分の値まで変えてしまう可能性がある。また、LUTを用いるため、メモリ量が大きくなる。
【００１５】
本発明は前記課題を解決するためになされたものであり、その目的は、ノイズが重畳していない成分の値への影響を抑制しつつ効果的にノイズ除去を行い、かつメモリ量の増大を抑制することのできるノイズ除去装置及びノイズ除去方法を提供することである。
【課題を解決するための手段】
【００１６】
前記課題を解決するために、本発明の実施形態に係るノイズ除去装置は、注目画素の各成分のノイズを検出するノイズ検出部と、前記ノイズ検出部によりノイズが検出された場合、そのノイズが重畳していない成分の注目画素の値と最も近い値を持つ画素に注目画素の各成分全てを置き換える補間部とを備え、前記ノイズ検出部は、RGB成分毎に注目画素と周辺画素の差分絶対値を算出することにより注目画素の各成分のノイズを検出することを特徴とする。
【００１８】
前記補間部は、RGB各成分の差分和の値のうち最小値である画素のRGB値に注目画素の値を置き換えてもよい。
【００１９】
前記補間部は、RGB各成分の差分和の値が注目画素のみ最小値になる場合は2番目に小さい値の画素のRGB値に注目画素の値を置き換えてもよい。
【００２０】
前記補間部は、RGB各成分全てにノイズが重畳している場合、RGB成分毎にメディアンフィルタを用いてノイズを除去してもよい。
【００２１】
前記補間部は、RGB各成分全てにノイズが重畳している場合、前記差分絶対値の総和を求め、最も数値が大きい画素の値に注目画素の値を置き換えてもよい。
【００２２】
前記補間部は、注目画素を含む局所領域内においてノイズが重畳していると判定された画素を補間対象から除外してもよい。
【００２３】
前記補間部は、注目画素にノイズが重畳している成分のみ、前記差分絶対値のうちノイズが重畳していない値を0に置き換えてもよい。
【００２４】
前記課題を解決するために、本発明の実施形態に係るノイズ除去方法は、注目画素の各成分のノイズを検出するノイズ検出ステップと、前記ノイズ検出ステップでノイズが検出された場合、そのノイズが重畳していない成分の注目画素の値と最も近い値を持つ画素に注目画素の各成分全てを置き換える補間ステップとを備え、前記ノイズ検出ステップでは、RGB成分毎に注目画素と周辺画素の差分絶対値を算出することにより注目画素の各成分のノイズを検出することを特徴とする。
【発明の効果】
【００２５】
本発明によれば、ノイズが重畳していない成分の値への影響を抑制しつつ効果的にノイズ除去を行い、かつメモリ量の増大を抑制することのできるノイズ除去装置及びノイズ除去方法を提供することが可能である。
【図面の簡単な説明】
【００２６】
【図１】第1実施形態におけるノイズ除去回路の構成図である。
【図２】第1実施形態における入力画像データを説明するための図である。
【図３】第1実施形態におけるノイズ検出部の構成図である。
【図４】第1実施形態における処理例を示す図である。
【図５】第1実施形態における補間部の構成図である。
【図６】第1実施形態における処理例を示す図である。
【図７】第1実施形態におけるノイズを説明するための図である。
【図８】第2実施形態におけるノイズ除去回路の構成図である。
【図９】第2実施形態における補間部の構成図である。
【図１０】第2実施形態における処理例を示す図である。
【図１１】第2実施形態における処理例を示す図である。
【図１２】本発明の効果を説明するための図であって、(a)正解画像、(b)ノイズ画像、(c) メディアンフィルタ、(d) 第1実施形態、(e) 第2実施形態。
【図１３】メディアンフィルタを説明するための図である。
【図１４】特許文献1の構成を説明するための図である。
【図１５】特許文献1の構成を説明するための図であって、(a)第1LUT、(b)第2LUT。
【発明を実施するための形態】
【００２７】
以下、本発明の実施形態について図面を参照して詳細に説明する。
【００２８】
＜第1実施形態＞
本実施形態では、カラー画像の成分間の相関性を用いて各成分のノイズを検出し、ノイズが検出された成分の注目画素の値を、注目画素を含む局所領域内で最も相関が高い画素の値に置き換える。これにより、インパルス性ノイズを抑制し、かつ画像のぼけを抑制し細部の状態を保持することができる。しかも、LUTを用いないため、メモリ量の増大を抑制することが可能となる。以下、図面を参照して詳細に説明する。
【００２９】
（ノイズ除去回路の構成）
本実施形態におけるノイズ除去回路201の構成例を図1に示す。この図に示すように、ノイズ除去回路201に入力された入力データId（dはR,G,B）を第1ラインバッファ202に供給する。第1ラインバッファ202に溜められた画像データは第2ラインバッファ203へ供給される。処理に必要な3ライン分のデータのうち、2ライン分のデータが溜まったら、読み出し制御部204より信号を供給し、9画素分の画像データId1〜9をノイズ検出部205へ供給する。ノイズ検出部205は、RGB成分毎に注目画素と周辺画素の差分絶対値Dd1〜9を算出し、それより注目画素の各成分のノイズを検出する。ノイズが検出された場合を1、検出されなかった場合を0とした判定値FLAGdと、9画素分の画像データId1〜9と差分絶対値D d1〜9を補間部206へ供給する。補間部206は、注目画素の値を最も相関が高い画素の値に置き換える。以上の処理によってノイズ除去を行った出力データOdを出力する。
【００３０】
（ノイズ除去回路の動作）
本発明に至るまでの考え方と処理手順について説明する。
【００３１】
従来技術に記述した通り、デジタルカラー画像は例えばRGB成分などの複数の成分から表現されており、その成分間には相関がある。また、画像の性質として隣り合う画素はいずれかの方向に連続しているという性質がある。しかしながら、このデジタル画像に発生するノイズは、RGB成分毎に発生するため、その成分間には相関がない。そこで、注目画素の各成分のノイズを検出し、ノイズが重畳していなかった成分の注目画素値と最も近い値を持つ画素にRGB成分全てを置き換える。これにより、細部の情報がぼけることを抑制し、さらに色が変わることを抑制することができる。
【００３２】
本実施形態におけるノイズ除去回路201は、図1に示す通り、データの入力とノイズ検出部205と補間部206の大きく3つに分けられる。まず、入力画像データについて、図2を用いて説明する。注目画素を中央としたW×Wのフィルタ窓に含まれるRGB成分全ての画素データを入力データとする。ここでは、W=3として説明する。この入力データをId1〜9と表し、dはR,G,Bを表す。これらのデータをノイズ検出部205に供給する。
【００３３】
次に、ノイズ検出部205について、図3を用いて説明する。ノイズ検出部205に供給された入力データIdを補間部206と差分絶対値算出回路301に供給する。差分絶対値算出回路301に供給された入力データIdより、各成分におけるフィルタ窓内の各画素と注目画素の差分絶対値Ddを算出する（数式1）。
【数１】
0005861542.tif 000005
【００３４】
ここで、iは垂直画素位置、jは水平画素位置を表す。k,lはフィルタ窓の中央を0とした時の垂直方向と水平方向のフィルタ窓の位置を表し、フィルタ窓サイズがW=3の時は、k,l=−1〜1となる。差分絶対値算出回路301で求めた差分絶対値Ddを補間部206とカウンタ302に供給する。カウンタ302では、各成分において差分絶対値Ddが閾値1（以後TH1）以上である画素をカウントし、個数ndを得る（数式2）。
【数２】
0005861542.tif 000006
【００３５】
TH1＝35とした場合の上記処理の例を図4に示す。入力データIdのフィルタ窓内のRGB成分が図4のId（i+k,j+l）である場合、各成分のフィルタ窓内の各画素値と、注目画素となる中央画素値（IR＝205,IG＝90,IB＝83）との差分絶対値Ddを求める。この差分絶対値DdをTH1と比較し、TH1以上の値の個数ndを成分毎にカウントする。図4の場合、個数ndをみると、R成分のみ注目画素の値が周辺画素の値と差が大きいことが分かる。
【００３６】
カウンタ302で求めた個数ndを比較回路303へ供給する。比較回路303では、個数ndを閾値2（以後TH2）と比較する（数式3）。
【数３】
0005861542.tif 000007
【００３７】
数式3で示すように、個数ndがTH2よりも大きい場合は1、小さい場合は0を判定値FLAGdとし、補間部206へ供給する。ここで、判定値FLAGdは、RGB成分それぞれにおいて注目画素にノイズが重畳している場合は1、ノイズが重畳していない場合は0となる。図4の場合、TH2=5とすると、nR＝8,nG＝0,nB＝0となっているので、判定値はFLAGR＝1,FLAGG＝0,FLAGB＝0となる。つまり、R成分にのみ、ノイズが重畳していることが分かる。
【００３８】
ノイズ検出部205から出力された入力データIdと差分絶対値Ddと判定値FLAGdは、補間部206へ供給される。補間部206について、図5を用いて説明する。補間部206へ供給された入力データIdと差分絶対値Ddと判定値FLAGdは、判定部401に供給される。判定部401では、各成分の判定値FLAGR、FLAGG、FLAGBの組み合わせにより、8通りに場合わけをする。場合わけを表4に示す。
【表４】
0005861542.tif 000008
【００３９】
第1補間方法〜第8補間方法は、それぞれ、第1補間部402〜第8補間部409に対応している。例えば、判定値FLAGR＝1、FLAGG＝0、FLAGB＝0の場合は第2補間方法が選択され、第2補間部403へ入力データIdと差分絶対値Ddを供給する。各補間部に供給された入力データIdと差分絶対値Ddより、出力データOdを算出して出力する。以下、各補間部における補間方法について記述する。
【００４０】
第1補間部402では、FLAGdが全て0になるため、注目画素のRGB成分どれにもノイズが存在しないので、入力データをそのまま出力データとする（数式4）。
【数４】
0005861542.tif 000009
【００４１】
第2補間部403では、R成分にのみノイズが重畳しているため、R成分を除くG,B成分のフィルタ窓内で注目画素と差が最も小さい画素を検出し、その画素の値に注目画素の値を置き換える。
【数５】
0005861542.tif 000010
【数６】
0005861542.tif 000011
【００４２】
ここで、minindex1()は最小値の画素位置、minindex2()は2番目に小さい値の画素位置、yはフィルタ窓の中央画素位置を表す。数式5で示す差分和D’は、RGB各成分の差分の和である。D’の値が小さいほど、G,B成分の値が注目画素の値と類似しており、値が大きいほど類似していないということが分かる。つまり、D’のうち最も小さな値である画素のRGB値に注目画素の値を置き換えることで、ノイズ除去を行うことができる。しかしながら、差分和D’の値が注目画素のみ最小値になることがある。その場合は2番目に小さい値の画素を選ぶことで、補間が可能となる（数式6）。
【００４３】
同様に、第3補間部404〜第8補間部409の説明を記す。
【００４４】
第3補間部404では、G成分にのみノイズが重畳しているため、G成分を除くB,R成分のフィルタ窓内で注目画素と差が最も小さい画素を検出し、その画素の値に注目画素の値を置き換える（数式7,数式8）。
【数７】
0005861542.tif 000012
【数８】
0005861542.tif 000013
【００４５】
第4補間部405では、B成分にのみノイズが重畳しているため、B成分を除くR,G成分のフィルタ窓内で注目画素と差が最も小さい画素を検出し、その画素の値に注目画素の値を置き換える（数式9,数式10）。
【数９】
0005861542.tif 000014
【数１０】
0005861542.tif 000015
【００４６】
第5補間部406では、R,G成分にノイズが重畳しているため、R,G成分を除くB成分のフィルタ窓内で注目画素と差が最も小さい画素を検出し、その画素の値に注目画素の値を置き換える（数式11）。
【数１１】
0005861542.tif 000016
【００４７】
第6補間部407では、R,B成分にノイズが重畳しているため、R,B成分を除くG成分のフィルタ窓内で注目画素と差が最も小さい画素を検出し、その画素の値に注目画素の値を置き換える（数式12）。
【数１２】
0005861542.tif 000017
【００４８】
第7補間部408では、G,B成分にノイズが重畳しているため、G,B成分を除くR成分のフィルタ窓内で注目画素と差が最も小さい画素を検出し、その画素の値に注目画素の値を置き換える（数式13）。
【数１３】
0005861542.tif 000018
【００４９】
第8補間部409では、RGB成分全てノイズが重畳しているため、第2補間部403〜第7補間部408のように元画像から補間画素を見つけることが困難である。よって、第8補間部409では、例えば、RGB成分毎にメディアンフィルタを用いてノイズを除去する方法（数式14）や、差分絶対値Dの総和を求め（数式15）、最も数値が大きい画素の値に置き換える（数式16）方法などが考えられる。
【数１４】
0005861542.tif 000019
【数１５】
0005861542.tif 000020
【数１６】
0005861542.tif 000021
【００５０】
ここで、maxindex()は最大値の画素位置を表す。
【００５１】
以上の補間方法により、図4で示した入力データを補間部が処理する場合の処理例を図6に示す。図4では、判定値がFLAGR＝1, FLAGG＝0, FLAGB＝0となり、R成分の注目画素にノイズが重畳していることが分かった。その場合、第2補間部403が選択される。第2補間部403では、G,B成分の差分絶対値の和D’GBを算出する。差分絶対値の和D’GBの中で注目画素を除いて最も値が小さい画素の入力データの値を補間値とする。ここでは、D’GB (i＋1,j−1)＝3が最も小さいため、出力データOd (i,j)＝Id (i＋1,j−1)となる。
【００５２】
以上のように、本実施形態では、ノイズが検出された場合、そのノイズが重畳していない成分の注目画素の値と最も近い値を持つ画素に注目画素の各成分全てを置き換えるようにしている。これにより、ノイズが重畳していない成分の値への影響を抑制しつつ効果的にノイズ除去を行うことができる。しかも、LUTを用いないため、メモリ量の増大を抑制することが可能となる。
【００５３】
＜第2実施形態＞
前記第1実施形態によれば、細部の情報を保持したままインパルス性ノイズの除去を行うことができる。しかしながら、図7に示すように、注目画素にノイズが重畳しており、同様のノイズがフィルタ窓内に存在する場合はノイズを除去することができない。そこで、本実施形態では、フィルタ窓内のノイズ検出を先に行い、ノイズが重畳していると判定された画素は補間対象から除外する方法を導入する。
【００５４】
（ノイズ除去回路の構成）
本実施形態におけるノイズ除去回路501の構成例を図8に示す。この図に示すように、ノイズ除去回路501に入力された入力データIdを第1ラインバッファ502に供給する。第1ラインバッファ502に溜められた画像データは第2ラインバッファ503へ供給される。処理に必要な3ライン分のデータのうち、2ライン分のデータが溜まったら、第1読み出し制御部504より信号を供給し、9画素分の画像データId1〜9をノイズ検出部505へ供給する。ノイズ検出部505は、成分毎に注目画素と周辺画素の差分絶対値D d1〜9を算出し、それより注目画素の各成分のノイズを検出する。
【００５５】
ノイズが検出された場合を1、検出されなかった場合を0とした判定値FLAGdと注目画素の入力データId5を第3ラインバッファ506に供給する。第3ラインバッファ506に供給された各データは第4ラインバッファ507に供給される。処理に必要な3ライン分のデータのうち、2ライン分のデータが溜まったら、読み出し制御部508より信号を供給し、9画素分のデータを同時に補間部509へ供給する。補間部509は、ノイズ検出部505でノイズとされた画素を参照画素から除外し、残った参照画素の中で最も相関が高い画素の値に注目画素の値を置き換える。以上の処理によってノイズ除去を行った出力データOdを出力する。
【００５６】
（ノイズ除去回路の動作）
ノイズ検出部505までの処理に関しては、第1実施形態（図１）におけるノイズ検出部205までの処理と同様であるため、ここでの説明を省略する。
【００５７】
ノイズ検出部505から出力された判定値FLAGdと注目画素の入力データId5を第3ラインバッファ506、第4ラインバッファ507へ順に供給する。処理に必要な3ライン分のデータのうち、2ライン分のデータが溜まると、第2読み出し制御部508より同時に9画素分のデータを補間部509へ供給する。補間部509について、図9を用いて詳しく説明する。補間部509へ供給された入力データIdと判定値FLAGdは選別回路601に供給される。
【００５８】
選別回路601では、ノイズが重畳している画素と重畳していない画素を選別する（Ad）。判定値FLAGdが0の時はフィルタ窓内の各画素と注目画素の差分絶対値を算出し、判定値FLAGdが1の時は何も値を挿入しない（数式17）。
【数１７】
0005861542.tif 000022
【００５９】
選別を行った差分画像データAdと判定値FLAGdと入力データIdを判定部602へ供給する。判定部602では、中央画素における各成分の判定値FLAGR、FLAGG、FLAGBの組み合わせにより、8通りに場合わけをする。場合わけの方法は第1実施形態と同じである（表4）。場合わけの結果選択された補間部（第1補間部603〜第8補間部610）へ入力データIdと差分画像データAdと判定値FLAGdを供給する。各補間部に供給された入力データIdと差分画像データAdと判定値FLAGdより、出力データOdを算出して出力する。以下、各補間部における補間方法について記述する。
【００６０】
第1補間部603では、FLAGdが全て0になるため、注目画素のRGB成分どれにもノイズが存在しないので、入力データをそのまま出力データとする（数式18）。
【数１８】
0005861542.tif 000023
【００６１】
第2補間部604では、注目画素はR成分にのみノイズが重畳している。ノイズが重畳していない画素の値を優位にするため、R成分の差分画像データARのうち、ノイズが重畳していない値を0に置き換える（数式19）。
【数１９】
0005861542.tif 000024
【００６２】
差分画像データA’RとAGとABを用いて、各画素で差分画像データの和D’を求める（数式20）。
【数２０】
0005861542.tif 000025
【００６３】
差分和D’はRGB各成分の差分の和になるので、D’の値が小さいほど、RGB成分全ての値が注目画素の値と類似しており、値が大きいほど類似していないということが分かる。つまり、差分和D’のうち最も小さな値である画素のRGB値に注目画素の値を置き換えることで、ノイズ除去を行うことができる（数式21）。
【数２１】
0005861542.tif 000026
【００６４】
同様に、第3補間部605〜第8補間部610の説明を記す。
【００６５】
第3補間部605では、注目画素はG成分にのみノイズが重畳している。ノイズが重畳していない画素の値を優位にするため、G成分の差分画像データAGのうち、ノイズが重畳していない値を0に置き換える（数式22）。
【数２２】
0005861542.tif 000027
【００６６】
差分画像データARとA’GとABを用いて、各画素で差分画像データの和D’を求め、D’のうち最も小さい値に注目画素の値を置き換える（数式23,数式24）。
【数２３】
0005861542.tif 000028
【数２４】
0005861542.tif 000029
【００６７】
第4補間部606では、注目画素はB成分にのみノイズが重畳している。ノイズが重畳していない画素の値を優位にするため、B成分の差分画像データABのうち、ノイズが重畳していない値を0に置き換える（数式25）。
【数２５】
0005861542.tif 000030
【００６８】
差分画像データARとAGとA’Bを用いて、各画素で差分画像データの和D’を求め、差分和D’のうち最も小さい値に注目画素の値を置き換える（数式26,数式27）。
【数２６】
0005861542.tif 000031
【数２７】
0005861542.tif 000032
【００６９】
第5補間部607では、注目画素はR成分とG成分にノイズが重畳している。ノイズが重畳していない画素の値を優位にするため、R成分とG成分の差分画像データAR, AGのうち、ノイズが重畳していない値を0に置き換える（数式28,数式29）。
【数２８】
0005861542.tif 000033
【数２９】
0005861542.tif 000034
【００７０】
差分画像データA’RとA’GとABを用いて、各画素で差分画像データの和D’を求め、差分和D’のうち最も小さい値に注目画素の値を置き換える（数式30,数式31）。
【数３０】
0005861542.tif 000035
【数３１】
0005861542.tif 000036
【００７１】
第6補間部608では、注目画素はR成分とB成分にノイズが重畳している。ノイズが重畳していない画素の値を優位にするため、R成分とB成分の差分画像データAR, ABのうち、ノイズが重畳していない値を0に置き換える（数式32,数式33）。
【数３２】
0005861542.tif 000037
【数３３】
0005861542.tif 000038
【００７２】
差分画像データA’RとAGとA’Bを用いて、各画素で差分画像データの和D’を求め、差分和D’のうち最も小さい値に注目画素の値を置き換える（数式34,数式35）。
【数３４】
0005861542.tif 000039
【数３５】
0005861542.tif 000040
【００７３】
第7補間部609では、注目画素はG成分とB成分にノイズが重畳している。ノイズが重畳していない画素の値を優位にするため、G成分とB成分の差分画像データAG, ABのうち、ノイズが重畳していない値を0に置き換える（数式36,数式37）。
【数３６】
0005861542.tif 000041
【数３７】
0005861542.tif 000042
【００７４】
差分画像データARとA’GとA’Bを用いて、各画素で差分画像データの和D’を求め、差分和D’のうち最も小さい値に注目画素の値を置き換える（数式38,数式39）。
【数３８】
0005861542.tif 000043
【数３９】
0005861542.tif 000044
【００７５】
第8補間部610では、RGB成分全てノイズが重畳しているため、第2補間部604〜第7補間部609のように元画像から補間画素を見つけることができない。よって、第8補間部610では、例えば、RGB成分毎にメディアンフィルタを用いてノイズを除去する方法（数式40）や、差分画像データAdの総和D’を求め（数式41）、最も数値が大きい画素の値に置き換える（数式42）方法などが考えられる。
【数４０】
0005861542.tif 000045
【数４１】
0005861542.tif 000046
【数４２】
0005861542.tif 000047
【００７６】
ここで、TH1＝35,TH2＝5とした場合の処理例を図10と図11に示す。入力データIdのフィルタ窓内のRGB成分が図10のId（i+k,j+l）である場合、各成分のフィルタ窓内の各画素値と、注目画素となる中央画素値（IR＝205, IG＝90, IB＝83）との差分絶対値Ddを求める。この差分絶対値DdをTH1と比較し、TH1以上の値の個数ndを成分毎にカウントする。図10の場合、個数ndをみると、R成分の7画素とG成分の1画素で注目画素の値が周辺画素の値と差が大きいことが分かる。この時の注目画素の判定値はFLAGR＝1, FLAGG＝0, FLAGB＝0となり、R成分の注目画素にノイズが重畳していることが分かる。その場合、第2補間部604が選択される。以降の処理を、図11を用いて説明する。まず、注目画素を中心とした周辺画素の入力データIdと判定値FLAGdより、ノイズが重畳している画素と、重畳していない画素を選別し、差分画像データAdを求める。第2補間部604へは、注目画素を中心とした周辺画素の入力データIdと判定値FLAGdと差分画像データAdが供給される。注目画素にノイズが重畳されている成分のみ、差分画像データAdのノイズが重畳していない画素に0を挿入し、A’ dに置き換える。次に、差分画像データAd（A’ d）の和Dを求め、注目画素を除く最も値が小さい画素の入力データの値を補間値とする。ここでは、D’(i＋1,j−1)＝3が最も小さいため、出力データOd (i,j)＝Id (i＋1,j−1)となる。これにより、図7において除去することができなかった注目画素のノイズを除去することができる。
【００７７】
以上のように、本実施形態では、フィルタ窓内のノイズ検出を先に行い、ノイズが重畳していると判定された画素は補間対象から除外するようにしている。これにより、注目画素にノイズが重畳しており、同様のノイズがフィルタ窓内に存在する場合でも、効果的にノイズ除去を行うことができる。
【００７８】
図12は、本発明の効果を説明するための図である。ここでは、TH1＝35、TH2＝5、フィルタ窓サイズがW=3の場合を例示している。図12（a）は、元の正解画像であり、図12（b）は、その正解画像にノイズが重畳したものである。メディアンフィルタによると、図12(c)に示すように、ノイズ除去の副作用として、画像の細部を表現している所でぼけや滲みが生じている。一方、第1実施形態におけるノイズ除去回路201によると、図12(d)に示すように、副作用による画質の劣化を抑え、画像の細部情報が保持されている。さらに、第2実施形態におけるノイズ除去回路501によると、図12(e)に示すように、画像の細部情報が保持されているだけでなく、より精度よくノイズが除去されている。
【００７９】
なお、本発明は、ノイズ除去装置として実現することができるだけでなく、このようなノイズ除去装置が備える特徴的な処理部をステップとするノイズ除去方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。このようなプログラムは、CD-ROM等の記録媒体やインターネット等の伝送媒体を介して配信することができるのはいうまでもない。
【符号の説明】
【００８０】
201,501…ノイズ除去装置（ノイズ除去回路）
205,505…ノイズ検出部
206,509…補間部
【図１】
0005861542.tif 000048
【図２】
0005861542.tif 000049
【図３】
0005861542.tif 000050
【図４】
0005861542.tif 000051
【図５】
0005861542.tif 000052
【図６】
0005861542.tif 000053
【図７】
0005861542.tif 000054
【図８】
0005861542.tif 000055
【図９】
0005861542.tif 000056
【図１０】
0005861542.tif 000057
【図１１】
0005861542.tif 000058
【図１２】
0005861542.tif 000059
【図１３】
0005861542.tif 000060
【図１４】
0005861542.tif 000061
【図１５】
0005861542.tif 000062