(57)【要約】【課題】回路規模を大きくすることなく、エッジ近辺のノイズも適切に除去可能な平滑化処理を行う。【解決手段】複数の画素で構成される画像信号を処理する画像信号処理回路において、注目画素の周辺に位置する各周辺画素における、注目画素の画素値との差分値を算出し、算出した差分値の大きさに応じた値を重み値として設定する重み値算出部１５ａと、  周辺画素のそれぞれにおける画素値を、重み値算出部１５ａで設定された重み値の大きさに応じた割合で加算する画素加算部１５ｂとを備えた。【選択図】図２
2009152881.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素で構成される画像信号を処理する画像信号処理回路であって、
注目画素の周辺に位置する各周辺画素における、前記注目画素の画素値との差分値を算出し、前記算出した差分値の大きさに応じた値を重み値として設定する重み値算出部と、
前記周辺画素のそれぞれにおける画素値を、前記重み値算出部で設定された重み値の大きさに応じた割合で加算する画素加算部とを備えたことを特徴とする
画像信号処理回路。
【請求項２】
請求項１記載の画像信号処理回路において、
前記画素加算部は、前記重み値と前記差分値との積算値を、前記周辺画素毎に加算した値を、前記重み値の和で除算するとともに、前記除算して得た値を前記注目画素の新たな画素値として出力することを特徴とする
画像信号処理回路。
【請求項３】
請求項２記載の画像信号処理回路において、
前記重み値算出部は、予め定めておいた定数から前記注目画素の画素値との差分値を減算した値を、前記重み値とすることを特徴とする
画像信号処理回路。
【請求項４】
請求項３記載の画像信号処理回路において、
前記重み値算出部は、前記注目画素の画素値との差分値が前記定数よりも大きい場合は、前記重み値を０に設定することを特徴とする
画像信号処理回路。
【請求項５】
請求項２記載の画像信号処理回路において、
前記重み値算出部は、すべての前記周辺画素において前記注目画素の画素値との差分値を算出するとともに、前記すべての周辺画素における前記差分値の最大値を算出し、前記各周辺画素において、前記差分値の最大値から、前記注目画素の画素値との差分値を減算した値を前記重み値とすることを特徴とする
画像信号処理回路。
【請求項６】
請求項２記載の画像信号処理回路において、
前記重み値算出部は、前記注目画素の画素値との差分値の逆数を前記重み値とすることを特徴とする
画像信号処理回路。
【請求項７】
請求項６記載の画像信号処理回路において、
前記重み値算出部は、前記注目画素の画素値との差分値が０であった場合には、前記重み値を０以外の所定の値に設定することを特徴とする
画像信号処理回路。
【請求項８】
請求項３記載の画像信号処理回路において、
前記画素加算部は、すべての前記周辺画素において前記注目画素の画素値との差分値を算出し、前記差分値から前記差分値の最小値を減算した値を、前記各周辺画素の差分値とすることを特徴とする
画像信号処理回路。
【請求項９】
複数の画素で構成される画像信号を処理する画像信号処理装置であって、
注目画素の周辺に位置する各周辺画素における、前記注目画素の画素値との差分値を算出し、前記算出した差分値の大きさに応じた値を重み値として設定する重み値算出部と、
前記周辺画素のそれぞれにおける画素値を、前記重み値算出部で設定された重み値の大きさに応じた割合で加算する画素加算部とを備えたことを特徴とする
画像信号処理装置。
【請求項１０】
複数の画素で構成される画像信号を処理する画像信号処理方法であって、
注目画素の周辺に位置する各周辺画素における、前記注目画素の画素値との差分値を算出し、前記算出した差分値の大きさに応じた値を重み値として設定する重み値算出ステップと、
前記周辺画素のそれぞれにおける画素値を、前記設定された重み値の大きさに応じた割合で加算する画素加算ステップとを有することを特徴とする
画像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理回路、及びその処理回路を備えた画像信号処理装置、並びに画像信号処理方法に関し、特に複数の画素値を加算することで画像におけるノイズを低減する技術に関する。
【背景技術】
【０００２】
従来、撮像素子によって得られた画像信号中に含まれるノイズを低減するための手法として、画像加算という手法がよく知られている。画像加算の処理においては、注目画素の画素値（輝度値）を、その画素を中心とした近傍領域における周辺画素の画素値の加算値で置き換える処理を行う。その結果、画素値が平均化されて画像が滑らかになり、ノイズなどに起因する不要な濃淡変動が軽減される。
【０００３】
ところが、このような手法を用いると、結果として高域除去フィルタ（いわゆるＬＰＦ：Low Pass Filter）で画像信号から高域成分を除去したことと同義となり、画像中のエッジ等の高周波成分が失われてしまうという問題があった。このような問題を解決するため、画像中のエッジ部分を保持しつつ、ノイズの除去も行うことができる手法も提案されている。具体的な例としては、メディアンフィルタやバイラテラルフィルタ等を用いたフィルタ処理が知られている。
【０００４】
例えばメディアンフィルタを用いることで、ある注目画素の近傍領域内の周辺画素の画素値の中央値（メディアン）が、注目画素の画素値に置き換えられる。これにより、画像中にエッジが存在していた場合も、その画素値が画素加算の演算に用いられなくなるため、結果としてエッジ部分が保持されることになる。
【０００５】
特許文献１は、メディアンフィルタを用いてノイズの除去を行う技法について開示している。
【特許文献１】特開２０００−３１２３１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、メディアンフィルタを用いた画像処理を行う場合は、注目画素の近傍領域における画素値の中間値を必ず算出する必要がある。このため、処理に手間がかかる、つまり、回路の規模が大きくなってしまうという問題があった。
【０００７】
一方、バイラテラルフィルタは、輝度値の大きさに応じて画素加算の重みを変化させるフィルタであり、エッジ部分などの、周囲画素の画素値との輝度変化が急峻な箇所に対しては、加算の重みが低く設定される。これにより、画像中のエッジ部分は保持されつつそれ以外の部分が平滑化され、ノイズも低減される。さらに、１パスで処理を行えるため、回路規模も比較的小さく抑えることができるというメリットもある。
【０００８】
ところが、バイラテラルフィルタにおいては、重み値の設定を、注目画素の画素値との差分値が閾値を超えたか否かによって行っているため、画素にノイズが乗った場合とそうでない場合とで、重み値が変化してしまうようなことが発生する。例えば、ノイズが乗ったことによって差分値が閾値を超えた場合には、重み値は低い値に設定されるため、その画素は加算の対象からは外れる。これに対して、ノイズが乗っていない場合の差分値が閾値以下の値であった場合には、その画素が加算の対象となる。
【０００９】
このような処理が行われることで、エッジ近辺の画素の濃淡レベルが大きく変化すると、特に処理対象が動画像である場合には、フィルタ処理後の画像のエッジ部分などの特定位置の画素がノイズ除去される状態と、ノイズ除去されない状態とが繰り返されて、その画像を表示させると、特定位置が点滅したように見える輝度変化が発生してしまうという問題があった。
【００１０】
本発明はかかる点に鑑みてなされたものであり、回路規模を大きくすることなく、エッジ近辺のノイズも適切に除去可能な平滑化処理を行うことを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、複数の画素で構成される画像信号を処理する画像信号処理回路において、注目画素の周辺に位置する各周辺画素における、注目画素の画素値との差分値を算出し、算出した差分値の大きさに応じた値を重み値として設定する重み値算出部と、周辺画素のそれぞれにおける画素値を、重み値算出部で設定された重み値の大きさに応じた割合で加算する画素加算部とを備えるようにしたものである。
【００１２】
このようにしたことで、注目画素との差分値の大きさに応じて、画素加算に用いられる重み値が設定されるようになる。
【発明の効果】
【００１３】
本発明によると、中間値や閾値を用いることなく、エッジの保持とノイズの除去を同時に行うことができる。
【００１４】
この場合、エッジ近辺のノイズも適切に除去することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の第１の実施の形態を、図１〜図８を参照して説明する。
【００１６】
本例においては、画像信号処理装置を撮像装置に適用している。図１は、本例の撮像装置の内部構成例を示すブロック図である。図１に示した撮像装置１００は、レンズ１１、撮像素子１２、アナログ信号処理部１３、Ａ／Ｄ変換部１４、画像信号処理部１５、エンコード部１６、Ｄ／Ａ変換部１７、出力端子１８、制御部１９、記憶部２０とを有する。
【００１７】
レンズ１１は、被写体光を屈折させて、撮像素子１２の図示せぬ受光面に結像させる。撮像素子１２は、ＣＣＤ（Charge Coupled Devices）イメージャやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージャで構成され、図示せぬ色分解プリズムによってＲ，Ｇ，Ｂの３色に分解された各光を、それぞれの光の量に応じた信号に変換し、映像信号として出力する。アナログ信号処理部１３は、図示せぬＣＤＳ（Correlated Double Sampling）回路やＡＧＣ（Automatic Gain Control）回路等で構成される。ＣＤＳ回路では、入力された映像信号に含まれるリセットノイズを除去する処理を行い、ＡＧＣ回路では、映像信号の増幅を行って信号レベルを一定のレベルに調整する処理を行う。
【００１８】
アナログ・デジタル変換部１４（以下、Ａ／Ｄ変換部１４と称する）は、アナログ信号処理部１３から出力された映像信号をデジタル信号に変換する。画像信号処理部１５は、Ａ／Ｄ変換部１４から出力された映像信号中のノイズを低減させるための処理を行う。また、映像信号のレベルを、予め設定されたγカーブに従って補正するガンマ補正や、映像信号の黒レベルＯＢ（オプティカルブラック）を一定基準値に固定するフィーダバッククランプ処理、白バランスをとるためのホワイトクリップ処理等を行う。ノイズ低減処理の詳細については後述する。
【００１９】
エンコード部１６は、画像信号処理部１５で処理された映像信号をＮＴＳＣ（National Television Standards Committee）方式やＰＡＬ（Phase Alternating Line）方式等の所定の方式の信号に変換する。デジタル・アナログ変換部１７（以下Ｄ／Ａ変換部１７と称する）は、エンコード部１６から出力された映像信号をアナログ信号に変換する。出力端子２０は、Ｄ／Ａ変換部１７から出力された映像信号を、図示せぬ表示部や記録部に出力するための端子である。
【００２０】
制御部１９は、ＭＰＵ（Micro Processing Unit）等で構成され、撮像装置１００を構成する各部を制御する。記憶部２０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等で構成され、プログラム等が記憶される他、制御部１９で処理中のデータを一時的に保持する。
【００２１】
次に、図２及び図３を参照して、画像信号処理部１５内のノイズ低減処理部分の構成の例について説明する。本例においては、ノイズ低減処理を、図３に示したような注目画素Ｐｘ及び、注目画素Ｐｘの上下左右方向に隣接する９画素で構成される領域を対象に行う。図３に示した９画素の領域は、３水平ラインで構成される。すなわち、画素Ｐ１、画素Ｐ２、画素Ｐ３で構成されるラインａｉと、その下段のラインであり、画素Ｐ４、画素Ｐｘ、画素Ｐ５で構成されるラインａｉ＋１と、画素Ｐ６、画素Ｐ７、画素Ｐ８で構成される再下段のラインａｉ＋２とで構成される。
【００２２】
なお、本例では３画素×３画素で構成される領域を処理の対象とした場合を例に挙げているが、処理対象とする領域の大きさは、例えば５画素×５画素等の、他の大きさに設定してもよい。
【００２３】
図３に示したような、縦３列及び横３行の配列配置における各画素を取得する構成例を示したのが、図２の回路である。この図２に示した回路は、画像信号処理部１５が備える。すなわち、入力映像信号の１ライン分をバッファするラインメモリＬＭ１と、ラインメモリＬＭ１から出力された１ライン分の映像信号をバッファするラインメモリＬＭ２とを有する。ラインメモリＬＭ１は、図３のラインａｉ＋１を構成する各画素を保持及び出力し、ラインメモリＬＭ２は、図３のラインａｉ＋２を構成する各画素を保持及び出力する。ラインメモリＬＭ１及びＬＭ２を通さずに出力される画素は、図３のラインａｉになる。
【００２４】
図３に示した各ライン上の各画素は、図２に示した各遅延部ＶＬ１〜ＶＬ６によって、入力画素に１画素クロック分の遅延が与えられることにより、同じタイミングで得られるようになる。つまり、図２において、ラインメモリＬＭ１（又はＬＭ２）や、遅延部ＶＬ１〜ＶＬ６通さずに入力される映像信号は、図３の上段（ラインａｉ）の右端の位置に画素Ｐ３として出力され、遅延部ＶＬ１のみを通して入力される映像信号は、画素Ｐ３の左隣の位置に画素Ｐ２として出力され、遅延部ＶＬ１及び遅延部ＶＬ２を通して入力される映像信号は、画素Ｐ２の左隣の位置に画素Ｐ１として出力される。
【００２５】
同様に、ラインメモリＬＭ１で遅延された映像信号は、図３の中段（ラインａｉ＋１）の右端の位置に画素Ｐ５として出力され、ラインメモリＬＭ１及び遅延部ＶＬ３を通して入力される映像信号は、画素Ｐ５の左隣の位置に画素Ｐｘとして出力され、ラインメモリＬＭ１と遅延部ＶＬ３と遅延部ＶＬ４を通して入力される映像信号は、画素Ｐｘの左隣の位置に画素Ｐ４として出力される。
【００２６】
さらに、ラインメモリＬＭ１及びラインメモリＬＭ２で遅延された映像信号は、図３の下段（ラインａｉ＋２）の右端の位置に画素Ｐ８として出力され、ラインメモリＬＭ１及びラインメモリＬＭ２と遅延部ＶＬ５を通して入力される映像信号は、画素Ｐ８の左隣の位置に画素Ｐ７として出力され、ラインメモリＬＭ１及びラインメモリＬＭ２と、遅延部ＶＬ５及び遅延部ＶＬ６を通して入力される映像信号は、画素Ｐ７の左隣の位置に画素Ｐ６として出力される。なお、本例ではラインメモリを使用した例を挙げたが、フレームメモリを用いて３ラインの画素を一度に出力する構成に適用してもよい。
【００２７】
図２に示した回路構成などで得られた９画素の画素信号は、重み値算出部１５ａ及び画素加算部１５ｂに入力される。重み値算出部１５ａは、注目画素Ｐｘ（図３参照）の周辺に位置する各周辺画素Ｐ１〜Ｐ８における、注目画素Ｐｘの画素値との差分値を算出し、算出した差分値の大きさに応じた値を、重み値として設定する。そして、算出した重み値を画素加算部１５ｂに出力する。画素加算部１５ｂは、周辺画素Ｐ１〜Ｐ８のそれぞれにおける差分値を、重み値算出部から出力された重み値の大きさに応じた割合で加算する。
【００２８】
図４には、重み値算出部１５ａの処理の例をフローチャートで示してある。図４において、重み値算出部１５ａはまず、注目画素Ｐｘの周辺に位置する各周辺画素Ｐ１〜Ｐ８において、注目画素Ｐｘとの差分値を算出する処理を行う（ステップＳ１）。そして、求められた各差分値が、予め設定しておいた定数より大きな値であるか否かの判断を行う（ステップＳ２）。
【００２９】
差分値が定数より大きな値であった場合には重み値を０に設定し、差分値が定数以下であった場合には、さらに定数から差分値を減算する処理を行い、その結果得られた値を重み値とする（ステップＳ４）。
【００３０】
上述した処理を式にすると、下記のような式になる。下記式においては、注目画素Ｐｘとの差分値をｘ、定数をＡとしてある。
【数１】
2009152881.tif 000003
つまり上記式によれば、差分値ｘが大きければ大きいほど、重み値ｆの値は小さくなる。
【００３１】
定数Ａの値はユーザが自由に設定できるものとし、その値の大きさは、意味のある信号として残したい信号の輝度レベル（エッジレベル）以下の値とし、かつ、ノイズとして削除したい信号のレベル（ノイズレベル）よりは大きな値に設定するようにする。
【００３２】
具体例を挙げて説明すると、処理の対象領域が例えば図５（ａ）に示したような各画素で構成されている場合には、注目画素Ｐｘの画素値が８であるため、画素値が１や２等の、注目画素Ｐｘとの差分が大きい画素Ｐ４、画素Ｐ６、画素Ｐ７は、注目画素Ｐｘから見てエッジの向こう側にある画素であるとみなすことができる。エッジの向こう側の各画素と、エッジのこちら側の各画素間での差分値は５〜７であるため、この場合のエッジレベルは５〜７となる。
【００３３】
また、エッジのこちら側と判断された画素Ｐ１、画素Ｐ２、画素Ｐ３、画素Ｐ５、画素Ｐ８においては、各画素値の差は０〜１であるため、０〜１をノイズレベルと設定する。つまり図５（ａ）に示したケースでは、定数Ａを例えば５に設定することで、エッジレベルが５〜７の画素はエッジとして保持され、エッジのこちら側と判断された各画素においては、画素加算処理によってノイズが除去される。
【００３４】
つまり、定数Ａの値を大きな値とすればするほど、エッジの向こう側と判断された各画素に設定される重み値ｆの値が大きくなる。定数Ａの値を大きくした場合には、画素加算部１５ｂの画素加算処理によるエッジの鈍り度合いは大きくなるが、その分大きなノイズを除去することができるようになる。一方、定数Ａの値を小さくした場合には、エッジがクリアに保持されるようになるが、ノイズ除去の効果は薄くなる。
【００３５】
次に、引き続き図５を参照して、重み算出部１５ａによる具体的な処理の例を説明する。図５（ａ）は、画像処理の対象となる処理領域を示したものである。図３に示した例と同様に、処理対象領域は、注目画素Ｐｘ及びその上下左右方向に隣接する周辺画素８画素の、合計９画素で構成される。図５において、図３と対応する箇所には同一の符号を付してある。
【００３６】
図５（ａ）において、注目画素Ｐｘの値が８であるのに対して、注目画素Ｐｘの左隣の画素Ｐ４の画素値は２、斜め左下の画素Ｐ６の画素値は１、真下の画素Ｐ７の画素値は２であり、これらの各画素においては注目画素Ｐｘの画素値との差分が大きいため、これらの画素はエッジの向こう側とみなすことができる。
【００３７】
図５（ｂ）には、画素Ｐ１〜画素Ｐ８のそれぞれにおける、注目画素Ｐｘとの差分値ｘ（絶対値）を示してある。図５（ａ）に示したように、各周辺画素Ｐ１〜Ｐ８の画素値は、それぞれＰ１＝８、Ｐ２＝７、Ｐ３＝８、Ｐ４＝２、Ｐ５＝７、Ｐ６＝１、Ｐ７＝２、Ｐ８＝８であるため、差分値ｘは、
Ｐ１：｜Ｐ１−Ｐｘ｜＝｜８−８｜＝０、
Ｐ２：｜Ｐ２−Ｐｘ｜＝｜８−７｜＝１、
Ｐ３：｜Ｐ３−Ｐｘ｜＝｜８−８｜＝０、
Ｐ４：｜Ｐ４−Ｐｘ｜＝｜８−２｜＝６、
Ｐ５：｜Ｐ５−Ｐｘ｜＝｜８−７｜＝１、
Ｐ６：｜Ｐ６−Ｐｘ｜＝｜８−１｜＝７、
Ｐ７：｜Ｐ７−Ｐｘ｜＝｜８−２｜＝６、
Ｐ８：｜Ｐ８−Ｐｘ｜＝｜８−８｜＝０
となる。
【００３８】
図５（ｃ）には、これらの差分値ｘを、数１の式に代入した結果を示してある。定数Ａの値を５に設定した場合は、各周辺画素Ｐ１〜Ｐ８のそれぞれにおける重み値ｆは下記の値となる。
Ｐ１：Ａ（５）−ｘ（０）＝５、
Ｐ２：Ａ（５）−ｘ（１）＝４、
Ｐ３：Ａ（５）−ｘ（０）＝５、
Ｐ４：Ａ（５）＜ｘ（６）  ∴ｆ（ｘ）＝０、
Ｐ５：Ａ（５）−ｘ（１）＝４、
Ｐ６：Ａ（５）＜ｘ（７）  ∴ｆ（ｘ）＝０、
Ｐ７：Ａ（５）＜ｘ（６）  ∴ｆ（ｘ）＝０、
Ｐ８：Ａ（５）−ｘ（０）＝５
となる。つまり、差分値ｘの大きさが定数Ａを超える場合にはその画素は加算の対象とはされなくなる。一方、差分値ｘの大きさが定数Ａを超えない間は、差分値ｘが小さいほど重み値ｆの値は大きくなり、差分値ｘが大きいほど重み値ｆの値は小さくなる。重み値算出部１５ａは、このような処理を行って得た各周辺画素Ｐ１〜Ｐ８における重み値ｆを、画素加算部１５ｂに出力する。
【００３９】
次に、画素加算部１５ｂの処理の詳細について、図６のフローチャートを参照して説明する。図６において、画素加算部１５ｂはまず、処理領域の各周辺画素における重み値ｆの和を算出する（ステップＳ１１）。そして次に、処理領域の各周辺画素における差分値ｘと重み値ｆとの積算値を、加算する（ステップＳ１２）。さらに、ステップＳ１２で得られた差分値ｘと重み値ｆとの積算値の和を、重み値ｆの合計値で除算する（ステップＳ１３）。
【００４０】
この処理を、下記に式として示してある。下記式においては、周辺画素の数をｎ、注目画素Ｐｘの画素値をａｋ、各周辺画素Ｐ１〜Ｐ８の画素値をａｉとしてある。
【数２】
2009152881.tif 000004
例えば、図５（ａ）〜（ｃ）に示された注目画素Ｐｘの画素値、差分値ｘ、重み値ｆをこの式に代入すると、７．６５という解が求められる。よって、この値を四捨五入した８が、この処理領域における注目画素の新たな画素値として出力される。
【００４１】
上述した重み値算出部１５ａの処理によれば、例えば図５の画素Ｐ４、画素Ｐ６、画素Ｐ７で構成される、エッジの向こう側と判断できる領域Ａｒ１においては、図５（ｃ）に示されるように重み値ｆが０に設定される。このため、これら画素値は、画素加算部１５ｂでの加算処理の対象からは外れるようになる。このような処理が行われることにより、画素加算処理によって、画像中のエッジ部分が平滑化されてしまうことがなくなる。
【００４２】
なお、ここまで説明した実施の形態では、重み値ｆの算出方法として、定数Ａを設けてそこから差分値ｘを減算する方法を例に挙げたが、その他の計算方法で重み値ｆを算出するようにしてもよい。例えば、処理領域における差分値の最大値から、各周辺画素Ｐ１〜Ｐ８における差分値を減算して得られる値を、重み値として設定するようにしてもよい。この場合の処理例を、図７にフローチャートとして示している。
【００４３】
図７において、重み値算出部１５ａはまず、処理領域内のすべての周辺画素において差分値ｘを算出する（ステップＳ２１）。次に、算出した差分値ｘの中から一番値の大きいもの（最大差分値）を抽出し（ステップＳ２２）、抽出した最大差分値から、差分値ｘを除算する。そして、除算した得られた値を、重み値ｆに設定する（ステップＳ２３）。
【００４４】
図５（ａ）に示した領域を対象に上記処理を行った場合には、図７のステップＳ２２で求められる最大差分値は、画素Ｐ６における「７」となる（各周辺画素における差分値ｘの値は、図５（ｂ）を参照）。従って、各周辺画素Ｐ１〜Ｐ８に設定される重み値ｆは、下記のとおりとなる。
Ｐ１：最大差分値（７）−差分値ｘ（０）＝７、
Ｐ２：最大差分値（７）−ｘ（１）＝６、
Ｐ３：最大差分値（７）−ｘ（０）＝７、
Ｐ４：最大差分値（７）−ｘ（６）＝１、
Ｐ５：最大差分値（７）−ｘ（１）＝６、
Ｐ６：最大差分値（７）−ｘ（７）＝０、
Ｐ７：最大差分値（７）−ｘ（６）＝１、
Ｐ８：最大差分値（７）−ｘ（０）＝７
【００４５】
このような処理を行うことによっても、注目画素Ｐｘの画素値との差分値ｘが大きい、画素Ｐ４、画素Ｐ６、画素Ｐ７における重み値ｆが、０もしくは１の小さな値に設定されるようになる。
【００４６】
もしくは、差分値ｘの逆数を、重み値ｆとするようにしてもよい。この場合の重み値算出部１５ａの処理の例を、図８のフローチャートに示してある。図８において、重み値算出部１５ａはまず、処理領域の各周辺画素において、差分値ｘを算出する（ステップＳ３１）。そして、その差分値ｘが０であるか否かの判断を行う（ステップＳ３２）。差分値ｘが０であった場合には、重み値ｆを１に設定し（ステップＳ３３）、差分値ｘが０以外の値であった場合には、ステップＳ３１で算出した差分値ｘの逆数を、重み値ｆとして設定する（ステップＳ３４）。
【００４７】
つまり、下記式の解を重み値ｆとする処理を行う。
【数３】
2009152881.tif 000005
【００４８】
図５（ａ）に示した領域を対象にして、このような処理を行った場合は、各周辺画素における重み値ｆは下記の通りとなる。
Ｐ１：１／差分値ｘ（０）＝１、
Ｐ２：１／ｘ（１）＝１、
Ｐ３：１／ｘ（０）＝１、
Ｐ４：１／ｘ（６）＝０．１７、
Ｐ５：１／ｘ（１）＝１、
Ｐ６：１／ｘ（７）＝０．１４、
Ｐ７：１／ｘ（６）＝０．１７、
Ｐ８：１／ｘ（０）＝１
このような処理を行うことで、注目画素Ｐｘの画素値との差分値ｘが大きい、画素Ｐ４、画素Ｐ６、画素Ｐ７における重み値ｆが、１未満の小さな値に設定されるようになる。
【００４９】
上述した第１の実施の形態によれば、注目画素の画素値との差分値ｘの大きさに応じて画素加算時の重み値が設定されるため、各周辺画素の画素値の中間値を算出したり、閾値を設ける必要が無くなる。
【００５０】
また、予め定めておいた定数Ａから、注目画素Ｐｘの画素値との差分値ｘを減算して重み値を求めているため、定数Ａの大きさを変化させることで、ノイズ除去のレベルを調整することができる。すなわち、定数Ａの値を大きくすることで、ノイズ除去の効果を大きくでき、定数Ａの値を小さくすることで、エッジ保持の効果を強めることができる。
【００５１】
さらに、エッジを保持しつつもノイズを除去できるため、画素加算処理後の信号を増幅して高感度化した場合にも、生成された画像におけるノイズが目立たなくなる。
【００５２】
次に、本発明の第２の実施の形態について、図９〜図１１を参照して説明する。本例における撮像装置も、図１に示した撮像装置１００と同一の構成を有するものとする。第２の実施の形態によれば、第１の実施の形態による構成及び処理では除去しきれなかった孤立点が、除去可能となる。
【００５３】
第１の実施の形態で説明した処理では、注目画素Ｐｘ自身が孤立点であるようなケースは、画像処理によって孤立点（ノイズ）を除去することができない。図９（ａ）に、処理領域において、注目画素Ｐｘの画素値が８であるのに対して、その周辺画素Ｐ１〜Ｐ８の画素値は１〜２である場合を例示している。このような場合、注目画素Ｐｘが孤立点である可能性が高い。
【００５４】
図９（ａ）に示した各周辺画素と、注目画素Ｐｘの画素値との差分値ｘを、処理領域上に表現したものが図９（ｂ）である。図９に示されるように、各周辺画素における差分値ｘは、
Ｐ１：｜Ｐ１−Ｐｘ｜＝｜８−１｜＝７、
Ｐ２：｜Ｐ２−Ｐｘ｜＝｜８−１｜＝７、
Ｐ３：｜Ｐ３−Ｐｘ｜＝｜８−１｜＝７、
Ｐ４：｜Ｐ４−Ｐｘ｜＝｜８−２｜＝６、
Ｐ５：｜Ｐ５−Ｐｘ｜＝｜８−２｜＝６、
Ｐ６：｜Ｐ６−Ｐｘ｜＝｜８−１｜＝７、
Ｐ７：｜Ｐ７−Ｐｘ｜＝｜８−２｜＝６、
Ｐ８：｜Ｐ８−Ｐｘ｜＝｜８−１｜＝７
となる。つまり、周辺画素全体が、エッジの向こう側と認識されてしまう。
【００５５】
この領域において、エッジレベルを６〜７、ノイズレベルは０〜１とした場合で、重み値算出に数１の式を用いる場合には、定数Ａは６程度の大きさに設定される。数１の式を用いて算出した、各周辺画素における重み値ｆは、下記のようになる。
Ｐ１：Ａ（６）＜ｘ（７）  ∴ｆ（ｘ）＝０、
Ｐ２：Ａ（６）＜ｘ（７）  ∴ｆ（ｘ）＝０、
Ｐ３：Ａ（６）＜ｘ（７）  ∴ｆ（ｘ）＝０、
Ｐ４：Ａ（６）−ｘ（６）＝０、
Ｐ５：Ａ（６）−ｘ（６）＝０、
Ｐ６：Ａ（６）＜ｘ（７）  ∴ｆ（ｘ）＝０、
Ｐ７：Ａ（６）−ｘ（６）＝０、
Ｐ８：Ａ（６）＜ｘ（７）  ∴ｆ（ｘ）＝０
これらの重み値ｆを処理領域上に示したものが、図９（ｃ）となる。つまり、周辺画素Ｐ１〜Ｐ８の画素値は画素加算部１５ｂによる加算処理には用いられなくなるため、画素加算部１５ｂからの出力値は８（＝注目画素Ｐｘの画素値）となる。すなわち、第１の実施の形態による処理では、注目画素Ｐｘ自体が孤立点であった場合には、それを画像処理によって除去することができなかった。
【００５６】
第２の実施の形態では、各周辺画素において算出した注目画素Ｐｘの画素値との差分値ｘから、処理領域における最小差分値をさらに減算することにより、差分値ｘの標準化を行うようにしている。標準化された差分値ｘを用いて重み値ｆを算出することで、注目画素Ｐｘが孤立点であった場合にも、加算処理を行うことによって、それを除去することができるようになる。
【００５７】
図１０は、本例における重み値算出部１５ｂ′の処理例を示すフローチャートである。重み値算出部１５ｂ′は、まず処理領域内のすべての周辺画素Ｐ１〜Ｐ８において、注目画素Ｐｘの画素値との差分値ｘを算出する（ステップＳ４１）。次に、ステップＳ４１で算出された各差分値ｘの中から、値が最も小さい差分値（最小差分値）を抽出する（ステップＳ４２）。
【００５８】
そして、各周辺画素Ｐ１〜Ｐ８において、差分値ｘから最小差分値を減算した値を新たな差分値ｘ′として設定し（ステップＳ４３）、差分値ｘ′を用いて重み値ｆを算出する（ステップＳ４４）。重み値ｆの算出には、第１の実施の形態で説明した、予め設定しておいた定数から差分値ｘ′を減算する方法（数１、図４参照）や、処理領域内の最大差分値から各差分値ｘ′を減算する方法（図７参照）、差分値ｘ′の逆数を算出する方法（数３、図８参照）を用いる。
【００５９】
例えば図９（ａ）に示したような、注目画素Ｐｘ自体が孤立点であると疑われる処理領域を対象にして、図１０に示した処理を行った場合を例に挙げて説明する。重み値ｆの算出には、数１や図４に示した、定数から差分値ｘ′を減算する方法を用いるものとする。
【００６０】
図９（ａ）に示された領域内の各周辺画素Ｐ１〜Ｐ８における差分値ｘは、図９（ｂ）に示してあるとおりであり、Ｐ１＝７、Ｐ２＝７、Ｐ３＝７、Ｐ４＝６、Ｐ５＝６、Ｐ６＝７、Ｐ７＝６、Ｐ８＝７となる。これら差分値ｘの中での最小の値は「６」であるため、図１０のステップＳ４３の処理に基づいて、各差分値から最小差分値（６）を減算する。
【００６１】
各周辺画素Ｐ１〜Ｐ８において、差分値ｘから最小差分値を減算して得られる差分値ｘ′は下記のとおりとなる。そして図１１（ａ）には、求められた差分値ｘ′を処理領域上に割り当てて示したものを示してある。
Ｐ１：差分値ｘ（７）−最小差分値（６）＝１、
Ｐ２：ｘ（７）−最小差分値（６）＝１、
Ｐ３：ｘ（７）−最小差分値（６）＝１、
Ｐ４：ｘ（６）−最小差分値（６）＝０、
Ｐ５：ｘ（６）−最小差分値（６）＝０、
Ｐ６：ｘ（７）−最小差分値（６）＝１、
Ｐ７：ｘ（６）−最小差分値（６）＝０、
Ｐ８：ｘ（７）−最小差分値（６）＝１
【００６２】
これらの差分値ｘ′を基に、数１の式を用いて重み値ｆを求めると、各周辺画素における重み値ｆは下記のようになる。ここでは定数Ａを６としてある。
Ｐ１：Ａ（６）−ｘ（１）＝５、
Ｐ２：Ａ（６）−ｘ（１）＝５、
Ｐ３：Ａ（６）−ｘ（１）＝５、
Ｐ４：Ａ（６）−ｘ（０）＝６、
Ｐ５：Ａ（６）−ｘ（０）＝６、
Ｐ６：Ａ（６）−ｘ（１）＝５、
Ｐ７：Ａ（６）−ｘ（０）＝６、
Ｐ８：Ａ（６）−ｘ（１）＝５
つまり、全周辺画素における重み値ｆが大きな値となるため、これらの重み値ｆに基づいて画素加算部１５ｂが画素加算処理を行うことにより、画素加算部１５ｂから出力される値は、周辺画素の画素値を平滑化した値となる。従って、注目画素Ｐｘが孤立点であった場合も、画像処理によりそれが削除されるようになる。
【００６３】
注目画素Ｐｘが孤立点ではないケースにおいて、上述した処理を行っても、第１の実施の形態の処理において得られる効果と同等の効果を得ることができる。例えば、図５（ａ）に示した各画素で構成される領域を対象として、図１０に示した処理を行った場合を例に挙げて説明する。
【００６４】
図５（ａ）に示された領域において、注目画素Ｐｘの画素値は８であり、周辺画素の画素値は、それぞれＰ１＝８、Ｐ２＝７、Ｐ３＝８、Ｐ４＝２、Ｐ５＝７、Ｐ６＝１、Ｐ７＝２、Ｐ８＝８である。これらの各周辺画素における、注目画素Ｐｘの画素値との差分値ｘは、図５（ｂ）に示してあるとおりであり、Ｐ１＝０、Ｐ２＝１、Ｐ３＝０、Ｐ４＝６、Ｐ５＝１、Ｐ６＝７、Ｐ７＝６、Ｐ８＝０となる。よって、これら差分値ｘの中での最小の値は「０」となる。
【００６５】
つまり、各差分値ｘから０を減算しても値は変わらないため、これらの差分値ｘを用いて重み値ｆが計算される。数１の式を用いて重み値ｆを求めた場合は、各周辺画素における重み値ｆは下記のようになる。ここでは定数Ａを５としてある。
Ｐ１：Ａ（５）−ｘ（０）＝５、
Ｐ２：Ａ（５）−ｘ（１）＝４、
Ｐ３：Ａ（５）−ｘ（０）＝５、
Ｐ４：Ａ（５）＜ｘ（６）  ∴ｆ（ｘ）＝０、
Ｐ５：Ａ（５）−ｘ（１）＝４、
Ｐ６：Ａ（５）＜ｘ（７）  ∴ｆ（ｘ）＝０、
Ｐ７：Ａ（５）＜ｘ（６）  ∴ｆ（ｘ）＝０、
Ｐ８：Ａ（５）−ｘ（０）＝５
すなわち、第１の実施の形態において算出された重み値ｆ（図５（ｃ）参照）と、同じ値となる。
【００６６】
上述した第２の実施の形態によれば、第１の実施の形態において得られる効果に加えて、注目画素Ｐｘが孤立点であった場合にも、それを除去することができるという効果を得ることができる。
【００６７】
この場合、画素加算処理に先立って、ＨＰＦ（High Pass Filter）等を用いて事前に孤立点を除去する作業等を行う必要がなくなる。
【００６８】
なお、ここまで説明した実施の形態では、画像信号処理装置を撮像装置に適応した例を挙げたが、テレビジョン受像機やビデオ信号記録装置、ビデオテープレコーダ等の他の装置に適用してもよい。
【図面の簡単な説明】
【００６９】
【図１】本発明の第１の実施の形態による撮像装置の内部構成例を示すブロック図である。
【図２】本発明の第１の実施の形態による画像信号処理部の内部構成例を示すブロック図である。
【図３】本発明の第１の実施の形態による処理領域の例を示す説明図である。
【図４】本発明の第１の実施の形態による重み値算出部の処理例を示すフローチャートである。
【図５】本発明の第１の実施の形態による処理領域の例を示す説明図であり、（ａ）は、処理領域内の各画素における画素値を示したものであり、（ｂ）は、処理領域内の各周辺画素における注目画素の画素値との差分値を示したものであり、（ｃ）は、差分値を基に算出された重み値をしたものである。
【図６】本発明の第１の実施の形態による画素加算部の処理例を示すフローチャートである。
【図７】本発明の第１の実施の形態の変形例による重み値算出部の処理例を示すフローチャートである。
【図８】本発明の第１の実施の形態の変形例による重み値算出部の処理例を示すフローチャートである。
【図９】本発明の第１の実施の形態による処理領域の例を示す説明図であり、（ａ）は、処理領域内の各画素における画素値を示したものであり、（ｂ）は、処理領域内の各周辺画素における注目画素の画素値との差分値を示したものであり、（ｃ）は、差分値を基に算出された重み値をしたものである。
【図１０】本発明の第２の実施の形態による重み値算出部の処理例を示すフローチャートである。
【図１１】本発明の第２の実施の形態による処理領域の例を示す説明図であり、（ａ）は、処理領域内の各周辺画素における注目画素の画素値との差分値を示したものであり、（ｂ）は、各周辺画素における差分値から、処理領域内の最小差分値を減算した値を示したものである。
【符号の説明】
【００７０】
１１…レンズ、１２…撮像素子、１３…アナログ信号処理部、１４…Ａ／Ｄ変換部、１５…画像信号処理部、１５ａ…重み値算出部、１５ｂ…画素加算部、１６…エンコード部、１７…Ｄ／Ａ変換部、１８…出力端子、１９…制御部、２０…記憶部、ＬＭ１〜ＬＭ２…ラインメモリ、ＶＬ１〜ＶＬ６…遅延部、Ｐｘ…注目画素、Ｐ１〜Ｐ６…周辺画素
【図１】
2009152881.tif 000006
【図２】
2009152881.tif 000007
【図３】
2009152881.tif 000008
【図４】
2009152881.tif 000009
【図５】
2009152881.tif 000010
【図６】
2009152881.tif 000011
【図７】
2009152881.tif 000012
【図８】
2009152881.tif 000013
【図９】
2009152881.tif 000014
【図１０】
2009152881.tif 000015
【図１１】
2009152881.tif 000016