(57)【特許請求の範囲】
【請求項１】
撮像素子の各画素を注目画素として順次選択し、該注目画素及びその周辺画素から構成される所定の画素領域において該注目画素の画像信号と該周辺画素の画像信号から該注目画素についての第１のノイズ分散量を計算する局部ノイズ分散量計算部と、
所定のタイミングにて、前記第１のノイズ分散量に基づいて前記撮像素子の全画素領域についての第２のノイズ分散量を更新する全体ノイズ分散量更新部と、
前記第１のノイズ分散量と前記第２のノイズ分散量に基づいて前記注目画素の画像信号に対するノイズ除去量を決定するノイズ除去量決定手段と、
前記ノイズ除去量に基づいて前記注目画素の画像信号からノイズを除去するノイズ除去手段と、を有し、
前記全体ノイズ分散量更新部は、前記第１のノイズ分散量が所定の閾値よりも小さい場合は、前記第２のノイズ分散量を更新し、前記第１のノイズ分散量が前記所定の閾値以上である場合は、前記所定の画素領域に輪郭部分が含まれているとみなして、前記第２のノイズ分散量を更新しない、
ことを特徴とするノイズ除去装置。
【請求項２】
前記ノイズ除去量決定手段は、前記第１のノイズ分散量と前記第２のノイズ分散量を用いて、前記ノイズ除去量を示す所定の係数を計算し、
前記ノイズ除去手段は、前記所定の画素領域内における前記注目画素の画像信号の画素値と以下の式（２）により計算される値ｆとの差分と、前記所定の係数とを用いて前記注目画素の画像信号からノイズを除去する、
【数１】
0005653098.tif 000013
ここで、Ｍ及びＮは、前記所定の画素領域の大きさ（Ｍ×Ｎ画素）を表す値、Ｖ（ｉ，ｊ）は、前記所定の画素領域における座標（ｉ，ｊ）（ｉ＝１〜Ｍ，ｊ＝１〜Ｎ）で示される画素の画素値、α（ｉ，ｊ）は、座標（ｉ，ｊ）で示される画素に割り当てられた値である、ことを特徴とする請求項１に記載のノイズ除去装置。
【請求項３】
前記局部ノイズ分散量計算部は、前記所定の画素領域内における各画素の画像信号の画素値と以下の式（２）により計算される値ｆとの差分に基づいて前記第１のノイズ分散量を決定する、
【数２】
0005653098.tif 000014
ここで、Ｍ及びＮは、前記所定の画素領域の大きさ（Ｍ×Ｎ画素）を表す値、Ｖ（ｉ，ｊ）は、前記所定の画素領域における座標（ｉ，ｊ）（ｉ＝１〜Ｍ，ｊ＝１〜Ｎ）で示される画素の画素値、α（ｉ，ｊ）は、座標（ｉ，ｊ）で示される画素に割り当てられた値である、
ことを特徴とする請求項１又は請求項２に記載のノイズ除去装置。
【請求項４】
前記局部ノイズ分散量計算部は、前記第１のノイズ分散量をδ２Ｌとすると、以下の式（１）によりδ２Ｌを計算する、
【数３】
0005653098.tif 000015
ここで、Ｍ及びＮは、前記所定の画素領域の大きさ（Ｍ×Ｎ画素）を表す値、Ｖ（ｉ，ｊ）は、前記所定の画素領域における座標（ｉ，ｊ）（ｉ＝１〜Ｍ，ｊ＝１〜Ｎ）で示される画素の画素値、ｆは以下の式（２）により与えられる値である、
【数４】
0005653098.tif 000016
ここで、α（ｉ，ｊ）は、座標（ｉ，ｊ）で示される画素に割り当てられた値である、
ことを特徴とする請求項１から請求項３のいずれか一項に記載のノイズ除去装置。
【請求項５】
前記全体ノイズ分散量更新部は、前記第２のノイズ分散量をδ２Ｗ（ｔ）とすると、以下の式（３）によりδ２Ｗ（ｔ）を計算する、
【数５】
0005653098.tif 000017
ここで、ｔは、前記所定のタイミングに基づいて決まる時間、δ２Ｔは、前記所定の閾値、ｎは、前記全体ノイズ分散量更新部によって所定の初期値に対して該所定のタイミングで所定の値が順次加算される値である、
ことを特徴とする請求項４に記載のノイズ除去装置。
【請求項６】
前記ノイズ除去量決定手段は、前記所定の係数をｋとすると、下記の式（４）によりｋを計算する、
【数６】
0005653098.tif 000018
ことを特徴とする請求項５に記載のノイズ除去装置。
【請求項７】
前記ノイズ除去手段は、前記注目画素の画素値をｆｉｎ、ノイズ除去後の該注目画素の画素値をｆｏｕｔとすると、以下の式（５）によりｆｏｕｔを計算する、
【数７】
0005653098.tif 000019
ことを特徴とする請求項６に記載のノイズ除去装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子から出力される画像信号からノイズを良好に除去するためのノイズ除去装置に関する。
【背景技術】
【０００２】
撮像素子から出力される画像信号に対して、画像の劣化を防止しつつノイズ除去を行うための種々のノイズ除去装置が提案されている。そのようなノイズ除去装置が特許文献１や特許文献２に開示されている。
【０００３】
特許文献１のノイズ除去装置によると、輪郭検出回路による画像の輪郭部分の検出結果に基づいて、画像の輪郭部分に対してはメディアンフィルタからの出力を選択し、画像の輪郭以外の部分に対しては平均値フィルタからの出力を選択する。メディアンフィルタは、主にインパルス性のノイズを除去するため、画像の輪郭をぼかすことなくノイズを除去することができる。また、平均値フィルタは、ランダム性のノイズに対して大きな除去効果を発揮する。そして、これら輪郭検出回路とメディアンフィルタと平均値フィルタの組を単段又は多段で構成することにより、画像の輪郭をぼかすことなくノイズを除去する。
【０００４】
また、特許文献２のノイズ除去装置では、フレームメモリに１フレーム前の画像を記憶し、この画像を後続フレームの画像と所定の混合比で混合する。画像信号を混合する際は、複数フレームにおける画像信号の比較によって画像信号の差分である動き成分を抽出する。増幅器にて各画像信号を所定のゲイン値で増幅し、増幅処理時のゲイン値に関する情報に基づいて決まる閾値を、動き成分と比較して動き判定を行う。また、ゲイン値に基づいて、それぞれ異なるフィルタ特性を有する複数のローパスフィルタを切り換える。そして、動き判定の結果に基づいて混合比を変更する。相関性は高いがノイズレベルが異なる連続した複数の画像信号の差分を動き成分として抽出するため、動き成分には必然的にノイズ成分も含まれる。したがって、ノイズ成分を加味して混合比が決定されるため、画像信号の混合時にノイズ低減も行うことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−２３３３６９号公報
【特許文献２】特開２０１０−４２６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、上記のような従来のノイズ除去装置においては、フレーム間で画像信号を比較するためのフレームメモリが必要となる。したがって、フレームごとの画像信号を転送するなどにより処理に遅延時間が発生する可能性がある。また、大容量のメモリであるフレームメモリを採用するにあたっては、コストアップの問題が生じる。さらに、ノイズ除去を行うためにゲイン値などの画像信号以外の情報を外部から入力するため、処理が複雑になる可能性がある。
【０００７】
本発明は上記の事情に鑑みてなされたものである。本発明の目的は、フレームメモリなどの大きなメモリ領域を必要とせず、また画像信号以外の情報を外部から入力することなく、画像の品質を保持しつつ、画像信号からノイズを効率よく除去することである。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明のノイズ除去装置は、撮像素子の各画素を注目画素として順次選択し、注目画素及びその周辺画素から構成される所定の画素領域において注目画素の画像信号と周辺画素の画像信号から注目画素についての第１のノイズ分散量を計算する局部ノイズ分散量計算部と、所定のタイミングにて、第１のノイズ分散量に基づいて撮像素子の全画素領域についての第２のノイズ分散量を更新する全体ノイズ分散量更新部と、第１のノイズ分散量と第２のノイズ分散量に基づいて注目画素の画像信号に対するノイズ除去量を決定するノイズ除去量決定手段と、ノイズ除去量に基づいて注目画素の画像信号からノイズを除去するノイズ除去手段とを有する。全体ノイズ分散量更新部は、第１のノイズ分散量が所定の閾値よりも小さい場合は、第２のノイズ分散量を更新し、第１のノイズ分散量が所定の閾値以上である場合は、所定の画素領域に輪郭部分が含まれているとみなして、第２のノイズ分散量を更新しない。したがって、本発明では、フレーム間で画像信号を比較するための大容量のフレームメモリも、ノイズ除去装置の外部で生成されるゲイン値などの情報も必要とすることなく画像信号のノイズ除去処理を行うことができる。また、従来のノイズ除去装置ではノイズ除去処理においてメディアンフィルタを用いると、例えば内視鏡などにより体腔内の毛細血管を撮像したときに、画素値のメディアンを採用することで毛細血管の輪郭が不鮮明になり画像が劣化する可能性があった。しかし、本発明のノイズ除去装置によれば、毛細血管などの輪郭情報を失わずにノイズを良好に除去することができる。
【０００９】
好ましくは、ノイズ除去量決定手段は、第１のノイズ分散量と第２のノイズ分散量を用いて、ノイズ除去量を示す所定の係数を計算し、ノイズ除去手段は、所定の画素領域内における注目画素の画像信号の画素値と以下の式（２）により計算される値ｆとの差分と、所定の係数とを用いて注目画素の画像信号からノイズを除去する。また、局部ノイズ分散量計算部は、所定の画素領域内における各画素の画像信号の画素値と以下の式（２）により計算される値ｆとの差分に基づいて第１のノイズ分散量を決定する。
【００１０】
さらに好ましくは、局部ノイズ分散量計算部は、第１のノイズ分散量をδ２Ｌとすると、以下の式（１）によりδ２Ｌを計算する、
【数１】
0005653098.tif 000002
ここで、Ｍ及びＮは、所定の画素領域の大きさ（Ｍ×Ｎ画素）を表す値、Ｖ（ｉ，ｊ）は、所定の画素領域における座標（ｉ，ｊ）（ｉ＝１〜Ｍ，ｊ＝１〜Ｎ）で示される画素の画素値、ｆは以下の式（２）により与えられる値である、
【数２】
0005653098.tif 000003
ここで、α（ｉ，ｊ）は、座標（ｉ，ｊ）で示される画素に割り当てられた値である。
【００１１】
また、全体ノイズ分散量更新部は、第２のノイズ分散量をδ２Ｗ（ｔ）とすると、以下の式（３）によりδ２Ｗ（ｔ）を計算する、
【数３】
0005653098.tif 000004
ここで、ｔは、所定のタイミングに基づいて決まる時間、δ２Ｔは、所定の閾値、ｎは、全体ノイズ分散量更新部によって所定の初期値に対して所定のタイミングで所定の値が順次加算される値である。
【００１２】
そして、ノイズ除去量決定手段は、前記所定の係数をｋとすると、下記の式（４）によりｋを計算する。
【数４】
0005653098.tif 000005
【００１３】
さらに、ノイズ除去手段は、注目画素の画素値をｆｉｎ、ノイズ除去後の注目画素の画素値をｆｏｕｔとすると、以下の式（５）によりｆｏｕｔを計算する。
【数５】
0005653098.tif 000006
【発明の効果】
【００１４】
本発明のノイズ除去装置によれば、大きなメモリ領域を使用したり、ノイズ除去処理に必要な情報を外部から入力したりすることなく、画像の品質を保持しつつ、画像からノイズを除去することができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明の一実施形態におけるノイズ除去装置を備える画像表示システムの概略構成を示すブロック図である。
【図２】図２は、本発明の一実施形態におけるノイズ除去部の概略構成を示すブロック図である。
【図３】図３（ａ）は、本発明の一実施形態のノイズ除去処理において使用される画素の画素値を示す概略図であり、図３（ｂ）は、当該ノイズ除去処理において使用される各画素に割り当てられている係数を示す概略図である。
【図４】図４は、本発明の一実施形態のノイズ除去処理のフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の一実施形態におけるノイズ除去装置について説明する。なお、複数の図にまたがって同じ部材を示す場合は同じ番号を付すこととする。
【００１７】
図１は、本発明の一実施形態におけるノイズ除去装置を備える画像表示システムの概略構成を示すブロック図である。撮像素子１は、ベイヤ型画素配置を有するＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサであり、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ，Ｇ，Ｂの各色に応じた画像信号に変換する。変換された画像信号は、ＡＦＥ（Analog Front End）２内のアナログアンプによる増幅後、ＡＤ変換されて、ノイズ除去装置としてのノイズ除去部３に入力される。ノイズ除去部３では、画像信号に含まれるノイズが除去される。ノイズが除去された画像信号は色変換部４と輝度変換部５とにそれぞれ送られる。なお、ノイズ除去部３における具体的な処理については後述する。
【００１８】
色変換部４と輝度変換部５により、ノイズ除去部３によってノイズが除去された画像信号に基づいて色信号と輝度信号がそれぞれ生成される。生成された色信号と輝度信号は、ＹＵＶ信号生成部６に送られ、ＹＵＶ信号生成部６にて輝度信号と色差信号が生成される。輝度信号と色差信号は、ＹＵＶ信号生成部６からＲＧＢ信号変換部７に送られ、ＲＧＢ信号に変換される。変換されたＲＧＢ信号は、ガンマ補正部８にて画像信号の明るさが自然になるようにガンマ特性が補正された後、画像出力部９にてＮＴＳＣ（National Television System Committee）やＰＡＬ（Phase Alternating Line）などの所定の規格に準拠する画像信号に変換されてモニタ１０に出力される。これにより撮像した画像がモニタ１０に表示される。
【００１９】
図２は、本実施形態におけるノイズ除去部３の概略の構成を示すブロック図である。ＡＦＥ２によって増幅された画像信号は、ノイズ除去部３のラインメモリ３１に送られる。本実施形態においては、撮像素子１の画素配置がベイヤ型であり、同色の３×３画素を用いてノイズ除去処理を行うため、ラインメモリ３１は、撮像素子１の少なくとも５ライン分の画像信号を格納することができる容量を有する。ラインメモリ３１に格納された画像信号は、ＬＰＦ（Low-Pass Filter）３２、局部ノイズ分散量計算部３３、減算部３６，３８にそれぞれ送られる。
【００２０】
まず、ＬＰＦ３２の処理について説明する。図３（ａ），（ｂ）には、ノイズ除去部３のノイズ除去処理における注目画素と周辺画素の各画素値と、注目画素と周辺画素に割り当てられた係数を示す。図３（ａ）は、注目画素と周辺画素がＭ×Ｎ画素を構成する場合に、各画素の位置を座標（ｉ，ｊ）（ｉ＝１〜Ｍ，ｊ＝１〜Ｎ）で表したときの各画素の画素値を示す。図３（ｂ）は、後述するようにＬＰＦ３２において使用される、各画素に割り当てられた係数α（ｉ，ｊ）を示す。本実施形態では３×３画素の画像信号を用いてノイズ除去処理を行う。したがって、図３（ａ），（ｂ）においてＭ＝Ｎ＝３とする。本実施形態ではラインメモリ３１が５ライン分の画像信号を格納する。ラインメモリ３１に格納されている画像信号について、互いに隣接する５×５の領域は、図３（ａ）に示すように、注目画素の画素を座標（２，２）の画素としたときに、各座標（１，１），（１，２），（１，３），（２，１），（２，３），（３，１），（３，２），（３，３）に示す位置には、注目画素と同一色のカラーフィルタを有する画素が存在している。なお、Ｖ（１，１）〜Ｖ（３，３）はそれぞれの位置の画素値を表すものとする。
【００２１】
図３（ｂ）に示すように、図３（ａ）においてＶ（１，１）〜Ｖ（３，３）により示す位置の画素に対応して係数α（１，１）〜α（３，３）が設定されており、ＬＰＦ３２は、各画素値に対して対応する係数を乗算して出力する。係数の値としては、例えば、移動平均フィルタを採用して、α（１，１）〜α（３，３）のすべての係数に１／９を設定して均一にすることもできるし、ガウシアンフィルタを採用して、α（１，１）とα（１，３）とα（３，１）とα（３，３）に対しては０．０１１３を、α（１，２）とα（２，１）とα（２，３）とα（３，２）に対しては０．０８３８を、α（２，２）に対しては０．６１９６をそれぞれ設定することもできる。ＬＰＦ３２は、以下の式（６）による演算を行い、得られる画素値ｆを局部ノイズ分散量計算部３３と減算部３６に出力する。
【００２２】
【数６】
0005653098.tif 000007
【００２３】
なお、本実施形態においては、注目画素と周辺画素が３×３画素を構成していることから、Ｍ＝Ｎ＝３として演算を行う。以降の式についても、本実施形態においては、Ｍ＝Ｎ＝３として演算を行うこととする。
【００２４】
局部ノイズ分散量計算部３３では、ＬＰＦ３２の処理対象となった注目画素と周辺画素におけるノイズ分散量が算出される。局部ノイズ分散量計算部３３には、ラインメモリ３１から送られてくる注目画素及び周辺画素の画素値Ｖ（１，１）〜Ｖ（３，３）と、ＬＰＦ３２から送られてくる画素値ｆを用いて以下の式（７）による演算を行う。
【００２５】
【数７】
0005653098.tif 000008
【００２６】
局部ノイズ分散量計算部３３によって算出されるδ２Ｌから、δ２Ｌが小さい値を取る場合は、ＬＰＦ３２の処理対象となっている画素領域においてノイズが発生しているとみなし、大きい値を取る場合は、当該画素領域に画像のエッジ部分が含まれているとみなすことができる。局部ノイズ分散量計算部３３によって算出されるδ２Ｌは、全体ノイズ分散量更新部３４と係数計算部３５にそれぞれ送られる。
【００２７】
全体ノイズ分散量更新部３４では、係数計算部３５において画像信号からノイズを除去する際の補正の度合いを示す係数ｋを決定する際に用いられる現在の時間ｔにおけるδ２Ｗ（ｔ）の値が算出される。全体ノイズ分散量更新部３４は、局部ノイズ分散量計算部３３から出力されるδ２Ｌを用いて、以下の式（８）による演算を行う。なお、時間ｔ−１から時間ｔまでの時間は、注目画素がある画素から次の画素に切り替わるまでの時間としてもよいし、注目画素が複数回切り替わるのに要する時間としてもよい。したがって、全体ノイズ分散量更新部３４は、注目画素の切り替えに基づく任意のタイミングで演算を行ってノイズ分散量を更新することができる。タイミングの間隔を短くすることで、ノイズ分散量の更新頻度を高め、より短い時間でより大きなノイズ除去効果を得ることができる。
【００２８】
【数８】
0005653098.tif 000009
【００２９】
ここで、δ２Ｔはノイズ分散量の閾値であり、例えば１０００など、所定の数値が初期値としてあらかじめ設定されている。なお、δ２Ｗ（ｔ）の初期値、すなわちδ２Ｗ（０）はδ２Ｔとする。また、ｎは初期値が１であり、全体ノイズ分散量更新部３４は、δ２Ｗ（ｔ）を更新するごとにｎに１を加算していく。なお、本実施形態においては、１６ビットの画像信号を処理するものする。そこで、ｎの最大値を２１６−１とする。なお、ｎは以下の式（９）を満たす。
【００３０】
【数９】
0005653098.tif 000010
【００３１】
式（８）からわかるように、全体ノイズ分散量更新部３４は、δ２Ｌが閾値δ２Ｔ以上の値を取る場合はδ２Ｗ（ｔ）として時間ｔ−１における全体ノイズ分散量更新部３４の演算結果δ２Ｗ（ｔ−１）を採用する。また、δ２Ｌが閾値δ２Ｔよりも小さい値を取る場合はδ２Ｗ（ｔ−１）に対してδ２Ｌを加味して補正を行った値をδ２Ｗ（ｔ）とする。
【００３２】
全体ノイズ分散量更新部３４によって算出されたδ２Ｗ（ｔ）は、係数計算部３５に送られる。また、演算により得られたｎとδ２Ｗ（ｔ）は、図示しないレジスタにそれぞれ格納される。係数計算部３５では、局部ノイズ分散量計算部３３から出力されるδ２Ｌと全体ノイズ分散量更新部３４から出力されるδ２Ｗ（ｔ）を用いて画像信号に施す補正の度合いを示す係数ｋを計算する。係数計算部３５は、注目画素の画素値から除去するノイズの程度を決定するノイズ除去量決定手段として、以下の式（１０）により係数ｋを求める。
【００３３】
【数１０】
0005653098.tif 000011
【００３４】
係数計算部３５により算出された係数ｋは、乗算部３７に送られる。ここで、減算部３６、乗算部３７、減算部３８により実行される、画像信号からノイズを除去する一連の演算について説明する。減算部３６には、ラインメモリ３１から注目画素の画素値Ｖ（２，２）（便宜上ｆｉｎとする）が、またＬＰＦ３２から画素値ｆが送られる。減算部３６は、ｆｉｎから画素値ｆを減算した結果を乗算部３７に出力する。乗算部３７は、減算部３６から出力される減算結果に対して、係数計算部３５から送られてくる係数ｋを乗算する。乗算部３７による乗算結果は、減算部３８に送られる。減算部３８には、ラインメモリ３１からｆｉｎが、また乗算部３７から乗算結果が送られる。減算部３８は、ｆｉｎから乗算部３７からの乗算結果を減算し、ノイズ除去された画像信号を出力する。
【００３５】
図４に、本実施形態におけるノイズ除去処理のフローチャートを示す。ステップＳ１０１において、ラインメモリ３１に注目画素と周辺画素の画素値を入力する。次にステップＳ１０３に進み、ＬＰＦ３２においてｆを、また局部ノイズ分散量計算部３３においてδ２Ｌを計算する。続いてステップＳ１０５では、全体ノイズ分散量更新部３４において、図示しないレジスタからｎとδ２Ｗ（ｔ−１）を読み込む。なお、画像表示システムの電源を入れた場合などでは、レジスタのｎとδ２Ｗ（ｔ−１）の初期値として、それぞれ１と１０００（本実施形態の場合）が割り当てられている。さらに、ステップＳ１０７において、全体ノイズ分散量更新部３４は、δ２Ｌがノイズ分散量の閾値であるδ２Ｔよりも小さいか否かを判定する。全体ノイズ分散量更新部３４は、δ２Ｌがδ２Ｔよりも小さいと判定した場合は、ステップＳ１０９に進み、式（８）を用いてδ２Ｗ（ｔ）を計算する。また、全体ノイズ分散量更新部３４は、δ２Ｌがδ２Ｔ以上の値である場合は、ステップＳ１１１に進み、同じく式（８）を用いてδ２Ｗ（ｔ）を計算する。
【００３６】
ステップＳ１０９又はＳ１１１においてδ２Ｗ（ｔ）を計算したら、次にステップＳ１１３において、全体ノイズ分散量更新部３４はｎが２１６−１よりも小さい値か否かを判定する。ｎが２１６−１よりも小さい値であると判定した場合は、ステップＳ１１５に進み、ｎに１を加算してｎの値を更新してステップＳ１１７に進む。ｎが２１６−１以上の値であればｎを現在の値から更新せずにステップＳ１１７に進む。ステップＳ１１７において、全体ノイズ分散量更新部３４は、ステップＳ１０９又はＳ１１１により得られたδ２Ｗ（ｔ）とステップＳ１１３又はＳ１１５により得られたｎをレジスタに格納する。
【００３７】
次に、ステップＳ１１９では、係数計算部３５により、ステップＳ１０３において計算されたδ２ＬがステップＳ１０９又はＳ１１１において計算されたδ２Ｗ（ｔ）よりも小さいか否かが判定される。δ２Ｌがδ２Ｗ（ｔ）よりも小さい場合はステップＳ１２１に進み、式（１０）を用いて係数ｋに１が設定される。また、δ２Ｌがδ２Ｗ（ｔ）以上の値を取る場合は、ステップＳ１２３に進んで式（１０）よりｋにδ２Ｗ（ｔ）／δ２Ｌから得られる値が設定される。ステップＳ１２１又はＳ１２３により係数ｋが決まったら、ステップＳ１２５に進み、ノイズ除去手段を構成する減算部３６，３８及び乗算部３７によって実行される一連の演算により、以下の式（１１）からｆｏｕｔを求める。
【００３８】
【数１１】
0005653098.tif 000012
【００３９】
ステップＳ１２５により得られるｆｏｕｔは、ノイズが除去された画像信号として後段の処理ブロック、本実施形態では色変換部４及び輝度変換部５に出力される。上記のステップＳ１０１からＳ１２７の一連の処理を、所定のタイミングにて撮像素子１の注目画素を切り替えて、繰り返し行うことにより、本実施形態では、撮像素子１内の局所的な領域内の画素に注目して得られるノイズ除去効果を、撮像素子１の全画素から出力される画像信号に累積的に反映させることができる。したがって、本発明では、フレーム間で画像信号を比較するための大容量のフレームメモリも、ノイズ除去装置の外部で生成されるゲイン値などの情報も必要とすることなく画像信号のノイズ除去処理を行うことができる。また、従来のノイズ除去装置ではノイズ除去処理においてメディアンフィルタを用いると、例えば内視鏡などにより体腔内の毛細血管を撮像したときに、画素値のメディアンを採用することで毛細血管の輪郭が不鮮明になり画像が劣化する可能性があった。しかし、本発明のノイズ除去装置によれば、毛細血管などの輪郭情報を失わずにノイズを良好に除去することができる。
【００４０】
以上が本発明の実施形態についての説明であるが、本発明は上記の構成に限定されるものではなく、本発明の技術的思想の範囲において種々の変形が可能である。例えば、上記の説明では、撮像素子１としてベイヤ型画素配置のＣＭＯＳ又はＣＣＤを使用しているが、ベイヤ型画素配置以外の配置を有する種々の撮像素子を使用しても、画素の配置に合わせてラインメモリに格納する容量を変更し、注目画素と周辺画素について上記の演算を施すことにより、本発明の効果を得ることができる。
【００４１】
また、注目画素を中心として注目画素と同一種類の３×３画素を処理対象としているが、図３（ａ），（ｂ）及び式（６），（７）に示すように、Ｍ×Ｎ画素を処理対象とする構成としてもよい。この場合、ラインメモリはＭ×Ｎ画素からの画像信号を格納できるだけの容量が必要となる。各画素に対する係数は、上記の説明と同様、いずれも１／（Ｍ×Ｎ）とすることも、注目画素に近い画素ほど大きい値を割り当てることもできる。
【符号の説明】
【００４２】
３    ノイズ除去部
３１    ラインメモリ
３２    ローパスフィルタ
３３    局部ノイズ分散量計算部
３４    全体ノイズ分散量更新部
３５    係数計算部
３６，３８    減算部
３７    乗算部
【図１】
0005653098.tif 000020
【図２】
0005653098.tif 000021
【図３】
0005653098.tif 000022
【図４】
0005653098.tif 000023