(57)【要約】【課題】メディアンフィルタを使用したインパルス成分の検出及び除去が、画質劣化なく良好に行えるようにする。【解決手段】映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、その集合を構成する各画素を、輝度値順に配列する並び換えを行い、並び換えられた順序が中央になる画素の輝度値を判断し、輝度値順に配列する並び換えが行われた画素の、中央になる画素以外の所定順序の画素を比較画素に設定し、注目画素の輝度値と、比較画素の輝度値との比較で、所定の関係になる場合に、注目する画素がインパルス成分であると検出するようした。また、インパルス成分であると検出すると、注目する画素の輝度値を、中央になる画素の輝度値に置換えて出力するようにした。【選択図】図４
2007266956.tif 000002
【特許請求の範囲】
【請求項１】
撮像部で撮像して得た映像信号のノイズ低減処理を行うノイズ低減回路を備えた撮像装置において、
前記ノイズ低減回路として、
前記映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、その集合を構成する各画素を、輝度値順に配列する並び換えを行い、並び換えられた順序が中央になる画素の輝度値を判断し、
前記輝度値順に配列する並び換えが行われた画素の、前記中央になる画素以外の所定順序の画素を比較画素に設定し、
前記注目する画素の輝度値と、前記比較画素の輝度値との比較で、インパルス成分の検出に相当する所定の関係になる場合に、前記注目する画素の輝度値を、前記中央になる画素の輝度値に置換えて出力し、前記所定の関係でない場合に、前記注目する画素の輝度値をそのまま出力するフィルタを備えたことを特徴とする
撮像装置。
【請求項２】
請求項１記載の撮像装置において、
さらに、前記注目画素の輝度値と前記比較画素の輝度値との差分を検出し、前記比較画素の輝度値と前記中央になる画素の輝度値との差分を検出し、
検出されたそれぞれの差分の大小を判断して、前記注目する画素の輝度値をそのまま出力する場合と、前記中央になる画素の輝度値に置換えて出力する場合とを選択することを特徴とする
撮像装置。
【請求項３】
請求項１記載の撮像装置において、
前記フィルタが出力する輝度値と、前記注目画素の元の輝度値の差分を閾値と比較し、差分が設定された閾値以上の場合には、前記元の輝度値を選択し、前記閾値未満の場合には、前記フィルタが出力する輝度値を選択することを特徴とする
撮像装置。
【請求項４】
請求項３記載の撮像装置において、
前記閾値を元の輝度値に応じて可変設定したことを特徴とする
撮像装置。
【請求項５】
映像信号に含まれるインパルス成分を検出するインパルス成分検出回路において、
前記映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、その集合を構成する各画素を、輝度値順に配列する並び換えを行い、並び換えられた順序が中央になる画素の輝度値を判断し、
前記輝度値順に配列する並び換えが行われた画素の、前記中央になる画素以外の所定順序の画素を比較画素に設定し、
前記注目する画素の輝度値と、前記比較画素の輝度値との比較で、インパルス成分の検出に相当する所定の関係になる場合に、前記注目する画素がインパルス成分であると検出することを特徴とする
インパルス成分検出回路。
【請求項６】
請求項５記載のインパルス成分検出回路において、
さらに、前記注目画素の輝度値と前記比較画素の輝度値との差分を検出し、前記比較画素の輝度値と前記中央になる画素の輝度値との差分を検出し、
検出されたそれぞれの差分の大小を判断して、前記注目する画素がインパルス成分であることを検出することを特徴とする
インパルス成分検出回路。
【請求項７】
映像信号に含まれるインパルス成分を除去するインパルス成分除去回路において、
前記映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、その集合を構成する各画素を、輝度値順に配列する並び換えを行い、並び換えられた順序が中央になる画素の輝度値を判断し、
前記輝度値順に配列する並び換えが行われた画素の、前記中央になる画素以外の所定順序の画素を比較画素に設定し、
前記注目する画素の輝度値と、前記比較画素の輝度値との比較で、インパルス成分の検出に相当する所定の関係になる場合に、前記注目する画素の輝度値を、前記中央になる画素の輝度値に置換えて出力し、前記所定の関係でない場合に、前記注目する画素の輝度値をそのまま出力するフィルタを備えたことを特徴とする
インパルス成分除去回路。
【請求項８】
請求項７記載のインパルス成分除去回路において、
さらに、前記注目画素の輝度値と前記比較画素の輝度値との差分を検出し、前記比較画素の輝度値と前記中央になる画素の輝度値との差分を検出し、
検出されたそれぞれの差分の大小を判断して、前記注目する画素の輝度値をそのまま出力する場合と、前記中央になる画素の輝度値に置換えて出力する場合とを選択することを特徴とする
インパルス成分除去回路。
【請求項９】
請求項７記載のインパルス成分除去回路において、
前記フィルタが出力する輝度値と、前記注目画素の元の輝度値の差分を閾値と比較し、差分が設定された閾値以上の場合には、前記元の輝度値を選択し、前記閾値未満の場合には、前記フィルタが出力する輝度値を選択することを特徴とする
インパルス成分除去回路。
【請求項１０】
請求項９記載のインパルス成分除去回路において、
前記閾値を元の輝度値に応じて可変設定したことを特徴とする
インパルス成分除去回路。
【請求項１１】
映像信号に含まれるインパルス成分を検出するインパルス成分検出方法において、
前記映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、その集合を構成する各画素を、輝度値順に配列する並び換えを行い、並び換えられた順序が中央になる画素の輝度値を判断し、
前記輝度値順に配列する並び換えが行われた画素の、前記中央になる画素以外の所定順序の画素を比較画素に設定し、
前記注目する画素の輝度値と、前記比較画素の輝度値との比較で、インパルス成分の検出に相当する所定の関係になる場合に、前記注目する画素がインパルス成分であると検出することを特徴とする
インパルス成分検出方法。
【請求項１２】
映像信号に含まれるインパルス成分を除去するインパルス成分除去方法において、
前記映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、その集合を構成する各画素を、輝度値順に配列する並び換えを行い、並び換えられた順序が中央になる画素の輝度値を判断し、
前記輝度値順に配列する並び換えが行われた画素の、前記中央になる画素以外の所定順序の画素を比較画素に設定し、
前記注目する画素の輝度値と、前記比較画素の輝度値との比較で、インパルス成分の検出に相当する所定の関係になる場合に、前記注目する画素の輝度値を、前記中央になる画素の輝度値に置換えて出力し、前記所定の関係でない場合に、前記注目する画素の輝度値をそのまま出力することを特徴とする
インパルス成分除去方法。
【請求項１３】
映像信号に含まれるインパルス成分を検出する処理を実行するコンピュータプログラムにおいて、
前記映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、その集合を構成する各画素を、輝度値順に配列する並び換えを行い、並び換えられた順序が中央になる画素の輝度値を判断し、
前記輝度値順に配列する並び換えが行われた画素の、前記中央になる画素以外の所定順序の画素を比較画素に設定し、
前記注目する画素の輝度値と、前記比較画素の輝度値との比較で、インパルス成分の検出に相当する所定の関係になる場合に、前記注目する画素がインパルス成分であると検出することを特徴とする
コンピュータプログラム。
【請求項１４】
映像信号に含まれるインパルス成分を除去する処理を実行するコンピュータプログラムにおいて、
前記映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、その集合を構成する各画素を、輝度値順に配列する並び換えを行い、並び換えられた順序が中央になる画素の輝度値を判断し、
前記輝度値順に配列する並び換えが行われた画素の、前記中央になる画素以外の所定順序の画素を比較画素に設定し、
前記注目する画素の輝度値と、前記比較画素の輝度値との比較で、インパルス成分の検出に相当する所定の関係になる場合に、前記注目する画素の輝度値を、前記中央になる画素の輝度値に置換えて出力し、前記所定の関係でない場合に、前記注目する画素の輝度値をそのまま出力することを特徴とする
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、インパルス成分検出回路、インパルス成分除去回路、インパルス成分検出方法、インパルス成分除去方法及びコンピュータプログラムに関し、特にメディアンフィルタを備えたものに適用される技術に関する。
【背景技術】
【０００２】
近年、半導体プロセスの微細化が進み、撮像装置が備えるイメージセンサにおいても画素サイズの縮小などが顕著になっている。このため、これまで支配的であった画素で引き起こされるノイズ(即ち画素ごとの回路ばらつきなどで生じるノイズ)に代わり、光の物理的な揺らぎによって観測される光ショットノイズがセンサ起因のノイズとして支配的になりつつある。光ショットノイズは主としてインパルス特性を示し、これらを効果的に除去する技術が必要となっている。
【０００３】
インパルス成分などを効果的に除去するノイズ低減手段としては、メディアンフィルタが知られている。メディアンフィルタは、ある注目画素に対して、その注目画素と周囲の所定数の画素を取出し、取出された画素を輝度値順に並び替え、その輝度値順にソートされた画素の中央に位置する画素の輝度値を、注目画素の輝度値に置換えるようにするものである。
【０００４】
図７は、メディアンフィルタの動作例を示した図である。図７（ａ）に示すように、ノイズ低減処理を行う画素である注目画素Ｐ０を設定すると、その注目画素Ｐ０に隣接する周囲の８つの画素Ｐ１〜Ｐ８と、注目画素Ｐ０の９個の画素を取出す。各画素に示された値は、それぞれの画素の輝度値である。このように９個の画素を取出すと、図７（ｂ）に示すように、その取出された９個の画素を、輝度値順に並び替える。そして、その輝度値順に配列された中から、中央の位置の画素Ｐ９の輝度値を取出し、図７（ｃ）に示すように、その中央の位置の画素Ｐ９の輝度値を、注目画素Ｐ０のフィルタ処理された出力値Ｐoutとする。
【０００５】
特許文献１には、撮像して得た映像信号に含まれるノイズを低減するために、メディアンフィルタを使用する構成についての記載がある。
【特許文献１】特開２００３−２４２５０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したメディアンフィルタを使用することで、インパルス成分などを効果的に除去することができるが、メディアンフィルタはインパルス成分と同時に高周波成分の特性も変化させる可能性がある。特に、画像の輪郭部であるエッジ部分ではエッジシフトと呼ばれる現象が起こり、エッジの滑らかさが失われるなどの大きな問題を引き起こす恐れがあった。
【０００７】
図８は、エッジシフトの発生例を示した図である。図８（ａ）はメディアンフィルタへの入力画素値であり、図８（ｂ）はメディアンフィルタの出力画素値である。図７に示したようなフィルタ処理を行うことで、例えば、輝度が大きく変化するエッジ部分の画素である、中央の画素Ｐａの輝度値は、出力Ｐａ′の輝度値が大きく変化している。同じく、その左下の画素Ｐｂの輝度値についても、出力Ｐｂ′の輝度値が大きく変化している。この図８に示すようなエッジ部分での大きな輝度変化があると、画像のエッジ部分の滑らかさが失われるなどの画質劣化につながる。そのため、映像信号に直接メディアンフィルタをかけることは画質的に問題があった。
【０００８】
本発明は斯かる点に鑑みてなされたものであり、メディアンフィルタを使用したインパルス成分の検出及び除去が、画質劣化なく良好に行えるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明は、映像信号を構成するそれぞれの画素について、注目する画素とその注目する画素の周囲の画素で構成される所定数の画素の集合を得、その集合を構成する各画素を、輝度値順に配列する並び換えを行い、並び換えられた順序が中央になる画素の輝度値を判断し、輝度値順に配列する並び換えが行われた画素の、中央になる画素以外の所定順序の画素を比較画素に設定し、注目する画素の輝度値と、比較画素の輝度値との比較で、インパルス成分の検出に相当する所定の関係になる場合に、注目する画素がインパルス成分であると検出するようしたものである。
【００１０】
また、そのようにしてインパルス成分であると検出すると、注目する画素の輝度値を、中央になる画素の輝度値に置換えて出力し、所定の関係でない場合に、注目する画素の輝度値をそのまま出力するようにしたものである。
【００１１】
このようにしたことで、注目画素の輝度値と、中央になる画素の輝度値と、注目画素と中央になる画素以外から選んだ比較画素の輝度値との３つを使用して、正確なインパルス成分の検出が可能になる。
【発明の効果】
【００１２】
本発明によれば、注目画素の輝度値と、中央になる画素の輝度値と、比較画素の輝度値との３つを使用して、インパルス成分の正確な検出が可能になる。そして、正確なインパルス成分の検出が可能になることで、インパルス成分の有無に対応した的確なインパルス成分の除去処理が行え、エッジシフトの発生を抑えた良好なインパルス成分の除去処理が行える。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の第１の実施の形態について、図１〜図４を参照しながら説明する。
【００１４】
図１は、本実施の形態における撮像装置を適用したビデオカメラの基本的な構成例のブロック図を示す。図１に示すビデオカメラにおいて、ＣＣＤ(Charge Coupled Device)等を用いた撮像素子により構成される３個のイメージセンサ１，２，３の前面には、図示せぬレンズで捕らえた光学像を赤色（Ｒ），緑色（Ｇ），青色（Ｂ）の３つの原色画像に分解するフィルタが装着されている。被写体の光学像は図示せぬレンズ等の光学系を介して、イメージセンサ１，２，３の受光部に入射され、赤色、緑色、青色の各色ごとに光電変換される。本例では、赤色用、緑色用及び青色用の３個のイメージセンサを備えているが、４色分のイメージセンサを備えていてもよく、この例に限るものではない。
【００１５】
イメージセンサ１，２，３は、被写体像から光電変換により映像信号を構成する各原色信号を各々生成し、それら３色の原色信号（Ｒ信号，Ｇ信号，Ｂ信号）をそれぞれビデオアンプ４，５，６に供給する。なお、上記映像信号は、動画及び静止画のいずれも適用可能である。
【００１６】
ビデオアンプ４，５，６は利得調整手段であり、一例としてＡＧＣ（Automatic Gain Control）回路などを適用することができる。ビデオアンプ４，５，６は、原色信号のゲインを調整し、そのゲインが調整された原色信号をそれぞれＡ／Ｄ変換器７，８，９に供給する。Ａ／Ｄ変換器７，８，９は、入力されたアナログ信号をデジタル信号に変換し、映像信号処理部１６に供給する。
【００１７】
本例では、映像信号処理部１６を、補正回路１０、ゲイン調整回路１１、ノイズ低減回路１２、輝度調整回路１３、ガンマ補正回路１４、出力信号生成回路１５から構成している。まず、上記ビデオアンプ４，５，６、Ａ／Ｄ変換器７，８，９によって適切なレベルに調節され、量子化されたＲ，Ｇ，Ｂの原色信号は、映像信号処理部１６の補正回路１０に入力される。
【００１８】
補正回路１０は、入力された３色の原色信号に対して補間処理、それに伴うフィルタ処理、シェーディング処理などの信号処理を行い、ゲイン調整回路１１に供給する。
【００１９】
ゲイン調整回路１１は、補正回路１０から入力される３色の原色信号のゲインを適切なレベルに調整して、ノイズ低減回路１２に供給する。
【００２０】
ノイズ低減回路１２は、ゲイン調整回路１１から入力される３色の原色信号に含まれるノイズを低減し、そのノイズ低減された出力信号を、輝度調整回路１３に供給する。本例のノイズ低減回路１２は、各色の原色信号ごとに個別のメディアンフィルタを使用してある。その詳細説明については後述する。
【００２１】
輝度調整回路１３は、映像信号を規定の範囲内に収めるために、ノイズ低減回路１２より入力される各原色信号から輝度信号を抽出し、その輝度信号の高輝度域の振幅特性を抑えることによりイメージセンサ出力のダイナミックレンジを圧縮し、ガンマ補正回路１４へ供給する。
【００２２】
ガンマ補正回路１４は、輝度調整回路１３から入力される３色の原色信号の各々について、ＣＲＴ（Cathode Ray Tube）や液晶表示パネルなどのモニタ（受像機）のガンマ特性に合わせて補正を行い、ガンマ補正した各原色信号を出力信号生成回路１５に供給する。
【００２３】
出力信号生成回路１５は、ガンマ補正回路１４から入力される３色の原色信号を最終的な映像信号出力形式に変換し、外部へ出力する。一例として、出力信号生成回路１５は、ＮＴＳＣ（National Television System Committee）又はＰＡＬ（Phase Alternating Line）等の信号規格に沿うように、３色の原色信号を色差信号に変換し、図示せぬサブキャリア信号を用いて変調するエンコーダ回路としての機能を有する。さらに、出力すべき映像信号がアナログ信号である場合には、上記エンコーダ回路が出力した量子化された色差信号をアナログ信号に変換するＤ／Ａ変換器を備えた構成とする。
【００２４】
マイクロコンピュータ１７は、制御部の一例であり、映像信号処理部１６を構成する各回路を制御する。また、図示せぬレンズ等の光学系、ビデオアンプ４，５，６等の各部の動作を制御する。操作部１８は、ビデオカメラに配設されたボタンキーや当該ビデオカメラに搭載されたモニタの画面に表示されるアイコンに割り当てられたソフトキー等からなり、操作に応じた操作信号が図示せぬインターフェースを介してマイクロコンピュータ１７に入力される。マイクロコンピュータ１７は、利用者が操作部１８を操作して入力した操作信号、もしくは予め規定された設定等に基づいて、内蔵のＲＯＭ（Read Only Memory）等の不揮発性記憶部に記録されているコンピュータプログラムに従い、所定の演算及び各回路に対する制御を行う。
【００２５】
さらに、マイクロコンピュータ１７には、必要に応じて、図示せぬドライブ回路が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてマイクロコンピュータ１７に内蔵されるＲＡＭ等にインストールされるようにしてもよい。
【００２６】
上述のように構成されるビデオカメラにおいて、被写体像がイメージセンサ１，２，３で光電変換されて赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の原色信号が生成され、次いで、ビデオアンプ４，５，６とＡ／Ｄ変換器７，８，９によって適切なレベルのアナログ信号に調節され、量子化されてデジタル信号に変換される。量子化された各原色信号は補正回路１０、ゲイン調整回路１１によって適切な補正及びゲイン調整処理がなされた後、ノイズ低減回路１２に入力される。ノイズ低減回路１２に入力された各原色信号は、予め指定された演算処理で、主としてインパルス成分の検出及び除去を行ってノイズ低減を行い、ノイズ低減された信号が輝度調整回路１３に入力される。そして、輝度調整回路１３で適切な輝度圧縮処理がなされた後、ガンマ補正回路１４に入力され、ガンマ補正された各原色信号が出力信号生成回路１５によって最終的な映像信号出力形式に変換されて出力される。
【００２７】
次に、図１のノイズ低減回路１２の構成を、図２に示す。ノイズ低減回路１２への各原色の入力信号は、それぞれ別のメディアンフィルタ２１，２２，２３でメディアンフィルタ処理される。メディアンフィルタとは、既に背景技術の欄で説明したように、入力信号を並び替え、その中間に位置する値を新たなデータとして出力するものであり、ここでは、３×３画素の合計９画素のメディアンフィルタ処理を行う。本例のメディアンフィルタ２１，２２，２３は、インパルス検出型メディアンフィルタとしてある。
【００２８】
図３は、本例のインパルス検出型メディアンフィルタ２１，２２，２３の動作原理を示したものである。各メディアンフィルタ２１，２２，２３に入力した９画素の輝度値は、輝度値順に並び替えられる。そして、本来の中央に存在する画素を、注目画素Ｐ１１とし、中央の位置に並び替えられた画素を、メディアン値の画素Ｐ１３とし、メディアン値の画素Ｐ１３から見て、並び替えられた注目画素Ｐ１１が位置する側（小さい側又は大きい側）の所定配列位置（ここでは端から２番目）の画素の輝度値を、比較画素Ｐ１２とする。
【００２９】
そして、注目画素Ｐ１１の輝度値と、比較画素Ｐ１２の輝度値とを比較し、さらに、注目画素Ｐ１１の輝度値と比較画素Ｐ１２の輝度値との差分（距離）と、比較画素Ｐ１２の輝度値とメディアン値の画素Ｐ１３の輝度値との差分（距離）を比較して、メディアン値がインパルス成分であるか否か判定するようにしてある。
即ち、注目画素Ｐ１１の並び替え後の位置(順番)と、比較画素Ｐ１２との距離と、メディアン値Ｐ１３との距離を使用して、インパルス成分を検出するようにしてある。
【００３０】
次に、本例のインパルス検出型メディアンフィルタ２１，２２，２３での処理例を、図４のフローチャートを参照して説明する。まず、注目画素の輝度値とメディアン値との大小を比較する（ステップＳ１１）。ここで、注目画素の輝度値がメディアン値より小さいか否か判断する（ステップＳ１２）。ここで、小さい場合には、注目画素と、値が小さい方の比較値との大小を比較する（ステップＳ１３）。この比較で、注目画素が比較画素より小さいか否か判断し（ステップＳ１４）、小さい場合には、比較画素の画素値と注目画素の画素値との差分（距離）と、比較画素の画素値とメディアン値としての画素値との差分（距離）とを計算し（ステップＳ１５）、比較画素の画素値と注目画素の画素値との差分の方が大きいか否か判断する（ステップＳ１６）。
【００３１】
この判断で、比較画素の画素値と注目画素の画素値との差分の方が大きいと判断した場合には、注目画素の輝度値を、メディアン値に置換え（ステップＳ１７）、その置換えられた輝度値を注目画素の輝度値として出力させる（ステップＳ１９）。このようにステップＳ１６で、比較画素の画素値と注目画素の画素値との差分の方が大きいと判断した状態が、インパルス成分を検出した状態に相当し、そのインパルス成分を検出した状態の場合に、ステップＳ１７でメディアン値への置換えが行われる。
【００３２】
そして、ステップＳ１４で、注目画素が比較画素より小さくない場合と、ステップＳ１６で、比較画素の画素値と注目画素の画素値との差分の方が大きくない場合には、インパルス成分でないと判断して、注目画素の画素値をそのままとして（ステップＳ１８）、ステップＳ１９でそのままの画素値を出力させる。
【００３３】
また、ステップＳ１２で、注目画素の輝度値がメディアン値より小さくないと判断した場合には、注目画素と、値が大きい方の比較値との大小を比較する（ステップＳ２１）。この比較で、注目画素が比較画素より大きいか否か判断し（ステップＳ２２）、大きい場合には、比較画素の画素値と注目画素の画素値との差分（距離）と、比較画素の画素値とメディアン値としての画素値との差分（距離）とを計算し（ステップＳ２３）、比較画素の画素値と注目画素の画素値との差分の方が大きいか否か判断する（ステップＳ２４）。
【００３４】
この判断で、比較画素の画素値と注目画素の画素値との差分の方が大きいと判断した場合には、注目画素の輝度値を、メディアン値に置換え（ステップＳ２５）、その置換えられた輝度値を注目画素の輝度値として出力させる（ステップＳ１９）。このようにステップＳ２４で、比較画素の画素値と注目画素の画素値との差分の方が大きいと判断した状態が、インパルス成分を検出した状態に相当し、そのインパルス成分を検出した状態の場合に、ステップＳ２５でメディアン値への置換えが行われる。
【００３５】
そして、ステップＳ２２で、注目画素が比較画素より大きくない場合と、ステップＳ２４で、比較画素の画素値と注目画素の画素値との差分の方が大きくない場合には、インパルス成分でないと判断して、注目画素の画素値をそのままとして（ステップＳ２６）、ステップＳ１９でそのままの画素値を出力させる。
【００３６】
このように、注目画素がインパルスであるかどうかを判別するために、注目画素の並び替え後の位置(順番)と、比較対象画素との距離(差分)と、メディアン値との距離(差分)とを用いて判別することで、正確なインパルス成分の判別ができる。通常、注目画素がインパルス成分であった場合、これと同じかそれ以上に大きなインパルス成分が９画素内に存在することは稀である。逆に、似たような画素が存在する場合、それがノイズであるのか絵柄であるのかを判別することは非常に難しい。そこで、インパルス成分であるという判別基準に、注目画素が最小或いは最大であることという観点で制限を加えるようにしてある。但し、これだけでは比較的似たような画素が多い平坦な部分や細い直線などでは置き換えが起こってしまう可能性がある。そこで、本例においては、図４のフローチャートに示したように、更に、比較対象画素と注目画素との差分値が、比較対象画素とメディアン値との差分よりも大きいかどうかを判断するようにしてある。これにより、比較的平坦な部分に存在するインパルス成分についても検出することが可能となる。
【００３７】
なお、もしも３×３の９画素内で２つまでのインパルス成分を除去したい、といった場合には注目画素に対する制約を、最小値とその隣接画素或いは最大値とその隣接画素までに緩めることで対応可能である。また、比較対象画素を、図３の例よりも更にメディアン値に近い画素から選択することでも同様に条件がゆるくなる。更に、ノイズによる影響を極力排除する、という目的では比較対象画素を数画素の平均などから求める、といった手法を適用することも考えられる。
【００３８】
次に、本発明の第２の実施の形態について、図５及び図６を参照しながら説明する。本実施の形態においても、第１の実施の形態と同様にビデオカメラに適用したものであり、ビデオカメラの全体構成については既に説明した図１と同様に構成する。そして、本実施の形態においては、図１のノイズ低減回路１２を、図５に示すように構成し、その他の部分は図１の構成と同様に構成する。
【００３９】
本例のノイズ低減回路は、メディアンフィルタに閾値処理を組み合わせ、あるレベル以下のインパルス成分のみをインパルス検出型メディアンフィルタで除去し、それ以外については原信号を採用する構成としたものである。図５は、本例のノイズ低減回路の構成を示したものである。図５の構成について説明すると、各原色信号を、インパルス検出回路３０と、閾値処理回路４０とに供給する。インパルス検出回路３０は、各色の原色信号ごとに個別のメディアンフィルタ３１，３２，３３を備える。ここでのメディアンフィルタ３１，３１，３３は、第１の実施の形態で説明した、インパルス検出型のメディアンフィルタであり、インパルス成分を検出した場合にメディアン値を出力し、インパルス成分を検出しない場合には、入力値をそのまま出力する。
【００４０】
メディアンフィルタ３１，３２，３３の出力は、閾値処理回路４０に供給する。閾値処理回路４０は、入力画素データと、各原色ごとのメディアンフィルタ３１，３２，３３の出力とを選択する処理を行う。閾値処理回路４０での選択については、閾値設定回路４４で設定された閾値を利用して、各原色ごとに個別に比較・選択回路４１，４２，４３で原信号と比較して、差分が閾値以上か否かでいずれかを選択して、出力するようにしてある。ここで、比較・選択回路４１，４２，４３では、インパルス検出型メディアンフィルタ３１，３２，３３で生成された信号と原信号との差分を比較し、差分が設定された閾値以上の場合は原信号を、閾値以下の場合はメディアンフィルタ結果を出力する。その際、単純な切り替えでは逆にノイズを発生することも考えられるので、それぞれの間を差分の大きさで滑らかに切り替える、いわゆるαブレンド処理を行うようにしてもよい。
【００４１】
ここで、αブレンド処理を行う場合の具体的な処理例を示すと、例えば次の数１式による条件が適用可能である。数１式において、Ｄinは入力信号を示し、Ｄoutは出力信号を示し、閾値をＴhとしてあり、この例では閾値として、画素値（輝度値）３２を設定した例としてある。
【００４２】
〔数１〕
（Ｄin−Ｄout）＞Ｔh
（（Ｄin−Ｄout）−Ｔh）×Ｄin＋（３２−（（Ｄin−Ｄout）−Ｔh））×Ｄout
３２＞Ｄin
【００４３】
このように処理することで、メディアンフィルタと閾値処理を組み合わせて、良好な処理が可能になる。
【００４４】
ところでイメージセンサの画素サイズは益々小さくなっているが、この際に、光の揺らぎによって生じる光ショットノイズというものがノイズ成分の大部分を占めるようになってきている。これは入射する光の量に応じて増加するもので、明るいところほど目立つ。そこで、このようなノイズにも対応できるように、閾値処理を入力信号に応じて変化させるようにしてもよい。これにより、暗部での再現性を損なうことなく、明部での光ショットノイズを効果的に除去することが可能となる。このときの閾値処理例として以下のようなものをあげる。
【００４５】
【数２】
2007266956.tif 000003
【００４６】
数２式において、Ｔhは閾値、Ｔmaxは閾値の最大値、Ｓcpuは閾値変化量の傾き、Ｔcpuは入力が０のときの閾値、Dataが入力データである。この閾値可変処理を示したのが、図６のグラフである。光ショットノイズ特性aに対して閾値変化特性ｂが近似されていることがわかる。これ以外にも、光ショットノイズを模した曲線で近似するなどの方法も適用可能である。
【００４７】
以上説明したように、本発明の第１及び第２の実施の形態によると、インパルス成分のみを正確に検出することが可能になり、その検出に基づいた良好なノイズ除去ができる。また、第２の実施の形態で説明したように、閾値処理を組み合わせることで、コントラストのある絵柄などに含まれるインパルス成分には影響を与えずに検出することが可能になり、より良好なノイズ除去が可能になる。さらに、閾値を入力信号に応じて変化させることで、光ショットノイズなどのレベル依存なインパルス性ノイズに対応することも可能になる。
【００４８】
なお、ここまで説明したノイズ除去回路１２での処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するコンピュータプログラムを、マイクロコンピュータ１７に内蔵のＲＯＭ等の記憶部に格納する。
【００４９】
上述した実施の形態例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（演算処理装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００５０】
この場合のプログラムコードを供給するための記録媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００５１】
また、上述した実施の形態において、本発明による撮像装置をビデオカメラに適用した例を説明したが、これに限らず、例えば、デジタルスチルカメラ、カラーイメージスキャナ、又はそれらと同等の機能を有するその他の装置等であってもよく、様々な装置に広く適用可能である。
【００５２】
さらに、上述した実施の形態では、撮像装置に組み込まれたノイズ低減回路に、本発明で特徴となる、インパルス検出型メディアンフィルタを組み込む構成としたが、上述したインパルス検出型メディアンフィルタで構成されるインパルス成分検出回路や、そのインパルス成分検出回路での検出に基づいてノイズ低減（除去）を行う回路を、その他の映像信号処理を行う機器に組み込むようにしてもよい。
【図面の簡単な説明】
【００５３】
【図１】本発明の第１の実施の形態に係るビデオカメラの構成例を示すブロック図である。
【図２】図１に示したビデオカメラのノイズ低減回路の例を示す構成図である。
【図３】本発明の第１の実施の形態に係るメディアンフィルタでのインパルス成分検出処理状態を示す説明図である。
【図４】本発明の第１の実施の形態によるインパルス成分の検出処理例を示すフローチャートである。
【図５】本発明の第２の実施の形態に係るノイズ低減回路の例を示す構成図である。
【図６】図５例での閾値変化例と光ショットノイズとの関係を示した特性図である。
【図７】従来のメディアンフィルタの処理例を示す説明図である。
【図８】従来のメディアンフィルタによるエッジシフト例を示す説明図である。
【符号の説明】
【００５４】
１，２，３…イメージセンサ、１２…ノイズ低減回路、１３…輝度調整回路、１４…ガンマ補正回路、１７…マイクロコンピュータ、１８…操作部、２１，２２，２３…インパルス検出型メディアンフィルタ、３０…インパルス検出回路、３１，３２，３３…インパルス検出型メディアンフィルタ、４０…閾値処理回路、４１，４２，４３…比較・選択回路、４４…閾値設定回路
【図１】
2007266956.tif 000004
【図２】
2007266956.tif 000005
【図３】
2007266956.tif 000006
【図４】
2007266956.tif 000007
【図５】
2007266956.tif 000008
【図６】
2007266956.tif 000009
【図７】
2007266956.tif 000010
【図８】
2007266956.tif 000011