(57)【要約】【課題】画像の情報を失わず、高いノイズ除去効果が得られるノイズ低減装置および方法を提供する。【解決手段】画像の色を判別する色判別手段（２）と、色判別手段（２）によって判別された結果に応じてノイズの除去量を変えるノイズ除去量設定手段（３）と、設定された除去量だけノイズを除去するノイズ除去手段（４ｒ、４ｇ、４ｂ）とを具備している。【選択図】図１
2008042365.tif 000002
【特許請求の範囲】
【請求項１】
異なる複数の色信号を入力し、前記複数の色から対象とする画像の色を判別する色判別手段と、
前記複数の色信号ごとに設けられ、前記色信号からノイズを除去し、かつそのノイズ除去量を変えることができるノイズ除去手段と、
前記色判別手段によって判別された結果に応じて、前記ノイズ除去手段のノイズ除去量を定めるノイズ除去量設定手段とを具備し、
前記ノイズ除去量設定手段は、前記色判別手段によって判別された色の主成分となる色信号のノイズ除去量よりも、主成分ではない色信号のノイズ除去量を大きくすることを特徴とするノイズ低減装置。
【請求項２】
前記色判別手段は、複数の比較手段から構成されており、複数の色信号中、
ある１つの色信号が他の色信号よりも大きくかつその差が予め定めた基準値以上であるときは、その１つの色が、対象とする画像の主成分と判断し、
２つの色信号が他の色信号よりも大きくかつその差が予め定めた基準値以上であるときは、その２つの色が、対象とする画像の主成分と判断することを特徴とする請求項１に記載のノイズ低減装置。
【請求項３】
前記複数の色信号は、Ｒ、Ｇ、Ｂの信号であり、
前記ノイズ除去量設定手段は、前記色判別手段によってノイズ除去の対象とする箇所の画像の色が、
Ｒが主成分であると判別されたときには、Ｒのノイズ除去量よりも、ＢおよびＧのノイズ除去量を大きくし、
Ｇが主成分であると判別されたときには、Ｇのノイズ除去量よりも、ＲおよびＢのノイズ除去量を大きくし、
Ｂが主成分であると判別されたときには、Ｂのノイズ除去量よりも、ＲおよびＧのノイズ除去量を大きくし、
ＲおよびＧが主成分であると判別されたときには、ＲおよびＧのノイズ除去量よりも、Ｂのノイズ除去量を大きくし、
ＲおよびＢが主成分であると判別されたときには、ＲおよびＢのノイズ除去量よりも、Ｇのノイズ除去量を大きくし、
ＧおよびＢが主成分であると判別されたときには、ＧおよびＢのノイズ除去量よりも、Ｒのノイズ除去量を大きくする
ようにノイズ除去量を設定することを特徴とする請求項１に記載のノイズ低減装置。
【請求項４】
異なる複数の色信号を入力し、前記複数の色から対象とする画像の色を判別し、
複数の色信号ごとに、前記色信号からノイズを除去し、かつそのノイズ除去量を変え、
色判別された結果に応じて、ノイズ除去のノイズ除去量を定め、
色判別された色の主成分となる色信号のノイズ除去量よりも、主成分ではない色信号のノイズ除去量を大きくするようにするノイズ低減方法。
【請求項５】
前記色の主成分の判別に際し、
複数の色信号中、ある１つの色信号が他の色信号よりも大きくかつその差が予め定めた基準値以上であるときは、その１つの色が、対象とする画像の主成分と判断し、
２つの色信号が他の色信号よりも大きくかつその差が予め定めた基準値以上であるときは、その２つの色が、対象とする画像の主成分と判断する
ことを特徴とする請求項４に記載のノイズ低減方法。
【請求項６】
前記複数の色信号は、Ｒ、Ｇ、Ｂの信号であり、ノイズ除去の対象とする箇所の画像の色が、
Ｒが主成分であると判別されたときには、Ｒのノイズ除去量よりも、ＢおよびＧのノイズ除去量を大きくし、
Ｇが主成分であると判別されたときには、Ｇのノイズ除去量よりも、ＲおよびＢのノイズ除去量を大きくし、
Ｂが主成分であると判別されたときには、Ｂのノイズ除去量よりも、ＲおよびＧのノイズ除去量を大きくし、
ＲおよびＧが主成分であると判別されたときには、ＲおよびＧのノイズ除去量よりも、Ｂのノイズ除去量を大きくし、
ＲおよびＢが主成分であると判別されたときには、ＲおよびＢのノイズ除去量よりも、Ｇのノイズ除去量を大きくし、
ＧおよびＢが主成分であると判別されたときには、ＧおよびＢのノイズ除去量よりも、Ｒのノイズ除去量を大きくする
ことを特徴とする請求項４に記載のノイズ低減方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ノイズ低減装置および方法に関するものである。
【背景技術】
【０００２】
ディジタルカメラなどに用いられるＣＣＤセンサーまたはＭＯＳセンサーなどのイメージセンサーは、高画素化、高感度化の一途をたどっている。そのために、ノイズの影響が問題となってきている。
【０００３】
従来の技術ではノイズを除去する場合、元画像の情報をなるべく損なわずに、ノイズを精度よく抽出して除去を行う試みがなされており、ノイズ除去の対象となる画像の箇所が画像のエッジ部分であるかノイズであるかを判別し、エッジ部分はノイズ除去を行わないようにしていた（例えば、特許文献１）。また、対象箇所の周辺画素との相関を判別し、水平垂直方向の相関に応じてノイズ除去の量を変え、画像のエッジに影響を与えないようにしていた（例えば、特許文献２）。
【０００４】
また、画像を周波数帯域ごとに分類し、それぞれの周波数帯域に応じてノイズの除去量を変えることで効率よくノイズを除去し、ノイズ以外の帯域にはなるべく画像に影響を与えないようにしていた（例えば、特許文献３）。
【０００５】
また、赤外除去波長を変えた複数の赤外カットフィルターを切り替えて高感度化と色再現性の両立を図ろうとする従来技術も提案されている（例えば、特許文献２）。
【０００６】
【特許文献１】特開２００１−７６１３４（第３図）
【特許文献２】特開２００１−１８９９４４（段落００３６）
【特許文献３】特開２００６−５０１０９（段落００３５）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１および特許文献２に示される従来技術では、ノイズが多くなるとエッジを判別する誤差が大きくなるため、ノイズ除去の効果が十分でないか、または元画像に影響を与えてしまうという問題があった。
【０００８】
さらに、特許文献３に示される従来技術でも、ノイズはすべての周波数帯域にわたって存在している場合がほとんどであるため、十分なノイズ除去の効果が得られないという問題があった。
【課題を解決するための手段】
【０００９】
本発明は、
異なる複数の色信号を入力し、前記複数の色から対象とする画像の色を判別する色判別手段と、
前記複数の色信号ごとに設けられ、前記色信号からノイズを除去し、かつそのノイズ除去量を変えることができるノイズ除去手段と、
前記色判別手段によって判別された結果に応じて、前記ノイズ除去手段のノイズ除去量を定めるノイズ除去量設定手段とを具備し、
前記ノイズ除去量設定手段は、前記色判別手段によって判別された色の主成分となる色信号のノイズ除去量よりも、主成分ではない色信号のノイズ除去量を大きくすることを特徴とするノイズ低減装置を提供する。
【発明の効果】
【００１０】
本発明によれば、画像の情報を失わず、高いノイズ除去効果が得られるノイズ低減装置およびノイズ除去方法を提供する。
【発明を実施するための最良の形態】
【００１１】
実施の形態１．
図１はこの発明の実施の形態１によるノイズ低減装置の概略構成図である。図１において、複数の色信号が入力端子１より入力される。本実施の形態では複数の色信号をＲ信号、Ｇ信号、Ｂ信号の３種類とする。それぞれの色信号は色判別手段２に入力される。色判別手段２は、ノイズ除去を行おうとする画素位置またはその近辺画素において、信号の色の主成分は何であるかを判別する。色判別手段２の構成及びその動作は後で詳細に示す。
【００１２】
一方、Ｒ信号（Ｒ）、Ｇ信号（Ｇ）、Ｂ信号（Ｂ）はそれぞれＲノイズ除去手段４ｒ、Ｇノイズ除去手段４ｇ、Ｂノイズ除去手段４ｂに入力される。（以降、Ｒノイズ除去手段、Ｂノイズ除去手段、Ｇノイズ除去手段のことをまとめてノイズ除去手段と呼ぶこともある。）ノイズ除去手段４ｒ、４ｇ、４ｂは同じ構成であり、入力した信号からノイズを除去し、さらにそのノイズ除去量を変えることができる。また、ノイズ除去量設定手段３は色判別手段２によって判別された色に応じて（即ち判別信号Ｓｐに応じて）、ノイズ除去手段４ｒ、４ｇ、４ｂのノイズ除去量を変える。
【００１３】
色判別手段２は入力された色信号の大小を比較する手段を有しており、その比較関係から、信号の色の主成分が何であるかを判別する。例えば、信号の大小関係がＲ＞Ｇ＞Ｂである場合には、ＲとＧの差が予め定めた基準値（閾値）ｋ１以上であるとき、即ちＲがＧに閾値ｋ１を加えた値以上であるとき（Ｒ≧Ｇ＋ｋ１のとき）は、その信号の主成分はＲと判断する。
また、ＲがＧにｋ１を加えた値よりも小さく（Ｒ＜Ｇ＋ｋ１であり）、かつＧがＢにあらかじめ定めた基準値（閾値）ｋ２を加えた値以上であるとき（Ｇ≧Ｂ＋ｋ２のとき）は、その信号の主成分はＲとＧと判断する。
さらに、ＲがＧに閾値ｋ１を加えた値よりも小さく（Ｒ＜Ｇ＋ｋ１であり）、かつＧがＢに閾値ｋ２を加えた値よりも小さい（Ｇ＜Ｂ＋ｋ２である）ときは、その信号の主成分はＲ、Ｇ、Ｂのすべての色信号とする。
上記の比較手段によって、３つの色信号の主成分がある１つの色信号か、２つの色信号か、３つの色信号かを判別し、どの色信号が主成分かを判別する。なお、Ｒ＞Ｇ＞Ｂの関係は一例であり、主成分の組み合わせはＲ、Ｇ、Ｂ、ＲとＧ、ＲとＢ、ＧとＢ、ＲとＧとＢの７種類となる。
【００１４】
図２に色判別手段２の構成例を示す。まず、Ｒ、Ｇ、Ｂが第１の比較手段１１に入力される。第１の比較手段１１はＲ、Ｇ、Ｂにおいて、１番目に大きな信号Ｍ１、２番目に大きな信号Ｍ２、３番目に大きな信号Ｍ３を比較判別する。次に、１番目に大きな信号Ｍ１と２番目に大きな信号Ｍ２とを第２の比較手段１２によって比較し、その差が閾値ｋ１以上であるか否かを判別する。さらに２番目に大きな信号Ｍ２と３番目に大きな信号Ｍ３とを第３の比較手段１３によって比較し、その差が閾値ｋ２以上であるか否かを判別する。第１の比較手段１１と、第２の比較手段１２と、第３の比較手段１３の比較結果により主成分判別手段１４は、ノイズを除去する対象とする位置の色の主成分を判別し、判別結果を示す信号Ｓｐを出力する。
【００１５】
ノイズ除去量設定手段３は、色判別手段２によって判別された主成分の色の補色に対応する色のノイズを多く除去するようにＲノイズ除去手段４ｒ、Ｇノイズ除去手段４ｇ、Ｂノイズ除去手段４ｂのノイズ除去量をそれぞれ設定する。ここで、主成分がＲであるときは、その補色はＧ及びＢであり、主成分がＧであるときはその補色はＢ及びＲであり、主成分がＢであるときはその補色はＲ及びＧであり、主成分がＲ及びＧであるときはその補色はＢであり、主成分がＧ及びＢであるときはその補色はＲであり、主成分がＢ及びＲであるときはその補色はＧであると考える。
判別された主成分とノイズ除去量の関係は下記の表に示すようになる。
【００１６】
【表１】
2008042365.tif 000003
【００１７】
なお、上記の表でノイズ除去量を表す「大」、「小」は相対的な表現であり、例えば、
Ｒが主成分であると判別されたときには、Ｒのノイズ除去量よりも、ＢおよびＧのノイズ除去量を大きくし、Ｇが主成分であると判別されたときには、Ｇのノイズ除去量よりも、ＲおよびＢのノイズ除去量を大きくし、Ｂが主成分であると判別されたときには、Ｂのノイズ除去量よりも、ＲおよびＧのノイズ除去量を大きくし、ＲおよびＧが主成分であると判別されたときには、ＲおよびＧのノイズ除去量よりも、Ｂのノイズ除去量を大きくし、ＲおよびＢが主成分であると判別されたときには、ＲおよびＢのノイズ除去量よりも、Ｇのノイズ除去量を大きくし、ＧおよびＢが主成分であると判別されたときには、ＧおよびＢのノイズ除去量よりも、Ｒのノイズ除去量を大きくすることを表す。
またＲが主成分であると判別されたときのＲのノイズ除去量、Ｇが主成分であると判別されたときのＧのノイズ除去量、Ｂが主成分であると判別されたときのＢのノイズ除去量、
ＲおよびＧが主成分であると判別されたときのＲおよびＧのノイズ除去量、ＲおよびＢが主成分であると判別されたときのＲおよびＢのノイズ除去量、ＧおよびＢが主成分であると判別されたときのＧおよびＢのノイズ除去量、Ｒ，Ｇ及びＢが主成分であると判別されたときのＲ，Ｇ，およびＢのノイズ除去量は互いに略等しく、Ｒが主成分であると判別されたときのＢおよびＧのノイズ除去量、Ｇが主成分であると判別されたときのＲおよびＢのノイズ除去量、Ｂが主成分であると判別されたときのＲおよびＧのノイズ除去量、ＲおよびＧが主成分であると判別されたときのＢのノイズ除去量、ＲおよびＢが主成分であると判別されたときのＧのノイズ除去量、ＧおよびＢが主成分であると判別されたときのＲのノイズ除去量は互いに略等しいことを表す。
【００１８】
ノイズ除去手段４ｒ、４ｇ、４ｂは、入力信号からノイズを除去する手段であり、その手法は本発明では特に問わないが、例えばＬＰＦによる平均化処理であれば、ノイズ除去を対象とする画素を中心として、その周辺画素との加算平均を行う。加算平均を行う際に中心画素の重み付け比率を高くすると、ノイズの除去率は低くなり、単純平均を行う（或いは、重み付けの差を小さくする）とノイズの除去率は高くなる。また、加算平均を行う周辺画素の画素数を増やせばノイズの除去量は高くなり、減らせばノイズの除去量は低くなる。また、ノイズ除去手段４ｒ、４ｇ、４ｂとして他に非線形フィルタなどを用いる方法もあり、予め定めておいた閾値ｋ３より小さい信号はすべてノイズとみなし出力信号を０にするクリッピング処理などが簡単な非線形フィルタの例として挙げられる。この場合、クリッピング量を定める閾値ｋ３の値が小さければノイズの除去量は少なく、ｋ３の値が大きくなるほどノイズの除去量は多くなる。本発明においてノイズ除去手段４ｒ、４ｇ、４ｂにおけるノイズ除去の手段はノイズの除去量を変えることが出来る手段であればいずれの手段においても効果を得ることが出来る。
【００１９】
また、上記ノイズの除去量の大小は固定の除去量であっても良いし、主成分の大小関係に応じて連続的な変化量であっても問題はない。
【００２０】
さらにまた、色判別は入力された色信号が特定の１画素について判定すれば、ノイズ除去を対象とする画素の色の主成分を判別することとなり、例えば個々の画素ごとに判定が異なることを避けるのであれば複数の画素（例えば水平垂直合わせて４画素）のＲ、Ｇ、Ｂの平均値を判断すれば近辺画素を含めて色の判別を行ったこととなる。
【００２１】
ここで本発明の原理について説明する。ノイズとは元来得られるべき原画に対して、元信号とは異なった信号が加わることを意味し、それにより、画像の品質を損なったり、元来あるべき信号が正しく認識できなかったりする信号である。予め定まった位置、または予め定められた周波数として加わったノイズは、その信号だけを検出して除去すればよいが、イメージセンサーの暗電流から生じるショットノイズや、回路から生じるアンプノイズは画像が伝送される帯域全般に発生することがほとんどであり、周波数上ではノイズか元信号かを区別することが困難である。そのため、人間の視覚特性を利用し効率よくノイズ除去を行うことが肝要である。
【００２２】
例えば、図３（Ａ）〜（Ｃ）に示すように人間は、画像中、高い周波数領域に発生するノイズ（図３（Ａ）中の符号Ｎａで示す部分であり、図３（Ｂ）に拡大して示されている）よりも、低い周波数領域に発生するノイズ（図３（Ａ）中の符号Ｎｂで示す部分であり、図３（Ｃ）に拡大して示されている）の方が気になる。画像中高い周波数である画像のエッジなどではノイズ除去をほとんど行わず、エッジのない箇所のノイズ除去を多く行うのはこの特性を利用したものである。
【００２３】
一方、図４に示すようにノイズ自体も、高周波数のノイズ（図４（Ａ））よりも低周波数のノイズ（図４（Ｂ））のほうが視覚特性上、気になる。よって、画像を周波数帯域ごとにわけ、低周波の画像領域のノイズ除去量を大きくすると画質の品位が比較的保たれやすい。
【００２４】
しかし、これら従来の技術はすべて元信号以外の信号誤差はノイズが加算したものとみなし、除去の対象としている。一方、ハードコピーやプリンターなどでは階調の少ない画像において見た目上の階調を増やす処理として元信号を配列しなおすディザ処理などがある。ディザ処理後の画像は対象とする画素位置における信号値が元来の真値とは異なるが、この場合は画像の品位を損なうのではなく逆に画像の品位を上げる処理となっている。このように画像の真値からの誤差がすべて画質の品位を損なうノイズとは限らず、必ずしも除去すべきものではないといえる。
【００２５】
カラー画像では、ノイズはノイズ信号の信号量そのものより、むしろ色ノイズなどに表されるように、元来の色と異なる色がノイズとして現れていることが画像の品位として問題となることが多い。例えば、赤の花にノイズが生じたとき、Ｒ信号が元信号から誤差を含んで表示されているよりも、赤の花の中に緑や青の信号がちらちらと現れるほうが視覚上品位のない画像と判断される。また、赤の花の画像においては信号の変調成分などの画像としての情報は当然ながら赤色の中に多く含まれている。よって、元画像と分離しがたいノイズの場合、Ｒノイズを大きく除去しようとして元信号の情報を失うより、Ｒノイズの除去量を少なくし、Ｇノイズ、Ｂノイズの除去量を大きくすることで画像の品位の劣化を最小限に押さえ、かつ画質の品位を低下させるノイズを効率よく除去することが出来る。
【００２６】
図５は本発明によるノイズ除去の方法を示すフローチャートを示したものである。まず、Ｒ、Ｇ、Ｂ信号から信号の大小関係を判別する（Ｓｔｅｐ１）。ここでは１番大きな信号をＭ１、２番目に大きな信号をＭ２、３番目に大きな信号をＭ３とする。次に、１番目に大きな信号Ｍ１と２番目に大きな信号Ｍ２との差が閾値ｋ１以上であるかを判別し（Ｓｔｅｐ２）、大きい場合は信号の色の主成分をＡと判別する（Ｓｔｅｐ３）。次に、１番目に大きな信号Ｍ１と２番目に大きな信号Ｍ２との差がｋ１より小さい場合は、２番目に大きな信号Ｍ２と３番目に大きな信号Ｍ３との差が閾値ｋ２以上であるかを判別し（Ｓｔｅｐ４）、大きい場合は信号の色の主成分をＡとＢと判別する（Ｓｔｅｐ５）。次に、２番目に大きな信号Ｍ２と３番目に大きな信号Ｍ３との差がｋ２より小さい場合は、信号の色の主成分をＭ１とＭ２とＭ３と判別する（Ｓｔｅｐ６）。上記判別された色の主成分に応じてＲノイズ除去量、Ｇノイズ除去量、Ｂノイズ除去量を定める（Ｓｔｅｐ７）。次に、定められたそれぞれのノイズ除去量に応じて各色信号のノイズを除去する（Ｓｔｅｐ８）。
【００２７】
本実施の形態では複数の色信号をＲ、Ｇ、Ｂ信号の３種類の色信号として述べたが、カメラでは他にＹｅ（イエロー）、Ｍｇ（マジェンタ）、Ｃｙ（シアン）、Ｇ（グリーン）の４種類の場合もある。この場合も同様に上記４種類の大小関係から色判別手段によって主成分の色の判別を行い、それぞれの色信号におけるノイズの除去量を定めれば同様の効果が得られることはいうまでもない。また、印刷系の機器ではＹｅ（イエロー）、Ｍｇ（マジェンタ）、Ｃｙ（シアン）、Ｋ（ブラック）が信号処理における色信号として用いられるが、同様に色判別を行い、色信号に応じたノイズ除去量を設けることで同様の効果が得られる。
【図面の簡単な説明】
【００２８】
【図１】ノイズ低減装置の構成図である。
【図２】色判別手段の構成図である。
【図３】（Ａ）〜（Ｃ）は、ノイズに対する人間の視覚特性を説明する図である。
【図４】（Ａ）及び（Ｂ）は、ノイズに対する人間の視覚特性を説明する図である。
【図５】ノイズ除去の方法を説明する図である。
【符号の説明】
【００２９】
１  入力端子、  ２  色判別手段、  ３  ノイズ除去量設定手段、  ４ｒ  Ｒノイズ除去手段、  ４ｇ  Ｇノイズ除去手段、  ４ｂ  Ｂノイズ除去手段。
【図１】
2008042365.tif 000004
【図２】
2008042365.tif 000005
【図３】
2008042365.tif 000006
【図４】
2008042365.tif 000007
【図５】
2008042365.tif 000008