(57)【要約】【課題】ノイズの度合いを定量化し、自動的にノイズの目立ちやすさを判定すること。【解決手段】画像の明度成分の変動を検出する第１の色変動検出手段３と、画像の色差成分の変動を検出する第２の色変動検出手段４と、前記第１の色変動検出手段３で検出した色変動と前記第２の色変動検出手段４で検出した色変動を用いてノイズの度合いを判定するノイズ度合い判定手段５を設ける。ノイズ度合い判定手段５は、第１の色変動検出手段３で検出した明度成分の変動が小さいかつ、第２の色変動検出手段４で検出した色差成分の変動が大きいほどノイズの度合いが大きいと判定する。また、明度成分と色差成分ではそれぞれ異なるフィルタを用いて色変動を検出したり、色変動補正手段を設け色変動検出結果を補正するようにしてもよい。【選択図】          図１
2004259231.tif 000002
【特許請求の範囲】
【請求項１】
画像の明度成分の変動を検出するとともに、画像の色差成分の変動を検出し、
画像の明度成分の変動が小さく、かつ、画像の色差成分の変動が大きいほどノイズ度合いが大きいと判定する
ことを特徴とする画像ノイズ検出方法。
【請求項２】
画像の明度成分の変動を検出する第１の色変動検出手段と、
画像の色差成分の変動を検出する第２の色変動検出手段と、
前記第１の色変動検出手段で検出した色変動と前記第２の色変動検出手段で検出した色変動を用いてノイズの度合いを判定するノイズ度合い判定手段を備え、
上記ノイズ度合い判定手段は、第１の色変動検出手段で検出した色変動が小さいかつ、第２の色変動検出手段で検出した色変動が大きいほどノイズ度合いが大きいと判定する
ことを特徴とする画像ノイズ検出装置。
【請求項３】
上記第１の色変動検出手段と、第２の色変動検出手段に、それぞれ異なるフィルタを使う
ことを特徴とする請求項２の画像ノイズ検出装置。
【請求項４】
第２の色変動検出手段が、色変動および／または色変動の計算対象画素の色に応じて色変動計算結果を補正する色変動補正手段を有する
ことを特徴とする請求項２または請求項３の画像ノイズ検出装置。
【請求項５】
画像ノイズを検出するプログラムであって、
上記プログラムは、画像の明度成分の変動を検出する処理と、画像の色差成分の変動を検出する処理と、
画像の明度成分の変動が小さく、かつ、画像の色差成分の変動が大きいほどノイズ度合いが大きいと判定する処理をコンピュータに実行させる
ことを特徴とする画像ノイズ検出プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像のノイズを検出する方法および装置に関し、例えば、デジカメで撮影された、暗い画像に生じるノイズを検出するため等に適用される画像ノイズ検出方法および装置に関するものである。
【０００２】
【従来の技術】
画像のノイズ検出は従来技術として種々の手法が提案されており、例えば、以下のような技術が知られている。
（１）  色信号に含まれるノイズを検出することで色むら等の周期的なノイズを検出する（例えば特許文献１参照）。
（２）  明度信号より画像上のエッジ部を判定し、色差信号より色エッジ部を判定し、その結果エッジでない領域をノイズ領域とする（例えば特許文献２参照）。
（３）  入力映像信号の明度の変化量、水平平均明度などの特徴に応じて決定される閾値に基づいて明度信号のノイズを検出する（例えば特許文献３参照）。
以上の従来技術では、明度または色差のいずれか一方にのみ着目して、それらに含まれるノイズを検出しているものであり、これらの手法は、目立つノイズとそうでないノイズ、つまりノイズの度合いまで検出することは出来なかった。
【０００３】
【特許文献１】
特開平５−１８３９２４号公報
【特許文献２】
特願２００１−１７５８４３号公報
【特許文献３】
特開２００２−２４７４１３号公報
【０００４】
【発明が解決しようとする課題】
以上のように、従来技術では、ノイズ自体を検出することは出来ても、そのノイズが画像全体の中で人間に目立つものかそうでないかという判定までは行なっていなかった。
そのため、従来技術のノイズ検出方法を用いてノイズ除去を行なうと、目立つノイズも目立たないノイズも同じレベルで除去されてしまうので、部位によってノイズ除去不足や過剰なノイズ除去といったように判断されるという問題の発生を回避することができなかった。
本発明は、上記事情を考慮してなされたものであって、人間の目に気になるノイズの特徴に着目し、この特徴をもとにノイズ検出を行ないうことにより、ノイズの度合いを定量化し、自動的にノイズの目立ちやすさを判定することを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するため、本発明においては、図１に示すように画像の明度成分の変動を検出する第１の色変動検出手段３と、画像の色差成分の変動を検出する第２の色変動検出手段４と、前記第１の色変動検出手段３で検出した色変動と前記第２の色変動検出手段４で検出した色変動を用いてノイズの度合いを判定するノイズ度合い判定手段５を設ける。
上記ノイズ度合い判定手段５は、第１の色変動検出手段３で検出した明度成分の変動が小さいかつ、第２の色変動検出手段４で検出した色差成分の変動が大きいほどノイズの度合いが大きいと判定する。
上記手法を用いると、人間の目に目立って見えるノイズを検出し、それらのノイズ度合いを判定することができる。
【０００６】
本発明の処理の流れの概要を図２に示す。
図２に示すように処理対象画像を入力し、入力した画像を明度成分と色差成分に変換する。そして、明度成分の変動、色差成分の変動の検出を行なった後、ノイズ度合いの判定を行なう。明度成分の色変動が小さいかつ、色差成分の色変動が大きい領域をノイズ度合いが大きい領域と判定するこれにより人間の目に目立つノイズを検出することができる。
ここで、画像ノイズの目立ちやすさと明度、色差との間には以下の関係がある。ノイズがなければ彩度、色相、ａ＊  、ｂ＊  （Ｌ＊  ａ  ＊ｂ＊  表色系の色差成分）の変動は明度の変動を伴い、人工的に着色したもの以外は明度が同じで色差だけ変わるようなことはほとんどない。
明度はＲＧＢの重み平均なのでノイズがキャンセルされるため明度成分にはノイズが発生しにくい。明度の変化の少ない平坦な部分のノイズが目立つ。すなわち、明度の色変動が小さい領域での色差の色変動は目立つということである。
以上をまとめると、ノイズには以下の表１のような特徴があるのである。本発明では、このようなノイズの特徴の領域をノイズとして定義して検出し、ノイズ度合いの判定を行なっている。
【０００７】
【表１】
2004259231.tif 000003
【０００８】
また、本発明では以下のように構成することもできる。
（１）明度成分と色差成分ではそれぞれ異なるフィルタを用いて色変動の検出を行なう。
明度成分と色差成分では、色変動の周期が異なっている。各成分に異なったフィルタを用いて検出することで適応的に色変動を検出することが可能となる。
なお、明度成分、色差成分のどちらも、様々な周期の色変動がある。そのため、その周期に応じたフィルタを組み合わせて演算結果を合成することで色変動検出を行なう。
（２）エッジ部分を検出せずにノイズ除去を行うと、エッジ部分を大きく補正してしまい、画像がぼけて画質が劣化する。
しかし、明度成分のエッジ部分のノイズは、人間の目には目立ちにくい特性があるので、エッジ部分のノイズを除去する必要はない。そこで、明度成分から色変動を検出する際に、明度成分のエッジも検出するフィルタを用いる。
このフィルタにより検出した明度成分のエッジ部分は、ノイズ度合いが小さい領域として判定することで、ノイズ除去時に画像がぼけることを防ぐことができる。
（３）無彩色の中に存在するノイズが人間の目に目立つという特性がある。例えば、暗い色のところに発生する明るい色のノイズは目立つ。
この特性を考慮して、色差成分から色変動を検出する際に、色変動検出結果を補正するのがよい。つまり、色変動検出結果が同じであっても、色変動検出を行った際の変動量と、色変動の計算対象画素（色変動検出をした画素）の色に応じて色変動検出結果の補正を行なう。
（４）本発明では、明度成分の色変動が小さく、色差成分の色変動が大きいとき、ノイズ度合いが大きいと判定するが、例外領域が二つある。
一つは、後述する図６のＡに示すように、色差成分の変動がある閾値よりも小さい時は、その値が明度成分の変動の値よりも大きくてもノイズ度合いが小さい領域とする。
もう一つは、後述する図６のＢに示すように、明度成分の変動のある閾値までは、色差成分の変動に依存せずに同じノイズ度合いと判定する。
（５）ノイズ度合いを判定する際、明度変動、色差変動、ノイズ度合いの関係を示すテーブルをあらかじめ作成しておくと、画像内の明度変動と色差変動の値からテーブルを参照することでノイズ度合いを判定することができる。
【０００９】
【発明の実施の形態】
図１は本発明の第１の実施例の画像ノイズ検出装置の機能構成を示すブロック図である。
図１において、１は入力手段、２は入力画像を明度成分と色差成分に分解する変換手段である。変換手段２の出力である明度成分と色差成分は、それぞれ第１の色変動検出手段３、第２の色変動検出手段４に与えられ、第１、第２の色変動検出手段３，４でそれぞれの変動を検出する。
ノイズ度合い判定手段５は、上記第１の色変動検出手段３が出力する明度成分の変動、第２の色変動検出手段４が出力する色成分の変動に基づき、前記表１に示した原理に基づき画像のノイズを判別する。
本発明は、図３に示すような処理装置で実現することができる。同図に示すように、処理装置は画像を読み取るセンサ２５、読み取った画像データをデジタル信号に変換するＡ／Ｄ変換器２６、ＣＰＵ２１とＲＯＭ２２、ＲＡＭ２３、不揮発性記憶媒体２４等から構成され、これらがバス２７で接続されている。
ＲＯＭ２２とＲＡＭ２３には、画像ノイズ検出処理を行うためのプログラムやデータが格納され、ＣＰＵ２１が、予めＲＯＭに記憶されているプログラムもしくは外部記憶装置からＲＡＭに読込まれたプログラムを実行することにより、本実施例の画像ノイズ検出処理を実現する。
【００１０】
図４は本実施例の処理の流れを示すフローチャートである。
図４において、まず入力した画像を明度成分、色差成分に分解する（ステップＳ１）。ついで、成分ごとに色変動検出を行い、色変動検出結果からノイズ度合い判定量γを計算する（ステップＳ４）。なお、ノイズ度合い判定量については、後に記述する。
そして、ノイズ度合い判定量γが予め定めた閾値αより大きいかを判定し（ステップＳ５）、γ＞αでなければノイズなしと判定し（ステップＳ５）、γ＞αであれば、ノイズありと判定する（ステップＳ６）。以上の処理を全画素について行い、全画素の処理が終われば（ステップＳ７）、処理を終了する。
【００１１】
ノイズ度合いの判定は次のように行われる。
明度成分の色変動を縦軸に、色差の色変動を横軸として対象画素の１画素毎にプロットを行うと、例えば図５に示すように境界線（同図中の太実線）を境に、ノイズ領域と非ノイズ領域に分けることができる。これは前記表１にまとめたノイズの特徴から導かれる。
縦軸に明度成分の色変動検出結果の値をプロットし、横軸は、色差成分（ａ＊  成分とｂ＊  成分）の色変動検出結果から算出した値（ΔＣｏｎｃｅｎｔｒａｔｉｏｎ  ）をプロットする
上記ΔＣｏｎｃｅｎｔｒａｔｉｏｎ  の値は、色差成分の色変動を（ａ＊  ，ｂ＊  ）とすると、次の数式（１）で与えられる。
ΔＣｏｎｃｅｎｔｒａｔｉｏｎ  ＝（ａ＊  ２  ＋ｂ＊  ２  ）１／２  …数式（１）
図５において、両者の境界線は、ノイズの属性は画像と独立であることから入力画像に寄らず一意に定まる。
【００１２】
ここで、色差の変動が大きく、明度の変動が小さいとき目立つノイズが存在する可能性が大きいが、前述したように、色差成分の変動がある閾値よりも小さい時は、その値が明度成分の変動の値よりも大きくてもノイズ度合いが小さい領域とする。
すなわち、図６の境界線Ａに示すように、色差の変動がある閾値αよりも小さい領域は、明度成分の変動に依存せず、非ノイズ領域とする。
また、明度成分の変動のある閾値までは、色差成分の変動に依存せずに同じノイズ度合いと判定する。すなわち、同図に示すように、境界線Ａに平行なラインＢ上の点は、同じノイズ度合いであると判定し、また閾値βまでは、色差成分の変動に依存せずに同じノイズ度合いであると判定する。
従って、前記図５において、ノイズ度合いγは次のように求められる。
まず画像の各画素から得た明度成分の変動、色差成分の変動を図５上にプロットする。そして、プロットされた点を通る同じノイズ度合いを表すラインが、色変動軸と交わった際の軸上の値を求め、この値によりノイズ度合いを判定する。
例えば、図５において、明度成分の変動、色差成分の変動に相当する点として点Ｐ１がプロットされたとすると、点Ｐ１を通る同じノイズ度合いを表すラインＢ１が、横軸と交わる点γ１の値をノイズ度合いとする。同様に、明度成分の変動、色差成分の変動に相当する点として点Ｐ２がプロットされたとすると、点Ｐ２を通る同じノイズ度合いを表すラインＢ２が、横軸と交わる点γ２の値をノイズ度合いとする。そして、この値γ１，γ２が閾値αより大きければ、ノイズの可能性が大きいと判定する。
【００１３】
ノイズ領域と非ノイズ領域の境界は以下の数式（２）で表すことができる。ここで、ｘは色差成分の変動（ΔＣｏｎｃｅｎｔｒａｔｉｏｎ  ），ｙは明度成分の変動の値、ｍは係数、α，βは前記図５に示した閾値α、βである。
ノイズ度合いを判定する際は、明度の変動と色差成分の変動の値から求められるｘ，ｙを以下の数式（３）に代入し、ノイズ度合い判定量γを算出し、閾値α（図５参照）の値を基準として、γの値が大きくなるほどノイズ度合いが大きく、γの値が小さくなるほどノイズ度合いは小さいと判定する。
【００１４】
【数１】
2004259231.tif 000004
【００１５】
なお、上記数式によりγを求める代わりに、予め明度変動、色差変動、ノイズ度合いの関係を示すテーブルを作成しておき、ノイズ度合い判定手段は、このテーブルを参照してノイズ度合いを判定するようにしてもよい。
【００１６】
デジタルカメラで撮影されたノイズを含む画像に対して、明度成分と色差成分に分解したところ、明度の色変動はほとんど見られないが、色差成分には大きな色変動が生じていることが分かった。
したがって、上記のようにノイズ領域での明度成分と色差成分の色変動の違いからノイズ判定（ノイズの強弱）を行えば、人間に目立つノイズであるか否かを判定することができる。
しかし、色変動には細かい粒状性の色変動から大きいブロック状の色変動など、様々な周期の変動が見られる。したがって、色変動を検出する際に、大小のフィルタを組み合わせて検出すれば、これらの様々な周期の変動を検出することができる。
図７は、上記のようにフィルタを用いた本発明の第２の実施例機能ブロックであり、同図では、前記入力手段２、変換手段３は省略されている。
同図に示すように、本実施例では、第１の色変動検出手段３、第２の色変動検出手段４を複数のフィルタを適用した色変動検出手段から構成し、その出力を演算結果合成手段６，７で合成し、ノイズ度合い判定手段５に入力する。
ここで、前記したように、明度成分と色差成分では、色変動の周期が異なっている。そこで、明度成分と色差成分ではそれぞれ異なるフィルタを用いて色検出を行なうことで、適応的に色変動を検出することが可能となる。
【００１７】
また、前記したように、エッジ部分を検出せずにノイズ除去を行うと、エッジ部分を大きく補正してしまい、画像がぼけて画質が劣化する。しかし、明度成分のエッジ部分のノイズは、人間の目には目立ちにくい特性があるので、エッジ部分のノイズを除去する必要はない。
そこで、明度成分から色変動を検出する際に、明度成分のエッジも検出するフィルタを用い、このフィルタにより検出した明度成分のエッジ部分は、ノイズ度合いが小さい領域として判定する。これにより、ノイズ除去時に画像がぼけることを防ぐことができる。
図８に色変動検出の際のフィルタ処理の流れを示す。同図（ａ）に示すように、明度成分については、複数のフィルタを用いてエッジ＋明度変動を検出し、フィルタ演算結果を合成する。また、同図（ｂ）に示すように、色差成分については、複数のフィルタを用いて色変動を検出し、フィルタ演算結果を合成する。  上記演算結果は、図７に示したノイズ度合い判定手段５に与えられ、前記したようにノイズ度合いが判定される。
【００１８】
ところで、ノイズ検出を行う際に、色変動の関係だけでなく、無彩色の中に存在するノイズが目立つという特徴がある。この特徴に着目し、色変動計算結果を補正することで目立つノイズを判定することが可能となる。
そこで、第２の色変動検出手段４に色変動補正手段を設け、色変動検出結果を補正する。
上記色変動補正手段は、次のようにして色変動を補正する。
色変動検出を行なう前の色変動の彩度成分と、色変動検出を行なった後の色変動の彩度成分との彩度差ΔＣａｂ＊  、色変動検出を行なう前の色変動の色相成分と、色変動検出を行なった後の色変動の色相成分との色相差ΔＨａｂ＊  、また色変動検出を行なう前の色（ａ２  ＊  ，ｂ２  ＊  ）〔色変動の計算対象画素の色〕と色変動検出を行なった後の色変動（ａ１  ＊  ，ｂ１  ＊  ）を用いて以下の数式（４）からΔＣｏｎｃｅｎｔｒａｔｉｏｎ  を算出する。
【００１９】
【数２】
2004259231.tif 000005
【００２０】
なお、上記数式（４）において、Ｃａｂ１  ＊  として、色変動を用いる場合には、ΔＣｏｎｃｅｎｔｒａｔｉｏｎ１＝（ａ１  ＊２＋ｂ１  ＊２    ）１／２  を用い、色のみを用いる場合にはΔＣｏｎｃｅｎｔｒａｔｉｏｎ２＝（ａ２  ＊２    ＋ｂ２  ＊２）１／２  を用いて、色変動を補正するようにしてもよい。
この式を用いると、色変動を補正して、無彩色の中に存在する有彩色の色変動が検出されるようになる。例えば、暗い色の中に存在する赤のノイズが大きく判定される。これは、暗い色と赤色は色相差が大きいために、ΔＣｏｎｃｅｎｔｒａｔｉｏｎ  が大きくなるからである。
また、ＳＣ  ，ＳＨ  の値を調整することで、彩度成分を用いた補正、色相成分を用いた補正を行うことが可能となる。
【００２１】
（付記１）  画像の明度成分の変動を検出するとともに、画像の色差成分の変動を検出し、
画像の明度成分の変動が小さく、かつ、画像の色差成分の変動が大きいほどノイズ度合いが大きいと判定する
ことを特徴とする画像ノイズ検出方法。
（付記２）  画像の明度成分の変動を検出する第１の色変動検出手段と、画像の色差成分の変動を検出する第２の色変動検出手段と、
前記第１の色変動検出手段で検出した明度成分の変動と前記第２の色変動検出手段で検出した色差成分の変動を用いてノイズの度合いを判定するノイズ度合い判定手段を備え、
上記ノイズ度合い判定手段は、第１の色変動検出手段で検出した変動が小さいかつ、第２の色変動検出手段で検出した変動が大きいほどノイズ度合いが大きいと判定する
ことを特徴とする画像ノイズ検出装置。
（付記３）  上記第１の色変動検出手段と、第２の色変動検出手段に、それぞれ異なるフィルタを使う
ことを特徴とする付記２の画像ノイズ検出装置。
（付記４）  上記第１の色変動検出手段と、第２の色変動検出手段の両方またはいずれか一方が、複数のフィルタ演算結果を組み合わせて、合成するフィルタ演算結果合成手段を有する
ことを特徴とする付記３の画像ノイズ検出装置。
（付記５）  第１の色変動検出手段は、エッジ検出機能を有するフィルタを使用し、エッジ部分は、ノイズ度合いが少ない領域と判定する
ことを特徴とする付記３または付記４の画像ノイズ検出装置。
（付記６）  第２の色変動検出手段が、色変動および／または色変動の計算対象画素の色に応じて色変動計算結果を補正する色変動補正手段を有する
ことを特徴とする請求項２または請求項３の画像ノイズ検出装置。
（付記７）  画像ノイズを検出するプログラムであって、
上記プログラムは、画像の明度成分の変動を検出する処理と、画像の色差成分の変動を検出する処理と、
画像の明度成分の変動が小さく、かつ、画像の色差成分の変動が大きいほどノイズ度合いが大きいと判定する処理をコンピュータに実行させる
ことを特徴とす画像ノイズ検出プログラム。
【００２２】
【発明の効果】
以上説明したように、本発明によれば、画像の明度成分の変動を検出するとともに、画像の色差成分の変動を検出し、画像の明度成分の変動が小さく、かつ、画像の色差成分の変動が大きいほどノイズ度合いが大きいと判定するようにしたので、人間の目に目立つノイズを検出することが可能となる。
また、この手法を用いてノイズ検出を行った後、ノイズ除去を行うと過度なノイズ除去をすることなくノイズ度合いに応じて補正量を調整できるため、良好にノイズの少ない画像を生成することが可能になる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の画像ノイズ検出装置の機能構成を示すブロック図である。
【図２】本発明の画像ノイズ検出処理の概要を示す図である。
【図３】本発明を実現するための処理装置の構成例を示す図である。
【図４】本発明の第１の実施例の処理の流れを示すフローチャートである。
【図５】ノイズ領域を説明する図である。
【図６】ノイズ領域とノイズ度合いが一定の領域を説明する図である。
【図７】フィルタを用いた本発明の第２の実施例機能ブロックである。
【図８】色変動検出の際のフィルタ処理の流れを示す図である。
【符号の説明】
１      入力手段
２      変換手段
３      第１の色変動検出手段
４      第２の色変動検出手段
５      ノイズ度合い判定手段
６，７  演算結果合成手段
【図１】
2004259231.tif 000006
【図２】
2004259231.tif 000007
【図３】
2004259231.tif 000008
【図４】
2004259231.tif 000009
【図５】
2004259231.tif 000010
【図６】
2004259231.tif 000011
【図７】
2004259231.tif 000012
【図８】
2004259231.tif 000013