(57)【要約】【課題】  画像のノイズを低減する処理を行う際に、ノイズを低減した後に孤立点が目立つのを抑制する。【解決手段】  画像データを構成する着目画素と、前記着目画素を含む近傍の領域に含まれる複数の画素を参照画素として設定し、着目画素の画素値と参照画素の画素値との差分と所定の閾値を比較することにより、参照画素それぞれに対して着目画素の補正値の算出に用いるかどうかを判定する判定手段と、判定手段により着目画素の補正値の算出に用いると判定された参照画素と重みとを用いて重み付き平均することにより、着目画素の補正値を算出する補正手段と、判定手段により着目画素の補正値算出に用いると判定された参照画素の数をカウントした結果に基づいて、着目画素が孤立点かどうかを判定する孤立点判定手段と、着目画素が孤立点と判定された場合、着目画素を除く着目画素の近傍の複数の画素の画素値に基づいて着目画素を補正する孤立点補正手段を有する。【選択図】  図２
2017041732.tif 000002
【特許請求の範囲】
【請求項１】
画像データを構成する各画素に対してノイズを低減する処理を実行する画像処理装置であって、
画像データを構成する着目画素と、前記着目画素を含む近傍の領域に含まれる複数の画素を参照画素として設定し、前記着目画素の画素値と前記参照画素の画素値との差分を算出する算出する算出手段と、
前記差分と所定の閾値を比較することにより、前記参照画素それぞれに対して前記着目画素の補正値の算出に用いるかどうかを判定する判定手段と、
前記判定手段により前記着目画素の補正値の算出に用いると判定された参照画素と、各参照画素に対応する重みとを用いて重み付き平均することにより、前記着目画素の補正値を算出する補正手段と、
前記判定手段により前記着目画素の補正値の算出に用いると判定された参照画素の数をカウントし、カウント結果に基づいて、前記着目画素が孤立点かどうかを判定する孤立点判定手段と、
前記着目画素が前記孤立点判定手段により孤立点と判定された場合、前記着目画素を除く前記着目画素の近傍の複数の画素の画素値に基づいて前記着目画素を補正する孤立点補正手段を有することを特徴とする画像処理装置。
【請求項２】
前記孤立点補正手段は、前記着目画素を除く前記着目画素の近傍の複数の画素の画素値を平均して得られる平均値を、前記着目画素の補正値として算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記孤立点補正手段は、前記補正手段から出力される前記着目画素の補正値を、新たに算出した補正値により置換することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記孤立点判定手段は、前記孤立点補正手段により平均する画素の数よりも、カウント数が少ない場合は、前記着目画素を孤立点と判定することを特徴とするが請求項２に記載の画像処理装置。
【請求項５】
前記補正手段は、イプシロンフィルタを用いた補正処理を実行することを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
【請求項６】
コンピュータに読み込ませ実行させることで、前記コンピュータを請求項１乃至５の何れか一項に記載された画像処理装置として機能させることを特徴とするコンピュータプログラム。
【請求項７】
画像データに対してノイズを低減する処理を実行する画像処理方法であって、
画像データを構成する着目画素と、前記着目画素を含む近傍の領域に含まれる複数の画素を参照画素として設定し、前記着目画素の画素値と前記参照画素の画素値との差分を算出する算出し、
前記差分と所定の閾値を比較することにより、前記参照画素それぞれに対して前記着目画素の補正値の算出に用いるかどうかを判定し、
前記着目画素の補正値の算出に用いると判定された参照画素と、各参照画素に対応する重みとを用いて重み付き平均することにより、前記着目画素の補正値を算出し、
前記着目画素の補正値の算出に用いると判定された参照画素の数をカウントし、カウント結果に基づいて、前記着目画素が孤立点かどうかを判定し、
前記着目画素が孤立点と判定された場合、前記着目画素を除く前記着目画素の近傍の複数の画素の画素値に基づいて前記着目画素をさらに補正することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、孤立点を含む画像データを適切にノイズを低減する処理に関する。
【背景技術】
【０００２】
画像データに対してイプシロンフィルタを用いたフィルタ処理をすることにより、画像に含まれるノイズを低減する方法が知られている。特許文献１には、着目画素とその近傍の複数の参照画素について画素値の差分を算出し、相関性を判断することが開示されている。また着目画素と相関性が高い画素のみを加算平均した値を、着目画素のノイズを低減する処理後の画素値として出力することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−８６１０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら特許文献１に開示された方法では、周囲の画素よりも着目画素自身に含まれるノイズ量が大きい場合に、着目画素と相関性が高いと判断される参照画素が少なくなる。その結果、その着目画素に含まれるノイズは低減されないため、ノイズを低減したはずの画像において、その着目画素が孤立点として目立ってしまうという問題があった。
【０００５】
そこで本発明は、画像のノイズを低減する処理を行う際に、着目画素に含まれるノイズ量が大きいような場合であっても、その着目画素が孤立点として目立つことを抑制することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため本発明は、画像データを構成する各画素に対してノイズを低減する処理を実行する画像処理装置であって、画像データにおける着目画素と、前記着目画素を含む近傍の領域に含まれる複数の画素を参照画素として設定し、前記着目画素の画素値と前記参照画素の画素値との差分を算出する算出する算出手段と、前記差分と所定の閾値を比較することにより、前記参照画素それぞれに対して前記着目画素の補正値の算出に用いるかどうかを判定する判定手段と、前記判定手段により前記着目画素の補正値の算出に用いると判定された参照画素と、各参照画素に対応する重みとを用いて重み付き平均することにより、前記着目画素の補正値を算出する補正手段と、前記判定手段により前記着目画素の補正値の算出に用いると判定された参照画素の数をカウントし、カウント結果に基づいて、前記着目画素が孤立点かどうかを判定する孤立点判定手段と、前記着目画素が前記孤立点判定手段により孤立点と判定された場合、前記着目画素を除く前記着目画素の近傍の複数の画素の画素値に基づいて前記着目画素を補正する孤立点補正手段を有することを特徴とする。
【発明の効果】
【０００７】
本発明は、画像のノイズを低減する処理を行う際に、ノイズを低減した後に残留した孤立点を適切に補正することにより、着目画素に含まれるノイズ量が大きいような場合であっても、その着目画素が孤立点として目立つことを抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置のハードウェア構成を示す模式図である。
【図２】第１実施形態における画像処理装置の論理構成を示すブロック図である。
【図３】第１実施形態における画像処理のフローチャート図である。
【図４】第１実施形態における補正の処理範囲を説明する模式図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下の実施例において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
【００１０】
＜第１実施形態＞
図１は、本実施形態に適用可能な画像処理装置のハードウェア構成を示す図である。本実施形態では、画像処理装置の一例としてパーソナルコンピュータの構成例を示す。なお、ここでは画像処理装置の一例としてパーソナルコンピュータについて述べるが、例えば携帯電話やデジタルカメラ、タブレットデバイス、サーバーなどの情報処理装置であっても良い。
【００１１】
本実施形態における画像処理装置は、ＣＰＵ１０１、ＲＡＭ１０２、記憶部１０３、汎用インターフェース（Ｉ／Ｆ）１０４、入力装置１０５、外部メモリ１０６、メインバス１０７を有する。ＣＰＵ１０１は、入力された信号や後述のプログラムに従って画像処理装置の各部を制御する。記憶部１０３には、各種ソフトウェアを実行するためのコンピュータプログラムやパラメータが格納されている。ＣＰＵ１０１は、記憶部１０３に格納されたソフトウェアを動作させることで、画像処理装置における各種処理を実現する。なお、ここではＣＰＵ１０１が装置全体を制御する場合を例に説明するが、複数のハードウェアが処理を分担することにより、装置全体を制御するようにしてもよい。
【００１２】
ＲＡＭ１０２は、入力装置１０５から受け付けた指示を保存するメモリ、ＣＰＵ１０１の作業領域等として使用される。
【００１３】
入力装置１０５は、ユーザによる画像処理装置に対する指示を受け付ける。入力装置１０５は例えば、画像処理装置の電源のＯＮ／ＯＦＦを指示するための電源ボタンや、画像処理のパラメータを入力するためのボタン等の操作部材を含む。
【００１４】
汎用Ｉ／Ｆ１０４は、画像処理装置と外部装置とを接続するためのインターフェースである。汎用Ｉ／Ｆ１０４は、メモリーカード等の外部メモリ１０６をメインバス１０７に接続する。さらに、汎用Ｉ／Ｆ１０４は、赤外線通信や無線ＬＡＮ等を用いて通信装置とデータのやりとりを行う構成としても良い。
【００１５】
以下では、ＣＰＵ１０１が実行する各種処理について説明する。本実施形態においてＣＰＵ１０１は、入力装置１０５や外部メモリ１０６から入力されたり、記憶装置１０３で保持されていたりしたデータを使って画像処理を行い、画像処理で得られたパラメータを記憶装置１０３または外部メモリ１０６に格納する。
【００１６】
上記の構成に於いて本実施形態における画像処理装置は、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに画像データを入力してノイズを低減した画像データを生成する。
【００１７】
（イプシロンフィルタによるノイズを低減する処理について）
本実施形態における画像処理装置が実行する、イプシロン（ε）フィルタを用いたノイズを低減する処理（以降、ノイズ低減処理と呼ぶ）の概要を説明する。イプシロン（ε）フィルタは、画像データのノイズを適応的に低減するために用いられる非線形フィルタである。まず、着目画素と着目画素周囲の複数画素を、参照画素として設定する。例えば、着目画素を中心とした５画素×５画素の範囲を参照画素とする。（以降、参照画素の領域を参照範囲と呼ぶ）
図４に画像データの一部を示す。画素ｐ２２が着目画素であり、画素ｐ００から画素ｐ４４までの破線内の２５画素それぞれが参照画素である。なお着目画素自身も、参照画素として設定される。
【００１８】
次に、着目画素と各参照画素との画素値の差分を計算する。差分に応じて参照画素の画素値に重みづけ加算した結果を、εフィルタの出力とする。なお、重み付け加算した結果ではなく、加算平均した結果でもよい。以下に一例として、着目画素の画素値と参照画素の画素値との差分の絶対値に応じて、画素ｐ２２のノイズ低減処理された出力値ｐ２２＿ｔｍｐを与える式（１）を示す。
【００１９】
【数１】
2017041732.tif 000003
また、関数ｆは、式（２）の通りに与えられる。
【００２０】
【数２】
2017041732.tif 000004
ノイズ低減前の着目画素の画素値ｐ２２＿ｏｒｉとノイズ低減前の参照画素の画素値ｐｉｊ＿ｏｒｉとの絶対値差分が所定の閾値ｔｈ以下の場合、参照画素の画素値ｐｉｊ＿ｏｒｉ−ｐ２２＿ｏｒｉを出力する。絶対値差分が所定の閾値ｔｈより大きい場合は、０を出力する。これは、着目画素の画素値と近い画素値の参照画素を用いて、式（１）による重み付き平均を算出するための閾値判定である。つまり、着目画素の画素値とは大きく異なる画素値の参照画素については、着目画素の補正値を算出するための重み付き平均には使用しないことになる。このような関数ｆの出力と各着目画素値の重みｗｉｊを乗じて加算した結果に、さらに着目画素の画素値ｐ２２＿ｏｒｉを加えた値を出力値ｐ２２＿ｔｍｐとする。着目画素に対する参照画素の位置に応じた重みｗｉｊは、例えば参照画素が２５画素ある場合はｗｉｊを全て１／２５とすると、着目画素に対する参照画素の位置に依存しない平滑化の処理になる。あるいは、重みｗｉｊは着目画素からの距離が近いほど大きな値として参照画素の位置に依存する平滑化の処理としてもよい。もちろん、重みｗｉｊは他の値を用いても良い。
【００２１】
（孤立点除去）
本実施形態における画像処理装置は、孤立点に応じたノイズ低減処理を実行する。ここで孤立点とは、周囲に近い画素値の画素が存在しない画素である。もし着目画素が平坦な領域の画素である場合、着目画素に周囲の画素に重畳されたノイズの大きさに比べて非常に大きなノイズが重畳されたとすると、着目画素の画素値は、周囲の画素の画素値とは大きく異なる値になる。この場合、式（２）を用いて参照画素に対する判定処理をすると、重み付き平均に用いる画素は着目画素だけになり、式（１）を用いて算出される値は、大きなノイズが重畳された着目画素の元の画素値に近い値が出力されてしまう。このように周囲の画素に対して大きなノイズが重畳された画素では、ノイズ低減処理をしてもノイズが残りやすい。画像上においては特に、平坦な領域において周囲と大きく異なる画素値を有する画素は、孤立点として視認される。そこで本実施形態では、重み付き平均に用いられると判定された画素の数をカウントした結果に応じて孤立点を検出し、孤立点に対応したノイズ低減処理を行う。
【００２２】
孤立点除去の処理の概要は、以下の通りである。まずεフィルタ処理で補正値を算出する際に、それぞれの着目画素の補正値算出に用いる参照画素の数をカウントする。式（２）を用いて参照画素の判定をする場合、関数ｆにより０ではなく参照画素の画素値が出力される画素の数をカウントする。参照画素のカウントは、式（３）と（４）として表すことができる。
【００２３】
【数３】
2017041732.tif 000005
【００２４】
【数４】
2017041732.tif 000006
Ｎ２２は着目画素ｐ２２の補正値を算出するための重み付き平均に用いられた参照画素の数である。関数ｇは、着目画素の画素値と参照画素の画素値の絶対値差分は、所定の閾値以下である参照画素の数をカウントするための式である。式（４）における閾値は、式（２）の判定に用いた閾と同じ値である。
【００２５】
次に、カウントした画素数に応じた補正値の算出について、説明する。本実施形態では、着目画素の画素値として、式（１）および式（２）のようにεフィルタを用いた処理結果か、孤立点除去の処理結果のいずれかを選択する。本実施形態では、カウントした画素数が閾値ｔｈＮより少なかった場合、着目画素の周囲８画素（図４において二重線の枠内に含まれる画素で着目画素自身を除く）の平均値を孤立点除去した結果得られる補正値とする。孤立点除去処理は、以下の式（５）および式（６）によって表される。
【００２６】
【数５】
2017041732.tif 000007
【００２７】
【数６】
2017041732.tif 000008
ｐ２２＿ｔｍｐはεフィルタ処理後の着目画素の画素値である。また、ｐ２２＿ａｖｅはεフィルタ処理後の着目画素の周囲８画素の画素値を平均した平均値を式（６）に従い計算した結果であり、孤立点補正値と呼ぶ。閾値ｔｈＮは、参照画素の画素数により孤立点かどうかを判別するための閾値である。ここでは画素数が閾値ｔｈＮより少なかった場合に孤立点補正を行った結果を出力とする。ここでは閾値ｔｈＮは、孤立点補正をする場合、８画素の参照画素により平均値を算出する。そこで孤立点補正をする際に平均算出に用いる画素数を閾値とし、式（３）のカウント数が孤立点補正に用いる画素数よりも少ない場合に、孤立点補正値を出力とする。なお、孤立点補正値はεフィルタ処理前の画素値を使って着目画素の周囲８画素の平均値あるいは中央値を用いても良い。
【００２８】
（画像処理装置の論理構成）
以下では、本実施形態における画像処理装置の詳細を説明する。図２は、画像処理装置の詳細な構成を示すブロック図である。画像データ入力部２０１は、画像データを画像処理装置に入力する。画像データはＣＰＵ１０１からの指示に基づき、撮像装置１０５や記憶装置１０３或いは外部メモリ１０７から入力される。勿論、撮像装置１０５で撮影した画像データを記憶装置１０３などに一旦記憶した後で入力してもかまわない。比較部２０２は、着目画素の画素値と参照画素の画素値を比較する。本実施形態では、着目画素の画素値と参照画素の画素値との絶対値差分を算出し、出力する。補正処理部２０３では、画像データ入力部２０１から画像データにおける各画素に対して、εフィルタを用いたノイズ低減処理を実行する。まず、比較部２０２から各参照画素の差分を受け取る。ここでは、参照範囲は５画素×５画素に含まれる２５画素に設定されているので、２５画素分の差分が入力されることになる。補正処理部２０３は、式（２）を用いて参照範囲に含まれる画素のうち、式（１）の重み付き加算に用いる画素を出力し、式（１）の通りに着目画素の補正値を算出する。
【００２９】
孤立点判定部２０４は、比較部２０２から着目画素と参照画素それぞれとの画素値の差分を受け取り、式（３）および（４）の通り差分絶対値が所定の閾値以下の画素をカウントする。孤立点判定部２０４は、カウント数と所定の閾値との比較処理結果を出力する。孤立点補正処理部２０５は、補正処理部２０３によって補正された画像データにおいて、孤立点とみなされた画素の補正値を書き替える。孤立点判定部２０４からカウント数が所定の閾値以下と判定された画素については、式（６）に従って着目画素自身を除いた着目画素周囲の８画素の平均値を算出し、孤立点補正値とする。画像データ出力部２０６は、孤立点補正処理部２０５から出力された画像データを、モニタ１０８や記憶装置１０３などに出力する。尚、出力先はこれに限られるものではなく、例えば、汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７に出力してもよい。
【００３０】
（メイン処理フロー）
図３は、画像処理装置が実行する処理のフローチャートである。以降の処理は、ＣＰＵ１０１が記憶装置１０３に格納された図３に示すフローチャートを実現するプログラムを読み込み、実行することで各構成の機能を実現する。
【００３１】
ステップＳ３０１において画像データ入力部２０１は、処理対象とする画像データを入力する。入力される画像データは例えば、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）毎のデータであり、画像データを構成する各画素０〜２５５の画素値を有する８ｂｉｔのデータである。各ＲＧＢの画像データに対して、以降の処理は独立して実行される。ステップＳ３０２において比較部２０２は、処理対象の画像データにおいて、順に着目画素とする。また比較部２０２は、着目画素を含む所定の範囲における画素を参照画素と設定する。比較部は、各参照画素に対して、着目画素の画素値と参照画素の画素値との差分を算出する。従ってステップＳ３０２においては、着目画素につき参照画素の数分の差分が出力される。
【００３２】
ステップＳ３０３において補正処理部２０３は、画像データにおける各画素に対して順に、εフィルタを用いた補正処理を実行する。補正処理部２０３は、比較部２０２から各参照画素と着目画素との差分を受け取り、参照画素それぞれについて差分に応じた重みを導出する。補正処理部２０３は、式（１）および式（２）の通りに着目画素の補正値を算出する。着目画素の画素値と所定の閾値より大きく異なる画素値の参照画素は、重み付き平均に使用しないと判定し、０を出力する。着目画素の画素値と参照画素の画素値との差分が所定の閾値以下である参照画素に対しては、重み付き平均に使用すると判定し、その画素値と着目画素の差分を出力する。その結果、着目画素の補正値は、着目画素の画素値と近い画素値を有する参照画素と、各参照画素の重みとを用いた重み付き平均により算出される。
【００３３】
ステップＳ３０４において孤立点判定部２０４は、着目画素の画素値と参照画素の画素値との差分が所定の閾値以下である参照画素の数をカウントする。これはステップＳ３０３において補正処理部２０３が、着目画素の補正値を算出するために重み付き平均に使用すると判定した参照画素の数に等しい。カウント結果を孤立点補正処理部２０５に出力する。さらに孤立点補正処理部２０５は、カウント数に応じて着目画素に対して孤立点補正処理を実行するかどうかを判定する。重み付き平均に使用すると判定された参照画素の数が少ない場合、着目画素は孤立点であるとみなされ、ステップＳ３０５に進む。重み付き平均に使用すると判定された参照画素の数が所定数以上であれば、ステップＳ３０７に進む。
【００３４】
ステップＳ３０４において孤立点補正値算出部２０５は、着目画素が孤立点であった場合の孤立点補正値を算出する。着目画素が孤立点である場合、着目画素を除く着目画素の周囲８画素の画素値の平均を、着目画素のノイズ低減処理後の補正値（孤立点補正値）とする。孤立点補正値算出部２０５は、式（６）によって算出された孤立点補正値により、補正処理部２０３から出力された着目画素の補正値を置換する。
【００３５】
ステップＳ３０６において画像データ出力部２０６は、画像データの全ての画素に対して処理が全て終わったかどうか判定する。未処理の画素があればステップＳ３０３に戻り、未処理の画素を着目画素に設定して処理を繰り返す。全ての画素に対して処理が完了すれば、ステップＳ３０７において画像データ出力部２０６は、補正画像データを出力する。
【００３６】
以上の処理により、εフィルタを用いた重み付き平均に使用される画素数を使って、ノイズ低減後に残留した孤立点を検出し、孤立点を補正する。これにより、ノイズ低減処理後に残留したノイズの影響で孤立点のように視認される画素を適切に補正することができる。
【００３７】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2017041732.tif 000009
【図２】
2017041732.tif 000010
【図３】
2017041732.tif 000011
【図４】
2017041732.tif 000012