(57)【要約】【課題】ノイズを含む入力画像に対して、各処理対象画素がエッジ箇所にあるか否かの判定を正確に行う。【解決手段】入力画像に対して広範囲の画素を用いた広範囲エッジ指標の検出（２１）と、狭範囲の画素を用いた狭範囲エッジ指標の検出（２４）を行い、広範囲エッジ指標の最大値（ＡＷｍｘ）と、狭範囲エッジ指標の最大値（ＡＮｍｘ）と、広範囲エッジ指標の最大値の、平均値に対する比（ＰＲ）とに基づいて、エッジ判定を行う（２７）。エッジと判定した場合には、広範囲のエッジ指標が最大となる方向をエッジ方向と判断する。【選択図】図１
2014123247.tif 000002
【特許請求の範囲】
【請求項１】
入力画像中の処理対象画素を中心とする第１の範囲内の画素の画素値に基づいて、
Ｎ個(Ｎは８以上の整数)の方向の各々について第１のエッジ指標を算出し、算出された前記Ｎ個の方向の各々についての第１のエッジ指標のうちの最大のものを第１のエッジ強度として出力するとともに、前記第１のエッジ指標が最大となる方向を第１のエッジ方向として出力する第１のエッジ検出部と、
前記第１のエッジ検出部で算出された前記Ｎ個の方向についての前記第１のエッジ指標の平均値に対する比をピーク強度として算出するピーク強度算出部と、
前記入力画像中の前記処理対象画素を中心とし、前記第１の範囲よりも狭い第２の範囲内の画素に基づいてＭ個（Ｍは８以上の整数）の方向の各々について第２のエッジ指標を算出し、算出された前記Ｍ個の方向の各々についての前記第２のエッジ指標のうちの最大のものを第２のエッジ強度として出力する第２のエッジ検出部と、
前記第１のエッジ検出部からの前記第１のエッジ強度と、前記第２のエッジ検出部からの前記第２のエッジ強度と、前記ピーク強度算出部からの前記ピーク強度に基づいて、前記処理対象画素がエッジ箇所にあるか、エッジ以外の箇所にあるかの判定を行って判定結果を出力し、エッジ箇所にある場合には前記第１のエッジ方向を当該処理対象画素についてのエッジの方向として出力するエッジ判定部と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記入力画像中の処理対象画素を中心とする、第３の範囲内の画素の画素値の標準偏差を算出する標準偏差算出部をさらに有し、
前記エッジ判定部は、
前記第１のエッジ検出部からの前記第１のエッジ強度、前記第２のエッジ検出部からの前記第２のエッジ強度、及び前記ピーク強度算出部からの前記ピーク強度のみならず、前記標準偏差算出部からの前記標準偏差にも基づいて、前記処理対象画素が、エッジ箇所にあるか、平坦箇所にあるか、それら以外の箇所にあるかの判定を行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１のエッジ検出部が、前記第１の範囲内のそれぞれの画素の画素値と、前記Ｎ個の方向の各々に対して予め定められたフィルタ係数の組であって、各々前記第１の範囲内の画素の各々に対応するフィルタ係数を有するフィルタ係数の組との積和演算を行い、該積和演算の結果の絶対値を、当該方向についての前記第１のエッジ指標として出力し、
前記第２のエッジ検出部が、前記第２の範囲内のそれぞれの画素の画素値と、前記Ｍ個の方向の各々に対して予め定められたフィルタ係数の組であって、各々前記第２の範囲内の画素の各々に対応するフィルタ係数を有するフィルタ係数の組との積和演算を行い、該積和演算の結果の絶対値を、当該方向についての前記第２のエッジ指標として出力する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記入力画像中の処理対象画素を中心とする、第４の範囲内の画素の画素値を用いて、前記エッジ判定部で当該処理対象画素について検出された前記エッジの方向に応じたエッジ平滑化処理を行い、エッジ平滑化画素値を出力するエッジ平滑化処理部と、
前記エッジ判定部での前記判定の結果に応じて、
前記エッジ平滑化処理部からの前記エッジ平滑化画素値と、
前記処理対象画素の画素値のいずれかを選択して中間出力画素値として出力する画素値選択部と、
前記画素値選択部からの前記中間出力画素値と、前記処理対象画素の画素値とを、指定された合成比率で合成して出力画素値を算出する画素値合成部と
をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記入力画像中の処理対象画素を中心とする、第５の範囲内の画素の画素値の平均値を算出して、平均画素値として出力する平均画素値算出部と、
前記エッジ判定部での前記判定の結果に応じて、
前記平均画素値算出部からの前記平均画素値と、
前記エッジ平滑化処理部からの前記エッジ平滑化画素値と、
前記処理対象画素の画素値のいずれかを選択して前記中間出力画素値として出力する画素値選択部と、
前記画素値選択部からの前記中間出力画素値と、前記処理対象画素の画素値とを、指定された合成比率で合成して出力画素値を算出する画素値合成部と
をさらに備えたことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記エッジ平滑化処理部は、
前記入力画像中の処理対象画素を中心とする、前記第４の範囲内のそれぞれの画素の画素値と、前記Ｎ個の方向のうちの、前記エッジ判定部で当該処理対象画素について検出されたエッジの方向に対して予め定められたフィルタ係数の組との積和演算を行うことで、前記エッジ平滑化処理を行う
ことを特徴とする請求項４又は５に記載の画像処理装置。
【請求項７】
前記エッジ判定部は、
前記広範囲エッジ強度が前記広範囲エッジ強度閾値未満の場合には、エッジ以外の箇所であると判定し、
前記広範囲エッジ強度が前記広範囲エッジ強度閾値以上で、かつ前記狭範囲エッジ強度が前記狭範囲エッジ強度閾値未満の場合には、エッジ箇所と判定し、
前記広範囲エッジ強度が前記広範囲エッジ強度閾値以上で、かつ前記狭範囲エッジ強度が前記狭範囲エッジ強度閾値以上で、かつ前記ピーク強度が前記ピーク強度閾値以上の場合には、エッジ箇所と判定し、
前記広範囲エッジ強度が前記広範囲エッジ強度閾値以上で、かつ前記狭範囲エッジ強度が前記狭範囲エッジ強度閾値以上で、かつ前記ピーク強度が前記ピーク強度閾値未満の場合には、エッジ以外の箇所と判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記エッジ判定部は、
前記広範囲エッジ強度が前記広範囲エッジ強度閾値未満で、かつ前記標準偏差が前記標準偏差閾値未満の場合には、平坦箇所と判定し、
前記広範囲エッジ強度が前記広範囲エッジ強度閾値未満で、かつ前記標準偏差が前記標準偏差閾値以上の場合には、エッジ箇所及び平坦箇所のいずれでもないと判定し、
前記広範囲エッジ強度が前記広範囲エッジ強度閾値以上で、かつ前記狭範囲エッジ強度が前記狭範囲エッジ強度閾値未満の場合には、エッジ箇所と判定し、
前記広範囲エッジ強度が前記広範囲エッジ強度閾値以上で、かつ前記狭範囲エッジ強度が前記狭範囲エッジ強度閾値以上で、かつ前記ピーク強度が前記ピーク強度閾値以上の場合には、エッジ箇所と判定し、
前記広範囲エッジ強度が前記広範囲エッジ強度閾値以上で、かつ前記狭範囲エッジ強度が前記狭範囲エッジ強度閾値以上で、かつ前記ピーク強度が前記ピーク強度閾値未満で、かつ前記標準偏差が前記標準偏差閾値未満の場合には平坦箇所と判定し、
前記広範囲エッジ強度が前記広範囲エッジ強度閾値以上で、かつ前記狭範囲エッジ強度が前記狭範囲エッジ強度閾値以上で、かつ前記ピーク強度が前記ピーク強度閾値未満で、かつ前記標準偏差が前記標準偏差閾値以上の場合には、前記エッジ箇所及び前記平坦箇所のいずれでもないと判定する
ことを特徴とする請求項２又は５に記載の画像処理装置。
【請求項９】
前記画素値選択部は、
前記エッジ判定結果がエッジ箇所であることを示す場合には前記エッジ平滑化結果ＳＳを、
前記エッジ判定結果がエッジ箇所以外の箇所であることを示す場合には前記処理対象画素の画素値を選択して前記中間出力画素値として出力する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項１０】
前記画素値選択部は、
前記エッジ判定結果がエッジ箇所であることを示す場合は前記エッジ平滑化結果を、
前記エッジ判定結果が平坦箇所であることを示す場合には前記二次元平滑化結果を、
前記エッジ判定結果がエッジ箇所及び平坦箇所のいずれでもないことを示す場合には前記処理対象画素の画素値を選択して前記中間出力画素値として出力する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項１１】
入力画像中の処理対象画素を中心とする第１の範囲内の画素の画素値に基づいて、
Ｎ個(Ｎは８以上の整数)の方向の各々について第１のエッジ指標を算出し、算出された前記Ｎ個の方向の各々についての第１のエッジ指標のうちの最大のものを第１のエッジ強度として出力するとともに、前記第１のエッジ指標が最大となる方向を第１のエッジ方向として出力する第１のエッジ検出ステップと、
前記第１のエッジ検出ステップで算出された前記Ｎ個の方向についての前記第１のエッジ指標の平均値に対する比をピーク強度として算出するピーク強度算出ステップと、
前記入力画像中の前記処理対象画素を中心とし、前記第１の範囲よりも狭い第２の範囲内の画素に基づいてＭ個（Ｍは８以上の整数）の方向の各々について第２のエッジ指標を算出し、算出された前記Ｍ個の方向の各々についての前記第２のエッジ指標のうちの最大のものを第２のエッジ強度として出力する第２のエッジ検出ステップと、
前記第１のエッジ検出ステップからの前記第１のエッジ強度と、前記第２のエッジ検出ステップからの前記第２のエッジ強度と、前記ピーク強度算出ステップからの前記ピーク強度に基づいて、前記処理対象画素がエッジ箇所にあるか、エッジ以外の箇所にあるかの判定を行って判定結果を出力し、エッジ箇所にある場合には前記第１のエッジ方向を当該処理対象画素についてのエッジの方向として出力するエッジ判定ステップと
を備えたことを特徴とする画像処理方法。
【請求項１２】
前記入力画像中の処理対象画素を中心とする、第３の範囲内の画素の画素値の標準偏差を算出する標準偏差算出ステップをさらに有し、
前記エッジ判定ステップは、
前記第１のエッジ検出ステップからの前記第１のエッジ強度、前記第２のエッジ検出ステップからの前記第２のエッジ強度、及び前記ピーク強度算出ステップからの前記ピーク強度のみならず、前記標準偏差算出ステップからの前記標準偏差にも基づいて、前記処理対象画素が、エッジ箇所にあるか、平坦箇所にあるか、それら以外の箇所にあるかの判定を行う
ことを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
前記第１のエッジ検出ステップが、前記第１の範囲内のそれぞれの画素の画素値と、前記Ｎ個の方向の各々に対して予め定められたフィルタ係数の組であって、各々前記第１の範囲内の画素の各々に対応するフィルタ係数を有するフィルタ係数の組との積和演算を行い、該積和演算の結果の絶対値を、当該方向についての前記第１のエッジ指標として出力し、
前記第２のエッジ検出ステップが、前記第２の範囲内のそれぞれの画素の画素値と、前記Ｍ個の方向の各々に対して予め定められたフィルタ係数の組であって、各々前記第２の範囲内の画素の各々に対応するフィルタ係数を有するフィルタ係数の組との積和演算を行い、該積和演算の結果の絶対値を、当該方向についての前記第２のエッジ指標として出力する
ことを特徴とする請求項１１又は１２に記載の画像処理方法。
【請求項１４】
前記入力画像中の処理対象画素を中心とする、第４の範囲内の画素の画素値を用いて、前記エッジ判定ステップで当該処理対象画素について検出された前記エッジの方向に応じたエッジ平滑化処理を行い、エッジ平滑化画素値を出力するエッジ平滑化処理ステップと、
前記エッジ判定ステップでの前記判定の結果に応じて、
前記エッジ平滑化処理ステップからの前記エッジ平滑化画素値と、
前記処理対象画素の画素値のいずれかを選択して中間出力画素値として出力する画素値選択ステップと、
前記画素値選択ステップからの前記中間出力画素値と、前記処理対象画素の画素値とを、指定された合成比率で合成して出力画素値を算出する画素値合成ステップと
をさらに備えたことを特徴とする請求項１１に記載の画像処理方法。
【請求項１５】
前記入力画像中の処理対象画素を中心とする、第５の範囲内の画素の画素値の平均値を算出して、平均画素値として出力する平均画素値算出ステップと、
前記エッジ判定ステップでの前記判定の結果に応じて、
前記平均画素値算出ステップからの前記平均画素値と、
前記エッジ平滑化処理ステップからの前記エッジ平滑化画素値と、
前記処理対象画素の画素値のいずれかを選択して前記中間出力画素値として出力する画素値選択ステップと、
前記画素値選択ステップからの前記中間出力画素値と、前記処理対象画素の画素値とを、指定された合成比率で合成して出力画素値を算出する画素値合成ステップと
をさらに備えたことを特徴とする請求項１２に記載の画像処理方法。
【請求項１６】
前記エッジ平滑化処理ステップは、
前記入力画像中の処理対象画素を中心とする、前記第４の範囲内のそれぞれの画素の画素値と、前記Ｎ個の方向のうちの、前記エッジ判定ステップで当該処理対象画素について検出されたエッジの方向に対して予め定められたフィルタ係数の組との積和演算を行うことで、前記エッジ平滑化処理を行う
ことを特徴とする請求項１４又は１５に記載の画像処理方法。
【請求項１７】
請求項１１乃至１６のいずれかの画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項１８】
請求項１７に記載のプログラムを記録した、コンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、特に入力画像中のエッジ部分に発生するガタツキを滑らかに補正するエッジ平滑化処理に関するものである。本発明はまた、画像処理方法をコンピュータに実行させるためのプログラム及び該プログラムを記録した、コンピュータで読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
エッジ平滑化処理は、デジタルカメラ等で撮影された画像データに対して、エッジ部分のジャギーを減らす、あるいはエッジ上に乗っているノイズを除去する目的で用いられる。特許文献１中にはエッジ部分を平滑化する画像処理装置の構成が記載されている。
【０００３】
即ち、特許文献１の画像処理装置処理は、特許文献１中の図１に示されているように、エッジ検出処理部１２２、傾き検出フィルタ１２６、平滑化処理部１２３、平滑化フィルタ１２７及び基準傾き角データ１２８を有する。
【０００４】
傾き検出フィルタ１２６は特許文献１中の図２に示すような、角度毎の係数の２次元配列から構成されている。エッジ検出処理部１２２では、処理対象画素を中心とした周辺画素に対して、傾き検出フィルタ１２６を畳み込み演算して、角度毎に畳み込み演算結果を算出する。そして、検出角度毎の畳み込み演算結果の中で、予め定めた閾値を越えて、かつ最大となる畳み込み演算結果に対応する角度を、検出角度としている。
【０００５】
そして、平滑化フィルタ１２７も特許文献１中の図３に示すような、角度毎の係数の２次元配列から構成されている。平滑化処理部１２３では、処理対象画素を中心とした周辺画素に対して、平滑化フィルタ１２７の中で検出した角度に対応するフィルタを畳み込み演算し、畳み込み演算結果を平滑化後の画素値とする。また、基準傾き角データ１２８には平滑化処理を行わない角度を設定しておく。水平線あるいは垂直線はジャギーが発生しないため、平滑化処理が不要である。そこで基準傾き角データに、水平線に対応する０度、１８０度と垂直線に対応する９０度、２７０度を設定しておき、検出した角度が０度、９０度、１８０度あるいは２７０度の場合には、平滑化処理を実行しない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１２２３６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１中の図１のように構成した従来の画像処理装置では、傾き検出フィルタ１２６の２次元配列の大きさが大きすぎると、長さが短いエッジの傾きを検出することが難しくなる。反対に、傾き検出フィルタ１２６の２次元配列の大きさが小さすぎると、ノイズをエッジとして検出してしまうという問題が生じる。
【０００８】
本発明は上記のような問題点を解決するためになされたものであり、ノイズをエッジと誤検出しないでエッジ平滑化処理を実現することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置は、
入力画像中の処理対象画素を中心とする第１の範囲内の画素の画素値に基づいて、
Ｎ個(Ｎは８以上の整数)の方向の各々について第１のエッジ指標を算出し、算出された前記Ｎ個の方向の各々についての第１のエッジ指標のうちの最大のものを第１のエッジ強度として出力するとともに、前記第１のエッジ指標が最大となる方向を第１のエッジ方向として出力する第１のエッジ検出部と、
前記第１のエッジ検出部で算出された前記Ｎ個の方向についての前記第１のエッジ指標の平均値に対する比をピーク強度として算出するピーク強度算出部と、
前記入力画像中の前記処理対象画素を中心とし、前記第１の範囲よりも狭い第２の範囲内の画素に基づいてＭ個（Ｍは８以上の整数）の方向の各々について第２のエッジ指標を算出し、算出された前記Ｍ個の方向の各々についての前記第２のエッジ指標のうちの最大のものを第２のエッジ強度として出力する第２のエッジ検出部と、
前記第１のエッジ検出部からの前記第１のエッジ強度と、前記第２のエッジ検出部からの前記第２のエッジ強度と、前記ピーク強度算出部からの前記ピーク強度に基づいて、前記処理対象画素がエッジ箇所にあるか、エッジ以外の箇所にあるかの判定を行って判定結果を出力し、エッジ箇所にある場合には前記第１のエッジ方向を当該処理対象画素についてのエッジの方向として出力するエッジ判定部と
を備えたことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、処理対象画素がエッジ箇所、及びエッジ以外の箇所のいずれにあるかの判定の誤りを少なくすることができ、エッジ箇所に対してのみエッジ平滑化を行うことで、画質の向上を図ることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態１の画像処理装置の構成を示すブロック図である。
【図２】エッジ解析部に入力される処理対象画素とその周辺の画素のデータを示す図である。
【図３】（ａ）〜（ｃ）は、広範囲エッジ検出部における積和演算を示す図である。
【図４】方向（１）〜（４）の各々についての広範囲エッジ指標の算出に用いられるフィルタ係数の一例を示す図である。
【図５】方向（５）〜（８）の各々についての広範囲エッジ指標の算出に用いられるフィルタ係数の一例を示す図である。
【図６】方向（９）〜（１２）の各々についての広範囲エッジ指標の算出に用いられるフィルタ係数の一例を示す図である。
【図７】方向（１３）〜（１６）の各々についての広範囲エッジ指標の算出に用いられるフィルタ係数の一例を示す図である。
【図８】（ａ）〜（ｃ）は、狭範囲エッジ検出部における積和演算を示す図である。
【図９】方向（１）〜（８）の各々についての狭範囲エッジ指標の算出に用いられるフィルタ係数の一例を示す図である。
【図１０】方向（９）〜（１６）の各々についての狭範囲エッジ指標の算出に用いられるフィルタ係数の一例を示す図である。
【図１１】エッジ判定部で用いられる閾値を説明する図である。
【図１２】実施の形態１のエッジ判定部での判定に用いられる規則を示す図である。
【図１３】画素値補正部に入力される処理対象画素とその周辺の画素のデータを示す図である。
【図１４】（ａ）〜（ｃ）は、エッジ平滑化処理の概略を示す図である。
【図１５】図１の出力画素値算出部の構成例を示すブロック図である。
【図１６】図１５の画素値選択部による選択処理を示す図である。
【図１７】本発明の実施の形態２の画像処理装置の構成を示すブロック図である。
【図１８】図１７の出力画素値算出部の構成例を示すブロック図である。
【図１９】実施の形態２のエッジ判定部での判定に用いられる規則を示す図である。
【図２０】図１８の画素値選択部による選択処理を示す図である。
【図２１】本発明の実施の形態３の画像処理方法の処理手順を示すフローチャートである。
【図２２】図２１のエッジ判定の処理手順の具体例を示すフローチャートである。
【図２３】本発明の実施の形態４の画像処理方法の処理手順を示すフローチャートである。
【図２４】図２３のエッジ判定の処理手順の具体例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
実施の形態１．
図１は本発明の実施の形態１の画像処理装置１０の構成を示す。
図１に示される画像処理装置１０は、デジタルデータで表される入力画像に対して、エッジ部分を検出するものであり、一時記憶部１１、エッジ解析部２０及び画素値補正部３０を有する。
【００１３】
入力画像データＤｉｎはラスタスキャンの順に１ラインずつ一時記憶部１１に入力されて格納された後、所望のタイミングで読みだされ、出力される。一時記憶部１１は、複数ライン分、例えば１１ライン分の画像データを蓄え得るものである。
【００１４】
一時記憶部１１から出力された入力画像データＤ１１はエッジ解析部２０に送られ、エッジ解析部２０でエッジ方向ＥＧＤ及びエッジ判定結果ＥＪＲが求められる。エッジ方向ＥＧＤ及びエッジ判定結果ＤＪＲは、入力画像データＤ１１とともに画素値補正部３０に送られ、画素値補正部３０で出力画像データＤ３０が生成される。
【００１５】
エッジ解析部２０は、広範囲エッジ検出部２１、広範囲エッジ検出フィルタ係数保持部２２、ピーク強度算出部２３、狭範囲エッジ検出部２４、狭範囲エッジ検出フィルタ係数保持部２５、標準偏差算出部２６及びエッジ判定部２７を有する。
【００１６】
エッジ解析部２０に入力された入力画像データＤ１１中の処理対象画素とその周辺の画素のデータ（画素値を表すデータ）が、広範囲エッジ検出部２１、狭範囲エッジ検出部２４及び標準偏差算出部２６に送られる。
【００１７】
図２は、広範囲エッジ検出部２１、狭範囲エッジ検出部２４及び標準偏差算出部２６のそれぞれに送られる入力画像データ中の処理対象画素とその周辺の画素のデータを示す。
図２に示すように、広範囲エッジ検出部２１には、処理対象画素を中心にして、第１の範囲内の画素、例えば周辺の左右、上下５画素ずつの計１１×１１画素のデータが送られる。
【００１８】
狭範囲エッジ検出部２４には、処理対象画素を中心にして、上記第１の範囲よりも狭い第２の範囲内の画素、例えば、周辺の左右、上下１画素ずつの計３×３画素のデータが送られる。
標準偏差算出部２６には、処理対象画素を中心にして、第３の範囲内の画素、例えば、周辺の左右、上下１画素ずつの計３×３画素のデータが送られる。
【００１９】
広範囲エッジ検出部２１は、一時記憶部１１からの、上記の１１×１１画素のデータと、広範囲エッジ検出フィルタ係数保持部２２から供給される広範囲エッジ検出フィルタ係数ＫＷから、広範囲エッジ検出結果としての広範囲エッジ強度ＡＷｍｘ及び広範囲エッジ方向ｎｅを算出する。
【００２０】
広範囲エッジ検出部２１は、複数の、例えば１６個の方向（第１乃至第１６の方向）の各々についての広範囲エッジ指標を求めるものであり、上記の１１×１１画素の画素値と、複数組の、例えば１６組のフィルタ係数との積和演算を行って、１６個の積和演算結果を求め、それぞれの積和演算結果の絶対値を、それぞれの方向の広範囲エッジ指標ＡＷｎとして出力する。１６個の方向は、水平右方向を０度とし、０度方向から３３７．５度方向までの２２．５度刻みの方向である。
【００２１】
広範囲エッジ検出部２１による積和演算の概要を図３（ａ）〜（ｃ）に示す。
図３（ａ）は、処理対象画素（○印で示す）を中心とする１１×１１画素を示す。各画素の画素値は、処理対象画素の位置を原点とする座標（ｘ，ｙ）を用い、Ｐ（ｘ，ｙ）で表される。ｘの値は左右方向に１画素間隔を単位として変化し、ｙの値は上下方向に１画素間隔を単位として変化する。以下同様である。
【００２２】
図３（ｂ）は、その（１）〜（１６）に、第１乃至第１６の方向の各々の狭範囲エッジ指標ＡＮｍの算出に用いられる１６組のフィルタ係数ＫＷ１〜ＫＷ１６の概要を示す。
各組のフィルタ係数ＫＷｎ（ｎは１乃至１６のいずれか）は、図３（ａ）の１１×１１画素にそれぞれ対応する、１１×１１個のフィルタ係数（要素）を持つ。図３（ｂ）で、白色の部分は正の係数を、黒色の部分は負の係数を、ハッチングを施した部分は値が０の係数を示す。座標（ｘ，ｙ）の画素に対応するフィルタ係数の値はＫＷｎ（ｘ,ｙ）で表される。
【００２３】
図４〜図７は、それらの（１）〜（１６）に第１乃至第１６のフィルタ係数ＫＷ１〜ＫＷ１６の具体例を示す。各組のフィルタ係数は１１×１１の２次元マトリクスを構成し、各マスが、１１×１１画素範囲内の座標（ｘ，ｙ）に対応し、各マス内に記入された数値と各マトリクスの右側に記載された分数を掛けた値が、当該マスの位置に対応する座標（ｘ，ｙ）の画素の画素値に乗算される係数となる。各マス内の数値は相対的な大きさを表す整数であり、右側の分数を掛けるのは、組相互間で係数の絶対値の総和が同じ値、具体的には１となるようにするためである。座標（ｘ，ｙ）の画素に乗算される係数はＫＷｍ（ｘ，ｙ）で表される。
【００２４】
図３(ａ)に示される１１×１１画素の画素値と、図３（ｂ）の（１）〜（１６）、より具体的には、図４〜図７の（１）〜（１６）の各々に示される各組のフィルタ係数ＫＷｎ（ｘ,ｙ）とを用いて、図３（ｃ）に示すように、積和演算が行われる。積和演算は式（１）で表される。
【００２５】
【数１】
2014123247.tif 000003
【００２６】
式（１）において、
ＫＷｎ（ｘ，ｙ）は第ｎのフィルタ係数の組の座標（ｘ，ｙ）の係数の値を表す。ｎは１≦ｎ≦１６の範囲の整数である。
ＳＷｎは第ｎのフィルタ係数の組を用いたときの積和演算結果である。
【００２７】
広範囲エッジ検出部２１は、上記の積和演算処理で求められた、すべての方向ｎについての積和演算結果ＳＷｎの絶対値を、広範囲エッジ指標ＡＷｎとし、さらに、すべての方向ｎについての広範囲エッジ指標ＡＷｎのうちの最大値ＡＷｍｘ求めて、該最大値ＡＷｍｘを広範囲エッジ強度として出力する。
【００２８】
広範囲エッジ検出部２１はさらに、広範囲エッジ指標ＡＷｎが最大値となる方向を表すｎの値ｎｅを求めて、広範囲エッジ方向を表すデータとして出力する。
【００２９】
ピーク強度算出部２３は、広範囲エッジ検出部２１から、すべての方向ｎについての広範囲エッジ指標ＡＷｎと、広範囲エッジ強度ＡＷｍｘとを受け、すべての方向ｎについての広範囲エッジ指標の平均値ＡＷａｖを求め、さらに平均値ＡＷａｖに対する最大値ＡＷｍｘの比を求めてピーク強度ＰＲとして出力する。
平均値ＡＷａｖを求める演算は式（２Ａ）で表され、ピーク強度ＰＲを求める演算は式（２Ｂ）により表される。
【００３０】
【数２】
2014123247.tif 000004
【００３１】
狭範囲エッジ検出部２４は、一時記憶部１１からの、上記の３×３画素のデータと、狭範囲エッジ検出フィルタ係数保持部２５から供給される狭範囲エッジ検出フィルタ係数ＫＮから、狭範囲エッジ検出結果としての狭範囲エッジ強度ＡＮｍｘを算出する。
【００３２】
狭範囲エッジ検出部２４は、複数の、例えば１６個の方向（第１乃至第１６の方向）の各々についての狭範囲エッジ指標を求めるものであり、上記の３×３画素の画素値と、複数組の、例えば１６組のフィルタ係数との積和演算を行って、１６個の積和演算結果を求め、それぞれの積和演算結果の絶対値を、それぞれの方向の狭範囲エッジ指標ＡＮｍとして出力する。１６個の方向は、水平右方向を０度とし、０度方向から３３７．５度方向までの２２．５度刻みの方向である。
【００３３】
狭範囲エッジ検出部２４による積和演算の概要を図８（ａ）〜（ｃ）に示す。
図８（ａ）は、処理対象画素（○印で示す）を中心とする３×３画素を示す。各画素の画素値は、処理対象画素の位置を原点とする座標（ｘ，ｙ）を用い、Ｐ（ｘ，ｙ）で表される。
【００３４】
図８（ｂ）は、その（１）〜（１６）に、第１乃至第１６の方向の各々の狭範囲エッジ指標ＡＮｍの算出に用いられる１６組のフィルタ係数ＫＮ１〜ＫＮ１６の概要を示す。
各組のフィルタ係数ＫＮｍ（ｍは１乃至１６のいずれか）は、図８（ａ）の３×３画素にそれぞれ対応する、３×３個のフィルタ係数を持つ。図８（ｂ）で白色の部分は正の係数を、黒色の部分は負の係数を、ハッチングを施した部分は値が０の係数を示す。
【００３５】
図９及び図１０は、それらの（１）〜（１６）に第１乃至第１６のフィルタ係数ＫＮ１〜ＫＮ１６の具体例を示す。各組のフィルタ係数は３×３の２次元マトリクスを構成し、各マスが、３×３画素範囲内の座標（ｘ，ｙ）に対応し、各マス内に記入された数値と各マトリクスの右側に記載された分数を掛けた値が、当該マスの位置に対応する座標（ｘ，ｙ）の画素の画素値に乗算される係数となる。各マス内の数値は相対的な大きさを表す整数であり、右側の分数を掛けるのは、組相互間で係数の絶対値の総和が同じ値、具体的には１となるようにするためである。座標（ｘ，ｙ）の画素に乗算される係数はＫＮｍ（ｘ，ｙ）で表される。
【００３６】
図８(ａ)に示される３×３画素の画素値と、図８（ｂ）の（１）〜（１６）、より具体的には、図９及び図１０の（１）〜（１６）の各々に示される各組のフィルタ係数ＫＮｍ（ｘ,ｙ）とを用いて、図８（ｃ）に示すように、積和演算が行われる。積和演算は式（３）で表される。
【００３７】
【数３】
2014123247.tif 000005
【００３８】
式（３）において、
ＫＮｍ（ｘ，ｙ）は第ｍのフィルタ係数の組の座標（ｘ，ｙ）の係数の値を表す。ｍは１≦ｍ≦１６の範囲の整数である。
ＳＮｍは第ｍのフィルタ係数の組を用いたときの積和演算結果である。
【００３９】
狭範囲エッジ検出部２４は、上記の積和演算処理で求められた、すべての方向ｍについての積和演算結果ＳＮｍの絶対値を、狭範囲エッジ指標ＡＮｍとし、さらに、すべての方向ｍについての狭範囲エッジ指標ＡＮｍのうちの最大値ＡＮｍｘを求めて、該最大値ＡＮｍｘを狭範囲エッジ強度として出力する。
【００４０】
標準偏差算出部２６は、一時記憶部１１からの、上記の３×３画素の範囲内の画素のデータから標準偏差ＳＤを算出する。標準偏差ＳＤは、下記の式（４）で求められる。
【００４１】
【数４】
2014123247.tif 000006
【００４２】
式（４）において、Ｐａｖａは、画素値Ｐ(ｘ，ｙ)の、３×３画素の範囲にわたる平均値であり、下記の式（５）で求められる。
【００４３】
【数５】
2014123247.tif 000007
【００４４】
エッジ判定部２７は、広範囲エッジ検出部２１からの広範囲エッジ検出結果としての広範囲エッジ強度ＡＷｍｘ及び広範囲エッジ方向ｎｅと、ピーク強度算出部２３からのピーク強度ＰＲと、狭範囲エッジ検出部２４からの狭範囲エッジ検出結果としての狭範囲エッジ強度ＡＮｍｘと、標準偏差算出部２６からの標準偏差ＳＤとに基づいて、処理対象画素がエッジ箇所にあるか、平坦な箇所にあるか、それら以外の箇所にあるかの判定を行って、この判定の結果をエッジ判定結果ＥＪＲとして出力するとともに、エッジ箇所にあると判定した場合には、エッジの方向を示すデータＥＧＤも出力する。
【００４５】
エッジ判定結果ＥＪＲの生成のため、エッジ判定部２７は、広範囲エッジ強度ＡＷｍｘ、狭範囲エッジ強度ＡＮｍｘ、標準偏差ＳＤ及びピーク強度ＰＲと、それぞれの閾値ＡＷｔｈ、ＡＮｔｈ、ＳＤｔｈ、ＰＲｔｈとの比較を行う。比較に用いられる閾値を図１１に示し、判定で用いられる規則を図１２に示す。
【００４６】
エッジ判定部２７による判定の方法について図１２を参照して説明する。
最初に、広範囲エッジ強度ＡＷｍｘが広範囲エッジ強度閾値ＡＷｔｈ未満の場合には、エッジ箇所ではなく、平坦箇所及びその他の箇所のいずれかであると判定する。これは、処理対象画素を中心にして広い範囲を参照したときに、エッジ強度が十分大きくないためエッジと判定しないようにしている。
この場合、標準偏差ＳＤを参照し、標準偏差ＳＤが標準偏差閾値ＳＤｔｈ未満の場合には、平坦箇所と判定し、標準偏差ＳＤが標準偏差閾値ＳＤｔｈ以上の場合には、その他の箇所と判定する。
【００４７】
次に、広範囲エッジ強度ＡＷｍｘが広範囲エッジ強度閾値ＡＷｔｈ以上の場合には、狭範囲エッジ強度ＡＮｍｘを参照する。狭範囲エッジ強度ＡＮｍｘが狭範囲エッジ強度閾値ＡＮｔｈ未満の場合には、エッジ箇所と判定する。この場合は、処理対象画素を中心にして広い範囲を参照したときにエッジ強度が十分大きく、かつ狭い範囲を参照したときにエッジ強度が小さい状態であり、エッジ箇所と判定してエッジ平滑化処理を行うことで、狭い範囲でのエッジを強調するように作用する。
【００４８】
さらに、広範囲エッジ強度ＡＷｍｘが広範囲エッジ強度閾値ＡＷｔｈ以上で、かつ狭範囲エッジ強度ＡＮｍｘが狭範囲エッジ強度閾値ＡＮｔｈ以上の場合には、ピーク強度ＰＲを参照して、エッジ箇所か否かを判定する。ピーク強度ＰＲがピーク強度閾値ＰＲｔｈ以上の場合には、エッジ箇所と判定する。一方、ピーク強度ＰＲがピーク強度閾値ＰＲｔｈ未満の場合には、標準偏差ＳＤを参照して平坦箇所かその他の箇所であるかを判定する。即ち、標準偏差ＳＤが標準偏差閾値ＳＤｔｈ未満の場合には平坦箇所と判定し、標準偏差閾値ＳＤｔｈ以上の場合にはその他の箇所と判定する。
【００４９】
エッジ判定部２７は、上記のようにして得られた判定の結果ＥＪＲを出力する。
エッジ判定部２７はさらに、上記のエッジ判定により、エッジ箇所と判定した場合には、広範囲エッジ検出結果のエッジ方向（広範囲エッジ方向）ｎｅを、そのまま当該処理対象画素についてのエッジ方向ＥＧＤとして出力する。
判定の結果ＥＪＲ及びエッジ方向ＥＧＤは、画素値補正部３０に伝えられる。
【００５０】
画素値補正部３０は、エッジ平滑化処理部３１、エッジ平滑化フィルタ係数保持部３２、平均画素値算出部３３及び出力画素値算出部３４を有する。
画素値補正部３０では、入力画像データＤ１１中の処理対象画素とその周辺の画素のデータが、エッジ平滑化処理部３１、平均画素値算出部３３及び出力画素値算出部３４に送られる。
【００５１】
図１３は、エッジ平滑化処理部３１、平均画素値算出部３３及び出力画素値算出部３４のそれぞれに送られる入力画像データ中の処理対象画素とその周辺の画素のデータを示す。
図１３に示すように、エッジ平滑化処理部３１には、処理対象画素を中心にして第４の範囲内の画素、例えば周辺の左右、上下１画素ずつの計３×３画素のデータが送られる。
図１３に示すように、平均画素値算出部３３には、処理対象画素を中心にして第５の範囲内の画素、例えば周辺の左右、上下１画素ずつの計３×３画素のデータが送られる。
出力画素値算出部３４には、処理対象画素のみが送られる。
【００５２】
エッジ平滑化処理部３１は、一時記憶部１１からの、上記の３×３の範囲（第４の範囲）の画素の画素値と、エッジ平滑化フィルタ係数保持部３２から供給される、エッジ平滑化フィルタ係数ＫＳと、エッジ判定部２７から供給されるエッジ方向ｎｅに基づいて、エッジ平滑化結果ＳＳを算出する。
【００５３】
エッジ平滑化処理部３１は、エッジ平滑化フィルタ係数保持部３２から供給される複数組の、例えば１６組のエッジ平滑化フィルタ係数ＫＳ１〜ＫＳ１６のうちの、エッジ方向ｎｅに対応するものＫＳｎｅを選択し、一時記憶部１１からの３×３画素の画素値と、選択されたフィルタ係数ＫＳｎｅとの積和演算を行って、積和演算結果を、エッジ平滑化結果（エッジ平滑化画素値）ＳＳとして出力する。
【００５４】
１６組のエッジ平滑化フィルタ係数ＫＳ１〜ＫＳ１６は、それぞれ１６個の方向（第１乃至第１６の方向）での平滑化を行うためのものである。
１６個の方向は、水平右方向を０度とし、０度方向から３３７．５度方向までの２２．５度刻みの方向であり、広範囲エッジ検出部２１で、広範囲エッジ検出フィルタ係数ＫＷ１〜ＫＷ１６を用いて算出されるそれぞれの広範囲エッジ指標ＡＷｎの方向ｎと同じである。
【００５５】
エッジ平滑化処理部３１による積和演算処理の概要を図１４（ａ）〜（ｃ）に示す。
図１４（ａ）は、処理対象画素（○印で示す）を中心とする３×３画素を示す。各画素の画素値は、処理対象画素の位置を原点とする座標（ｘ，ｙ）を用い、Ｐ（ｘ，ｙ）で表される。
【００５６】
図１４（ｂ）は、その（１）〜（１６）に、第１乃至第１６の方向のエッジ平滑化処理に用いられるフィルタ係数ＫＳ１〜ＫＳ１６の例を示す。
各組のフィルタ係数ＫＳｎ（ｎは１乃至１６のいずれか）は、図１４（ａ）の３×３画素にそれぞれ対応する、３×３個のフィルタ係数を持つ。図１４（ｂ）で、黒丸の部分は値が１／３であるフィルタ係数を表し、無印の部分は値が０のフィルタ係数を表す。座標（ｘ，ｙ）の画素に対応するフィルタ係数の値はＫＳｎ（ｘ,ｙ）で表される。
【００５７】
図１４(ａ)に示される３×３画素の画素値と、図１４（ｂ）の（１）〜（１６）に示される１６組のフィルタ係数ＫＳ１（ｘ,ｙ）〜ＫＳ１６（ｘ,ｙ）のうちの選択されたもの、即ち検出されたエッジの方向に対応する第ｎｅの組のフィルタ係数ＫＳｎｅ（ｘ,ｙ）とを用いて、図１４（ｃ）に示すように、積和演算が行われる。積和演算は式（６）で表される。
【００５８】
【数６】
2014123247.tif 000008
【００５９】
式（６）において、
ＫＳｎｅ（ｘ，ｙ）は第ｎｅのエッジ平滑化フィルタ係数の組の、座標（ｘ，ｙ）の係数の値を表している。ｎｅは１≦ｎｅ≦１６の範囲内の整数である。
ＳＳは積和演算結果であり、この値がエッジ平滑化結果となる。
【００６０】
平均画素値算出部３３は、一時記憶部１１からの、上記の３×３画素のデータの平均値Ｐａｖｂを算出し、算出した平均値を、二次元平滑化結果Ｐａｖｂとして出力する。平均値の算出は上記の式（５）と同様の下記の式（７）、即ち、式（５）のＰａｖａをＰａｖｂで置き換えた式で表される。
【００６１】
【数７】
2014123247.tif 000009
【００６２】
出力画素値算出部３４は、図１５に示すように、画素値選択部３４１と画素値合成部３４２を有する。
画素値選択部３４１は、エッジ判定部２７からのエッジ判定結果ＥＪＲを参照して、エッジ平滑化結果ＳＳ、二次元平滑化結果Ｐａｖｂ、及び処理対象画素の画素値Ｐｏｒｇのいずれかを選択して中間出力画素値Ｐｍｉｄとして出力する。選択の規則は図１６に示されている。即ち、エッジ判定結果ＥＪＲがエッジ箇所であることを示す場合にはエッジ平滑化結果ＳＳが選択され、エッジ判定結果ＥＪＲが平坦箇所を示す場合には二次元平滑化結果Ｐａｖｂが選択され、エッジ判定結果ＥＪＲがその他の箇所を示す場合には処理対象画素の画素値Ｐｏｒｇが選択される。
【００６３】
画素値合成部３４２は、中間出力画素値Ｐｍｉｄと、処理対象画素の画素値Ｐｏｒｇとを、式（８）に従って合成乃至混合し、出力画素値Ｐｏｕｔを求めて出力する。式（８）中のＳｔｒは出力画素値の合成比率（混合比）を表す。この合成比率Ｓｔｒの値は０〜１の間の値であり、予め定められ、或いは入力画像の特徴に応じて逐次定められる。
【００６４】
【数８】
2014123247.tif 000010
【００６５】
上記のようにして求められた出力画素値Ｐｏｕｔを表す出力画像データＤ３０が画素値補正部３０から出力される。
【００６６】
以上のように、広範囲エッジ強度、狭範囲エッジ強度、標準偏差及びピーク強度を参照することで、処理対象画素がエッジ箇所、平坦箇所及びそれら以外の箇所のいずれにあるかの判定を、少ない誤りで実現することができる。
【００６７】
そして、判定結果に従ってエッジ平滑化処理又は二次元平滑化処理を行い、あるいはいずれの平滑化も行わないことで、エッジ平滑化処理によってエッジが無い箇所の画質が劣化する、あるいは二次元平滑化処理によってエッジが有る箇所のエッジが鈍るといった問題を発生させることなく、エッジ平滑化処理を実現することができる。
【００６８】
実施の形態２．
図１７は本発明の実施の形態２の画像処理装置１５の構成を示す。
図１７に示される画像処理装置１５は、図１に示される画像処理装置１０と概して同じであるが、図１のエッジ解析部２０及び画素値補正部３０の代わりに、エッジ解析部２０ｂ及び画素値補正部３０ｂが設けられている点で異なる。
【００６９】
エッジ解析部２０ｂは、図１のエッジ解析部２０と概して同じであるが、標準偏差算出部２６が除去され、エッジ判定部２７の代わりに、エッジ判定部２７ｂが設けられている点で異なる。
エッジ解析部２０ｂの広範囲エッジ検出部２１、広範囲エッジ検出フィルタ係数保持部２２、ピーク強度算出部２３、狭範囲エッジ検出部２４及び狭範囲エッジ検出フィルタ係数保持部２５の動作は、実施の形態１と同様である。
【００７０】
実施の形態１では、エッジ判定部２７が図１２に示される規則に従ってエッジ箇所、平坦箇所及びその他の箇所のいずれであるかの判定をしているが、実施の形態２のエッジ判定部２７ｂは、図１９に示される規則に従ってエッジ箇所及びエッジ以外の箇所のいずれであるかの判定を行う。
【００７１】
エッジ判定部２７ｂによる判定の方法について図１９を参照して説明する。
最初に、広範囲エッジ強度ＡＷｍｘが広範囲エッジ強度閾値ＡＷｔｈ未満の場合には、エッジ以外の箇所であると判定する。これは、処理対象画素を中心にして広い範囲を参照したときに、エッジ強度が十分大きくないためエッジと判定しないようにしている。
【００７２】
次に、広範囲エッジ強度ＡＷｍｘが広範囲エッジ強度閾値ＡＷｔｈ以上の場合には、狭範囲エッジ強度ＡＮｍｘを参照する。狭範囲エッジ強度ＡＮｍｘが狭範囲エッジ強度閾値ＡＮｔｈ未満の場合には、エッジ箇所と判定する。この場合は、処理対象画素を中心にして広い範囲を参照したときにエッジ強度が十分大きく、かつ狭い範囲を参照したときにエッジ強度が小さい状態であり、エッジ箇所と判定してエッジ平滑化処理を行うことで、狭い範囲でのエッジを強調するように作用する。
【００７３】
最後に、広範囲エッジ強度ＡＷｍｘが広範囲エッジ強度閾値ＡＷｔｈ以上で、かつ狭範囲エッジ強度ＡＮｍｘが狭範囲エッジ強度閾値ＡＮｔｈ以上の場合には、ピーク強度ＰＲを参照して、エッジ箇所か否かを判定する。ピーク強度ＰＲがピーク強度閾値ＰＲｔｈ以上の場合には、エッジ箇所と判定する。一方、ピーク強度ＰＲがピーク強度閾値ＰＲｔｈ未満の場合にはエッジ以外の箇所と判定する。
【００７４】
エッジ判定部２７ｂは、上記のようにして得られた判定の結果を出力する。
エッジ判定部２７ｂはさらに、上記のエッジ判定により、エッジ箇所と判定した場合には、広範囲エッジ検出結果のエッジ方向（広範囲エッジ方向）ｎｅを、そのまま当該処理対象画素についてのエッジ方向ＥＧＤとして出力する。
【００７５】
図１７の画素値補正部３０ｂは、図１の画素値補正部３０と概して同じであるが、平均画素値算出部３３が除去されており、出力画素値算出部３４の代わりに、出力画素値算出部３４ｂが設けられている。
画素値補正部３０ｂのエッジ平滑化処理部３１及びエッジ平滑化フィルタ係数保持部３２の動作は、実施の形態１と同様である。
【００７６】
出力画素値算出部３４ｂは、図１８に示すように、画素値選択部３４１ｂと画素値合成部３４２を有する。出力画素値算出部３４ｂは出力画素値算出部３４と概して同じであるが、画素値選択部３４１の代わりに画素値選択部３４１ｂが設けられている。
実施の形態１の画素値選択部３４１は、図１６に示される規則に従って、エッジ平滑化結果、平均画素値算出結果及び処理対象画素のいずれか一つを選択して中間出力画素値Ｐｍｉｄとして出力しているが、実施の形態２の画素値選択部３４１ｂは、図２０に示される規則に従ってエッジ平滑化結果及び処理対象画素のいずれか一つを選択して中間出力画素値Ｐｍｉｄとして出力する。
即ち、画素値選択部３４１ｂは、エッジ判定部２７ｂからのエッジ判定結果ＥＪＲｂを参照して、エッジ判定結果ＥＪＲｂがエッジ箇所であることを示す場合にはエッジ平滑化結果ＳＳを、エッジ判定結果ＥＪＲｂがその他の箇所（エッジ箇所以外の箇所）であることを示す場合には処理対象画素の画素値Ｐｏｒｇを選択して中間出力画素値Ｐｍｉｄとして出力する。
【００７７】
図１８に示される画素値合成部３４２の動作は、図１５に示される、実施の形態１の画素値合成部３４２の動作と同様である。
【００７８】
上記のようにして求められた出力画素値Ｐｏｕｔを表す出力画像データＤ３０が画素値補正部３０から出力される。
【００７９】
以上のように、広範囲エッジ強度、狭範囲エッジ強度及びピーク強度を参照することで、処理対象画素がエッジ箇所、及びエッジ以外の箇所のいずれにあるかの判定を、少ない誤りで実現することができる。
【００８０】
そして、判定結果に従ってエッジ平滑化処理を行うか否かを選択することで、エッジ平滑化処理によってエッジが無い箇所の画質が劣化するような問題を発生させることなく、エッジ平滑化処理を実現することができる。
【００８１】
実施の形態３．
実施の形態１及び２では、本発明を画像処理装置として説明したが、上記の画像処理装置で実施される画像処理方法も本発明の一部を成す。
図２１は本発明の実施の形態３の画像処理方法の処理手順を示す。
【００８２】
図２１において、画像データ入力ステップＳＴ１０では、入力画像データを入力し、一時記憶部１１に書き込む。一時記憶部１１に書き込まれたデータは以下に説明するステップＳＴ１１、ＳＴ１４、ＳＴ１６〜ＳＴ１９で、処理対象画素及びその周辺の画素の画素値を表すデータとして利用される。
【００８３】
広範囲エッジ検出ステップＳＴ１１では、処理対象画素を中心とする第１の範囲、例えば１１×１１画素の範囲内の画素の画素値と、複数組の、例えば１６組の広範囲エッジ検出フィルタ係数ＫＷ１〜ＫＷ１６とを用いた積和演算を行うことで、１６個の方向ｎ（ｎ＝１〜１６）の各々について積和演算結果ＳＷ１〜ＳＷ１６を求める。
積和演算処理の概要は図３（ａ）〜（ｃ）に示す通りである。
【００８４】
広範囲エッジ検出ステップＳＴ１１ではさらに、それぞれの方向についての積和演算結果ＳＷｎの絶対値ＡＷｎを、それぞれの方向についての広範囲エッジ指標として求め、これらの広範囲エッジ指標ＡＷｎのうちの最大のものを、広範囲エッジ強度ＡＷｍｘとして出力するとともに、対応する方向ｎをエッジ方向ｎｅとして出力する。
ステップＳＴ１１の処理の内容は図１の広範囲エッジ検出部２１による処理と同じである。
【００８５】
ピーク強度算出ステップＳＴ１２では、ステップＳＴ１１で算出した１６個の広範囲エッジ指標ＡＷ１〜ＡＷ１６、及び広範囲エッジ強度ＡＷｍｘを用いて、先に示した式（２Ａ）及び式（２Ｂ）に従ってピーク強度ＰＲを算出する。
ピーク強度算出ステップＳＴ１２の処理は、ピーク強度算出部２３による処理と同じである。
【００８６】
狭範囲エッジ検出ステップＳＴ１３では、処理対象画素を中心とする第２の範囲、例えば３×３の画素の範囲内の画素の画素値と、複数組の、例えば１６組の狭範囲エッジ検出フィルタ係数ＫＮ１〜ＫＮ１６とを用いた積和演算を行うことで、１６個の方向ｍ（ｍ＝１〜１６）の各々について積和演算結果ＳＮ１〜ＳＮ１６を求める。
積和演算処理の概要は図８(ａ)〜（ｃ）に示す通りである。
【００８７】
狭範囲エッジ検出ステップＳＴ１３ではさらに、それぞれの方向についての積和演算結果ＳＮｍの絶対値ＡＮｍを、それぞれの方向についての狭範囲エッジ指標として求め、これらの狭範囲エッジ指標ＡＮｍのうちの最大のものを、狭範囲エッジ強度ＡＮｍｘとして出力する。
ステップＳＴ１３の処理の内容は図１の狭範囲エッジ検出部２４による処理と同じである。
【００８８】
標準偏差算出ステップＳＴ１４では、処理対象画素を中心とする第３の範囲、例えば周辺の３×３画素の範囲内の画素の画素値から標準偏差ＳＤを算出する。
標準偏差ＳＤは、上記式（４）及び式（５）で求められる。
標準偏差算出ステップＳＴ１４の処理は、標準偏差算出部２６による処理と同じである。
【００８９】
エッジ判定ステップＳＴ１５では、ステップＳＴ１１で算出した広範囲エッジ検出結果（広範囲エッジ強度ＡＷｍｘ及びエッジ方向ｎｅ）と、ステップＳＴ１２で算出したピーク強度ＰＲと、ステップＳＴ１３で算出した狭範囲エッジ検出結果（狭範囲エッジ強度ＡＮｍｘ）と、ステップＳＴ１４で算出した標準偏差ＳＤに基づいて、エッジ判定結果ＥＪＲ及びエッジ方向ＥＧＤを算出する。
エッジ判定ステップＳＴ１５の処理は、エッジ判定部２７による処理と同じであり、図１１に示される閾値を用い、図１２に示される規則に従って判定が行われる。
【００９０】
ステップＳＴ１５における判定の手順について図２２を参照してさらに詳しく説明する。
最初に、広範囲エッジ強度ＡＷｍｘと広範囲エッジ強度閾値ＡＷｔｈを比較し（ＳＴ１０１）、広範囲エッジ強度ＡＷｍｘが広範囲エッジ強度閾値ＡＷｔｈ未満（ＳＴ１０１でＮＯ）の場合には、エッジ箇所ではなく、平坦箇所及びその他の箇所のいずれかであると判定する（ＳＴ１０２）。
この場合、標準偏差ＳＤを標準偏差閾値ＳＤｔｈと比較し（ＳＴ１０３）、標準偏差ＳＤが標準偏差閾値ＳＤｔｈ未満（ＳＴ１０３でＮＯ）の場合には、平坦箇所と判定し（ＳＴ１０４）、標準偏差ＳＤが標準偏差閾値ＳＤｔｈ以上（ＳＴ１０３でＹＥＳ）の場合には、その他の箇所（エッジ箇所及び平坦箇所のいずれでもない）と判定する（ＳＴ１０５）。
【００９１】
ステップＳＴ１０１で広範囲エッジ強度ＡＷｍｘが広範囲エッジ強度閾値ＡＷｔｈ以上（ＳＴ１０１でＹＥＳ）の場合には、狭範囲エッジ強度ＡＮｍｘを狭範囲エッジ強度閾値ＡＮｔｈと比較し（ＳＴ１０６）、狭範囲エッジ強度ＡＮｍｘが狭範囲エッジ強度閾値ＡＮｔｈ未満（ＳＴ１０６でＮＯ）の場合には、エッジ箇所と判定する（ＳＴ１０７）。
【００９２】
ステップＳＴ１０６で狭範囲エッジ強度ＡＮｍｘが狭範囲エッジ強度閾値ＡＮｔｈ以上（ＳＴ１０６でＹＥＳ）の場合には、ピーク強度ＰＲをピーク強度閾値ＰＲｔｈと比較し（ＳＴ１０８）、ピーク強度ＰＲがピーク強度閾値ＰＲｔｈ以上（ＳＴ１０８でＹＥＳ）の場合には、エッジ箇所と判定する（ＳＴ１０７）。一方、ピーク強度ＰＲがピーク強度閾値ＰＲｔｈ未満（ＳＴ１０８でＮＯ）の場合には、ステップＳＴ１０２に進み、平坦箇所又はその他の箇所と判定した後、ステップＳＴ１０３に進み、標準偏差ＳＤを標準偏差閾値ＳＤｔｈと比較する（ＳＴ１０３）。即ち、標準偏差ＳＤが標準偏差閾値ＳＤｔｈ未満（ＳＴ１０３でＮＯ）の場合には平坦箇所と判定し（ＳＴ１０４）、標準偏差閾値ＳＤｔｈ以上（ＳＴ１０３でＹＥＳ）の場合にはその他の箇所と判定する（ＳＴ１０５）。
【００９３】
ステップＳＴ１０７で、エッジ箇所との判断をした場合には、ステップＳＴ１０９に進み、広範囲エッジ検出結果のエッジ方向（広範囲エッジ方向）ｎｅを、そのままエッジ方向ＥＧＤとして出力する。
【００９４】
図２１に戻り、エッジ平滑化処理ステップＳＴ１６では、ステップＳＴ１５で求められたエッジ方向ｎｅに基づいて、対応するエッジ平滑化フィルタ係数ＫＳｎｅを選択し、選択したエッジ平滑化フィルタ係数ＫＳｎｅと、処理対象画素を中心とする第４の範囲、例えば３×３画素の範囲内の画素の画素値とを積和演算することで、エッジ平滑化結果を算出する。
積和演算処理の概要は図１４（ａ）〜（ｃ）に示す通りであり、
ステップＳＴ１６の処理は、図１のエッジ平滑化処理部３１による処理と同じである。
【００９５】
平均画素値算出ステップＳＴ１７では、処理対象画素を中心とする第５の範囲、例えば３×３画素の範囲内の画素の画素値の平均値Ｐａｖｂを算出し、この平均値を二次元平滑化結果として出力する。
ステップＳＴ１７の処理は、図１の平均画素値算出部３３による処理と同じである。
【００９６】
画素値選択ステップＳＴ１８では、ステップＳＴ１５で求められたエッジ判定結果ＥＪＲを参照して、エッジ判定結果ＥＪＲがエッジ箇所の場合はステップＳＴ１６で算出したエッジ平滑化結果を、平坦箇所の場合はステップＳＴ１７で算出した二次元平滑化結果Ｐａｖｂを、その他の箇所の場合には処理対象画素の画素値Ｐｏｒｇを選択して中間出力画素値Ｐｍｉｄとして出力する。
画素値選択ステップＳＴ１８における選択は、図１６に示す通りであり、画素値選択ステップＳＴ１８の処理は、図１５の画素値選択部３４１による処理と同じである。
【００９７】
画素値合成ステップＳＴ１９では、中間出力画素値Ｐｍｉｄと、処理対象画素の画素値Ｐｏｒｇとを合成比率Ｓｔｒ：（１−Ｓｔｒ）で合成して出力画素値Ｐｏｕｔを求める。
合成は式（８）で表される。
画素値合成ステップＳＴ１９の処理は、図１５の画素値合成部３４２による処理と同じである。
ステップＳＴ２０では、出力画素値Ｐｏｕｔを表す画像データＤ３０を出力する。
【００９８】
以上説明した、図２１の処理手順を実行することで、入力画像中の処理対象画素とその周辺画素から、エッジが滑らかになるように補正された出力画素を算出生成することができる。
【００９９】
以上のように、広範囲エッジ強度、狭範囲エッジ強度、標準偏差及びピーク強度を参照することで、処理対象画素がエッジ箇所、エッジ以外の箇所のいずれにあるかの判定を、少ない誤りで実現することができる。
【０１００】
そして、判定結果に従ってエッジ平滑化処理又は二次元平滑化処理を行い、あるいはいずれの平滑化も行わないことで、エッジ平滑化処理によってエッジが無い箇所の画質が劣化する、あるいは二次元平滑化処理によってエッジが有る箇所のエッジが鈍るといった問題を発生させることなく、エッジ平滑化処理を実現することができる。
【０１０１】
実施の形態４．
図２３は本発明の実施の形態４の画像処理方法の処理手順を示す。
図２３の画像処理方法は、図２１に示した実施の形態３の画像処理方法に対して、標準偏差算出ステップＳＴ１４と平均画素値算出ステップＳＴ１７が取り除かれていること、及びエッジ判定ステップＳＴ１５及び画素値選択ステップＳＴ１８がエッジ判定ステップＳＴ１５ｂ及び画素値選択ステップＳＴ１８ｂに置き換わっている点で異なる。
ステップＳＴ１０からステップＳＴ１３までの処理内容は実施の形態３と同様である。
【０１０２】
実施の形態３ではエッジ判定ステップＳＴ１５において、図１２に示される規則に従ってエッジ箇所、平坦箇所及びその他の箇所のいずれであるかの判定をしているが、実施の形態４のエッジ判定ステップＳＴ１５ｂでは、図１９に示される規則に従ってエッジ箇所及びエッジ以外のいずれであるかの判定を行う。
エッジ判定ステップＳＴ１５ｂにおける処理は、実施の形態２のエッジ判定部２７ｂによる処理と同じである。
【０１０３】
ステップＳＴ１５ｂにおける判定の手順について図２４を参照してさらに詳しく説明する。
最初に、広範囲エッジ強度ＳＷｍｘを広範囲エッジ強度閾値ＡＷｔｈと比較し（ＳＴ１０１）、広範囲エッジ強度ＡＷｍｘが広範囲エッジ強度閾値ＡＷｔｈ未満（ＳＴ１０１でＮＯ）の場合には、その他の箇所（エッジ以外の箇所）であると判定する（ＳＴ１０２ｂ）。
【０１０４】
ステップＳＴ１０１で広範囲エッジ強度ＡＷｍｘが広範囲エッジ強度閾値ＡＷｔｈ以上（ＳＴ１０１でＹＥＳ）の場合には、狭範囲エッジ強度ＡＮｍｘを狭範囲エッジ強度閾値ＡＮｔｈと比較し（ＳＴ１０６）、狭範囲エッジ強度ＡＮｍｘが狭範囲エッジ強度閾値ＡＮｔｈ未満（ＳＴ１０６でＮＯ）の場合には、エッジ箇所と判定する（ＳＴ１０７）。
【０１０５】
ステップＳＴ１０６で狭範囲エッジ強度ＡＮｍｘが狭範囲エッジ強度閾値ＡＮｔｈ以上（ＳＴ１０６でＹＥＳ）の場合には、ピーク強度ＰＲをピーク強度閾値ＰＲｔｈと比較し（ＳＴ１０８）、ピーク強度ＰＲがピーク強度閾値ＰＲｔｈ以上（ＳＴ１０８でＹＥＳ）の場合には、エッジ箇所と判定（ＳＴ１０７）。一方、ピーク強度ＰＲがピーク強度閾値ＰＲｔｈ未満（ＳＴ１０８でＮＯ）の場合にはエッジ以外の箇所と判定する（ＳＴ１０２）。
【０１０６】
ステップＳＴ１０７で、エッジ箇所との判断をした場合には、ステップＳＴ１０９に進み、広範囲エッジ検出結果のエッジ方向（広範囲エッジ方向）ｎｅを、そのままエッジ方向ＥＧＤとして出力する。
【０１０７】
エッジ平滑化処理ステップＳＴ１６の処理内容は、実施の形態３のエッジ平滑化処理ステップＳＴ１６と同様である。
【０１０８】
実施の形態３では画素値選択ステップＳＴ１８において、図１６に示される規則に従ってエッジ平滑化結果、平均画素値算出結果及び処理対象画素のいずれか一つを選択して中間出力画素値Ｐｍｉｄとして出力しているが、実施の形態４の画素値選択ステップＳＴ１８ｂでは、図２０に示される規則に従ってエッジ平滑化結果及び処理対象画素のいずれか一つを選択して中間出力画素値Ｐｍｉｄとして出力する。
【０１０９】
画素値合成ステップＳＴ１９及び画像データ出力ステップＳＴ２０は、図２２の同じ符号のステップと同じである。
【０１１０】
以上のように、広範囲エッジ強度、狭範囲エッジ強度及びピーク強度を参照することで、処理対象画素がエッジ箇所及びエッジ以外の箇所のいずれにあるかの判定を、少ない誤りで実現することができる。
【０１１１】
そして、判定結果に従ってエッジ平滑化処理を行うか否かの選択することで、エッジ平滑化処理によってエッジが無い箇所の画質が劣化するような問題を発生させることなく、エッジ平滑化処理を実現することができる。
【０１１２】
変形例．
なお、上記の実施の形態１及び２では、広範囲エッジ検出部２１でエッジ指標を算出する方向の数と、狭範囲エッジ検出部２４でエッジ指標を算出する方向の数がともに１６であるが、本発明はこれに限定されず、該方向の数が互いに異なっていても良い。エッジ指標を算出する方向の数は、斜め方向が含まれることになる８以上であれば本発明の効果が発揮される。
【０１１３】
また、実施の形態１及び２の広範囲エッジ検出部２１による広範囲エッジ強度ＡＷｍｘ、及び広範囲エッジ方向ｎｅの算出に処理対象画素の周辺１１×１１画素の範囲内の画素を参照しているが、参照される範囲は１１×１１画素の範囲に限定されない。
【０１１４】
一般化して言えば、広範囲エッジ検出部２１は、一時記憶部１１から出力される入力画像Ｄ１１中の処理対象画素を中心とする、第１の範囲内の画素の画素値に基づいて、Ｎ個（Ｎは８以上の整数）の方向の各々について広範囲エッジ指標ＡＷｎを算出し、さらに、算出されたＮ個の方向の各々についての広範囲エッジ指標のうちの最大のものを検出して、広範囲エッジ強度（第１のエッジ強度）ＡＷｍｘとして出力するとともに、広範囲エッジ指標ＡＷｎが最大となる方向を広範囲エッジ方向（第１のエッジ方向）ｎｅとして出力するものであれば良い。
【０１１５】
この場合、ピーク強度算出部２３は、広範囲エッジ検出部２１で算出されたＮ個の方向についての広範囲エッジ指標ＡＷｎの平均値ＡＷａｖを算出し、上記広範囲エッジ強度ＡＷｍｘの、上記平均値ＡＷａｖに対する比をピーク強度ＰＲとして算出する。
【０１１６】
同様に、実施の形態１及び２の狭範囲エッジ検出部２４による狭範囲エッジ指標の算出に処理対象画素の周辺３×３画素の範囲内の画素を参照しているが、参照される範囲は３×３画素の範囲に限定されず、広範囲エッジ検出部２１で参照される範囲よりも狭ければよい。
【０１１７】
一般化して言えば、狭範囲エッジ検出部２４は、一時記憶部１１から出力される入力画像Ｄ１１中の処理対象画素を中心とする、上記第１の範囲よりも狭い、第２の範囲内の画素の画素値に基づいて、Ｍ個（Ｍは８以上の整数）の方向の各々について狭範囲エッジ指標ＡＮｍを算出し、さらに、算出されたＭ個の方向の各々についての狭範囲エッジ指標のうちの最大のものを検出して、狭範囲エッジ強度（第２のエッジ強度）ＡＮｍｘとして出力するものであれば良い。
【０１１８】
同様に、実施の形態１の標準偏差算出部２６による標準偏差ＳＤの算出に処理対象画素の周辺３×３画素の範囲内の画素を参照しているが、参照される範囲は３×３画素の範囲に限定されない。
【０１１９】
一般化して言えば、標準偏差算出部２６は、一時記憶部１１から出力される入力画像Ｄ１１中の処理対象画素を中心とする、第３の範囲内の画素の画素値の標準偏差を算出するものであれば良い。第３の範囲は、予め定められたものでもよく、入力画像の特徴に応じて逐次定められるものであっても良い。
【０１２０】
また、実施の形態１及び２のエッジ平滑化処理部３１によるエッジ平滑化処理に処理対象画素の周辺３×３画素の範囲内の画素を参照しているが、参照される範囲は３×３画素の範囲に限定されない。
一般化して言えば、エッジ平滑化処理部３１は、一時記憶部１１から出力される入力画像Ｄ１１中の処理対象画素を中心とする、第４の範囲内の画素の画素値を用いて平滑化を行うものであれば良い。第４の範囲は、予め定められたものでもよく、入力画像の特徴に応じて逐次定められるものであっても良い。
【０１２１】
同様に、実施の形態１の平均画素値算出部３３による二次元平滑化処理に処理対象画素の周辺３×３画素の範囲内の画素を参照しているが、参照される範囲は３×３画素の範囲に限定されず、予め定められた範囲であれば良い。
一般化して言えば、平均画素値算出部３３は、一時記憶部１１から出力される入力画像Ｄ１１中の処理対象画素を中心とする、第５の範囲内の画素の画素値を用いて平均値を求めるものであれば良い。第５の範囲は、予め定められたものでもよく、入力画像の特徴に応じて逐次定められるものであっても良い。
【０１２２】
また、実施の形態１及び２の狭範囲エッジ検出部２４による狭範囲エッジ指標ＡＮｍの算出、及びエッジ平滑化処理部３１によるエッジ平滑化、並びに実施の形態１の標準偏差算出部２６による標準偏差ＳＤの算出、及び平均画素値算出部３３による二次元平滑化で参照される範囲がいずれも３×３画素であるが、これらは互いに異なっていても良い。
【０１２３】
上記した実施の形態１についての変形は、実施の形態３にも適用可能であり、実施の形態２についての変形は、実施の形態４にも適用可能である。
【０１２４】
以上本発明を画像処理装置及び画像処理方法として説明したが、画像処理装置のエッジ解析部及び画素値補正部はソフトウエアにより、即ちプログラムされたコンピュータにより実現することも可能であり、画像処理装置の諸機能をコンピュータに実行させるためのプログラム、或いは画像処理方法の各ステップをコンピュータに実行させるためのプログラム、並びに該プログラムを記録した、コンピュータで読み取り可能な記録媒体もまた本発明の一部を成す。
【符号の説明】
【０１２５】
１０  画像処理装置、  １１  一時記憶部、  ２０、２０ｂ  エッジ解析部、  ２１  広範囲エッジ検出部、  ２２  広範囲エッジ検出フィルタ係数保持部、  ２３  ピーク強度算出部、  ２４  狭範囲エッジ検出部、  ２５  狭範囲エッジ検出フィルタ係数保持部、  ２６  標準偏差算出部、  ２７、２７ｂ  エッジ判定部、  ３０  画素値補正部、  ３１  エッジ平滑化処理部、  ３２  エッジ平滑化フィルタ係数保持部、  ３３  平均画素値算出部、  ３４、３４ｂ  出力画素値算出部、  ３４１、３４１ｂ  画素値選択部、  ３４２  画素値合成部。
【図１】
2014123247.tif 000011
【図２】
2014123247.tif 000012
【図３】
2014123247.tif 000013
【図４】
2014123247.tif 000014
【図５】
2014123247.tif 000015
【図６】
2014123247.tif 000016
【図７】
2014123247.tif 000017
【図８】
2014123247.tif 000018
【図９】
2014123247.tif 000019
【図１０】
2014123247.tif 000020
【図１１】
2014123247.tif 000021
【図１２】
2014123247.tif 000022
【図１３】
2014123247.tif 000023
【図１４】
2014123247.tif 000024
【図１５】
2014123247.tif 000025
【図１６】
2014123247.tif 000026
【図１７】
2014123247.tif 000027
【図１８】
2014123247.tif 000028
【図１９】
2014123247.tif 000029
【図２０】
2014123247.tif 000030
【図２１】
2014123247.tif 000031
【図２２】
2014123247.tif 000032
【図２３】
2014123247.tif 000033
【図２４】
2014123247.tif 000034