(57)【要約】【目的】  シャープ化処理の如き画像処理において該処理目的を超えて元画像が損なわれる現象を回避する画像処理装置を提供する。【構成】  入力画像信号を受信し、該入力画像信号の低周波成分に基づいて該入力画像信号のうちの高周波成分に対して強調処理をなす画像処理装置であり、該入力画像信号から低周波成分を抽出すると共に、該入力画像信号のステップ変化成分を該低周波成分に合波して合波成分を生成し、該合波成分を該入力画像信号から控除して得られる高周波成分に対して強調処理をなす。【選択図】  図３
2006279656.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号を受信し、前記入力画像信号の低周波成分に基づいて前記入力画像信号のうちの高周波成分に対して強調処理をなす画像処理装置であって、
前記入力画像信号から低周波成分を抽出すると共に、前記入力画像信号のステップ変化成分を前記低周波成分に合波して合波成分を生成する合波成分生成手段と、
前記合波成分を前記入力画像信号から控除して得られる高周波成分に対して強調処理をなす強調処理手段と、
を含むことを特徴とする画像処理装置。
【請求項２】
前記合波成分生成手段は、前記入力画像信号から所定周期毎の第１輝度値、第２輝度値及び第３輝度値を抽出し、前記第１輝度値、第２輝度値及び第３輝度値の各々に対して、所定の複数の混合係数の各々を対応して乗算し、該乗算結果の複数を合算して出力するＦＩＲフィルタであり、
前記前記第１輝度値と前記第２輝度値との間の第１勾配値と、前記第２輝度値と前記第３輝度値との間の第２勾配値を検知する勾配検知手段と、
前記第１勾配値と前記第２勾配値とを比較し、勾配値がより緩やかな側の輝度値の混合比率を上げると共に勾配値がより急峻な側の輝度値の混合比率を下げるように、前記第１輝度値の混合係数と前記第３輝度値の混合係数との割合を制御する混合係数制御手段と、
を含むことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記混合係数制御手段は、前記第１勾配値に従って一様に増加する第１関数の値と、前記第２勾配値に従って一様に増加する前記第１関数と同形の第２関数の値を算出し、前記第１輝度値に対応する混合係数を、その所定値から、前記第１関数の値と前記第２関数の値の和に対する前記第２関数の値の比率で少なくとも倍加し、前記第３輝度値に対応する混合係数を、その所定値から、前記第１関数の値と前記第２関数の値の和に対する前記第１関数の値の比率で少なくとも倍加することにより、前記第１輝度値の混合係数と前記第３輝度値の混合係数との割合を制御することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記第１関数及び第２関数の両方は、勾配値の絶対値、勾配値の自乗値又は勾配値の対数値を定める関数であることを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記ローパスフィルタは、前記入力画像信号の低周波成分を順次抽出する複数段のローパスフィルタを含むことを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記複数段のローパスフィルタの各々のカットオフ周波数は、前記複数段の段数に応じて順次低減されることを特徴とする請求項５記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視認効果改善等の目的のために、一定周期毎に入力される輝度値である入力画像信号を、その輝度変化の周波数に基づいて画像処理する画像処理装置に関する。
【背景技術】
【０００２】
特許文献１に開示される画像表示方法及びその装置は、ローパスフィルタとしてＩＩＲ（Infinite Impulse Response）フィルタを用いることにより、回路規模が大きくすることなく画像表示のコントラスト改善をなし得るとしている。
【０００３】
コントラスト改善等の画像視認効果の改善には、ＩＩＲやより安定性のあるＦＩＲ（Finite Impulse Response）により構成されるローパスフィルタが通常用いられている。図１は、ローパスフィルタとしてＦＩＲフィルタを用いて画像の視認上の精細感を向上させる高周波域増強処理（以下、シャープ化処理と称する）を行う画像処理装置１を示している。ここで、入力画像Ｖinの低周波成分Ｖloがローパスフィルタ（ＬＰＦ）２により抽出され、該低周波成分Ｖloを入力画像Ｖinから差し引くことで入力画像の高周波成分Ｖhが抽出される。次いで、該高周波成分ＶhにゲインＧを掛け、該ゲインが掛かった高周波成分Ｖhgを入力画像Ｖinに足し戻すことでシャープ化処理が施された出力画像Ｖoutが得られる。ＬＰＦ2を例えば３タップのＦＩＲフィルタとする場合には、評価画素として中心画素Ｃの前後２画素Ｌ及びＲから出力画像の輝度値が計算される。すなわち、複数の遅延器を組み合わせて得られる画素Ｌ、画素Ｃ及び画素Ｒの各々に対応するタップ係数ａr、ａc及びａrの各々を乗算器により乗算し、これを加算器により合算することで出力画像の輝度（階調）値が計算される。３つの画素に対応する３つタップ係数ａL、ａC及びａRの各々はカットオフ周波数から定まる固定値が用いられる。その意味で、加算器による合算は、混合比を固定とする画素輝度値の混合処理と捉えることができる。
【特許文献１】特開平２０００−４３８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしかかる従来のＬＰＦを用いた方法では、隣接する画素間で０から最大階調に変化するか又はその逆の如く急激な階調変化部分すなわちステップ入力がある画像の場合には、かかる部分を中心とした範囲で、シャープ化処理を施した処理画像が元画像とは大きく異なってしまうという現象が発生する。図２を参照すると、従来の画像処理装置においてシャープ化処理特性が示されている。ここで、所定周期毎に入力される入力画像信号の輝度値のステップ応答部分において、シャープ化処理された出力画像信号の輝度値には大きくオーバシュートが発生していることが分かる。これは、ＬＰＦのデジタル信号処理によってはステップ入力に追従しないことに起因する。このため、シャープ化処理を行うと画像全体の精細感を向上することができるが、弊害として元画像が大きく損なわれるという問題が発生する。
【０００５】
本発明が解決しようとする課題には、上記の問題が一例として挙げられ、シャープ化処理の如き画像処理において該処理目的を超えて元画像が損なわれる現象を回避する画像処理装置を提供することが本発明の目的である。
【課題を解決するための手段】
【０００６】
本発明による画像処理装置は、入力画像信号を受信し、該入力画像信号の低周波成分に基づいて該入力画像信号のうちの高周波成分に対して強調処理をなす画像処理装置であり、該入力画像信号から低周波成分を抽出すると共に、該入力画像信号のステップ変化成分を該低周波成分に合波して合波成分を生成する合波成分生成手段と、該合波成分を該入力画像信号から控除して得られる高周波成分に対して強調処理をなす強調処理手段とを含むことを特徴とする。
【発明を実施するための最良の形態】
【０００７】
本発明の実施例について添付の図面を参照して詳細に説明する。
＜第１の実施例＞
図３は、本発明の第１の実施例を示し、本発明による画像処理装置の構成を示している。ここで、画像処理装置１０には、入力画像信号として一定の周期Ｄで発生する輝度値である入力画像信号Ｖinが入力されてシャープ化処理が施された出力画像信号Ｖoutが出力される。入力画像信号Ｖin及び出力画像信号Ｖoutの値は、例えば、０〜２５５の階調を示す輝度値であり、その周期Ｄは、例えば、１２８０×７２０の２次元画像を走査するに足る一次元画像データを１秒間に３０回繰り返す動作を仮定すると、その周期Ｄは４０ｎｓｅｃ程度になる。
【０００８】
入力画像信号Ｖinは、ＬＰＦ２０に入力されると共に、減算器３０及び加算器５０に入力される。減算器３０は、入力された入力画像信号Ｖinから、ＬＰＦ２０により出力される低周波成分Ｖloを減算して高周波成分Ｖhをゲインコントロール部４０に出力する。ゲインコントロール部４０は、入力された高周波成分Ｖhに対して所定のゲイン値Ｇを乗算して得られるゲイン乗算化高周波成分Ｖhgを加算器５０に出力する。加算器５０は、ゲイン乗算化高周波成分Ｖｈｇを入力画像信号Ｖinに加算して外部に出力画像信号Ｖoutとして出力する。
【０００９】
ＬＰＦ２０は、入力された入力画像信号Ｖinから所定のカットオフ周波数により定まる低周波成分Ｖloを出力するローパスフィルタである。入力画像信号Ｖinは、乗算器群２２の乗算器２２Ｒと、遅延器２１ａと、勾配検出器２５ｂとに共に入力される。遅延器２１ａは、入力された入力画像信号Ｖinに対して時間Ｄに相当する遅延を施し、これを勾配検出器２５ｂ及び２５ａ、遅延器２１ｂ並びに乗算器群２２の乗算器２２Ｃに入力する。遅延器２１ｂは、入力された時間Ｄの遅延が施された入力画像信号Ｖinに対してさらに時間Ｄに相当する遅延を施し、これを勾配検出器２５ａ及び乗算器群２２の乗算器２２Ｌに入力する。ここで、遅延器２１ａ及び２１ｂにより時間２Ｄの遅延が施された入力画像信号Ｖinの輝度値は、画素Ｌに対応する入力輝度値として入力輝度値ＶinLで表し、遅延器２１ａにより時間Ｄの遅延が施された入力画像信号Ｖinの値は、画素Ｃに対応する入力輝度値として入力輝度値ＶinCで表し、遅延が施されない入力画像信号Ｖinの値は、画素Ｒに対応する入力輝度値として入力輝度値ＶinRで表すものとする。
【００１０】
乗算器群２２は、乗算器２２Ｒ、乗算器２２Ｃ及び乗算器２２Ｌを含み、各々の乗算値すなわちタップ係数（以下、混合係数と称する）ａL、ａC及びａRは、混合比制御部２６により指定される。乗算器２２Ｒ、乗算器２２Ｃ及び乗算器２２Ｌの各々は、入力輝度値ＶinL、ＶinC及びＶinRを対応する混合係数ａL、ａC及びａRの各々で乗算して出力する。乗算器２２Ｒ、乗算器２２Ｃ及び乗算器２２Ｌからの出力は、加算器２４により合算されて、低周波成分Ｖloとして出力される。低周波成分Ｖloの輝度値としてのＶloは、以下の式で表される。
【００１１】
Ｖlo＝ａL・ＶinL＋ａC・ＶinC＋ａR・ＶinR 
勾配検出器２５ａは、入力輝度値ＶinL及びＶinCを入力し、これら両者間の勾配ΔLCを求めて混合比制御部２６に出力する。勾配検出器２５ｂは、入力輝度値ＶinC及びＶinRを入力し、これら両者間の勾配ΔCRを求めて混合比制御部２６に出力する。ΔLC及びΔCRは以下の式により表される。
【００１２】
ΔLC＝ＶinC−ＶinL
ΔCR＝ＶinR−ＶinC 
混合比制御部２６は、勾配検出器２５ａからの勾配ΔLCと、勾配検出器２５ｂからの勾配ΔCRとを基にして、タップ係数、すなわち混合係数ａL、ａC及びａRの各々を計算し、これらを乗算器群２２に出力することで混合割合の制御を行う。混合係数ａL、ａC及びａRの計算は、例えば、以下の式より行う。
【００１３】
ａL＝  ａL0×２ｆ（ΔCR）／（ｆ（ΔLC）＋ｆ（ΔCR））
ａC＝  ａC0
ａR＝  ａR0×２ｆ（ΔLC）／（ｆ（ΔLC）＋ｆ（ΔCR））
ここで、ａL0、ａC0及びａR0の各々は通常のＦＩＲフィルタの設計により行われるカットオフ周波数を基にしたタップ係数の値である。ａL0、ａC0及びａR0の値は、例えば、０．２５、０．５及び０．２５である。関数ｆ（Δ）は、任意の一様増加関数であり、例えば、ｆ（Δ）＝｜Δ｜、ｆ（Δ）＝Δ2あるいはｆ（Δ）＝ｌｏｇ（Δ）とすることが考えられる。
【００１４】
以上の混合係数を基にした混合制御を行うことより、勾配がより急峻な側の輝度値の混合比率を下げると同時に勾配が緩い側の輝度値の混合比率を上げる制御を行うことを意味する。これにより、ＬＰＦ２０は、通常のＬＰＦにより抽出される低周波成分にステップ変化成分が合波された合波成分を低周波成分Ｖloとして出力することになる。
【００１５】
尚、混合係数ａL、ａC及びａRの計算は、以上の算出式に限られず、勾配がより急峻な側の輝度値の混合比率を下げると同時に勾配が緩い側の輝度値の混合比率を上げることが可能な他の算出式によっても良い。
＜第２の実施例＞
図４は、本発明の第２の実施例であり、図３に示された画像処理装置に含まれるＬＰＦを多段構成とする構成を示している。ここで、本図の上段（ａ）を参照すると、ＬＰＦ２０は、複数のＬＰＦ２０ａ、２０ｂ及び２０ｃがタンデム状に構成される。ＬＰＦ２０ａは、遅延器による遅延時間を所定周期Ｄとすることで、参照画素を画素Ｌ、画素Ｃ及び画素Ｒとする３タップのローパスフィルタである。ＬＰＦ２０ｂは、遅延器による遅延時間を所定周期２Ｄとすることで、参照画素を画素２Ｌ、画素Ｃ及び画素２Ｒとする３タップのローパスフィルタである。ＬＰＦ２０ｃは、遅延器による遅延時間を所定周期４Ｄとすることで、参照画素を画素４Ｌ、画素Ｃ及び画素４Ｒとする３タップのローパスフィルタである。本図の下段（ｂ）に示されるように、画素４Ｌ〜画素４Ｒの位置関係は、所定周期Ｄ毎に時系列状をなしている。
【００１６】
ここで、入力画像信号Ｖinが入力されるＬＰＦ２０ａのフィルタ出力輝度値をＬ１とし、フィルタ出力輝度値Ｌ１が入力されるＬＰＦ２０ｂのフィルタ出力輝度値をＬ２とし、フィルタ出力輝度値Ｌ２が入力されるＬＰＦ２０ｃのフィルタ出力輝度値をＬ３とする。ここで、ＬＰＦ２０ａ〜２０ｃの各々におけるタップ係数の値の組み合わせは、例えばａL0＝０．２５、ａC0＝０．５及びａR0＝０．２５の如く同一と仮定すると、Ｌ１、Ｌ２、Ｌ３の各段階でのＬＰＦの周波数帯域、すなわちカットオフ周波数は、低＜Ｌ３＜Ｌ２＜Ｌ１＜高となる。
【００１７】
図５は、通常及び本発明による画像処理装置におけるフィルタ出力特性を各々示している。本図の上段（ａ）を参照すると、通常のＬＰＦを用いた場合の輝度値の変化の様子が示されている。入力輝度値のステップ変化（図中の〇）に対して、実線で示される１段構成におけるフィルタ出力（図４におけるＬ１）は、予想される通常の平滑化された特性を呈している。一点破線で示される２段構成におけるフィルタ出力（図４におけるＬ２）は、帯域がより低い方に狭くなることからより平滑化された特性を呈している。さらに、破線で示される３段構成におけるフィルタ出力（図４におけるＬ３）は、同様にさらに平滑化された特性を呈している。通常のＬＰＦによっては入力輝度値のステップ応答が保存されていないことが見て取れる。
【００１８】
一方、本図の下段（ｂ）を参照すると、本発明のＬＰＦを用いた場合の輝度値の変化の様子が示されている。実線で示される１段構成におけるフィルタ出力（図４におけるＬ１）、一点破線で示される２段構成におけるフィルタ出力（図４におけるＬ２）及び一点破線で示される２段構成におけるフィルタ出力（図４におけるＬ２）の何れにおいても、入力輝度値のステップ変化（図中の〇）に対して追従する特性を呈している。また、ステップ変化以外の領域においては、通常のＬＰＦによる平滑化がフィルタの段数に応じて適切になされていることが見て取れる。このことから、入力輝度値のステップ変化に追従していると共に、カットオフ周波数が下がる多段構成においても十分なステップ変化追従特性が実現されていることが分かる。
【００１９】
図６は、通常及び本発明による画像処理装置におけるシャープ化処理の出力特性を示している。本図の上段（ａ）を参照すると、通常のＬＰＦを前提としたシャープ化処理の出力結果が示されているが、入力輝度値のステップ変化（図中の〇）に対して、過大なオーバシュートが発生している。この傾向は、ＬＰＦをより多段構成とすることでより顕著になっていることが分かる。
【００２０】
一方、本図の下段を参照すると、本発明によるＬＰＦを用いた場合のシャープ化処理の出力結果が示されている。ここで、実線で示される１段構成におけるシャープ化処理の出力は、輝度変化を強調するシャープ化を実現していると共に、ステップ変化に対するオーバシュートが抑えることができている。また、一点破線で示される２段構成におけるフィルタ出力は、輝度変化をより強調するシャープ化を実現していると共に、ステップ変化に対するオーバシュートが抑えることができている。破線で示される３段構成におけるフィルタ出力も、輝度変化をさらに強調するシャープ化を実現していると共に、ステップ変化に対するオーバシュートが抑えることができている。すなわち、シャープ化処理の結果としての画像全体の精細感が向上と共に、従来弊害であったステップ応答付近のシュートを抑えることが可能となっている。
【００２１】
図７は、本発明による画像処理装置におけるステップ変化以外の時間領域におけるシャープ化処理出力特性を示している。ここで、入力輝度値の山状の変化（図中の〇）において、実線で示される１段構成におけるシャープ化処理の出力は、山状入力に対して変化を強調する通常のシャープ化処理と同様の結果を得ている。また、一点破線で示される２段構成におけるフィルタ出力及び破線で示される３段構成におけるフィルタ出力においても、山状入力に対して変化を強調する通常のシャープ化処理と同様の結果を得ている。
【００２２】
従って、本発明による画像処理装置は、入力画像にステップ変化がない時間領域においてもシャープ化処理の目的である精細感向上効果が従来の同等に得られることが分かる。
【００２３】
図８は、本発明による画像処理装置の適用範囲を説明している。ここで、入力画像信号の周波数範囲としてビデオ信号の周波数帯域７３と、通常のローパスフィルタの周波数帯域７２と、本発明によるローパスフィルタの周波数帯域７１とが示されている。
【００２４】
通常のローパスフィルタの周波数帯域７２を前提とすると、シャープ化処理の適用範囲は、周波数帯域７３の領域から周波数帯域７２を除く領域に限定される。一方、本発明によるローパスフィルタの周波数帯域７１を前提とすると、シャープ化処理の適用範囲は、周波数帯域７３から周波数帯域７１を除くより広い領域にまで拡大される。すなわち、より低い周波数範囲を含む広い周波数帯域の信号についてシャープ化処理を適用できることを意味する。
【００２５】
以上の複数の実施例から明らかなように、本発明による画像処理装置によれば、シャープ化処理において画像全体の精細感向上を従来と同等の効果で得ることができると共に、シャープ化処理時の弊害である画像のステップ応答付近の過大なオーバシュートを抑えることができる。また、ＬＰＦを多段構成とすることでシャープ化適用帯域を広げてシャープ化効果を高めるようとした場合にも、弊害となるオーバシュートが大きくすることなく、画像の精細感のみを向上させることができる。
【図面の簡単な説明】
【００２６】
【図１】従来の画像処理装置の構成を示しているブロック図である。
【図２】従来の画像処理装置においてシャープ化処理特性を示しているグラフである。
【図３】本発明の第１の実施例であり、１段構成のＬＰＦを含む画像処理装置の構成を示しているブロック図である。
【図４】本発明の第２の実施例であり、多段構成のＬＰＦの構成を示しているブロック図である。
【図５】通常及び本発明による画像処理装置におけるフィルタ出力特性を各々示しているグラフである。
【図６】通常及び本発明による画像処理装置におけるシャープ化処理の出力特性を示しているグラフである。
【図７】本発明による画像処理装置におけるステップ応答以外の時間領域におけるシャープ化処理出力特性を示しているグラフである。
【図８】本発明による画像処理装置の適用範囲を説明する説明図である。
【符号の説明】
【００２７】
１０  画像処理装置
２０、２０ａ、２０ｂ、２０ｃ  ローパスフィルタ（ＬＰＦ）
２１ａ、２１ｂ  遅延器
２２  乗算器群
２２ａ〜２２ｃ  乗算器
２４  加算器
２５ａ、２５ｂ  勾配検出器
２６  混合比制御部
３０  減算器
４０  ゲインコントロール部
５０  加算器
【図１】
2006279656.tif 000003
【図２】
2006279656.tif 000004
【図３】
2006279656.tif 000005
【図４】
2006279656.tif 000006
【図５】
2006279656.tif 000007
【図６】
2006279656.tif 000008
【図７】
2006279656.tif 000009
【図８】
2006279656.tif 000010