(57)【要約】【課題】スケーラ処理と同じラインメモリを共用して強調処理を実現して、ハードコストを削減する。【解決手段】スケーラ処理とエッジ強調処理を行う画像処理装置において、スケーラ用のポリフェーズフィルタのフィルタ係数を基本処理部分と高周波強調部分とに分離し、高周波強調部分のフィルタ係数にゲイン係数を掛けて画像信号に適用し、ラインメモリを共用して、スケーラ処理を行うと同時に、ゲイン係数を変更して強調強度を制御するエッジ強調処理を行う。【選択図】図１
2007193397.tif 000002
【特許請求の範囲】
【請求項１】
スケーラ処理とエッジ強調処理とを行う画像処理装置において、
スケーラ用のポリフェーズフィルタのフィルタ係数が基本処理部分と高周波強調部分とに分離され、前記高周波強調部分のフィルタ係数にゲイン係数が掛けられており、前記スケーラ用のポリフェーズフィルタを画像信号に適用することにより、ラインメモリを共用して、前記スケーラ処理と同時に、強調強度が制御された前記エッジ強調処理を行うことが可能であることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記スケーラ用のポリフェーズフィルタが水平方向のポリフェーズフィルタと垂直方向のポリフェーズフィルタとを備えており、前記スケーラ用のポリフェーズフィルタを画像の輝度信号に対して適用することにより、輝度信号の水平方向及び垂直方向の強調具合を制御できることを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記スケーラ用のポリフェーズフィルタが水平方向のポリフェーズフィルタと垂直方向のポリフェーズフィルタとを備えており、前記スケーラ用のポリフェーズフィルタを画像のＲＧＢ信号に対して適用することにより、ＲＧＢ信号の水平方向及び垂直方向の強調具合を制御できることを特徴とする画像処理装置。
【請求項４】
複数の高周波数域を強調するため、フィルタ係数が基本処理部分と複数の高周波強調部分とに分離された各高周波強調部分のフィルタ係数にゲイン係数を掛けたスケーラ用のポリフェーズフィルタを備えており、前記ポリフェーズフィルタを画像信号に適用することにより、ラインメモリを共用して、スケーラ処理と同時に、各高周波数成分の強調強度を制御できるエッジ強調処理が可能であることを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記ポリフェーズフィルタが水平方向のポリフェーズフィルタと垂直方向のポリフェーズフィルタとを備えており、前記スケーラ用のポリフェーズフィルタの複数の高周波数域を画像の輝度・色差画像信号に適用することにより、輝度信号の垂直方向及び水平方向の各高周波数成分の強調強度を制御できることを特徴とする画像処理装置。
【請求項６】
請求項４に記載の画像処理装置において、
前記ポリフェーズフィルタが水平方向のポリフェーズフィルタと垂直方向のポリフェーズフィルタとを備えており、前記スケーラ用のポリフェーズフィルタの複数の高周波数域を画像のＲＧＢ信号に適用することにより、前記ＲＧＢ信号の垂直方向及び水平方向の各高周波数成分の強調強度を制御できることを特徴とする画像処理装置。
【請求項７】
ポリフェーズフィルタのフィルタ係数を基本処理部分と高周波強調部分とに分離し、前記高周波強調部分のフィルタ係数にゲイン係数を掛けたスケーラ用のポリフェーズフィルタを画像信号に適用し、ラインメモリを共用して、スケーラ処理を行うと同時に、前記ゲイン係数を変更して強調強度を制御するエッジ強調処理を行うことを特徴とする画像処理方法。
【請求項８】
請求項７に記載の画像処理方法において、
前記スケーラ用のポリフェーズフィルタを画像の輝度信号に対して適用し、水平方向及び垂直方向の輝度信号の強調具合を制御することを特徴とする画像処理方法。
【請求項９】
請求項７に記載の画像処理方法において、
前記スケーラ用のポリフェーズフィルタを画像のＲＧＢ信号に対して適用し、水平方向及び垂直方向のＲＧＢ信号の強調具合を制御することを特徴とする画像処理方法。
【請求項１０】
複数の高周波数域を強調するため、ポリフェーズフィルタのフィルタ係数を基本処理部分と複数の高周波強調部分とに分離し、各高周波強調部分のフィルタ係数にゲイン係数を掛けたスケーラ用のポリフェーズフィルタを画像信号に適用し、ラインメモリを共用して、スケーラ処理を行うと同時に、前記ゲイン係数を変更して各高周波数成分の強調強度を制御するエッジ強調処理を行うことを特徴とする画像処理方法。
【請求項１１】
請求項１０に記載の画像処理方法において、
前記ポリフェーズフィルタの複数の高周波数域を画像の輝度・色差画像信号に適用し、前記ゲイン係数を変更して輝度信号の垂直方向及び水平方向の各高周波数成分の強調強度を制御することを特徴とする画像処理方法。
【請求項１２】
請求項１０に記載の画像処理方法において、
前記ポリフェーズフィルタの複数の高周波数域を画像のＲＧＢ信号に適用し、前記ＲＧＢ信号の垂直方向及び水平方向の各高周波数成分の強調強度を制御することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スケーラのラインメモリを利用して画像のエッジを行なうことで、ハードウエアコストを削減できると同時に高画質な画像を得る画像処理方法及び画像処理装置に関するものである。
【背景技術】
【０００２】
テレビなどの画像装置では入力画像のサイズ（例えば、７２０ｘ４８０、１０２４ｘ７６８など）には色々な種類があり、これらの異なるサイズの入力画像を固定サイズ（例えば、１９２０ｘ１０８０）のディスプレイに表示するために、画像を拡大する必要がある。この拡大機能を果たす部分をスケーラと呼ぶ。通常、画像を拡大すると画面がボケるので、ボケを防ぐためにエッジ強調を行う必要がある。
【０００３】
スケーラは通常ポリフェーズ（Polyphase：多相）フィルタを使って実現する。ポリフェーズフィルタを用いたスケール処理の原理を図６に示す。図６で使用したのは４タップ、３フェーズのポリフェーズフィルタである。ここで、タップ数はスケーラの補間処理に、使用する入力画素の数のことである。フェーズ数は元画像の画素間に補間処理で新たに作る画素の候補位置の数である。
【０００４】
図６では、入力画素Ｘ２とＸ３との間（Ｘ３を含む）にスケーラ処理によって画素を生成する際に、Ｘ１，Ｘ２，Ｘ３，Ｘ４の画素を使う。これは４タップの意味である。画素を生成する時に、ハード化し易いため、画素位置を予め決めておく。ここで、スケーラで生成する画素の候補位置はＹ１，Ｙ２，Ｙ３である。新規画素の正確な位置は両画素の間のどこでもあり得るが、候補位置Ｙ１，Ｙ２，Ｙ３から正確な位置に最寄の一点を選んで近似する。補間用のフィルタ係数はフェーズ数と同じ数のセットを用意する。ここで、原画像の両画素間の距離を１とすると、候補点間の距離は１／３となる。
【０００５】
図６では３セットのフィルタ係数（Ｃ１１，Ｃ１２，Ｃ１３），（Ｃ２１，Ｃ２２，Ｃ２３），（Ｃ３１，Ｃ３２，Ｃ３３）を用意する。補間候補点によって以下のように使い分ける。
（式１）
Ｙ１＝Ｃ１１×Ｘ１＋Ｃ１２×Ｘ２＋Ｃ１３×Ｘ３＋Ｃ１４×Ｘ４
Ｙ２＝Ｃ２１×Ｘ１＋Ｃ２２×Ｘ２＋Ｃ２３×Ｘ３＋Ｃ２４×Ｘ４
Ｙ３＝Ｃ３１×Ｘ１＋Ｃ３２×Ｘ２＋Ｃ３３×Ｘ３＋Ｃ３４×Ｘ４
【０００６】
非特許文献１のＰ．５８には４タップ、６４フェーズのフィルタ係数の１例が示されている。エッジ強調については画像を拡大すると、ボケするので、エッジ強調を考慮する必要がある。この時に、スケーラ用の補間係数を設計するときにフィルタ係数の周波数特性の高域部分の振幅を高めることで高域（エッジ）強調を実現する。
【０００７】
図７にｆ０とｆ１スケーラ係数の周波数特性を表す。ｆ１はｆ０に比べて高域強調ができる。このエッジ強調付きスケーラは非特許文献１のＰＰ．７３−７５に述べてある。
スケーラの後にエッジ強調を行うシステム構成を図８に示す。ピーキングフィルタから出力されたエッジの補正部分にゲインをかけて、強調強度を変えることができる。
【０００８】
また、エッジ強調はスケーラ処理の後にピーキング(Peaking)フィルタを掛けて行うことができる。図７のｆｐｋはピーキングフィルタの周波数特性を示す。このフィルタはポリフェーズフィルタでなく、一般のＦＩＲ（Finite Impulse Response:有限インパルス応答）フィルタである。そのようなエッジ強調方法は非特許文献１のＰＰ．６１−７３に記載されている。
【非特許文献１】Gheorghe Berbecel, DIGITAL IMAGE DISPLAY, Algorithm and Implementation, WILEY, ２００３．
【発明の開示】
【発明が解決しようとする課題】
【０００９】
エッジ強調付きスケーラは強調補正部分を抽出できないので、強調の強度を制御することができない（課題１）。
【００１０】
また、スケーラの後にエッジ強調を行うシステム構成では、垂直強調用のＦＩＲフィルタにラインメモリが必要であり、ラインメモリの本数は垂直フィルタのタップ数と同じ、例えば、垂直５タップの場合はラインメモリが５本必要となり、ハイビジョンのテレビは１９２０ｘ１０８０で、ラインメモリのサイズは１９２０になるので、ラインメモリを多く使うと、ＬＳＩのサイズが大きくなり、ハードコストは高くなる（課題２）。
【課題を解決するための手段】
【００１１】
本発明による解決手段の原理を図１に示す。図１にあるｆ０とｆ１は図７のｆ０とｆ１と同じである。ｆ０はエッジ強調のないスケーラ用ポリフェーズフィルタの周波数特性を表す。ｆ１はエッジ強調付きスケーラ用ポリフェーズフィルタの周波数特性を表す。ｆ１０はフィルタｆ１の係数とフィルタ０の係数との差を係数として構成したフィルタの周波数特性である。
【００１２】
ポリフェーズフィルタｆ０の係数を
（Ｃ０_１１，Ｃ０_１２，Ｃ０_１３），（Ｃ０_２１，Ｃ０_２２，Ｃ０_２３），（Ｃ０_３１，Ｃ０_３２，Ｃ０_３３）と記す。
また、ポリフェーズフィルタｆ１の係数を
（Ｃ１_１１，Ｃ１_１２，Ｃ１_１３），（Ｃ１_２１，Ｃ１_２２，Ｃ１_２３），（Ｃ１_３１，Ｃ１_３２，Ｃ１_３３）と記す。
【００１３】
ポリフェーズフィルタｆ１の係数とポリフェーズフィルタｆ０の係数との差を、
（Ｃ１０_１１，Ｃ１０_１２，Ｃ１０_１３），（Ｃ１０_２１，Ｃ１０_２２，Ｃ１０_２３），（Ｃ１０_３１，Ｃ１０_３２，Ｃ１０_３３）と記し、（式２）で求める。
【００１４】
（式２）
Ｃ１０_１１＝Ｃ１_１１−Ｃ０_１１
Ｃ１０_１２＝Ｃ１_１２−Ｃ０_１２
Ｃ１０_１３＝Ｃ１_１３−Ｃ０_１３
Ｃ１０_２１＝Ｃ１_２１−Ｃ０_２１
Ｃ１０_２２＝Ｃ１_２２−Ｃ０_２２
Ｃ１０_２３＝Ｃ１_２３−Ｃ０_２３
Ｃ１０_３１＝Ｃ１_３１−Ｃ０_３１
Ｃ１０_３２＝Ｃ１_３２−Ｃ０_３２
Ｃ１０_３３＝Ｃ１_３３−Ｃ０_３３
更に（式１）に適用するスケーラ用のポリフェーズフィルタ係数を（式３）で求める。
【００１５】
（式３）
Ｃ１１＝Ｃ０_１１＋Ｋ×Ｃ１０_１１
Ｃ１２＝Ｃ０_１２＋Ｋ×Ｃ１０_１２
Ｃ１３＝Ｃ０_１３＋Ｋ×Ｃ１０_１３
Ｃ２１＝Ｃ０_２１＋Ｋ×Ｃ１０_２１
Ｃ２２＝Ｃ０_２２＋Ｋ×Ｃ１０_２２
Ｃ２３＝Ｃ０_２３＋Ｋ×Ｃ１０_２３
Ｃ３１＝Ｃ０_３１＋Ｋ×Ｃ１０_３１
Ｃ３２＝Ｃ０_３２＋Ｋ×Ｃ１０_３２
Ｃ３３＝Ｃ０_３３＋Ｋ×Ｃ１０_３３
【００１６】
ここで、Ｋは正のゲイン係数で、高周波数（エッジ）成分の強調強度を制御する。例えば、Ｋ＝０の時にフィルタｆ０を使用、Ｋ＝１の時にフィルタｆ１を使用することになる。Ｋ＞０は任意に設定できるので、好みの強調具合を実現できる。上記の式３を簡略化して
ｆ＝ｆ０＋Ｋ×ｆ１０と表記する。
【００１７】
このように、スケーラ用のポリフェーズフィルタを基本部分ｆ０と、強調部分（ｆ１−ｆ０）に分けて構成し、強調部分のフィルタ係数を正のゲイン係数によって制御し、従来の方法（式１）でスケーラを行うことできると同時に、制御可能なエッジ処理を行う。従来のスケーラ構成で実現するので、スケーラ用のラインメモリを共用し、エッジ強調によるラインメモリの増加は無い。
【発明の効果】
【００１８】
スケーラ用のポリフェーズフィルタを基本処理部分と高周波強調部分に分けて行うことで、スケーラ処理と同時にエッジ強調ができる。高周波強調部分のフィルタ係数にゲイン係数を掛けることで、強調強度を制御する。スケーラ処理のみと同じラインメモリで強調処理を実現できるので、ハードコストを削減することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態について説明する。
【実施例１】
【００２０】
図２は本発明の実施例１の構成図を示す。入力画像のフォーマットは輝度／色差で構成される。エッジ強調は輝度成分だけに施すことが普通である。また、画像のスケーラ処理は垂直と水平の両方向で行う。先ず垂直方向でスケーラ処理を行う。垂直スケーラの結果に対して水平方法のスケーラ処理を行う。垂直フィルタのタップ数と水平フィルタのタップ数が異なっても良い。
【００２１】
輝度信号のスケーラ処理は輝度信号用のスケーラ１１で行われる。輝度信号用のスケーラ１１は、水平方向のポリフェーズフィルタ１ｈと垂直方向のポリフェーズフィルタ１ｈを含む。これらのポリフェーズフィルタは式３のフィルタ係数を含むように構成される。Ｋｈは水平フィルタのＫであり、水平方向のゲイン調整２１によりゲイン係数Ｋｈを用いて水平方向の高周波数成分（縦エッジ）の強調強度を制御する。Ｋｖは垂直フィルタのＫであり、垂直方向のゲイン調整２２によりゲイン係数Ｋｖを用いて垂直方向の高周波数成分（横エッジ）の強調強度を制御する。
簡略化された表記では、式３は、ｆ１ｈ＝ｆ０ｈ＋Ｋｈ×ｆ１０ｈ，ｆ１ｖ=ｆ０ｖ+Ｋｖ×ｆ１０ｖと表される。
【００２２】
色差信号に対して強調処理を行わないので、色差信号用のスケーラ１２の構成は式３のＫ＝０に相当する。フィルタ２ｈは水平方向のフィルタで、フィルタ２ｖは垂直方向のフィルタである。簡略化された表記では、ｆ２ｈ＝ｆ０ｈ，ｆ２ｖ＝ｆ０ｖである。
【実施例２】
【００２３】
図３は本発明の実施例２を示す。図３で、入力画像フォーマットはＲ（Red：赤），Ｇ(Green:緑)，Ｂ（Blue:青）の場合に本発明の技術を適用する構成である。Ｒ入力、Ｇ入力、Ｂ入力に対応して、Ｒ信号用のスケーラ１３、Ｇ信号用のスケーラ１４、Ｂ信号用のスケーラ１５によりスケーラ処理が行われる。これらのスケーラは、水平方向のポリフェーズフィルタ１ｈと垂直方向のポリフェーズフィルタ１ｖを含む。これらのポリフェーズフィルタは式３のフィルタ係数を含むように構成される。簡略のため、Ｒ，Ｇ，Ｂに対して強度調整係数Ｋｈ、Ｋｖを共用している例が示されているが、Ｒ信号用のスケーラ１３、Ｇ信号用のスケーラ１４、Ｂ信号用のスケーラ１５ごとに異なる強度調整係数Ｋｈ、Ｋｖを使用して個別に制御することができる。
簡略化した表記では、式３は、ｆ１ｈ（Ｒ）＝ｆ０ｈ（Ｒ）＋Ｋｈ×ｆ１０ｈ（Ｒ），ｆ１ｖ（Ｒ）＝ｆ０ｖ（Ｒ）＋Ｋｖ×ｆ１０ｖ（Ｒ）であり、Ｇ，Ｂに対しても同様である。
【実施例３】
【００２４】
図４と図５は本発明の実施例３を示す。複数の高域周波数成分を強調するときにも、同様の手法で実現することができる。ここでは、２つの高域成分（太いエッジの中高域成分、細いエッジの高域成分）を強調する方法を述べる。図５のｆ０，ｆ１，ｆ１０は図１の意味と同じである。ｆ０，ｆ１，ｆ１０の係数から式３のフィルタ係数を得ることができる。この時に式３のＫをＫ１と記す。ｆ１０は高域強調用フィルタである。同様にｆ０の係数とｆ２の係数との差からｆ２０の係数を得ることができる。ｆ２０は中高域強調フィルタである。ｆ２０の係数をｆ１０と同じ用に、式３に加える。その制御係数をＫ２と記す。Ｋ１は太いエッジの中高域成分の強調強度を、Ｋ２は細いエッジの高域成分の強調強度を制御する係数である。
【００２５】
図４は図２の実施例２にある輝度信号部分に適用した本発明の実施例３の構成を示す。Ｋｈ１，Ｋｖ１は細いエッジに対して水平と垂直方向の強調強度を制御する係数である。また、Ｋｈ２，Ｋｖ２は太いエッジに対して水平と垂直方向の強調強度を制御する係数である。複数の高域周波数成分を強調することのできる複数高周波用のスケーラ１６は、水平方向のポリフェーズフィルタｈと垂直方向のポリフェーズフィルタｖを備えており、それぞれが、周波数１と周波数２の高域周波数成分を強調することができる。
【００２６】
Ｋｈ１は水平フィルタの周波数１を強調するゲイン係数Ｋであり、水平方向のゲイン調整２１１によりゲイン係数Ｋｈ１を用いて水平方向の高域成分の強調強度を制御する。Ｋｖ１は垂直フィルタの周波数１を強調するゲイン係数Ｋであり、垂直方向のゲイン調整２２１によりゲイン係数Ｋｖ１を用いて垂直方向の高域成分の強調強度を制御する。また、Ｋｈ２は水平フィルタの周波数２を強調するゲイン係数Ｋであり、水平方向のゲイン調整２１２によりゲイン係数Ｋｈ２を用いて水平方向の中高域成分の強調強度を制御する。更に、Ｋｖ２は垂直フィルタの周波数２を強調するゲイン係数Ｋであり、垂直方向のゲイン調整２２２によりゲイン係数Ｋｖ２を用いて垂直方向の中高域成分の強調強度を制御する。
簡略化した表記では、式３は、ｆ１ｈ＝ｆ０ｈ＋Ｋｈ１×ｆ１０ｈ＋Ｋｈ２×ｆ２０ｈ，ｆ１ｖ＝ｆ０ｖ＋Ｋｖ１×ｆ１０ｖ＋Ｋｖ２×ｆ２０ｖとなる。
なお、図４では、高域成分と中高域成分に対応する周波数１と周波数２の強調強度を制御する例が示されているが、２つの周波数に限らず、更に多くの周波数成分の強調強度を制御するように変更することができる。
【実施例４】
【００２７】
複数の高域周波数成分を強調する手法を図３のＲＧＢ入力に適用することができ（図を省略）、ＲＧＢ入力に対して複数の高域周波数成分を強調するスケーラ処理を行うように変更することが可能である。
【図面の簡単な説明】
【００２８】
【図１】図１は本発明のスケーラ用部分と強調用部分の分離を示す図である。
【図２】図２は本発明の実施例１の輝度／色差画像処理の基本構成を示す図である。
【図３】図３は本発明の実施例２のＲＧＢ画像処理の基本構成を示す図である。
【図４】図４は本発明の実施例３の複数高周波成分強調の基本構成を示す図である。
【図５】図５は本発明の実施例３の複数高周波数成分強調のフィルタ特性を示す図である。
【図６】図６は従来技術のポリフェーズフィルタのスケーラ原理を示す図である。
【図７】図７は従来例のスケーラフィルタとピーキングフィルタの周波数特性を示す図である。
【図８】図８は従来例のスケーラ後にエッジ強調する構成を示す図である。
【符号の説明】
【００２９】
１    スケーラ
２    ピーキングフィルタ
３    ゲイン処理
１１    輝度信号用のスケーラ
１２    色差信号用のスケーラ
１３    Ｒ信号用のスケーラ
１４    Ｇ信号用のスケーラ
１５    Ｂ信号用のスケーラ
１６    複数高周波用のスケーラ
２１    水平方向のゲイン調整
２２    垂直方向のゲイン調整
２１１    水平方向の周波数１のゲイン調整
２１２    水平方向の周波数２のゲイン調整
２２１    垂直方向の周波数１のゲイン調整
２２２    垂直方向の周波数２のゲイン調整
【図１】
2007193397.tif 000003
【図２】
2007193397.tif 000004
【図３】
2007193397.tif 000005
【図４】
2007193397.tif 000006
【図５】
2007193397.tif 000007
【図６】
2007193397.tif 000008
【図７】
2007193397.tif 000009
【図８】
2007193397.tif 000010