(57)【要約】【課題】  適正な相関方向を検出可能にして、絵柄に応じた高精度の画素補間を可能にする。【解決手段】入力画像を相互に異なる特性で帯域制限する複数のフィルタを有するフィルタ部１２と、前記複数のフィルタによる帯域制限に応じた相関判定領域を夫々設定して前記各フィルタの出力に基づいて補間画素の相関方向を夫々決定する複数の相関判定回路を有する相関判定部１３と、前記フィルタ部の出力が与えられて、前記補間画素の周辺の周波数成分を判定する周波数判定部１４と、前記周波数判定部の判定結果に基づいて前記複数の相関判定回路の１つの出力を選択する相関選択部１５と、前記相関選択部によって選択された前記相関判定回路の出力に基づく相関方向に応じた画素値を用いて前記補間画素を生成する補間画素生成部１６とを具備したことを特徴とする。【選択図】図１
2009260729.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を相互に異なる特性で帯域制限する複数のフィルタを有するフィルタ部と、
前記複数のフィルタによる帯域制限に応じた相関判定領域を夫々設定して前記各フィルタの出力に基づいて補間画素の相関方向を夫々決定する複数の相関判定回路を有する相関判定部と、
前記フィルタ部の出力が与えられて、前記補間画素の周辺の周波数成分を判定する周波数判定部と、
前記周波数判定部の判定結果に基づいて前記複数の相関判定回路の１つの出力を選択する相関選択部と、
前記相関選択部によって選択された前記相関判定回路の出力に基づく相関方向に応じた画素値を用いて前記補間画素を生成する補間画素生成部と
を具備したことを特徴とする補間画素生成回路。
【請求項２】
前記複数の相関判定回路は、夫々、前記相関判定領域内で前記補間画素と点対称に位置する各画素対の相関を求めて前記相関方向を決定することを特徴とする請求項１に記載の補間画素生成回路。
【請求項３】
前記周波数判定部は、前記補間画素の周囲の所定の画素に対する前記各フィルタ部の出力のレベルに基づいて、前記補間画素の周辺の周波数成分を判定することを特徴とする請求項１又は２に記載の補間画素生成回路。
【請求項４】
前記複数のフィルタは、前記入力画像を複数の水平帯域及び複数の垂直帯域に帯域制限することを特徴とする請求項１乃至３のいずれか１つに記載の補間画素生成回路。
【請求項５】
前記複数のフィルタは、前記入力画像を水平高域の第１の帯域、水平低域で且つ垂直高域の第２の帯域及び水平及び垂直低域の第３の帯域に帯域制限することを特徴とする請求項４に記載の補間画素生成回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、補間画素を生成する補間画素生成回路に関し、特に、絵柄相関スケーリングを行う補間フィルタに好適な補間画素生成回路に関する。
【背景技術】
【０００２】
プラズマディスプレイ装置及び液晶表示装置等は、複数本の走査線とデータ線との交点に対応して画素がマトリクス状に設けられたマトリクス表示装置を構成する。マトリクス表示装置においては、画素単位の映像情報が各走査線毎に順次表示されることで、画像表示が行われる。
【０００３】
このようなマトリクス表示装置においては、入力画像の画素数をディスプレイ装置の画素数に合わせて表示する必要がある。このため、入力画像の画素から補間画素を生成して画像を拡大／ 縮小するスケーリング処理が行われることがある。
【０００４】
このようなスケーリング処理を行う従来の補間画素生成回路は、例えば、先ず走査線補間画素を生成し、更に、走査線補間画素を利用してスケーリング補間画素を生成する。走査線補間画素を生成する場合、動画であれば現フィールドの画素を用いた補間画素の生成処理が行われ、静止画では前フィールドの画素がそのまま補間画素として用いられる。動画時の補間画素生成処理は、例えば、補間画素の上下・左右・斜め方向の画素間で相関判定を行い、最も相関の高い組み合わせの画素の画素値を基に補間方向を決定し、その補間方向の画素の画素値を基に走査線補間画素の画素値を生成するものである。
【０００５】
しかしながら、このような走査線補間画素生成における画素間相関判定では、現フィールドの画素のみを用いて判定を行うことから誤判定が生じやすい。このような誤判定が生じると、特に伸長処理時において、解像度劣化及び折り返しによる画質劣化が発生する。このため、ＳＤ放送をフルＨＤパネルに表示する場合等において十分な画質が得られ難い。
【０００６】
そこで、特許文献１においては、前フィールドの画素のうち静止画と判定された画素についても画素間相関判定に用いて、上下２ラインにおける斜め相関による絵柄相関スケーリングを採用する技術が提案されている。これにより、特許文献１の提案では画素間相関判定の誤判定を防止し、画質を向上させるようになっている。
【０００７】
しかしながら、特許文献１の提案では、限定された領域内でしか効果を期待することができないという問題があった。
【特許文献１】特開２００６−２２９６１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、画素間相関判定の判定精度を向上させることにより、高精度の補間を可能にして、画質を向上させることができる補間画素生成回路を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様の補間画素生成回路は、入力画像を相互に異なる特性で帯域制限する複数のフィルタを有するフィルタ部と、前記複数のフィルタによる帯域制限に応じた相関判定領域を夫々設定して前記各フィルタの出力に基づいて補間画素の相関方向を夫々決定する複数の相関判定回路を有する相関判定部と、前記フィルタ部の出力が与えられて、前記補間画素の周辺の周波数成分を判定する周波数判定部と、前記周波数判定部の判定結果に基づいて前記複数の相関判定回路の１つの出力を選択する相関選択部と、前記相関選択部によって選択された前記相関判定回路の出力に基づく相関方向に応じた画素値を用いて前記補間画素を生成する補間画素生成部とを具備したことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、画素間相関判定の判定精度を向上させることにより、高精度の補間を可能にして、画質を向上させることができるという効果を有する。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００１２】
図１は本発明の第１の実施の形態に係る補間画素生成回路を示すブロック図である。本実施の形態は動画時のスケーリング処理に適用する例について説明するが、特許文献１と同様に、動画処理だけでなく、静画処理を加えることで、動き適応処理を実現することも可能である。
【００１３】
入力映像信号は、補間画素生成部１６に供給されると共にメモリ部１１にも供給される。メモリ部１１は、ｍ（ｍは自然数）個のラインメモリＬ１，Ｌ２，…，Ｌｍを有している。各ラインメモリＬ１〜Ｌｍは、映像信号を１水平期間ずつ順次遅延させて、ｍライン分の映像信号（以下、ライン遅延信号という）を同時に出力することができるようになっている。メモリ部１１からの複数のライン遅延信号及び入力映像信号は、補間画素生成部１６に供給されると共に、水平及び垂直帯域フィルタ部１２にも供給される。
【００１４】
水平及び垂直帯域フィルタ部１２は、ｋ（ｋは２以上の整数）個の周波数帯域フィルタＦ１〜Ｆｋを有している。各周波数帯域フィルタＦ１〜Ｆｋは、帯域特性が相互に異なり、入力された入力映像信号及びライン遅延信号を水平、垂直方向に帯域制限する。図１の例では、周波数帯域フィルタＦ１〜Ｆ３として、夫々水平高域帯域フィルタ、水平低域・垂直高域帯域フィルタ、水平低域・垂直低域帯域フィルタを用いた例を示している。
【００１５】
水平高域帯域フィルタは、映像信号を水平高域に帯域制限して出力する。水平低域・垂直高域帯域フィルタは、映像信号を水平低域で且つ垂直高域に帯域制限して出力する。水平低域・垂直低域帯域フィルタは、映像信号を水平及び垂直低域に帯域制限して出力する。
【００１６】
水平及び垂直帯域フィルタ部１２の各周波数帯域フィルタＦ１〜Ｆｋの出力は、相関判定部１３及び周波数判定部１４に与えられる。相関判定部１３は、ｋ個の相関判定回路Ｊ１〜Ｊｋを有している。相関判定回路Ｊ１〜Ｊｋは、相互に相関判定方法が異なる。即ち、相関判定回路Ｊ１〜Ｊｋは、後述する相関方向を決定するための相関判定領域として、夫々相互に異なる相関判定領域を設定するようになっている。
【００１７】
相関判定部１３の各相関判定回路Ｊ１〜Ｊｋは、補間する画素（補間画素）の生成に用いる画素を決定するために、先ず、補間画素と相関が高い画素の方向（相関方向）を決定する。この場合には、各相関判定回路Ｊ１〜Ｊｋは、相関判定領域を設定し、この相関判定領域内で、補間画素を中心として点対称な位置の２つの画素（以下、画素対という）の相関を求める。そして、各相関判定回路Ｊ１〜Ｊｋは、夫々最も相関が高い画素対の方向を相関方向として決定する。
【００１８】
例えば、細い縦線の絵柄のように、水平周波数が高い画像については、高精度に相関方向を求めるためには、垂直方向にサイズが大きい相関判定領域を設定した方がよい。また、同様に、横線の絵柄のように、垂直周波数が高い画像については、水平方向にサイズが大きい相関判定領域を設定した方が相関方向を高精度に求めることができる。
【００１９】
そこで、本実施の形態においては、各相関判定回路Ｊ１〜Ｊｋは、帯域制限された映像信号の帯域に応じた形状及びサイズの相関判定領域を設定する。各相関判定回路Ｊ１〜Ｊｋは、夫々、設定した相関判定領域内の各画素対の相関から相関方向を求めて、相関選択部１５に出力する。
【００２０】
一方、周波数判定部１４は、補間画素周辺の周波数帯域を判定し、判定結果を相関選択部１５に出力する。例えば、周波数判定部１４は、水平及び垂直帯域フィルタ部１２の各周波数帯域フィルタＦ１〜Ｆｋの出力のうちいずれの出力のレベルが大きいかによって、補間画素周辺の周波数帯域を判定する。
【００２１】
相関選択部１５は、周波数判定部１４の判定結果が与えられて、相関判定回路Ｊ１〜Ｊｋの出力のうち、判定結果に基づく周波数帯域に相当する相関判定回路Ｊ１〜Ｊｋの出力（相関方向）を選択して補間画素生成部１６に出力する。
【００２２】
補間画素生成部１６は、例えば、補間画素に隣接する画素を用いて、相関方向の画素値による演算によって、補間画素を生成し出力映像信号として出力する。
【００２３】
次に、このように構成された実施の形態の動作について図２乃至図６を参照して説明する。図２は横軸に水平周波数をとり縦軸に垂直周波数をとって、水平及び垂直帯域フィルタ部１２のフィルタリングを説明するための説明図であり、図３及び図４は相関判定方法を説明するための説明図である。図３及び図４において、水平線は画像の各ラインを示している。各ライン上の○印は画素位置を示しており、ライン上にない塗り潰した丸印は生成しようとする補間画素を示している。また、図５及び図６は補間画素の生成方法を説明するための説明図である。なお、図５及び図６においても、水平線は画像の各ラインを示しており、各ライン上の○印は画素位置を示し、ライン上にない塗り潰した丸印は生成しようとする補間画素を示している。
【００２４】
図１において、入力映像信号は、メモリ部１１に与えられる。メモリ部１１のラインメモリＬ１〜Ｌｍは１ライン（水平期間）分の映像信号を記憶し、各ラインメモリＬ１〜Ｌｍからは、連続した各ラインの映像信号（ライン遅延信号）が出力される。入力映像信号及び各ライン遅延信号は、水平及び垂直帯域フィルタ部１２に与えられる。水平及び垂直帯域フィルタ部１２には、図３（ａ）及び図４（ａ）に示すように、各ライン上の画素の値が入力される。
【００２５】
水平及び垂直帯域フィルタ部１２は、各周波数帯域フィルタＦ１〜Ｆｋによって、入力映像信号及びライン遅延信号を帯域制限して出力する。いま、水平及び垂直帯域フィルタ部１２が、周波数帯域フィルタＦ１〜Ｆ３のみを有し、周波数帯域フィルタＦ１〜Ｆ３が夫々水平高域帯域フィルタ、水平低域・垂直高域帯域フィルタ及び水平低域・垂直低域帯域フィルタであるものとする。即ち、周波数帯域フィルタＦ１は、入力された映像信号を図２の帯域Ｔ１に示す水平高域に帯域制限して出力する。また、周波数帯域フィルタＦ２は、入力された映像信号を図２の帯域Ｔ２に示す水平低域で且つ垂直高域に帯域制限し、周波数帯域フィルタＦ３は、図２の帯域Ｔ３に示す水平低域で且つ垂直低域に帯域制限して出力する。
【００２６】
相関判定部１３は、周波数帯域フィルタの通過帯域に応じた相関判定領域を設定する相関判定回路Ｊ１〜Ｊｋを備えている。相関判定部１３は、周波数帯域フィルタＦ１〜Ｆ３の出力に対して、夫々、水平高域用、水平低域・垂直高域用又は水平低域・垂直低域用の相関判定回路Ｊ１〜Ｊ３によって相関判定を行う。
【００２７】
いま、入力映像信号及び各ライン遅延信号が図３（ａ）に示す画像であるものとする。図３（ａ）においては、黒レベルの画素を塗り潰して示し、白レベルの画素を白抜きによって示し、中間調の画素をハッチングによって示している。即ち、図３の画像は、例えば、２本の細い斜め縦線の絵柄を示している。
【００２８】
帯域フィルタＦ１〜Ｆ３の出力は、図３（ｂ１）乃至（ｂ３）に示すように、画素位置に応じた２次元表示によって示すことができる。図３（ｂ１）〜（ｂ３）のハッチングは周波数成分のレベルを示す。即ち、図３（ｂ１）乃至（ｂ３）は、白抜きを負側の最大値、塗り潰しを正側の最大値として、その間の値をハッチングの間隔によって示しており、ハッチング間隔が狭い程正側の最大値に近いことを示している。
【００２９】
これらの帯域フィルタＦ１〜Ｆ３の出力に対して、相関判定回路Ｊ１〜Ｊ３は、夫々図３（ｂ１）〜（ｂ３）の破線にて示す相関判定領域Ａ１〜Ａ３を設定する。相関判定領域Ａ１は垂直方向のサイズが十分に大きく、水平方向の周波数が高い場合でも、誤判定することなく相関方向を検出可能である。同様に、相関判定領域Ａ２は垂直方向のサイズが小さく、且つ水平方向のサイズが十分に大きく、水平周波数が低く、垂直周波数が高い画像についても、誤判定することなく相関方向を検出可能である。同様に、相関判定領域Ａ３は水平及び垂直垂直方向のサイズが比較的小さく、水平及び垂直周波数が低い画像について相関方向を確実に検出可能である。
【００３０】
相関判定回路Ｊ１〜Ｊ３は、相関判定領域内で補間画素を中心に点対称な位置の各画素対の相関を求め、最も相関が高い画素対の方向を相関方向と判定して、判定結果を相関選択部１５に出力する。図３（ｂ１）〜（ｂ３）の細線矢印は、図３（ａ）の絵柄に応じた相関方向を示しており、図３（ｂ１）〜（ｂ３）の太線矢印は、相関判定回路Ｊ１〜Ｊ３によって検出された相関方向を示している。図３（ａ），（ｂ１）〜（ｂ３）に示すように、２本の細い斜め縦線の絵柄のように、水平高域成分が大きい絵柄については、垂直方向のサイズが十分に大きい相関判定領域Ａ１を採用した相関判定回路Ｊ１によって、正しい相関方向の判定結果が得られている。
【００３１】
一方、水平及び垂直帯域フィルタ部１２の出力は周波数判定部１４にも与えられる。周波数判定部１４は、補間画素周辺の画像の周波数帯域を判定する。例えば、周波数判定部１４は、補間画素周辺の４画素のフィルタ出力から、周波数帯域を判定する。図３（ｂ１）〜（ｂ３）においては、補間画素周辺の４画素では、図３（ｂ１）が塗り潰した丸印を有しており、主な周波数成分は水平高域成分であることが分かる。
【００３２】
この場合には、周波数判定部１４は、補間画素周辺の周波数帯域が水平高域であることを示す判定結果を相関選択部１５に出力する。相関選択部１５は、周波数帯域の判定結果に基づいて相関判定回路の出力を選択する。即ち、この場合には、相関選択部１５は、水平高域用の相関判定領域Ａ１を用いて相関判定を行った相関判定回路Ｊ１の出力を選択して補間画素生成部１６に出力する。
【００３３】
補間画素生成部１６は、入力画像信号及びライン遅延信号が与えられ、相関方向の画素値を用いて補間画素を生成する。なお、補間には、補間画素近傍の画素を用いた方がよい。しかし、相関判定領域のサイズが大きい場合等においては、補間画素近傍の相関方向上に画素が存在しないことがある。そこで、補間画素近傍の相関方向上に画素が存在しない場合には、補間画素近傍の画素を用いた補間によって相関方向上の画素位置の値を求め、求めた値によって補間画素の画素値を求めるようにしてもよい。
【００３４】
図５はこの場合の補間方法を示している。なお、図５は図３とは異なる例を示している。図５のハッチングを施した丸印は、補間画素の生成に用いることが可能な補間画素近傍の画素を示している。矢印は相関判定回路Ｊ１によって求められた相関方向を示している。図５の例では、補間画素Ｏ１の上方の相関方向を跨ぐ２つの画素によって相関方向上の画素値Ｓ１を求め、補間画素Ｏ１の下方の相関方向を跨ぐ２つの画素によって相関方向上の画素値Ｓ２を求める。なお、これらの画素値Ｓ１，Ｓ２は、例えば夫々２つの画素の直線補間によって求めることができる。更に、画素値Ｓ１，Ｓ２を用いた例えば直線補間によって、補間画素Ｏ１の画素値を求める。
【００３５】
この例と同様の手法によって、補間画素生成部１６は、図３（ｃ１）に示すように、相関方向の画素値を用いて、補間画素を生成する。図３（ｃ１）に示すように、補間画素は相関方向の画素値に応じた白レベルとなっている。
【００３６】
これに対し、相関判定回路Ｊ２の判定結果を用いて補間画素を生成した場合には、図３（ｃ２）に示すように、補間画素は黒レベルとなってしまう。また、相関判定回路Ｊ３の判定結果を用いて補間画素を生成した場合には、図３（ｃ３）に示すように、補間画素は中間調レベルとなってしまう。
【００３７】
このように、入力画像信号及びライン遅延信号を各周波数帯域に帯域制限し、各周波数帯域に応じた相関判定領域を用いて相関判定を行うことで、実際の絵柄に応じた相関判定が可能であり、補間画素を高精度に生成することができる。
【００３８】
次に、画像として水平方向に延びた斜め横線の絵柄の例を図４及び図６を参照して説明する。図４（ａ）乃至（ｃ３）は夫々図３（ａ）乃至（ｃ３）と同様の記載方法によって記載したものである。また、水平及び垂直帯域フィルタ部１２及び相関判定部１３についても、図２の帯域Ｔ１〜Ｔ３に応じたフィルタリング及び相関判定領域の設定が行われているものとして説明する。
【００３９】
図４（ａ）に示すように、２本の細い斜め横線の絵柄の画像が入力されるものとする。帯域フィルタＦ１〜Ｆ３は、入力映像信号及び各ライン遅延信号を、夫々水平高域、水平低域で且つ垂直高域又は水平・垂直低域に帯域制限して、図４（ｂ１）乃至（ｂ３）に示す出力を出力する。
【００４０】
これらの帯域フィルタＦ１〜Ｆ３の出力に対して、相関判定回路Ｊ１〜Ｊ３は、夫々図４（ｂ１）〜（ｂ３）の破線にて示す相関判定領域Ａ１〜Ａ３を設定する。相関判定回路Ｊ１〜Ｊ３は、相関判定領域内で補間画素を中心に点対称な位置の各画素対の相関を求め、最も相関が高い画素対の方向を相関方向と判定して、判定結果を相関選択部１５に出力する。図４（ｂ１）〜（ｂ３）の細線矢印は、図４（ａ）の絵柄に応じた相関方向を示しており、図４（ｂ１）〜（ｂ３）の太線矢印は、相関判定回路Ｊ１〜Ｊ３によって検出された相関方向を示している。図４（ａ），（ｂ１）〜（ｂ３）に示すように、２本の細い斜め横線の絵柄のように、主に水平低域で垂直高域成分の絵柄については、水平方向のサイズが十分に大きい相関判定領域Ａ２を採用した相関判定回路Ｊ２によって、正しい相関方向の判定結果が得られている。
【００４１】
一方、周波数判定部１４は、補間画素周辺の画像の周波数帯域を判定する。図４（ｂ１）〜（ｂ３）においては、補間画素周辺の４画素では、図４（ｂ２）の塗り潰した丸印に示すように、主な周波数成分は水平低域で垂直高域成分であることが分かる。
【００４２】
周波数判定部１４は、補間画素周辺の周波数帯域が水平低域で且つ垂直高域であることを示す判定結果を相関選択部１５に出力する。相関選択部１５は、周波数帯域の判定結果に基づいて相関判定回路Ｊ２の出力を選択して補間画素生成部１６に出力する。
【００４３】
補間画素生成部１６は、入力画像信号及びライン遅延信号が与えられ、相関方向の画素値を用いて補間画素を生成する。図６はこの場合の補間方法の一例を示している。なお、図６は図４とは異なる例を示している。図６のハッチングを施した丸印は、補間画素の生成に用いることが可能な補間画素近傍の画素を示している。矢印は相関判定回路Ｊ２によって求められた相関方向を示している。図６の例では、補間画素Ｏ２の上方の相関方向を跨ぐ４つの画素によって相関方向上の画素値Ｓ３を求め、補間画素Ｏ２の下方の相関方向を跨ぐ４つの画素によって相関方向上の画素値Ｓ４を求める。なお、これらの画素値Ｓ３，Ｓ４は、例えば夫々４つの画素の直線補間によって求めることができる。更に、画素値Ｓ３，Ｓ４を用いた例えば直線補間によって、補間画素Ｏ２の画素値を求める。
【００４４】
この例と同様の手法によって、補間画素生成部１６は、図４（ｃ２）に示すように、相関方向の画素値を用いて、補間画素を生成する。図４（ｃ２）に示すように、補間画素は相関方向の画素値に応じた黒レベルとなっている。
【００４５】
これに対し、相関判定回路Ｊ１の判定結果を用いて補間画素を生成した場合には、図４（ｃ１）に示すように、補間画素は白レベルとなってしまう。また、相関判定回路Ｊ３の判定結果を用いて補間画素を生成した場合には、図４（ｃ３）に示すように、補間画素は中間調レベルとなってしまう。
【００４６】
このように、本実施の形態においては、入力映像信号の周波数帯域に応じた相関判定領域を設定し、入力映像信号の周波数帯域毎にその周波数帯域に応じた相関判定領域を用いて相関判定を行う。これにより、相関判定結果に誤判定が生じることを防止し、絵柄に応じた高精度の画素補間を可能にする。
【００４７】
なお、上記実施の形態においては、水平及び垂直帯域フィルタ部を用いて映像信号の帯域を分ける例について説明したが、通過帯域が異なる水平帯域フィルタのみ又は垂直帯域フィルタのみを用いて映像信号を帯域制限するようにしてもよく、帯域の分離の仕方は適宜設定可能である。
【図面の簡単な説明】
【００４８】
【図１】本発明の第１の実施の形態に係る補間画素生成回路を示すブロック図。
【図２】横軸に水平周波数をとり縦軸に垂直周波数をとって、水平及び垂直帯域フィルタ部１２のフィルタリングを説明するための説明図。
【図３】相関判定方法を説明するための説明図。
【図４】相関判定方法を説明するための説明図。
【図５】補間画素の生成方法を説明するための説明図。
【図６】補間画素の生成方法を説明するための説明図。
【符号の説明】
【００４９】
１１…メモリ部、１２…水平及び垂直帯域フィルタ部、１３…相関判定部、１４…周波数判定部、１５…相関選択部、１６…補間画素生成部。
【図１】
2009260729.tif 000003
【図２】
2009260729.tif 000004
【図３】
2009260729.tif 000005
【図４】
2009260729.tif 000006
【図５】
2009260729.tif 000007
【図６】
2009260729.tif 000008