(57)【要約】【課題】  Ｓ／Ｎやプリシュート／オーバーシュートの問題を防止しつつ、ＳＤ画像を任意の高解像度のＨＤ画像に変換する。【解決手段】  画像処理装置１において、画像変換部２０は、ＳＤ画像と所定の予測係数との線形結合により、ＨＤ画像の予測値を求める適応処理を行うことで、５２５ｉ信号を例えばライン数が２倍の１０５０ｉ信号に変換する。この際、画像変換部２０では、解像度軸強度を変えることにより、任意の高解像度のＨＤ画像に変換することができる。この画像変換部２０からの出力信号は、入力信号と比較して高域成分が強調されたものとなるため、周波数調整回路１５は、この画像変換部２０の周波数特性を考慮し、その逆特性を示すように、具体的にはＬＰＦの特性を示すように周波数特性を調整する。【選択図】  図１
2005094151.tif 000002
【特許請求の範囲】
【請求項１】
入力された第１の画像信号の周波数特性を調整する周波数特性調整手段と、
上記周波数特性調整手段によって周波数特性の調整された上記第１の画像信号を、該第１の画像信号よりも画素数の多い第２の画像信号に変換する画像変換手段とを備え、
上記周波数特性調整手段は、上記画像変換手段による周波数特性変化の略々逆特性を示すように、上記第１の画像信号の周波数特性を調整する
ことを特徴とする画像処理装置。
【請求項２】
上記画像変換手段は、
注目している上記第１の画像信号の画素である注目画素を、その注目画素に対応する上記第２の画像信号の性質に応じて、所定のクラスに分類するクラス分類を行うクラス分類手段と、
上記注目画素の予測値を、その注目画素のクラスに対応して予測する予測手段と
を有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記予測手段は、
上記第２の画像信号の画素との線形結合により上記注目画素の予測値を算出するための予測係数を、上記クラス毎に記憶している予測係数記憶手段と、
上記注目画素についての上記予測係数と、上記第２の画像の画素とから、上記注目画素の予測値を求める予測値演算手段と
を有することを特徴とする請求項２記載の画像処理装置。
【請求項４】
上記周波数特性調整手段は、略々ローパスフィルタの特性を示すように、上記第１の画像信号の周波数特性を高域ほど減衰させることを特徴とする請求項１記載の画像処理装置。
【請求項５】
上記第１の画像信号は、Ｓ信号、ＹＵＶ信号、ＣＶＢＳ信号又はＲＦ信号であり、
上記周波数特性調整手段は、上記Ｓ信号及び上記ＹＵＶ信号、上記ＣＶＢＳ信号、上記ＲＦ信号の順に、周波数特性の減衰量を大きくする
ことを特徴とする請求項４記載の画像処理装置。
【請求項６】
上記第１の画像信号のＳ／Ｎを検出するＳ／Ｎ検出手段をさらに備え、
上記周波数特性調整手段は、上記Ｓ／Ｎ検出手段による検出の結果、Ｓ／Ｎが小さいほど周波数特性の減衰量を大きくする
ことを特徴とする請求項４記載の画像処理装置。
【請求項７】
上記周波数特性調整手段は、上記第１の画像信号のうち所定の閾値以上の振幅を有する部分のみ周波数特性を調整することを特徴とする請求項１記載の画像処理装置。
【請求項８】
入力された第１の画像信号の周波数特性を調整する周波数特性調整工程と、
上記周波数特性調整工程にて周波数特性の変更された上記第１の画像信号を、該第１の画像信号よりも画素数の多い第２の画像信号に変換する画像変換工程とを有し、
上記周波数特性調整工程では、上記画像変換工程における周波数特性変化の略々逆特性を示すように、上記第１の画像信号の周波数特性を調整する
ことを特徴とする画像処理方法。
【請求項９】
上記画像変換工程は、
注目している上記第１の画像信号の画素である注目画素を、その注目画素に対応する上記第２の画像信号の性質に応じて、所定のクラスに分類するクラス分類を行うクラス分類工程と、
上記注目画素の予測値を、その注目画素のクラスに対応して予測する予測工程と
を有することを特徴とする請求項８記載の画像処理方法。
【請求項１０】
上記予測工程は、
上記クラス毎に予測係数記憶手段に記憶された、上記第２の画像信号の画素との線形結合により上記注目画素の予測値を算出するための予測係数と、上記第２の画像の画素とから、上記注目画素の予測値を求める予測値演算工程を有する
ことを特徴とする請求項９記載の画像処理方法。
【請求項１１】
上記周波数特性調整工程では、略々ローパスフィルタの特性を示すように、上記第１の画像信号の周波数特性を高域ほど減衰させることを特徴とする請求項８記載の画像処理方法。
【請求項１２】
上記第１の画像信号は、Ｓ信号又はＹＵＶ信号、ＣＶＢＳ信号、ＲＦ信号であり、
上記周波数特性調整工程では、上記Ｓ信号及び上記ＹＵＶ信号、上記ＣＶＢＳ信号、上記ＲＦ信号の順に、周波数特性の減衰量を大きくする
ことを特徴とする請求項１１記載の画像処理方法。
【請求項１３】
上記第１の画像信号のＳ／Ｎを検出するＳ／Ｎ検出工程をさらに有し、
上記周波数特性調整工程では、上記Ｓ／Ｎ検出工程における検出の結果、Ｓ／Ｎが小さいほど周波数特性の減衰量を大きくする
ことを特徴とする請求項１１記載の画像処理方法。
【請求項１４】
上記周波数特性調整工程では、上記第１の画像信号のうち所定の閾値以上の振幅を有する部分のみ周波数特性を調整することを特徴とする請求項８記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、標準解像度又は低解像度の画像を任意の高解像度の画像に変換する場合などに用いて好適な画像処理装置及びその方法に関する。
【背景技術】
【０００２】
例えば、標準解像度又は低解像度の画像（以下、適宜「ＳＤ（Standard Definition）画像」という。）を高解像度の画像（以下、適宜「ＨＤ（High Definition）画像」という。）に変換したり、画像を拡大したりする場合においては、いわゆる補間フィルタなどによって、不足している画素値の補間（補償）が行われるようになされている。
【０００３】
しかしながら、補間フィルタによって画素の補間を行っても、ＳＤ画像に含まれていないＨＤ画像の成分（高域成分）を復元することはできないため、高解像度の画像を復元することは困難であった。
【０００４】
そこで、本件出願人は、ＳＤ画像を、そこに含まれていない高域成分をも含むＨＤ画像に変換する画像変換装置を先に提案している（例えば下記特許文献１〜３参照）。
【０００５】
【特許文献１】特開平７−１９３７８９号公報
【特許文献２】特開平１１−５５６３０号公報
【特許文献３】特開２０００−１３４５８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、この画像変換装置では、解像度軸強度を変えることにより、ＳＤ画像を任意の高解像度のＨＤ画像に変換することができる。しかしながら、解像度軸強度を上げすぎると、中域から周波数特性が強調されることにより出力信号にプリシュート／オーバーシュートが発生するため、解像度軸強度を上げる程度は限られていた。また、入力信号に含まれる高域成分が強調されてくることから、Ｓ／Ｎ（Signal/Noise）の観点からも解像度軸強度を上げる程度は限られていた。
【０００７】
本発明は、このような従来の実情に鑑みて提案されたものであり、解像度軸強度を上げても、Ｓ／Ｎやプリシュート／オーバーシュートの点で問題の発生しない画像処理装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した目的を達成するために、本発明に係る画像処理装置は、入力された第１の画像信号の周波数特性を調整する周波数特性調整手段と、上記周波数特性調整手段によって周波数特性の変更された上記第１の画像信号を、該第１の画像信号よりも画素数の多い第２の画像信号に変換する画像変換手段とを備え、上記周波数特性調整手段は、上記画像変換手段による周波数特性変化の略々逆特性を示すように、上記第１の画像信号の周波数特性を調整するものである。
【０００９】
また、上述した目的を達成するために、本発明に係る画像処理方法は、入力された第１の画像信号の周波数特性を調整する周波数特性調整工程と、上記周波数特性調整工程にて周波数特性の変更された上記第１の画像信号を、該第１の画像信号よりも画素数の多い第２の画像信号に変換する画像変換工程とを有し、上記周波数特性調整工程では、上記画像変換工程における周波数特性変化の略々逆特性を示すように、上記第１の画像信号の周波数特性を調整するものである。
【００１０】
このような画像処理装置及びその方法では、入力された第１の画像信号を、該第１の画像信号よりも画素数の多い第２の画像信号に変換する際に、その前段において、第１の画像信号の周波数特性が略々ローパスフィルタの特性を示すように、該第１の画像信号の周波数特性を高域ほど減衰させる。
【発明の効果】
【００１１】
本発明に係る画像処理装置及びその方法によれば、入力された第１の画像信号を、該第１の画像信号よりも画素数の多い第２の画像信号に変換する際に、その前段において、第１の画像信号の周波数特性が略々ローパスフィルタの特性を示すように、該第１の画像信号の周波数特性を高域ほど減衰させることにより、Ｓ／Ｎやプリシュート／オーバーシュートの問題を防止しつつ、第１の画像信号から任意の高解像度の第２の画像を得ることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、入力された映像信号で構成される標準解像度又は低解像度の画像（以下、適宜「ＳＤ（Standard Definition）画像」という。）を任意の高解像度の画像（以下、適宜「ＨＤ（High Definition）画像」という。）に変換し、さらに表示ディスプレイの画素数に変換して表示させる画像処理装置に適用したものである。
【００１３】
先ず、第１の実施の形態における画像処理装置の概略構成を図１に示す。図１に示すように、本実施の形態における画像処理装置１は、チューナ１０と、画像処理部１１と、画像変換部２０と、画素数変換部２１と、Ｙ系処理部２２と、Ｃ系処理部２３と、マトリクス回路２４と、ドライブ／カットオフ調整部２５と、表示ディスプレイ２６とから構成されている。
【００１４】
画像処理部１１は、Ｙ／Ｃ分離回路１２と、クロマ復調回路１３と、セレクタ１４と、周波数調整回路１５と、振幅レベル調整回路１６とを有し、チューナ１０でＣＶＢＳ（Composite Video Burst Signal）信号に復調されるＲＦ信号、外部映像機器からのＣＶＢＳ信号、ＹＵＶ信号、Ｓ（Ｙ及びＣ）信号等の各種映像信号が入力される。
【００１５】
Ｙ／Ｃ分離回路１２は、ＣＶＢＳ信号及びＳ信号をＹＣ信号にデコードし、Ｙ信号をセレクタ１４に供給すると共に、Ｃ信号をクロマ復調回路１３に供給する。クロマ復調回路１３は、Ｃ信号をＵ信号及びＶ信号に復調し、それぞれセレクタ１４に供給する。セレクタ１４は、ＹＵＶ信号にデコードされたＣＶＢＳ信号及びＳ信号と、入力がＹＵＶ信号であるＹＵＶ信号とのうち、Ｙ信号を周波数調整回路１５に供給すると共に、Ｕ信号及びＶ信号を振幅レベル調整回路１６に供給する。周波数調整回路１５は、後段の画像変換部２０における解像度軸強度に応じて、Ｙ信号の周波数特性を後述のように調整し、調整後のＹ信号を振幅レベル調整回路１６に供給する。そして、振幅レベル調整回路１６は、ＹＵＶ信号の振幅レベルを調整し、５２５ｉ信号（ライン数５２５本のインタレース方式の信号）として出力する。
【００１６】
画像変換部２０は、ＳＤ画像と所定の予測係数との線形結合により、ＨＤ画像の予測値を求める適応処理を行うことで、５２５ｉ信号を例えばライン数が２倍の１０５０ｉ信号に変換する。この際、画像変換部２０では、解像度軸強度を変えることにより、任意の高解像度のＨＤ画像に変換することができる。画像変換部２０は、変換後のＹＵＶ信号を画素数変換部２１に供給する。なお、この画像変換部２０における画像変換処理については、後で詳細に説明する。
【００１７】
画素数変換部２１は、表示ディスプレイ２６の画素数に合うように、画像変換部２０から供給されたＹＵＶ信号の映像フォーマット（１画面の画素数）を変換する。画素数変換部２１は、画素数変換したＹＵＶ信号のうち、Ｙ信号をＹ系処理部２２に供給し、ＵＶ信号をＣ系処理部２３に供給する。
【００１８】
Ｙ系処理部２２は、ＤＣ伝送率回路、黒伸張回路及びシャープネス回路（何れも図示せず）等を有し、Ｙ信号に対してそれぞれ所定の処理を施す。一方、Ｃ系処理部２３は、色レベル調整回路（図示せず）等を有し、ＵＶ信号に対して所定の処理を施す。Ｙ系処理部２２及びＣ系処理部２３は、それぞれ処理後のＹ信号及びＵＶ信号をマトリクス回路２４に供給する。
【００１９】
マトリクス回路２４は、Ｙ系処理部２２及びＣ系処理部２３から供給されたＹＵＶ信号をＲＧＢ信号に変換し、変換後のＲＧＢ信号をドライブ／カットオフ調整部２５に供給する。そして、ドライブ／カットオフ調整部２５は、表示ディスプレイ２６用にドライブレベルとカットオフレベルとを調整し、表示ディスプレイ２６に表示させる。
【００２０】
ここで、上述した画像変換部２０においては、ＳＤ画像と所定の予測係数との線形結合により、ＨＤ画像の予測値を求める適応処理を行うことで、ＳＤ画像には含まれていない高域成分が復元されるようになされている。
【００２１】
すなわち、例えば、ＨＤ画像を構成する画素（以下、適宜「ＨＤ画素」という。）の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構成する画素）の画素値（以下、適宜「学習データ」という。）ｘ１，ｘ２，・・・と、所定の予測係数ｗ１，ｗ２，・・・との線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、以下の式（１）で表すことができる。
【００２２】
【数１】
2005094151.tif 000003
【００２３】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、及び予測値Ｅ［ｙ］の集合でなる行列Ｙ’を以下の式（２）〜（４）で定義すると、式（５）のような観測方程式が成立する。
【００２４】
【数２】
2005094151.tif 000004
【００２５】
【数３】
2005094151.tif 000005
【００２６】
そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなるＨＤ画素の真の画素値ｙの集合でなる行列Ｙ、及びＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを以下の式（６）、（７）で定義すると、上記式（５）から、式（８）のような残差方程式が成立する。
【００２７】
【数４】
2005094151.tif 000006
【００２８】
【数５】
2005094151.tif 000007
【００２９】
この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗｉは、例えば、式（９）に示すような自乗誤差を最小にすることで求めることができる。
【００３０】
【数６】
2005094151.tif 000008
【００３１】
したがって、上述の自乗誤差を予測係数ｗｉで微分したものが０になる場合、すなわち、以下の式（１０）を満たす予測係数ｗｉが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００３２】
【数７】
2005094151.tif 000009
【００３３】
そこで、先ず、式（８）を予測係数ｗｉで微分することにより、以下の式（１１）が成立する。
【００３４】
【数８】
2005094151.tif 000010
【００３５】
そして、式（１０）、（１１）より、以下の式（１２）が得られる。
【００３６】
【数９】
2005094151.tif 000011
【００３７】
さらに、式（８）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、及び残差ｅの関係を考慮すると、式（１２）から、以下の式（１３）に示すような正規方程式を得ることができる。
【００３８】
【数１０】
2005094151.tif 000012
【００３９】
この式（１３）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、したがって、式（１３）を解くことで（但し、式（１３）を解くには、式（１３）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（１３）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【００４０】
以上のようにして、最適な予測係数ｗを求めておき、さらに、その予測係数ｗを用い、式（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００４１】
なお、適応処理は、ＳＤ画像には含まれておらずＨＤ画像に含まれている成分が再現される点で、補間処理とは異なる。すなわち、適応処理では、式（１）を見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。すなわち、容易に高解像度の画像を得ることができる。このことから、適応処理は、いわば画像（の解像度）の創造作用がある処理ということができる。
【００４２】
図２は、以上のような適応処理により、ＳＤ画像をＨＤ画像に変換する画像変換部の内部構成例を示している。
【００４３】
ＳＤ画像は、クラス分類部１０１及び適応処理部１０４に供給されるようになされている。クラス分類部１０１は、クラスタップ生成回路１０２及びクラス分類回路１０３で構成され、そこでは、適応処理により予測値を求めようとするＨＤ画素（注目しているＨＤ画素）（以下、適宜「注目画素」という。）が、その注目画素に対応するＳＤ画像の画素の性質に基づいて、所定のクラスにクラス分類される。
【００４４】
すなわち、クラスタップ生成回路１０２では、注目画素のクラス分類を行うのに用いる。その注目画素に対応するＳＤ画素（以下、適宜「クラスタップ」という。）として、例えば、注目画素に対して所定の位置関係にある複数のＳＤ画素が、クラス分類部１０１に供給されるＳＤ画像から抽出され、クラス分類回路１０３に供給される。クラス分類回路１０３では、クラスタップ生成回路１０２からのクラスタップを構成するＳＤ画素の画素値のパターン（画素値の分布）が検出され、そのパターンに予め割り当てられた値が、注目画素のクラスとして、適応処理部１０４に供給される。
【００４５】
具体的には、例えば、ＨＤ画像が、図３において、×印で示す画素（ＨＤ画素）で構成され、ＳＤ画像が、同図において、丸印で示す画素（ＳＤ画素）で構成されるとする。なお、図３では、ＳＤ画像が、ＨＤ画像の横又は縦の画素数をそれぞれ１／２にして構成されている。ここで、図３においては（後述する図４乃至図６においても同様）、左からｉ＋１番目で、上からｊ＋１番目のＳＤ画素（図中、丸印で示す部分）をＸｉ，ｊと表し、同様に、左からｉ'＋１番目で、上からｊ'＋１番目のＨＤ画素（図中、×印で示す部分）をＹｉ’，ｊ’と表してある。この場合、ＳＤ画素Ｘｉ，ｊの位置と、ＨＤ画素Ｙ２ｉ，２ｊの位置とは一致する。
【００４６】
いま、あるＳＤ画素としての、例えば、Ｘ２，２の位置と一致するＨＤ画素Ｙ４，４を注目画素とすると、クラスタップ生成回路１０２では、そのＨＤ画素Ｙ４，４に対応するＳＤ画素として、例えば、ＨＤ画素Ｙ４，４との相関が高いと予想されるＨＤ画素Ｙ４，４の位置と一致するＳＤ画素Ｘ２，２を中心とする３×３（横×縦）のＳＤ画素Ｘ１，１，Ｘ２，１，Ｘ３，１，Ｘ１，２，Ｘ２，２，Ｘ３，２，Ｘ１，３，Ｘ２，３，Ｘ３，３（図３において点線で囲んである範囲のＳＤ画素）が抽出され、それが注目画素（ＨＤ画素）Ｙ４，４のクラスタップとされる。
【００４７】
また、例えば、Ｘ２，２の位置と一致するＨＤ画素Ｙ４，４の右隣のＨＤ画素Ｙ５，４が注目画素とされた場合には、クラスタップ生成回路１０２では、そのＨＤ画素Ｙ５，４に対応するＳＤ画素として、例えば、図４において点線で囲んで示すように、ＨＤ画素Ｙ４，４が注目画素とされた場合に形成されるクラスタップの中のＳＤ画素Ｘ１，２に代えて、ＳＤ画素Ｘ４，２を含めたものが抽出され、その９個のＳＤ画素が、注目画素（ＨＤ画素）Ｙ５，４のクラスタップとされる。
【００４８】
さらに、例えば、Ｘ２，２の位置と一致するＨＤ画素Ｙ４，４の下に隣接するＨＤ画素Ｙ４，５が注目画素とされた場合には、クラスタップ生成回路１０２では、そのＨＤ画素Ｙ４，５に対応するＳＤ画素として、例えば、図５において点線で囲んで示すように、ＨＤ画素Ｙ４，４が注目画素とされた場合に形成されるクラスタップの中のＳＤ画素Ｘ２，１に代えて、ＳＤ画素Ｘ２，４を含めたものが抽出され、その９個のＳＤ画素が、注目画素（ＨＤ画素）Ｙ４，５のクラスタップとされる。
【００４９】
また、例えば、Ｘ２，２の位置と一致するＨＤ画素Ｙ４，４の右斜め下に隣接するＨＤ画素Ｙ５，５が注目画素とされた場合には、クラスタップ生成回路１０２では、そのＨＤ画素Ｙ５，５に対応するＳＤ画素として、例えば、図６において点線で囲んで示すように、ＨＤ画素Ｙ４，４が注目画素とされた場合に形成されるクラスタップの中のＳＤ画素Ｘ１，１に代えて、ＳＤ画素Ｘ４，４を含めたものが抽出され、その９個のＳＤ画素が、注目画素（ＨＤ画素）Ｙ５，５のクラスタップとされる。
【００５０】
そして、クラス分類回路２０３では、クラスタップ生成回路１０２で構成されたクラスタップとしての９個のＳＤ画素（画素値）のパターンが検出され、そのパターンに対応する値が、注目画素のクラスとして出力される。
【００５１】
このクラスは、適応処理部１０４における係数ＲＯＭ（Read Only Memory）１０７のアドレス端子（ＡＤ）に供給される。
【００５２】
ここで、画像を構成する画素には、一般的に、８ビットなどが割り当てられる。いま、ＳＤ画素に８ビットが割り当てられているとすると、例えば、図３に示した３×３画素の正方形状のクラスタップだけを考えても、画素値のパターン数は、（２８）９通りという莫大な数となり、その後の処理の迅速化が困難となる。
【００５３】
そこで、クラス分類を行う前の前処理として、クラスタップには、それを構成するＳＤ画素のビット数を低減するための処理である、例えばＡＤＲＣ（Adaptive Dynamic Range Coding）処理などが施される。
【００５４】
すなわち、ＡＤＲＣ処理では、まず、クラスタップを構成する９個のＳＤ画素から、その画素値の最大のもの（以下、適宜「最大画素」という。）と最小のもの（以下、適宜「最小画素」という。）とが検出される。そして、最大画素の画素値ＭＡＸと最小画素の画素値ＭＩＮとの差分ＤＲ（＝ＭＡＸ−ＭＩＮ）が演算され、このＤＲをクラスタップの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、クラスタップを構成する各画素値が、元の割当ビット数より少ないＫビットに再量子化される。つまり、クラスタップを構成する各画素値から最小画素の画素値ＭＩＮが減算され、各減算値が、ＤＲ／２Ｋで除算される。
【００５５】
その結果、クラスタップを構成する各画素値はＫビットで表現されるようになる。したがって、例えばＫ＝１とした場合、９個のＳＤ画素の画素値のパターン数は、（２１）９通りになり、ＡＤＲＣ処理を行わない場合に比較して、パターン数を非常に少ないものとすることができる。
【００５６】
一方、適応処理部１０４は、予測タップ生成回路１０５、予測演算回路１０６、及び係数ＲＯＭ１０７で構成され、そこでは、適応処理が行われる。
【００５７】
すなわち、予測タップ生成回路１０５では、適応処理部１０４に供給されるＳＤ画像から、予測演算回路１０６において注目画素の予測値を求めるのに用いる、その注目画素に対して所定の位置関係にある複数のＳＤ画素が抽出され、これが予測タップとして、予測演算回路１０６に供給される。
【００５８】
具体的には、例えば、ＨＤ画素Ｙ４，４が注目画素とされ、図３で説明したようなクラスタップが構成される場合、予測タップ生成回路１０５では、例えば、ＨＤ画素Ｙ４，４との相関が高いと予想されるＳＤ画素として、同図に実線で囲んで示す範囲の、注目画素Ｙ４，４の位置に一致するＳＤ画素Ｘ２，２を中心とする５×５のＳＤ画素が抽出され、これが注目画素（ＨＤ画素）Ｙ４，４の予測タップとされる。
【００５９】
また、例えば、ＨＤ画素Ｙ５，４が注目画素とされた場合には、予測タップ生成回路１０５では、例えば、図４において実線で囲んで示すように、ＨＤ画素Ｙ４，４が注目画素とされた場合に形成される予測タップの中のＳＤ画素Ｘ０，２に代えて、ＳＤ画素Ｘ５，２を含めたものが抽出され、その２５個のＳＤ画素が、注目画素（ＨＤ画素）Ｙ５，４のクラスタップとされる。
【００６０】
さらに、例えば、ＨＤ画素Ｙ４，５が注目画素とされた場合には、予測タップ生成回路１０５では、例えば、図５において実線で囲んで示すように、ＨＤ画素Ｙ４，４が注目画素とされた場合に形成される予測タップの中のＳＤ画素Ｘ２，０に代えて、ＳＤ画素Ｘ２，５を含めたものが抽出され、その２５個のＳＤ画素が、注目画素（ＨＤ画素）Ｙ４，５の予測タップとされる。
【００６１】
また、例えば、ＨＤ画素Ｙ５，５が注目画素とされた場合には、予測タップ生成回路１０５では、例えば、図６において実線で囲んで示すように、ＨＤ画素Ｙ４，４が注目画素とされた場合に形成されるクラスタップの中のＳＤ画素Ｘ０，０に代えて、ＳＤ画素Ｘ５，５を含めたものが抽出され、その２５個のＳＤ画素が、注目画素（ＨＤ画素）Ｙ５，５の予測タップとされる。
【００６２】
そして、予測演算回路１０６には、予測タップ生成回路１０５から予測タップが供給される他、係数ＲＯＭ１０７から予測係数も供給される。
【００６３】
すなわち、係数ＲＯＭ１０７は、予め学習が行われることにより求められた予測係数をクラス毎に記憶しており、クラス分類回路１０３からクラスが供給されると、そのクラスに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路１０６に供給する。
【００６４】
これにより、予測演算回路１０６には、注目画素に対応する予測タップと、その注目画素のクラスについての予測係数とが供給される。そして、予測演算回路１０６では、係数ＲＯＭ１０７からの予測係数ｗ，ｗ２，・・・と、予測タップ生成回路１０５からの予測タップ（を構成するＳＤ画素）ｘ１，ｘ２，・・・とを用いて、式（１）に示した演算が行われることにより、注目画素（ＨＤ画素）ｙの予測値Ｅ［ｙ］が求められ、これがＨＤ画素の画素値として出力される。
【００６５】
以上の処理が、全てのＨＤ画素を注目画素として行われ、これにより、ＳＤ画像がＨＤ画像に変換される。なお、クラスタップ生成回路１０２及び予測タップ生成回路１０５では、同一のＨＤ画素を注目画素として処理が行われる。
【００６６】
次に、図７は、図２の係数ＲＯＭ１０７に記憶させる予測係数を算出する学習処理を行う学習装置の構成例を示している。
【００６７】
学習における教師データｙとなるべきＨＤ画像が、間引き回路２０１及び教師データ抽出回路２０４に供給されるようになされており、間引き回路２０１では、ＨＤ画像が、例えば、その画素数が間引かれることにより少なくされ、これによりＳＤ画像とされる。すなわち、間引き回路２０１では、ＨＤ画像の横又は縦の画素数がそれぞれ１／２にされ、これにより、ＳＤ画像が形成される。このＳＤ画像は、クラス分類部２０２及び予測タップ生成回路２０３に供給される。
【００６８】
クラス分類部２０２又は予測タップ生成回路２０３では、図２のクラス分類部１０１又は予測タップ生成回路１０５における場合とそれぞれ同様の処理が行われ、これにより注目画素のクラス又は予測タップがそれぞれ出力される。クラス分類部２０２が出力するクラスは、予測タップメモリ２０５及び教師データメモリ２０６のアドレス端子（ＡＤ）に供給され、予測タップ生成回路２０３が出力する予測タップは、予測タップメモリ２０５に供給される。なお、クラス分類部２０２及び予測タップ生成回路２０３では、同一のＨＤ画素を注目画素として処理が行われる。
【００６９】
予測タップメモリ２０５では、クラス分類部２０２から供給されるクラスに対応するアドレスに、予測タップ生成回路２０３から供給される予測タップが記憶される。
【００７０】
一方、教師データ抽出回路２０４では、クラス分類部２０２及び予測タップ生成回路２０３において注目画素とされるＨＤ画素が、そこに供給されるＨＤ画像から抽出され、教師データとして、教師データメモリ２０６に供給される。
【００７１】
そして、教師データメモリ２０６では、クラス分類部２０２から供給されるクラスに対応するアドレスに、教師データ抽出回路２０４から供給される教師データが記憶される。
【００７２】
以上の処理が、予め学習用に用意された全てのＨＤ画像を構成する全てのＨＤ画素を、順次、注目画素として行われる。
【００７３】
その結果、教師データメモリ２０６又は予測タップメモリ２０５の同一のアドレスには、そのアドレスに対応するクラスのＨＤ画素、又はそのＨＤ画素について図３乃至図６において説明した予測タップを構成する位置にあるＳＤ画素が、教師データｙ又は学習データｘとして、それぞれ記憶される。
【００７４】
なお、予測タップメモリ２０５及び教師データメモリ２０６においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、同一のクラスに分類される複数の学習データｘと教師データｙとを記憶することができるようになされている。
【００７５】
その後、演算回路２０７は、予測タップメモリ２０５又は教師データメモリ２０６から、同一アドレスに記憶されている学習データとしての予測タップ又は教師データとしてのＨＤ画素を読み出し、それらを用いて、例えば、最小自乗法によって、予測値と教師データとの間の誤差を最小にする予測係数を算出する。すなわち、演算回路２０７では、クラス毎に式（１３）に示した正規方程式がたてられ、これを解くことにより予測係数が求められる。
【００７６】
以上のようにして、演算回路２０７で求められたクラス毎の予測係数が、図２の係数ＲＯＭ１０７における、各クラスに対応するアドレスに記憶されている。
【００７７】
なお、以上のような学習処理において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があるが、そのようなクラスについては、例えば、クラスを無視して正規方程式をたてて解くことにより得られる予測係数などが、いわばデフォルトの予測係数として用いられる。
【００７８】
ここで、以上説明した画像変換部２０における処理は、ＳＤ画像と所定の予測係数との線形結合によりＨＤ画像の予測値を求める適応処理を行うことで、ＳＤ画像には含まれていない高域成分を復元するものであるため、画像変換部２０からの出力信号は、入力信号と比較して高域成分が強調されたものとなる。すなわち、画像変換部２０は、高域成分ほど増加した周波数特性を有する。この結果、図８に模式的に示すように、画像変換部２０の入力信号が平坦なものであったとしても、画像変換部２０からの出力信号は、高域成分ほど強調されたものとなる。
【００７９】
しかしながら、このように高域成分が強調された場合、出力信号のプリシュート／オーバーシュートが目立つと共にＳ／Ｎが悪化し、画質の劣化を生じる虞がある。
【００８０】
そこで、本実施の形態における画像処理装置１では、画像変換部２０における周波数特性を考慮し、その前段の画像処理部１１（詳しくは周波数調整回路１５）において、その逆特性を示すように、具体的にはＬＰＦ（Low-Pass filter）の特性を示すように周波数特性を調整する。この結果、図９（Ａ）に模式的に示すように、画像処理部１１の入力信号が平坦なものであった場合、画像処理部１１からの出力信号（画像変換部２０の入力信号）は、高域成分ほど減衰したものとなり、画像変換部２０からの出力信号は、平坦なものとなる。
【００８１】
このとき、画像処理部１１の入力信号のＳ／Ｎと比較して、出力信号でのＳ／Ｎは、高域成分の周波数特性を減衰させた分だけ改善されている。さらに、画像変換部２０により新たに創造された周波数成分には、ランダムなパターンの信号が殆ど含まれていないため、画像変換部２０からの出力信号においても、このＳ／Ｎの改善分は確保される。すなわち、図１０に示すように、画像処理部１１の周波数調整回路１５において、高域成分ほど減衰するような周波数特性とすることにより、図中斜線で示す部分のＳ／Ｎが改善されることとなる。
【００８２】
なお、図９（Ａ）にて画像変換部２０の出力の周波数特性を平坦にするためには、画像変換部２０の周波数特性を補償する周波数特性が前段の画像処理部１１に要求される。しかしながら、厳密には画像変換部２０が創造する高域の周波数領域まで前段の画像処理部１１で周波数特性を補償することは困難である。そこで、実際的な方法として、図９（Ｂ）のような周波数特性のフィルタを画像処理部１１で使用し、代用することもある。
【００８３】
さらに、周波数調整回路１５で高域成分の減衰量を著しく（例えば６ｄＢ近く）大きくすることで、画像変換部２０の入力信号に含まれているトランジェント部のリンギングを削減することが可能となる。すなわち、一般的に帯域圧縮・復元処理において、トランジェント部でのビット配分は平坦部と比較して少ない。画像変換部２０でＳＤ画像をＨＤ画像に変換するときにも同様の性質を有しており、高域成分の周波数特性を著しく減衰させると、高域成分の情報は一様に落ちるが、画像変換部２０からの出力信号での落ち具合は、ビット配分の関係からトランジェント部の方が大きい。したがって、このように周波数調整回路１５における周波数特性を高域成分ほど減衰させることにより、ＲＦ信号で起きやすいトランジェント部でのリンギングをかなりの程度まで軽減することが可能となる。
【００８４】
また、リンギングに限らず、中振幅以上の信号波形（特に文字信号等）の周辺に発生するモスキートノイズ（ＭＰＥＧ（Moving Picture Experts Group）デコード時に発生するノイズの一種）も同様に軽減することが可能である。なお、周波数調整回路１５において高域成分の周波数特性を減衰させるほど、この軽減効果が増す。
【００８５】
次に、第２の実施の形態として図１１に示す画像処理装置２は、基本構造を図１に示した画像処理装置１と同様とするが、Ｓ／Ｎ検出回路１７と、マイクロコンピュータ２７とを有し、映像信号の帯域とＳ／Ｎとに応じて、周波数調整回路１５における周波数特性の減衰量を可変とする点に特徴を有している。したがって、先に図１に示した画像処理装置１と同様の構成については同一符号を付して詳細な説明を省略する。
【００８６】
図１１に示す画像処理装置２において、周波数調整回路１５では、第１の実施の形態と同様に高域成分ほど周波数特性を減衰させるが、入力された映像信号のうち、帯域が狭く高域成分の情報量が少ない映像信号ほど、周波数特性を減衰させることによる弊害が少ないと考えられる。そこで、本実施の形態におけるマイクロコンピュータ２７は、入力された映像信号の種類に基づき、１）Ｓ信号及びＹＵＶ信号、２）ＣＶＢＳ信号、３）ＲＦ信号、の順に、周波数調整回路１５における周波数特性の減衰量を大きくするように制御する。具体的には、例えば帯域の広いＳ信号及びＹＵＶ信号は２ｄＢ程度、ＣＶＢＳ信号は２〜３ｄＢ程度、帯域の狭いＲＦ信号は６ｄＢ程度、それぞれ減衰させる。このとき、画像変換部２０では、この周波数特性の減衰分だけ解像度軸強度を上げる。
【００８７】
また、上述の通り、周波数調整回路１５で高域成分の減衰量を大きくし、画像変換部２０で解像度軸強度を上げることで、映像信号のＳ／Ｎを改善することができるため、入力された映像信号のＳ／Ｎが悪い場合には、周波数調整回路１５における周波数特性の減衰量を大きくし、且つ画像変換部２０における解像度軸強度を上げることが有効であると考えられる。そこで、本実施の形態におけるＳ／Ｎ検出回路１７は、セレクタ１４から供給されたＹ信号のＳ／Ｎを検出し、この検出結果をマイクロコンピュータ２７に供給する。マイクロコンピュータ２７は、このＳ／Ｎの検出結果に応じて、周波数調整回路１５における周波数特性の減衰量の調節を制御する。例えば、ＲＦ信号は、Ｓ／Ｎが悪いことが多いが、このように周波数調整回路１５における周波数特性の減衰量を大きくし、画像変換部２０における解像度軸強度を上げることで、Ｓ／Ｎを大幅に改善することが可能である。
【００８８】
続いて、第３の実施の形態として図１２に示す画像処理装置３は、基本構造を図１に示した画像処理装置１と同様とするが、周波数調整回路１５にコアリング回路１８が内蔵されており、閾値Ｔｈ以下の微小振幅信号の周波数特性を減衰せずに通過させる点に特徴を有している。したがって、先に図１に示した画像処理装置１と同様の構成については同一符号を付して詳細な説明を省略する。
【００８９】
ここで、上述した第１の実施の形態では、微小振幅信号についても一律に周波数特性を減衰させるため、信号のディテールが失われてしまう虞がある。
【００９０】
そこで、本実施の形態では、周波数調整回路１５の内部にコアリング回路１８を内蔵させ、この微小振幅信号の周波数特性を減衰させないようにする。具体的に、コアリング回路１８は、図１３のような入出力特性を示す。図１３から分かるように、このコアリング回路１８では、閾値Ｔｈ以下である微小振幅信号の出力が０となる。
【００９１】
周波数調整回路１５の内部構成例を図１４（Ａ）に示し、この周波数調整回路１５の各点における信号波形例を図１４（Ｂ）に示す。周波数調整回路１５は、図１４（Ａ）に示すように、遅延回路３０，３１と、乗算器３２，３３，３４と、加算器３５，３６と、上述したコアリング回路１８とを有する。ａ点の信号波形で示す周波数調整回路１５の入力信号は、遅延回路３０で遅延量ｔｄだけ遅延されてｂ点の信号波形となり、さらに遅延回路３１で遅延量ｔｄだけ遅延されてｃ点の信号波形となる。ａ，ｂ，ｃ点の各信号波形は、それぞれ乗算器３２，３３，３４で１／４倍，１／２倍，１／４倍され、加算器３５で加算されてｄ点の信号となる。このｄ点の信号波形は、コアリング回路１８を通ってｅ点の信号波形となり、さらに加算器３６でｂ点の信号波形と加算されて、ｆ点の信号波形で示す出力信号となる。
【００９２】
このとき、コアリング回路１８では、微小振幅信号（例えば１〜３ＬＳＢ／８ビット＝２５６階調）に対しては周波数特性を減衰させないため、信号のＳ／Ｎは改善されないが、この微小振幅信号が維持され、画像変換部２０で高精細化されるため、信号のディテールを強調することができる。
【００９３】
一方、微小ノイズもコアリング回路１８によって維持されるが、微小ノイズ中のランダム成分は、画像変換部２０によって強調されないまま残る。このランダムノイズは、プラズマディスプレイ等の表示階調のビット精度に問題のある表示ディスプレイにおいて、偽輪郭を見え難くするランダム性を有しているため、誤差拡散信号として働き、ノイズ感を改善することができる。
【００９４】
以上、第１乃至第３の実施の形態を通して本発明を実施するための最良の形態について説明したが、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【産業上の利用可能性】
【００９５】
以上説明した本発明によれば、Ｓ／Ｎやプリシュート／オーバーシュートの問題を防止しつつ、ＳＤ画像を任意の高解像度のＨＤ画像に変換することができる。
【図面の簡単な説明】
【００９６】
【図１】第１の実施の形態における画像処理装置の概略構成を示すブロック図である。
【図２】同画像処理装置における画像変換部の内部構成例を示すブロック図である。
【図３】クラスタップ及び予測タップの形成方法を説明するための図である。
【図４】クラスタップ及び予測タップの形成方法を説明するための図である。
【図５】クラスタップ及び予測タップの形成方法を説明するための図である。
【図６】クラスタップ及び予測タップの形成方法を説明するための図である。
【図７】同画像変換部の係数ＲＯＭに記憶させる予測係数の学習を行う学習装置の内部構成例を示すブロック図である。
【図８】従来の画像変換部の前後の信号における周波数特性を示す模式図である。
【図９】本実施の形態における画像変換部の前後の信号における周波数特性を示す模式図であり、同図（Ａ）は、画像処理部が理想的な周波数特性を有する場合の例を示し、同図（Ｂ）は、画像処理部が実際的な周波数特性を有する場合の例を示す。
【図１０】同画像変換部で置き換えられる信号成分を示す図である。
【図１１】第２の実施の形態における画像処理装置の概略構成を示すブロック図である。
【図１２】第３の実施の形態における画像処理装置の概略構成を示すブロック図である。
【図１３】同画像処理装置における周波数調整回路に内蔵されたコアリング回路の入出力特性を示す図である。
【図１４】同周波数調整回路を説明する図であり、同図（Ａ）は、周波数調整回路の内部構成例を示し、同図（Ｂ）は、同図（Ａ）の各点における信号波形を示す。
【符号の説明】
【００９７】
１  画像処理装置、１０  チューナ、１１  画像処理部、１２  Ｙ／Ｃ分離回路、１３  クロマ復調回路、１４  セレクタ、１５  周波数調整回路、１６  振幅レベル調整回路、１７  Ｓ／Ｎ検出回路、１８  コアリング回路、２０  画像変換部、２１  画素数変換部、２２  Ｙ系処理部、２３  Ｃ系処理部、２４  マトリクス回路、２５  ドライブ／カットオフ調整部、２６  表示ディスプレイ、２７  マイクロコンピュータ
【図１】
2005094151.tif 000013
【図２】
2005094151.tif 000014
【図３】
2005094151.tif 000015
【図４】
2005094151.tif 000016
【図５】
2005094151.tif 000017
【図６】
2005094151.tif 000018
【図７】
2005094151.tif 000019
【図８】
2005094151.tif 000020
【図９】
2005094151.tif 000021
【図１０】
2005094151.tif 000022
【図１１】
2005094151.tif 000023
【図１２】
2005094151.tif 000024
【図１３】
2005094151.tif 000025
【図１４】
2005094151.tif 000026