(57)【特許請求の範囲】
【請求項１】
入力画像信号を、相異なる複数種類の間引き間隔で間引いた画像から、夫々予測画素値を生成する予測画像信号生成手段と、
上記予測画像信号生成手段から出力される複数の予測画素値の内の最大値および最小値の一方を、上記入力画像信号の特徴に基づいて選択的に出力する最適画素値出力手段とを備え、
上記最適画素値出力手段は、
上記入力画像信号から、注目画素の周辺に指定される所定位置の画素値を統計的データ用クラスタップとして出力する統計的データ用クラスタップ抽出手段と、
上記統計的データ用クラスタップ抽出手段の出力に基づいて、統計的データ用クラスコードを発生する統計的データ用クラスコード発生手段と、
統計的データを予め記憶し、上記統計的データ用クラスコード発生手段の出力に対応する統計的データを出力する統計的データ記憶手段と、
上記統計的データ記憶手段の出力に基づいて、上記最大値および最小値の内から、最適な値を出力する出力値決定手段とを備えることを特徴とする画像情報変換装置。
【請求項２】
請求項１において、
上記相異なる複数種類の間引き間隔は、
間引きがなされない場合に対応するものを含むことを特徴とする画像情報変換装置。
【請求項３】
請求項１において、
上記統計的データとして、２種類以上のものを使用することを特徴とする画像情報変換装置。
【請求項４】
入力画像信号を、相異なる複数種類の間引き間隔で間引いた画像から、夫々予測画素値を生成する予測画像信号生成ステップと、
上記予測画像信号生成ステップによって生成される複数の予測画素値の内の最大値および最小値の一方を、上記入力画像信号の特徴に基づいて選択的に出力する最適画素値出力ステップとを備え、
上記最適画素値出力ステップは、
上記入力画像信号から、注目画素の周辺に指定される所定位置の画素値を統計的データ用クラスタップとして出力する統計的データ用クラスタップ抽出ステップと、
上記統計的データ用クラスタップ抽出ステップの出力に基づいて、統計的データ用クラスコードを発生する統計的データ用クラスコード発生ステップと、
予め記憶されている統計的データから、上記統計的データ用クラスコード発生ステップにより発生される統計的データ用クラスコードに対応する統計的データを出力する統計的データ出力ステップと、
上記統計的データ出力ステップの出力に基づいて、上記最大値および最小値の内から、最適な値を出力する出力値決定ステップとを備えることを特徴とする画像情報変換方法。
【請求項５】
入力画像信号を劣化させる信号劣化処理手段と、
上記信号劣化処理手段から出力される画像を相異なる複数種類の間引き間隔で間引いた画像から、夫々予測画素値を生成する予測画像信号生成手段と、
上記入力画像信号を参照して、上記予測画像信号生成手段から出力される複数の予測画素値の内の最大値および最小値の一方を選択的に出力する最適画素値出力手段と、
上記最適画素値出力手段の出力の内、所定の条件を満たすものの個数を、当該画素が上記最大値、最小値の内の何れであったかの区分、および上記信号劣化処理手段から出力される画像の特徴を表現する情報を発生する手段の出力に対応して計数する計数手段とを備えることを特徴とする学習装置。
【請求項６】
請求項５において、
上記最適画素値出力手段は、
上記予測画像信号生成手段から出力される複数の予測画素値の内の最大値および最小値の内で、上記入力画像内の対応する位置の画素値との残差がより小さいものを選択的に出力することを特徴とする学習装置。
【請求項７】
請求項５において、
上記信号劣化処理手段から出力される画像の特徴を表現する情報を発生する手段は、
上記信号劣化処理手段から出力される画像から、注目画素の周辺に指定される所定位置の画素値を統計的データ用クラスタップとして出力するクラスタップ抽出手段と、
上記クラスタップ抽出手段の出力に基づいて、クラスコードを発生するクラスコード発生手段とを備えることを特徴とする学習装置。
【請求項８】
請求項５において、
上記所定の条件は、
上記最適な予測画素値と、上記所定の画像信号中の対応する位置の画素値との残差が所定のしきい値よりも大きいことであることを特徴とする画像情報変換装置。
【請求項９】
請求項５において、
上記所定の条件は、
複数の予測画素値を表現する際のダイナミックレンジの値に係るものであることを特徴とする画像情報変換装置。
【請求項１０】
請求項５において、
上記所定の条件は、
上記最適な予測画素値の空間的微分値に係るものであることを特徴とする画像情報変換装置。
【請求項１１】
入力画像信号を劣化させる信号劣化処理ステップと、
上記信号劣化処理ステップによって生成される画像を相異なる複数種類の間引き間隔で間引いた画像から、夫々予測画素値を生成する予測画像信号生成ステップと、
上記入力画像信号を参照して、上記予測画像信号生成ステップによって生成される複数の予測画素値の内の最大値および最小値の一方を選択的に出力する最適画素値出力ステップと、
上記最適画素値出力ステップの結果の内、所定の条件を満たすものの個数を、当該画素が上記最大値、最小値の内の何れであったかの区分、および上記信号劣化処理ステップによって生成される画像の特徴を表現する情報を発生するステップの出力に対応して計数するステップとを備えることを特徴とする学習方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、入力画像信号のぼけを改善するための画像情報変換装置および画像情報変換方法、学習装置および学習方法に関する。
【０００２】
【従来の技術】
近年、クラス分類適応処理を用いてぼけを改善することにより、画質改善を行う処理が研究開発されている。クラス分類適応処理は、入力画像信号の信号レベル分布に応じてクラス分類を行い、クラス毎に予め学習によって獲得された予測係数値を所定の記憶部に格納し、かかる予測係数値を使用した重み付け加算式によって注目画素の画素値として最適な推定値を出力する処理である。
【０００３】
この場合、注目画素についてのクラス分類を行う際に必要なデータを得るために当該注目画素の周辺に配置されるクラスタップや、当該注目画素の画素値を推定する演算を行う際に必要なデータを得るために当該注目画素の周辺に配置される予測タップを、適応的に、すなわち注目画素毎に最適な間引き間隔で配置することができれば、そのような間引き間隔についての制御を行わない場合に比べ、大幅な画質改善が可能となる。しかしながら、そのような制御は実現されていなかった。
【０００４】
【発明が解決しようとする課題】
従って、この発明の目的は、クラス分類適応処理を用いて画質改善を行う際に、画質改善の程度を向上させることが可能な、画像情報変換装置および画像情報変換方法、学習装置および学習方法を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１の発明は、入力画像信号を、相異なる複数種類の間引き間隔で間引いた画像から、夫々予測画素値を生成する予測画像信号生成手段と、
予測画像信号生成手段から出力される複数の予測画素値の内の最大値および最小値の一方を、入力画像信号の特徴に基づいて選択的に出力する最適画素値出力手段とを備え、
最適画素値出力手段は、
入力画像信号から、注目画素の周辺に指定される所定位置の画素値を統計的データ用クラスタップとして出力する統計的データ用クラスタップ抽出手段と、
統計的データ用クラスタップ抽出手段の出力に基づいて、統計的データ用クラスコードを発生する統計的データ用クラスコード発生手段と、
統計的データを予め記憶し、統計的データ用クラスコード発生手段の出力に対応する統計的データを出力する統計的データ記憶手段と、
統計的データ記憶手段の出力に基づいて、最大値および最小値の内から、最適な値を出力する出力値決定手段とを備えることを特徴とする画像情報変換装置である。
【０００６】
請求項４の発明は、入力画像信号を、相異なる複数種類の間引き間隔で間引いた画像から、夫々予測画素値を生成する予測画像信号生成ステップと、
予測画像信号生成ステップによって生成される複数の予測画素値の内の最大値および最小値の一方を、入力画像信号の特徴に基づいて選択的に出力する最適画素値出力ステップとを備え、
最適画素値出力ステップは、
入力画像信号から、注目画素の周辺に指定される所定位置の画素値を統計的データ用クラスタップとして出力する統計的データ用クラスタップ抽出ステップと、
統計的データ用クラスタップ抽出ステップの出力に基づいて、統計的データ用クラスコードを発生する統計的データ用クラスコード発生ステップと、
予め記憶されている統計的データから、統計的データ用クラスコード発生ステップにより発生される統計的データ用クラスコードに対応する統計的データを出力する統計的データ出力ステップと、
統計的データ出力ステップの出力に基づいて、最大値および最小値の内から、最適な値を出力する出力値決定ステップとを備えることを特徴とする画像情報変換方法である。
【０００７】
請求項５の発明は、入力画像信号を劣化させる信号劣化処理手段と、
信号劣化処理手段から出力される画像を相異なる複数種類の間引き間隔で間引いた画像から、夫々予測画素値を生成する予測画像信号生成手段と、
入力画像信号を参照して、予測画像信号生成手段から出力される複数の予測画素値の内の最大値および最小値の一方を選択的に出力する最適画素値出力手段と、
最適画素値出力手段の出力の内、所定の条件を満たすものの個数を、当該画素が最大値、最小値の内の何れであったかの区分、および信号劣化処理手段から出力される画像の特徴を表現する情報を発生する手段の出力に対応して計数する計数手段とを備えることを特徴とする学習装置である。
【０００８】
請求項１１の発明は、入力画像信号を劣化させる信号劣化処理ステップと、
信号劣化処理ステップによって生成される画像を相異なる複数種類の間引き間隔で間引いた画像から、夫々予測画素値を生成する予測画像信号生成ステップと、
入力画像信号を参照して、予測画像信号生成ステップによって生成される複数の予測画素値の内の最大値および最小値の一方を選択的に出力する最適画素値出力ステップと、
最適画素値出力ステップの結果の内、所定の条件を満たすものの個数を、当該画素が最大値、最小値の内の何れであったかの区分、および信号劣化処理ステップによって生成される画像の特徴を表現する情報を発生するステップの出力に対応して計数するステップとを備えることを特徴とする学習方法である。
【０００９】
以上のような発明によれば、互いに異なる間引き間隔を有する複数種類のクラスタップ構造に基づくクラス分類適応処理の結果の内で最適なものが出力画像信号として選択される。
【００１０】
【発明の実施の形態】
以下、この発明の一実施形態について説明する。なお、クラス分類適応処理は、入力画像信号の信号レベル分布等の入力画像信号の特徴データに応じてクラス分類を行い、クラス毎に予め学習によって獲得された予測係数値を所定の記憶部に格納し、かかる予測係数値を使用した重み付け加算式によって注目画素の画素値として最適な推定値を出力する処理である。
【００１１】
入力画像信号の信号レベル分布を把握してクラス分類を行うために、入力画像信号上にクラスタップが配置される。クラスタップは、入力画像信号の信号レベル分布を表現する特徴を計算するためのデータとして、入力画像信号の所定位置から抽出される画素値である。クラスタップは、例えば、注目画素を含むフレーム上と、その前後のフレーム上とに配置される。注目画素を含むフレーム上におけるクラスタップ構造の一例を図１に示す。ここで、図１Ａは、間引き間隔１すなわち注目画素に対して縦／横に隣接する、画素位置にクラスタップが配置される。すなわち、間引き間隔１の場合、間引きがなされないことになる。また、図１Ｂは、間引き間隔２すなわち注目画素に対して縦／横に２番目の画素位置にクラスタップが配置される。さらに、図１Ｃは、間引き間隔３すなわち注目画素に対して縦／横に３番目の画素位置にクラスタップが配置される。同様に、間引き間隔４、５等、間引き間隔をさらに広げたクラスタップ配置を用いることもできる。ぼけ画像においては、ぼけの範囲の広がりの程度に応じて、何れの間引き間隔の下でクラス分類を行うのが最適であるかが異なる。
【００１２】
以下、この発明の一実施形態についての説明に先立って、複数種類の間引き量の下で設定されたクラスタップ配置において、クラス分類適応処理によるぼけ画像の画質改善を行うための、既に提案されている構成について説明する。まず、学習、すなわち予測係数を得るための処理に係る構成の一例を図２に示す。ぼけを含まない、所定の入力画像信号（教師信号と称される）がＬＰＦ(Low Pass Filter) 回路１０と、領域切り出し回路１１とに供給される。ＬＰＦ回路１０は、入力画像信号にＬＰＦ処理を施して、劣化した（ぼけの生じた）画像信号を生成し、劣化した画像信号を領域切り出し回路１２、１３および領域切り出し回路２２、２３、並びに領域切り出し回路３２、３３に供給する。
【００１３】
領域切り出し回路１２は、劣化した画像信号から所定範囲の画素領域を予測タップとして切り出し、切り出した領域を正規方程式加算回路１６に供給する。また、領域切り出し回路１３は、図１Ａに示したような間引き間隔１のクラスタップ配置の下で所定範囲の画素領域をクラスタップとして切り出し、切り出した領域を特徴抽出回路１４に供給する。特徴抽出回路１４は、領域切り出し回路１３の出力に基づいて劣化した画像信号の特徴を抽出し、抽出した特徴をクラスコード発生回路１５に供給する。クラスコード発生回路１５は、特徴抽出回路１４の出力に基づいてクラスコードを発生させ、発生させたクラスコードを正規方程式加算回路１６に供給する。
【００１４】
一方、領域切り出し回路１１は、教師信号から所定の画素領域を切り出し、切り出した領域を正規方程式加算回路１６に供給する。正規方程式加算回路１６は、領域切り出し回路１１の出力、領域切り出し回路１２の出力、およびクラスコード発生回路１５の出力に基づいて所定の計算処理を行って、クラス毎に予測係数を算出するための正規方程式に係るデータを生成し、生成したデータを予測係数決定回路１７に供給する。予測係数決定回路１７は、供給されるデータに基づいて正規方程式を解く計算処理を行って予測係数を算出し、算出した予測係数をメモリ１８に供給する。メモリ１８は、供給される予測係数を記憶する。
【００１５】
領域切り出し回路２３、特徴抽出回路２４、クラスコード発生回路２５，正規方程式加算回路２６、予測係数決定回路２７、およびメモリ２８は、それぞれ、上述した、領域切り出し回路１３、特徴抽出回路１４、クラスコード発生回路１５、正規方程式加算回路１６、予測係数決定回路１７、およびメモリ１８と同様なものである。但し、領域切り出し回路２３は、図１Ｂに示したような間引き間隔２のクラスタップ配置の下で領域切り出しを行う。
【００１６】
また、領域切り出し回路３３、特徴抽出回路３４、クラスコード発生回路３５，正規方程式加算回路３６、予測係数決定回路３７、およびメモリ３８は、それぞれ、上述した、領域切り出し回路１３、特徴抽出回路１４、クラスコード発生回路１５、正規方程式加算回路１６、予測係数決定回路１７、およびメモリ１８と同様なものである。但し、領域切り出し回路３３は、図１Ｃに示したような間引き間隔３のクラスタップ配置の下で領域切り出しを行う。
【００１７】
ここで、予測係数の算出に係る演算についてより詳細に説明する。図４を参照して後述するように、クラス分類適応処理による予測画像信号は、入力画像信号の所定の画素位置から抽出される予測タップと、学習によって得られた予測係数とに基づいて、以下の式（１）に従って順次予測生成される画素値ｙからなる。
【００１８】
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn       （１）
ここで、ｘ1 ，‥‥，ｘn が各予測タップであり、ｗ1 ，‥‥，ｗn が各予測係数である。
【００１９】
正規方程式加算回路１６、２６、３６は、それぞれ、領域切り出し回路１２、２２、２３から供給される予測タップ、およびクラスコード発生回路１５、２５、３５から供給されるクラスコード、並びに教師信号に基づいて加算処理を行うことにより、予測係数ｗ1 ，‥‥，ｗn を解とする正規方程式を解くために必要なデータを算出する。そして、予測係数決定回路１７、２７、３７は、供給されるデータに基づいて正規方程式を解くための計算処理を行って予測係数を算出する。
【００２０】
正規方程式について説明する。上述の式（１）において、学習前は予測係数ｗ1 ，‥‥，ｗn が未定係数である。学習は、クラス毎に複数の教師信号を入力することによって行う。教師信号の種類数をｍと表記する場合、式（１）から、以下の式（２）が設定される。
【００２１】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn      （２）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、予測係数ｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を以下の式（３）で定義して、式（４）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００２２】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝  （３）
（ｋ＝１，２，‥‥ｍ）
【００２３】
【数１】
0004337186.tif 000002
【００２４】
式（４）のｅ2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi (i=1,2‥‥）で偏微分し（式（５））、ｉの各値について偏微分値が０となるように各予測係数ｗi を定めれば良い。
【００２５】
【数２】
0004337186.tif 000003
【００２６】
式（５）から各予測係数ｗi を定める具体的な手順について説明する。式（６）、（７）のようにＸji，Ｙi を定義すると、式（５）は、式（８）の行列式の形に書くことができる。
【００２７】
【数３】
0004337186.tif 000004
【００２８】
【数４】
0004337186.tif 000005
【００２９】
【数５】
0004337186.tif 000006
【００３０】
式（８）が一般に正規方程式と呼ばれるものである。予測係数決定回路１７、２７、３７は、正規方程式データに基づいて、掃き出し法等の一般的な行列解法に従って正規方程式を解くための計算処理を行って予測係数ｗi を算出する。
【００３１】
なお、図２には、予測タップの間引き間隔を固定してクラスタップの間引き間隔を変える構成を示したが、予測タップの間引き間隔を、クラスタップの間引き間隔と共に変える構成としても良い。そのような構成について図３に示す。図３において、各構成要素は、図２中で同一の符号を付したものと同様なものである。但し、領域切り出し回路１２、２２、３２は、それぞれ、間引き間隔１、２、３のタップ構造を有する予測タップを切り出す。
【００３２】
次に、この発明の一実施形態において、上述したようにして得られた予測係数を使用して、各間引き間隔の下で配置されるクラスタップ毎の予測画像信号を生成するための構成について説明する。そのような構成の一例を図４に示す。入力画像信号が領域切り出し回路１０１、１０２、２０１、２０２、３０１、３０２に供給される。ここで、入力画像信号には、伝送路等において帯域制限によってぼけが生じていることがあり、そのままでは表示画像がぼけたものとなる場合がある。領域切り出し回路１０１、２０１、３０１は、入力画像信号から予測タップとして使用される画素領域を切り出し、切り出した領域を、推定演算部１０６、２０６、３０６にそれぞれ供給する。
【００３３】
一方、領域切り出し回路１０２、２０２、３０２は、供給される画像信号から所定の画素領域をクラスタップとして切り出し、切り出した領域を、特徴抽出回路１０３、２０３、３０３にそれぞれ供給する。特徴抽出回路１０３、２０３、３０３は、それぞれ、領域切り出し回路１０２、２０２、３０２の出力に基づいてぼけ画像の特徴を抽出し、抽出した特徴をクラスコード発生回路１０４、２０４、３０４にそれぞれ供給する。
【００３４】
クラスコード発生回路１０４、２０４、３０４は、それぞれ、特徴抽出回路１０３、２０３、３０３の出力に基づいてクラスコードを発生させ、発生させたクラスコードを、ＲＯＭ１０５、２０５、３０５にそれぞれ供給する。ＲＯＭ１０５、２０５、３０５は、図２等を参照して上述したようにして算出された予測係数を記憶している。すなわち、図２または図３中のメモリ１８、２８、３８の記憶内容がＲＯＭ１０５、２０５、３０５にそれぞれ予めロードされている。
【００３５】
ＲＯＭ１０５、２０５、３０５は、それぞれ、クラスコード発生回路１０４、２０４、３０４の出力に対応する予測係数を出力する。出力される予測係数は、それぞれ、推定演算部１０６、２０６、３０６に供給される。推定演算部１０６、は、ＲＯＭ１０５から供給される予測係数と、領域切り出し回路１０１から供給される予測タップとして使用される画素値との線型一次結合（式（１）参照）を計算することにより、各画素値ｙを推定し、推定される画素値ｙの総体としての予測画像信号を生成する。
【００３６】
このようにして生成される予測画像においては、伝送路等における入力画像信号の劣化に起因する画像のぼけが解消若しくは軽減されている。なお、図４に示した構成では、領域切り出し回路１０１、２０１、３０１における間引き間隔は一定とされているが、図３に示した構成に対応して、領域切り出し回路１０１、２０１、３０１がそれぞれ、間引き間隔１、２、３のタップ構造を有する予測タップを切り出すようにしても良い。
【００３７】
この発明は、クラス分類適応処理処理において上述したような例えば３種類等の複数個の間引き間隔のクラスタップ構造を用いることによって得られる例えば３種類等の複数個の予測値の内で最適な予測値を決定し、決定結果に基づいて最終的な出力画像信号を作成するようにしたものである。
【００３８】
この発明の一実施形態における画像処理装置の一例を図５に示す。入力画像信号は、予測画像生成部５１に供給される。予測画像生成部５１は間引き間隔毎の予測画像を生成する構成であり、予測画像生成部５１としては、図４を参照して上述した構成等を使用することができる。かかる構成を使用する場合には、予測画像生成部５１は、例えば３種類の間引き間隔に対応する３個の予測画像信号を生成し、これら３個の予測画像信号を予測値選択回路５３に供給する。但し、間引き間隔の種類、およびそれらに対応して生成される予測画像信号の個数は、３に限定されるものでは無い。予測値選択回路５３は、供給される予測値の内から各画素位置毎に最大の予測値および最小の予測値を選択し、選択した予測値を出力値決定回路５４に供給する。
【００３９】
入力画像信号が領域切り出し回路５５に供給される。領域切り出し回路５５は、入力画像信号から所定の画素領域をクラスタップとして切り出し、切り出した画素領域を特徴抽出回路５６に供給する。特徴抽出回路５６は、領域切り出し回路５５の出力に基づいてぼけ画像の特徴を抽出し、抽出した特徴をクラスコード発生回路５７に供給する。クラスコード発生回路５７は、特徴抽出回路５６の出力に基づいてクラスコードを発生させ、発生させたクラスコードを統計的データＲＯＭ５８に供給する。
【００４０】
統計的データＲＯＭ５８は、後述するような統計的データをクラスコード毎に記憶しており、クラスコード発生回路５７から供給されるクラスコードに対応する統計的データを予測値決定回路５４に供給する。予測値決定回路５４は、供給される統計的データを参照して、予測値選択回路５３から供給される各画素位置毎の最大の予測値および最小の予測値の内で最適なものを決定し、決定結果に基づいて出力画像信号を作成する。この際の処理について図６を参照して具体的に説明する。ここで、原画像の信号波形の一例を黒丸で示す。また、この一例に対応する位置における、予測画像生成部５１によって生成される予測画像信号の信号波形の一例を３個の白丸で示す。最適な予測値としては、黒丸に最も近い白丸が選択されれば良い。このためには、信号波形のピークが上に凸の場合に３個の予測値の内の最大値を選択し、信号波形のピークが下に凸の場合に３個の予測値の内の最小値を選択するようにすれば良い。また、ピーク以外の部分では、原画像信号と予測画像信号との間のレベル差が小さいので、最適な予測値としては、３個の予測値の内の何れを選んでも良い。以上の状況を考慮して、この発明の一実施形態では、予測画像生成部５１によって生成される３個の予測値の内から最大および最小の予測値を予測値選択回路５３が選択し、最大および最小の予測値の内から、後述するような統計的データを参照して、予測値決定回路５４が出力画像信号として最適なものを選択するようになされている。
【００４１】
また、特徴抽出回路５６が出力する、クラス分類のための特徴としては、例えば、一次微分の符号と大きさ、二次微分の符号を用いることができる。例えば、注目画素を中心とした水平５タップからなる、図７に示すようなクラスタップ構造の一例を用いる場合に、各々の画素位置について、一次微分Ｄの符号（すなわちＤの正負）についての１ビット、一次微分Ｄの大きさに関する１ビット、（すなわち｜Ｄ｜の値を１ビットＡＤＲＣで量子化した量子化値）、二次微分Ｅの符号（すなわちＥの正負）に関する１ビットの計３ビットを割り当てる。従って、５画素に対するビット数は３×５＝１５ビットとなり、総クラス数は２15＝３２７６８クラスとなる。ここで使用される水平５タップについて間引きを行うようにしても良い。一次微分Ｄ，二次微分Ｅはそれぞれ、以下の式（９）、式（１０）によって計算される。
【００４２】
この発明の一実施形態において、ＡＤＲＣ回路３は、領域切り出し回路２によって分離されたそれぞれ５画素のＳＤデータを各２ビットに圧縮するものとする。以下、圧縮されたＳＤデータをそれぞれｑ1 〜ｑ5 と表記する。これらのパターン圧縮データがクラスコード発生回路６に供給される。
【００４３】
Ｄ（ｉ，ｊ）＝ｆ（ｉ，＋ｊ）−ｆ（ｉ，ｊ−１）    （９）
Ｅ（ｉ，ｊ）
＝ｆ（ｉ，ｊ＋１）＋ｆ（ｉ，ｊ−１）−２×ｆ（ｉ，ｊ）  （１０）
ここで、ｉ，ｊは、画素位置を２次元的に表す座標であり、ｆ（ｉ，ｊ）は、画素位置における画素値である。ここでは、クラスタップを２次元に配置する場合を例として説明したが、この発明は、クラスタップが３次元（時空間）内でに配置される場合等にも、適用することができる。なお、１ビットＡＤＲＣ（Adaptive Dynamic Range Coding)は、何らかのデータの時間的または空間的な変化パターンを少ないビット数で表現するための処理である。｜Ｄ｜のダイナミックレンジをＤＲ，ビット割当をｎ，各画素位置における｜Ｄ｜のデータレベルをＬ，再量子化コードをＱとして、以下の式（１１）により、｜Ｄ｜の最大値ｍａｘと最小値ｍｉｎとの間を指定されたビット長で均等に分割して再量子化を行う。
【００４４】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝      （１１）
但し、｛  ｝は切り捨て処理を意味する。
【００４５】
また、予測値決定回路５４が２種類の統計的データを参照して動作する構成とすれば、最適な予測値をより高精度に決定することができる。このような構成の一例を図８に示す。図８中で、図５中の各構成要素と同様な構成要素には同一の符号を付した。かかる構成の一例は、統計的データの出力に係る処理系列として、領域切り出し回路５５、特徴抽出回路５６、クラスコード発生回路５７，および統計的データＲＯＭ５８を含む第１の処理系列と、領域切り出し回路１５５、特徴抽出回路１５６、クラスコード発生回路１５７，および統計的データＲＯＭ１５８を含む第２の処理系列とを備える。
【００４６】
ここで、第１の系列が行う処理によって統計的データＲＯＭ５８から出力される第１の統計的データを参照して予測値決定回路５４が動作した結果として曖昧な判定が行われる場合には、第２の系列が行う処理によって統計的データＲＯＭ１５８から出力される第２の統計的データを参照して予測値決定回路５４が動作するように制御する等の制御方法により、最適な予測値を決定する精度を向上させることができる。なお、クラスコードを発生させる構成を３系列以上備え、これらが発生する３種類以上のクラスコードの各々に対応して統計的データを記憶している統計的データＲＯＭも３個以上備えることにより、予測値決定回路５４が３種類以上の統計的データを参照して動作するようにし、最適な予測値を決定する精度をさらに向上させることも可能である。
【００４７】
次に、予測値決定回路５４の動作において参照される統計的データの生成について図９を参照して説明する。教師信号としての入力画像信号がＬＰＦ６１、最適予測値選択回路６４、および残差計算回路６５とに供給される。ＬＰＦ６１は、供給される画像信号にＬＰＦ処理を施し、劣化した画像信号を生成する。ＬＰＦ６１の出力は、予測画像生成部６２および領域切り出し回路６６に供給される。
【００４８】
予測画像生成部６２は間引き間隔毎の予測画像を生成する構成であり、予測画像生成部６２としては、図５、図８中の予測画素生成部５１と同様の構成を有するものが使用される。予測画像生成部６２の出力である、例えば３個の予測画像信号が第１の予測値選択回路６３に供給される。予測値選択回路６３は、予測画像生成部６２から供給される予測値の内から各画素位置毎に最大の予測値ＭＡＸおよび最大の予測値ＭＩＮを選択し、最適予測値出力回路６４に供給する。
【００４９】
最適予測値出力回路６４は、予測値選択回路６３の出力の内から教師信号との残差すなわち信号レベル差の絶対値が小さいものを選択し、選択した予測値（すなわちＭＡＸ或いはＭＩＮ）を最適な予測値として残差計算回路６５に供給する。また、最適予測値出力回路６４は、選択した予測値がＭＡＸ、ＭＩＮの何れであるかを示す信号ｄカウント回路６９に供給する。残差計算回路６５は、最適予測値選択回路６４から供給される最適な予測値と、教師信号とに基づいて残差を計算し、計算値をカウント回路６９に供給する。
【００５０】
一方、領域切り出し回路６６は、ＬＰＦ６１の出力から所定の画素領域をクラスタップとして切り出し、切り出した画素領域を特徴抽出回路６７に供給する。特徴抽出回路６７は、領域切り出し回路６６の出力に基づいて、図５中の特徴抽出回路５６と同様な動作を行うことにより、画像の特徴を抽出する。特徴抽出回路６７によって抽出される特徴がクラスコード発生回路６８に供給される。クラスコード発生回路６８は、特徴抽出回路６７の出力に基づいてクラスコードを発生させ、発生させたクラスコードをカウント回路６９に供給する。領域切り出し回路６６、特徴抽出回路６７、およびクラスコード発生回路６８は、それぞれ、図５中の領域切り出し回路５５、特徴抽出回路５６、およびクラスコード発生回路５７と同様なものとされる。
【００５１】
カウント回路６９は、残差計算回路６５から供給される残差が所定のしきい値より大きい画素のみを、クラスコード発生回路６８から供給されるクラスコード、および上述の信号ｄによって伝えられる、当該画素が最大値／最小値の何れとして最適予測値選択回路６４にて選択されたものであるかに情報に応じてカウントすることにより、統計的データを生成する。生成される統計的データは、メモリ７０に供給され、記憶される。ここで、ある画素がカウントの対象とされるか否かは、例えば、当該画素に係る残差が所定のしきい値よりも大きくなるか否かに応じて判定することができる。統計的データの一例を図１０に示す。図１０では、クラスコードがクラス１を示す場合において、最適予測値選択回路６４によって最大値が選択された場合の画素であって、当該画素と教師信号との残差がしきい値よりも大きいもののカウント数が１０であり、最適予測値出力回路６４によって最大値が選択された場合の画素であって、当該画素と教師信号との残差の絶対値がしきい値より大きいもののカウント数が１であることが示されている。
【００５２】
また、クラスコードがクラス２を示す場合に、最大値／最小値として選択された画素であって、当該画素と教師信号との残差が大きいもののカウント数が２／１５であることが示されている。同様に、クラスコードがクラス３を示す場合に、最大値／最小値として選択された画素であって、当該画素と教師信号との残差が大きいもののカウント数が５／１０であることが示されている。
【００５３】
このように、残差による制限、すなわち残差がある程度以上大きい画素のみをカウントすることで統計的データを得るようにすることにより、間引き間隔等の条件との関連で画質の向上に寄与する度合いが小さい部分を排除し、画質の向上に寄与する度合いが大きい部分のみが統計的データに反映するようになされる。
【００５４】
また、最適予測値と教師信号との画素毎の残差以外の量に注目して、統計データに反映する部分を制限するようにしても良い。例えば、間引き間隔毎の複数の予測値の間における、ダイナミックレンジＤＲ、または微分値の大きさを注目して、統計データに反映する部分を制限するようにした構成も可能である。この際にどのような制限を課すかによって、複数種類の統計的データを得ることができる。このようにして、図８等を参照して上述した構成において用いられる複数種類の統計的データを生成することが可能となる。また、領域切り出し回路５５、と領域切り出し回路１５５、および特徴抽出回路５６と特徴抽出回路１５６における処理を変えても良い。
【００５５】
メモリ７０に記憶された統計的データは、図５、図８中の統計的データＲＯＭ５８にロードされる。図５および図８中の予測値決定回路５４は、予測値選択回路５３から供給される最大の画素値および最小の画素値の内で、統計的データ中でカウント値が多い方を好適な予測画素値として決定するようになされる。但し、統計的データ中で最大の画素値および最小の画素値に対するカウント値が互いに拮抗している場合には、当該統計的データを参照して好適な予測画素値を決定すると、決定結果の信頼性が低いと考えられる。このような場合に決定結果が誤った場合には、大幅な画質劣化が生じるおそれがある。
【００５６】
そこで、統計的データ中で最大の画素値および最小の画素値に対するカウント値が互いに拮抗している場合に以下のような処理を行うようにすることにより、予測値決定回路５４が行う好適な予測画素値の決定についての信頼性を担保することができる。▲１▼図８に示したような構成において、当該統計的データ以外の統計的データを予測値決定回路５４の動作において参照する。▲２▼最大の画素値と最小の画素値との平均値を予測値決定回路５４から出力させる。ここで、▲１▼、▲２▼は何れも例であり、これらに限定されるものでは無い。
【００５７】
なお、統計的データ中で最大の画素値および最小の画素値に対するカウント値が互いに拮抗している場合は、例えば以下の式（１２）が成り立つ場合として判定することができる。
【００５８】
ａ／（ａ−ｂ）＜threshould    （１２）
ここで、ａは多い方の度数を表し、ｂは少ない方の度数を表す。また、threshouldは、所定のしきい値である。
【００５９】
この発明は、上述したこの発明の一実施形態に限定されるものでは無く、この発明の主旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００６０】
【発明の効果】
上述したように、この発明は、互いに異なる間引き間隔を有する複数種類のクラスタップ構造および／または予測タップ構造に基づくクラス分類適応処理の結果の内から、統計的データを参照して最適なものを選択し、選択した画像信号を出力画像信号とするものである。
【００６１】
このため、入力画像信号内の各画素位置について、当該画素位置における画像劣化の度合い、画像中の特徴等に対してより適合性の高い間引き間隔の下でのクラス分類適応処理結果を使用して、出力画像信号を生成することができる。
【００６２】
特に、この発明では、画素毎に最適な間引き間隔を選択できるので、画像信号全体に対して一定の間引き間隔の下でクラス分類適応処理を行う場合に比して、より大きな画質改善を実現することができる。
【００６３】
また、互いに異なる間引き間隔の下でのクラス分類適応処理の結果の内から、最大値、最小値を検出し、検出した最大値、最小値の内から最適なものを選択する処理を行うことにより、互いに異なる間引き間隔の下でのクラス分類適応処理の結果の全部（例えば３個の予測画像信号）から最適なものを選択する場合に比べ、特に信号波形のピーク付近において、容易に、且つ正確に最適な予測画像信号を選択することができる。
【００６４】
さらに、統計的データを求める処理において、画像信号の特徴に関連する所定の条件が加味されるようにすることにより、画質改善のためにより的確な統計的データを得ることができる。
【００６５】
また、統計的データを複数種類使用する構成とすれば、より大きな画質改善を実現することができる。
【図面の簡単な説明】
【図１】各間引き間隔におけるクラスタップ構造の一例を示す略線図である。
【図２】クラス分類適応処理における学習に係る構成の一例を示すブロック図である。
【図３】クラス分類適応処理における学習に係る構成の他の例を示すブロック図である。
【図４】クラス分類適応処理における予測推定に係る構成の一例を示すブロック図である。
【図５】この発明の一実施形態における、予測推定に係る構成の一例を示すブロック図である。
【図６】原画像信号の信号波形と、予測画像信号の信号波形との一例を示す略線図である。
【図７】統計的データを参照する際のクラス分類の一例について説明するための略線図である。
【図８】この発明の一実施形態における構成の他の例を示すブロック図である。
【図９】この発明の一実施形態における、統計的データを得るための構成の一例を示すブロック図である。
【図１０】統計的データの一例を示す略線図である。
【符号の説明】
５１・・・予測画像出力部、５３・・・予測値選択回路、５４・・・出力値決定回路、５８・・・統計的データＲＯＭ
【図１】
0004337186.tif 000007
【図２】
0004337186.tif 000008
【図３】
0004337186.tif 000009
【図４】
0004337186.tif 000010
【図５】
0004337186.tif 000011
【図６】
0004337186.tif 000012
【図７】
0004337186.tif 000013
【図８】
0004337186.tif 000014
【図９】
0004337186.tif 000015
【図１０】
0004337186.tif 000016