(57)【要約】【課題】  直交変換を用いた解像度変換において、拡大時の周波数特性を改善（有意な擬似高周波成分を付加する）することにより、精細度を向上させて高画質化を図ることの出来る信号処理方法及び信号処理装置を提供する。【解決手段】  入力信号の周波数特性を近似式で近似し、この近似式を用いて擬似的な高周波成分を生成して高周波領域側に付加することにより拡大画像を得ることを特徴とする。【選択図】        図１
2006309652.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号を直交変換して周波数領域の信号に変換するステップと、
上記周波数領域に変換された画像信号の周波数特性を近似式で近似するステップと、
上記近似式を用いて、擬似高周波領域成分を生成するステップと、
上記擬似高周波領域成分を上記周波数領域に変換された画像信号の高周波領域側に付加するステップと、
上記擬似高周波領域成分が付加された画像信号を逆直交変換して時間空間領域の画像信号へ変換するステップとを有することを特徴とする信号処理方法。
【請求項２】
直交変換処理により周波数領域の信号に変換された入力画像信号の周波数特性を近似式で近似するステップと、
上記近似式を用いて、擬似高周波領域成分を生成するステップと、
上記擬似高周波領域成分を上記周波数領域の入力画像信号の高周波領域側に付加するステップと、
上記擬似高周波領域成分が付加された画像信号を逆直交変換して時間空間領域の信号へ変換するステップとを有することを特徴とする信号処理方法。
【請求項３】
周波数領域の信号として入力された画像信号の周波数特性を近似式で近似するステップと、
上記近似式を用いて、擬似高周波領域成分を生成するステップと、
上記擬似高周波領域成分を上記入力画像信号の高周波領域側に付加するステップとを有することを特徴とする信号処理方法。
【請求項４】
上記近似するステップは、複数の上記近似式データを記憶手段に格納しておき、上記変換された画像信号の周波数特性と上記格納された複数の近似式データとのマッチングを採ることを特徴とする請求項１から３のいずれかに記載の信号処理方法。
【請求項５】
入力画像信号を直交変換して周波数領域の画像信号に変換する変換手段と、
上記変換手段により周波数領域に変換された画像信号の周波数特性を近似式で近似する近似手段と、
上記近似式を用いて擬似高周波領域成分を生成する生成手段と、
上記擬似高周波領域成分を上記周波数領域の入力画像信号の高周波領域側に付加する付加手段と、
上記擬似高周波領域成分が付加された画像信号を逆直交変換して時間空間領域の画像信号へ変換する逆変換手段とを有することを特徴とする信号処理装置。
【請求項６】
周波数領域の信号として入力された画像信号の周波数特性を近似式で近似する近似手段と、
上記近似式を用いて擬似高周波領域成分を生成する生成手段と、
上記擬似高周波領域成分を上記周波数領域の入力画像信号の高周波領域側に付加する付加手段と、
上記擬似高周波領域成分が付加された画像信号を逆直交変換して時間空間領域の画像信号へ変換する逆変換手段とを有することを特徴とする信号処理装置。
【請求項７】
周波数領域の信号として入力された画像信号の周波数特性を近似式で近似する近似手段と、
上記近似式を用いて擬似高周波領域成分を生成する生成手段と、
上記擬似高周波領域成分を上記入力画像信号の高周波領域側に付加する付加手段とを有することを特徴とする信号処理装置。
【請求項８】
上記近似手段は、複数の上記近似式データを格納した格納手段を有し、上記入力信号の周波数特性と上記格納手段に格納された複数の上記近似式データとのマッチングを採ることを特徴とする請求項５から７のいずれかに記載の信号処理装置。
【請求項９】
所定数の画素からなるブロック毎に直交変換処理を施すことにより得られた直交変換係数を量子化し、さらに可変長符号化することにより得られた画像信号を入力する入力手段と、
上記入力された画像信号の可変長符号を復号する復号手段と、
前記復号手段より出力された画像信号を逆量子化し、上記直交変換係数を得る逆量子化手段と、
上記逆量子化手段より出力された直交変換係数を上記ブロック毎に近似式で近似する近似手段と、
上記近似式を用いて擬似高周波領域成分の直交変換係数を生成する手生成段と、
上記擬似高周波領域成分の直交変換係数を上記ブロック毎に上記量子化手段より出力された直交変換係数の高周波領域側に付加する付加手段と、
上記付加手段より出力された直交変換係数に対して、上記ブロックよりも大きい所定のブロックサイズに応じた基底マトリクスで逆直交変換処理を行う逆直交変換手段とを備えることを特徴とする信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理方法及び信号処理装置に関し、特に、入力画像信号の拡大処理に関する。
【背景技術】
【０００２】
従来より解像度変換（画像拡大・縮小）方法としては、最近隣内挿法（Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ）、線形補間法（Ｂｉ−Ｌｉｎｅａｒ）、３次畳み込み補間法（Ｃｕｂｉｃ  Ｃｏｎｖｏｌｕｔｉｏｎ）等が一般的に用いられている。これらの方法は時間空間領域における離散的なサンプリングデータから  ＦＩＲ（Ｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルターを用いて連続的エンベローブを再生し、このエンベローブ上に補間画素を見出す方法である。これらＦＩＲフィルターを用いる方法では、如何に理想ローパス特性に近いＦＩＲフィルターを用いるかが鍵となる。一般的にはフィルターのタップ数を増やして、ｆ＝Ｓｉｎ（πｘ）／（πｘ）の特性を持つ所謂Ｓｉｎｃ関数に近い特性を持つフィルターを有限長で近似して用いる。もちろん多タップのほうがよりＳｉｎｃ関数に近い特性が得られるが、それに伴いコストが増加する。
【０００３】
またさらに、上記時間空間領域ではなく、周波数領域においてなされる解像度変換方法も提案されている。図４を用いて、この周波数領域においてなされる解像度変換方法について説明する。例えばＤＣＴ（Ｄｉｓｃｒｅｅｔ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）等の直交変換を用いて、入力画像データをあるブロック単位に周波数領域のデータへ変換する。図４（ａ）ではＮ×Ｍ（例えば８×８）のサイズでＤＣＴ変換した場合について示している。図４（ａ）において左上隅の画素がＤＣ成分であり、右及び下に行くに従って高周波成分となる。
【０００４】
拡大するためには、右側及び下側の高周波領域成分のさらに外側に擬似的な高周波領域成分を付加（図４（ｃ）の例ではＮ×Ｍのブロックの外側にそれぞれＸ、Ｙ画素ずつ擬似高周波領域成分を付加して（Ｎ＋Ｘ）×（Ｍ＋Ｙ）のブロックサイズとしている）して、この拡大されたブロックごとに逆ＤＣＴ等の逆直交変換を行って再び時間空間領域へ変換する（例えば、特許文献１、特許文献２参照。）。
【０００５】
このような周波数領域での解像度変換方法としては、例えば特許文献１のように擬似高周波領域成分として０を付加する方法や、特許文献２のように、入力信号周波数成分を予め準備された予測ルールに基づいて変換したものを擬似高周波領域成分として付加する方法等が提案されている。
【特許文献１】特開平２−７６４７２号公報
【特許文献２】特開平８−２９４００１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した擬似高周波領域成分として０を挿入する方法は、実質的には高周波領域成分として有意な成分が付加されないため、解像度は高くなるが精細度は向上されない。また上述した、入力信号周波数成分を予め準備された推定ルールを基に変換したものを擬似高周波領域成分として付加する方法は、本来相関の無い低周波領域成分と高周波領域成分との画像依存のない対応付けルールを作る事が困難であり、またさらに、擬似高周波領域成分を得るために、入力信号をその都度ルールに従って変換する必要があるため処理負荷が重いという問題があった。
【０００７】
本発明は、精細度の高い拡大画像を得ることが出来る解像度変換方法および解像度変換装置を実現する信号処理方法及び信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明においては、入力画像信号を直交変換して周波数領域の信号に変換するステップと、上記周波数領域に変換された画像信号の周波数特性を近似式で近似するステップと、上記近似式を用いて、擬似高周波領域成分を生成するステップと、上記擬似高周波領域成分を上記周波数領域に変換された画像信号の高周波領域側に付加するステップと、上記擬似高周波領域成分が付加された画像信号を逆直交変換して時間空間領域の画像信号へ変換するステップとを有する。
【発明の効果】
【０００９】
本発明によれば、簡単な構成で精細度の高い拡大画像を得ることが出来る。
【発明を実施するための最良の形態】
【００１０】
以下本発明を実施するための最良の形態を、実施例により詳しく説明する。
【実施例】
【００１１】
＜第１の実施の形態＞
図１のブロック図を参照して本発明第１の実施の形態にかかる解像度変換方法及び解像度変換装置について説明する。図１のブロックは、直交変換手段１．１、マッチング手段１．２、擬似高周波成分付加手段１．３、逆直交変換手段１．４、近似式データ格納手段１．５から構成される。
【００１２】
（直交変換手段）
直交変換手段１．１は、入力された時間空間領域の信号を直交変換して空間周波数領域の信号に変換する。直交変換の方法としては、高速フーリエ変換（ＦＦＴ）、離散コサイン変換（以下ＤＣＴとする）、アダマール変換、ハール変換等がある。このうち工業応用の分野で最もよく用いられる離散コサイン変換を（１）式に示す。以下、本発明の実施の形態における直交変換方式として、ＤＣＴを想定して説明するが、該直交変換方式が本発明にかかる解像度変換方法を限定するものではない。
【００１３】
2006309652.tif 000003
【００１４】
式（１）においてＮ、Ｍはそれぞれ１ブロックの水平、垂直サイズを示しており、図４（ａ）のように、１フレームの入力画像を水平Ｎ画素、垂直Ｍ画素からなるブロック単位に分割して処理がなされる。信号のうち、輝度信号の場合、ブロックノイズ等の観点から、ブロックサイズとして水平、垂直ともに１６画素以上とすることが好ましい。もちろんブロックに分けずに画像全体を１つのブロックとしても良いが、ブロックサイズを大きくするに従って回路規模は指数関数的に増大する。
【００１５】
（マッチング手段）
マッチング手段１．２では、上述した直交変換手段１．１において周波数領域の信号に変換された入力信号の周波数特性を、例えば周期関数を用いた近似式で近似する。
【００１６】
実際にはその都度近似式を求めるわけではなく、予め例えば周期関数の周期、位相、ゲイン等を様々に変化させたデジタル離散波形の一部を切り出したデータを、後述する近似式データ格納手段１．５に格納しておき、これと入力信号の周波数特性（すなわちＤＣＴ係数のＡＣ成分）とのマッチングを採ることで近似を行う。
【００１７】
ここでマッチングを採る方法としては様々な方法が考えられるが、以下にその一例について図２のフロー図、図１０、図１１、図１２を参照して説明する。
【００１８】
本マッチング方法例は、（１）最大・最小位置の比較、（２）Ｎ値（例えば−１，０，１の３値）化したパターン同士の比較を合わせて行うことによりマッチングを採る。まず、周波数領域の信号に変換された入力信号のＡＣ成分において、周波数応答が最大・最小になる位置を検出する（Ｓ２．１）。そしてこれを後述する近似式データ格納手段１．５に格納されている参照パターンと比較し（Ｓ２．２）、一致するパターンがあった場合には、このパターンのＩＤ（以下ＭＡＸ＿ＭＩＮ＿ＩＤとする。図１０参照）を一時保存する（Ｓ２．３）。続いて、上記最大・最小位置の検出を行った入力信号をＮ値（例えば−１，０，１の３値）化し（Ｓ２．４）、上記最大・最小位置同様、後述する近似式データ格納手段１．５に格納されている参照パターンと比較し（Ｓ２．５）、一致するパターンがあった場合には、このパターンのＩＤ（以下Ｎ＿ＩＤとする。図１１参照）を一時保存する（Ｓ２．６）。そして上記ＭＡＸ＿ＭＩＮ＿ＩＤおよびＮ＿ＩＤの組み合わせから、最終的なＩＤ（入力信号とマッチする近似式データのＩＤ。図１２参照）を決定することにより、入力信号と近似式データとのマッチングを採る。ここで図１０、図１１、図１２はＤＣＴのブロック長が８の場合の例を示している。
【００１９】
因みに、Ｎ値化したパターンの比較では周期特性を捉え、最大・最小位置の比較では位相特性を捉えることができる。また、図１０の最大・最小位置のテーブル、図１１のＮ値パターンテーブル、図１２のＩＤテーブルは、該マッチング手段１．２に持っていても良いし、後述する近似式データ格納手段１．５に持っていても良い。
【００２０】
以下、図３を用いて具体的なパターンの例について説明する。ただし、図３（ａ）〜図３（ｃ）は入力信号、図３（ｄ）から図３（ｆ）は入力信号とマッチングのため比較される、後述する近似式を用いて生成したパターン例について示している。
【００２１】
まず（１）の最大・最小位置の比較について説明する。
【００２２】
図３（ａ）は入力信号をブロックサイズ８でＤＣＴした場合の周波数特性（ＤＣＴ係数）を示している。図３（ｂ）はこれらＤＣＴ係数のＡＣ成分のみから最大・最小位置を検出した結果を示している。図３（ｃ）は図３（ｂ）をさらにＮ値化（ここでは３値化した例を示している）した結果を示している。
【００２３】
一方、図３（ｄ）は、近似式により生成されるパターンの例について示している。ここで該近似式の例の一般式を以下の（２）式に示す。ここでｆｎ、ｆｄで周波数、ｐｎ、ｐｄで位相、ｇｄでゲインを調整する。ここにおけるゲインの調整は、付加された擬似高周波成分を、リサンプリング後のナイキスト周波数において十分減衰させるために行う。
【００２４】
2006309652.tif 000004
である。因みに、図３（ｄ）の例ではｆｎ：１９２、ｆｄ：２５６、ｐｎ：１９２、ｐｄ：２５６、ｇｄ：２８であり、２番目から８番目までのパターンが、入力信号とのパターンマッチングに用いられる比較用パターン。そして１０番目から１６番目までのパターンが、入力信号の高周波領域側に付加される擬似高周波成分である。もちろん拡大率に応じて該擬似高域成分の長さは変わるが、実際には例えば最大拡大率までのパターンを生成して、予め近似式データ格納手段１．５に格納しておき、拡大率に応じた長さ分のみ使用する。
【００２５】
また、図３（ｅ）は図３（ｂ）同様、図３（ｄ）の２番目から８番目までのパターンの最大・最小位置を示し、図３（ｆ）はさらにこれらパターンをＮ値化した結果を示している。これら近似式で生成したパターンの最大・最小位置、ならびにＮ値化した結果は図３（ｄ）のパターンと共に近似式データ格納手段１．５に予め格納される。ただし、上記説明は１次元方向（例えばＸ方向）についてのみ説明しているが、画像データは２次元データであるため、残りの次元（例えばＹ方向）についても同様の処理を行う。
【００２６】
（擬似高周波成分付加手段）
次に擬似高周波成分付加手段１．３について説明する。擬似高周波成分付加手段１．３では、上述したマッチング手段１．２において入力信号の特性と一致した近似式データの擬似高周波成分を、ゲイン調整後、入力信号の高周波領域側に付加する。
【００２７】
以下図５を用いて説明する。図５（ａ）は直交変換後の入力信号を示しており、ＡＣ成分の絶対値の和（以下総ゲインとする）が２２７とする。図５（ｂ）は、後述する近似式データ格納手段１．５に予め格納されている、上述したマッチング手段１．２において入力信号の特性と一致した近似式データの例を示しており、比較用パターンの総ゲインは４７６であるとする。図５（ｂ）に示した近似式データにおける擬似高周波成分は、入力信号のＡＣ成分の総ゲインと比較用パターンの総ゲインの比によりゲイン調整（２２７／４７６をそれぞれに積算）した後、図５（ｃ）に示すように入力信号の高周波領域側に付加される。ただし、上記説明は１次元方向（例えばＸ方向）についてのみ説明しているが、上記マッチング手段１．２同様、画像データは２次元データであるため、残りの次元（例えばＹ方向）についても同様の処理を行う。
【００２８】
（近似式データ格納手段）
続いて近似式データ格納手段１．５について説明する。近似式データ格納手段１．５には、上記（２）式に例を示した様な式の、周期、位相、ゲイン等の各項を様々に変化させた近似式データを予め生成して、上記ＩＤに対応した形態で格納しておく。図１３に格納するデータの例を示しているが、上述した最大・最小位置およびＮ値化したパターンの組み合わせで決定されるＩＤごとに、対応する擬似高周波成分、比較用パターンの総ゲイン等が格納されている。従って上記入力信号のＩＤが決定されると、ここから対応する擬似高周波成分データおよび、ゲイン調整のための比較用パターンの総ゲインが読み出され、ゲイン調整後の擬似高周波成分データが入力信号の高周波領域側に付加される。
【００２９】
ここで近似式データ長は拡大される比率によって変わってくるが、上述したように、最大倍率における近似式データ（例えば拡大率が５倍で、入力信号のブロックサイズ長が８であれば４０のデータ長となる）を該近似式データ格納手段１．５に格納しておき、拡大率に応じて必要な分（例えば２倍であれば１０番目から１６番目）のみ使用する。
【００３０】
（逆直交変換手段）
逆直交変換手段１．４は、上述した擬似高周波成分付加手段１．３において、直交変換後の入力信号の高周波領域側に、擬似高周波成分が付加された信号に対して逆直交変換を行い、時間空間領域の信号へ変換する。ただし、該逆直交変換も上述した直交変換手段１．４同様ブロック単位に分割してなされる。例えば、入力信号を８×８のブロックサイズで直交変換し、拡大率が１．２５倍の場合、個々のブロックサイズは擬似高周波成分が高周波領域側に付加されるため１０×１０となり（図４参照）、該１０×１０のブロックに対してそれぞれ逆直行変換がなされる。
【００３１】
＜第２の実施の形態＞
続いて本発明第２の実施の形態について説明する。本発明第１の実施の形態が入力信号として、時間空間領域の信号を想定する一般的な実施の形態であるのに対し、本発明第２の実施の形態は、入力信号として周波数領域の信号を想定している。すなわち、入力信号が周波数領域の信号であり、これを拡大・縮小処理した後、時間空間領域の信号に逆直行変換して出力する。このようなケースとして想定される例としては、ＭＰＥＧ−２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）デコーダーに応用したケースである。以下、ＭＰＥＧ−２デコーダーに本発明にかかる画像拡大処理を適用した実施の形態について説明する。
【００３２】
なお、ＭＰＥＧ−２では直交変換にＤＣＴを用いているため、以下の説明において直交変換はＤＣＴを前提に行うが、上記第１の実施の形態同様、直交変換の方式自体は、本発明にかかる解像度変換方法及び解像度変換装置を限定するものではない。
【００３３】
以下、ＭＰＥＧ−２デコーダーに本発明にかかる解像度変換方法及び解像度変換装置を適用した実施の形態について、図６のブロック図を参照しながら説明する。
【００３４】
該ブロックは、バッファ手段６．１、可変長復号化手段６．２、逆量子化手段６．３、マッチング手段６．４、擬似高周波成分付加手段６．５、近似式データ格納手段６．６、逆ＤＣＴ手段６．７、動き補償予測手段６．８、ビデオメモリ手段６．９、フォーマット変換手段６．１０から構成され、６．１１は本発明にかかる補間処理部であり、上記マッチング手段６．４、擬似高周波成分付加手段６．５、近似式データ格納手段６．６、逆ＤＣＴ手段６．７から構成される。
【００３５】
（可変長復号化手段）
可変長復号化手段６．２ではバッファ手段６．１でバッファリングされた符号化データ（ＴＳ：トランスポートストリーム）を読み出し、マクロブロック符号化情報が復号され、符号化モード、動きベクトル、量子化情報および量子化ＤＣＴ係数が分離される。なお、符号器側で行われる可変長符号化は、出現頻度がより高いデータに、より短いコードを割り当てることにより行われ、該可変長復号化ではその逆の処理を行う。
【００３６】
（逆量子化手段）
逆量子化手段６．３では、復号された１６×１６（輝度信号の場合）の量子化ＤＣＴ係数を逆量子化してＤＣＴ係数に復元する。なお、量子化は、符号器側で人の視覚特性に応じて定められた量子化テーブルを用いて空間的な情報の圧縮を行うものであり、逆量子化は、その逆の処理を逆量子化テーブルを用いて行う。
【００３７】
（補間処理部）
補間処理部６．１１は、本発明第２の実施の形態における最小限度の構成であり、マッチング手段６．４、擬似高周波成分付加手段６．５、近似式データ格納手段６．６、逆ＤＣＴ手段６．７から構成される。逆量子化後のＤＣＴ係数の高周波領域に対して、第１の実施の形態同様、擬似的に高周波成分を付加した後、逆ＤＣＴを行って時間空間領域の信号へ変換し、結果として時間空間領域における画素数の拡大変換を実現する。
【００３８】
ここで、マッチング手段６．４、擬似高周波成分付加手段６．５、近似式データ格納手段６．６については、第１の実施の形態と同様であるため説明を省略する。
【００３９】
（逆ＤＣＴ手段）
逆ＤＣＴ手段６．７は、上記ブロックサイズの変換されたＤＣＴ係数ブロックを、各ブロックのサイズに応じたＤＣＴ基底マトリクスを用いて逆ＤＣＴ変換し、ＤＣＴ領域から画素空間領域データに変換する。例えば８ビット精度の整数値データにオフセットおよび丸め込み処理される。上述したようにＤＣＴおよび逆ＤＣＴ演算は実数演算で定義されているが、その間で量子化処理が入るため、逆ＤＣＴ演算結果はＤＣＴ入力値とはかなわずしも一致せず、しかも整数になるとも限らない。そのため演算結果の小数点以下の値が０．５となる場合、整数化する際に切り上げになる場合と、切り下げになる場合が生じる。このミスマッチは演算精度を以下に高く規定しても解決できないため、その対策として、逆量子化後の係数値を微小に変化させて、誤差を伴わない逆ＤＣＴ演算結果の小数点以下の値が０．５となる確立を減らすことを行う。
【００４０】
（動き補償予測）
動き補償予測手段６．８については、前段の補間処理部６．１１で拡大処理を行っており、通常のＭＰＥＧ−２デコーダーにおいてなされる処理と多少異なるため、図７を用いて詳細に説明する。
【００４１】
動き補償予測手段６．８は、動き補償予測モードの場合に、動き補償予測されたブロックデータ（ｐ［ｙ］［ｘ］）を上記逆ＤＣＴ手段６．７からの出力（ｆ［ｙ］［ｘ］）に加算する。
【００４２】
ただし、イントラ符号化モードの場合には、この処理は行われず、従ってｐ［ｙ］［ｘ］はゼロである。なお、この符号化モードは各マクロブロック単位に決定され、動き補償予測モードは時間的な相関が高い場合に高い符号化効率が期待でき、イントラ符号化モードはシーンの大きな変化などにより、時間的な相関が期待できない場合に用いられる。またブロックが符号化されない場合、マクロブロック全体がスキップされているかあるいは特定のブロックが復号化されていないかのいずれかの理由により、係数データは存在しない。この場合、ｆ［ｙ］［ｘ］はゼロであり、復号化される画素は、単純に予測ｐ［ｙ］［ｘ］である。またｆ［ｙ］［ｘ］がゼロとならないよう、飽和処理手段７．１１が必要となる。
【００４３】
まず、動き補償予測モードについて説明する。
【００４４】
予測モードは、フィールド予測とフレーム予測の２種類に大別される。フィールド予測においては、先に復号化された１または複数のフィールドからのデータを使用し、各フィールドについて独立に予測を行う。フレーム予測は、先に復号化された１または複数のフレームからフレームの予測を行うものである。予測のもととなるフィールドおよびフレームは、それ自体、フィールド画像またはフレーム画像のいずれかとして復号化されたものであるとの了解が必要である。フィールド画像内では、予測は全てフィールド予測である。一方、フレーム画像においては、フィールド予測またはフレーム予測のいずれかを使用できる（マクロブロックごとに選択される）。上記フィールドまたはフレーム予測のほか、１６×８動き補償、デュアルプライムの２種類の特別予測モードが使用される。１６×８動き補償では、マクロブロック単位に２組の動きベクトルが使用される。最初のベクトルは、１６×８領域の上部、２番目のベクトルは、１６×８領域の下部に使用される。双方向に予測されたマクロブロックの場合は、前方予測に対して２組のベクトル、後方予測に対して２組のベクトルの合計４組のベクトルが使用される。また、デュアルプライム補償方式においては、ビットストリーム内で、ベクトル１個が小さな差分ベクトルと共に符号化される。フィールド画像の場合、この情報から２組の動きベクトルを生成することができる。これらのベクトルは、２つの参照フィールド（１つはトップ、１つはボトム）からの予測を形成するために使用され、平均化されて最終的な予測を形成する。フレーム画像の場合、合計で４フィールドからの予測が行われるよう、２つのフィールドについてこの処理が繰り返される。この予測モードは、Ｐ（Ｐｒｅｄｉｃｔｉｖｅ  ｃｏｄｅｄ）ピクチャにおいてのみ使用可能で、予測される画像と参照フィールドまたはフレームとの間にＢ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ  ｐｒｅｄｉｃｔｉｖｅ  ｃｏｄｅｄ）ピクチャがない場合である。
【００４５】
予測フィールド／フレーム選択手段７．５は、予測形成のためどのフィールドおよびフレームを使用すべきかの選択を行う。Ｐピクチャにおけるフィールド予測は、最も直前に符号化された参照トップフィールドおよび参照ボトムフィールドを用いて行われる。Ｂピクチャにおけるフィールド予測は、直前に復元された２つの参照フレームの２つのフィールドから行われる。一方Ｐピクチャにおけるフレーム予測は直前に復元された参照フレームから行われる。同様にＢピクチャにおけるフレーム予測は、直前に復元された２つの参照フレームから行われる。
色成分のスケーリング手段７．４は、色差信号の動きベクトルを輝度信号の動きベクトルをスケーリングして得る。例えば４：２：０フォーマットの場合、動きベクトルを水平、垂直方向ともに半分にする。
【００４６】
半画素予測フィルタリング手段７．８は、動きベクトルを２倍する。これは予測精度の向上を図るために、参照画面での各画素間を１：１で直線補間した０．５画素精度を用いているためである。
【００４７】
続いて動きベクトル符号化について説明する。
【００４８】
画像の近傍領域における動き量は相関が高いという特性を利用して、動きベクトルの符号化については、前に符号化したマクロブロックの動きベクトル量を予測ベクトルＰＭＶとして、その予測ベクトルＰＭＶとの差分ベクトルｄｅｌｔａを符号化している。動きベクトルｖｅｃｔｏｒ’［ｒ］［ｓ］［ｔ］は式（３）のように表され、
ｖｅｃｔｏｒ’［ｒ］［ｓ］［ｔ］＝ＰＭＶ［ｒ］［ｓ］［ｔ］＋ｄｅｌｔａ      （３）
差分ベクトルｄｅｌｔａに関する情報が符号化される。ここで、ｒはマクロブロックの第１／第２動きベクトル、ｓは前方／後方動きベクトル、ｔは水平／垂直成分を示す。また差分ベクトルｄｅｌｔａは式（４）に示すように、基本差分ベクトルｍｏｔｉｏｎ  ｃｏｄｅをスケールファクタｆによりスケーリングし、残差ベクトルｍｏｔｉｏｎ  ｒｅｓｉｄｕａｌを加えて表現する。
【００４９】
ｄｅｌｔａ＝Ｓｉｇｎ（ｍｏｔｉｏｎ  ｃｏｄｅ）＊｛（（Ａｂｓ（ｍｏｔｉｏｎ  ｃｏｄｅ）−１）＊ｆ）＋ｍｏｔｉｏｎ  ｒｅｓｉｄｕａｌ＋１｝      （４）
ただし、Ｓｉｇｎは符号、Ａｂｓは絶対値を示す。ここで、基本差分ベクトルｍｏｔｉｏｎ  ｃｏｄｅは−１６から＋１６までの整数で、可変長符号化コード（１〜１１ビット）としてマクロブロックに与えられる。またスケールファクタｆは、動き補償範囲を決定するスケールファクタコードｆ＿ｃｏｄｅ［ｓ］［ｔ］を用いて、
ｆ＝１＜＜（ｆ＿ｃｏｄｅ［ｓ］［ｔ］−１）      （５）
と表される。ただし、＜＜は左ビットシフトを示す。また残差ベクトルｍｏｔｉｏｎ  ｒｅｓｉｄｕａｌはマクロブロックに与えられ、（ｆ  ｃｏｄｅ−１）のビット長を持つ。
【００５０】
従って、動きベクトル情報としてマクロブロックで符号化されるものは、基本差分ベクトルｍｏｔｉｏｎ  ｃｏｄｅと残差ベクトルｍｏｔｉｏｎ  ｒｅｓｉｄｕａｌで、例えば、スケールファクタｆ  ｃｏｄｅ＝８、基本差分ベクトルｍｏｔｉｏｎ  ｃｏｄｅ＝−１６、残差ベクトルｍｏｔｉｏｎ  ｒｅｓｉｄｕａｌ  ＝１２７と与えられた場合、（４），（５）式を用いて、差分ベクトルｄｅｌｔａ＝−２０４８となる。このように差分ベクトルｄｅｌｔａは、スケールファクタコード、３３個の動きベクトルを持つｍｏｔｉｏｎ  ｃｏｄｅテーブルと残差ベクトルによって、広い範囲を効率的に符号化することが可能である。ちなみにＭＰ＠ＭＬ（メインプロファイル、メインレベル）では、フレーム構造のフレーム動き補償予測の場合、動きベクトルの範囲は垂直方向で［−１２８．０，＋１２７．５］、水平方向で［−１０２４．０，１０２３．５］となり（ｆ  ｃｏｄｅがそれぞれ８と５）となる。
【００５１】
なお、本発明において上記逆ＤＣＴ手段６．７からの出力は、上述した補間処理部６．１１により拡大処理（画素数の変換）されているため、拡大後の水平、垂直画素数を考慮した上で動き補償を行う。すなわち例えば２倍に拡大した場合には、マクロブロックのサイズが１６×１６（輝度信号の場合）から３２×３２へ水平、垂直ともに２倍になっており、動き補償に用いる参照Ｉ（Ｉｎｔｒａ  ｃｏｄｅｄ）ピクチャ、Ｐピクチャのサイズも２倍になっているため、当然上記動きベクトルｖｅｃｔｏｒ’［ｒ］［ｓ］［ｔ］の量も水平、垂直ともに２倍にする必要がある。
【００５２】
（ビデオメモリ）
ビデオメモリ手段６．９は、復号処理で用いる参照画素としてＩピクチャ、Ｐピクチャを保存する。
【００５３】
（フォーマット変換）
フォーマット変換６．１０は、符号化効率を上げるために復号器側で並べ替えられた、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを、元の入力順序へ並べ替えを行う。および必要に応じて画像サイズの変換を行い出力する。
【００５４】
なお、本発明において上記逆ＤＣＴ手段６．７からの出力は拡大処理（画素数の変換）されているため、フォーマット変換６．１０も拡大後の水平、垂直画素数を考慮した上で並べ替えを行う。
【００５５】
以上、ＭＰＥＧ−２デコーダーに本発明にかかる画像拡大処理を適用した実施の形態について説明したが、上述したように、本発明第２の実施の形態は図８にその構成を示すように、マッチング手段８．１、擬似高周波成分付加手段８．２、近似式データ格納手段８．３、逆直交変換手段８．４が最小単位の構成となる。
【００５６】
＜第３の実施の形態＞
上述した第１の実施の形態が、入力・出力信号がともに時間空間領域の信号であり、第２の実施の形態が、入力信号が周波数領域の信号、出力信号が時間・空間領域の信号であったのに対し、本発明第３の実施の形態は、入力・出力信号がともに周波数領域の信号である。
【００５７】
図９に本発明第３の実施の形態にかかる構成例を示す。該ブロックは、マッチング手段９．１、擬似高周波成分付加手段９．２、近似式データ格納手段９．３から構成される。すなわち、周波数領域の入力信号に対して、マッチング手段９．１において周波数特性を近似式で近似し、擬似高周波成分付加手段９．２において、上記近似式を用いて、拡大率に応じた擬似高周波領域成分を生成して上記入力信号の高周波領域側に付加する拡大処理を行い、該拡大処理後の信号を周波数領域の信号のまま出力する。
【００５８】
なおマッチング手段９．１、擬似高周波成分付加手段９．２、近似式データ格納手段９．３の詳細については、本発明第１の実施の形態と同様であるため省略する。
【図面の簡単な説明】
【００５９】
【図１】本発明第１の実施の形態にかかる構成例を示すブロック図
【図２】本発明の実施の形態にかかるマッチング手段でなされる処理例を説明するためのフロー図
【図３】本発明の実施の形態にかかるマッチング手段でなされる処理例を説明するためのブロック図
【図４】本発明の実施の形態にかかる直交変換手段・逆直交変換手段でなされる処理について説明するための概念図
【図５】本発明の実施の形態にかかる擬似高周波成分付加手段でなされる処理について説明するための概念図
【図６】本発明第２の実施の形態にかかる構成例を示すブロック図
【図７】本発明第２の実施の形態にかかる動き補償予測手段について説明するためのブロック図
【図８】本発明第２の実施の形態にかかる構成例を示すブロック図
【図９】本発明第３の実施の形態にかかる構成例を示すブロック図
【図１０】本発明の実施の形態にかかるマッチング手段でなされる処理について説明するための表
【図１１】本発明の実施の形態にかかるマッチング手段でなされる処理について説明するための表
【図１２】本発明の実施の形態にかかるマッチング手段でなされる処理について説明するための表
【図１３】本発明の実施の形態にかかるマッチング手段でなされる処理について説明するための表
【符号の説明】
【００６０】
１．１  直交変換手段
１．２  マッチング手段
１．３  擬似高周波成分付加手段
１．４  逆直交変換手段
１．５  近似式データ格納手段
６．１  バッファ手段
６．２  可変長復号化手段
６．３  逆量子化手段
６．４  マッチング手段
６．５  擬似高周波成分付加手段
６．６  近似式データ格納手段
６．７  逆ＤＣＴ手段
６．８  動き補償予測手段
６．９  ビデオメモリ手段
６．１０  フォーマット変換手段
７．１  ベクトル予測値
７．２  ベクトル復号化
７．３  追加デュアルプライム演算
７．４  色成分のスケーリング
７．５  予測フィールド／フレーム選択
７．６  フレームストアアドレス指定
７．７  フレームメモリ
７．８  半画素予測フィルタリング
７．９  予測結合
７．１０  加算手段
７．１１  飽和処理
８．１  マッチング手段
８．２  擬似高周波成分付加手段
８．３  近似式データ格納手段
８．４  逆直交変換手段
９．１  マッチング手段
９．２  擬似高周波成分付加手段
９．３  近似式データ格納手段
【図１】
2006309652.tif 000005
【図２】
2006309652.tif 000006
【図３】
2006309652.tif 000007
【図５】
2006309652.tif 000008
【図６】
2006309652.tif 000009
【図７】
2006309652.tif 000010
【図８】
2006309652.tif 000011
【図９】
2006309652.tif 000012
【図１０】
2006309652.tif 000013
【図１１】
2006309652.tif 000014
【図１２】
2006309652.tif 000015
【図１３】
2006309652.tif 000016
【図４】
2006309652.tif 000017