(57)【要約】【課題】従来の方式よりも高速に処理できかつ情報の劣化を低減して画質を向上できる変換符号化係数のサンプリング変換・解像度変換装置を提供する。【解決手段】入力メモリ１には直交変換によって変換された変換係数情報が蓄積され、これから読み出された変換符号化係数は変換手段２に入力する。変換行列統合手段４は、変換符号化方式の基底行列と、解像度変換行列入力手段５およびサンプリング変換行列入力手段６のそれぞれから入力された任意の補間行列あるいは間引き行列との積を求めて変換行列を生成し、変換手段２に出力する。または、予め計算されてメモリに格納された変換行列を選択して、変換手段２に出力する。変換手段２は、変換行列統合手段４からの変換行列と、入力メモリ１からの変換符号化係数を入力とし、変換符号化係数の行単位の行列積演算により解像度変換とサンプリング変換を達成する。【選択図】        図１
2005012460.tif 000002
【特許請求の範囲】
【請求項１】
直交変換によって変換された情報を異なるサイズに変換する変換符号化係数のサンプリング変換・解像度変換装置において、
直交変換によって変換された変換符号化係数を入力する入力手段と、
サンプリング方式変換に必要なサンプリング変換行列と、解像度変換に必要な解像度変換行列とを統合する変換行列統合手段と、
前記入力手段から入力された変換符号化係数と該変換行列統合手段から得られた変換行列とを用いて、サンプリング変換と解像度変換とを一括して行う変換手段とを具備したことを特徴とする変換符号化係数のサンプリング変換・解像度変換装置。
【請求項２】
請求項１に記載の変換符号化係数のサンプリング変換・解像度変換装置において、
入出力のサンプリング方式と縦横の解像度変換倍率とに応じて、変換処理単位に含まれる個々の変換符号化係数から低周波成分を領域の特徴量に応じて適応的に抽出する低周波成分抽出手段をさらに具備し、
前記入力手段からの変換符号化係数を該低周波成分抽出手段に入力し、該低周波成分抽出手段により抽出された低周波成分を前記変換手段に出力することを特徴とする変換符号化係数のサンプリング変換・解像度変換装置。
【請求項３】
請求項１又は２に記載の変換符号化係数のサンプリング変換・解像度変換装置において、
前記変換行列統合手段は、サンプリング方式変換に必要なサンプリング変換行列と解像度変換に必要な解像度変換行列との計算結果を予めメモリに保持しておき、該メモリに保持された変換行列の中から変換に必要なものを選択することを特徴とする変換符号化係数のサンプリング変換・解像度変換装置。
【請求項４】
請求項１又は２に記載の変換符号化係数のサンプリング変換・解像度変換装置において、
前記変換行列統合手段は、入力されたサンプリング変換行列と解像度変換行列とから、変換に必要な変換行列を計算によって求めることを特徴とする変換符号化係数のサンプリング変換・解像度変換装置。
【請求項５】
請求項２に記載の変換符号化係数のサンプリング変換・解像度変換装置において、
前記低周波成分抽出手段は、前記領域の特徴量として、変換符号化係数の分布または量子化情報を用いることを特徴とする変換符号化係数のサンプリング変換・解像度変換装置。
【請求項６】
請求項３又は４に記載の変換符号化係数のサンプリング変換・解像度変換装置において、
前記変換行列統合手段は、前記サンプリング変換および解像度変換に伴う水平方向および垂直方向の補間または間引きを任意に設定できることを特徴とする変換符号化係数のサンプリング変換・解像度変換装置。
【請求項７】
請求項３又は４に記載の変換符号化係数のサンプリング変換・解像度変換装置において、
前記変換行列統合手段は、変換符号化の基底行列との積により求められる復号処理と、サンプリング変換処理と、解像度変換処理と、再符号化処理とを予め行うことにより求められた数値を格納しておくことを特徴とする変換符号化係数のサンプリング変換・解像度変換装置。
【請求項８】
請求項１又は２に記載の変換符号化係数のサンプリング変換・解像度変換装置において、
前記変換手段は、変換符号化係数を復号せずにサンプリング変換処理および解像度変換処理を行うことを特徴とする変換符号化係数のサンプリング変換・解像度変換装置。
【請求項９】
請求項１又は２に記載の変換符号化係数のサンプリング変換・解像度変換装置において、
前記変換手段は、変換符号化係数を直接利用することで変換後の変換符号化係数を得ることを特徴とする変換符号化係数のサンプリング変換・解像度変換装置。
【請求項１０】
請求項８又は９に記載の変換符号化係数のサンプリング変換・解像度変換装置において、
前記変換手段は、入力された変換符号化係数を行毎に分類し、それぞれの行に異なる変換式を用いることを特徴とする変換符号化係数のサンプリング変換・解像度変換装置。
【請求項１１】
請求項８又は９に記載の変換符号化係数のサンプリング変換・解像度変換装置において、
前記変換手段は、解像度変換行列と、乗算器および加算器とからなる演算手段を備え、入力の変換符号化係数の１行毎に前記演算手段が前記解像度変換行列の非０の要素を参照して入力の変換符号化係数との積を導出し、前記加算器により合計値を出力の変換符号化係数として導出することを特徴とする変換符号化係数のサンプリング変換・解像度変換装置。
【請求項１２】
請求項１１に記載の変換符号化係数のサンプリング変換・解像度変換装置において、
前記変換手段は、変換符号化係数の解像度変換式の計算過程を一時記憶し、再利用することを特徴とする変換符号化係数のサンプリング変換・解像度変換装置。
【請求項１３】
請求項１１に記載の変換符号化係数のサンプリング変換・解像度変換装置において、
前記変換手段は、解像度変換行列の部分集合の対称性を勘案して、入力の変換符号化係数との乗算回数を軽減する演算順序を具備することを特徴とする変換符号化係数のサンプリング変換・解像度変換装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は変換符号化係数のサンプリング変換・解像度変換装置に関し、特に、変換符号化係数を高速かつ高精度に変換できるサンプリング変換・解像度変換装置に関する。
【０００２】
【従来の技術】
この種の従来技術の一つとして、完全に復号してから再符号化する方式（以下、第１の方式）がある。この第１の方式では、符号化されている情報は一度完全に復号され、例えば４：１：１フォーマットから４：２：０フォーマットなどにサンプリング方式を変換され、解像度変更処理が施された後、改めて符号化される。
【０００３】
他の従来技術として、例えば特開２００１−１３６５２７号公報に記されているような符号化を再利用する方式（以下、第２の方式）が提案されている。この第２の方式は、例えば８×８単位で符号化されている係数から４×４成分を抽出し、もともと４×４単位で符号化されているものと仮定して復号し、変換符号化係数を得るには再度符号化するものである。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記第１の方式では、完全な復号と再符号化をし、さらにサンプリング方式の変換を必要としている。このため、演算量が膨大となり、さらに処理速度が遅くなるという問題がある。また、復号した膨大なデータを一時的に保持するための大容量のデータ領域が必要になるという問題もある。
【０００５】
一方、前記第２の方式は、符号化情報を再利用するので、第１の方式よりは高速な処理を実現することができる。しかし、変換符号化に用いた直交基底と異なる直交基底で復号するため、情報の劣化が大きく、十分な画質が得られないという問題がある。また、この第２の方式では、解像度変換により画素を得ることだけを想定しているため、サンプリング変換は第１の方式と同様に画素領域で別途処理する必要がある。
【０００６】
本発明の目的は、前記した従来技術の問題点を解消し、従来の方式よりも高速に処理できかつ情報の劣化を低減して画質を向上できる変換符号化係数のサンプリング変換・解像度変換装置を提供することにある。
【０００７】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、直交変換によって変換された情報を異なるサイズに変換する変換符号化係数のサンプリング変換・解像度変換装置において、直交変換によって変換された変換符号化係数を入力する入力手段と、サンプリング方式変換に必要なサンプリング変換行列と、解像度変換に必要な解像度変換行列とを統合する変換行列統合手段と、前記入力手段から入力された変換符号化係数と該変換行列統合手段から得られた変換行列とを用いて、サンプリング変換と解像度変換とを一括して行う変換手段とを具備した点に第１の特徴がある。
【０００８】
この特徴によれば、変換符号化によって符号化された情報を直接的に利用し、また変換符号化係数のサンプリング変換と解像度変換とを統合するようにしたので、従来の方式よりも高速に変換することができる。
【０００９】
また、本発明は、入出力のサンプリング方式と縦横の解像度変換倍率とに応じて、変換処理単位に含まれる個々の変換符号化係数から低周波成分を領域の特徴量に応じて適応的に抽出する低周波成分抽出手段をさらに具備し、前記入力手段からの変換符号化係数を該低周波成分抽出手段に入力し、該低周波成分抽出手段により抽出された低周波成分を前記変換手段に出力するようにした点に第２の特徴がある。
この特徴によれば、画質の劣化を起こすことなく、高速に変換処理を実現できるようになる。
【００１０】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の構成を示すブロック図である。
図において、入力メモリ１には、システム全体の入力として、直交変換によって変換された変換係数情報が蓄積される。該入力メモリ１から読み出された変換符号化係数は変換手段２に入力する。変換行列統合手段４は、変換符号化方式の基底行列と、解像度変換行列入力手段５から入力された任意の補間行列あるいは間引き行列と、サンプリング変換行列入力手段６から入力された任意の補間行列あるいは間引き行列との積を求めて変換行列を生成し、変換手段２に出力する。または、予め計算されてメモリ（図示せず）に格納された変換行列を選択して、変換手段２に出力する。
【００１１】
変換手段２は、変換行列統合手段４から得られた変換行列と、入力メモリ１から得られた変換符号化係数を入力とし、変換符号化係数の行単位の行列積演算で解像度変換とサンプリング変換を達成する。該解像度変換とサンプリング変換後の変換符号化情報は、出力メモリ３に蓄えられる。
【００１２】
次に、本発明の一実施形態の動作を、図２を参照して具体的に説明する。図２は、ベースバンドによる縮小処理を表し、一例としての、４：１：１フォーマットの８×８ＤＣＴ係数を、４：２：０フォーマットの８×８ＤＣＴ係数にサンプリング変換すると共に、１／２縮小変換する場合の演算過程を示す。
【００１３】
まず、４：１：１と４：２：０フォーマットの輝度信号と色差信号の構成を、図３を参照して簡単に説明する。４：１：１は、ＮＴＳＣのＤＶ（デジタルビデオ）のフォーマットを示し、色差信号が、輝度信号と比べて水平方向に１／４にサンプリングされた信号を示す。一方、４：２：０は、ＭＰＥＧのフォーマットを示し、輝度信号に比べて、水平方向および垂直方向に１／２にサンプリングされた信号を示す。このため、ＮＴＳＣのＤＶからＭＰＥＧへの変換には、サンプリング方式の変換が必要になる。
【００１４】
サンプリング変換において、輝度成分は両フォーマットに共通であるため、変換の必要はない。一方、４：１：１フォーマットの色差成分は水平方向にアップサンプル、垂直方向にダウンサンプルを行うことで、４：２：０フォーマットの色差成分に変換する。
【００１５】
図２に示されているように、４：１：１フォーマットにおいて垂直方向に並ぶ４組の８×８ＤＣＴ係数１１を、（Ｘ，Ｙ，Ｚ，Ｗ）で表し、４組の８×８ＤＣＴ係数を一つの３２×８行列Ｕとして、下記の（１）式のように表す。
【００１６】
【数１】
2005012460.tif 000003
【００１７】
図２の演算過程では、４組の８×８ＤＣＴ係数１１がまず逆ＤＣＴ変換されて４：１：１の画素値１２に変換され、次いでアップサンプルされて４：４：４の画素値１３にサンプリング変換され、さらにダウンサンプルされて４：２：０画素値１４にサンプリング変換される。次いで、１／２の縮小処理が行われて８×８画素となり、最後にＤＣＴ変換されて８×８サイズのＤＣＴに変換される。この演算を行列形式で表現すると、下記の（２）式のようになる。
Ｖ＝ＴＮｈＭｈＳｔＵＴＬｗＭｗＮｗＴｔ  ・・・（２）
【００１８】
【数２】
2005012460.tif 000004
【００１９】
ここで、Ｔ，ｔは、それぞれ８×８ＤＣＴ変換行列、転置操作を示す。Ｓは、前記（３）式に示されているように、行列Ｔを対角に４個並べた３２×３２行列を示す。また、Ｌｗは、４：４：４を得るための水平方向へ４倍する拡大行列、Ｍｗ，Ｍｈは、４：２：０を得るための水平、垂直方向へそれぞれ１／２倍する縮小行列、Ｎｗ，Ｎｈは、解像度変換行列を示す。ＤＣＴ変換行列Ｔは固定であるが、行列Ｌ，Ｍ，Ｎは、任意の補間または間引き行列を設定することができる。
【００２０】
ここで、図１を参照すると、前記サンプリング変換行列入力手段６からは、前記水平方向へ４倍する拡大行列Ｌｗ、水平、垂直方向へそれぞれ１／２倍する縮小行列Ｍｗ，Ｍｈが入力される。また、前記解像度変換行列入力手段５からは、解像度変換行列Ｎｗ，Ｎｈが入力される。
該解像度変換行列Ｎｗ，Ｎｈとしては、例えば、隣接４点の平均による２次元縮小変換の場合は、行列Ｎｗ，Ｎｈを下記の（４）、（５）式のように設定することができる。
【００２１】
【数３】
2005012460.tif 000005
【００２２】
Ｎｗ＝Ｎｈｔ  ・・・（５）
（４）式は縦方向に１／２倍する行列、（５）式は横方向に１／２倍する行列である。（４）、（５）式を（２）式に適用する時、横方向に４倍に拡大する行列Ｌｗと、２つの１／２倍に縮小する行列Ｍｗ，Ｎｗとの積が単位行列Ｅになるように設定することで、行列Ｕの右から掛かる行列（ＴＬｗＭｗＮｗＴｔ）を全て打ち消すことができる。
【００２３】
一方、ＤＣＴ係数行列Ｕの左から掛かる行列Ｍｈ，Ｎｈを設定すると、行列Ｔ、Ｎ、Ｍ、Ｓは全て定数行列になるので、予め計算して格納しておくことで、演算回数を削減することができる。また、場合に応じた行列Ｔ、Ｎ、Ｍ、Ｓを複数予め計算して格納しておき、その後、該場合に応じた計算値を選択して読み出すことにより、演算回数を削減することができる。
【００２４】
本発明者は、さらに、解像度変換行列、すなわち補間行列または間引き行列Ｎの要素ｎｉ，ｊが下記の（６）式のような性質を備えた場合は、（２）式の定数行列の積に対称性が現れることを発見し、（２）式にこの性質を導入した。
ｎｉ，ｊ＝ｎｘ−ｉー１，ｙ−ｊー１（０≦ｉ＜ｘ，０≦ｊ＜ｙ）  ・・・（６）
なお、上記（６）式を満足する行列は、行列の幾何学的な中心に対して点対称な行列を示す。
【００２５】
本発明者は、前記の（５）式の行列Ｎｈも（６）式の条件を満たすので、該（５）式の行列Ｎｈと、（４）式の行列を垂直方向に１６要素、水平方向に３２要素に拡大した１６×３２のサイズの行列Ｍｈを用いて、（２）式の行列Ｕの左から掛かる定数行列の積Ｒを計算したところ、該Ｒに（８）式に示す対称性が現れることを確認した。
【００２６】
【数４】
2005012460.tif 000006
【００２７】
＝（Ａ  Ｂ  ＨＢＨ  ＨＡＨ）  ・・・（８）
ここで、Ａ，Ｂは（９）式、（１０）式に示す８×８部分行列を表し、Ｈは（１１）式に示すような８×８単位行列を１行おきに正負を反転した行列を示す。なお、明らかなように、（８）式のＨＢＨ，ＨＡＨの行列要素は、それぞれＢ，Ａの行列要素と絶対値は等しく、符号が違うだけである。（８）式を用いて下記の（１２）式を演算すると、加算を優先することで乗算回数を削減することが可能になる。
【００２８】
【数５】
2005012460.tif 000007
【００２９】
【数６】
2005012460.tif 000008
【００３０】
【数７】
2005012460.tif 000009
【００３１】
よって、図１の変換行列統合手段４によるサンプリング変換と解像度変換の統合により、前記（８）式の変換行列Ｒが得られ、変換手段２は下記の（１２）式のように、前記３２×８行列Ｕに変換行列Ｒを掛けることで変換符号化係数の変換（Ｕ→Ｖ）を実現する。換言すれば、変換手段２は、該変換符号化係数の変換を、一括して行うことができる。
Ｖ＝ＲＵ  ・・・（１２）
【００３２】
この実施形態では、変換行列Ｒは行列Ａ，Ｂから直接導き出せるので、行列Ａ，Ｂだけを保持すればよく、格納に必要なメモリ量を半分に抑えることが可能になる。
【００３３】
次に、本発明の第２実施形態について説明する。この実施形態は、前記変換行列の対称性を利用してさらに演算量を削減し、変換手段２（図１参照）における高速演算を可能にしたものである。
【００３４】
前記（１）式と（８）式を、前記（１２）式に代入すると、次の（１３）式が得られる。
Ｖ＝ＡＸ＋ＢＹ＋ＨＢＨＺ＋ＨＡＨＺ  ・・・（１３）
さらに、（１３）式の両辺に左から行列Ｈを掛け、（１３）式と加減算すると、次の（１４）式、（１５）式のようになる。
（Ｅ＋Ｈ）Ｖ＝（Ｅ＋Ｈ）Ａ（Ｘ＋ＨＷ）＋（Ｅ＋Ｈ）Ｂ（Ｙ＋ＨＺ）  ・・・（１４）
（Ｅ−Ｈ）Ｖ＝（Ｅ−Ｈ）Ａ（Ｘ−ＨＷ）＋（Ｅ−Ｈ）Ｂ（Ｙ−ＨＺ）  ・・・（１５）
（１４）式と（１５）式中の（Ｅ＋Ｈ）と（Ｅ−Ｈ）は、ランクが足らないため、逆行列が存在しない。よって、両辺に同じ（Ｅ＋Ｈ）と（Ｅ−Ｈ）が掛けられていても、打ち消し合うことはできない。
【００３５】
ここで、（Ｅ＋Ｈ）と（Ｅ−Ｈ）の性質を考えると、左から掛けた場合は、掛けられた行列が１行おきに０になる。つまり、（１４）式と（１５）式の右辺はそれぞれ１行おきに行列Ｖと等しいので、全てを計算する必要はなく、それぞれ一致する行だけを計算することで、演算量を削減することができる。
【００３６】
さらに、部分行列Ａ，Ｂ間の対称性に着目すると、部分行列Ａ，Ｂの偶数行列は絶対値が等しく、かつ１列おきに正負が反転しているので、（１６）式が成立する。
（Ｅ＋Ｈ）Ｂ＝Ｊ（Ｅ＋Ｈ）ＡＪ  ・・・（１６）
ここに、Ｊは、下記の（１７）式の行列である。
【００３７】
【数８】
2005012460.tif 000010
【００３８】
よって、（１４）式の左から両辺に行列Ｊを掛け、（１４）式と加減算し、（１６）式の関係を利用すると、下記の（１８）式と（１９）式が得られる。
（Ｅ＋Ｊ）（Ｅ＋Ｈ）Ｖ＝（Ｅ＋Ｊ）（Ｅ＋Ｈ）Ａ（（Ｘ＋ＨＷ）＋Ｊ（Ｙ＋ＨＺ））  ・・・（１８）
（Ｅ−Ｊ）（Ｅ＋Ｈ）Ｖ＝（Ｅ−Ｊ）（Ｅ＋Ｈ）Ａ（（Ｘ＋ＨＷ）−Ｊ（Ｙ＋ＨＺ））  ・・・（１９）
【００３９】
（Ｅ＋Ｊ）または（Ｅ−Ｊ）と任意の行列との積も行毎に、つまり行全体が０になるため、（Ｅ＋Ｊ）（Ｅ＋Ｈ）を掛けられた行列は、０行目と４行目以外は全て０になる。同様に、（Ｅ−Ｊ）（Ｅ＋Ｈ）を掛けられた行列は、２行目と６行目以外は全て０になる。したがって、（１８）式からは行列Ｖの０行目と４行目が求まり、（１９）式からは２行目と６行目が求まる。部分行列Ａ，Ｂの対称性は偶数行目だけであるので、行列Ｖの奇数行目は前記（１５）式から求める。
【００４０】
さて、前記（１３）式において、行列Ｈの各要素は１または−１であるので、ＨＢＨ，ＨＡＨはそれぞれ行列Ｂ，Ａの正負符号を反転するだけの処理で良く、乗算をする必要がない。よって、（１３）式は、行列Ｖを求めるのに、４回の行列積を必要とする。つまり、（１３）式の右辺の第１〜第４項のそれぞれの乗算が１回分で、合計で４回分である。
【００４１】
一方、（１５）式、（１８）式、および（１９）式において、行列Ｈ，Ｊの各要素は１または−１であるので、（Ｅ＋Ｈ），（Ｅ−Ｈ），（Ｅ＋Ｊ），および（Ｅ−Ｊ）と、任意行列との積も、対応する行を０に置き換えるだけで、乗算をする必要はない。また、前記（１５）式、（１８）式、および（１９）式は、（Ｅ＋Ｈ），（Ｅ−Ｈ），（Ｅ＋Ｊ），および（Ｅ−Ｊ）との積による行毎の場合分けにより部分行列の一致する要素の乗算を共通化しているため、実質的に必要な行列積の合計回数は１．５回分まで減少する。つまり、（１５）式の右辺の第１項の乗算が０．５回分、第２項の乗算が０．５回分、（１８）、（１９）式の右辺の乗算がそれぞれ０．２５回分である。
【００４２】
さらに、部分行列Ａ，Ｂには、それぞれ０要素が２９個、２のべき乗が１個あるので、変換に必要な演算量は大幅に削減される。
よって、本実施形態によれば、変換手段２の動作を高速化することができる。
【００４３】
次に、本発明の第３実施形態図４を参照して説明する。この実施形態は、図１の入力メモリ１と変換手段２との間に、低周波成分抽出手段７を挿入した点に特徴がある。すなわち、前記４組の８×８ＤＣＴ係数行列Ｕに対して、それぞれの部分行列の高周波成分を、サンプリング変換の種類および解像度変換倍率に応じて適応的に０に設定することで、演算量を削減するようにした点に特徴がある。
【００４４】
前記した第１、第２実施形態の統合変換方式は、ベースバンド変換を代数的に一つの行列積にまとめると共に、変換行列Ｒの部分対称性を用いて乗算回数を大幅に削減したものである。この変換式は、ベースバンド変換と等価であるので画質劣化は存在しないが、ＤＣＴ係数の有意成分、すなわちその分布が低域に集中している場合は、全ての係数を利用しなくても十分な画質が得られると考えられる。本実施形態は、このような観点からなされたものであり、演算量を削減しながら画質を保持できる高周波成分の削減の仕方を提供するものである。
【００４５】
本発明者は、ＤＶからＭＰＥＧ（３６０×２４０、３０ｆｐｓ）に変換する実験を行った。具体的には、図５に示すような４組の８×８ＤＣＴ係数行列Ｕの各８×８ＤＣＴ係数行列に対して、高周波成分の（１）行毎の削除、（２）列毎の削除、（３）対角（右上から左下への対角）の削除、（４）低周波側の正方形以外の削除、（５）低周波側の２×４画素以外を削除（図５参照）を行い、ＰＳＮＲの比較をした。この比較を図６に示す。図６の縦軸はＰＳＮＲ、横軸は変換に使用するブロック当たりの要素数であり、最大は６４である。
【００４６】
図６から明らかなように、前記（１）〜（５）のいずれの方法を用いて全６４要素の半分を削除しても、画質が劣化しないことが分かった。次に、前記（２）の列毎の削除方法では、前記半分を超えると画質の劣化が始まるが、前記（１）の行毎の削除方法では、低周波よりの２行（１６要素）だけを用いれば画質は維持されることが分かった。また、（４）の低周波側の正方形以外の削除でも、４×４要素以上を残せば、画質の劣化はなく、（３）の対角方向の削除では、低域１０要素でも画質の劣化は殆どなかった。
【００４７】
しかし、本発明者は、画質を維持しながら削減数が最も多い方法は、前記（５）の低周波側の２×４画素を用いる方法であることを発見した。サンプリング変換と解像度変換を統合した演算は入出力の要素数から単純に垂直方向へ１／４縮小する変換とみなすことができる。そこで、通常は、水平方向への変換はサンプリング変換による補間と解像度変換による間引きが打ち消し合い、水平方向の変形がないため列要素の削除は画質を劣化させると思われた。つまり、変換に用いるべき個々のＤＣＴ係数は少なくとも２行分（１６要素）を使用する必要があると考えられたが、実験の結果からはさらに高周波側の右半分の要素（８要素）を削減しても画質に影響がないことが確認された。
【００４８】
以上のように、本実施形態によれば、前記低周波成分抽出手段７において、４組の８×８ＤＣＴ係数行列Ｕのそれぞれの部分行列の低周波側の２×４画素が抽出され、変換手段２において、該抽出された低周波側の２×４画素を用いて演算処理されるので、演算量を大幅に削減でき高速演算を実現することができる。なお、本発明は、低周波成分抽出手段７において低周波側の２×４画素のみを抽出することに限定されず、低周波側の２×ｍ画素（ｍ＝５，６，７）を抽出するようにしてもよい。
【００４９】
【発明の効果】
以上の説明から明らかなように、本発明によれば、変換符号化によって符号化された情報を直接的に利用し、また変換符号化係数のサンプリング変換と解像度変換とを統合するようにしたので、画質の劣化をきたすことなく、従来の方式よりも高速に変換することができるようになる。
【００５０】
また、変換処理単位に含まれる個々の変換符号化係数から低周波成分を領域の特徴量に応じて適応的に抽出するようにしたので、画質の劣化を殆どきたすことなく、従来の方式よりも高速に処理することができるようになる。
【００５１】
また、変換符号化係数を符号化に用いたのと同じ基底で復号することに相当するから、符号化情報の異なる基底で復号する変換方式と比較しても、出力する変換符号化係数のＳＮＲを向上させることが可能になる。
【図面の簡単な説明】
【図１】本発明の一実施形態の概略の構成を示すブロック図である。
【図２】本発明の一実施形態の動作の説明図である。
【図３】４：１：１と４：２：０フォーマットの輝度信号と色差信号の構成の説明図である。
【図４】本発明の第３実施形態の概略の構成を示すブロック図である。
【図５】図４の低周波成分抽出手段の一抽出例を示す図である。
【図６】各種の削除方法における、サンプリング変換と解像度変換後の画質を示す図である。
【符号の説明】
１・・・入力メモリ、２・・・変換手段、３・・・出力メモリ、４・・・変換行列統合手段、５・・・解像度変換行列入力手段、６・・・サンプリング変換行列入力手段、７・・・低周波成分抽出手段。
【図１】
2005012460.tif 000011
【図２】
2005012460.tif 000012
【図３】
2005012460.tif 000013
【図４】
2005012460.tif 000014
【図５】
2005012460.tif 000015
【図６】
2005012460.tif 000016