(57)【要約】【課題】マルチフォーマットコーデックのための画像予測装置を提供する。【解決手段】複数の画像圧縮フォーマットそれぞれによって動きベクトル及び参照フレームに基づいて予測ブロックを生成する画像予測装置Ｉにおいて、現在予測するブロックの画像圧縮フォーマット情報を入力され、動きベクトルを利用して、参照フレームのうち補間に使われる所定サイズのブロックを抽出し、補間情報を生成する補間前処理部と、補間情報によるそれぞれの補間方向に抽出されたブロックの各ピクセル値または以前に補間されたピクセル値を補間して予測ブロックを生成する共用補間部を備えることを特徴とする。【選択図】図２
2007060673.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像圧縮フォーマットそれぞれによって、動きベクトル及び参照フレームに基づいて予測ブロックを生成する、マルチフォーマットコーデックのための画像予測装置において、
現在予測するブロックの画像圧縮フォーマット情報を入力され、前記動きベクトルを利用して、前記参照フレームのうち補間に使われる所定サイズのブロックを抽出し、補間情報を生成する補間前処理部と、
前記補間情報によるそれぞれの補間方向に前記抽出されたブロックの各ピクセル値または以前に補間されたピクセル値を補間して、前記予測ブロックを生成する共用補間部と、を備えることを特徴とする画像予測装置。
【請求項２】
前記補間前処理部は、
前記動きベクトルの整数部分及び端数部分を利用して、前記所定サイズのブロックを抽出し、前記動きベクトルの端数部分を利用して、前記補間情報を生成することを特徴とする請求項１に記載の画像予測装置。
【請求項３】
前記補間情報は、
前記それぞれの補間方向に対する補間が行われるか否かを表す補間モード情報と、
前記それぞれの補間方向による補間演算を行うときに必要な演算パラメータ情報と、を含み、
前記共用補間部は、
前記補間モード情報を利用して補間される補間方向を決定し、前記決定されたそれぞれの補間方向に対して、前記抽出されたブロックの各ピクセル値または以前に補間されたピクセル値を複数個取り、前記取られたそれぞれのピクセル値で前記演算パラメータ情報による補間演算を行って前記予測ブロックに含まれたピクセル値を算出することを特徴とする請求項１に記載の画像予測装置。
【請求項４】
前記補間情報は、前記それぞれの補間方向の補間に使われるピクセルの相対的な位置情報をさらに含み、
前記共用補間部は、前記相対的な位置情報を利用して、前記抽出されたブロックの各ピクセル値または以前に補間されたピクセル値を複数個取ることを特徴とする請求項３に記載の画像予測装置。
【請求項５】
前記演算パラメータ情報は、それぞれの補間方向の補間に使われる各ピクセルに付与する加重値を含む加重値ベクトル、前記加重値を利用した加重和演算時に必要な四捨五入情報及びシフト量情報のうち少なくとも一つを含み、
前記共用補間部は、前記決定されたそれぞれの補間方向に対して、前記取られたそれぞれのピクセル値に前記加重値を付与して加重和演算を行い、前記四捨五入情報及び前記シフト量情報を利用して、前記加重和演算の結果を四捨五入して整数シフト演算を行うことを特徴とする請求項４に記載の画像予測装置。
【請求項６】
前記共用補間部は、前記整数シフト演算を行った結果、データ値が所定範囲を外れる場合、所定値に代替させるクリッピング演算を行って、クリッピングされたデータを出力することを特徴とする請求項５に記載の画像予測装置。
【請求項７】
前記共用補間部は、
前記補間モード情報によって、前記抽出されたブロックのピクセル値をバイパスさせて出力するか、または前記抽出されたブロックのピクセル値を利用して垂直方向の補間を行う補間されたピクセル値を出力する第１垂直補間部と、
前記補間モード情報によって、前記第１垂直補間部の出力をバイパスさせて出力するか、または前記第１垂直補間部の出力を利用して水平方向の補間を行う水平補間部と、を備え、
前記第１垂直補間部及び前記水平補間部は、前記それぞれの演算パラメータ情報によって補間演算が行われることを特徴とする請求項５に記載の画像予測装置。
【請求項８】
前記共用補間部は、
前記補間モード情報によって、前記水平補間部の出力をバイパスさせて出力するか、または前記抽出されたブロックのピクセル値または前記水平補間部の出力を利用して垂直方向の補間を行う第２垂直補間部と、
前記補間モード情報によって、前記抽出されたブロックの各ピクセルまたは前記補間された各ピクセルのうち補間される位置と隣接する２つのピクセル値を抽出し、前記抽出された２つのピクセル値を算術平均して補間する両方向線形補間部と、
前記補間モード情報によって、前記第２垂直補間部の出力または前記両方向線形補間部の出力を選択し、前記選択されたピクセル値を予測ブロックのピクセル値として出力する第１データ選択部と、をさらに備え、
前記第２垂直補間部は、前記第１垂直補間部と同じ演算パラメータ情報を使用して、前記演算パラメータ情報によって補間演算が行われることを特徴とする請求項７に記載の画像予測装置。
【請求項９】
前記両方向線形補間部は、
前記補間モード情報によって、前記抽出されたブロックの各ピクセル値、前記第１垂直補間部の出力または前記水平補間部の出力を選択し、前記選択されたピクセル値を出力する第２データ選択部と、
前記第２データ選択部の出力と前記第２垂直補間部の出力から前記２つのピクセルを抽出して算術平均する算術平均演算部と、を備えることを特徴とする請求項８に記載の画像予測装置。
【請求項１０】
前記水平補間部、前記第２垂直補間部、前記両方向線形補間部は、前記相対的位置情報を利用して補間に利用するピクセルを抽出することを特徴とする請求項８に記載の画像予測装置。
【請求項１１】
前記第２垂直補間部は、前記抽出されたブロックのピクセル値または前記垂直補間されたピクセル値が所定の範囲を外れる場合、所定値に代替させるクリッピング演算を行ってクリッピングデータを出力し、
前記第２データ選択部は、前記選択されたピクセル値が所定範囲を外れる場合、所定値に代替させるクリッピング演算を行ってクリッピングされたデータを出力することを特徴とする請求項９に記載の画像予測装置。
【請求項１２】
前記各補間方向に対する前記加重値ベクトルは、
６個の加重値エレメントで構成されていることを特徴とする請求項５に記載の画像予測装置。
【請求項１３】
前記複数の画像圧縮フォーマットは、
ＷＭＶ９−Ｂｉｌｉｎｅａｒ、ＷＭＶ９−Ｂｉｃｕｂｉｃ、ＭＰＥＧ−４、Ｈ.２６４−Ｌｕｍａ、Ｈ.２６４−ｃｈｒｏｍａのうち少なくとも一つを含むことを特徴とする請求項７に記載の画像予測装置。
【請求項１４】
参照フレームと現在符号化するブロックとの間にブロック基盤の動き推定を行って動きベクトルを算出する動きベクトル算出部と、
前記算出された動きベクトルと前記参照フレームとに基づいて予測ブロックを生成するブロック予測部と、を備え、
前記ブロック予測部は、
現在予測するブロックの画像圧縮フォーマット情報を入力され、前記動きベクトルを利用して、前記参照フレームのうち補間に使われる所定サイズのブロックを抽出し、補間情報を生成する補間前処理部と、
前記補間情報によるそれぞれの補間方向に前記抽出されたブロックの各ピクセル値または以前に補間されたピクセル値を補間して前記予測ブロックを生成する共用補間部と、を備えることを特徴とするマルチフォーマットコーデックのための画像符号化装置。
【請求項１５】
受信されたビットストリームから動きベクトルを復元する動きベクトル抽出部と、
前記復元された動きベクトル、画像圧縮フォーマット情報及び参照フレームに基づいて予測ブロックを生成するブロック予測部と、を備えることを特徴とするマルチフォーマットコーデックのための画像復号化装置。
【請求項１６】
前記ブロック予測部は、
現在予測するブロックの画像圧縮フォーマット情報を入力され、前記動きベクトルを利用して、前記参照フレームのうち補間に使われる所定サイズのブロックを抽出し、補間情報を生成する補間前処理部と、
前記補間情報によるそれぞれの補間方向に前記抽出されたブロックの各ピクセル値または以前に補間されたピクセル値を補間して前記予測ブロックを生成する共用補間部と、を備えることを特徴とする請求項１５に記載の画像復号化装置。
【請求項１７】
複数の画像圧縮フォーマットそれぞれによって動きベクトル及び参照フレームに基づいて予測ブロックを生成する、マルチフォーマットコーデックのための画像予測方法において、
（ａ）補間前処理部が、現在予測するブロックの画像圧縮フォーマット情報を入力され、前記動きベクトルを利用して、前記参照フレームのうち補間に使われる所定サイズのブロックを抽出し、補間情報を生成するステップと、
（ｂ）共用補間部が、前記補間情報によるそれぞれの補間方向に前記抽出されたブロックの各ピクセル値または以前に補間されたピクセル値を補間して前記予測ブロックを生成するステップと、を含むことを特徴とする画像予測方法。
【請求項１８】
前記補間情報は、
前記それぞれの補間方向に対する補間が行われるか否かを表す補間モード情報と、
前記それぞれの補間方向による補間演算を行うときに必要な演算パラメータ情報と、を含み、
前記（ｂ）ステップは、
前記補間モード情報を利用して補間される補間方向を決定し、前記決定されたそれぞれの補間方向に対して、前記抽出されたブロックの各ピクセル値または以前に補間されたピクセル値を複数個取り、前記取られたそれぞれのピクセル値で前記演算パラメータ情報による補間演算を行って前記予測ブロックに含まれたピクセル値を算出することを特徴とする請求項１７に記載の画像予測方法。
【請求項１９】
前記補間情報は、前記それぞれの補間方向の補間に使われるピクセルの相対的な位置情報をさらに含み、
前記（ｂ）ステップは、前記相対的な位置情報を利用して、前記抽出されたブロックの各ピクセル値または以前に補間されたピクセル値を複数個取ることを特徴とする請求項１８に記載の画像予測方法。
【請求項２０】
前記演算パラメータ情報は、それぞれの補間方向の補間に使われる各ピクセルに付与する加重値を含む加重値ベクトル、前記加重値を利用した加重和演算時に必要な四捨五入情報及びシフト量情報のうち少なくとも一つを含み、
前記共用補間部は、前記決定されたそれぞれの補間方向に対して、前記取られたそれぞれのピクセル値に前記加重値を付与して加重和演算を行い、前記四捨五入情報及び前記シフト量情報を利用して、前記加重和演算の結果を四捨五入して整数シフト演算を行うことを特徴とする請求項１９に記載の画像予測方法。
【請求項２１】
前記（ｂ）ステップは、前記整数シフト演算を行った結果、データ値が所定の範囲を外れる場合、所定値に代替させるクリッピング演算を行って、クリッピングされたデータを出力することを特徴とする請求項２０に記載の画像予測方法。
【請求項２２】
（ａ）動きベクトル算出部が、参照フレームと現在符号化するブロックとの間にブロック基盤の動き推定を行って動きベクトルを算出するステップと、
（ｂ）ブロック予測部が、前記算出された動きベクトルと前記参照フレームとに基づいて予測ブロックを生成するステップと、を含み、
前記（ｂ）ステップは、
（ｂ１）現在予測するブロックの画像圧縮フォーマット情報を入力され、前記動きベクトルを利用して、前記参照フレームのうち補間に使われる所定サイズのブロックを抽出し、補間情報を生成するステップと、
（ｂ２）前記補間情報によるそれぞれの補間方向に前記抽出されたブロックの各ピクセル値または以前に補間されたピクセル値を補間して前記予測ブロックを生成するステップと、を含むことを特徴とするマルチフォーマットコーデックのための画像符号化方法。
【請求項２３】
（ａ）動きベクトル抽出部が、受信されたビットストリームから動きベクトルを復元するステップと、
（ｂ）ブロック予測部が、前記復元された動きベクトル、画像圧縮フォーマット情報及び参照フレームに基づいて予測ブロックを生成するステップと、を含むことを特徴とするマルチフォーマットコーデックのための画像復号化方法。
【請求項２４】
前記（ｂ）ステップは、
（ｂ１）現在予測するブロックの画像圧縮フォーマット情報を入力され、前記動きベクトルを利用して、前記参照フレームのうち補間に使われる所定サイズのブロックを抽出し、補間情報を生成するステップと、
（ｂ２）前記補間情報によるそれぞれの補間方向に前記抽出されたブロックの各ピクセル値または以前に補間されたピクセル値を補間して前記予測ブロックを生成するステップと、を含むことを特徴とする請求項２３に記載の画像復号化方法。
【請求項２５】
請求項１７ないし請求項２１のうち何れか１項に記載の画像予測方法を行うプログラムを記録したことを特徴とするコンピュータで読み取り可能な記録媒体。
【請求項２６】
請求項２２に記載の画像符号化方法を行うプログラムを記録したことを特徴とするコンピュータで読み取り可能な記録媒体。
【請求項２７】
請求項２３または請求項２４に記載の画像復号化方法を行うプログラムを記録したことを特徴とするコンピュータで読み取り可能な記録媒体。
【請求項２８】
請求項１７ないし請求項２１のうち何れか１項に記載の画像予測方法をコンピュータに実行させることを特徴とするプログラム。
【請求項２９】
請求項２２に記載の画像符号化方法をコンピュータに実行させることを特徴とするプログラム。
【請求項３０】
請求項２３または請求項２４に記載の画像復号化方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の予測、符号化、復号化のための装置及び方法に係り、特に、マルチフォーマットコーデックを具現するために、各画像圧縮フォーマットに共通に使われる補間方法を適用してマルチフォーマットコーデックを具現するための画像の予測、符号化、復号化のための装置及び方法に関する。
【背景技術】
【０００２】
画像圧縮アルゴリズム、すなわち、画像圧縮フォーマットは、ＷＭＶ９(Windows Media Video 9)、ＭＰＥＧ−４（Moving Picture Experts Group phase 4）、Ｈ.２６４（Video Coding Experts Group (VCEG)によって策定された動画圧縮の規格の１つ）など多様であり、それにより、細部の符号化／復号化アルゴリズムが変わる。このような画像圧縮フォーマットによる復号化アルゴリズムは、受信されたビットストリームから動きベクトルを抽出し、以前に復元されたフレームである参照フレームと前記抽出された動きベクトルとを利用して現在の予測フレームを生成し、前記生成された予測フレームと前記ビットストリームに含まれた残留データとを利用して、現在フレームを復元する方法が一般的である。
【０００３】
一方、前記のような画像復号化過程において、予測フレームを生成する過程、すなわち、予測過程の占める比率が３０％で非常に高い。ここで、予測過程のうち補間過程が占める比率は、約８０％である。さらには、現在要求されるマルチコーデック復号化器、すなわち、前記ＷＭＶ９、ＭＰＥＧ−４、Ｈ.２６４などを何れも支援する復号化器において、前記それぞれの画像圧縮フォーマットによる別途の予測過程を行う方法を開発することは、そのための期間が延長され、コストが上昇するという問題点がある。したがって、すべての動画像圧縮フォーマットに共通する補間技法を開発して、開発期間の短縮及び全体コストを改善する必要性がある。なお、本願の出願人は、すべての動画像圧縮フォーマットに共通する補間技法に関して、先行技術を発見していない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする技術的課題は、マルチフォーマットコーデックのための符号化／復号化器の具現において、各画像圧縮フォーマットに共通に使われる補間方法を適用することによって、前記マルチフォーマットコーデックのための符号化／復号化器の具現に要求される期間及びコストを最小化しうるマルチフォーマットコーデックのための画像予測装置及び方法を提供することである。
【０００５】
本発明が解決しようとする他の技術的課題は、マルチフォーマットコーデックのための符号化／復号化器の具現において、各画像圧縮フォーマットに共通に使われる補間方法を適用することによって、前記マルチフォーマットコーデックのための符号化／復号化器の具現に要求される期間及びコストを最小化しうるマルチフォーマットコーデック用の画像予測装置を利用した符号化／復号化装置及び方法を提供することである。
【課題を解決するための手段】
【０００６】
前記課題を達成するための本発明によるマルチフォーマットコーデックのための画像予測装置は、複数の画像圧縮フォーマットそれぞれによって、動きベクトル及び参照フレームに基づいて予測ブロックを生成する画像予測装置において、現在予測するブロックの画像圧縮フォーマット情報を入力され、前記動きベクトルを利用して、前記参照フレームのうち補間に使われる所定サイズのブロックを抽出し、補間情報を生成する補間前処理部と、前記補間情報によるそれぞれの補間方向に前記抽出されたブロックの各ピクセル値または以前に補間されたピクセル値を補間して前記予測ブロックを生成する共用補間部と、を備えることを特徴とする。
【０００７】
望ましくは、前記補間前処理部は、前記動きベクトルの整数部分及び端数部分を利用して、前記所定サイズのブロックを抽出し、前記動きベクトルの端数部分を利用して、前記補間情報を生成する。
望ましくは、前記補間情報は、前記それぞれの補間方向に対する補間が行われるか否かを表す補間モード情報と、前記それぞれの補間方向による補間演算を行うときに必要な演算パラメータ情報と、を含み、前記共用補間部は、前記補間モード情報を利用して補間される補間方向を決定し、前記決定されたそれぞれの補間方向に対して、前記抽出されたブロックの各ピクセル値または以前に補間されたピクセル値を複数個取り、前記取られたそれぞれのピクセル値で前記演算パラメータ情報による補間演算を行って前記予測ブロックに含まれたピクセル値を算出する。
【０００８】
望ましくは、前記補間情報は、前記それぞれの補間方向の補間に使われるピクセルの相対的な位置情報を含み、前記共用補間部は、前記相対的な位置情報を利用して、前記抽出されたブロックの各ピクセル値または以前に補間されたピクセル値を複数個取る。
望ましくは、前記演算パラメータ情報は、それぞれの補間方向の補間に使われる各ピクセルに付与する加重値を含む加重値ベクトル、前記加重値を利用した加重和演算時に必要な四捨五入情報及びシフト量情報のうち少なくとも一つを含み、前記共用補間部は、前記決定されたそれぞれの補間方向に対して、前記取られたそれぞれのピクセル値に前記加重値を付与して加重和演算を行い、前記四捨五入情報及び前記シフト量情報を利用して、前記加重和演算の結果を四捨五入して整数シフト演算を行う。
【０００９】
望ましくは、前記共用補間部は、前記整数シフト演算を行った結果、データ値が所定範囲を外れる場合、所定値に代替させるクリッピング演算を行ってクリッピングされたデータを出力する。
望ましくは、前記共用補間部は、前記補間モード情報によって、前記抽出されたブロックのピクセル値をバイパスさせて出力するか、または前記抽出されたブロックのピクセル値を利用して垂直方向の補間を行う補間されたピクセル値を出力する第１垂直補間部と、前記補間モード情報によって、前記第１垂直補間部の出力をバイパスさせて出力するか、前記第１垂直補間部の出力を利用して水平方向の補間を行う水平補間部と、を備え、前記第１垂直補間部及び前記水平補間部は、前記それぞれの演算パラメータ情報によって補間演算が行われる。
【００１０】
望ましくは、前記共用補間部は、前記補間モード情報によって、前記水平補間部の出力をバイパスさせて出力するか、前記抽出されたブロックのピクセル値または前記水平補間部の出力を利用して垂直方向の補間を行う第２垂直補間部と、前記補間モード情報によって、前記抽出されたブロックの各ピクセルまたは前記補間された各ピクセルのうち補間される位置と隣接する２つのピクセル値を抽出し、前記抽出された２つのピクセル値を算術平均して補間する両方向線形補間部と、前記補間モード情報によって、前記第２垂直補間部の出力または前記両方向線形補間部の出力を選択し、前記選択されたピクセル値を予測ブロックのピクセル値として出力する第１データ選択部と、をさらに備え、前記第２垂直補間部は、前記第１垂直補間部と同じ演算パラメータ情報を使用して、前記演算パラメータ情報によって補間演算が行われる。
【００１１】
望ましくは、前記両方向線形補間部は、前記補間モード情報によって前記抽出されたブロックの各ピクセル値、前記第１垂直補間部の出力または前記水平補間部の出力を選択し、前記選択されたピクセル値を出力する第２データ選択部と、前記第２データ選択部の出力と前記第２垂直補間部の出力とから前記２つのピクセルを抽出して算術平均する算術平均演算部と、を備える。
望ましくは、前記水平補間部、前記第２垂直補間部、前記両方向線形補間部は、前記相対的な位置情報を利用して補間に利用するピクセルを抽出する。
【００１２】
望ましくは、前記第２垂直補間部は、前記抽出されたブロックのピクセル値または前記垂直補間されたピクセル値が所定範囲を外れる場合、所定値に代替させるクリッピング演算を行って、クリッピングデータを出力し、前記第２データ選択部は、前記選択されたピクセル値が所定範囲を外れる場合、所定値に代替させるクリッピング演算を行って、クリッピングされたデータを出力する。
【００１３】
前記課題を達成するための本発明によるマルチフォーマットコーデックのための画像予測方法は、複数の画像圧縮フォーマットそれぞれによって動きベクトル及び参照フレームに基づいて予測ブロックを生成する予測方法において、（ａ）現在予測するブロックの画像圧縮フォーマット情報を入力され、前記動きベクトルを利用して、前記参照フレームのうち補間に使われる所定サイズのブロックを抽出し、補間情報を生成するステップと、（ｂ）前記補間情報によるそれぞれの補間方向に前記抽出されたブロックの各ピクセル値または以前に補間されたピクセル値を補間して前記予測ブロックを生成するステップと、を含むことを特徴とする。
【００１４】
望ましくは、前記補間情報は、前記それぞれの補間方向に対する補間が行われるか否かを表す補間モード情報と、前記それぞれの補間方向による補間演算を行うときに必要な演算パラメータ情報と、を含み、前記（ｂ）ステップは、前記補間モード情報を利用して補間される補間方向を決定し、前記決定されたそれぞれの補間方向に対して、前記抽出されたブロックの各ピクセル値または以前に補間されたピクセル値を複数個取り、前記取られたそれぞれのピクセル値で前記演算パラメータ情報による補間演算を行って前記予測ブロックに含まれたピクセル値を算出する。
【００１５】
前記他の課題を達成するための本発明によるマルチフォーマットコーデックのための画像符号化装置は、参照フレームと現在符号化するブロックとの間にブロック基盤の動き推定を行って動きベクトルを算出する動きベクトル算出部と、前記算出された動きベクトルと前記参照フレームとに基づいて予測ブロックを生成するブロック予測部と、を備え、前記ブロック予測部は、現在予測するブロックの画像圧縮フォーマット情報を入力され、前記動きベクトルを利用して、前記参照フレームのうち補間に使われる所定サイズのブロックを抽出し、補間情報を生成する補間前処理部と、前記補間情報によるそれぞれの補間方向に前記抽出されたブロックの各ピクセル値または以前に補間されたピクセル値を補間して前記予測ブロックを生成する共用補間部と、を備えることを特徴とする。
【００１６】
前記他の課題を達成するための本発明によるマルチフォーマットコーデックのための画像符号化方法は、（ａ）参照フレームと現在符号化するブロックとの間にブロック基盤の動き推定を行って動きベクトルを算出するステップと、（ｂ）前記算出された動きベクトルと前記参照フレームとに基づいて予測ブロックを生成するステップと、を含み、前記（ｂ）ステップは、（ｂ１）現在予測するブロックの画像圧縮フォーマット情報を入力され、前記動きベクトルを利用して、前記参照フレームのうち補間に使われる所定サイズのブロックを抽出し、補間情報を生成するステップと、（ｂ２）前記補間情報によるそれぞれの補間方向に前記抽出されたブロックの各ピクセル値または以前に補間されたピクセル値を補間して前記予測ブロックを生成するステップと、を含むことを特徴とする。
【００１７】
前記さらに他の課題を達成するための本発明によるマルチフォーマットコーデックのための画像復号化装置は、受信されたビットストリームから動きベクトルを復元する動きベクトル復元部と、前記復元された動きベクトルと参照フレームとに基づいて予測ブロックを生成するブロック予測部と、を備え、前記ブロック予測部は、現在予測するブロックの画像圧縮フォーマット情報を入力され、前記動きベクトルを利用して、前記参照フレームのうち補間に使われる所定サイズのブロックを抽出し、補間情報を生成する補間前処理部と、前記補間情報によるそれぞれの補間方向に前記抽出されたブロックの各ピクセル値または以前に補間されたピクセル値を補間して、前記予測ブロックを生成する共用補間部と、を備えることを特徴とする。
【００１８】
前記さらに他の課題を達成するための本発明によるマルチフォーマットコーデックのための画像復号化方法は、（ａ）受信されたビットストリームから動きベクトルを復元するステップと、（ｂ）前記復元された動きベクトルと参照フレームとに基づいて予測ブロックを生成するステップと、を含み、前記（ｂ）ステップは、（ｂ１）現在予測するブロックの画像圧縮フォーマット情報を入力され、前記動きベクトルを利用して、前記参照フレームのうち補間に使われる所定サイズのブロックを抽出し、補間情報を生成するステップと、（ｂ２）前記補間情報によるそれぞれの補間方向に前記抽出されたブロックの各ピクセル値または以前に補間されたピクセル値を補間して前記予測ブロックを生成するステップと、を含むことを特徴とする。
【発明の効果】
【００１９】
本発明によれば、多様な画像圧縮アルゴリズム、すなわち、マルチフォーマットコーデックのための符号化／復号化器の具現において、各画像圧縮フォーマットに共通に使われる補間方法を適用することによって、前記マルチフォーマットコーデックのための符号化／復号化器の具現に要求される期間及びコストを最小化しうる。また、符号化／復号化器をＡＳＩＣなどのハードウェアへの具現において、ハードウェアサイズの最小化に有効である。
【発明を実施するための最良の形態】
【００２０】
以下、添付された図面を参照して、本発明による方法及び装置について詳細に説明する。
図１Ａは、ＷＭＶ９−Ｂｉｌｉｎｅａｒ及びＷＭＶ９−Ｂｉｃｕｂｉｃ画像圧縮フォーマットの補間技法を説明するために８×８整数ブロックの一部を示す概念図である。
ここで、ＷＭＶ９は、８×８ブロック単位で処理するので、前記補間がブロック当たり８×８回行われ、１／４ピクセル単位で処理される。灰色のピクセルは、抽出されたブロックの一部の整数ピクセルを表し、それぞれＰ（ｍ,ｎ）、Ｐ（ｍ,ｎ＋１）、Ｐ（ｍ＋１,ｎ）、Ｐ（ｍ＋１,ｎ＋１）値を有する。
【００２１】
まず、ＷＭＶ９−Ｂｉｌｉｎｅａｒの補間方式を説明する。ｉ位置ピクセル値は、（Ｐ（ｍ,ｎ）＋Ｐ（ｍ＋１,ｎ）＋１−Ｒ）＞＞１,ｔ位置ピクセル値は、（Ｐ（ｍ＋１,ｎ）＋Ｐ（ｍ＋１,ｎ＋１）＋１−Ｒ）＞＞１,ｋ位置ピクセル値は、（Ｐ（ｍ,ｎ）＋Ｐ（ｍ＋１,ｎ）＋Ｐ（ｍ＋１,ｎ）＋Ｐ（ｍ＋１,ｎ＋１）＋２−Ｒ）＞＞２の式で求めうる。ここで、“＞＞”というのは、整数シフト演算を表し、＞＞ｎであるとき、２ｎで割る効果を有する。ここで、Ｒ値は、Ｉフレーム(Intra-coded frame)であるときに０を、Ｐフレーム(Predictive-coded frame)であるときには０、１、０、１の交番された値を有する。
【００２２】
なお、Ｉフレームとは、他のフレームを参照することなしに符号化／復号化(encoding/decoding)されるフレームのことである。このＩフレームは静止画像(still image)と見なされ、動映像ストリームにおいてランダムアクセス(random access)のために使われる。
また、Ｐフレームとは、以前のＩフレームまたはＰフレームを参照することで符号化／復号化されるフレームのことである。このＰフレームの符号化は、ほとんどの隣接した画像は類似であるという性質に基づいている。そして、具体的には、Ｐフレームの現在符号化しようとしているブロックと最も類似している以前のＰフレームのブロックまたは以前のＩフレームのブロックを検出し、その検出されたブロックに対する情報及びその検出されたブロックと現在符号化しようとしているブロックとの差に対する情報が符号化される。
【００２３】
次いで、ＷＭＶ−Ｂｉｃｕｂｉｃの補間方式を説明する。まず、１次元Ｂｉｃｕｂｉｃ補間は、ａ、ｂ、ｃ、ｄ、ｉ、ｎ、ｓ、ｔ、ｕ、ｈ、ｍ、ｒに対して行われる。このうち、ｄ、ｉ、ｎ位置のピクセル値は、（−４＊Ｐ（ｍ−１,ｎ）＋５３＊Ｐ（ｍ,ｎ）＋１８＊Ｐ（ｍ＋１,ｎ）−３＊Ｐ（ｍ＋２,ｎ）＋３２−ｒ）＞＞６、（−１＊Ｐ（ｍ−１,ｎ）＋９＊Ｐ（ｍ,ｎ）＋９＊Ｐ（ｍ＋１,ｎ）−１＊Ｐ（ｍ＋２,ｎ）＋８−ｒ）＞＞４、（−３＊Ｐ（ｍ−１,ｎ）＋１８＊Ｐ（ｍ,ｎ）＋５３＊Ｐ（ｍ＋１,ｎ）−４＊Ｐ（ｍ＋２,ｎ）＋３２−ｒ）＞＞６の式で求めうる。ここで、ｒは、垂直方向であるときに１−Ｒ、水平方向であるときにＲの値を有し、Ｒの値は、前記したように、Ｉフレームであるときに０の値を、Ｐフレームであるときには０、１、０、１の交番された値を有する。すなわち、前記ｄ、ｉ、ｎは、何れも垂直方向の補間を取っているので、ｒの値は、１−Ｒで計算される。
【００２４】
次いで、２次元Ｂｉｃｕｂｉｃ補間は、ｅ、ｆ、ｇ、ｊ、ｋ、ｌ、ｏ、ｐ、ｑに対して行われる。前記位置のピクセル値は、前記した垂直補間方式を使用して四捨五入演算を行い、前記四捨五入された結果ピクセルに基づいて水平補間を行うことによって得られる。例えば、ｆ位置のピクセル値は、前記した１次元Ｂｉｃｕｂｉｃ補間で得られたｂピクセルの値及び、ｔピクセルの値、ｂピクセルより行に４＊１／４ピクセル上に位置したピクセルの値、ｔピクセルより行に４＊１／４ピクセル下に位置したピクセルの値を、前記した方法で１次元Ｂｉｃｕｂｉｃ補間を行って得られる。
【００２５】
ここで、垂直補間後の四捨五入方法は、（垂直補間されたピクセル値＋ｒｎｄＣｔｒｌＶ）＞＞ｓｈｉｆｔＶの式を使用し、水平補間後の四捨五入方法は、（水平補間されたピクセル値＋６４−Ｒ）＞＞７を使用する。ここで、Ｒの値は、前記した通りである。一方、ｓｈｉｆｔＶ値は、ｋに対しては１の値を有し、ｅ、ｏ、ｇ、ｑに対しては５の値を有し、ｆ、ｊ、ｐ、ｌに対しては３の値を有する。また、ｒｎｄＣｔｒｌＶ＝２＾（ｓｈｉｆｔＶ−１）−１＋Ｒの値を有する。
【００２６】
図１Ｂは、ＭＰＥＧ−４の半画素補間方式を説明するための８×８整数ブロックの一部を示す概念図である。
灰色のピクセルは、前記抽出されたブロックの一部の整数ピクセルを表し、それぞれＰ（ｍ,ｎ）、Ｐ（ｍ,ｎ＋１）、Ｐ（ｍ＋１,ｎ）、Ｐ（ｍ＋１,ｎ＋１）値を有する。ａ、ｂ、ｃの位置のピクセル値は、それぞれ（Ｐ（ｍ,ｎ）＋Ｐ（ｍ,ｎ＋１）＋１−ｒｏｕｎｄｉｎｇ＿ｃｏｎｔｒｏｌ）＞＞１、（Ｐ（ｍ,ｎ）＋Ｐ（ｍ＋１,ｎ）＋１−ｒｏｕｎｄｉｎｇ＿ｃｏｎｔｒｏｌ）＞＞１、（Ｐ（ｍ,ｎ）＋Ｐ（ｍ＋１,ｎ）＋Ｐ（ｍ＋１,ｎ）＋Ｐ（ｍ＋１,ｎ＋１）＋２−ｒｏｕｎｄｉｎｇ＿ｃｏｎｔｒｏｌ）＞＞２の式で求めうる。ここで、ｒｏｕｎｄｉｎｇ＿ｃｏｎｔｒｏｌ値は、ＭＰＥＧ−２画像圧縮データのヘッダからの値である。
【００２７】
図１Ｃは、Ｈ.２６４−ｌｕｍａの画像圧縮フォーマットに対する半画素単位及び１／４画素単位の補間技法を説明するための一部ブロックについての概念図である。
Ｈ.２６４は、多様なブロックサイズで補間及び予測が行われ、最小単位として４×４ブロック単位で演算が行われる。図１Ｃで、灰色領域が整数ピクセルを表し、円で表記された部分が１／２画素単位のピクセルであって、補間が行われる部分であり、残りの部分が１／４画素単位のピクセルであって、補間が行われる部分である。
【００２８】
まず、１／２画素単位のピクセル補間方式を説明する。ｂ、ｉ位置のピクセル値、Ｐ（ｂ）、Ｐ（ｉ）は、次の式ｂｂ＝（Ｐ（ｍ,ｎ−２）−５＊Ｐ（ｍ,ｎ−１）＋２０＊Ｐ（ｍ,ｎ）＋２０＊Ｐ（ｍ,ｎ＋１）−５＊Ｐ（ｍ,ｎ＋２）＋Ｐ（ｍ,ｎ＋３））、ｉｉ＝（Ｐ（ｍ−２,ｎ）−５＊Ｐ（ｍ−１,ｎ）＋２０＊Ｐ（ｍ,ｎ）＋２０＊Ｐ（ｍ＋１,ｎ）−５＊Ｐ（ｍ＋２,ｎ）＋Ｐ（ｍ＋３,ｎ））、Ｐ（ｂ）＝Ｃｌｉｐ１Ｙ（（ｂｂ＋１６）＞＞５）であり、Ｐ（ｉ）＝Ｃｌｉｐ１Ｙ（（ｉｉ＋１６）＞＞５）として求められる。ここで、Ｃｉｌｐ１Ｙは、クリッピング演算を表す関数であって、Ｐ（ｂ）の有しうる値が０〜２５５値であるとき、前記（ｂ１＋１６）＞＞５の結果値が前記範囲を外れるとき、０または２５５の値で割り当てる機能を行う。
同様に、ｋ位置のピクセル値は、垂直補間、水平補間によって得られた１／２画素のピクセル値、例えば、前記ｂｂ、ｉｉなどを利用して垂直補間または水平補間を通じて得られる。
【００２９】
次いで、１／４画素単位のピクセル補間方式を説明する。前記１／２画素補間方式が６タップ、すなわち、６個の加重値を有する一方、１／４画素単位のピクセル補間方式は２タップを有し、算術平均演算を行う機能と同じである。
例えば、ａ位置のピクセル値は、矢印方向が指すＰ（ｍ,ｎ）及びＰ（ｂ）値を利用して得られるが、その具体的な式は、（Ｐ（ｍ,ｎ）＋Ｐ（ｂ）＋１）＞＞１である。同様に、ｇ位置のピクセル値Ｐ（ｇ）は、Ｐ（ｇ）＝（Ｐ（ｂ）＋Ｐ（ｍ）＋１）＞＞１となる。このような演算を、両方向線形補間という。
【００３０】
図１Ｄは、Ｈ.２６４−Ｃｈｒｏｍａの画像圧縮フォーマットに対する１／８画素単位の補間技法を説明するための一部ブロックについての概念図である。
Ｈ.２６４−Ｃｈｒｏｍａにおいて、ＹＣｂＣｒ＝４：２：０のケースに該当する。灰色の円は、整数ピクセルを表し、その内部がそれぞれ１／８画素として補間されるそれぞれの領域を意味する。動きベクトルの端数部分値が、ｄｘ、ｄｙであり、前記値は、０ないし７の値を有するとき、前記ｄｘ、ｄｙ位置でのピクセル値は、（（８−ｄｘ）＊（８−ｄｙ）＊Ｐ（ｍ,ｎ）＋ｄｘ＊（８−ｄｙ）＊Ｐ（ｍ,ｎ＋１）＋（８−ｄｘ）＊ｄｙ＊Ｐ（ｍ＋１,ｎ）＋ｄｘ＊ｄｙ＊Ｐ（ｍ＋１,ｎ＋１）＋３２）＞＞６で求められる。
【００３１】
前記した補間方式を参照すれば、重複される演算が多いという点など共通点が多い。すなわち、多様な数の加重値を通じた加重和演算が行われ、加重和後の四捨五入、四捨五入の結果、以後のシフト演算が共通される。したがって、前記補間方式が有するタップ数のうち、最も大きいタップ数である６の大きさを有する加重値ベクトル、四捨五入情報、シフト量情報を補間のパラメータとして先に設定するユニットと、共通される補間演算を行うユニットを設計することによって、すべての画像フォーマットの補間に使われうる。
【００３２】
図２は、本発明の一実施形態によるマルチフォーマットコーデックのための画像予測装置の構成を示すブロック図であって、補間前処理部２００及び共用補間部２１０を備えてなる。なお、補間前処理部２００及び共用補間部２１０は、単一あるいは複数のコンピュータ装置によって、実現することができる。
【００３３】
補間前処理部２００は、複数の画像圧縮フォーマットそれぞれによって動きベクトル及び参照フレームに基づいて予測ブロックを生成する画像予測装置Ｉにおいて、現在予測するブロックの画像圧縮フォーマット情報ＩＮ１を入力され、前記動きベクトルＩＮ２を利用して、前記参照フレームＩＮ３のうち、補間に使われる所定サイズのブロックＳ１を抽出し、補間情報Ｓ２を生成する。ここで、動きベクトルＩＮ２とは、各画像圧縮アルゴリズムによって動きベクトル推定を行って得られた動きベクトル情報であって、参照フレームＩＮ３のうち、現在予測するブロックと最も類似したブロックの位置についての情報を表し、その値としては、整数部分と端数部分とがある。ここで、参照フレームＩＮ３とは、インターモードでは以前に復元されたフレームを意味する。ここで、前記所定サイズのブロックは、参照フレームのうち、現在のブロックの補間に必要な部分を意味する。
【００３４】
ここで、動きベクトルＩＮ２は、ｘ軸、ｙ軸情報に対して整数部分と端数部分とがあるが、前記補間前処理部２００は、前記動きベクトルＩＮ２の整数部分及び端数部分を利用して、前記所定サイズのブロックＳ１を抽出し、前記動きベクトルＩＮ２の端数部分を利用して、前記補間情報Ｓ２を生成する。
共用補間部２１０は、前記補間情報Ｓ２によるそれぞれの補間方向に前記抽出されたブロックＳ１の各ピクセル値または以前に補間されたピクセル値を補間して前記予測ブロックを生成する。ここで、前記補間情報Ｓ２は、前記それぞれの補間方向に対する補間が行われるか否かを表す補間モード情報及び前記それぞれの補間方向による補間演算を行うときに必要な演算パラメータ情報を含み、必要に応じて、前記それぞれの補間方向の補間に使われるピクセルの相対的な位置情報を含む。
【００３５】
ここで、補間方向とは、垂直方向、水平方向、対角線方向をその例として挙げられるが、これに限定されていない。すなわち、本発明が適用する画像圧縮アルゴリズムは、前記したＭＰＥＧ−４などに限定すれば、垂直方向、水平方向、対角線方向であればよいが、補間前処理部２００でパラメータを設定し、残りは、共用補間部２１０で共通的に行う演算を通じて多様な補間方式を支援する本発明は、前記した方向と異なる方向に補間する画像圧縮アルゴリズムにも適用できる。
【００３６】
ここで、補間モード情報は、垂直方向、水平方向、対角線方向など各方向に対する補間実行に関する情報を内包し、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などハードウェアとして具現する場合、各補間を行うユニットに対するイネーブル信号で表現され、ソフトウェアとして具現される場合、各補間を行うプロセスに対する呼出の値でも表現されうる。特に、後記する図４Ａ〜４Ｅと関連しては、ｆＳｅｌｅｃｔ及びｆＢｉｌｉｎｅａｒがこれに該当する。
【００３７】
ここで、ピクセルの相対的な位置情報は、補間に使われうるピクセルの候補が複数個存在する場合、これらのうち、実際に補間に使われる候補を特定する役割を行う。すなわち、前記相対的な位置情報によって補間に使用するピクセルを選定し、前記選定されたピクセルの加重和で最終補間されたピクセル値が得られる。したがって、一般的には、前記相対的な位置情報は、不要であるが、後記するＨ.２６４のＬｕｍａの１／４ピクセル補間時に必要であり、これは、図４Ａ〜４Ｅで“ｉｄｉｒｅｃｔｉｏｎ”変数として使われ、詳細は後記する。
【００３８】
これにより、前記共用補間部２１０は、前記補間実行に関する情報を利用して補間される補間方向を決定し、前記決定されたそれぞれの補間方向に対して、必要に応じて前記相対的な位置情報を利用して、前記抽出されたブロックの各ピクセル値または以前に補間されたピクセル値を複数個取り、前記取られたそれぞれのピクセル値を前記演算パラメータ情報による補間演算を行う。ここで、前記演算パラメータ情報は、各ピクセルに付与する加重値を含む加重値ベクトル、前記加重値を利用した加重和演算時に必要な四捨五入情報及びシフト量情報のうち少なくとも一つを含む。もし、含まない部分があれば、その部分は、前記共用補間部２１０で固定された値として使われる。これにより、前記共用補間部２１０は、前記取られたそれぞれのピクセル値に前記加重値を利用して加重和演算を行い、前記四捨五入情報及び前記シフト量情報を利用して前記加重和の結果を四捨五入して整数シフト演算を行う。
【００３９】
また、前記共用補間部は、必要に応じて、オーバーフローによる計算のエラーを防止するために前記整数シフト演算を行った結果データ値が所定範囲を外れる場合、所定値に代替させるクリッピング演算を行って、クリッピングされたデータを出力できる。例えば、結果データ値が０〜２５５、すなわち、８ビットで表現される数字でなければならない場合、前記整数シフト演算を行う結果データ値が２５５を超えるか、または０未満の値を有する場合、それぞれ２５５、０の値を割り当てることをその例として挙げられる。
【００４０】
図３は、ＷＭＶ９−Ｂｉｌｉｎｅａｒ、ＷＭＶ９−Ｂｉｃｕｂｉｃ、ＭＰＥＧ−４、Ｈ.２６４−Ｌｕｍａ、Ｈ.２６４−Ｃｈｒｏｍａに適用できるマルチフォーマットコーデックのための画像予測装置の構成を示すブロック図であって、図２と同様に、補間前処理部２００と共用補間部２１０とを備える。
第１テーブル＆演算部３００、第２テーブル＆演算部３０２、第３テーブル＆演算部３０４、第４テーブル＆演算部３０６、第５テーブル＆演算部３０８は、それぞれ図４Ａ、図４Ｂ、図４Ｃ、図４Ｄ及び図４Ｅのテーブルを有し、それぞれＨ.２６４−Ｌｕｍａ、Ｈ.２６４−Ｃｈｒｏｍａ、ＷＭＶ９（Ｂｉｌｉｎｅａｒ）、ＷＭＶ９（Ｂｉｃｕｂｉｃ）、ＭＰＥＧ−４に対して、前記動きベクトルの端数部分（ｄｘ,ｄｙ）を利用して前記補間情報Ｓ２を生成する。
【００４１】
図４Ａないし図４Ｅは、Ｈ.２６４−Ｌｕｍａ、Ｈ.２６４−Ｃｈｒｏｍａ、ＷＭＶ９（Ｂｉｌｉｎｅａｒ）、ＷＭＶ９（Ｂｉｃｕｂｉｃ）、ＭＰＥＧ−４において、補間情報を得るためのテーブルである。
まず、図４Ａと関連して、ｄｘ、ｄｙが０ないし３の値を有している。ここで、ＣＯＥＦ＝［１,−５,２０,２０,−５,１］の値を有する。ｄｘ、ｄｙによって補間モードが決定される。すなわち、ｆＳｅｌｅｃｔ及びｆＢｉｌｉｎｅａｒが決定される。図１Ｃと合わせて説明すれば、ｄｘ、ｄｙの各値であって、ａ、ｂ、ｃに対応し、ここで、ａ、ｂ、ｃは、水平モード、すなわち、ｆＳｅｌｅｃｔ＝６に対応する。すなわち、ｄｘ＝１、ｄｙ＝０であるとき、ａに対応し、ｆＳｅｌｅｃｔ＝６、ｆＢｉｌｉｎｅａｒ＝１の値を有する。これは、後記するが、水平補間部３４０及び両方向線形補間部３６０が補間を行う。同様に、ｄ、ｉ、ｎは垂直モード、ｆ、ｋ、ｐは水平−垂直モード、ｊ、ｋ、ｌは垂直−水平モード、ｅ、ｇ、ｏ、ｑは対角線モードが適用され、これにより、ｆＳｅｌｅｃｔ及びｆＢｉｌｉｎｅａｒが決定される。
【００４２】
ここで、ｆＢｉｌｉｎｅａｒは、隣接ピクセル間の両方向線形補間が必要な場合に１の値を有し、そうでない場合には０の値を有する。１／４ピクセル補間方式では、ｄｘまたはｄｙが奇数であるときに必要であるので、この場合、１の値を有し、残りの場合には、１／２ピクセル単位の補間方式を使用するため、前記水平補間または垂直補間で以前に補間が完了した状態であり、それ以上算術平均補間が不要になるので、この場合には、０の値を有する。
【００４３】
結局、ｄｘ、ｄｙから補間情報、すなわち、Ｃ１、Ｃ２、ｉＲｏｕｎｄ１、ｉＲｏｕｎｄ２、ｉＳｈｉｆｔ１、ｉＳｈｉｆｔ２、ｆＳｅｌｅｃｔ、ｆＢｉｌｉｎｅａｒ、ｉｄｉｒｅｃｔｉｏｎが前記テーブルによって決定されて、第３データ選択部３１０の入力で提供される。ここで、特に、Ｈ.２６４−Ｌｕｍａの場合、ｉｄｉｒｅｃｔｉｏｎ演算が必要であり、演算結果であるｉｄｉｒｅｃｔｉｏｎは、水平補間部３４０、第２垂直補間部３５０、両方向線形補間部３６０で補間に利用するピクセルを抽出するときに使われる。これについての詳細な内容は、後記する。
【００４４】
図４Ｂは、Ｈ.２６４−Ｃｈｒｏｍａにおいて、補間情報を得るためのテーブルである。
ここで、ＣＯＥＦ１＝［０,０,８−ｄｙ,ｄｙ,０,０］、ＣＯＥＦ２＝［０,０,８−ｄｘ,ｄｘ,０,０］であり、特に、垂直−水平モードのみあるということが分かる。
図４Ｃは、ＷＭＶ９（Ｂｉｌｉｎｅａｒ）において、補間情報を得るためのテーブルである。
ここで、ＣＯＥＦ１＝［０,０,４−ｄｙ,ｄｙ,０,０］、ＣＯＥＦ２＝［０,０,４−ｄｘ,ｄｘ,０,０］であり、ｉＲｎｄＣｔｒｌは、前記したように、Ｉフレームであるときに０の値を、Ｐフレームであるときに０、１、０、１の交番された値を有する。
【００４５】
図４Ｄは、ＷＭＶ９（Ｂｉｃｕｂｉｃ）において、補間情報を得るためのテーブルである。ＣＯＥＦ１＝［０,−１,９,９,−１,０］、ＣＯＥＦ２＝［０,−４,５３,１８,−３,０］、ＣＯＥＦ３＝［０,−３,１８,５３,−４,０］であり、ＣＯＥＦ＿Ｙ＝（ｄｙ＝＝２）？ＣＯＥＦ１：（ｄｙ＝＝１）？ＣＯＥＦ２：ＣＯＥＦ３、ＣＯＥＦ＿Ｘ＝（ｄｘ＝＝２）？ＣＯＥＦ１：（ｄｘ＝＝１）？ＣＯＥＦ２：ＣＯＥＦ３を利用して、Ｃ１、Ｃ２を求めうる。また、ｉＳｈｉｆｔＶ＝（（ｄｙ＝＝２）？４：６）＋（（ｄｙ＝＝２）？４：６）−７；ｉＲｎｄＣｔｒｌＶ＝（１＜＜（ｉＳｈｉｆｔＶ−１））−１＋ｉＲｎｄＣｔｒｌ；ｉＲｏｕｎｄ＝６４−ｉＲｎｄＣｔｒｌ；として、前記ｉＲｏｕｎｄ１、ｉＳｈｉｆｔ１、ｉＲｏｕｎｄ２、ｉＳｈｉｆｔ２の値を求めうる。
【００４６】
図４Ｅは、ＭＰＥＧ−４において、補間情報を得るためのテーブルである。
ここで、ＣＯＥＦ１＝［０,０,２−ｄｙ,ｄｙ,０,０］、ＣＯＥＦ２＝［０,０,２−ｄｘ,ｄｘ,０,０］であり、ｕｂＶｏｐＲｏｕｎｄｉｎｇＴｙｐｅは、ＭＰＥＧ−４ヘッダからの値である。
第１テーブル＆演算部３００、第２テーブル＆演算部３０２、第３テーブル＆演算部３０４、第４テーブル＆演算部３０６、第５テーブル＆演算部３０８の出力は、前記第３データ選択部３１０に入力され、前記第３データ選択部３１０は、入力された画像圧縮フォーマット情報ＩＮ１を利用して、現在予測するブロックに該当する画像圧縮フォーマットに適した補間情報を選択して出力する。前記出力された補間情報Ｓ２は、具体的に、ｆＳｅｌｅｃｔ、ｆＢｉｌｉｎｅａｒ、ｃａｌ＿ｐａｒａ＿ｖｅｒ、ｃａｌ＿ｐａｒａ＿ｈｏｒ、ｉｄｉｒｅｃｔｉｏｎである。
【００４７】
一方、ブロック抽出部３２０は、前記動きベクトルを利用して、前記参照フレームのうち、補間に使われる所定サイズのブロックＳ１を抽出して共用補間部２１０に提供する。例えば、所定サイズとは、４×４ブロックを予測する場合、本発明の一実施形態は、６タップフィルタを使用するので、タップ数ほど隣接ピクセルをさらに含む９×９のサイズを意味する。
共用補間部２１０は、第１垂直補間部３３０、水平補間部３４０、第２垂直補間部３５０、両方向線形補間部３６０、第１データ選択部３７０を備えてなる。
【００４８】
第１垂直補間部３３０は、前記補間モード情報によって、前記抽出されたブロックのピクセル値をバイパスさせて出力するか、または前記抽出されたブロックのピクセル値を利用して、垂直方向の補間を行う補間されたピクセル値を出力する。ここで、利用される補間モード情報は、ｆＳｅｌｅｃｔ、ｆＢｉｌｉｎｅａｒのうちｆＳｅｌｅｃｔに該当する。
【００４９】
次に、図５を参照しながら、補間モード情報ｆＳｅｌｅｃｔ,ｆＢｉｌｉｎｅａｒによる各補間ユニットの補間動作について説明する（適宜図３等参照）。図５は、補間モード情報ｆＳｅｌｅｃｔ,ｆＢｉｌｉｎｅａｒによる各補間ユニットの補間動作を決定するフローチャートである。
ｆＳｅｌｅｃｔが０であれば（ステップ５００で「はい」）、第１垂直補間部３３０が補間を行い（ステップ５１０）、０でなければ（ステップ５００で「いいえ」）、ステップ５２０に進む。
前記ステップ５２０では、ｆＳｅｌｅｃｔが４ではないかを判断する。ｆＳｅｌｅｃｔが４ではなければ（ステップ５２０で「はい」）、水平補間部３４０が補間を行い（ステップ５３０）、ｆＳｅｌｅｃｔが４であれば（ステップ５２０で「いいえ」）、ステップ５４０に進む。
【００５０】
前記ステップ５４０では、ｆＳｅｌｅｃｔが４または奇数であるかを判断する。ｆＳｅｌｅｃｔが４または奇数であれば（ステップ５４０で「はい」）、第２垂直補間部３５０が補間を行う（ステップ５５０）。次いで、ｆＢｉｌｉｎｅａｒが１であるかを判断する（ステップ５６０）。ｆＢｉｌｉｎｅａｒが１であれば（ステップ５６０で「はい」）、両方向線形補間部３６０が補間を行う（ステップ５７０）。ｆＢｉｌｉｎｅａｒが０であれば（ステップ５６０で「いいえ」）、両方向線形補間部３６０が補間を行わずに終了する。
【００５１】
すなわち、第１垂直補間部３３０は、ｆＳｅｌｅｃｔが０でなければ、補間を行わず、前記抽出されたブロックＳ１をバイパスさせて前記水平補間部３４０に提供する。ｆＳｅｌｅｃｔが０であれば、前記抽出されたブロックＳ１を利用して垂直方向の補間を行う。補間実行方法は、演算パラメータ情報であるｃａｌ＿ｐａｒａ＿ｖｅｒ情報を利用するが、前記情報は、前記したＣ１、ｉＲｏｕｎｄ１、ｉＳｈｉｆｔ１の情報を含む。これに基づいて、補間演算を行う。すなわち、各抽出されたブロックＳ１を垂直方向に６個のピクセルを取ったピクセル値がａ１、ａ２、ａ３、ａ４、ａ５、ａ６であり、Ｃ１の加重値エレメントがｃ１、ｃ２、ｃ３、ｃ４、ｃ５、ｃ６であれば、補間されて得られるピクセル値は、（ｃ１＊ａ１＋ｃ２＊ａ２＋ｃ３＊ａ３＋ｃ４＊ａ４＋ｃ５＊ａ５＋ｃ６＊ａ６＋ｉＲｏｕｎｄ１）＞＞ｉＳｈｉｆｔ１となる。
【００５２】
水平補間部３４０は、前記補間モード情報によって、前記第１垂直補間部３３０の出力をバイパスさせて出力するか、または前記第１垂直補間部３３０の出力を利用して水平方向の補間を行う。ここで、利用される補間モード情報は、同様に、ｆＳｅｌｅｃｔ、ｆＢｉｌｉｎｅａｒのうちｆＳｅｌｅｃｔに該当する。すなわち、図５のように、ｆＳｅｌｅｃｔが４であれば、前記第１垂直補間部３３０の出力をバイパスさせて出力し、ｆＳｅｌｅｃｔが４ではなければ、前記第１垂直補間部３３０の出力を利用して水平方向の補間を行う。ここでの補間演算は、演算パラメータ情報ｃａｌ＿ｐａｒａ＿ｈｏｒを利用するが、ｃａｌ＿ｐａｒａ＿ｈｏｒには、Ｃ２、ｉＲｏｕｎｄ２、ｉＳｈｉｆｔ２の情報が含まれる。同様に、Ｃ２は加重値ベクトルであり、ｉＲｏｕｎｄ２は四捨五入情報、ｉＳｈｉｆｔ２は整数シフト量を意味する。一方、Ｈ.２６４−Ｌｕｍａモードでは、ｉｄｉｒｅｃｔｉｏｎ値が００００でないこともある。ｉｄｉｒｅｃｔｉｏｎが００００であれば、補間に使われるピクセル位置の開始座標そのまま使われ、ｉｄｉｒｅｃｔｉｏｎの第一のビットが１であれば、すなわち、１ＸＸＸ形態であれば、ピクセル位置の開始座標をｙ軸に１増加させて補間を行う。これについての詳細な内容は、後記する。
【００５３】
第２垂直補間部３５０は、前記補間モード情報によって、前記水平補間部３４０の出力をバイパスさせて出力するか、または前記抽出されたブロックのピクセル値または前記水平補間部の出力を利用して垂直方向の補間を行う。
もし、ｆＳｅｌｅｃｔが０、６であれば、前記水平補間部３４０の出力をバイパスさせて出力するが、ｆＳｅｌｅｃｔが１、３、４であれば、垂直方向の補間を行う。但し、垂直方向の補間を行うとき、入力されるピクセル集合、すなわち、ブロックとして、前記抽出されたブロックＳ１及び前記水平補間部３４０の出力のうち一つが選択されるが、ｆＳｅｌｅｃｔが３である対角線モードでは、前記抽出されたブロックＳ１を利用して垂直補間を行い、ｆＳｅｌｅｃｔが１、４であれば、前記水平補間部３４０の出力を利用して垂直補間を行う。一方、前記第２垂直補間部３５０も前記第１垂直補間部３３０と同じパラメータであるｃａｌ＿ｐａｒａ＿ｖｅｒを使用して補間演算を行う。前記第２垂直補間部３５０も同様に、補間に使われるピクセル位置の選定において、ｉｄｉｒｅｃｔｉｏｎ情報、すなわち、相対的な位置情報を有して使われるピクセル位置を選定するが、第二のビットが１である場合、すなわち、Ｘ１ＸＸである場合には、補間に使われるピクセル位置の開始座標をｘ軸に１増加させて補間を行う。これについての詳細な内容は、後記する。
前記両方向線形補間部３６０は、前記補間モード情報によって、前記抽出されたブロックの各ピクセルまたは前記補間された各ピクセルのうち補間される位置と隣接する２つのピクセル値を抽出し、前記抽出された２つのピクセル値を算術平均して補間する。
【００５４】
図６は、本発明の一実施形態による前記両方向線形補間部３６０の構成を示すブロック図であって、第２データ選択部６００、算術平均演算部６３０を備えてなる。
前記第２データ選択部６００は、前記補間モード情報によって前記抽出されたブロックの各ピクセル値ｘ１、前記第１垂直補間部の出力ｘ２または前記水平補間部の出力ｘ２を選択し、前記選択されたピクセル値を出力する。ここで、ｘ１は、Ｓ１と同じである。
ｆＳｅｌｅｃｔが４、６であるときにｘ１が選択され、ｆＳｅｌｅｃｔが０であるときにｘ３が選択され、ｆＳｅｌｅｃｔが１、３であるときにｘ２が選択されて、前記選択されたデータは、算術平均演算部６３０に提供される。
【００５５】
一方、第２垂直補間部３５０及び前記第２データ選択部６００は、補間されたデータ値または選択されたデータ値が所定範囲を外れる場合、所定値に代替させるクリッピング演算を行って、クリッピングされたデータを出力する。クリッピング機能は、前記した通りである。
前記算術平均演算部６３０は、ｆＢｉｌｉｎｅａｒが１であれば、前記第２垂直補間部３５０の出力ｘ４と前記第２データ選択部６００の出力とを算術平均して出力する。もし、ｆＢｉｌｉｎｅａｒが０であれば、算術平均する必要がない。すなわち、第２垂直補間部３５０の出力ｘ４と前記第２データ選択部６００の出力とがそれぞれａ、ｂであれば、（ａ＋ｂ＋１）＞＞１の値を出力する。一方、ｉｄｉｒｅｃｔｉｏｎの第三のビットが１であれば、すなわち、ＸＸ１Ｘであれば、補間に使われるピクセルの開始位置をｙ軸に１増加させて補間を行い、ｉｄｉｒｅｃｔｉｏｎの第四のビットが１であれば、すなわち、ＸＸＸ１であれば、補間に使われるピクセルの開始位置をｘ軸に１増加させて補間を行う。
【００５６】
前記第１データ選択部３７０は、前記補間モード情報によって、前記第２垂直補間部３５０の出力ｘ４または前記両方向線形補間部３６０の出力とを選択し、前記選択されたピクセル値を予測ブロックのピクセル値として出力する。ここで、利用される補間モード情報は、ｆＢｉｌｉｎｅａｒであって、ｆＢｉｌｉｎｅａｒが１であれば、前記両方向線形補間部３６０の出力が選択され、ｆＢｉｌｉｎｅａｒが０であれば、前記第２垂直補間部３５０の出力ｘ４が選択される。
【００５７】
図７は、本発明の一実施形態によるマルチフォーマットコーデックのための画像予測装置及び方法の動作を示すフローチャートである。
現在予測するブロックの画像圧縮フォーマット情報ＩＮ１及び動きベクトルＩＮ２、参照ＦｒｅｍｍｉｎｇＩＮ３が補間前処理部２００に入力され、前記補間前処理部２００は、前記動きベクトルＩＮ２を利用して、前記参照フレームＩＮ３のうち、補間に使われる所定サイズのブロックＳ１を抽出し、補間情報Ｓ２を生成する（ステップ７００）。ここで、前記補間情報Ｓ２は、前記それぞれの補間方向に対する補間が行われるか否かを表す補間モード情報と、前記それぞれの補間方向による補間演算を行うときに必要な演算パラメータ情報とを含む。
【００５８】
前記補間情報Ｓ２によるそれぞれの補間方向に前記抽出されたブロックＳ１の各ピクセル値または以前に補間されたピクセル値が、前記共用補間部２１０によって補間されて前記予測ブロックＯＵＴ１が生成される（ステップ７１０）。すなわち、前記補間モード情報を利用して補間される補間方向を決定し、前記決定されたそれぞれの補間方向に対して、前記抽出されたブロックの各ピクセル値または以前に補間されたピクセル値を複数個取り、前記取られたそれぞれのピクセル値で前記演算パラメータ情報による補間演算を行って前記予測ブロックに含まれたピクセル値を算出する。
【００５９】
図８は、各補間部で使われるｉｄｉｒｅｃｔｉｏｎの意味を表すテーブルである。ｉｄｉｒｅｃｔｉｏｎは、Ｈ.２６４のＬｕｍａの補間、すなわち、１／４補間のために行われる。各装置で使われるｉｄｉｒｅｃｔｉｏｎの意味は、次の通りである。ｉｄｉｒｅｃｔｉｏｎが１０００であるとき、水平補間部３４０が入力ブロックのうち補間に使われるピクセルの開始位置をｙ軸に１ほど増加させて、補間に使われるピクセル値を抽出した後に補間演算する。ｉｄｉｒｅｃｔｉｏｎが０１００であるとき、第２垂直補間部３５０が入力ブロックのうち補間に使われるピクセルの開始位置をｘ軸に１ほど増加させて、補間に使われるピクセル値を抽出した後に演算する。ｉｄｉｒｅｃｔｉｏｎが００１０であるとき、両方向線形補間部３６０が入力ブロックのうち補間に使われるピクセルの開始位置をｙ軸に１ほど増加させて補間を行う。また、ｉｄｉｒｅｃｔｉｏｎが０００１であるとき、両方向線形補間部３６０が入力ブロックのうち補間に使われるピクセルの開始位置をｘ軸に１ほど増加させて、補間に使われるピクセル値を抽出した後に演算する。
【００６０】
前記のような構成を説明するために、まずＨ.２６４−Ｌｕｍａにおいて、動きベクトルの端数値がｄｘ＝３、ｄｙ＝１であるとき、図１Ｃと合わせて説明する。
この場合、対角線モードの補間が行われるので、ｆＳｅｌｅｃｔ＝３、Ｃ１＝［１,−５,２０,２０,−５,１］、Ｃ２＝［１,−５,２０,２０,−５,１］、ｉＲｏｕｎｄ１＝１６、ｉＳｈｉｆｔ＝５、ｉＲｏｕｎｄ２＝０、ｉＳｈｉｆｔ２＝０、ｆＢｉｌｉｎｅａｒ＝１、ｉｄｉｒｅｃｔｉｏｎ＝０１００値となる。まず、ｆＳｅｌｅｃｔが３であるので、前記第１垂直補間部３３０は、前記抽出されたブロックピクセル値をバイパスして前記水平補間部３４０に伝達し、前記水平補間部３４０は、ｆＳｅｌｅｃｔが３であるので、入力されたＧ（ｇ）、Ｈ（ｈ）としてｂピクセルに対する水平補間を行う。このとき、ｉｄｉｒｅｃｔｉｏｎが０１００であるので、元来の位置の通りにＧ、Ｈが選択され、ｉｄｉｒｅｃｔｉｏｎ＝１０００である場合には、Ｍ（ｍ）、Ｎ（ｎ）が選択される。
【００６１】
前記第２垂直補間部３５０は、ｉｄｉｒｅｃｔｉｏｎが０１００であるので、補間に使われるピクセル位置を整数ピクセル１ずつ増加させて、Ｇ、ＭではないＨ、Ｎ値を利用して垂直補間を行うことによって、ｍの値を出力する。前記第２データ選択部６００は、ｆＳｅｌｅｃｔ値が３であるので、水平補間部３４０の出力であるｂピクセルを選択して出力する。前記算術平均演算部４３０は、ｆＢｉｌｉｎｅａｒ値が１であるので、両方向線形補間を行う。第１データ選択部３７０は、ｆＢｉｌｉｎｅａｒが１の値を有するので、前記両方向線形補間部３６０の出力を選択し、選択されたデータは、予測ブロックとして出力される。
【００６２】
一方、Ｈ.２６４−Ｌｕｍａのｄｘ＝３、ｄｙ＝３も、前記したＨ.２６４−Ｌｕｍａのｄｘ＝１、ｄｙ＝３と類似しているが、ｉｄｉｒｅｃｔｉｏｎ＝１１００であるので、水平補間部３４０、第２垂直補間部３５０の補間に行われるピクセル位置に整数ピクセル１ずつ増加させて行う。すなわち、水平補間部３４０は、Ｇ、ＨではなくＭ、Ｎを、第２垂直補間部３５０は、Ｇ、ＭでなくＨ、Ｎを使用する。
一方、ＷＭＶ９（Ｂｉｃｕｂｉｃ）のｄｘ＝１、ｄｙ＝３であるときの動作を説明する。
まず、ｄｘ＝１であるので、ＣＯＥＦ＿Ｘ＝［０,−４,５３,１８,−３,０］であり、ｄｙ＝３であるので、ＣＯＥＦ＿Ｙ＝［０,−３,１８,５３,−４,０］となり、Ｃ１＝ＣＯＥＦ＿Ｙ、Ｃ２＝ＣＯＥＦ＿Ｘとなる。
【００６３】
ｉＳｈｉｆｔＶは、１２−７、すなわち、５となり、ｉＲｎｄＣｔｒｌＶは、１６−１＋０＝１５となる。そして、ｉＲｏｕｎｄは、６４−１５であって、４９となる。このような演算過程を経てテーブルのすべての値が求められる。この場合、ｆＳｅｌｅｃｔが０であるので、第１垂直補間部３３０及び水平補間部３４０が補間を行う。
ｎ位置のピクセル値が得られるために、第１垂直補間部３３０の入力のうち、Ｐ（ｍ−２,ｎ）、Ｐ（ｍ−１,ｎ）、Ｐ（ｍ,ｎ）、Ｐ（ｍ＋１,ｎ）、Ｐ（ｍ＋２,ｎ）、Ｐ（ｍ＋３,ｎ）が取られ、加重和演算を通じてｎ位置のピクセル値が求められる。次いで、水平補間部３４０の入力は、ｎ位置の値で左右に整数倍の整数ピクセルほど位置したピクセルを利用して補間を行う。その結果、ｏ位置のピクセル値が求められる。
【００６４】
前記水平補間部３４０の出力は、前記第２垂直補間部３５０の入力に利用されるが、前記第２垂直補間部３５０は、前記ｆＳｅｌｅｃｔが０であるので、動作せずに入力されたデータをバイパスさせる役割を行う。前記バイパスされたデータは、ｆＢｉｌｉｎｅａｒが０であるので、予測ブロックのピクセル値として出力される。
次いで、Ｈ.２６４−Ｌｕｍａのｄｘ＝２、ｄｙ＝１であるときの補間を説明する。
この場合、水平−垂直補間モードであるので、ｆＳｅｌｅｃｔ＝１となる。したがって、水平補間部３４０と第２垂直補間部３５０とが作動する。この場合、水平補間部３４０の出力は、ｂなどであり、第２垂直補間部３５０は、ｂなどを利用して、ｉなどを求める。前記ｂ及びｉピクセル値は、両方向線形補間部３６０で補間を通じてｆ位置のピクセル値が得られる。
【００６５】
図９は、本発明の一実施形態によるマルチフォーマットコーデックのための画像符号化装置の構成を示すブロック図であって、動きベクトル算出部８００、ブロック予測部８１０を備えてなる。
動きベクトル算出部８００は、参照フレームＡ２と現在符号化するブロックＡ１との間にブロック基盤の動き推定を行って動きベクトルＡ４を算出する。ここで、参照フレームは、以前に符号化されたフレームを復元して得たフレームである。一方、各画像圧縮フォーマットによって動きベクトル算出過程が異なる場合、前記ステップで動きベクトル情報Ａ３が必要であるので、前記動きベクトル算出部８００の入力で提供される。
【００６６】
前記ブロック予測部８１０は、補間前処理部８２０、共用補間部８３０を備えてなる。
補間前処理部８２０は、現在予測するブロックの画像圧縮フォーマット情報Ａ３を入力され、前記動きベクトルＡ４を利用して、前記参照フレームＡ２のうち補間に使われる所定サイズのブロックＡ５を抽出して補間情報Ａ６を生成する。具体的な内容は、前記した通りである。
共用補間部８３０は、前記補間情報Ａ６によるそれぞれの補間方向に前記抽出されたブロックＡ５の各ピクセル値または以前に補間されたピクセル値を補間して予測ブロックＡ７を生成する。
【００６７】
前記生成された予測ブロックＡ７と現在符号化するブロックＡ１との差は、残留データとなり、前記データは、所定の符号化または変換を通じて最終的に符号化器の出力で動きベクトルＡ４、画像圧縮フォーマット情報Ａ３と共に送信される。一方、残留データの生成及び所定の符号化または変換を行う構成要素または前記参照フレームを生成する構成は、マルチフォーマットコーデックにおいて、多様な形態が存在できるので、図９に示していない。
【００６８】
図１０は、本発明の一実施形態によるマルチフォーマットコーデックのための画像符号化装置及び方法の動作を示すフローチャートである（適宜図９参照）。
参照フレームＡ２と現在符号化するブロックＡ１との間にブロック基盤の動き推定を行って、動きベクトルＡ４が前記動きベクトル算出部８００によって算出される（ステップ９００）。ここで、各画像圧縮フォーマットによって動きベクトル算出過程が異なる場合、前記ステップで動きベクトル情報Ａ３が必要であるので、前記動きベクトル算出部８００の入力で提供される。
【００６９】
現在予測するブロックＡ１の画像圧縮フォーマット情報Ａ３を入力され、前記補間前処理部８２０は、前記動きベクトルＡ４を利用して、前記参照フレームＡ２のうち補間に使われる所定サイズのブロックＡ５を抽出し、補間情報Ａ６を生成する（ステップ９１０）。
前記算出された動きベクトルＡ４、前記参照フレームＡ５、前記所定サイズのブロックＡ５に基づいて、予測ブロックが前記共用補間部８３０によって生成される（ステップ９２０）。
一方、前記ステップ９２０以後に、前記予測ブロックと現在符号化するブロックとの差である残留データが算出され、前記算出された残留データは、必要に応じて符号化または変換を経て前記動きベクトル情報と共に符号化器の出力で送信される。
【００７０】
図１１は、本発明の一実施形態によるマルチフォーマットコーデックのための画像復号化装置の構成を示すブロック図であって、動きベクトル復元部１０００、ブロック予測部１０１０を備えてなる。
動きベクトル復元部１０００は、受信したビットストリームＢ１から動きベクトルＢ３を復元する。
前記ブロック予測部１０１０は、補間前処理部１０２０、共用補間部１０３０を備えてなる。
【００７１】
補間前処理部１０２０は、現在予測するブロックの画像圧縮フォーマット情報Ｂ２を入力され、前記動きベクトルＢ３を利用して、前記参照フレームＢ４のうち補間に使われる所定サイズのブロックＢ５を抽出し、補間情報Ｂ６を生成する。ここで、現在予測するブロックの画像圧縮フォーマット情報Ｂ２は、受信データを通じて提供されるか、または別途の制御チャンネルを通じて復号化装置に提供されうる。
共用補間部１０３０は、前記補間情報Ｂ６によるそれぞれの補間方向に前記抽出されたブロックＢ５の各ピクセル値または以前に補間されたピクセル値を補間して前記予測ブロックＢ７を生成する。
一方、受信データから復元された残留データ、動きベクトル情報Ｂ３、前記予測ブロックＢ７を利用して、現在のフレームが復元される。前記参照フレームＢ４は、以前に復元されたフレームである。このような復元過程は、動画像圧縮フォーマットによって具体的に異なりうるため、このための構成は、図１１に示していない。
【００７２】
図１２は、本発明の一実施形態によるマルチフォーマットコーデックのための画像復号化装置及び方法の動作を示すフローチャートである（適宜図１１参照）。
受信されたビットストリームＢ１から動きベクトルＢ３が前記動きベクトル復元部１０００によって復元される（ステップ１１００）。
現在予測するブロックの画像圧縮フォーマット情報Ｂ２を入力され、前記補間前処理部１０２０は、前記動きベクトルＢ３を利用して、前記参照フレームＢ４のうち補間に使われる所定サイズのブロックＢ５を抽出し、補間情報Ｂ６を生成する（ステップ１１１０）。
【００７３】
前記共用補間部１０３０は、前記補間情報Ｂ６によるそれぞれの補間方向に前記抽出されたブロックＢ５の各ピクセル値または以前に補間されたピクセル値が補間して前記予測ブロックＢ７を生成する（ステップ１１２０）。一方、受信データから復元された残留データ、動きベクトル情報Ｂ３、前記予測ブロックＢ７を利用して、現在のフレームが復元される。このような復元過程は、動画像圧縮フォーマットによって具体的に異なりうるため、このためのステップは、図１２に示していない。
【００７４】
本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読取られるデータが保存されるすべての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ、磁気テープ、フレキシブルディスク、光データ保存装置などがあり、また、キャリアウェーブ（例えば、インターネットを通じた伝送）状に具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードが保存されかつ実行されうる。そして、本発明を具現するための機能的なプログラム（各方法の各ステップを実行させるプログラム）、コード及びコードセグメントは、本発明が属する技術分野のプログラマーによって容易に実現できる。
【００７５】
このような本願発明の方法及び装置は、理解を助けるために図面に示された実施例を参照して説明されたが、これは、例示的なものに過ぎず、当業者ならば、これから多様な変形及び均等な他の実施例が可能であるということが分かるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲によって決定されねばならない。
【図面の簡単な説明】
【００７６】
【図１Ａ】ＷＭＶ９の補間技法を説明するために、８×８の整数ブロックの一部を示す概念図である。
【図１Ｂ】ＭＰＥＧ−２の補間技法を説明するために、８×８の整数ブロックの一部を示す概念図である。
【図１Ｃ】Ｈ.２６４（Ｌｕｍａ）の補間技法を説明するために、８×８の整数ブロックの一部を示す概念図である。
【図１Ｄ】Ｈ.２６４（Ｃｈｒｏｍａ）の補間技法を説明するために、８×８の整数ブロックの一部を示す概念図である。
【図２】本発明の一実施形態によるマルチフォーマットコーデックのための画像予測装置の構成を示すブロック図である。
【図３】ＷＭＶ９−Ｂｉｌｉｎｅａｒ、ＷＭＶ９−Ｂｉｃｕｂｉｃ、ＭＰＥＧ−４、Ｈ.２６４−Ｌｕｍａ、Ｈ.２６４−Ｃｈｒｏｍａに適用できるマルチフォーマットコーデックのための画像予測装置の構成を示すブロック図である。
【図４Ａ】Ｈ.２６４（Ｌｕｍａ）において、補間情報を得るためのテーブルである。
【図４Ｂ】Ｈ.２６４（Ｃｈｒｏｍａ）において、補間情報を得るためのテーブルである。
【図４Ｃ】ＷＭＶ９（Ｂｉｌｉｎｅａｒ）において、補間情報を得るためのテーブルである。
【図４Ｄ】ＷＭＶ９（Ｂｉｃｕｂｉｃ）において、補間情報を得るためのテーブルである。
【図４Ｅ】ＭＰＥＧ−４において、補間情報を得るためのテーブルである。
【図５】補間モード情報による各補間ユニットの補間動作を決定するフローチャートである。
【図６】本発明の一実施形態による前記両方向線形補間部の構成を示すブロック図である。
【図７】本発明の一実施形態によるマルチフォーマットコーデックのための画像予測装置及び方法の動作を示すフローチャートである。
【図８】各補間部で使われるｉｄｉｒｅｃｔｉｏｎの意味を示すテーブルである。
【図９】本発明の一実施形態によるマルチフォーマットコーデックのための画像符号化装置の構成を示すブロック図である。
【図１０】本発明の一実施形態によるマルチフォーマットコーデックのための画像符号化装置及び方法の動作を示すフローチャートである。
【図１１】本発明の一実施形態によるマルチフォーマットコーデックのための画像復号化装置の構成を示すブロック図である。
【図１２】本発明の一実施形態によるマルチフォーマットコーデックのための画像復号化装置及び方法の動作を示すフローチャートである。
【符号の説明】
【００７７】
２００    補間前処理部
２１０    共用補間部
ＩＮ１    画像圧縮フォーマット情報
ＩＮ２    動きベクトル
ＩＮ３    参照フレーム
Ｓ１      ブロック
Ｓ２      補間情報
ＯＵＴ１  予測ブロック
【図１Ａ】
2007060673.tif 000003
【図１Ｂ】
2007060673.tif 000004
【図１Ｃ】
2007060673.tif 000005
【図１Ｄ】
2007060673.tif 000006
【図２】
2007060673.tif 000007
【図３】
2007060673.tif 000008
【図４Ａ】
2007060673.tif 000009
【図４Ｂ】
2007060673.tif 000010
【図４Ｃ】
2007060673.tif 000011
【図４Ｄ】
2007060673.tif 000012
【図４Ｅ】
2007060673.tif 000013
【図５】
2007060673.tif 000014
【図６】
2007060673.tif 000015
【図７】
2007060673.tif 000016
【図８】
2007060673.tif 000017
【図９】
2007060673.tif 000018
【図１０】
2007060673.tif 000019
【図１１】
2007060673.tif 000020
【図１２】
2007060673.tif 000021