(57)【特許請求の範囲】
【請求項１】
画像信号復号装置全体の制御に使用される主記憶部と、画像信号の復号処理における動き補償処理に使用される専用記憶部と、画像信号に動き補償処理を施す動き補償処理部とを備える画像信号復号装置であって、
前記主記憶部は、動き補償処理を行うための１フレーム分のフレームデータを記憶し、前記動き補償処理部によって出力された処理結果を、記憶しているフレームデータの対応するアドレスに上書きするフレーム記憶部を備えると共に、動き補償処理において参照される前フレームのフレームデータのＤＣ（Direct Current）成分データを記憶し、
前記専用記憶部には、前記フレーム記憶部に記憶されたフレームデータのうち、動き補償処理の際に参照される可能性の高い所定アドレスのフレームデータを記憶し、
前記動き補償処理部は、前記専用記憶部に記憶されているフレームデータのアドレスを管理するアドレス管理部を備え、前記専用記憶部に記憶されたフレームデータを参照して動き補償処理を行い、
前記アドレス管理部は、前記動き補償処理部が参照するアドレスのフレームデータが前記専用記憶部に記憶されていない場合、前記フレーム記憶部に当該フレームデータが記憶されているときにはそのフレームデータを参照させ、前記フレーム記憶部に当該フレームデータが記憶されていないときには、前記ＤＣ成分データを参照してエラー補償処理を行わせることを特徴とする画像信号復号装置。
【請求項２】
画像信号復号装置全体の制御に使用される主記憶部と、画像信号の復号処理における動き補償処理に使用される専用記憶部と、画像信号に動き補償処理を施す動き補償処理部とを備える画像信号復号装置であって、
前記主記憶部は、動き補償処理を行うための１フレーム分のフレームデータを記憶し、前記動き補償処理部によって出力された処理結果を、記憶しているフレームデータの対応するアドレスに上書きするフレーム記憶部を備えると共に、動き補償処理において参照される前フレームのフレームデータから生成されたサブサンプルデータを記憶し、
前記専用記憶部には、前記フレーム記憶部に記憶されたフレームデータのうち、動き補償処理の際に参照される可能性の高い所定アドレスのフレームデータを記憶し、
前記動き補償処理部は、前記専用記憶部に記憶されているフレームデータのアドレスを管理するアドレス管理部を備え、前記専用記憶部に記憶されたフレームデータを参照して動き補償処理を行い、
前記アドレス管理部は、前記動き補償処理部が参照するアドレスのフレームデータが前記専用記憶部に記憶されていない場合、前記フレーム記憶部に当該フレームデータが記憶されているときにはそのフレームデータを参照させ、前記フレーム記憶部に当該フレームデータが記憶されていないときには、前記サブサンプルデータを参照してエラー補償処理を行わせることを特徴とする画像信号復号装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動き補償のためのフレームメモリを備えたデジタル画像信号の復号装置に関する。
【０００２】
【従来の技術】
従来、ＭＰＥＧ（Motion Picture Experts Group）−４等のデジタル画像を復号する装置として、動き補償を行うためのフレームメモリを備えた画像信号復号装置が知られている。
図１１は、従来用いられている画像信号復号装置１００の構成を示す図である。図１１において、画像信号復号装置１００は、バッファ１０１と、可変長復号部（以下、「ＶＬＤ」と言う。）１０２と、ＡＣ／ＤＣ（Alternating Current or Direct Current）プレディクト部１０３と、逆量子化部１０４と、逆ＤＣＴ（Discrete Cosine Transform）部１０５と、フレームメモリ１０６ａ，１０６ｂと、動き補償処理部１０７と、加算器１０８と、フォーマット変換部１０９と、Ｄ／Ａ（Digital to Analog）コンバータ１１０とを含んで構成される。
【０００３】
バッファ１０１は、入力信号に含まれるデータを一時的に記憶し、ＶＬＤ１０２に出力する。
ＶＬＤ１０２は、バッファ１０１から入力されたデータを可変長復号し、復号したデータ（以下、「可変長復号データ」と言う。）をＡＣ／ＤＣプレディクト部１０３および動き補償処理部１０７に出力する。
【０００４】
ＡＣ／ＤＣプレディクト部１０３は、ＶＬＤ１０２から入力された可変長復号データのＡＣ成分およびＤＣ成分について、フレーム間あるいはフレーム内における予測を行い、予測したデータ（以下、「予測データ」と言う。）を逆量子化部１０４に出力する。
逆量子化部１０４は、ＡＣ／ＤＣプレディクト部１０３から入力された予測データを逆量子化し、逆量子化したデータ（以下、「逆量子化データ」と言う。）を逆ＤＣＴ部１０５に出力する。
【０００５】
逆ＤＣＴ部１０５は、逆量子化部１０４から入力された逆量子化データを逆離散コサイン変換し、変換後のデータ（以下、「逆ＤＣＴデータ」と言う。）を加算器１０８に出力する。
フレームメモリ１０６ａ，１０６ｂは、動き補償処理部１０７の指示に従って、一方に現在復号処理されているフレームの１フレーム前のフレームデータ（以下、「前フレームデータ」と言う。）を記憶し、他方は、現在復号処理されているフレームのフレームデータ（以下、「現在フレームデータ」と言う。）を記憶する。これら２つのフレームメモリには、復号器１００で処理されたフレームデータが１フレーム毎に交互に記憶される。そして、フレームメモリ１０６ａ，１０６ｂに記憶されるフレームデータのうち、前フレームデータは、動き補償処理部１０７に出力されて動き補償処理に使用される。
【０００６】
動き補償処理部１０７は、フレームメモリ１６ａ，１６ｂのいずれかに記憶されている前フレームデータおよび可変長復号部１０２から入力された可変長復号データに基づいて、マクロブロック単位で動き補償処理を行い、処理結果（以下、「動き補償データ」と言う。）を加算器１０８に出力する。また、動き補償処理部１０７は、フレームメモリ１０６ａ，１０６ｂに指示信号を出力し、１フレームが処理される毎に、各フレームメモリに、現在フレームデータを記憶させたり、動き補償処理に使用する前フレームデータを記憶させたりする。
【０００７】
加算器１０８は、逆ＤＣＴ部１０５から入力された逆ＤＣＴデータと動き補償処理部１０７から入力された動き補償データとを加算し、加算結果をフォーマット変換部１０９に出力する。また、加算器１０８は、加算結果をフレームメモリ１０６ａ，１０６ｂのうち、動き補償処理部１０７によって現在フレームデータの処理結果を記憶させることとされているフレームメモリに出力する。
【０００８】
フォーマット変換部１０９は、加算器１０８から入力された加算結果を所定のデータ形式に変換し、Ｄ／Ａコンバータ１１０に出力する。
Ｄ／Ａコンバータ１１０は、フォーマット変換部１０９から入力された所定フォーマットのデータをＤ／Ａ変換し、アナログの画像信号として出力する。
上述の画像信号復号装置１００において、動き補償処理を行う際に前フレームを参照することから、常時、前フレームデータを記憶するために、前フレームデータを記憶するためのフレームメモリおよび現在フレームデータを記憶するためのフレームメモリの２つが設けられている。
【０００９】
ここで、画像信号の復号に用いるフレームメモリは高速性が必要とされるため、アクセス時間が短いＳＲＡＭ（Static Random Access Memory）等の高速デバイスが用いられる。したがって、フレームメモリを２つ備えた場合、画像信号復号装置は高コストとなる。また、フレームメモリを２つ備えて動き補償処理を行った場合、フレームメモリにフレームデータを記憶しておくために多大な電力を消費することとなる。
【００１０】
このような問題を解決するため、特開平６−２０５３９５号公報等には、１つのフレームメモリと、ＦＩＦＯ（First In First Out）型のメモリと、これらを制御するメモリコントローラとを備える画像信号復号装置が開示されている。
図１２は、ＦＩＦＯ型のメモリを備えた画像信号復号装置２００の一構成例を示す図である。図１２において、画像信号復号装置２００は、図１１に示す画像信号復号装置１００のフレームメモリ１０６ａ，１０６ｂの代わりに、ＦＩＦＯ型メモリ２０６ａと、フレームメモリ２０６ｂと、メモリコントローラ２０６ｃとを備えている。図１２に示す画像信号復号装置２００において、ＦＩＦＯ型メモリ２０６ａ、フレームメモリ２０６ｂおよびメモリコントローラ２０６ｃ以外の部分は、図１１に示す画像信号復号装置１００と同様であるため同一の番号を付すと共に説明を省略する。また、以下、画像信号復号装置１００の対応する同一部分の説明を参照して説明する。
【００１１】
図１２において、ＦＩＦＯ型メモリ２０６ａは、加算器１０８の加算結果を記憶し、入力順に所定のタイミングでフレームメモリ２０６ｂに出力する。また、ＦＩＦＯ型メモリ２０６ａは、動き補償処理部１０７が動き補償処理を行う場合、記憶しているフレームデータのうち動き補償処理に使用される所定データを動き補償処理部１０７に出力する。なお、ＦＩＦＯ型メモリ２０６ａは、１フレームの画像のうち、マクロブロックの横１列からなる“スライス”を８スライス分記憶する。記憶容量が８スライス分とされているのは、ＭＰＥＧ−１規格において、動き補償の垂直方向範囲が最大８スライスとされているためである。
【００１２】
フレームメモリ２０６ｂは、現在、画像信号復号装置２００で復号処理されているフレームの前フレームデータを記憶している。ただし、フレームメモリ２０６ｂは、メモリコントローラ２０６ｃの指示に従って、ＦＩＦＯ型メモリ２０６ａから現在復号処理されているフレームの所定フレームデータが入力されると、そのデータと同一のフレーム内アドレスである前フレームデータに、入力されたフレームデータを上書きする。
【００１３】
メモリコントローラ２０６ｃは、ＦＩＦＯ型メモリ２０６ａに対し、最先に記憶した１スライス分のデータをフレームメモリ２０６ｂに出力させるための指示信号を出力する。また、メモリコントローラ２０６ｃは、フレームメモリ２０６ｂに対し、ＦＩＦＯ型メモリ２０６ａから入力された１スライス分のデータを所定アドレスに書き込ませるための指示信号を出力する。
【００１４】
このとき、メモリコントローラ２０６ｃは、入力されたデータをフレームメモリ２０６ｂに記憶された前フレームにおける同一のフレーム内アドレスに上書きさせる。即ち、フレームメモリ２０６ｂにおいては、現在、画像信号復号装置２００で復号処理されているフレームデータから８スライス以内のアドレスのデータは、前フレームデータが保持され、９スライス以上離れたアドレスのデータが順次上書きされる。
【００１５】
【発明が解決しようとする課題】
しかしながら、上述のＦＩＦＯ型メモリを備えた画像信号復号装置において、ＭＰＥＧ−４規格に基づく画像は、動き補償範囲が画像全体に及ぶ場合があり得るため、ＦＩＦＯ型メモリの記憶容量を８スライス分に制限した場合、適切に復号処理が行えないこととなる。
【００１６】
本発明の課題は、デジタル画像信号の復号におけるコストを低減することである。
【００１７】
以上の課題を解決するため、本発明は、
画像信号復号装置全体の制御に使用される主記憶部（例えば、図１のメインメモリ２２）と、画像信号の復号処理における動き補償処理に使用される専用記憶部（例えば、図１の動き補償メモリ１４）と、画像信号に動き補償処理を施す動き補償処理部（例えば、図１の動き補償処理部１５）とを備える画像信号復号装置であって、
前記主記憶部は、動き補償処理を行うための１フレーム分のフレームデータ（例えば、前フレームのフレームデータ）を記憶し、前記動き補償処理部によって出力された処理結果を、記憶しているフレームデータの対応するアドレスに上書きするフレーム記憶部（例えば、図７のフレームメモリ２２ａ）を備えると共に、動き補償処理において参照される前フレームのフレームデータのＤＣ（Direct Current）成分データ（例えば、図９のＤＣ成分データ）を記憶し、
前記専用記憶部には、前記フレーム記憶部に記憶されたフレームデータのうち、動き補償処理の際に参照される可能性の高い所定アドレスのフレームデータ（例えば、発明の実施の形態中の「周辺アドレス」）を記憶し、
前記動き補償処理部は、前記専用記憶部に記憶されているフレームデータのアドレスを管理するアドレス管理部（例えば、図７のメモリ領域管理部１５ａ）を備え、前記専用記憶部に記憶されたフレームデータを参照して動き補償処理を行い、
前記アドレス管理部は、前記動き補償処理部が参照するアドレスのフレームデータが前記専用記憶部に記憶されていない場合、前記フレーム記憶部に当該フレームデータが記憶されているときにはそのフレームデータを参照させ、前記フレーム記憶部に当該フレームデータが記憶されていないときには、前記ＤＣ成分データを参照してエラー補償処理を行わせることを特徴としている。
【００１８】
請求項１記載の発明によれば、動き補償処理に用いるフレームデータおよび前フレームのフレームデータのＤＣ成分データが、主記憶部に記憶され、主記憶部に記憶されたフレームデータのうち、参照される可能性の高いアドレスのフレームデータのみが専用記憶部に記憶される。そして、動き補償処理が行われる際、アドレス管理部は、専用記憶部に記憶されたフレームデータを参照すると共に、参照するアドレスのフレームデータが専用記憶部に記憶されていない場合、フレーム記憶部のフレームデータを参照し、参照するアドレスのフレームデータがフレーム記憶部にも記憶されていない場合、主記憶部に記憶されているＤＣ成分データを参照して動き補償処理を行わせる。したがって、フレームデータの全体を記憶する専用メモリを備える場合に比べ、製造コストを軽減することができる。また、復号処理時の消費電力を削減することができる。さらに、専用記憶部およびフレーム記憶部に記憶されていないデータの参照が必要な場合、前フレームデータの概略的な特徴を表すＤＣ成分データによって補償することができるため、より少ない記憶容量でより高精度な動き補償処理を行うことができる。
【００１９】
画像信号復号装置全体の制御に使用される主記憶部（例えば、図１のメインメモリ２２）と、画像信号の復号処理における動き補償処理に使用される専用記憶部（例えば、図１の動き補償メモリ１４）と、画像信号に動き補償処理を施す動き補償処理部（例えば、図１の動き補償処理部１５）とを備える画像信号復号装置であって、
前記主記憶部は、動き補償処理を行うための１フレーム分のフレームデータ（例えば、前フレームのフレームデータ）を記憶し、前記動き補償処理部によって出力された処理結果を、記憶しているフレームデータの対応するアドレスに上書きするフレーム記憶部（例えば、図７のフレームメモリ２２ａ）を備えると共に、動き補償処理において参照される前フレームのフレームデータから生成されたサブサンプルデータ（例えば、図１０のサブサンプルデータ）を記憶し、
前記専用記憶部には、前記フレーム記憶部に記憶されたフレームデータのうち、動き補償処理の際に参照される可能性の高い所定アドレスのフレームデータ（例えば、発明の実施の形態中の「周辺アドレス」）を記憶し、
前記動き補償処理部は、前記専用記憶部に記憶されているフレームデータのアドレスを管理するアドレス管理部（例えば、図７のメモリ領域管理部１５ａ）を備え、前記専用記憶部に記憶されたフレームデータを参照して動き補償処理を行い、
前記アドレス管理部は、前記動き補償処理部が参照するアドレスのフレームデータが前記専用記憶部に記憶されていない場合、前記フレーム記憶部に当該フレームデータが記憶されているときにはそのフレームデータを参照させ、前記フレーム記憶部に当該フレームデータが記憶されていないときには、前記サブサンプルデータを参照してエラー補償処理を行わせることを特徴としている。
【００２０】
請求項２記載の発明によれば、動き補償処理に用いるフレームデータおよび前フレームのフレームデータから生成されたサブサンプルデータが、主記憶部に記憶され、主記憶部に記憶されたフレームデータのうち、参照される可能性の高いアドレスのフレームデータのみが専用記憶部に記憶される。そして、動き補償処理が行われる際、アドレス管理部は、専用記憶部に記憶されたフレームデータを参照すると共に、参照するアドレスのフレームデータが専用記憶部に記憶されていない場合、フレーム記憶部のフレームデータを参照し、参照するアドレスのフレームデータがフレーム記憶部にも記憶されていない場合、主記憶部に記憶されているサブサンプルデータを参照して動き補償処理を行わせる。したがって、フレームデータの全体を記憶する専用メモリを備える場合に比べ、製造コストを軽減することができる。また、復号処理時の消費電力を削減することができる。さらに、専用記憶部およびフレーム記憶部に記憶されていないデータの参照が必要な場合、前フレームデータの概略的な特徴を表すサブサンプルデータによって補償することができるため、より少ない記憶容量でより高精度な動き補償処理を行うことができる。
【００３２】
【発明の実施の形態】
以下、図を参照して本発明に係る画像信号復号装置の実施の形態を詳細に説明する。
本発明に係る画像信号復号装置は、ＭＰＥＧ−４等に基づいて符号化されたデジタル画像信号を受信し、動き補償処理等を含む復号処理を施して画像信号を復号する。
（第１の実施の形態）
まず、構成を説明する。
【００３３】
図１は、本発明の第１の実施の形態における画像信号復号装置１の構成を示す図である。
図１において、画像信号復号装置１は、復号処理部１０と、共通部２０と、復号処理部１０と共通部２０との間での信号の送受信に伴う処理を行うインターフェース（以下、「Ｉ／Ｆ」）３０とを含んで構成される。
【００３４】
復号処理部１０は、さらに、バッファ１１と、可変長復号部（以下、「ＶＬＤ」と言う。）１２と、データ変換部１３と、動き補償メモリ１４と、動き補償処理部１５と、加算器１６と、フォーマット変換部１７と、Ｄ／Ａコンバータ１８とを含んで構成される。
復号処理部１０の各構成部分のうち、バッファ１１と、ＶＬＤ１２と、加算器１６と、フォーマット変換部１７と、Ｄ／Ａコンバータ１８の構成は、従来の画像信号復号装置１００の対応する部分と同様なため、説明を省略する。なお、バッファ１１に入力される信号は、後述する共通部２０の通信装置２３からＩ／Ｆ３０を介して入力される。また、加算器１６の加算結果は、Ｉ／Ｆを介してメインメモリ２２のフレームメモリ２２ａあるいはフレームメモリ２２ｂに出力される。
【００３５】
データ変換部１３は、ＡＣ／ＤＣプレディクト部と、逆量子化部と、逆ＤＣＴ部とを含んで構成され、これらの各構成部分は、それぞれ従来の画像信号復号装置１００におけるＡＣ／ＤＣプレディクト部１０３、逆量子化部１０４、逆ＤＣＴ部１０５とそれぞれ同様の機能を有する。即ち、データ変換部１３は、ＶＬＤ１２から入力された可変長復号データのＡＣ成分およびＤＣ成分について、フレーム間あるいはフレーム内における予測を行い、逆量子化した後、逆離散コサイン変換を施して加算器１６に出力する。
【００３６】
動き補償メモリ１４は、１ライン（マクロブロックの横一列の並び）分の処理が終了する毎に、動き補償処理部１５の指示に従って、メインメモリ２２のフレームメモリ２２ａ，２２ｂのうち、現在復号処理されているフレームの前フレームデータが記憶されているフレームメモリから読み出された所定の１ライン分のフレームデータを記憶する。そして、動き補償メモリ１４は、動き補償処理部１５に対し、動き補償処理に使用するフレームデータを出力する。
【００３７】
ここで、動き補償メモリ１４に記憶されるフレームデータについて説明する。
動き補償メモリに記憶されるフレームデータは、前フレームデータにおいて、現在復号処理されているマクロブロックに対応するアドレスから所定範囲内のアドレス（以下、「周辺アドレス」と言う。）に含まれるデータであり、一般的に動き補償処理の際に使用される可能性の高いデータである。図２は、種々の画像サンプルデータにおける動きベクトルの分布の一例を示す図である。図２において、動きベクトルは、一般的に垂直および水平方向に、高い確率で±１６ライン以内の範囲に分布している。したがって、動き補償メモリ１５には、周辺アドレスとして、±１６ラインのアドレス範囲内以上の広い範囲、例えば、±１６ラインあるいは±３２ラインといったアドレス範囲内に含まれるデータが記憶される。
【００３８】
また、１ラインの動き補償処理が終了した場合、動き補償メモリ１４には、新たに周辺アドレスに含まれることとなる１ライン分のフレームデータが一時に記憶される。
図１に戻り、動き補償処理部１５は、ＶＬＤ１２から入力された可変長復号データおよび動き補償メモリ１４から入力された所定のフレームデータに基づいて、マクロブロック単位で動き補償処理を行い、処理結果を加算器１６に出力する。
【００３９】
次に、共通部２０について説明する。
共通部２０は、さらに、ＣＰＵ（Central Processing Unit）２１と、メインメモリ２２と、通信装置２３と、ユーザインタフェース（以下、「ユーザI／F」と言う。）とを含んで構成される。なお、これらの各部分およびI／F３０は、それぞれバスによって接続されている。
【００４０】
ＣＰＵ２１は、画像信号復号装置１全体の制御を行う。また、ＣＰＵ２１は、処理対象となるフレームが変更される毎に、現在フレームデータの記憶先としてフレームメモリ２２ａ，２２ｂを交互に切り換える。さらに、ＣＰＵ２１は、動き補償処理部１５の指示に従って、フレームデータの１ライン分の処理が終了する毎に、フレームメモリ２２ａあるいはフレームメモリ２２ｂから動き補償メモリ１４に前フレームデータの１ライン分の所定フレームデータを出力させる。
【００４１】
メインメモリ２２は、ＣＰＵ２１が種々の処理を行う際に、これらの処理に関するデータを一時的に記憶するワークエリアを形成する。また、メインメモリ２２は、さらにフレームメモリ２２ａ，２２ｂを含んで構成される。フレームメモリ２２ａ，２２ｂは、それぞれＣＰＵ２１の指示に従って、Ｉ／Ｆ３０を介して加算器１６から入力された現在フレームデータを記憶する。このとき、フレームメモリ２２ａ，２２ｂには、現在フレームデータが、１フレーム毎に交互に記憶される。したがって、フレームメモリ２２ａ，２２ｂの一方には、現在フレームデータが記憶され、他方には、前フレームデータが記憶されることとなる。
【００４２】
通信装置２３は、通信ネットワークを介して送信された画像信号を受信する。
ユーザＩ／Ｆ２３は、キーボード、マイク、スピーカ等の入出力装置と画像信号復号装置１との間で信号を送受信するための信号処理を行う。
次に、動作を説明する。
画像信号復号装置１が受信する画像信号は、最先に受信するフレームに関しては、フレーム内においてのみ符号化されており、フレーム全体に関するデータが含まれている。第２番目のフレーム以降は、前フレームとの間でも符号化されており、前フレームとの間でフレーム間符号化されたデータ（動きベクトル、残差成分等）が送信される。
【００４３】
そして、画像信号復号装置１は、フレームメモリ２２ａ，２２ｂの一方に復号されたフレームデータ（前フレームデータ）を記憶し、このフレームデータを参照しつつ、現在受信している画像のフレームデータ（現在フレームデータ）を復号する。
以下、前フレームデータがフレームメモリ２２ａに記憶されており、現在フレームデータがフレームメモリ２２ｂに記憶される場合を例に挙げて説明する。
【００４４】
画像信号復号装置１において、通信装置２３によって受信された画像信号は、バス、Ｉ／Ｆ３０を介してバッファ１１に入力される。
次に、ＶＬＤ１２によって可変長復号され、動き補償処理部１５によって、受信信号に含まれる動きベクトルおよび前フレームデータを参照して動き補償処理が行われる。このとき、動き補償処理部１５は、動き補償処理に使用する前フレームのデータを動き補償メモリ１４から読み出し、動き補償処理を行う。したがって、復号処理部１０外部に設けられたメインメモリ２２にアクセスして動き補償処理を行う場合に比べ、高速な動き補償処理が実現できる。
【００４５】
次に、動き補償処理されたデータとデータ変換部１３によって処理されたデータが加算器１６によって加算された後、フォーマット変換部１７によって所定のデータ形式に変換される。また、加算器１６によって加算されたデータは、現在フレームデータを記憶するフレームメモリ２２ｂに記憶され、次のフレームが復号される際に、前フレームデータとして参照される。
【００４６】
そして、所定のフォーマットに変換されたデータは、Ｄ／Ａコンバータ１８によってアナログ信号に変換されて、画像信号が復号される。
以上のように、本第１の実施の形態における画像信号復号装置１は、復号処理に使用する前フレームデータを共通部２０に設けられたメインメモリ２２のフレームメモリ２２ａ，２２ｂに記憶すると共に、動き補償処理に使用する可能性の高いフレームデータを復号処理部１０に設けられた動き補償メモリ１４に記憶する。
【００４７】
したがって、メインメモリ２２を共用することによって、現在フレームデータおよび前フレームデータを記憶する専用のフレームメモリをそれぞれ復号処理部１０内部に設ける場合に比べ、画像信号復号装置１の製造コストを軽減できる。また、フレームメモリを専用に設ける場合に比べ、復号処理時の消費電力を削減できる。
（第２の実施の形態）
図３は、本発明の第２の実施の形態における画像信号復号装置２の構成を示す図である。
【００４８】
図３において、画像信号復号装置２は、復号処理部１０と、共通部２０と、Ｉ／Ｆ３０とを含んで構成される。なお、画像信号復号装置２において、復号処理部１０の動き補償メモリ１４、加算器１６およびポストフィルタ１９以外の部分は、画像信号復号装置１と共通するため同一番号を付すと共に説明を省略し、異なる部分についてのみ説明する。
【００４９】
動き補償メモリ１４は、１ライン分の処理が終了する毎に、動き補償処理部１５の指示に従って、メインメモリ２２のフレームメモリ２２ａ，２２ｂのうち、現在復号処理されているフレームの前フレームデータが記憶されているフレームメモリから読み出された所定の１ライン分のフレームデータを記憶する。そして、動き補償メモリ１４は、動き補償処理部１５に対し、動き補償処理に使用するフレームデータを出力する。
【００５０】
また、動き補償メモリ１４は、記憶しているフレームデータをポストフィルタ１９に順次出力する。即ち、動き補償メモリ１４は、前フレームデータを動き補償処理に使用するため動き補償処理部１５に出力すると共に、画像信号復号装置２の出力信号とするための処理系統に出力する。
加算器１６は、動き補償処理されたデータとデータ変換部１３によって処理されたデータとを加算し、加算結果をＩ／Ｆ３０を介して、現在フレームデータを記憶するメインメモリ２２のフレームメモリ２２ａあるいはフレームメモリ２２ｂに出力する。
【００５１】
ポストフィルタ１９は、動き補償メモリ１４から入力された前フレームデータのブロック間歪みや圧縮によって生じる歪み等を軽減するための処理を行う。即ち、ポストフィルタ１９は、ブロック間歪みあるいはモスキートノイズ等を削減するものであり、一般に９タップ程度のフィルタリング処理を行う。そのため、フォーマット変換部１７、Ｄ／Ａコンバータ１８の前段で実施するポストフィルタは、現在処理中であるラインの前後合計９ライン程度のラインバッファを使用する。ここで、動き補償メモリ１４は４８ラインまたは８０ラインのバッファを構成するため、このバッファを利用してポストフィルタ処理を施すことにより、効率的なフィルタ処理を行うことができるだけでなく、ラインバッファに必要なコストを軽減することが可能となる。
【００５２】
以上のように、本第２の実施の形態における画像信号復号装置２は、動き補償メモリ１４に記憶された前フレームデータが、画像信号復号装置２の出力信号とするための処理系統（ポストフィルタ１９等）に出力される。したがって、画像信号を復号する際、ポストフィルタ処理を行うために、別途、メインメモリ２２にアクセスする場合に比べ、アクセス回数を減らすことができ、復号処理の高速化を図ることができる。また、復号された画像信号を出力する際に、画像データを一時的に記憶するＶＲＡＭ（Video Random Access Memory）が必要でなくなり、画像信号復号装置２の製造コストを軽減できる。
（第３の実施の形態）
図４は、本発明の第３の実施の形態における画像信号復号装置３の構成を示す図である。
【００５３】
図４において、画像信号復号装置３は、復号処理部１０と、共通部２０と、Ｉ／Ｆ３０とを含んで構成される。なお、画像信号復号装置３において、復号処理部１０の動き補償処理部１５および共通部２０のＣＰＵ２１以外の部分は、画像信号復号装置２と共通するため同一番号を付すと共に説明を省略し、異なる部分についてのみ説明する。
【００５４】
動き補償処理部１５は、ＶＬＤ１２から入力された可変長復号データおよび動き補償メモリ１４から入力された所定のフレームデータに基づいて、マクロブロック単位で動き補償処理を行い、処理結果を加算器１６に出力する。
また、動き補償処理部１５は、メモリ領域管理部１５ａを備えている。メモリ領域管理部１５ａは、動き補償メモリ１４に記憶されている前フレームデータのアドレスを管理し、動き補償メモリ１４に動き補償処理に使用する前フレームデータが記憶されていないと判定した場合、メインメモリ２２のフレームメモリ２２ａあるいはフレームメモリ２２ｂから動き補償処理に使用する前フレームデータを読み出す。一方、動き補償メモリ１４に動き補償処理に使用する前フレームデータが記憶されていると判定した場合、メモリ領域管理部１５ａは、動き補償メモリ１４から動き補償処理に使用する前フレームデータを読み出す。
【００５５】
図５は、動き補償処理が行われる現在フレームデータのマクロブロックと、参照される前フレームデータのマクロブロックとの関係を示す図である。図５において、前フレームデータのうち、現在フレームデータの動き補償処理されているマクロブロックを含む１６ラインから上下３２ライン（周辺アドレス）のフレームデータが動き補償メモリ１４に記憶されている。そして、動き補償処理部１５が周辺アドレスに含まれているマクロブロックＭＢ１を参照する場合、メモリ領域管理部１５ａは、動き補償メモリ１４にアクセスし、マクロブロックＭＢ１を読み出す。一方、動き補償処理部１５が周辺アドレスに含まれていないマクロブロックＭＢ２を参照する場合、メモリ領域管理部１５ａは、メインメモリ２２にアクセスし、フレームメモリ２２ａ，２２ｂからマクロブロックＭＢ２を読み出す。
【００５６】
図４に戻り、ＣＰＵ２１は、画像信号復号装置３全体の制御を行う。また、ＣＰＵ２１は、処理対象となるフレームが変更される毎に、現在フレームデータの記憶先としてフレームメモリ２２ａ，２２ｂを交互に切り換える。さらに、ＣＰＵ２１は、動き補償処理部１５の指示に従って、フレームデータの１ライン分の処理が終了する毎に、フレームメモリ２２ａあるいはフレームメモリ２２ｂから動き補償メモリ１４に前フレームデータの１ライン分の所定フレームデータを出力させる。
【００５７】
また、ＣＰＵ２１は、メモリ領域管理部１５ａによって動き補償に使用する所定のフレームデータの読み込みが行われた場合、当該データをフレームメモリ２２ａあるいはフレームメモリ２２ｂから動き補償処理部１５に出力させる。
以上のように、本第３の実施の形態における画像信号復号装置３は、動き補償メモリ１４に動き補償処理に必要な前フレームデータが記憶されていない場合、動き補償処理部１５に備えられたメモリ領域管理部１５ａによって、メインメモリ２２のフレームメモリ２２ａ，２２ｂから必要な前フレームデータが読み出され、動き補償処理が行われる。したがって、動き補償メモリ１４に記憶されたフレームデータによって高速に動き補償処理を行いつつ、必要に応じて、メインメモリ２２から所定のフレームデータを読み出し、正確な動き補償処理を行うことができる。
（第４の実施の形態）
図６は、本発明の第４の実施の形態における画像信号復号装置４の構成を示す図である。
【００５８】
図６において、画像信号復号装置４は、復号処理部１０と、共通部２０と、Ｉ／Ｆ３０とを含んで構成される。なお、画像信号復号装置４において、復号処理部１０の動き補償処理部１５および共通部２０のＣＰＵ２１、メインメモリ２２以外の部分は、画像信号復号装置２と共通するため同一番号を付すと共に説明を省略し、異なる部分についてのみ説明する。
【００５９】
動き補償処理部１５は、ＶＬＤ１２から入力された可変長復号データおよび動き補償メモリ１４から入力された所定のフレームデータに基づいて、マクロブロック単位で動き補償処理を行い、処理結果を加算器１６に出力する。
また、動き補償処理部１５は、メモリ領域管理部１５ａと、エラー補償部１５ｂとを備えている。メモリ領域管理部１５ａは、動き補償メモリ１４に記憶されているフレームデータのアドレスを管理し、動き補償メモリ１４に動き補償処理に使用するフレームデータが記憶されていると判定した場合、動き補償メモリ１４から動き補償処理に使用する前フレームデータを読み出す。一方、動き補償メモリ１４に動き補償処理に使用する前フレームデータが記憶されていないと判定した場合、メモリ領域管理部１５ａは、以下のように動作する。
【００６０】
動き補償処理に使用するフレームデータがフレームメモリ２２ａに保持されている場合、メモリ領域管理部１５ａは、そのフレームデータ（以下、「下方向領域データ」と言う。）を読み出し、動き補償処理に使用するフレームデータがフレームメモリ２２ａに保持されていない、即ち、既に現在フレームデータが上書きされている場合、メモリ領域管理部１５ａは、エラー補償部１５ｂにＭＰＥＧ−４に規格されているエラー補償処理を行うよう指示する。
【００６１】
例えば、図５において、マクロブロックＭＢ１を参照する場合、メモリ領域管理部１５ａは、動き補償メモリ１４からマクロブロックＭＢ１を読み出す。一方、動きベクトルがマクロブロックＭＢ２（下方向領域データ）を参照するものである場合、マクロブロックＭＢ２は前フレームデータが保持されているものであることから、メモリ領域管理部１５ａは、マクロブロックＭＢ２を読み出す。さらに、動きベクトルが周辺アドレスより上位アドレス（現在フレームデータが上書きされており、周辺アドレスを既に脱したアドレス）のマクロブロックを参照するものである場合、前フレームデータは参照できないことから、メモリ制御部１５ａは、エラー補償部１５ｂにＭＰＥＧ−４に規格されたエラー補償処理を行う旨を指示する。
【００６２】
エラー補償部１５ｂは、動き補償処理に使用する前フレームデータが参照できない場合に、ＭＰＥＧ−４に規格されたエラー補償処理を行う。
図６に戻り、ＣＰＵ２１は、画像信号復号装置４全体の制御を行う。また、ＣＰＵ２１は、現在フレームデータが加算器１６から入力されると、フレームメモリ２２ａの所定アドレスに、その現在フレームデータを記憶する。さらに、ＣＰＵ２１は、動き補償処理部１５の指示に従って、フレームデータの１ライン分の処理が終了する毎に、フレームメモリ２２ａから動き補償メモリ１４に前フレームデータの１ライン分の所定フレームデータを出力させる。
【００６３】
また、ＣＰＵ２１は、メモリ領域管理部１５ａによって動き補償処理に使用する所定のフレームデータの読み込みが行われた場合、当該データをフレームメモリ２２ａから動き補償処理部１５に出力させる。
メインメモリ２２は、ＣＰＵ２１が種々の処理を行う際に、これらの処理に関するデータを一時的に記憶するワークエリアを形成する。また、メインメモリ２２は、さらにフレームメモリ２２ａを含んで構成される。フレームメモリ２２ａは、ＣＰＵ２１の指示に従って、Ｉ／Ｆ３０を介して加算器１６から入力された現在フレームデータを記憶する。このとき、フレームメモリ２２ａにおいて、現在フレームデータ（マクロブロック）が、順次上位アドレスから、記憶している前フレームデータに上書きされる。即ち、フレームメモリ２２ａは、前フレームデータを記憶する役割と、復号処理された現在フレームデータを記憶する役割を兼ねている。
【００６４】
以上のように、本第４の実施の形態における画像信号復号装置４は、メインメモリ２２にフレームデータを記憶するフレームメモリ２２ａを１つ備え、このフレームメモリ２２ａに前フレームデータを記憶すると共に、復号処理された現在フレームデータを前フレームデータの対応するアドレスに上書きする。したがって、画像信号復号装置４は、フレームメモリをメインメモリ２２内に１つ備えればよいため、リソースを効率的に使用できる。
【００６５】
また、画像信号復号装置４は、動き補償メモリ１４に記憶されていないフレームデータの参照が行われた場合、そのフレームデータが上書きされずにフレームメモリ２２ａに記憶されているときは、フレームメモリ２２ａからそのデータを読み出し、これを参照して動き補償処理を行う。したがって、フレームメモリの数を１つとしつつ、前フレームデータが上書きされずにフレームメモリ２２ａに記憶されている場合には正確な動き補償を行うことが可能となる。
（第５の実施の形態）
図７は、本発明の第５の実施の形態における画像信号復号装置５の構成を示す図である。
【００６６】
図７において、画像信号復号装置５は、復号処理部１０と、共通部２０と、Ｉ／Ｆ３０とを含んで構成される。なお、画像信号復号装置５において、復号処理部１０の動き補償処理部１５および共通部２０のＣＰＵ２１、メインメモリ２２以外の部分は、画像信号復号装置４と共通するため同一番号を付すと共に説明を省略し、異なる部分についてのみ説明する。
【００６７】
動き補償処理部１５は、ＶＬＤ１２から入力された可変長復号データおよび動き補償メモリ１４から入力された所定のフレームデータに基づいて、マクロブロック単位で動き補償処理を行い、処理結果を加算器１６に出力する。
また、動き補償処理部１５は、メモリ領域管理部１５ａと、エラー補償部１５ｂとを備えている。メモリ領域管理部１５ａは、動き補償メモリ１４に記憶されているフレームデータのアドレスを管理し、動き補償メモリ１４に動き補償処理に使用するフレームデータが記憶されていると判定した場合、動き補償メモリ１４から動き補償処理に使用する前フレームデータを読み出す。一方、動き補償メモリ１４に動き補償処理に使用する前フレームデータが記憶されていないと判定した場合、メモリ領域管理部１５ａは、以下のように動作する。
【００６８】
動き補償処理に使用するフレームデータがフレームメモリ２２ａに保持されている場合、メモリ領域管理部１５ａは、そのフレームデータを読み出し、動き補償処理に使用するフレームデータがフレームメモリ２２ａに保持されていない、即ち、既に現在フレームデータが上書きされている場合、メモリ領域管理部１５ａは、メインメモリ２２から前フレームデータのＤＣ（Direct Current）成分データを読み出し、エラー補償部１５ｂに、前フレームデータのＤＣ成分データに基づいてエラー補償処理を行う旨を指示する。
【００６９】
例えば、図５において、マクロブロックＭＢ１を参照する場合、メモリ領域管理部１５ａは、動き補償メモリ１４からマクロブロックＭＢ１を読み出す。一方、動きベクトルがマクロブロックＭＢ２を参照するものである場合、マクロブロックＭＢ２は前フレームデータが保持されているものであることから、メモリ領域管理部１５ａは、マクロブロックＭＢ２を読み出す。さらに、動きベクトルが周辺アドレスより上位アドレス（現在フレームデータが上書きされており、周辺アドレスを既に脱したアドレス）のマクロブロックを参照するものである場合、前フレームデータは参照できないことから、メモリ制御部１５ａは、メインメモリ２２ａに記憶された前フレームデータのＤＣ成分データを読み出し、エラー補償部１５ｂに、このデータを用いてエラー補償処理を行う旨を指示する。
【００７０】
エラー補償部１５ｂは、動き補償処理に使用する前フレームデータが参照できない場合に、メインメモリ２２に記憶された前フレームデータのＤＣ成分データに基づいて、エラー補償処理を行う。即ち、参照する前フレームデータの代わりに、前フレームデータのＤＣ成分データを参照して動き補償処理を行う。
図７に戻り、ＣＰＵ２１は、画像信号復号装置５全体の制御を行う。また、ＣＰＵ２１は、現在フレームデータが加算器１６から入力されると、フレームメモリ２２ａの所定アドレスに、その現在フレームデータを記憶する。さらに、ＣＰＵ２１は、動き補償処理部１５の指示に従って、フレームデータの１ライン分の処理が終了する毎に、フレームメモリ２２ａから動き補償メモリ１４に前フレームデータの１ライン分の所定フレームデータを出力させる。
【００７１】
また、ＣＰＵ２１は、メモリ領域管理部１５ａによって動き補償処理に使用する所定のフレームデータの読み込みが行われた場合、当該データをフレームメモリ２２ａから動き補償処理部１５に出力させる。なお、ＣＰＵ２１は、メモリ領域管理部１５ａによって動き補償処理に使用する所定のフレームデータの読み込みが行われた際、そのフレームデータが既に上書きされてフレームメモリ２２ａに保持されていない場合、メインメモリ２２に記憶された前フレームデータのＤＣ成分データを動き補償処理部１５に出力させる。
【００７２】
メインメモリ２２は、ＣＰＵ２１が種々の処理を行う際に、これらの処理に関するデータを一時的に記憶するワークエリアを形成する。また、メインメモリ２２は、さらにフレームメモリ２２ａを含んで構成される。フレームメモリ２２ａは、ＣＰＵ２１の指示に従って、Ｉ／Ｆ３０を介して加算器１６から入力された現在フレームデータを記憶する。このとき、フレームメモリ２２ａにおいて、現在フレームデータ（マクロブロック）が、順次上位アドレスから、記憶している前フレームデータに上書きされる。即ち、フレームメモリ２２ａは、前フレームデータを記憶する役割と、復号処理された現在フレームデータを記憶する役割を兼ねている。
【００７３】
さらに、メインメモリ２２は、エラー補償処理に使用するエラー補償データとして、前フレームデータのＤＣ成分データを記憶している。そして、メモリ領域管理部１５ａが、このＤＣ成分データの読み込みを行った場合、動き補償処理部１５に、このＤＣ成分データが出力される。ここで、ＤＣ成分データとは、図８に示すフレームデータに含まれる全画素を平均化して得られるデータである。図９は、フレームデータ内の全てのデータが、ＤＣ成分からなるＤＣ成分フレームのイメージを示している。
【００７４】
以上のように、本第５の実施の形態における画像信号復号装置５は、メインメモリ２２にフレームデータを記憶するフレームメモリ２２ａを１つ備え、このフレームメモリ２２ａに前フレームデータを記憶すると共に、復号処理された現在フレームデータを前フレームデータの対応するアドレスに上書きする。したがって、画像信号復号装置５は、フレームメモリをメインメモリ２２内に１つ備えればよいため、リソースを効率的に使用できる。
【００７５】
また、画像信号復号装置５は、動き補償メモリ１４に記憶されていないフレームデータを参照する必要がある場合、そのフレームデータが上書きされずにフレームメモリ２２ａに記憶されているときは、フレームメモリ２２ａからそのデータを読み出し、これを参照して動き補償処理を行う。したがって、フレームメモリの数を１つとしつつ、前フレームデータが上書きされずにフレームメモリ２２ａに記憶されている場合には正確な動き補償を行うことが可能となる。
【００７６】
さらに、画像信号復号装置５は、動き補償メモリ１４およびフレームメモリ２２ａに記憶されていない前フレームデータを参照する必要がある場合、エラー補償データ（前フレームデータのＤＣ成分データ）に基づいて、エラー補償処理を行う。したがって、エラー補償処理を行う場合に参照されるデータが、前フレームデータに近いものとなり、より正確にエラー補償処理を行うことができる。
【００７７】
また、本実施の形態において、エラー補償データとして前フレームデータのＤＣ成分データを使用することとしたが、ＤＣ成分データの代わりに、サブサンプルデータを使用してエラー補償処理を行うこととしてもよい。ここで、サブサンプルデータとは、図１０に示すように、前フレームデータに含まれる画素を一定画素数単位で平均化して得られるデータである。なお、図１０は、２×２＝４画素を単位として平均化したデータからなるサブサンプルフレームのイメージを示している。
【００７８】
【発明の効果】
請求項１記載の発明によれば、動き補償処理に用いるフレームデータおよび前フレームのフレームデータのＤＣ成分データが、主記憶部に記憶され、主記憶部に記憶されたフレームデータのうち、参照される可能性の高いアドレスのフレームデータのみが専用記憶部に記憶される。そして、動き補償処理が行われる際、アドレス管理部は、専用記憶部に記憶されたフレームデータを参照すると共に、参照するアドレスのフレームデータが専用記憶部に記憶されていない場合、フレーム記憶部のフレームデータを参照し、参照するアドレスのフレームデータがフレーム記憶部にも記憶されていない場合、主記憶部に記憶されているＤＣ成分データを参照して動き補償処理を行わせる。したがって、フレームデータの全体を記憶する専用メモリを備える場合に比べ、製造コストを軽減することができる。また、復号処理時の消費電力を削減することができる。さらに、専用記憶部およびフレーム記憶部に記憶されていないデータの参照が必要な場合、前フレームデータの概略的な特徴を表すＤＣ成分データによって補償することができるため、より少ない記憶容量でより高精度な動き補償処理を行うことができる。
【００７９】
請求項２記載の発明によれば、動き補償処理に用いるフレームデータおよび前フレームのフレームデータから生成されたサブサンプルデータが、主記憶部に記憶され、主記憶部に記憶されたフレームデータのうち、参照される可能性の高いアドレスのフレームデータのみが専用記憶部に記憶される。そして、動き補償処理が行われる際、アドレス管理部は、専用記憶部に記憶されたフレームデータを参照すると共に、参照するアドレスのフレームデータが専用記憶部に記憶されていない場合、フレーム記憶部のフレームデータを参照し、参照するアドレスのフレームデータがフレーム記憶部にも記憶されていない場合、主記憶部に記憶されているサブサンプルデータを参照して動き補償処理を行わせる。したがって、フレームデータの全体を記憶する専用メモリを備える場合に比べ、製造コストを軽減することができる。また、復号処理時の消費電力を削減することができる。さらに、専用記憶部およびフレーム記憶部に記憶されていないデータの参照が必要な場合、前フレームデータの概略的な特徴を表すサブサンプルデータによって補償することができるため、より少ない記憶容量でより高精度な動き補償処理を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像信号復号装置１の構成を示す図である。
【図２】種々の画像サンプルデータにおける動きベクトルの分布の一例を示す図である。
【図３】本発明の第２の実施の形態における画像信号復号装置２の構成を示す図である。
【図４】本発明の第３の実施の形態における画像信号復号装置３の構成を示す図である。
【図５】動き補償処理が行われる現在フレームデータのマクロブロックと、参照される前フレームデータのマクロブロックとの関係を示す図である。
【図６】本発明の第４の実施の形態における画像信号復号装置４の構成を示す図である。
【図７】本発明の第５の実施の形態における画像信号復号装置５の構成を示す図である。
【図８】フレームデータの画素構成を示すイメージ図である。
【図９】フレームデータ内の全てのデータが、ＤＣ成分からなるＤＣ成分フレームのイメージ図である。
【図１０】２×２＝４画素を単位として平均化したデータからなるサブサンプルフレームのイメージ図である。
【図１１】従来用いられている画像信号復号装置１００の構成を示す図である。
【図１２】ＦＩＦＯ型のメモリを備えた画像信号復号装置２００の一構成例を示す図である。
【符号の説明】
１，２，３，４，５，１００，２００  画像信号復号装置
１０  復号処理部
１１，１０１  バッファ
１２，１０２  ＶＬＤ
１３  データ変換部
１０３  ＡＣ／ＤＣプレディクト部
１０４  逆量子化部
１０５  逆ＤＣＴ部
２０６ａ  ＦＩＦＯ型メモリ
２２ａ，２２ｂ，１０６ａ，１０６ｂ，２０６ｂ  フレームメモリ
１４  動き補償メモリ
１５，１０７  動き補償処理部
１５ａ  メモリ領域管理部
１５ｂ  エラー補償部
１６，１０８  加算器
１７，１０９  フォーマット変換部
１８，１１０  Ｄ／Ａコンバータ
１９  ポストフィルタ
２０  共通部
２１  ＣＰＵ
２２  メインメモリ
２３  通信装置
２４  ユーザＩ／Ｆ
３０  Ｉ／Ｆ
【図１】
0003861607.tif 000002
【図２】
0003861607.tif 000003
【図３】
0003861607.tif 000004
【図４】
0003861607.tif 000005
【図５】
0003861607.tif 000006
【図６】
0003861607.tif 000007
【図７】
0003861607.tif 000008
【図８】
0003861607.tif 000009
【図９】
0003861607.tif 000010
【図１０】
0003861607.tif 000011
【図１１】
0003861607.tif 000012
【図１２】
0003861607.tif 000013