参照画像を用いて動き補償予測により動画像を符号化する動画像符号化装置であって、参照画像をテンプレート符号化して記憶する参照画像記憶部を備え、前記参照画像記憶部は、圧縮部と、メモリ部と、伸長部とを備え、前記圧縮部は、参照画像の画素値を所定のブロック単位で直交変換して係数を得る直交変換部と、所定個数のテンプレートに対して、ブロックの前記係数と各テンプレートとの差分の符号量およびテンプレートの符号量を評価して、いずれかのテンプレートを選択するテンプレート減算部と、前記係数のテンプレートとの差分、選択されたテンプレートを示すインデックス、および選択されたテンプレートを符号化し、前記メモリ部に書き出す符号化部とを備え、前記メモリ部は、符号化後の前記係数のテンプレートとの差分および前記インデックスを保存する係数インデックス保存部と、前記係数インデックス保存部に保存された全てのインデックスに対応する符号化後の前記テンプレートを保存するテンプレート保存部とを備え、前記伸長部は、前記メモリ部から前記係数のテンプレートとの差分、前記選択されたテンプレートを示すインデックス、および前記選択されたテンプレートを読み出して、復号化する復号化部と、復号された前記係数のテンプレートとの差分と前記選択されたテンプレートとの和をとるテンプレート加算部と、テンプレート加算後の前記係数を所定のブロック単位で逆直交変換して画素値を得る逆直交変換部とを備えることを特徴とする動画像符号化装置。前記圧縮部は、入力されたブロックの前記係数から新たなテンプレートを生成し、前記係数と各テンプレートとの差分の符号量およびテンプレートの符号量の合計が最小であるテンプレートがその新たなテンプレートとは異なる場合は、その新たなテンプレートを破棄することにより、動的にテンプレートを生成することを特徴とする請求項1に記載の動画像符号化装置。参照画像を用いて動き補償予測により動画像を符号化する動画像符号化装置であって、参照画像をテンプレート符号化して記憶する参照画像記憶部を備え、前記参照画像記憶部は、圧縮部と、メモリ部と、伸長部とを備え、前記圧縮部は、参照画像の画素値を所定のブロック単位で直交変換して係数を得る直交変換部と、所定個数のテンプレートを保存する第1テンプレート保存部と、前記第1テンプレート保存部からテンプレートを読み出して、ブロックの前記係数と各テンプレートとの差分の符号量およびテンプレートの符号量を評価して、いずれかのテンプレートを選択するテンプレート減算部と、前記係数のテンプレートとの差分、選択されたテンプレートを示すインデックスを符号化し、前記メモリ部に書き出す符号化部とを備え、前記メモリ部は、符号化後の前記係数のテンプレートとの差分および前記インデックスを保存する係数インデックス保存部を備え、前記伸長部は、前記メモリ部から前記係数のテンプレートとの差分、および前記選択されたテンプレートを示すインデックスを読み出して、復号化する復号化部と、前記圧縮部の第1テンプレート保存部と同じ所定個数のテンプレートを保存する第2テンプレート保存部と、復号された前記インデックスが示すテンプレートを前記第2テンプレート保存部から読み出して、復号された前記係数のテンプレートとの差分と前記第2テンプレート保存部から読み出されたテンプレートとの和をとるテンプレート加算部と、テンプレート加算後の前記係数を所定のブロック単位で逆直交変換して画素値を得る逆直交変換部とを備えることを特徴とする動画像符号化装置。参照画像を用いて動き補償予測により動画像を符号化する動画像符号化方法であって、参照画像をテンプレート符号化して記憶する参照画像記憶ステップを備え、前記参照画像記憶ステップは、圧縮ステップと、メモリ記憶ステップと、伸長ステップとを備え、前記圧縮ステップは、参照画像の画素値を所定のブロック単位で直交変換して係数を得る直交変換ステップと、所定個数のテンプレートに対して、ブロックの前記係数と各テンプレートとの差分の符号量およびテンプレートの符号量を評価して、いずれかのテンプレートを選択するテンプレート減算ステップと、前記係数のテンプレートとの差分、選択されたテンプレートを示すインデックス、および選択されたテンプレートを符号化し、メモリに書き出す符号化ステップとを備え、前記メモリ記憶ステップは、符号化後の前記係数のテンプレートとの差分および前記インデックスを前記メモリに保存する係数インデックス保存ステップと、前記係数インデックス保存ステップにて保存された全てのインデックスに対応する符号化後の前記テンプレートを前記メモリに保存するテンプレート保存ステップとを備え、前記伸長ステップは、前記メモリから前記係数のテンプレートとの差分、前記選択されたテンプレートを示すインデックス、および前記選択されたテンプレートを読み出して、復号化する復号化ステップと、復号された前記係数のテンプレートとの差分と前記選択されたテンプレートとの和をとるテンプレート加算ステップと、テンプレート加算後の前記係数を所定のブロック単位で逆直交変換して画素値を得る逆直交変換ステップとを備えることを特徴とする動画像符号化方法。参照画像を用いて動き補償予測により動画像を符号化する動画像符号化方法であって、参照画像をテンプレート符号化して記憶する参照画像記憶ステップを備え、前記参照画像記憶ステップは、圧縮ステップと、メモリ記憶ステップと、伸長ステップとを備え、前記圧縮ステップは、参照画像の画素値を所定のブロック単位で直交変換して係数を得る直交変換ステップと、所定個数のテンプレートをメモリから読み出す第1テンプレート読み出しステップと、ブロックの前記係数と各テンプレートとの差分の符号量およびテンプレートの符号量を評価して、いずれかのテンプレートを選択するテンプレート減算ステップと、前記係数のテンプレートとの差分、選択されたテンプレートを示すインデックスを符号化し、メモリに書き出す符号化ステップとを備え、前記メモリ記憶ステップは、符号化後の前記係数のテンプレートとの差分および前記インデックスを保存する係数インデックス保存ステップを備え、前記伸長ステップは、保存された前記係数のテンプレートとの差分、および前記選択されたテンプレートを示すインデックスを読み出して、復号化する復号化ステップと、復号された前記インデックスが示すテンプレートをメモリから読み出す第2テンプレート読み出しステップと、復号された前記係数のテンプレートとの差分と前記第2テンプレート読み出しステップで読み出されたテンプレートとの和をとるテンプレート加算ステップと、テンプレート加算後の前記係数を所定のブロック単位で逆直交変換して画素値を得る逆直交変換ステップとを備えることを特徴とする動画像符号化方法。従来の動画像符号化装置では、参照画像メモリの容量を削減する際に、AC係数を大きく量子化している。これにより参照画像が大きく劣化し、これを用いて符号化すると画質の劣化が顕著になることが課題であった。本発明はこうした状況に鑑みてなされたものであり、その目的は、参照画像メモリの容量を削減する際に参照画像を大きく劣化させないようにして、従来よりも画質劣化を抑制する動画像符号化装置および動画像復号化装置を提供することにある。上記課題を解決するために、本発明のある態様の動画像符号化装置は、参照画像を用いて動き補償予測により動画像を符号化する動画像符号化装置であって、参照画像をテンプレート符号化して記憶する参照画像記憶部を備える。前記参照画像記憶部は、圧縮部100と、メモリ部101と、伸長部102とを備える。前記圧縮部は、参照画像の画素値を所定のブロック単位で直交変換して係数を得る直交変換部200と、所定個数のテンプレートに対して、ブロックの前記係数と各テンプレートとの差分の符号量およびテンプレートの符号量を評価して、いずれかのテンプレートを選択するテンプレート減算部202と、前記係数のテンプレートとの差分、選択されたテンプレートを示すインデックス、および選択されたテンプレートを符号化し、前記メモリ部に書き出す符号化部201とを備える。前記メモリ部は、符号化後の前記係数のテンプレートとの差分および前記インデックスを保存する係数インデックス保存部203と、前記係数インデックス保存部に保存された全てのインデックスに対応する符号化後の前記テンプレートを保存するテンプレート保存部204とを備える。前記伸長部は、前記メモリ部から前記係数のテンプレートとの差分、前記選択されたテンプレートを示すインデックス、および前記選択されたテンプレートを読み出して、復号化する復号化部205と、復号された前記係数のテンプレートとの差分と前記選択されたテンプレートとの和をとるテンプレート加算部207と、テンプレート加算後の前記係数を所定のブロック単位で逆直交変換して画素値を得る逆直交変換部206とを備える。本発明の別の態様もまた、動画像符号化装置である。この装置は、参照画像を用いて動き補償予測により動画像を符号化する動画像符号化装置であって、参照画像をテンプレート符号化して記憶する参照画像記憶部を備える。前記参照画像記憶部は、圧縮部1000と、メモリ部1001と、伸長部1002とを備える。前記圧縮部は、参照画像の画素値を所定のブロック単位で直交変換して係数を得る直交変換部200と、所定個数のテンプレートを保存する第1テンプレート保存部210と、前記第1テンプレート保存部からテンプレートを読み出して、ブロックの前記係数と各テンプレートとの差分の符号量およびテンプレートの符号量を評価して、いずれかのテンプレートを選択するテンプレート減算部202と、前記係数のテンプレートとの差分、選択されたテンプレートを示すインデックスを符号化し、前記メモリ部に書き出す符号化部201とを備える。前記メモリ部は、符号化後の前記係数のテンプレートとの差分および前記インデックスを保存する係数インデックス保存部203を備える。前記伸長部は、前記メモリ部から前記係数のテンプレートとの差分、および前記選択されたテンプレートを示すインデックスを読み出して、復号化する復号化部205と、前記圧縮部の第1テンプレート保存部と同じ所定個数のテンプレートを保存する第2テンプレート保存部211と、復号された前記インデックスが示すテンプレートを前記第2テンプレート保存部から読み出して、復号された前記係数のテンプレートとの差分と前記第2テンプレート保存部から読み出されたテンプレートとの和をとるテンプレート加算部207と、テンプレート加算後の前記係数を所定のブロック単位で逆直交変換して画素値を得る逆直交変換部206とを備える。本発明のさらに別の態様は、動画像符号化方法である。この方法は、参照画像を用いて動き補償予測により動画像を符号化する動画像符号化方法であって、参照画像をテンプレート符号化して記憶する参照画像記憶ステップを備える。前記参照画像記憶ステップは、圧縮ステップと、メモリ記憶ステップと、伸長ステップとを備える。前記圧縮ステップは、参照画像の画素値を所定のブロック単位で直交変換して係数を得る直交変換ステップと、所定個数のテンプレートに対して、ブロックの前記係数と各テンプレートとの差分の符号量およびテンプレートの符号量を評価して、いずれかのテンプレートを選択するテンプレート減算ステップと、前記係数のテンプレートとの差分、選択されたテンプレートを示すインデックス、および選択されたテンプレートを符号化し、メモリに書き出す符号化ステップとを備える。前記メモリ記憶ステップは、符号化後の前記係数のテンプレートとの差分および前記インデックスを前記メモリに保存する係数インデックス保存ステップと、前記係数インデックス保存ステップにて保存された全てのインデックスに対応する符号化後の前記テンプレートを前記メモリに保存するテンプレート保存ステップとを備える。前記伸長ステップは、前記メモリから前記係数のテンプレートとの差分、前記選択されたテンプレートを示すインデックス、および前記選択されたテンプレートを読み出して、復号化する復号化ステップと、復号された前記係数のテンプレートとの差分と前記選択されたテンプレートとの和をとるテンプレート加算ステップと、テンプレート加算後の前記係数を所定のブロック単位で逆直交変換して画素値を得る逆直交変換ステップとを備える。本発明のさらに別の態様もまた、動画像符号化方法である。この方法は、参照画像を用いて動き補償予測により動画像を符号化する動画像符号化方法であって、参照画像をテンプレート符号化して記憶する参照画像記憶ステップを備える。前記参照画像記憶ステップは、圧縮ステップと、メモリ記憶ステップと、伸長ステップとを備える。前記圧縮ステップは、参照画像の画素値を所定のブロック単位で直交変換して係数を得る直交変換ステップと、所定個数のテンプレートをメモリから読み出す第1テンプレート読み出しステップと、ブロックの前記係数と各テンプレートとの差分の符号量およびテンプレートの符号量を評価して、いずれかのテンプレートを選択するテンプレート減算ステップと、前記係数のテンプレートとの差分、選択されたテンプレートを示すインデックスを符号化し、メモリに書き出す符号化ステップとを備える。前記メモリ記憶ステップは、符号化後の前記係数のテンプレートとの差分および前記インデックスを保存する係数インデックス保存ステップを備える。前記伸長ステップは、保存された前記係数のテンプレートとの差分、および前記選択されたテンプレートを示すインデックスを読み出して、復号化する復号化ステップと、復号された前記インデックスが示すテンプレートをメモリから読み出す第2テンプレート読み出しステップと、復号された前記係数のテンプレートとの差分と前記第2テンプレート読み出しステップで読み出されたテンプレートとの和をとるテンプレート加算ステップと、テンプレート加算後の前記係数を所定のブロック単位で逆直交変換して画素値を得る逆直交変換ステップとを備える。なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。本発明によれば、参照画像メモリの容量を削減する際に参照画像を大きく劣化させないようにして、動画像の画質劣化を抑制することができる。本発明の実施の形態に係る動画像符号化装置及び動画像復号装置について図面を参照して説明する。実施の形態1図1は実施の形態1に係る動画像符号化装置の構成を示すブロックである。図1において点線で囲まれた参照画像記憶部の構成以外は、MPEG-4AVCを用いた動画像符号化装置と同様の動作をする。実施の形態の動画像符号化装置は、DCT部12、量子化部13、可変長符号化部14、逆量子化部15、逆DCT部16、デブロックフィルタ部17、動き推定ME部19、動き補償MC部20、イントラ予測部21、減算器24、加算器26、圧縮部100、メモリ部101、および伸長部102を備える。入力されたデジタル画像信号は、たとえば16×16画素で構成されるマクロブロック単位で符号化対象ブロックとして切り出され、減算器24、イントラ予測部21、およびME部19に供給される。減算器24は、入力された符号化対象ブロックから、イントラ予測部21またはMC部20から供給される予測画像ブロックを減じ、その結果を差分ブロックとしてDCTDiscreteCosineTransform部12に供給する。DCT部12は、差分ブロックをDCT変換し、直交変換された周波数成分信号に相当するDCT係数を生成する。DCT部12は、生成したDCT係数をマクロブロック単位でまとめて量子化部13に出力する。量子化部13は、DCT係数を除算する量子化処理を実行する。量子化部13は、量子化処理されたDCT係数を、逆量子化部15及び可変長符号化部14に供給する。可変長符号化部14は、量子化部13より供給された量子化されたDCT係数を可変長符号化し、符号化ストリームを出力する。逆量子化部15は、量子化部13より供給された量子化処理されたDCT係数に対して、量子化時に除算に用いられた値を乗算する逆量子化を実行し、逆量子化された結果を復号されたDCT係数として、逆DCT部16に出力する。逆DCT部16は、逆DCT処理を行い、復号された差分ブロックを生成する。逆DCT部16は、復号された差分ブロックを加算器26に供給する。加算器26は、イントラ予測部21またはMC部20から供給される予測画像ブロックと、逆DCT部16から供給される復号された差分ブロックとを加算し、局部復号ブロックを生成する。加算器26によって生成された局部復号ブロックは、デブロックフィルタ部17に供給される。イントラ予測部21は、入力される符号化対象ブロックと、符号化対象ブロックに隣接する符号化済みの復号ブロック画像とから、面内予測を行い、面内予測ブロックを出力する。デブロックフィルタ部17は、符号化対象ブロック内のDCT境界に対して、符号化処理で発生する歪を除去するための低域通過フィルタによりフィルタリングを施し、その結果を参照画像として、圧縮部100に供給する。圧縮部100は、参照画像を圧縮してメモリ部101に保持する。メモリ部101に格納された参照画像は、時間相関を用いた動き補償予測ブロックを生成するために用いられる。伸長部102は、メモリ部101に保持された圧縮後の参照画像を伸長し、ME部19に供給する。点線で囲まれた、圧縮部100、メモリ部101、および伸長部102は、参照画像をテンプレート符号化して保持する参照画像記憶部として機能する。ME部19は、符号化対象ブロックと伸長部102から供給される参照画像との間で、ブロックマッチングを行い、動きベクトルを検出する動き推定処理を行う。ME部19によって求められた動きベクトルは、MC部20に供給される。MC部20は、ME部19から供給された動きベクトルを用いて予測画像を生成し、出力する。図2は、図1の参照画像記憶部の詳細な構成を示す図である。参照画像記憶部は、圧縮部100、メモリ部101、および伸長部102を備える。圧縮部100は、DCT部200、符号化部201、およびテンプレート減算部202を備える。メモリ部101は、係数インデックス保存部203およびテンプレート保存部204を備える。伸長部102は、復号化部205、逆DCT部206、およびテンプレート加算部207を備える。圧縮部100の処理の流れについて図3を参照しながら説明する。圧縮部100のDCT部200は、デブロックフィルタ部17より入力された参照画像を8×8画素のブロック単位で区切り、画素値に対してDCT変換を行いS301、たとえば8ビットで量子化および逆量子化されるS302。この量子化および逆量子化の量子化パラメータは、係数の位置周波数帯域によって変えてもよく、量子化部13の量子化パラメータに合わせてもよく、メモリ部101の容量に応じて変えてもよい。逆量子化後のDC係数は、符号化部201によって、メモリ部101内の係数インデックス保存部203にゴロム符号化して保存されるS303。一方、テンプレート減算部202は、ブロックのAC係数をテンプレートT[n]としてテンプレート減算部202内に登録するS304。ここで、ブロックのAC係数が既に登録済みのいずれかのテンプレートと同じ値であれば、新たに登録しない。ここで、テンプレートとは、任意のAC係数M個のジグザグスキャン順の集合であり、いまM=5として図4のブロックの1から5の位置の係数を表す。また、テンプレート減算部202には、予めT[0]として図5に示す5つの係数が0のテンプレートが登録されている。さらに、nは現在のテンプレート数であり、予めT[0]が登録されているのでnの初期値は1となる。このnは最大128までとし、これ以上のテンプレートの登録は禁止する。この最大数は、メモリ部101の容量に応じて変化させても良い。次に、テンプレート減算部202は、AC係数CpとテンプレートT[i]pの差分を取り、符号量B[i]を以下の式により算出するS305。ここで、pはブロックのジグザグスキャン順の位置であり、iはテンプレートの種類を示すインデックスである。B[i]の第1項は、ブロックのAC係数とテンプレートの差分をゴロム符号化したときの符号量を表し、第2項は、テンプレート自身をゴロム符号化したときの符号量を表す。iを0からnまで変化させて符号量B[i]を算出し、符号量B[i]が最小となるテンプレートがT[0]であればS306Y、符号化部201はAC係数とインデックス0を係数インデックス保存部203に保存するS307。保存に際し、係数はゴロム符号化される。さらに、符号量B[i]が最小となるテンプレートがT[0]であったことから、ステップS304でテンプレート減算部202内に登録したT[n]は不要なので破棄するS308。一方、符号量B[i]が最小となるテンプレートがT[0]でなくT[i]ならばS306N、符号化部201はAC係数とT[i]の差分およびインデックスiを係数インデックス保存部203に保存するS309。保存に際し、係数の差分はゴロム符号化される。ステップS309の後、符号量B[i]が最小となるテンプレートのインデックスiがnでない場合S310のN、ステップS304でテンプレート減算部202内に登録したT[n]は当該ブロックのテンプレートとして使用されなかったことから、不要であるため破棄するS308。すなわち、テンプレートは新しいブロックをテンプレート符号化する度に作るのではなく、符号量B[i]が最小となるテンプレートが既にあれば、テンプレートを新しく登録せず、符号量B[i]が最小となる登録済みのテンプレートを利用する。一方、符号量B[i]が最小となるテンプレートのインデックスiがnの場合S310のY、テンプレートT[n]は新しいテンプレートとして利用されるため、符号化部201は、ステップS304でテンプレート減算部202内に登録したT[n]をテンプレート保存部204にゴロム符号化して保存するS311。テンプレートは、複数のブロックにわたって画像が似ている部分では共通のものが用いられる。つまり、テンプレートを用いることにより、複数のブロックの画像をまとめて効率的に符号化することができる。よって、テンプレートを用いずに符号化するのに比べて、符号量を削減することができる。これは、保存にかかるメモリの容量が決まっている場合にはより多くの情報を表現できることになるので、従来の技術のように参照画像メモリの容量を削減するためにAC係数を大きく量子化する必要がないので、従来の技術に比べて参照画像の劣化を抑えることができる。ここで、メモリ部101の構成について説明する。メモリ部101は、係数インデックス保存部203とテンプレート保存部204に分割されている。図6は、係数インデックス保存部203にブロック毎に係数とインデックスのデータを保存する際の配置を示す。8×8画素のブロック単位に区切って圧縮したデータは、図7に示すようにテンプレートのインデックス、DC係数、AC係数またはAC係数とテンプレートとの差分をまとめた形になっており、これを圧縮ブロックと呼ぶ。図6は、この圧縮ブロックを、画像のブロックに対応した位置に並べたメモリ配置を示す。このような配置により、動き推定時などにおける圧縮ブロックへのアクセスが容易になる。圧縮ブロックを保存する際、符号化部201は、全ての圧縮ブロックが同じ特定のビット数に収まるようにAC係数またはAC係数の差分を切り捨てる。この切り捨ては、係数の位置周波数帯域によって量子化する値を変えても良い。また、特定のビット数とは、メモリ部101の容量をbビットにする場合、参照画像を1フレーム分保存するものとして、特定のビット数=b-テンプレート保存部の容量/ブロック数である。いま、テンプレート数の最大は128、登録する係数は5個である。また、テンプレートに登録する係数の絶対値の最大を256に制限すれば、テンプレート保存部の容量は3840ビットである。さらに、輝度のみ考えて、ブロック数=画像の幅画像の高さ/88である。よって、画像の大きさが1920×1088で8bitの場合、これを圧縮して半分、すなわちメモリ圧縮率を1/2にするならば、b=192010888/2である。従って、係数インデックス保存部203の容量は1ブロック当たり255ビットとなる。ここで、インデックスは7ビット、DC係数は9ビットで表せるから、結局特定のビット数は239ビットとなる。この圧縮ブロックのデータは、ライン単位に配置してもよい。圧縮部100は、全てのブロックに対して以上の処理をする。ここで、上記の処理は8×8ブロック単位でなく、さらに小さい単位やさらに大きい単位で処理しても良い。また、インデックスをゴロム符号化しても良いし、ゴロム符号化以外の方法によって符号化しても良い。加えて、登録されるテンプレートは、DCT以外の直交変換やそれらの線形結合を用いても良い。次に、伸長部102の処理の流れについて図8を参照しながら説明する。伸長部102は圧縮ブロック単位で動作し、まず復号化部205が係数インデックス保存部203からインデックスiを読み出すS800。また、復号化部205は係数インデックス保存部203からDC係数と、AC係数またはAC係数の差分とを読み出し、ゴロム復号化するS801。ステップS800において読み出したインデックスiが0でない場合S802のN、復号化部205はテンプレート保存部204からテンプレートT[i]を読み出してゴロム復号化しS803、テンプレート加算部207はステップS801で読み出したAC係数の差分にテンプレートT[i]を加算しS804、ステップS805に進む。ステップS800において読み出したインデックスiが0である場合S802のY、テンプレートの加算は必要ではないから、ステップS805に進む。逆DCT部206は、DC係数および必要に応じてテンプレートが加算されたAC係数に対して、8×8画素のブロック単位で逆DCT変換を行いS805、参照画像の画素値を得る。伸長部102は、全ての圧縮ブロックに対して以上の処理をする。以上述べたように、図2の圧縮部100、メモリ部101、および伸長部102が参照画像のテンプレート符号化処理をすることにより、参照画像の劣化を抑制して参照画像メモリの容量を削減することができる。実施の形態2実施形態2に係る動画像符号化装置を説明する。実施形態2の動画像符号化装置は、図1の実施の形態1の動画像符号化装置の点線で囲まれた参照画像記憶部の構成だけが異なり、他は同じである。図9は実施の形態2に係る動画像符号化装置の参照画像記憶部の構成を示すブロック図である。図2に示した実施の形態1の動画像符号化装置の参照画像記憶部とは異なり、実施の形態2の動画像符号化装置の参照画像記憶部では、メモリ部1001にテンプレート保存部がなく、その代わりに、圧縮部1000および伸長部1002にテンプレート保存部210および211が設けられる。まず、実施の形態2の圧縮部1000について、図10を参照しながら説明する。圧縮部1000のDCT部200は、画像を8x8画素のブロック単位で区切り、デブロックフィルタ部17より入力された参照画像の画素値に対してDCT変換を行うS1001。次に、テンプレート減算部202は、AC係数とテンプレート保存部210に保存されたテンプレートとの差分をとり、評価値を算出するS1002。ここで、テンプレート保存部210に保存されたテンプレートとは、予めいくつかの画像に対してDCT変換し、出現頻度が高い係数をまとめた集合のことである。あるいは規格により、テンプレートを定義しておいてもよい。そして、テンプレート保存部210のメモリ容量は実施の形態1と同じく3840ビットであり、出現頻度が高い係数を持つテンプレートから順にできるだけ多く保存する。また、テンプレートT[i]による評価値E[i]は、以下の式により算出する。ここで、wpは係数が低域成分であるほど大きくなるような重み付けであり、図11に示す5つの値である。テンプレート保存部210にあるn個のテンプレートに対して評価値を算出する。評価値E[i]が最小となるテンプレートがT[0]であればS1003のY、符号化部201はインデックス0を係数インデックス保存部203に保存するS1004。さらに、符号化部201はDC係数およびAC係数をビットプレーン符号化して保存するS1005。一方、評価値が最小となるテンプレートがT[0]でなくT[i]ならばS1003のN、符号化部201はインデックスiを係数インデックス保存部203に保存するS1006。さらに、符号化部201はDC係数、およびAC係数とT[i]の差分をビットプレーン符号化して係数インデックス保存部203に保存するS1007。ビットプレーン符号化して保存する際、符号化部201は、全ての圧縮ブロックが同じ特定のビット数に収まるように下位ビットを切り捨てる。圧縮部1000は、全てのブロックに対して以上の処理をする。次に、伸長部1002の処理の流れを実施の形態1で用いた図8を参照しながら説明するが、実施の形態2では、図8におけるS803の処理は省略される。伸長部1002は圧縮ブロック単位で動作し、まず復号化部205が係数インデックス保存部203からインデックスiを読み出すS800。また、係数インデックス保存部203からDC係数およびAC係数を読み出し、ビットプレーン復号化するS801。ステップS800において読み出したインデックスiが0でない場合S802のN、テンプレート加算部207はステップS801で読み出したAC係数の差分にテンプレート保存部211に保存されているテンプレートT[i]を加算しS804、ステップS805に進む。ここで、テンプレート保存部211は、圧縮部1000のテンプレート減算部202にテンプレートを供給するテンプレート保存部210と同じものである。よって、圧縮部1000のテンプレート保存部210と、伸長部1002のテンプレート保存部211を共通にしても良い。ステップS800において読み出したインデックスiが0である場合S802のY、テンプレートの加算は必要ではないから、ステップS805に進む。逆DCT部206は、DC係数およびAC係数に対して、8×8画素のブロック単位で逆DCT変換を行いS805、参照画像の画素値を得る。伸長部1002は、全ての圧縮ブロックに対して以上の処理をする。以上述べたように、図9の圧縮部1000、メモリ部1001、伸長部1002が参照画像のテンプレート符号化処理をすることにより、参照画像の劣化を抑制して参照画像メモリの容量を削減することができる。さらに、メモリ部1001にテンプレート保存部がないことから、テンプレートの符号化、メモリ部1001へのテンプレートの保存および読み出し、テンプレートの復号化にかかる処理を削減することができる。すなわち、圧縮部1000および伸長部1002にテンプレート保存部210および211が設けられていることから、テンプレートを圧縮部1000と伸長部1002の間でやりとりする必要がなく、メモリ部1001にテンプレート保存部を設けた場合のようにテンプレートの保存、読み出しに必要なメモリアクセスが発生しない。このため、メモリ部1001の容量を抑え、メモリアクセスによるバスの輻輳を抑制することができる。実施の形態3図12は、実施の形態3に係る動画像復号装置の構成を示すブロックである。動画像復号装置は、実施の形態1および2の動画像符号化装置に対応するものであり、動画像符号化装置により生成される符号化ストリームを復号して動画像を再生する。図12において点線で囲まれた参照画像記憶部の構成以外は、MPEG-4AVCを用いた動画像復号化装置と同様の動作をする。実施の形態3の動画像復号装置は、可変長復号化部52、逆量子化部53、逆DCT部54、イントラ予測部55、動き補償MC部56、デブロックフィルタ部58、バッファ部59、加算器62、圧縮部1200、メモリ部1201、および伸長部1202を備える。図12の動画像復号装置の復号処理は、図1の動画像符号化装置の内部に設けられている復号処理に対応するものであるから、図12の逆量子化部53、逆DCT部54、イントラ予測部55、動き補償MC部56、デブロックフィルタ部58、および加算器62の各構成は、図1の動画像符号化装置の逆量子化部15、逆DCT部16、イントラ予測部21、MC部20、デブロックフィルタ部17、および加算器26の各構成とそれぞれ対応する機能を有する。可変長復号化部52は、入力された符号化ビットストリームより、符号化された動きベクトル情報と量子化されたDCT係数とを復号し、量子化されたDCT係数を逆量子化部53に出力し、面内予測情報をイントラ予測部55に出力し、動きベクトル情報をMC部56に出力する。イントラ予測部55は、隣接する符号化済みの復号ブロック画像を取得し、面内予測ブロックを生成し、加算器62に出力する。MC部56は、動きベクトルに従って、後述の参照画像記憶部より動き補償予測ブロックを取得し、加算器62に出力する。逆量子化部53、逆DCT部54、加算器62、デブロックフィルタ部58は、実施の形態1の動画像符号化装置の局部復号処理と同様の処理を行う。デブロックフィルタ部58により、符号化によるブロック歪を減少させる処理が施された復号画像は、バッファ部59に格納され、バッファ部59から復号画像の信号が出力される。実施の形態3の動画像復号化装置の参照画像記憶部は、圧縮部1200、メモリ部1201、および伸長部1202を備え、これらは、実施の形態1または実施の形態2の圧縮部100または1000、メモリ部101または1001、および伸長部102および1002と同じ構成であり、同じ動作をする。従来の動画像復号化装置には、圧縮部1200、メモリ部1201、伸長部1202の構成が存在しないため、実施の形態1や実施の形態2の動画像符号化装置によって符号化された符号化ストリームを復号すると、動画像符号化装置において圧縮伸長した参照画像と、動画像復号化装置において圧縮伸長しない参照画像とは不可逆圧縮による劣化分だけ違いがあるため、参照画像の不一致により、出力信号に顕著な画質劣化が発生する。それに対して、本実施の形態の動画像復号化装置は、動画像符号化装置と同じ圧縮部1200、メモリ部1201、および伸長部1202を備えるため、実施の形態1や実施の形態2の動画像符号化装置によって符号化された符号を復号する際に発生する顕著な画質劣化を防止することができる。以上述べたように、実施の形態の動画像符号化装置および動画像復号装置によれば、参照画像に対してテンプレートを用いて圧縮符号化することで、参照画像メモリの容量を小さくすることができ、メモリ容量に制限があっても、参照画像を量子化により大きく劣化させずにメモリに記憶できる。これにより参照画像を用いて符号化される動画像の画質の劣化を抑制することができる。以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ROMリードオンリメモリやフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星デジタル放送のデータ放送として提供することも可能である。以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。たとえば、実施の形態1および実施の形態2において、テンプレートを用いた圧縮と伸長の対象は参照画像であったが、画像の入力信号も同様にテンプレートを用いた圧縮と伸長の対象とすることで、逐次入力される信号を一時的に保持する入力画像メモリの容量を削減することができる。あるいは、実施の形態3のバッファ部59に保存される出力信号に対して同様にテンプレートを用いた圧縮と伸長の対象とすることで、適時出力される信号を一時的に保持する出力画像メモリの容量を削減することができる。実施の形態2において、テンプレート保存部210の構成は実施の形態1と同じにしたが、出現確率がたとえば10以上の係数を持つテンプレートを全て保存できるだけのメモリ容量を持つメモリで構成するようにしても良い。実施の形態では単一のブロックごとに処理しているが、これは複数のブロックをまとめて処理しても良い。また、スライスなど一定の符号化単位でテンプレートの使用の有無を切り換えるようにして、テンプレートが不得意とする複雑な画像を多く含むスライスにおいては参照画像のテンプレート符号化を使用せず、テンプレートのインデックスの保存にかかるメモリ量を削減できるようにしても良い。また、スライスなど一定の符号化単位でメモリ圧縮率を変えるようにして、参照頻度の低いスライスの圧縮率を高くしてメモリを削減したり、他のスライスより高画質にしたいスライスの圧縮率を低くして画質を優先できるようにしても良い。