(57)【要約】  動画像符号化装置１００は、予め定められた複数の処理を組み合わせることで、予測信号生成のために参照画像に対し行うべき処理方法を、複数の参照画像の各々について決定するとともに、処理ブロックごとに動き予測を行うことで動きベクトルおよび参照画像を各処理ブロックについて決定する予測信号生成方法制御部１０２と、処理ブロックについての参照画像に対し行うべき処理方法に基づいて、参照画像に対し処理を行うことで、当該処理ブロックについての予測信号を生成する予測信号生成部１０４と、各参照画像についての処理方法の情報を、処理ブロックごとの参照画像を特定する参照リスト番号および動きベクトル情報とともに符号化する符号化部１０７と、を備える。
2010131537.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象の画像を複数の処理ブロックに分割し、前記処理ブロックごとに、複数の参照画像のうち１つの参照画像を参照して予測信号を生成し予測符号化を行う動画像符号化装置であって、
予め定められた複数の処理を組み合わせることで、前記予測信号の生成のために前記参照画像に対し行うべき処理方法を、前記複数の参照画像の各々について決定するとともに、前記処理ブロックごとに動き予測を行うことで動きベクトルおよび参照画像を各処理ブロックについて決定する予測信号生成方法制御部と、
前記予測信号生成方法制御部により決定された前記処理ブロックについての参照画像に対し行うべき処理方法に基づいて、前記参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成部と、
前記予測信号生成方法制御部により決定された各参照画像についての前記処理方法の情報を、前記処理ブロックごとの参照画像を特定する参照リスト番号および動きベクトル情報とともに符号化する符号化部と、
を備えることを特徴とする動画像符号化装置。
【請求項２】
前記予測信号生成方法制御部は、
処理方法に基づいて前記参照画像に対し処理を行った場合に得られる予測信号と前記処理ブロックとの誤差が最小になる当該処理方法を、当該参照画像に対し行うべき処理方法として決定する、
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記予測信号生成方法制御部は、
前記処理ブロックごとに動き予測を行い、予測誤差が最小になる動きベクトルおよび参照画像を、当該処理ブロックについての動きベクトルおよび参照画像として決定する、
ことを特徴とする請求項１又は２に記載の動画像符号化装置。
【請求項４】
前記符号化部は、
前記予測信号生成方法制御部により決定された各参照画像についての前記処理方法の情報を、前記参照リスト番号に関連付けて記憶している、
ことを特徴とする請求項１〜３の何れか１項に記載の動画像符号化装置。
【請求項５】
復号化対象の画像が分割されて得られた複数の処理ブロックの各々について、複数の参照画像のうち１つの参照画像を参照して予測信号を生成し予測復号化を行う動画像復号化装置であって、
入力された符号化データから、前記予測信号を生成するために各参照画像に対し行うべき処理方法の情報、並びに、前記処理ブロックごとの参照画像を特定する参照リスト番号および動きベクトル情報を復号化する復号化部と、
前記復号化部により得られた、復号化対象の処理ブロックの参照リスト番号に基づいて、当該参照リスト番号に対応する参照画像に対し行うべき処理方法の情報を取得する予測信号生成方法制御部と、
前記予測信号生成方法制御部により取得された、前記復号化対象の処理ブロックについての参照画像に対し行うべき処理方法に基づいて、当該参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成部と、
を備えることを特徴とする動画像復号化装置。
【請求項６】
前記予測信号生成方法制御部は、
処理方法に基づいて前記参照画像に対し処理を行った場合に得られる予測信号と前記処理ブロックとの誤差が最小になる当該処理方法の情報を、当該参照画像に対し行うべき処理方法の情報として取得する、
ことを特徴とする請求項５に記載の動画像復号化装置。
【請求項７】
前記復号化部は、
復号化により取得された各参照画像についての前記処理方法の情報を、前記参照リスト番号に関連付けて記憶している、
ことを特徴とする請求項５又は６に記載の動画像復号化装置。
【請求項８】
符号化対象の画像を複数の処理ブロックに分割し、前記処理ブロックごとに、複数の参照画像のうち１つの参照画像を参照して予測信号を生成し予測符号化を行うための、動画像符号化装置により実行される動画像符号化方法であって、
予め定められた複数の処理を組み合わせることで、前記予測信号の生成のために前記参照画像に対し行うべき処理方法を、前記複数の参照画像の各々について決定するとともに、前記処理ブロックごとに動き予測を行うことで動きベクトルおよび参照画像を各処理ブロックについて決定する予測信号生成方法制御ステップと、
前記予測信号生成方法制御ステップにて決定された前記処理ブロックについての参照画像に対し行うべき処理方法に基づいて、前記参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成ステップと、
前記予測信号生成方法制御ステップにて決定された各参照画像についての前記処理方法の情報を、前記処理ブロックごとの参照画像を特定する参照リスト番号および動きベクトル情報とともに符号化する符号化ステップと、
を備えることを特徴とする動画像符号化方法。
【請求項９】
復号化対象の画像が分割されて得られた複数の処理ブロックの各々について、複数の参照画像のうち１つの参照画像を参照して予測信号を生成し予測復号化を行うための、動画像復号化装置により実行される動画像復号化方法であって、
入力された符号化データから、前記予測信号を生成するために各参照画像に対し行うべき処理方法の情報、並びに、前記処理ブロックごとの参照画像を特定する参照リスト番号および動きベクトル情報を復号化する復号化ステップと、
前記復号化ステップにて得られた、復号化対象の処理ブロックの参照リスト番号に基づいて、当該参照リスト番号に対応する参照画像に対し行うべき処理方法の情報を取得する予測信号生成方法制御ステップと、
前記予測信号生成方法制御ステップにて取得された、前記復号化対象の処理ブロックについての参照画像に対し行うべき処理方法に基づいて、当該参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成ステップと、
を備えることを特徴とする動画像復号化方法。
【請求項１０】
符号化対象の画像を複数の処理ブロックに分割し、前記処理ブロックごとに、複数の参照画像のうち１つの参照画像を参照して予測信号を生成し予測符号化を行うための動画像符号化プログラムであって、
コンピュータを、
予め定められた複数の処理を組み合わせることで、前記予測信号の生成のために前記参照画像に対し行うべき処理方法を、前記複数の参照画像の各々について決定するとともに、前記処理ブロックごとに動き予測を行うことで動きベクトルおよび参照画像を各処理ブロックについて決定する予測信号生成方法制御部と、
前記予測信号生成方法制御部により決定された前記処理ブロックについての参照画像に対し行うべき処理方法に基づいて、前記参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成部と、
前記予測信号生成方法制御部により決定された各参照画像についての前記処理方法の情報を、前記処理ブロックごとの参照画像を特定する参照リスト番号および動きベクトル情報とともに符号化する符号化部、
として動作させることを特徴とする動画像符号化プログラム。
【請求項１１】
復号化対象の画像が分割されて得られた複数の処理ブロックの各々について、複数の参照画像のうち１つの参照画像を参照して予測信号を生成し予測復号化を行うための動画像復号化プログラムであって、
コンピュータを、
入力された符号化データから、前記予測信号を生成するために各参照画像に対し行うべき処理方法の情報、並びに、前記処理ブロックごとの参照画像を特定する参照リスト番号および動きベクトル情報を復号化する復号化部と、
前記復号化部により得られた、復号化対象の処理ブロックの参照リスト番号に基づいて、当該参照リスト番号に対応する参照画像に対し行うべき処理方法の情報を取得する予測信号生成方法制御部と、
前記予測信号生成方法制御部により取得された、前記復号化対象の処理ブロックについての参照画像に対し行うべき処理方法に基づいて、当該参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成部、
として動作させることを特徴とする動画像復号化プログラム。
【請求項１２】
符号化対象の画像を複数の処理ブロックに分割し、前記処理ブロックごとに、複数組の参照画像群のうち一組の参照画像群を参照して予測信号を生成し予測符号化を行う動画像符号化装置であって、
予め定められた複数の処理を組み合わせることで、前記予測信号の生成のために前記参照画像群の各参照画像に対し行うべき処理方法を、前記複数組の参照画像群の各参照画像について決定するとともに、前記処理ブロックごとに動き予測を行うことで動きベクトルおよび参照画像群を各処理ブロックについて決定する予測信号生成方法制御部と、
前記予測信号生成方法制御部により決定された前記処理ブロックについての参照画像群の各参照画像に対し行うべき処理方法に基づいて、前記参照画像群の各参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成部と、
前記予測信号生成方法制御部により決定された各組の参照画像群についての前記処理方法の情報群を、前記処理ブロックごとの参照画像群を特定する参照リスト番号群および動きベクトル情報とともに符号化する符号化部と、
を備えることを特徴とする動画像符号化装置。
【請求項１３】
復号化対象の画像が分割されて得られた複数の処理ブロックの各々について、複数組の参照画像群のうち一組の参照画像群を参照して予測信号を生成し予測復号化を行う動画像復号化装置であって、
入力された符号化データから、前記予測信号を生成するために各組の参照画像群の各参照画像に対し行うべき処理方法の情報群、並びに、前記処理ブロックごとの参照画像群を特定する参照リスト番号群および動きベクトル情報を復号化する復号化部と、
前記復号化部により得られた、復号化対象の処理ブロックの参照リスト番号群に基づいて、当該参照リスト番号群に対応する参照画像群の各参照画像に対し行うべき処理方法の情報群を取得する予測信号生成方法制御部と、
前記予測信号生成方法制御部により取得された、前記復号化対象の処理ブロックについての参照画像群の各参照画像に対し行うべき処理方法に基づいて、当該参照画像群の各参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成部と、
を備えることを特徴とする動画像復号化装置。
【請求項１４】
符号化対象の画像を複数の処理ブロックに分割し、前記処理ブロックごとに、複数組の参照画像群のうち一組の参照画像群を参照して予測信号を生成し予測符号化を行うための、動画像符号化装置により実行される動画像符号化方法であって、
予め定められた複数の処理を組み合わせることで、前記予測信号の生成のために前記参照画像群の各参照画像に対し行うべき処理方法を、前記複数組の参照画像群の各参照画像について決定するとともに、前記処理ブロックごとに動き予測を行うことで動きベクトルおよび参照画像群を各処理ブロックについて決定する予測信号生成方法制御ステップと、
前記予測信号生成方法制御ステップにて決定された前記処理ブロックについての参照画像群の各参照画像に対し行うべき処理方法に基づいて、前記参照画像群の各参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成ステップと、
前記予測信号生成方法制御ステップにて決定された各組の参照画像群についての前記処理方法の情報群を、前記処理ブロックごとの参照画像群を特定する参照リスト番号群および動きベクトル情報とともに符号化する符号化ステップと、
を備えることを特徴とする動画像符号化方法。
【請求項１５】
復号化対象の画像が分割されて得られた複数の処理ブロックの各々について、複数組の参照画像群のうち一組の参照画像群を参照して予測信号を生成し予測復号化を行うための、動画像復号化装置により実行される動画像復号化方法であって、
入力された符号化データから、前記予測信号を生成するために各組の参照画像群の各参照画像に対し行うべき処理方法の情報群、並びに、前記処理ブロックごとの参照画像群を特定する参照リスト番号群および動きベクトル情報を復号化する復号化ステップと、
前記復号化ステップにて得られた、復号化対象の処理ブロックの参照リスト番号群に基づいて、当該参照リスト番号群に対応する参照画像群の各参照画像に対し行うべき処理方法の情報群を取得する予測信号生成方法制御ステップと、
前記予測信号生成方法制御ステップにて取得された、前記復号化対象の処理ブロックについての参照画像群の各参照画像に対し行うべき処理方法に基づいて、当該参照画像群の各参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成ステップと、
を備えることを特徴とする動画像復号化方法。
【請求項１６】
符号化対象の画像を複数の処理ブロックに分割し、前記処理ブロックごとに、複数組の参照画像群のうち一組の参照画像群を参照して予測信号を生成し予測符号化を行うための動画像符号化プログラムであって、
コンピュータを、
予め定められた複数の処理を組み合わせることで、前記予測信号の生成のために前記参照画像群の各参照画像に対し行うべき処理方法を、前記複数組の参照画像群の各参照画像について決定するとともに、前記処理ブロックごとに動き予測を行うことで動きベクトルおよび参照画像群を各処理ブロックについて決定する予測信号生成方法制御部と、
前記予測信号生成方法制御部により決定された前記処理ブロックについての参照画像群の各参照画像に対し行うべき処理方法に基づいて、前記参照画像群の各参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成部と、
前記予測信号生成方法制御部により決定された各組の参照画像群についての前記処理方法の情報群を、前記処理ブロックごとの参照画像群を特定する参照リスト番号群および動きベクトル情報とともに符号化する符号化部、
として動作させることを特徴とする動画像符号化プログラム。
【請求項１７】
復号化対象の画像が分割されて得られた複数の処理ブロックの各々について、複数組の参照画像群のうち一組の参照画像群を参照して予測信号を生成し予測復号化を行うための動画像復号化プログラムであって、
コンピュータを、
入力された符号化データから、前記予測信号を生成するために各組の参照画像群の各参照画像に対し行うべき処理方法の情報群、並びに、前記処理ブロックごとの参照画像群を特定する参照リスト番号群および動きベクトル情報を復号化する復号化部と、
前記復号化部により得られた、復号化対象の処理ブロックの参照リスト番号群に基づいて、当該参照リスト番号群に対応する参照画像群の各参照画像に対し行うべき処理方法の情報群を取得する予測信号生成方法制御部と、
前記予測信号生成方法制御部により取得された、前記復号化対象の処理ブロックについての参照画像群の各参照画像に対し行うべき処理方法に基づいて、当該参照画像群の各参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成部、
として動作させることを特徴とする動画像復号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、方法およびプログラム、並びに、動画像復号化装置、方法およびプログラムに関するものである。
【背景技術】
【０００２】
動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではＭＰＥＧ−１〜４やＩＴＵ（International  Telecommunication  Union）Ｈ．２６１〜Ｈ．２６４の方式が広く用いられている。動画像の符号化では、時間的に隣接する他の画像を用いて、符号化の対象となる対象画像に対する予測信号を生成して、対象画像と予測信号との差分を符号化することにより、データ量の削減を実現する。この手法はフレーム間予測符号化と呼ばれる。【０００３】
例えば、Ｈ．２６４では、１フレームの画像を１６×１６画素からなるブロックの複数の領域に分割し、上記画像に対しブロック単位で符号化処理を行う。フレーム間予測符号化では、対象画像のある処理ブロックに対し、符号化済みで復元された複数の他のフレーム画像（以下「既再生画像」と呼ぶ）を参照画像とした動き予測を行うことによって予測信号を生成する。このとき予測信号は、複数の参照画像に同一の固定の画素補間フィルタをかけて生成された１／４画素精度の予測信号候補に対してブロックマッチングを行い、処理ブロックとの誤差を符号化したときの符号量と、参照画像の識別子および処理ブロックからの変位（動きベクトル）を符号化したときの符号量との和が最も小さくなる予測信号候補を選ぶことで生成される。次に、上記処理ブロックと生成された予測信号との差分値に対し離散コサイン変換と量子化処理を行って、符号化データを生成する。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】大久保、角野、菊池、鈴木、“Ｈ．２６４／ＡＶＣ教科書”、株式会社インプレス、２００４年、第１１３〜第１１９ページ
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１で示したフレーム間予測符号化では、既再生画像の参照画像が複数ある場合に、全ての参照画像に対して同一の処理を行い、予測信号候補を生成している。具体的には、複数の既再生画像の参照画像に対して、同一の固定の画素補間フィルタをかけて予測信号候補を生成している。したがって、参照画像ごとに最適になるような処理を行うことは困難であり、符号化対象の画像に応じたフレーム間予測符号化のための予測信号を生成することは困難であった。【０００６】
本発明は、上記課題を解決するために成されたものであり、対象となるフレーム画像の処理ブロックに合った好適な予測信号を提供することにより、高い効率で符号化又は復号化を行うことを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の一側面に係る動画像符号化装置は、符号化対象の画像を複数の処理ブロックに分割し、前記処理ブロックごとに、複数の参照画像のうち１つの参照画像を参照して予測信号を生成し予測符号化を行う動画像符号化装置であって、予め定められた複数の処理を組み合わせることで、前記予測信号の生成のために前記参照画像に対し行うべき処理方法を、前記複数の参照画像の各々について決定するとともに、前記処理ブロックごとに動き予測を行うことで動きベクトルおよび参照画像を各処理ブロックについて決定する予測信号生成方法制御部と、前記予測信号生成方法制御部により決定された前記処理ブロックについての参照画像に対し行うべき処理方法に基づいて、前記参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成部と、前記予測信号生成方法制御部により決定された各参照画像についての前記処理方法の情報を、前記処理ブロックごとの参照画像を特定する参照リスト番号および動きベクトル情報とともに符号化する符号化部と、を備えることを特徴とする。【０００８】
上記の動画像符号化装置では、予め定められた複数の処理を組み合わせることで、予測信号の生成のために参照画像に対し行うべき処理方法を、複数の参照画像の各々について決定し、決定された処理ブロックについての参照画像に対し行うべき処理方法に基づいて、参照画像に対し処理を行うことで、当該処理ブロックについての予測信号を生成するため、処理ブロックに合った好適な参照画像を提供することにより高い効率で符号化を行うことができる。【０００９】
このとき、予測信号生成方法制御部は、処理方法に基づいて前記参照画像に対し処理を行った場合に得られる予測信号と処理ブロックとの誤差が最小になる当該処理方法を、当該参照画像に対し行うべき処理方法として決定する構成としてもよい。これにより、処理ブロックに合った好適な予測信号を提供することが可能となり、高い効率で符号化することが可能となる。【００１０】
なお、予測信号生成方法制御部は、前記処理ブロックごとに動き予測を行い、予測誤差が最小になる動きベクトルおよび参照画像を、当該処理ブロックについての動きベクトルおよび参照画像として決定する構成としてもよい。【００１１】
また、符号化部は、前記予測信号生成方法制御部により決定された各参照画像についての前記処理方法の情報を、前記参照リスト番号に関連付けて記憶する構成としてもよい。【００１２】
上記の動画像符号化装置に係る発明は、動画像符号化方法に係る発明および動画像符号化プログラムに係る発明として捉えることができ、以下のように記述することができる。これらは、動画像符号化装置に係る発明と同様の作用・効果を奏する。【００１３】
本発明の一側面に係る動画像符号化方法は、符号化対象の画像を複数の処理ブロックに分割し、前記処理ブロックごとに、複数の参照画像のうち１つの参照画像を参照して予測信号を生成し予測符号化を行うための、動画像符号化装置により実行される動画像符号化方法であって、予め定められた複数の処理を組み合わせることで、前記予測信号の生成のために前記参照画像に対し行うべき処理方法を、前記複数の参照画像の各々について決定するとともに、前記処理ブロックごとに動き予測を行うことで動きベクトルおよび参照画像を各処理ブロックについて決定する予測信号生成方法制御ステップと、前記予測信号生成方法制御ステップにて決定された前記処理ブロックについての参照画像に対し行うべき処理方法に基づいて、前記参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成ステップと、前記予測信号生成方法制御ステップにて決定された各参照画像についての前記処理方法の情報を、前記処理ブロックごとの参照画像を特定する参照リスト番号および動きベクトル情報とともに符号化する符号化ステップと、を備えることを特徴とする。【００１４】
本発明の一側面に係る動画像符号化プログラムは、符号化対象の画像を複数の処理ブロックに分割し、前記処理ブロックごとに、複数の参照画像のうち１つの参照画像を参照して予測信号を生成し予測符号化を行うための動画像符号化プログラムであって、コンピュータを、予め定められた複数の処理を組み合わせることで、前記予測信号の生成のために前記参照画像に対し行うべき処理方法を、前記複数の参照画像の各々について決定するとともに、前記処理ブロックごとに動き予測を行うことで動きベクトルおよび参照画像を各処理ブロックについて決定する予測信号生成方法制御部と、前記予測信号生成方法制御部により決定された前記処理ブロックについての参照画像に対し行うべき処理方法に基づいて、前記参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成部と、前記予測信号生成方法制御部により決定された各参照画像についての前記処理方法の情報を、前記処理ブロックごとの参照画像を特定する参照リスト番号および動きベクトル情報とともに符号化する符号化部、として動作させることを特徴とする。【００１５】
上記目的を達成するために、本発明の一側面に係る動画像復号化装置は、復号化対象の画像が分割されて得られた複数の処理ブロックの各々について、複数の参照画像のうち１つの参照画像を参照して予測信号を生成し予測復号化を行う動画像復号化装置であって、入力された符号化データから、前記予測信号を生成するために各参照画像に対し行うべき処理方法の情報、並びに、前記処理ブロックごとの参照画像を特定する参照リスト番号および動きベクトル情報を復号化する復号化部と、前記復号化部により得られた、復号化対象の処理ブロックの参照リスト番号に基づいて、当該参照リスト番号に対応する参照画像に対し行うべき処理方法の情報を取得する予測信号生成方法制御部と、前記予測信号生成方法制御部により取得された、前記復号化対象の処理ブロックについての参照画像に対し行うべき処理方法に基づいて、当該参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成部と、を備えることを特徴とする。【００１６】
上記の動画像復号化装置では、入力された符号化データから、予測信号を生成するために各参照画像に対し行うべき処理方法の情報、並びに、処理ブロックごとの参照画像を特定する参照リスト番号および動きベクトル情報を復号化し、復号化対象の処理ブロックの参照リスト番号に基づいて、当該参照リスト番号に対応する参照画像に対し行うべき処理方法の情報を取得し、復号化対象の処理ブロックについての参照画像に対し行うべき処理方法に基づいて当該参照画像に対し処理を行うことで、当該処理ブロックについての予測信号を生成するため、処理ブロックに合った好適な参照画像を提供することにより高い効率で復号化を行うことができる。【００１７】
このとき、予測信号生成方法制御部は、処理方法に基づいて前記参照画像に対し処理を行った場合に得られる予測信号と前記処理ブロックとの誤差が最小になる当該処理方法の情報を、当該参照画像に対し行うべき処理方法の情報として取得する構成としてもよい。これにより、処理ブロックに合った好適な参照画像を提供することにより高い効率で復号化を行うことができる。【００１８】
なお、復号化部は、復号化により取得された各参照画像についての前記処理方法の情報を、前記参照リスト番号に関連付けて記憶する構成としてもよい。【００１９】
上記の動画像復号化装置に係る発明は、動画像復号化方法に係る発明および動画像復号化プログラムに係る発明として捉えることができ、以下のように記述することができる。これらは、動画像復号化装置に係る発明と同様の作用・効果を奏する。【００２０】
本発明の一側面に係る動画像復号化方法は、復号化対象の画像が分割されて得られた複数の処理ブロックの各々について、複数の参照画像のうち１つの参照画像を参照して予測信号を生成し予測復号化を行うための、動画像復号化装置により実行される動画像復号化方法であって、入力された符号化データから、前記予測信号を生成するために各参照画像に対し行うべき処理方法の情報、並びに、前記処理ブロックごとの参照画像を特定する参照リスト番号および動きベクトル情報を復号化する復号化ステップと、前記復号化ステップにて得られた、復号化対象の処理ブロックの参照リスト番号に基づいて、当該参照リスト番号に対応する参照画像に対し行うべき処理方法の情報を取得する予測信号生成方法制御ステップと、前記予測信号生成方法制御ステップにて取得された、前記復号化対象の処理ブロックについての参照画像に対し行うべき処理方法に基づいて、当該参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成ステップと、を備えることを特徴とする。【００２１】
本発明の一側面に係る動画像復号化プログラムは、復号化対象の画像が分割されて得られた複数の処理ブロックの各々について、複数の参照画像のうち１つの参照画像を参照して予測信号を生成し予測復号化を行うための動画像復号化プログラムであって、コンピュータを、入力された符号化データから、前記予測信号を生成するために各参照画像に対し行うべき処理方法の情報、並びに、前記処理ブロックごとの参照画像を特定する参照リスト番号および動きベクトル情報を復号化する復号化部と、前記復号化部により得られた、復号化対象の処理ブロックの参照リスト番号に基づいて、当該参照リスト番号に対応する参照画像に対し行うべき処理方法の情報を取得する予測信号生成方法制御部と、前記予測信号生成方法制御部により取得された、前記復号化対象の処理ブロックについての参照画像に対し行うべき処理方法に基づいて、当該参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成部、として動作させることを特徴とする。【００２２】
ところで、本発明は、単一の参照画像でなく、複数の参照画像群を参照して予測信号を生成し予測符号化を行うための、動画像符号化装置、動画像符号化方法および動画像符号化プログラムについても適用することができ、以下のように記述することができる。【００２３】
本発明の一側面に係る動画像符号化装置は、符号化対象の画像を複数の処理ブロックに分割し、前記処理ブロックごとに、複数組の参照画像群のうち一組の参照画像群を参照して予測信号を生成し予測符号化を行う動画像符号化装置であって、予め定められた複数の処理を組み合わせることで、前記予測信号の生成のために前記参照画像群の各参照画像に対し行うべき処理方法を、前記複数組の参照画像群の各参照画像について決定するとともに、前記処理ブロックごとに動き予測を行うことで動きベクトルおよび参照画像群を各処理ブロックについて決定する予測信号生成方法制御部と、前記予測信号生成方法制御部により決定された前記処理ブロックについての参照画像群の各参照画像に対し行うべき処理方法に基づいて、前記参照画像群の各参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成部と、前記予測信号生成方法制御部により決定された各組の参照画像群についての前記処理方法の情報群を、前記処理ブロックごとの参照画像群を特定する参照リスト番号群および動きベクトル情報とともに符号化する符号化部と、を備えることを特徴とする。【００２４】
本発明の一側面に係る動画像符号化方法は、符号化対象の画像を複数の処理ブロックに分割し、前記処理ブロックごとに、複数組の参照画像群のうち一組の参照画像群を参照して予測信号を生成し予測符号化を行うための、動画像符号化装置により実行される動画像符号化方法であって、予め定められた複数の処理を組み合わせることで、前記予測信号の生成のために前記参照画像群の各参照画像に対し行うべき処理方法を、前記複数組の参照画像群の各参照画像について決定するとともに、前記処理ブロックごとに動き予測を行うことで動きベクトルおよび参照画像群を各処理ブロックについて決定する予測信号生成方法制御ステップと、前記予測信号生成方法制御ステップにて決定された前記処理ブロックについての参照画像群の各参照画像に対し行うべき処理方法に基づいて、前記参照画像群の各参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成ステップと、前記予測信号生成方法制御ステップにて決定された各組の参照画像群についての前記処理方法の情報群を、前記処理ブロックごとの参照画像群を特定する参照リスト番号群および動きベクトル情報とともに符号化する符号化ステップと、を備えることを特徴とする。【００２５】
本発明の一側面に係る動画像符号化プログラムは、符号化対象の画像を複数の処理ブロックに分割し、前記処理ブロックごとに、複数組の参照画像群のうち一組の参照画像群を参照して予測信号を生成し予測符号化を行うための動画像符号化プログラムであって、コンピュータを、予め定められた複数の処理を組み合わせることで、前記予測信号の生成のために前記参照画像群の各参照画像に対し行うべき処理方法を、前記複数組の参照画像群の各参照画像について決定するとともに、前記処理ブロックごとに動き予測を行うことで動きベクトルおよび参照画像群を各処理ブロックについて決定する予測信号生成方法制御部と、前記予測信号生成方法制御部により決定された前記処理ブロックについての参照画像群の各参照画像に対し行うべき処理方法に基づいて、前記参照画像群の各参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成部と、前記予測信号生成方法制御部により決定された各組の参照画像群についての前記処理方法の情報群を、前記処理ブロックごとの参照画像群を特定する参照リスト番号群および動きベクトル情報とともに符号化する符号化部、として動作させることを特徴とする。【００２６】
ところで、本発明は、単一の参照画像でなく、複数の参照画像群を参照して予測信号を生成し予測復号化を行うための、動画像復号化装置、動画像復号化方法および動画像復号化プログラムについても適用することができ、以下のように記述することができる。【００２７】
本発明の一側面に係る動画像復号化装置は、復号化対象の画像が分割されて得られた複数の処理ブロックの各々について、複数組の参照画像群のうち一組の参照画像群を参照して予測信号を生成し予測復号化を行う動画像復号化装置であって、入力された符号化データから、前記予測信号を生成するために各組の参照画像群の各参照画像に対し行うべき処理方法の情報群、並びに、前記処理ブロックごとの参照画像群を特定する参照リスト番号群および動きベクトル情報を復号化する復号化部と、前記復号化部により得られた、復号化対象の処理ブロックの参照リスト番号群に基づいて、当該参照リスト番号群に対応する参照画像群の各参照画像に対し行うべき処理方法の情報群を取得する予測信号生成方法制御部と、前記予測信号生成方法制御部により取得された、前記復号化対象の処理ブロックについての参照画像群の各参照画像に対し行うべき処理方法に基づいて、当該参照画像群の各参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成部と、を備えることを特徴とする。【００２８】
本発明の一側面に係る動画像復号化方法は、復号化対象の画像が分割されて得られた複数の処理ブロックの各々について、複数組の参照画像群のうち一組の参照画像群を参照して予測信号を生成し予測復号化を行うための、動画像復号化装置により実行される動画像復号化方法であって、入力された符号化データから、前記予測信号を生成するために各組の参照画像群の各参照画像に対し行うべき処理方法の情報群、並びに、前記処理ブロックごとの参照画像群を特定する参照リスト番号群および動きベクトル情報を復号化する復号化ステップと、前記復号化ステップにて得られた、復号化対象の処理ブロックの参照リスト番号群に基づいて、当該参照リスト番号群に対応する参照画像群の各参照画像に対し行うべき処理方法の情報群を取得する予測信号生成方法制御ステップと、前記予測信号生成方法制御ステップにて取得された、前記復号化対象の処理ブロックについての参照画像群の各参照画像に対し行うべき処理方法に基づいて、当該参照画像群の各参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成ステップと、を備えることを特徴とする。【００２９】
本発明の一側面に係る動画像復号化プログラムは、復号化対象の画像が分割されて得られた複数の処理ブロックの各々について、複数組の参照画像群のうち一組の参照画像群を参照して予測信号を生成し予測復号化を行うための動画像復号化プログラムであって、コンピュータを、入力された符号化データから、前記予測信号を生成するために各組の参照画像群の各参照画像に対し行うべき処理方法の情報群、並びに、前記処理ブロックごとの参照画像群を特定する参照リスト番号群および動きベクトル情報を復号化する復号化部と、前記復号化部により得られた、復号化対象の処理ブロックの参照リスト番号群に基づいて、当該参照リスト番号群に対応する参照画像群の各参照画像に対し行うべき処理方法の情報群を取得する予測信号生成方法制御部と、前記予測信号生成方法制御部により取得された、前記復号化対象の処理ブロックについての参照画像群の各参照画像に対し行うべき処理方法に基づいて、当該参照画像群の各参照画像に対し処理を行うことで、当該処理ブロックについての前記予測信号を生成する予測信号生成部、として動作させることを特徴とする。
【発明の効果】
【００３０】
本発明によれば、予め定められた複数の処理を組み合わせることで、予測信号の生成のために参照画像に対し行うべき処理方法を、複数の参照画像の各々について決定し、決定された処理ブロックについての参照画像に対し行うべき処理方法に基づいて、参照画像に対し処理を行うことで、当該処理ブロックについての予測信号を生成するため、処理ブロックに合った好適な参照画像を提供することにより高い効率で符号化を行うことができる。【００３１】
また、本発明によれば、入力された符号化データから、予測信号を生成するために各参照画像に対し行うべき処理方法の情報、並びに、処理ブロックごとの参照画像を特定する参照リスト番号および動きベクトル情報を復号化し、復号化対象の処理ブロックの参照リスト番号に基づいて、当該参照リスト番号に対応する参照画像に対し行うべき処理方法の情報を取得し、復号化対象の処理ブロックについての参照画像に対し行うべき処理方法に基づいて当該参照画像に対し処理を行うことで、当該処理ブロックについての予測信号を生成するため、処理ブロックに合った好適な参照画像を提供することにより高い効率で復号化を行うことができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の一側面の実施形態に係る動画像符号化装置のブロック図である。
【図２】参照リストを示す図である。
【図３】予測信号を生成するための処理方法のリストを示す図である。
【図４】参照リスト番号とその符号の表を示す図である。
【図５】予測信号を生成するための処理方法とその符号の表を示す図である。
【図６】画素補間フィルタの種類のリスト番号が２又は３以外の場合の、ある参照画像における符号化された予測信号生成方法符号化データの模式図である。
【図７】画素補間フィルタの種類のリスト番号が２又は３の場合の、ある参照画像における符号化された予測信号生成方法符号化データの模式図である。
【図８】符号化データの模式図である。
【図９】本発明の一側面の実施形態に係る動画像符号化方法のフローチャートである。
【図１０】本発明の一側面の実施形態に係る動画像復号化装置のブロック図である。
【図１１】符参照リスト番号の符号とその参照リスト番号の表を示す図である。
【図１２】予測信号を生成するための処理方法の符号とその処理方法のリスト番号の表を示す図である。
【図１３】参照リストを示す図である。
【図１４】予測信号を生成するための処理方法のリストを示す図である。
【図１５】本発明の一側面の実施形態に係る動画像復号化方法の処理を示すフローチャートである。
【図１６】本発明の一側面の実施形態に係る動画像符号化プログラムの構成を示す図である。
【図１７】本発明の一側面の実施形態に係る動画像復号化プログラムの構成を示す図である。
【図１８】輝度補償予測の処理の有無を示すリストの表の図である。
【図１９】輝度補償予測の処理の有無とその符号の表を示す図である。
【図２０】予測信号生成方法符号化データの模式図である。
【図２１】輝度補償予測の処理の有無とその符号の表を示す図である。
【図２２】輝度補償予測の処理の有無を示すリストの表の図である。
【図２３】予測信号を生成するための処理に関する情報とその識別番号を示した表を示す図である。
【図２４】予測信号生成方法符号化データの模式図である。
【図２５】予測信号生成方法符号化データの模式図である。
【図２６】符号化データの模式図である。
【図２７】予測信号生成方法符号化データの模式図である。
【図２８】予測信号生成方法符号化データの模式図である。
【図２９】予測信号生成方法符号化データの模式図である。
【図３０】予測信号を生成するための処理に関する情報群とその識別番号を示した表を示す図である。
【図３１】予測信号生成方法符号化データの模式図である。
【図３２】予測信号生成方法符号化データの模式図である。
【図３３】符号化データの模式図である。
【図３４】符号化データの模式図である。
【図３５】予測信号生成方法符号化データの模式図である。
【図３６】予測信号生成方法符号化データの模式図である。
【図３７】符号化データの模式図である。
【図３８】変形例１における予測信号生成方法情報の符号化に係る処理を示すフローチャートである。
【図３９】変形例１における予測信号生成方法情報の復号化に係る処理を示すフローチャートである。
【図４０】変形例２における予測信号生成方法情報群の符号化に係る処理を示すフローチャートである。
【図４１】変形例２における予測信号生成方法情報群の復号化に係る処理を示すフローチャートである。
【図４２】記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成図である。
【図４３】図４２のコンピュータの斜視図である。
【図４４】図１４（ｂ）の別の例を示す表である。
【図４５】図２３の別の例を示す表である。
【発明を実施するための形態】
【００３３】
以下、図面を用いて本発明の一側面の実施形態について説明する。なお、各図面において、同一又は相当の部分に対しては同一の符号を附すこととする。
【００３４】
（動画像符号化装置について）
図１は、本発明の一側面の実施形態による動画像符号化装置１００のブロック図を示す。動画像符号化装置１００は、入力部１０１、予測信号生成方法制御部１０２、フレームメモリ１０３、予測信号生成部１０４、減算器１０５、変換／量子化部１０６、符号化部１０７、逆量子化／逆変換部１０８、加算器１０９、および出力部１１０を備えている。以上のように構成された動画像符号化装置１００について、以下、各部の機能を述べる。
【００３５】
入力部１０１は、動画像を構成する複数の画像を入力する。次に入力部１０１は、符号化の対象となる画像を８×８画素からなる複数の処理ブロックに分割する。次に入力部１０１は、処理対象となる処理ブロックをラインＬ１１１経由で予測信号生成方法制御部１０２および減算器１０５に出力する。なお、処理ブロックの大きさは、８×８画素に限定されるものではない。
【００３６】
予測信号生成方法制御部１０２は、予め記憶している複数の処理を組み合わせることで、予測信号生成のための処理方法を参照画像ごとに決定する。このとき、予測信号生成方法制御部１０２は、ラインＬ１１７経由で入力されたフレームメモリ１０３内の参照画像を使って、入力部１０１からラインＬ１１１経由で入力された符号化対象の処理ブロックを動き予測したときに誤差信号が最も小さくなるように、予め記憶している複数の処理を組み合わせて予測信号生成のための処理方法を参照画像ごとに決定する。なお、予測信号生成方法制御部１０２が複数の処理を組み合わせて予測信号生成のための処理方法を決定する方法は上記に限定されない。予測信号生成方法制御部１０２は、符号化するフレーム画像ごとに、各参照画像に対して行う処理方法の情報をラインＬ１１２経由で予測信号生成部１０４へ出力する。また、予測信号生成方法制御部１０２は、符号化するフレーム画像ごとに、各参照画像に対して行う処理の情報を、ラインＬ１１３経由で符号化部１０７に出力する。次に、予測信号生成方法制御部１０２は、符号化対象の処理ブロックごとに動き予測を行い、予測誤差が最も小さくなる動きベクトルと参照画像の情報をラインＬ１１６経由でフレームメモリ１０３および符号化部１０７に出力する。なお、予測信号生成方法制御部１０２が動き予測を行って動きベクトルと参照画像の情報を決定する方法は、上記には限定されない。
【００３７】
フレームメモリ１０３は、過去に符号化済みでその後復元された複数の参照画像を記憶している。フレームメモリ１０３は、予測信号生成方法制御部１０２において、各参照画像に対して行う予測信号生成のための処理方法を決定するために、参照画像をラインＬ１１７経由で予測信号生成方法制御部１０２へ出力する。また、フレームメモリ１０３は、符号化対象の処理ブロックの動き予測を行うために参照画像をラインＬ１１７経由で予測信号生成方法制御部１０２へ出力する。また、フレームメモリ１０３は、予測信号生成方法制御部１０２から入力した動きベクトルと参照画像に関する情報を使用して、フレームメモリ１０３に記憶されている参照画像から予測信号の生成に使用する画素信号を読み出し、ラインＬ１１４経由で予測信号生成部１０４に出力する。
【００３８】
予測信号生成部１０４は、フレームメモリ１０３から入力した参照画像の画素信号に対して、予測信号生成方法制御部１０２から入力した予測信号生成のための処理方法の情報に基づいて、処理ブロックに対する予測信号を生成する。予測信号生成部１０４は生成した予測信号を、ラインＬ１１５経由で減算器１０５および加算器１０９へ出力する。
【００３９】
減算器１０５は、入力部１０１から入力した処理ブロックと、予測信号生成部１０４から入力した予測信号との差分を求め、ラインＬ１１８経由で変換／量子化部１０６へ出力する。
【００４０】
変換／量子化部１０６は、減算器１０５から入力した差分信号に対して変換を施した上で量子化し、ラインＬ１１９経由で符号化部１０７および逆量子化／逆変換部１０８へ出力する。
【００４１】
符号化部１０７は、符号化対象のフレーム画像の最初の処理ブロックの符号化の前に、予測信号生成方法制御部１０２から入力した各参照画像に対して行う処理の情報を符号化する（即ち、予測信号生成方法符号化データの生成を行う）。また、符号化部１０７は、符号化対象のフレーム画像の各処理ブロックごとに、予測信号生成方法制御部１０２から入力した参照リスト番号と動きベクトルの情報、および変換／量子化部１０６から入力した変換量子化差分信号を符号化する。次に符号化部１０７は、符号化したデータをラインＬ１２２経由で出力部１１０に出力する。
【００４２】
逆量子化／逆変換部１０８は、変換／量子化部１０６から入力した変換量子化差分信号に対して、逆量子化および逆変換を施して差分信号を生成し、ラインＬ１２０経由で加算器１０９に出力する。
【００４３】
加算器１０９は、予測信号生成部１０４から入力した予測信号と逆量子化／逆変換部１０８から入力した差分信号とを加算して処理ブロックを復元し、復元した処理ブロックを参照画像としてラインＬ１２１経由でフレームメモリ１０３に出力する。
【００４４】
出力部１１０は、符号化部１０７から入力した符号化データを外部へ出力する。
【００４５】
次に、フレームメモリ１０３について詳細に説明する。フレームメモリ１０３は、複数のフレームバッファから構成され、各フレームバッファに、それぞれ過去に復元した参照画像を保存する。また、各フレームバッファは参照リストによって管理される。図２は参照リストを示した図である。具体的には、参照リストは各フレームバッファに割り当てられたフレームバッファ番号と参照リスト番号との対応を表すものである。このフレームバッファ番号と参照リスト番号とを対応させる方法は、予め定められた自動的な方法でも、手動で決定する方法でも良い。フレームメモリ１０３は、参照リスト番号と動きベクトルを使って、参照リストにおける当該参照リスト番号に対応するフレームバッファ番号のフレームバッファに保存されている参照画像に対して、動きベクトルの指すアドレスの画素信号読み出し、予測信号生成部１０４へ出力する。
【００４６】
次に、予測信号生成方法制御部１０２について詳細に説明する。予測信号生成方法制御部１０２は、予測信号を生成するための参照画像に対する処理方法に関する情報を記憶している。具体的には、予測信号生成方法制御部１０２は、その処理方法の種類として（ａ）画素補間の精度、（ｂ）画素補間フィルタの種類、（ｃ）画素補間時の演算丸め方法のリストを記憶する。ここで、（ａ）画素補間の精度は、整数画素精度の復元済みの参照画像から分数画素精度の予測信号を画素補間して生成するときの画素補間の精度を示すものである。また（ｂ）画素補間フィルタの種類は、整数画素精度の復元済みの参照画像から分数画素精度の予測信号を生成するときに復元済みの参照画像にかけるフィルタの種類を示すものである。（ｃ）画素補間時の演算丸め方法は、復元済みの参照画像から分数画素精度の予測信号を画素補間して生成するときに復元済みの参照画像にフィルタをかけて演算を行う際に、演算途中の小数値をどの時点で整数値に丸めるかを示すものである。図３は、予測信号生成方法制御部１０２に保存されている予測信号を生成するための処理方法を示すリストである。図３（ａ）は画素補間の精度、図３（ｂ）は画素補間フィルタの種類、図３（ｃ）は画素補間時の丸め方法を示すリストであり、それぞれ各処理の種類における処理方法を示している。図３（ａ）の画素補間の精度のリストには、整数画素精度、１／２画素精度、１／４画素精度、１／８画素精度があり、それぞれリスト番号として０、１、２、３を割り当ててある。また、図３（ｂ）の画素補間フィルタの種類には、フィルタ係数が固定である２種類の固定フィルタ１および固定フィルタ２、フィルタ係数が可変である２種類の可変フィルタ１および可変フィルタ２、さらに直近で可変フィルタ１又は可変フィルタ２を用いて処理をしたときと同じ可変フィルタである直近の可変フィルタがあり、それぞれリスト番号として０、１、２、３、４を割り当ててある。図３（ｃ）の画素補間時の丸め方法には演算の最後にのみ丸めと演算の途中ごとに丸めがあり、それぞれリスト番号として０、１を割り当ててある。予測信号生成方法制御部１０２は、符号化対象のフレーム画像の各処理ブロックの処理を行う前に、予め記憶している複数の処理を組み合わせることで、予測信号を生成するための処理方法を参照画像ごとに決定する。ここでの決定法は、フレームメモリから入力した各参照画像に対して、参照画像の画素信号に処理を行って動き予測を行ったときに、入力画像との誤差が最小になるように決められる。また、予測信号生成方法制御部１０２は、参照画像の識別番号として参照リスト番号を使用し、参照リスト番号ごとに上記（ａ）画素補間の精度、（ｂ）画素補間フィルタの種類、（ｃ）画素補間時の演算丸め方法を組み合わせることで予測信号生成方法を決定し、決定した予測信号生成方法の情報を符号化部１０７へ出力する。その後、予測信号生成方法制御部１０２は、符号化対象の処理ブロックごとに動き予測を行い、予測誤差が最も小さくなる動きベクトルと参照画像の情報とをラインＬ１１６経由でフレームメモリ１０３に出力する。
【００４７】
次に、予測信号生成部１０４について詳細に説明する。予測信号生成部１０４は、フレームメモリ１０３から予測信号を生成するための参照画像の画素信号を入力し、予測信号生成方法制御部１０２から入力した、上記参照画像の参照リスト番号に対応する処理方法に基づいて参照画像に対し処理を行うことで予測信号を生成する。次に予測信号生成部１０４は、生成した予測信号を減算器１０５および加算器１０９へ出力する。
【００４８】
次に、符号化部１０７について詳細に説明する。符号化部１０７は、符号化対象のフレーム画像ごとに、まず予測信号生成方法制御部１０２から入力した参照リスト番号とその予測信号生成のための処理方法の情報とを符号化し、符号化部１０７内に記憶する。図４に、参照リスト番号とその符号の表を示す。また、図５に予測信号生成の処理方法とその符号の表を示す。図５（ａ）、（ｂ）、（ｃ）は、それぞれ画素補間の精度、画素補間フィルタの種類、画素補間時の演算丸め方法のリスト番号とその符号との表である。また、画素補間フィルタの種類のリスト番号が２又は３、即ち、画素補間フィルタの種類が可変長フィルタ１又は可変長フィルタ２の場合、符号化部１０７は、最後に可変フィルタのフィルタ係数を符号化する。図６は、画素補間フィルタの種類のリスト番号が２又は３以外の場合の、ある参照画像に対する符号化された参照リスト番号および予測信号生成の処理方法の情報のデータの模式図、図７は画素補間フィルタの種類のリスト番号が２又は３の場合の、ある参照画像に対する符号化された参照リスト番号および予測信号生成の処理方法（予測信号生成方法符号化データ）の模式図である。符号化部１０７は、予め定められた参照画像数だけ符号化された参照リスト番号と予測信号生成の処理方法とを統合させる。その後、符号化部１０７は、符号化対象のフレーム画像の処理ブロックごとに、予測信号を生成するための参照リスト番号と動きベクトル、および変換量子化差分信号を符号化し、上述の予測信号生成方法符号化データと併せて出力部１１０に出力する。図８は符号化されたデータの模式図である。
【００４９】
（動画像符号化方法について）
次に、図９を用いて、動画像符号化装置１００により実行される動画像符号化方法に係る処理を説明する。図９は、本実施形態に係る動画像符号化方法の処理を示すフローチャートである。
【００５０】
まず、予測信号生成方法制御部１０２が、符号化対象のフレーム画像ごとに、入力部１０１から入力した符号化対象のフレーム画像と、フレームメモリ１０３から入力した参照画像とを使って、各参照画像に対して行うべき処理方法を決定し、符号化部１０７が、上記決定された処理方法の情報を符号化して予測信号生成方法符号化データを生成する（ステップＳ１０１）。なお、上記決定された予測信号生成のための処理方法の情報は予測信号生成部１０４へも出力される。
【００５１】
次に、入力部１０１が、複数枚の画像からなる動画像の信号を入力した後、符号化の対象となるフレーム画像を８×８画素からなる処理ブロックに分割する（ステップＳ１０２）。
【００５２】
次に、予測信号生成方法制御部１０２が、符号化対象の処理ブロックごとに動き予測を行い（ブロックマッチングを行い）、処理ブロックとの予測誤差が最も小さくなる動きベクトルおよび参照画像を決定し、符号化部１０７が参照画像の参照リスト番号および動きベクトルの情報を符号化する（ステップＳ１０３）。
【００５３】
次に、予測信号生成部１０４が、予測信号生成のための処理方法の情報に基づいて、フレームメモリ１０３から読み出した参照画像の画素信号に対し、該参照画像に対応した処理を行うことで予測信号を生成する（ステップＳ１０４）。
【００５４】
次に、減算器１０５は、入力部１０１から入力された処理ブロックと、予測信号生成部１０４により生成された予測信号との差分を求め、変換／量子化部１０６は、減算器１０５により求められた差分信号に対して変換を施した上で量子化し、得られた変換量子化差分信号を符号化部１０７および逆量子化／逆変換部１０８へ出力する。そして、符号化部１０７は変換量子化差分信号を符号化する（ステップＳ１０５）。
【００５５】
次に、逆量子化／逆変換部１０８は、変換／量子化部１０６から出力された変換量子化差分信号に逆量子化および逆変換を施し、加算器１０９は、逆量子化および逆変換後の信号（復元された差分信号）と予測信号とを加算し、そして、加算後の復元信号は参照画像としてフレームメモリ１０３に記憶される（ステップＳ１０６）。
【００５６】
次に、符号化対象のフレーム画像の全ての処理ブロックについて上記ステップＳ１０３〜Ｓ１０６の処理を終えたか否かを判断し（ステップＳ１０７）、未だ処理を終えていない処理ブロックが存在する場合（ステップＳ１０７でＮＯの場合）、未処理の処理ブロックについてステップＳ１０３〜Ｓ１０６の処理を繰り返す。一方、全ての処理ブロックについて処理を終えた場合（ステップＳ１０７でＹＥＳの場合）は、図９の処理を終了する。
【００５７】
（画像復号化装置について）
次に、本実施形態に係る動画像復号化装置について説明する。図１０は、本実施形態に係る動画像復号化装置１０００のブロック図である。動画像復号化装置１０００は、入力部１００１、復号化部１００２、予測信号生成方法制御部１００３、フレームメモリ１００４、予測信号生成部１００５、逆量子化／逆変換部１００６、加算器１００７、および出力部１００８を備えている。
【００５８】
以下、上記のように構成された動画像復号化装置１０００の各部の機能について述べる。
【００５９】
入力部１００１は、上述した動画像符号化装置で符号化された符号化データを入力し、復号化部１００２に出力する。
【００６０】
復号化部１００２は、入力部１００１から入力した符号化データから、復号対象のフレーム画像ごとに、はじめに各参照画像に対して行うべき処理の情報（予測信号生成方法符号化データ）を復号化し、ラインＬ１０１０を経由して予測信号生成方法制御部１００３に出力する。次に復号化部１００２は、復号対象のフレーム画像の処理ブロックごとに予測信号の生成に使用する参照画像の参照リスト番号を復号化しラインＬ１０１１経由で予測信号生成方法制御部１００３およびフレームメモリ１００４に出力する。次に復号化部１００２は、復号対象のフレーム画像の処理ブロックごとに動きベクトルのデータを復号化し、ラインＬ１０１２を経由して予測信号生成方法制御部１００３に出力する。次に復号化部１００２は、変換量子化差分信号を復号し、逆量子化／逆変換部１００６に出力する。
【００６１】
予測信号生成方法制御部１００３は、復号化部１００２から入力された、参照画像ごとの、予測信号生成のための処理方法の情報を記憶する。予測信号生成方法制御部１００３は、記憶した各参照画像に対する処理の情報を参照して、復号化部１００２から入力した復号化対象の処理ブロックの参照リスト番号を参照して、当該参照リスト番号に対応する、予測信号生成のための処理方法の情報をラインＬ１０１４経由で予測信号生成部１００５に出力する。
【００６２】
フレームメモリ１００４は、過去に復号化済みで復元された複数の参照画像を記憶している。フレームメモリ１００４は、復号化する処理ブロックについて、復号化部１００２から予測信号の生成に使用する参照画像の参照リスト番号と動きベクトルの情報を入力し、該当する参照画像の動きベクトルの指す位置のアドレスの画素信号を、ラインＬ１０１５を経由して予測信号生成部１００５に出力する。
【００６３】
予測信号生成部１００５は、フレームメモリ１００４から入力した予測信号を生成するための画素信号に対して、予測信号生成方法制御部１００３から入力した当該参照画像の参照リスト番号に対する処理の情報を使って処理し、復号化する対象ブロックの予測信号を生成する。
【００６４】
逆量子化／逆変換部１００６は、復号化部１００２から入力した変換量子化差分信号に対して、逆量子化および逆変換を施して差分信号を生成し、ラインＬ１０１７経由で加算器１００７に出力する。
【００６５】
加算器１００７は、予測信号生成部１００５から入力した予測信号と逆量子化／逆変換部１００６から入力した差分信号とを加算して処理ブロックを復元し、参照画像としてラインＬ１０１８経由でフレームメモリ１００４および出力部１００８に出力する。
【００６６】
出力部１００８は、加算器１００７から入力した復元した処理ブロックを外部へ出力する。
【００６７】
次に、復号化部１００２について詳細に説明する。入力部１００１から復号化部１００２へ入力される符号化データは、前述した図８に示す符号化データと同じである。復号化部１００２は、入力部１００１から入力した符号化データから、復号化対象のフレーム画像ごとに、各参照画像に関する予測信号生成のための処理方法の情報（ここでは、処理方法の種類である画素補間の精度のリスト番号、画素補間フィルタの種類のリスト番号、画素補間時の演算丸め方法のリスト番号）を順に復号化する。図１１に、参照リスト番号の符号とその参照リスト番号の表を示す。また、図１２に処理方法の符号とその処理方法のリスト番号の表を示す。具体的には、図１２（ａ）は画素補間の精度とそのリスト番号の表を示し、図１２（ｂ）は画素補間フィルタの種類とそのリスト番号の表を示し、図１２（ｃ）は画素補間時の演算丸め方法の符号とそのリスト番号の表を示す。また、復号化した画素補間フィルタの種類のリスト番号が２又は３の場合、復号化部１００２は、画素補間時の演算丸め方法の復号化の後に可変フィルタのフィルタ係数を復号化する。なお、画素補間フィルタの種類のリスト番号が２又は３以外の場合の、復号化される前のある参照画像に対する符号化された参照リスト番号および予測信号生成のための処理方法の情報は、前述した図６に示す情報と同じである。また、画素補間フィルタの種類のリスト番号が２又は３の場合の復号化される前のある参照画像に対する符号化された参照リスト番号および予測信号生成のための処理方法の情報は、前述した図７に示す情報と同じである。次に、復号化部１００２は、予め定められた参照画像数だけ参照リスト番号および予測信号生成のための処理方法の情報を復号化し予測信号生成方法制御部１００３へ出力する。次に、復号化部１００２は、復号化対象の処理ブロックごとに、参照リスト番号および動きベクトルと、変換量子化差分信号とを復号する。
【００６８】
次に、フレームメモリ１００４について詳細に説明する。フレームメモリ１００４は、複数のフレームバッファから構成され、各フレームバッファには、それぞれ過去に復元した参照画像を保存する。また、各フレームバッファは参照リストによって管理される。図１３は参照リストを示した図である。具体的には、参照リストは、各フレームバッファに割り当てられたフレームバッファ番号と参照リスト番号との対応を表すものである。このフレームバッファ番号と参照リスト番号とを対応させる方法は、予め定められた自動的な方法でも、手動で決定する方法でも良い。フレームメモリ１００４は、復号化部１００２から入力した復号化対象の処理ブロックの参照リスト番号に対応するフレームバッファ番号のフレームバッファに保存されている参照画像に対して、復号化部１００２から入力した動きベクトルの指すアドレスの画像信号を予測信号生成部１００５へ出力する。
【００６９】
次に、予測信号生成方法制御部１００３について詳細に説明する。予測信号生成方法制御部１００３は、予測信号を生成するための参照画像リストとその参照画像リスト番号の参照画像に対する処理方法に関する情報を記憶している。具体的には、次に予測信号生成方法制御部１００３は、その処理方法の種類として（ａ）画素補間の精度、（ｂ）画素補間フィルタの種類、（ｃ）画素補間時の演算丸め方法のリストを記憶する。ここで、（ａ）画素補間の精度は、整数画素精度の復元済みの参照画像から分数画素精度の予測信号を画素補間して生成するときの画素補間の精度を示すものである。また（ｂ）画素補間フィルタの種類は、整数画素精度の復元済みの参照画像から分数画素精度の予測信号を生成するときに復元済みの参照画像にかけるフィルタの種類を示すものである。（ｃ）画素補間時の演算丸め方法は、復元済みの参照画像から分数画素精度の予測信号を画素補間して生成するときに復元済みの参照画像にフィルタをかけて演算を行う際に、演算途中の小数値をどの時点で整数値に丸めるかを示すものである。図１４は、予測信号生成方法制御部１００３に保存されている処理方法を示すリストである。図１４（ａ）は画素補間の精度、図１４（ｂ）は画素補間フィルタの種類、図１４（ｃ）は画素補間時の丸め方法を示すリストであり、それぞれ各処理の種類における処理方法を示している。図１４（ａ）の画素補間の精度のリストには、リスト番号として０、１、２、３があり、それぞれ整数画素精度、１／２画素精度、１／４画素精度、１／８画素精度を割り当ててある。また、図１４（ｂ）の画素補間フィルタの種類のリストには、リスト番号として０、１、２、３、４があり、それぞれフィルタ係数が固定である２種類の固定フィルタ１および固定フィルタ２、フィルタ係数が可変である２種類の可変フィルタ１および可変フィルタ２、さらに直近で可変フィルタ１又は可変フィルタ２を用いて処理をしたときと同じ可変フィルタである、直近の可変フィルタを割り当ててある。図１４（ｃ）の画素補間時の丸め方法のリストにはリスト番号として０、１があり、それぞれ演算の最後にのみ丸めと演算の途中ごとに丸めが割り当ててある。
【００７０】
次に、予測信号生成部１００５について詳細に説明する。予測信号生成部１００５は、フレームメモリ１００４から復号化対象の処理ブロックの予測信号を生成するための画像信号を入力する。次に予測信号生成部１００５は、予測信号生成方法制御部１００３から入力した、その復号化対象の処理ブロックの参照リスト番号に対応する処理方法に基づく処理を前記画像信号に対し行うことで、復号化対象の処理ブロックの予測信号を生成する。
【００７１】
（動画像復号化方法について）
次に、図１５を用いて、動画像復号化装置１０００により実行される動画像復号化方法に係る処理を説明する。図１５は、本実施の形態に係る動画像復号化方法の処理を示すフローチャートである。
【００７２】
まず、入力部１００１が符号化データを入力した後、復号化部１００２が復号化対象のフレーム画像ごとに、予測信号を生成するために各参照画像に対して行う処理方法の情報を復号化する（ステップＳ１００１）。
【００７３】
次に、復号化部１００２が復号化対象の処理ブロックの参照画像の参照リスト番号を復号する（ステップＳ１００２）。
【００７４】
次に、復号化部１００２が復号化対象の処理ブロックの動きベクトルを復号する（ステップＳ１００３）。
【００７５】
次に、復号化部１００２が復号化対象の処理ブロックの変換量子化差分信号を復号化する（ステップＳ１００４）。
【００７６】
次に、予測信号生成部１００５が、復号化された参照リスト番号と動きベクトルを使って、予測信号を生成するための参照画像をフレームメモリ１００４から読み出し、予測信号生成方法制御部１００３に記憶されている処理方法の情報に基づいて参照画像に対し処理を実施することで復号化対象の処理ブロックの予測信号を生成する（ステップＳ１００５）。
【００７７】
次に、逆量子化／逆変換部１００６は、復号化部１００２から出力された変換量子化差分信号に逆量子化および逆変換を施し、加算器１００７は、逆量子化および逆変換後の信号（復元された差分信号）と上記生成された予測信号とを加算する（ステップＳ１００６）。これにより、処理ブロックの画像信号が復元される。復元された処理ブロックの画像信号は、出力部１００８により出力されるとともに、参照画像としてフレームメモリ１００４に記憶される（ステップＳ１００７）。
【００７８】
次に、復号化対象のフレーム画像の全ての処理ブロックについて上記ステップＳ１００２〜Ｓ１００７の処理を終えたか否かを判断し（ステップＳ１００８）、未だ処理を終えていない処理ブロックが存在する場合（ステップＳ１００８でＮＯの場合）、未処理の処理ブロックについてステップＳ１００２〜Ｓ１００７の処理を繰り返す。一方、全ての処理ブロックについて処理を終えた場合（ステップＳ１００８でＹＥＳの場合）は、図１５の処理を終了する。
【００７９】
（動画像符号化プログラム、動画像復号化プログラムについて）
動画像符号化装置に係る発明は、コンピュータを動画像符号化装置として機能させるための動画像符号化プログラムに係る発明として捉えることができる。あるいは、本実施形態に係る動画像符号化方法をプログラムとして記録媒体に格納して提供することもできる。また、動画像復号装置に係る発明は、コンピュータを動画像復号装置として機能させるための動画像復号化プログラムに係る発明として捉えることができる。あるいは、本実施形態に係る動画像復号方法をプログラムとして記録媒体に格納して提供することもできる。
【００８０】
動画像符号化プログラム及び動画像復号化プログラムは、例えば、記録媒体に格納されて提供される。記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ等の記録媒体、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。
【００８１】
図１６を用いて、コンピュータを動画像符号化装置１００として動作させるための動画像符号化プログラム１９０について説明する。図１６に示されるように、動画像符号化プログラム１９０は、処理を統括するメインモジュール１９００と、入力モジュール１９０１と、予測信号生成方法制御モジュール１９０２と、記憶モジュール１９０３と、予測信号生成モジュール１９０４と、減算モジュール１９０５と、変換／量子化モジュール１９０６と、符号化モジュール１９０７と、逆量子化／逆変換モジュール１９０８と、加算モジュール１９０９と、出力モジュール１９１０とを備える。上記の入力モジュール１９０１、予測信号生成方法制御モジュール１９０２、記憶モジュール１９０３、予測信号生成モジュール１９０４、減算モジュール１９０５、変換／量子化モジュール１９０６、符号化モジュール１９０７、逆量子化／逆変換モジュール１９０８、加算モジュール１９０９および出力モジュール１９１０のそれぞれがコンピュータに行わせる機能は、上述した入力部１０１、予測信号生成方法制御部１０２、フレームメモリ１０３、予測信号生成部１０４、減算器１０５、変換／量子化部１０６、符号化部１０７、逆量子化／逆変換部１０８、加算器１０９および出力部１１０のそれぞれの機能と同じである。
【００８２】
次に、図１７を用いて、コンピュータを動画像復号化装置１０００として動作させるための動画像復号化プログラム２００について説明する。図１７に示されるように、動画像復号化プログラム２００は、処理を統括するメインモジュール２０００と、入力モジュール２００１と、復号化モジュール２００２と、予測信号生成方法制御モジュール２００３と、記憶モジュール２００４と、予測信号生成モジュール２００５と、逆量子化／逆変換モジュール２００６と、加算モジュール２００７と、出力モジュール２００８とを備える。上記の入力モジュール２００１、復号化モジュール２００２、予測信号生成方法制御モジュール２００３、記憶モジュール２００４、予測信号生成モジュール２００５、逆量子化／逆変換モジュール２００６、加算モジュール２００７および出力モジュール２００８のそれぞれがコンピュータに行わせる機能は、上述した入力部１００１、復号化部１００２、予測信号生成方法制御部１００３、フレームメモリ１００４、予測信号生成部１００５、逆量子化／逆変換部１００６、加算器１００７および出力部１００８のそれぞれの機能と同じである。
【００８３】
上記のように構成された動画像符号化プログラム１９０および動画像復号化プログラム２００は、図４２に示す記録媒体１０に記憶され、後述するコンピュータ３０により実行される。
【００８４】
図４２は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図４３は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。コンピュータとして、ＣＰＵを具備しソフトウエアによる処理や制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話などを含む。
【００８５】
図４２に示すように、コンピュータ３０は、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読み取り装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイ１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受信を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読み取り装置１２に挿入されると、読み取り装置１２から記録媒体１０に格納された動画像符号化プログラム１９０にアクセス可能になり、動画像符号化プログラム１９０によって、本発明の一側面に係る動画像符号化装置として動作することが可能になる。また、コンピュータ３０は、記録媒体１０が読み取り装置１２に挿入されると、読み取り装置１２から記録媒体１０に格納された動画像復号化プログラム２００にアクセス可能になり、動画像復号化プログラム２００によって、本発明の一側面に係る動画像復号化装置として動作することが可能になる。
【００８６】
図４３に示すように、動画像符号化プログラムもしくは動画像復号化プログラムは、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した動画像符号化プログラムもしくは動画像復号化プログラムをメモリ１６に格納し、当該動画像符号化プログラムもしくは動画像復号化プログラムを実行することができる。
【００８７】
（本実施形態に係る作用および効果について）
ここで、本実施形態に係る動画像符号化装置１００の作用および効果を説明する。動画像符号化装置１００では、符号化対象のフレーム画像の処理ブロックを予測符号化するとき、予測信号生成方法制御部１０２は、予め決まった複数の処理を組み合わせることで、残差信号が最小となる処理方法を参照画像ごとに決定し、予測信号生成部１０４は参照画像に対し前記決定した処理方法に基づく処理を実施して予測信号を生成するため、符号化対象のフレーム画像の処理ブロックに合った好適な予測信号を提供することが可能となり、高い効率で符号化することが可能となる。
【００８８】
次に、本実施形態に係る動画像復号化装置１０００の作用および効果を説明する。動画像復号化装置１０００では、復号化対象のフレーム画像の処理ブロックを予測復号化するとき、予測信号生成方法制御部１００３は、予め決まった複数の処理を組み合わせることで、残差信号が最小となる処理方法を参照画像ごとに復号化し、予測信号生成部１００５は参照画像に対し前記復号化した処理方法に基づく処理を実施して予測信号を生成するため、復号化対象のフレーム画像の処理ブロックに合った好適な参照画像を提供することが可能となり、高い効率で復号化することが可能となる。
【００８９】
なお、本実施形態に係る動画像符号化装置および動画像復号化装置において、複数の復元した参照画像を識別する方法は、上述した参照リストには限定されず、参照画像を一意に識別する方法であれば、どのような方法でも良い。また、参照リストを使って複数の参照画像を識別する場合、参照リスト番号および参照画像を保存するフレームバッファのフレームバッファ番号と参照リストとの対応は、上述の方法には限定されない。また、参照リスト番号と参照リスト番号の符号の対応は、上述の方法には限定されない。また、本実施形態に係る動画像符号化装置が双方向予測によって予測符号化を行う場合、および本実施形態に係る動画像復号化装置が双方向予測によって予測復号化を行う場合には、前方向予測および後方向予測ごとに参照リストを生成し、各予測方向の参照リスト番号と参照画像に対し行う処理方法に関する情報とを合わせて符号化（又は復号化）しても良い。
【００９０】
また、本実施形態に係る動画像符号化装置および動画像復号化装置が参照画像に行う画素補間の精度、画素補間フィルタの種類、画素補間時の演算丸め方法について、その処理方法は上述の方法には限定されない。また、本実施形態に係る動画像符号化装置および動画像復号化装置が参照画像に対し行う処理の各種類において、その処理方法と符号の関係は上述には限定されない。また、本実施形態に係る動画像符号化装置および動画像復号化装置が参照画像に対し行う処理の種類は少なくとも一種類以上あれば良く、各処理の種類には少なくとも二つ以上の処理方法があれば良い。
【００９１】
また、本実施形態に係る動画像符号化装置および動画像復号化装置は、同一の参照リスト番号に対応するフレームバッファ番号のフレームバッファに保存されている同一の参照画像に対し異なる処理を行って、異なる予測信号を生成しても良い。
【００９２】
また、本実施形態に係る動画像符号化装置および動画像復号化装置が予測信号を生成するために参照画像に対し行う処理の種類は、上述の画素補間の精度、画素補間フィルタの種類、画素補間時の演算丸め方法には限定されず、整数画素位置にかけるフィルタの種類でも良いし、グローバル動き補償の有無とその方法に関するものでも良いし、アフィン変換の有無とその方法に関するものでも良い。
【００９３】
また、本実施形態に係る動画像符号化装置および動画像復号化装置が予測信号を生成するために参照画像に対し行う処理方法の情報には、画素値の明るさを変化させる輝度補償を使って予測を行うか否かを参照画像ごとに指示する情報を含んでも良い。図１８は、輝度補償予測の有無を示すリストの表である。また、図１９は、輝度補償の有無のリスト番号を符号化するときに使用する、輝度補償の有無のリスト番号とその符号との表である。また、図２０は、画素補間フィルタの種類のリスト番号が２又は３以外の場合の、輝度補償の有無の情報を含む、ある参照画像における符号化された予測信号生成方法符号化データの模式図である。
【００９４】
また、本実施形態に係る動画像復号化装置が復号化する予測信号生成方法符号化データは、画素値の明るさを変化させる輝度補償を使って予測を行うか否かを含んでも良い。画素補間フィルタの種類のリスト番号が２又は３以外の場合の、輝度補償の有無の情報を含む、ある参照画像における符号化された予測信号生成方法符号化データは、前述した図２０に示す予測信号生成方法符号化データと同じである。また、図２１は、輝度補償の有無のリスト番号を復号化するときに使用する、符号とその輝度補償の有無のリスト番号との表である。また、図２２は、輝度補償予測の有無を示すリストの表である。
【００９５】
（上記実施形態の変形例１）
次に、上記実施形態の変形例１について、図２３〜図２９、図３８、図３９を用いて説明する。なお、各図面において、同一又は相当の部分に対しては同一の符号を附すこととする。
【００９６】
（動画像符号化装置、動画像符号化方法について）
上記実施形態の変形例１に係る動画像符号化装置は、符号化部１０７の機能を除いて上記実施形態の動画像符号化装置１００と同一である。そのため、符号化部１０７についてのみ説明する。
【００９７】
符号化部１０７は、過去に符号化した、予測信号を生成するための処理方法に関する情報を識別番号と共に記憶している。図２３は、符号化部１０７に記憶されている識別番号と、該識別番号に対応する予測信号生成のための処理方法に関する情報を示す図である。符号化部１０７は、予測信号生成方法制御部１０２から入力した参照リスト番号とその予測信号生成のための処理方法の情報を符号化する。図４に、参照リスト番号とその符号の表を示す。また、予測信号生成のための処理方法の情報については、過去に使った参照画像を生成するための処理方法に関する情報と比較し、生成方法の識別番号を決定する。具体的には、符号化部１０７は、予測信号を生成するための、ある参照リスト番号の参照画像に施す処理方法の情報が過去のフレーム画像を符号化するために使った処理方法の情報と同一である場合、その過去の処理方法の識別番号を生成方法の識別番号とする。また、符号化部１０７は、予測信号を生成するための、ある参照リスト番号の参照画像に施す処理方法の情報が過去に使った処理方法の情報と異なる場合、生成方法の識別番号として新たな番号を小さい順に決定する。そして、符号化部１０７は、参照画像の参照リスト番号ごとに、予測信号生成のための処理方法の情報として、過去に同じ処理方法を使っている場合は識別番号のみを符号化してラインＬ１１３経由で予測信号生成方法制御部１０２に出力し、一方、過去に同じ処理方法を使っていない場合は識別番号とその処理方法（処理の組合せ）の内容を符号化してラインＬ１１３経由で予測信号生成方法制御部１０２に出力する。また、処理方法の内容に対する符号の表を図５に示す。図２４は、予測信号生成のための処理方法の情報として、過去に同じ処理方法を使っている場合の予測信号生成方法符号化データの模式図を示し、図２５は、予測信号生成のための処理方法の情報として、過去に同じ処理方法を使っていない場合の予測信号生成方法符号化データの模式図を示す。次に、符号化部１０７は、予測信号生成のための処理方法の情報として、過去に同じ処理方法を使っていない場合、その新たな予測信号生成のための処理方法の情報を、識別番号と共に記憶する。次に、符号化部１０７は、符号化対象のフレーム画像の処理ブロックごとに、予測信号を生成するための参照リスト番号と動きベクトル、および変換量子化差分信号を符号化し、上述の予測信号生成方法符号化データとともに出力部１１０に出力する。図２６は符号化されたデータの模式図である。ここでは、第１の参照画像の予測信号を生成するための処理方法の情報が、過去に符号化した予測信号生成のための処理方法の情報とは異なり、第２および第３の参照画像の予測信号を生成するための処理方法の情報が、過去に符号化した予測信号生成のための処理方法の情報と同一の場合の例を示している。
【００９８】
変形例１に係る動画像符号化方法は、符号化部１０７により実行される予測信号生成方法情報の符号化に係る処理に特徴を有する。そこで、予測信号生成方法情報の符号化に係る処理について図３８を用いて説明する。
【００９９】
図３８に示すように、符号化部１０７は、ある参照リスト番号の参照画像について、予測信号を生成するための参照画像に施す処理方法の情報（予測信号生成方法情報）が、過去に使った処理方法の情報と同一であるか否かを判断する（ステップＳ１２１）。ここで、予測信号生成方法情報が、過去に使った処理方法の情報と同一でない場合（ステップＳ１２１でＮＯの場合）、符号化部１０７は、生成方法の識別番号として新たな番号を小さい順に決定し（ステップＳ１２４）、参照リスト番号と上記決定した新たな識別番号と予測信号生成方法情報を符号化してラインＬ１１３経由で予測信号生成方法制御部１０２に出力し（ステップＳ１２５）、そして、上記予測信号生成方法情報を新たな識別番号とともに記憶する（ステップＳ１２６）。
【０１００】
一方、予測信号生成方法情報が、過去に使った処理方法の情報と同一である場合（ステップＳ１２１でＹＥＳの場合）、符号化部１０７は、その過去に使った処理方法の識別番号を予測信号生成方法の識別番号として設定し（ステップＳ１２２）、参照リスト番号と上記設定した識別番号のみを符号化してラインＬ１１３経由で予測信号生成方法制御部１０２に出力する（ステップＳ１２３）。
【０１０１】
次に、全ての参照画像について上記ステップＳ１２１〜Ｓ１２６の処理を終えたか否かを判断し（ステップＳ１２７）、未だ処理を終えていない参照画像が存在する場合（ステップＳ１２７でＮＯの場合）、未処理の参照画像についてステップＳ１２１〜Ｓ１２６の処理を繰り返す。一方、全ての参照画像について処理を終えた場合（ステップＳ１２７でＹＥＳの場合）は、図３８の処理を終了する。
【０１０２】
変形例１に係る動画像符号化プログラムの構成は、上記実施形態の動画像符号化プログラムの構成（図１６）と同じであるので、説明を省略する。但し、符号化モジュール１９０７によってコンピュータを符号化部１０７として動作させる動作内容が、上述した変形例１に係る符号化部１０７の動作内容となる。
【０１０３】
（動画像復号化装置、動画像復号化方法について）
次に、上記実施形態の変形例１に係る動画像復号化装置について説明する。上記実施形態の変形例１に係る動画像復号化装置は、復号化部１００２を除いて上記実施形態の動画像復号化装置１０００と同一である。そのため、復号化部１００２についてのみ説明する。
【０１０４】
復号化部１００２は、過去に復号化した、予測信号生成のための処理方法に関する情報を識別番号と共に記憶している。復号化部１００２により記憶されている識別番号と、該識別番号に対応する予測信号生成のための処理方法に関する情報は、前述した図２３に示す情報と同じである。復号化部１００２は、入力部１０１から入力した符号化データから、復号化対象のフレーム画像の最初の処理ブロックを復号化する前に、各参照画像に関する予測信号生成のための処理方法に関する情報を復号化する。復号化対象となる符号化データは、前述した図２６に示す符号化データと同じである。復号化部１００２は、参照画像ごとにその参照リスト番号と生成方法の識別番号を復号化する。次に、復号化部１００２は、復号化した識別番号が、過去に復号化された予測信号生成のための処理方法の情報の識別番号であるかを判断する。復号化した識別番号が、過去に復号化された予測信号生成のための処理方法の情報の識別番号である場合、復号化部１００２は、記憶している同一の識別番号の予測信号生成のための処理方法の情報を、ラインＬ１０１０経由で予測信号生成方法制御部１００３へ出力する。また、復号化した識別番号が、過去に復号化された予測信号生成のための処理方法の情報の識別番号とは異なる場合、復号化部１００２は、続く符号を復号化することで予測信号生成のための処理方法の情報を取得し、ラインＬ１０１０経由で予測信号生成方法制御部１００３へ出力する。このとき復号化部１００２は、新たに復号化した予測信号生成のための処理方法の情報を、復号化した識別番号と共に記憶する。復号化部１００２は、上記の処理を参照画像数だけ行う。次に、復号化部１００２は復号対象のフレーム画像の処理ブロックごとに予測信号の生成に使用する参照画像の参照リスト番号を復号し、ラインＬ１０１１を経由して予測信号生成方法制御部１００３およびフレームメモリ１００４に出力する。次に、復号化部１００２は、予測信号の生成に使用する動きベクトルを復号し、ラインＬ１０１２を経由してフレームメモリ１００４に出力する。次に復号化部１００２は、変換量子化差分信号を復号し、逆量子化／逆変換部１００６に出力する。
【０１０５】
変形例１に係る動画像復号化方法は、復号化部１００２により実行される予測信号生成方法情報の復号化に係る処理に特徴を有する。そこで、予測信号生成方法情報の復号化に係る処理について図３９を用いて説明する。
【０１０６】
図３９に示すように、復号化部１００２は、ある参照リスト番号の参照画像について、参照リスト番号と予測信号生成方法の識別番号を復号化し（ステップＳ１０２１）、復号化した識別番号が、過去に使った処理方法の識別番号と同一であるか否かを判断する（ステップＳ１０２２）。ここで、復号化した識別番号が、過去に使った処理方法の識別番号と同一でない場合（ステップＳ１０２２でＮＯの場合）、復号化部１００２は、識別番号に続く符号を復号化することで予測信号生成方法情報を取得し、ラインＬ１０１０経由で予測信号生成方法制御部１００３へ出力し（ステップＳ１０２４）、上記予測信号生成方法情報を識別番号とともに記憶する（ステップＳ１０２５）。
【０１０７】
一方、復号化した識別番号が、過去に使った処理方法の識別番号と同一である場合（ステップＳ１０２２でＹＥＳの場合）、復号化部１００２は、記憶している同一の識別番号の予測信号生成方法情報を読み出して、ラインＬ１０１０経由で予測信号生成方法制御部１００３へ出力する（ステップＳ１０２３）。
【０１０８】
次に、全ての参照画像について上記ステップＳ１０２１〜Ｓ１０２５の処理を終えたか否かを判断し（ステップＳ１０２６）、未だ処理を終えていない参照画像が存在する場合（ステップＳ１０２６でＮＯの場合）、未処理の参照画像についてステップＳ１０２１〜Ｓ１０２５の処理を繰り返す。一方、全ての参照画像について処理を終えた場合（ステップＳ１０２６でＹＥＳの場合）は、図３９の処理を終了する。
【０１０９】
変形例１に係る動画像復号化プログラムの構成は、上記実施形態の動画像復号化プログラムの構成（図１７）と同じであるので、説明を省略する。但し、復号化モジュール２００２によってコンピュータを復号化部１００２として動作させる動作内容が、上述した変形例１に係る復号化部１００２の動作内容となる。
【０１１０】
（変形例１の作用および効果について）
ここで、変形例１に係る動画像符号化装置１００の作用および効果を説明する。動画像符号化装置１００では、符号化対象のフレーム画像の処理ブロックを予測符号化するとき、予測信号生成方法制御部１０２は、予め決まった複数の処理を組み合わせることで、残差信号が最小となる処理方法（処理の組み合わせ）を参照画像ごとに決定し、予測信号生成部１０４は、参照画像に対し前記決定した処理方法に基づく処理を実施して予測信号を生成するため、符号化対象のフレーム画像の処理ブロックに合った好適な予測信号を提供することが可能となり、高い効率で符号化することが可能となる。また、参照画像ごとに、予測信号生成のための処理方法の情報を識別番号と共に符号化し、前記予測信号生成のための処理方法の情報が、過去に符号化した予測信号生成のための処理方法の情報と同一の場合は識別番号のみを符号化するため、少ない符号化データによって、参照画像を生成するための処理方法の情報を符号化することが可能となる。
【０１１１】
また、変形例１に係る動画像復号化装置１０００の作用および効果を説明する。動画像復号化装置１０００では、復号化対象のフレーム画像の処理ブロックを予測復号化するとき、予測信号生成方法制御部１００３は、残差信号が最小となる処理方法（処理の組み合わせ）を参照画像ごとに復号化し、予測信号生成部１００５は参照画像に対し前記復号化した処理方法に基づく処理を実施して予測信号を生成するため、復号化対象のフレーム画像の処理ブロックに合った好適な参照画像を提供することが可能となり、高い効率で復号化することが可能となる。また、参照画像ごとに、予測信号生成のための処理方法の情報を識別番号と共に復号化し、前記予測信号生成のための処理方法の情報が、過去に復号化した予測信号生成のための処理方法の情報と同一の場合は、識別番号のみを復号化するため、少ない符号化データによって、参照画像を生成するための処理方法に関する情報を復号化することが可能となる。
【０１１２】
なお、本実施形態の変更例１に係る動画像符号化装置および動画像復号化装置において、いくつかの識別番号と該識別番号に対応する予測信号生成のための処理方法の情報は、はじめから符号化部１０７および復号化部１００２で共通に記憶しておいても良い。これにより、参照画像生成方法符号化データとして参照リスト番号と識別番号だけを、符号化および復号化すれば良い場合が増加し、より少ない符号化データで、参照画像を生成するための処理方法の情報を符号化および復号化できる。また、識別番号および該識別番号に対応する予測信号生成のための処理方法の情報は、符号化データに含まれて符号化および復号化されるのではなく、別の方法によって符号化部１０７および復号化部１００２で共通に記憶しても良い。
【０１１３】
また、本実施形態の変更例１に係る動画像符号化装置および動画像復号化装置において、符号化および復号化した、識別番号および該識別番号に対応する予測信号生成のための処理方法の情報が、過去に符号化および復号化された、識別番号および該識別番号に対応する予測信号生成のための処理方法の情報とは異なる場合でも、符号化部１０７および復号化部１００２に新たに追加するのではなく、過去に符号化および復号化された、識別番号および該識別番号に対応する予測信号生成のための処理方法の情報を上書きするようにしても良い。この場合、予測信号生成方法符号化データは、識別番号の符号の前に、既存の識別番号および該識別番号に対応する予測信号生成のための処理方法の情報を上書きするか否かの情報を持ち、動画像符号化装置はこの情報を符号化部１０７で符号化して追加し、動画像復号化装置はこの情報を復号化部１００２で復号化する。図２７は、既存の識別番号および該識別番号に対応する予測信号生成のための処理方法の情報を上書きするか否かの情報を含む予測信号生成方法符号化データの模式図である。これにより、参照画像を生成するための処理方法に関する情報の種類が増加したとき、識別番号を上書きして再利用することができるため、新たな識別番号を増やす必要が無くなり、少ない符号長で識別番号を符号化および復号化することができる。
【０１１４】
また、本実施形態の変更例１に係る動画像符号化装置および動画像復号化装置において、符号化部１０７および復号化部１００２で記憶している過去に符号化および復号化された、識別番号および該識別番号に対応する予測信号生成のための処理方法の情報を全て初期状態にリセットする情報を、予測信号生成方法符号化データに含めておき、該予測信号生成方法符号化データに対し符号化および復号化を行っても良い。図２８は、過去に符号化および復号化された、識別番号および該識別番号に対応する予測信号生成のための処理方法の情報を全て初期状態にリセットする情報を含む予測信号生成方法符号化データの模式図である。これにより、参照画像を生成するための処理方法に関する情報を順次上書きするのではなく、一度に初期化して符号化および復号化に使用することができる。
【０１１５】
また、本実施形態の変更例１に係る動画像符号化装置において、符号化部１０７は、符号化対象のフレーム画像ごとに一度、予測信号生成方法符号化データを符号化して出力するのではなく、複数のフレーム画像ごとに一度、又は一つのフレーム画像ごとに複数回、予測信号生成方法符号化データを符号化して出力しても良い。また、本実施形態の変更例１に係る動画像復号化装置において、復号化部１００２は、復号化対象のフレーム画像ごとに一度、予測信号生成方法符号化データを復号化するのではなく、複数のフレーム画像ごとに一度、又は一つのフレーム画像ごとに複数回、予測信号生成方法符号化データを復号化しても良い。その場合、符号化部１０７は予測信号生成方法符号化データおよび、はじめの処理ブロックの参照リスト番号の符号の前に、符号化データの種別の識別子を挿入する。即ち、後に続く符号が予測信号生成方法符号化データである場合は符号「０」を、後に続く符号が処理ブロックの符号化データのはじめである参照リスト番号である場合は符号「１」を挿入する。また、復号化部１００２は、フレーム画像ごとに予測信号生成方法符号化データおよび、はじめの処理ブロックの参照リスト番号の復号化の前に、符号化データの種別の識別子を復号化し、符号が「０」である場合は後に続く符号が予測信号生成方法符号化データ、符号が「１」である場合は後に続く符号が処理ブロックの符号化データである参照リスト番号であると識別し、復号化を行う。図２９は、フレーム画像ごとに複数回、予測信号生成方法符号化データを符号化および復号化する場合の符号化データの模式図である。これにより、参照画像を生成するための処理方法に関する情報を複数のフレーム画像ごとに一度だけ符号化および復号化する場合は、符号化および復号化する符号量を減らすことができる。また、参照画像を生成するための処理方法の情報を一度に複数回まとめて符号化および復号化する場合は、いくつかのフレーム画像の符号化および復号化の前にまとめて、参照画像を生成するための処理方法の情報を符号化および復号化するので、異なる処理を混ぜることなく処理することができる。
【０１１６】
（上記実施形態の変形例２）
次に、上記実施形態の変形例２について、図３０〜図３７、図４０、図４１を用いて説明する。なお、各図面において、同一又は相当の部分に対しては同一の符号を附すこととする。
【０１１７】
（動画像符号化装置、動画像符号化方法について）
上記実施形態の変形例２に係る動画像符号化装置は、符号化部１０７の動作を除いて上記実施形態の動画像符号化装置１００と同一である。そのため、符号化部１０７についてのみ説明する。
【０１１８】
符号化部１０７は、過去に符号化された予測信号生成のための処理方法（処理の組み合わせ）の情報群を識別番号と共に記憶している。図３０は、符号化部１０７に記憶されている、識別番号と、対応する全ての参照リスト番号における予測信号生成のための処理方法の情報群を示す図である。符号化部１０７は、予測信号生成方法制御部１０２から入力した、全ての参照リスト番号における予測信号生成のための処理方法の情報群を、過去に使った参照画像群を生成するための処理方法の情報群と比較してその識別番号を決定する。具体的には、符号化部１０７は、予測信号を生成するための、全ての参照リスト番号の参照画像群に施す処理方法の情報群が過去のフレーム画像を符号化するために使った処理方法の情報群と同一である場合、その過去の処理方法の識別番号を生成方法の識別番号とする。また、符号化部１０７は、予測信号を生成するための、全ての参照リスト番号の参照画像群に施す処理方法の情報群の中で、一つでも過去に使った処理方法の情報と異なる場合、生成方法の識別番号として新たな番号を決定する。そして、符号化部１０７は、全ての参照リスト番号を合わせたものに対して、予測信号生成のための処理方法の情報群として、過去に同じ処理を使っている場合は識別番号のみを、過去に同じ処理を使っていない場合は識別番号とその処理の内容を符号化してラインＬ１１３経由で予測信号生成方法制御部１０２に出力する。また、処理の内容に対する符号の表を図５に示す。図３１は、予測信号生成のための処理方法の情報群として、過去に同じ処理方法を使っている場合の全ての参照リスト番号に対する予測信号生成方法符号化データの模式図、図３２は、予測信号生成のための処理方法の情報群として、過去に同じ処理方法を使っていない場合の全ての参照リスト番号に対する予測信号生成方法符号化データの模式図を示す。次に符号化部１０７は、予測信号生成のための処理方法の情報群として、過去に同じ処理を使っていない場合、その新たな予測信号生成のための処理方法の情報群を、識別番号と共に記憶する。次に符号化部１０７は、符号化対象のフレーム画像の処理ブロックごとに、予測信号を生成するための参照リスト番号と動きベクトル、および変換量子化差分信号を符号化し、上述の予測信号生成方法符号化データと合わせて出力部１１０に出力する。図３３は全ての参照リスト番号の参照画像群の予測信号生成のための処理方法の情報が過去に符号化した予測信号生成のための処理方法の情報群と同一の場合の符号化された符号化データの模式図を示している。また、図３４は全ての参照リスト番号の参照画像群の予測信号生成のための処理方法の情報のうち、一つでも過去に符号化した予測信号生成のための処理方法の情報群と異なる場合の、符号化された符号化データの模式図を示している。
【０１１９】
変形例２に係る動画像符号化方法は、符号化部１０７により実行される予測信号生成方法情報の符号化に係る処理に特徴を有する。そこで、予測信号生成方法情報の符号化に係る処理について図４０を用いて説明する。
【０１２０】
図４０に示すように、符号化部１０７は、ある参照画像群について、予測信号を生成するために参照画像群の各参照画像に施す処理方法の情報群（予測信号生成方法情報群）が過去に使った処理方法の情報群と同一であるか否かを判断する（ステップＳ１４１）。ここで、予測信号生成方法情報群が過去に使った処理方法の情報群と同一でない場合（ステップＳ１４１でＮＯの場合）、符号化部１０７は、生成方法情報群の識別番号として新たな番号を小さい順に決定し（ステップＳ１４４）、上記決定した新たな識別番号と予測信号生成方法情報群を符号化してラインＬ１１３経由で予測信号生成方法制御部１０２に出力し（ステップＳ１４５）、そして、上記予測信号生成方法情報群を新たな識別番号とともに記憶する（ステップＳ１４６）。
【０１２１】
一方、予測信号生成方法情報群が過去に使った処理方法の情報群と同一である場合（ステップＳ１４１でＹＥＳの場合）、符号化部１０７は、その過去に使った処理方法情報群の識別番号を予測信号生成方法情報群の識別番号として設定し（ステップＳ１４２）、上記設定した識別番号のみを符号化してラインＬ１１３経由で予測信号生成方法制御部１０２に出力する（ステップＳ１４３）。
【０１２２】
次に、全ての参照画像群について上記ステップＳ１４１〜Ｓ１４６の処理を終えたか否かを判断し（ステップＳ１４７）、未だ処理を終えていない参照画像群が存在する場合（ステップＳ１４７でＮＯの場合）、未処理の参照画像群についてステップＳ１４１〜Ｓ１４６の処理を繰り返す。一方、全ての参照画像群について処理を終えた場合（ステップＳ１４７でＹＥＳの場合）は、図４０の処理を終了する。
【０１２３】
変形例２に係る動画像符号化プログラムの構成は、上記実施形態の動画像符号化プログラムの構成（図１６）と同じであるので、説明を省略する。但し、符号化モジュール１９０７によってコンピュータを符号化部１０７として動作させる動作内容が、上述した変形例２に係る符号化部１０７の動作内容となる。
【０１２４】
（動画像復号化装置、動画像復号化方法について）
次に、上記実施形態の変形例２に係る動画像復号化装置について説明する。上記実施形態の変形例２に係る動画像復号化装置は、復号化部１００２を除いて上記実施形態の動画像復号化装置１０００と同一である。そのため、復号化部１００２についてのみ説明する。
【０１２５】
復号化部１００２は、過去に復号化した、予測信号生成のための処理方法の情報群を識別番号と共に記憶している。復号化部１００２により記憶されている識別番号と、対応する全ての参照リスト番号における予測信号生成のための処理方法の情報群は、前述した図３０に示す情報群と同じである。復号化部１００２は、入力部１０１から入力した符号化データから、復号化対象のフレーム画像の最初の処理ブロックを復号化する前に、予測信号を生成するための全ての参照画像群の各参照画像に対し行う処理方法の情報を復号化する。全ての参照リスト番号の参照画像群の予測信号生成のための処理方法の情報が過去に符号化した予測信号生成のための処理方法の情報群と同一の場合の、符号化された符号化データは、前述した図３３に示す符号化データと同じである。また、全ての参照リスト番号の参照画像群の予測信号生成のための処理方法の情報群のうち、一つでも過去に符号化した予測信号生成のための処理方法の情報群と異なる場合の、符号化された符号化データは、前述した図３４に示す符号化データと同じである。復号化部１００２は、復号化対象のフレーム画像ごとに全ての参照リスト番号の参照画像群の予測信号の生成方法に関する情報の識別番号を復号化する。次に、復号化部１００２は、復号化した識別番号が、過去に復号化された予測信号生成のための処理方法の情報群の識別番号であるかを判断する。復号化した識別番号が、過去に復号化された予測信号生成のための処理方法の情報群の識別番号である場合、復号化部１００２は記憶している同一の識別番号の予測信号生成のための処理方法の情報群を、ラインＬ１０１０経由で予測信号生成方法制御部へ出力する。また、復号化した識別番号が、過去に復号化された予測信号生成のための処理方法の情報の識別番号と異なる場合、復号化部１００２は続く符号を復号化して全ての参照リスト番号の参照画像群に対する予測信号生成のための処理方法の情報を取得し、ラインＬ１０１０経由で予測信号生成方法制御部へ出力する。このとき復号化部１００２は、新たに復号化した予測信号生成のための処理方法の情報群を、復号化した識別番号と共に記憶する。次に、復号化部１００２は復号対象のフレーム画像の処理ブロックごとに予測信号の生成に使用する参照画像群の参照リスト番号を復号し、ラインＬ１０１１を経由して予測信号生成方法制御部１００３およびフレームメモリ１００４に出力する。次に復号化部１００２は、予測信号の生成に使用する動きベクトルを復号し、ラインＬ１０１２を経由してフレームメモリ１００４に出力する。次に復号化部１００２は、変換量子化差分信号を復号し、逆量子化／逆変換部１００６に出力する。
【０１２６】
変形例２に係る動画像復号化方法は、復号化部１００２により実行される予測信号生成方法情報の復号化に係る処理に特徴を有する。そこで、予測信号生成方法情報の復号化に係る処理について図４１を用いて説明する。
【０１２７】
図４１に示すように、復号化部１００２は、ある参照画像群について、予測信号生成方法情報群の識別番号を復号化し（ステップＳ１０４１）、復号化した識別番号が、過去に使った処理方法情報群の識別番号と同一であるか否かを判断する（ステップＳ１０４２）。ここで、復号化した識別番号が、過去に使った処理方法情報群の識別番号と同一でない場合（ステップＳ１０４２でＮＯの場合）、復号化部１００２は、識別番号に続く符号を復号化して予測信号生成方法情報群を取得し、ラインＬ１０１０経由で予測信号生成方法制御部１００３へ出力し（ステップＳ１０４４）、上記予測信号生成方法情報群を識別番号とともに記憶する（ステップＳ１０４５）。
【０１２８】
一方、復号化した識別番号が、過去に使った処理方法情報群の識別番号と同一である場合（ステップＳ１０４２でＹＥＳの場合）、復号化部１００２は、記憶している同一の識別番号の予測信号生成方法情報群を読み出して、ラインＬ１０１０経由で予測信号生成方法制御部１００３へ出力する（ステップＳ１０４３）。
【０１２９】
次に、全ての参照画像群について上記ステップＳ１０４１〜Ｓ１０４５の処理を終えたか否かを判断し（ステップＳ１０４６）、未だ処理を終えていない参照画像群が存在する場合（ステップＳ１０４６でＮＯの場合）、未処理の参照画像群についてステップＳ１０４１〜Ｓ１０４５の処理を繰り返す。一方、全ての参照画像群について処理を終えた場合（ステップＳ１０４６でＹＥＳの場合）は、図４１の処理を終了する。
【０１３０】
変形例２に係る動画像復号化プログラムの構成は、上記実施形態の動画像復号化プログラムの構成（図１７）と同じであるので、説明を省略する。但し、復号化モジュール２００２によってコンピュータを復号化部１００２として動作させる動作内容が、上述した変形例２に係る復号化部１００２の動作内容となる。
【０１３１】
（変形例２の作用および効果について）
ここで、動画像符号化装置１００の作用および効果を説明する。動画像符号化装置１００では、符号化対象のフレーム画像の処理ブロックを予測符号化するとき、予測信号生成方法制御部１０２は、予め決まった複数の処理を組み合わせることで、残差信号が最小となる処理方法を参照画像群の各参照画像について決定し、予測信号生成部１０４は参照画像群の各参照画像に対し前記決定した処理方法に基づく処理を実施して予測信号を生成するため、符号化対象のフレーム画像の処理ブロックに合った好適な予測信号を提供することが可能となり、高い効率で符号化することが可能となる。また、フレーム画像ごとに全ての参照画像群に対する予測信号生成のための処理方法の情報群を識別番号と共に符号化し、過去に符号化した予測信号生成のための処理方法の情報群と同一の場合は識別番号のみを符号化するため、少ない符号化データで参照画像群を生成するための処理に関する情報を符号化することが可能となる。
【０１３２】
また、動画像復号化装置１０００の作用および効果を説明する。動画像復号化装置１０００では、復号化対象のフレーム画像の処理ブロックを予測復号化するとき、予測信号生成方法制御部１００３は、残差信号が最小となる処理方法の情報群を参照画像群ごとに復号化し、予測信号生成部１００５は参照画像群の各参照画像に対し前記復号化した処理方法に基づく処理を実施して予測信号を生成するため、復号化対象のフレーム画像の処理ブロックに合った好適な参照画像群を提供することが可能となり、高い効率で復号化することが可能となる。また、フレーム画像ごとに全ての参照画像群に対する予測信号生成のための処理方法の情報群を識別番号と共に復号化し、過去に復号化した予測信号生成のための処理方法の情報群と同一の場合は、識別番号のみを復号化するため、少ない符号化データで参照画像群を生成するための処理に関する情報を復号化することが可能となる。
【０１３３】
なお、本実施形態の変更例２に係る動画像符号化装置および動画像復号化装置において、いくつかの識別番号とその予測信号生成のための処理方法の情報群は、はじめから符号化部１０７および復号化部１００２で共通に記憶しておいても良い。これにより、参照画像生成方法符号化データとして識別番号だけを符号化および復号化すれば良い場合が増加し、より少ない符号化データで参照画像群を生成するための処理方法に関する情報群を符号化および復号化することができる。また、識別番号とその予測信号生成のための処理方法の情報群は、符号化データに含まれて符号化および復号化されるのではなく、別の方法によって符号化部１０７および復号化部１００２で共通に記憶しても良い。
【０１３４】
また、本実施形態の変更例２に係る動画像符号化装置および動画像復号化装置において、符号化および復号化した識別番号とその予測信号生成のための処理方法の情報群が、過去に符号化および復号化した識別番号とその予測信号生成のための処理方法の情報群と異なる場合でも、符号化部１０７および復号化部１００２にあらたに追加するのではなく、過去に符号化および復号化した識別番号とその予測信号生成のための処理方法の情報群を上書きするようにしても良い。この場合、予測信号生成方法符号化データは、識別子の符号の前に既存の識別子番号とその予測信号生成のための処理方法の情報群を上書きするか否かの情報をもち、動画像符号化装置はこの情報を符号化部１０７で符号化して追加し、動画像復号化装置はこの情報を復号化部１００２で復号化する。図３５は、既存の識別子番号とその予測信号生成のための処理方法の情報群を上書きするか否かの情報を含む予測信号生成方法符号化データの模式図である。これにより、参照画像群を生成するための処理方法に関する情報群の種類が増加したとき、識別番号を上書きして再利用することができるため、新たな識別番号を増やす必要が無くなり、少ない符号長で識別番号を符号化および復号化することができる。
【０１３５】
また、本実施形態の変更例２に係る動画像符号化装置および動画像復号化装置において、符号化部１０７および復号化部１００２で記憶している過去に符号化および復号化した識別番号とその予測信号生成のための処理方法に関する情報群を全て初期状態にリセットする情報を予測信号生成方法符号化データに含んで符号化および復号化を行っても良い。図３６は、過去に符号化および復号化した識別番号とその予測信号生成のための処理方法の情報群を全て初期状態にリセットする情報を含む予測信号生成方法符号化データの模式図である。これにより、参照画像群を生成するための処理に関する情報群を順次上書きするのではなく、一度に初期化して符号化および復号化に使用することができる。
【０１３６】
また、本実施形態の変更例１に係る動画像符号化装置および動画像復号化装置において、符号化部１０７は符号化対象のフレーム画像ごとに一度、予測信号生成方法符号化データを符号化して出力するのではなく、複数のフレーム画像ごとに一度、又は一つのフレーム画像ごとに複数回、予測信号生成方法符号化データを符号化して出力しても良い。また、復号化部１００２は、復号化対象のフレーム画像ごとに一度、予測信号生成方法符号化データを復号化するのではなく、複数のフレーム画像ごとに一度、又は一つのフレーム画像ごとに複数回、予測信号生成方法符号化データを復号化しても良い。その場合、符号化部１０７は予測信号生成方法符号化データおよび、はじめの処理ブロックの参照リスト番号の符号の前に、符号化データの種別の識別子を挿入する。即ち、後に続く符号が予測信号生成方法符号化データである場合は符号「０」を、後に続く符号が処理ブロックの符号化データのはじめである参照リスト番号である場合は符号「１」を挿入する。また、復号化部１００２は、フレーム画像ごとに予測信号生成方法符号化データおよび、はじめの処理ブロックの参照リスト番号の復号化の前に、符号化データの種別の識別子を復号化し、符号が「０」である場合は後に続く符号が予測信号生成方法符号化データ、符号が「１」である場合は後に続く符号が処理ブロックの符号化データである参照リスト番号であると識別し、復号化を行う。図３７は、フレーム画像ごとに複数回、予測信号生成方法符号化データを符号化および復号化する場合の符号化データの模式図である。これにより、参照画像群を生成するための処理に関する情報群を複数のフレーム画像ごとに一度だけ符号化および復号化する場合は、符号化および復号化する符号量を減らすことができる。また、参照画像群を生成するための処理に関する情報群を一度に複数回まとめて符号化および復号化する場合は、いくつかフレーム画像の符号化および復号化の前にまとめて参照画像群を生成するための処理方法の情報群を符号化および復号化して、するので、異なる処理を混ぜることなく処理することができる。
【０１３７】
ところで、前述した図１４（ｂ）の画素補間フィルタに関する表の別の例として、図４４に示す表が挙げられる。この図４４に示す表では、画素補間フィルタの種類のリストには、リスト番号として０、１、２、３があり、リスト番号０にはＨ．２６４補間フィルタ（Ｓ＿ＦＩＦ）が割り当てられ、リスト番号１にはＳＡＩＦ＿ＨＡＬＦ補間フィルタが割り当てられている。なお、リスト番号２、３についてはReserved（未使用）とされている。
【０１３８】
また、前述した図２３（予測信号を生成するための処理の組み合わせに関する情報を示す表）の別の例として、図４５に示す表が挙げられる。この図４５に示す表では、各識別番号に対応する処理方法の組み合わせに関する情報として、画素補間精度のリスト番号、画素補間フィルタの種類のリスト番号、輝度補償の有無のリスト番号、および、画素補間時の演算丸め方法のリスト番号が記憶されている。このような図４５に記載された情報は、ＲＰＰＳ（Reference  Picture  Processing  Set）とも呼ばれ、予測信号生成に用いられる参照画像の生成に必要な情報を含んでいる。このＲＰＰＳについては、例えば復号処理において以下のように処理される。最初に、ＲＰＰＳのタイプを示すＲＰＰＳタイプrpps_typeが復号され、ＲＰＰＳタイプrpps_typeが０でない場合に、識別番号（rpps_id）と、該識別番号に対応付けられた処理方法の組み合わせに関する情報とが復号され保存される。一方、ＲＰＰＳタイプrpps_typeが０である場合には、現状のフレームを復号するための識別番号（rpps_id）が復号され、該識別番号に対応付けられた保存済みの図４５の情報（処理の組み合わせに関する情報）が読み出され、当該処理の組み合わせに関する情報に基づいて、予測信号生成に用いられる参照画像が生成される。なお、図４５に記載された情報は、デフォルト値であり、ＲＰＰＳタイプrpps_typeが０でない場合に復号されて得られた新たな処理方法の組み合わせに関する情報によって上書き保存される。
【符号の説明】
【０１３９】
１０…記録媒体、１２…読み取り装置、１４…作業用メモリ、１６…メモリ、１８…ディスプレイ、２０…マウス、２２…キーボード、２４…通信装置、２６…ＣＰＵ、３０…コンピュータ、４０…コンピュータデータ信号、１００…動画像符号化装置、１０１…入力部、１０２…予測信号生成方法制御部、１０３…フレームメモリ、１０４…予測信号生成部、１０５…減算器、１０６…変換／量子化部、１０７…符号化部、１０８…逆量子化／逆変換部、１０９…加算器、１１０…出力部、１０００…動画像復号化装置、１００１…入力部、１００２…復号化部、１００３…予測信号生成方法制御部、１００４…フレームメモリ、１００５…予測信号生成部、１００６…逆量子化／逆変換部、１００７…加算器、１００８…出力部、１９０…動画像符号化プログラム、１９００…メインモジュール、１９０１…入力モジュール、１９０２…予測信号生成方法制御モジュール、１９０３…記憶モジュール、１９０４…予測信号生成モジュール、１９０５…減算モジュール、１９０６…変換／量子化モジュール、１９０７…符号化モジュール、１９０８…逆量子化／逆変換モジュール、１９０９…加算モジュール、１９１０…出力モジュール、２００…動画像復号化プログラム、２０００…メインモジュール、２００１…入力モジュール、２００２…復号化モジュール、２００３…予測信号生成方法制御モジュール、２００４…記憶モジュール、２００５…予測信号生成モジュール、２００６…逆量子化／逆変換モジュール、２００７…加算モジュール、２００８…出力モジュール。
【図１】
2010131537.tif 000003
【図２】
2010131537.tif 000004
【図３】
2010131537.tif 000005
【図４】
2010131537.tif 000006
【図５】
2010131537.tif 000007
【図６】
2010131537.tif 000008
【図７】
2010131537.tif 000009
【図８】
2010131537.tif 000010
【図９】
2010131537.tif 000011
【図１０】
2010131537.tif 000012
【図１１】
2010131537.tif 000013
【図１２】
2010131537.tif 000014
【図１３】
2010131537.tif 000015
【図１４】
2010131537.tif 000016
【図１５】
2010131537.tif 000017
【図１６】
2010131537.tif 000018
【図１７】
2010131537.tif 000019
【図１８】
2010131537.tif 000020
【図１９】
2010131537.tif 000021
【図２０】
2010131537.tif 000022
【図２１】
2010131537.tif 000023
【図２２】
2010131537.tif 000024
【図２３】
2010131537.tif 000025
【図２４】
2010131537.tif 000026
【図２５】
2010131537.tif 000027
【図２６】
2010131537.tif 000028
【図２７】
2010131537.tif 000029
【図２８】
2010131537.tif 000030
【図２９】
2010131537.tif 000031
【図３０】
2010131537.tif 000032
【図３１】
2010131537.tif 000033
【図３２】
2010131537.tif 000034
【図３３】
2010131537.tif 000035
【図３４】
2010131537.tif 000036
【図３５】
2010131537.tif 000037
【図３６】
2010131537.tif 000038
【図３７】
2010131537.tif 000039
【図３８】
2010131537.tif 000040
【図３９】
2010131537.tif 000041
【図４０】
2010131537.tif 000042
【図４１】
2010131537.tif 000043
【図４２】
2010131537.tif 000044
【図４３】
2010131537.tif 000045
【図４４】
2010131537.tif 000046
【図４５】
2010131537.tif 000047
【国際調査報告】
2010131537.tif 000048
2010131537.tif 000049
2010131537.tif 000050
2010131537.tif 000051