(57)【特許請求の範囲】
【請求項１】
複数のブロックを含む画像をブロック単位で符号化して符号化データを生成する符号化手段
を有し、
前記符号化データは、予測処理に係る情報、動きベクトルを示す情報、及び、ブロックのサイズを特定可能な情報の内の少なくともいずれかである属性情報を含み、
前記符号化手段は、
符号化の対象となる処理対象ブロックを量子化するために用いられる第１の量子化パラメータに係る差分を符号化する場合に、
前記処理対象ブロックにおける前記属性情報に基づいて、前記第１の量子化パラメータに係る差分を導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
その決定したブロックを量子化するために用いられる量子化パラメータ、又は、その決定したブロックを量子化するために用いられる量子化パラメータに基づく量子化パラメータである第２の量子化パラメータと、前記第１の量子化パラメータとの差分を符号化する
ことを特徴とする画像符号化装置。
【請求項２】
前記属性情報は、前記ブロックのサイズを特定可能な情報であり、
前記符号化手段は、前記処理対象ブロックのサイズと、前記処理対象ブロック以外のブロックのサイズに基づいて、前記第１の量子化パラメータに係る差分を導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定する、
ことを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記属性情報は、前記予測処理に係る情報であり、
前記予測処理に係る情報は、インターブロックであるかイントラブロックであるかを示す予測モード情報であり、
前記符号化手段は、前記処理対象ブロックにおける前記予測モード情報と、前記処理対象ブロック以外のブロックにおける前記予測モード情報とに基づいて、前記第１の量子化パラメータに係る差分を導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定する、
ことを特徴とする請求項１記載の画像符号化装置。
【請求項４】
前記属性情報は、前記動きベクトルを示す情報であり、
前記符号化手段は、前記処理対象ブロックにおける前記動きベクトルを示す情報と、前記処理対象ブロック以外のブロックにおける前記動きベクトルを示す情報とに基づいて、前記第１の量子化パラメータに係る差分を導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定する、
ことを特徴とする請求項１記載の画像符号化装置。
【請求項５】
前記属性情報は、前記予測処理に係る情報であり、
前記予測処理に係る情報は、イントラ予測における予測方法を示す情報であり、
前記符号化手段は、前記処理対象ブロックにおける前記イントラ予測における予測方法を示す情報に基づいて、前記第１の量子化パラメータに係る差分を導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定する、
ことを特徴とする請求項１記載の画像符号化装置。
【請求項６】
複数のブロックを含む画像をブロック単位で符号化して符号化データを生成する符号化手段
を有し、
前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、
前記符号化手段は、
符号化の対象となる処理対象ブロックを量子化するために用いられる第１の量子化パラメータに係る差分を符号化する場合に、
前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第１の量子化パラメータに係る差分を導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
その決定したブロックを量子化するために用いられる量子化パラメータ、又は、その決定したブロックを量子化するために用いられる量子化パラメータに基づく量子化パラメータである第２の量子化パラメータと、前記第１の量子化パラメータとの差分を符号化し、
前記符号化手段は、
前記処理対象ブロックにおける前記他の属性情報と同一の属性情報を有するブロックを、前記第１の量子化パラメータに係る差分を導出するための前記ブロックとして決定する
ことを特徴とする画像符号化装置。
【請求項７】
前記符号化手段は、
複数のブロックを、前記第１の量子化パラメータに係る差分を導出するためのブロックとして決定し、
前記第２の量子化パラメータは、前記複数のブロックそれぞれに対応する複数の量子化パラメータの平均値又は中央値である
ことを特徴とする請求項１〜６のいずれか１項に記載の画像符号化装置。
【請求項８】
前記符号化手段は、前記第１の量子化パラメータに係る差分を導出するための１又は複数のブロックを、前記処理対象ブロックの左のブロック、前記処理対象ブロックの上のブロック、及び、前記処理対象ブロックの右上のブロックの中から決定する
ことを特徴とする請求項１〜７のいずれか１項に記載の画像符号化装置。
【請求項９】
複数のブロックを含む画像をブロック単位で符号化して符号化データを生成する符号化手段
を有し、
前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、
前記符号化手段は、
符号化の対象となる処理対象ブロックを量子化するために用いられる第１の量子化パラメータに係る差分を符号化する場合に、
前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第１の量子化パラメータに係る差分を導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
その決定したブロックを量子化するために用いられる量子化パラメータ、又は、その決定したブロックを量子化するために用いられる量子化パラメータに基づく量子化パラメータである第２の量子化パラメータと、前記第１の量子化パラメータとの差分を符号化し、
前記符号化手段は、
前記処理対象ブロックの周辺の複数のブロックの内、前記他の属性情報が前記処理対象ブロックにおける前記他の属性情報に最も近いブロックを、前記第１の量子化パラメータに係る差分を導出するための前記ブロックとして決定する
ことを特徴とする画像符号化装置。
【請求項１０】
前記周辺の複数のブロックは、前記処理対象ブロックの左のブロック、前記処理対象ブロックの上のブロック、及び、前記処理対象ブロックの右上のブロックである
ことを特徴とする請求項９に記載の画像符号化装置。
【請求項１１】
前記第１の量子化パラメータは、前記処理対象ブロックを符号化した符号化データの符号量を予め設定された所定値にするためのパラメータである
ことを特徴とする請求項１〜１０のいずれか１項に記載の画像符号化装置。
【請求項１２】
前記量子化パラメータは、画質を制御するためのパラメータである
ことを特徴とする請求項１〜１１のいずれか１項に記載の画像符号化装置。
【請求項１３】
複数のブロックを含む画像をブロック単位で符号化して生成された符号化データを復号する復号手段
を有し、
前記符号化データは、予測処理に係る情報、動きベクトルを示す情報、及び、ブロックのサイズを特定可能な情報の内の少なくともいずれかである属性情報を含み、
前記復号手段は、
復号の対象となる処理対象ブロックを逆量子化するために用いられる第１の量子化パラメータを導出する場合に、
前記処理対象ブロックにおける前記属性情報に基づいて、前記第１の量子化パラメータを導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
その決定したブロックを逆量子化するために用いられる量子化パラメータ、又は、その決定したブロックを逆量子化するために用いられる量子化パラメータに基づく量子化パラメータである第２の量子化パラメータと、前記第１の量子化パラメータに係る差分とに基づいて、前記第１の量子化パラメータを導出する
ことを特徴とする画像復号装置。
【請求項１４】
前記属性情報は、前記ブロックのサイズを特定可能な情報であり、
前記復号手段は、前記処理対象ブロックのサイズと、前記処理対象ブロック以外のブロックのサイズに基づいて、前記第１の量子化パラメータを導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定する、
ことを特徴とする請求項１３記載の画像復号装置。
【請求項１５】
前記属性情報は、前記予測処理に係る情報であり、
前記予測処理に係る情報は、インターブロックであるかイントラブロックであるかを示す予測モード情報であり、
前記復号手段は、前記処理対象ブロックにおける前記予測モード情報と、前記処理対象ブロック以外のブロックにおける前記予測モード情報とに基づいて、前記第１の量子化パラメータを導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定する、
ことを特徴とする請求項１３記載の画像復号装置。
【請求項１６】
前記属性情報は、前記動きベクトルを示す情報であり、
前記復号手段は、前記処理対象ブロックにおける前記動きベクトルを示す情報と、前記処理対象ブロック以外のブロックにおける前記動きベクトルを示す情報とに基づいて、前記第１の量子化パラメータを導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定する、
ことを特徴とする請求項１３記載の画像復号装置。
【請求項１７】
前記属性情報は、前記予測処理に係る情報であり、
前記予測処理に係る情報は、イントラ予測における予測方法を示す情報であり、
前記復号手段は、前記処理対象ブロックにおける前記イントラ予測における予測方法を示す情報に基づいて、前記第１の量子化パラメータを導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定する、
ことを特徴とする請求項１３記載の画像復号装置。
【請求項１８】
複数のブロックを含む画像をブロック単位で符号化して生成された符号化データを復号する復号手段
を有し、
前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、
前記復号手段は、
復号の対象となる処理対象ブロックを逆量子化するために用いられる第１の量子化パラメータを導出する場合に、
前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第１の量子化パラメータを導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
その決定したブロックを逆量子化するために用いられる量子化パラメータ、又は、その決定したブロックを逆量子化するために用いられる量子化パラメータに基づく量子化パラメータである第２の量子化パラメータと、前記第１の量子化パラメータに係る差分とに基づいて、前記第１の量子化パラメータを導出し、
前記復号手段は、
前記処理対象ブロックにおける前記他の属性情報と同一の属性情報を有するブロックを、前記第１の量子化パラメータを導出するための前記ブロックとして決定する
ことを特徴とする画像復号装置。
【請求項１９】
前記復号手段は、
複数のブロックを、前記第１の量子化パラメータを導出するためのブロックとして決定し、
前記第２の量子化パラメータは、前記複数のブロックそれぞれに対応する複数の量子化パラメータの平均値又は中央値である
ことを特徴とする請求項１３〜１８のいずれか１項に記載の画像復号装置。
【請求項２０】
前記復号手段は、前記第１の量子化パラメータを導出するための１又は複数のブロックを、前記処理対象ブロックの左のブロック、前記処理対象ブロックの上のブロック、及び、前記処理対象ブロックの右上のブロックの中から決定する
ことを特徴とする請求項１３〜１９のいずれか１項に記載の画像復号装置。
【請求項２１】
複数のブロックを含む画像をブロック単位で符号化して生成された符号化データを復号する復号手段
を有し、
前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、
前記復号手段は、
復号の対象となる処理対象ブロックを逆量子化するために用いられる第１の量子化パラメータを導出する場合に、
前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第１の量子化パラメータを導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
その決定したブロックを逆量子化するために用いられる量子化パラメータ、又は、その決定したブロックを逆量子化するために用いられる量子化パラメータに基づく量子化パラメータである第２の量子化パラメータと、前記第１の量子化パラメータに係る差分とに基づいて、前記第１の量子化パラメータを導出し、
前記復号手段は、
前記処理対象ブロックの周辺の複数のブロックの内、前記他の属性情報が前記処理対象ブロックにおける前記他の属性情報に最も近いブロックを、前記第１の量子化パラメータを導出するための前記ブロックとして決定する
ことを特徴とする画像復号装置。
【請求項２２】
前記周辺の複数のブロックは、前記処理対象ブロックの左のブロック、前記処理対象ブロックの上のブロック、及び、前記処理対象ブロックの右上のブロックである
ことを特徴とする請求項２１に記載の画像復号装置。
【請求項２３】
前記第１の量子化パラメータは、前記処理対象ブロックを復号した復号データの符号量を予め設定された所定値にするためのパラメータである
ことを特徴とする請求項１３〜２２のいずれか１項に記載の画像復号装置。
【請求項２４】
前記量子化パラメータは、画質を制御するためのパラメータである
ことを特徴とする請求項１３〜２３のいずれか１項に記載の画像復号装置。
【請求項２５】
複数のブロックを含む画像をブロック単位で符号化して符号化データを生成する符号化工程
を有し、
前記符号化データは、予測処理に係る情報、動きベクトルを示す情報、及び、ブロックのサイズを特定可能な情報の内の少なくともいずれかである属性情報を含み、
前記符号化工程において、
符号化の対象となる処理対象ブロックを量子化するために用いられる第１の量子化パラメータに係る差分を符号化する場合に、
前記処理対象ブロックにおける前記属性情報に基づいて、前記第１の量子化パラメータに係る差分を導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
その決定したブロックを量子化するために用いられる量子化パラメータ、又は、その決定したブロックを量子化するために用いられる量子化パラメータに基づく量子化パラメータである第２の量子化パラメータと、前記第１の量子化パラメータとの差分を符号化する
ことを特徴とする画像符号化方法。
【請求項２６】
複数のブロックを含む画像をブロック単位で符号化して符号化データを生成する符号化工程
を有し、
前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、
前記符号化工程において、
符号化の対象となる処理対象ブロックを量子化するために用いられる第１の量子化パラメータに係る差分を符号化する場合に、
前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第１の量子化パラメータに係る差分を導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
その決定したブロックを量子化するために用いられる量子化パラメータ、又は、その決定したブロックを量子化するために用いられる量子化パラメータに基づく量子化パラメータである第２の量子化パラメータと、前記第１の量子化パラメータとの差分を符号化し、
前記符号化工程において、
前記処理対象ブロックにおける前記他の属性情報と同一の属性情報を有するブロックを、前記第１の量子化パラメータに係る差分を導出するための前記ブロックとして決定する
ことを特徴とする画像符号化方法。
【請求項２７】
複数のブロックを含む画像をブロック単位で符号化して符号化データを生成する符号化工程
を有し、
前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、
前記符号化工程において、
符号化の対象となる処理対象ブロックを量子化するために用いられる第１の量子化パラメータに係る差分を符号化する場合に、
前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第１の量子化パラメータに係る差分を導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
その決定したブロックを量子化するために用いられる量子化パラメータ、又は、その決定したブロックを量子化するために用いられる量子化パラメータに基づく量子化パラメータである第２の量子化パラメータと、前記第１の量子化パラメータとの差分を符号化し、
前記符号化工程において、
前記処理対象ブロックの周辺の複数のブロックの内、前記他の属性情報が前記処理対象ブロックにおける前記他の属性情報に最も近いブロックを、前記第１の量子化パラメータに係る差分を導出するための前記ブロックとして決定する
ことを特徴とする画像符号化方法。
【請求項２８】
複数のブロックを含む画像をブロック単位で符号化して生成された符号化データを復号する復号工程
を有し、
前記符号化データは、予測処理に係る情報、動きベクトルを示す情報、及び、ブロックのサイズを特定可能な情報の内の少なくともいずれかである属性情報を含み、
前記復号工程において、
復号の対象となる処理対象ブロックを逆量子化するために用いられる第１の量子化パラメータを導出する場合に、
前記処理対象ブロックにおける前記属性情報に基づいて、前記第１の量子化パラメータを導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
その決定したブロックを逆量子化するために用いられる量子化パラメータ、又は、その決定したブロックを逆量子化するために用いられる量子化パラメータに基づく量子化パラメータである第２の量子化パラメータと、前記第１の量子化パラメータに係る差分とに基づいて、前記第１の量子化パラメータを導出する
ことを特徴とする画像復号方法。
【請求項２９】
複数のブロックを含む画像をブロック単位で符号化して生成された符号化データを復号する復号工程
を有し、
前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、
前記復号工程において、
復号の対象となる処理対象ブロックを逆量子化するために用いられる第１の量子化パラメータを導出する場合に、
前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第１の量子化パラメータを導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
その決定したブロックを逆量子化するために用いられる量子化パラメータ、又は、その決定したブロックを逆量子化するために用いられる量子化パラメータに基づく量子化パラメータである第２の量子化パラメータと、前記第１の量子化パラメータに係る差分とに基づいて、前記第１の量子化パラメータを導出し、
前記復号工程において、
前記処理対象ブロックにおける前記他の属性情報と同一の属性情報を有するブロックを、前記第１の量子化パラメータを導出するための前記ブロックとして決定する
ことを特徴とする画像復号方法。
【請求項３０】
複数のブロックを含む画像をブロック単位で符号化して生成された符号化データを復号する復号工程
を有し、
前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、
前記復号工程において、
復号の対象となる処理対象ブロックを逆量子化するために用いられる第１の量子化パラメータを導出する場合に、
前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第１の量子化パラメータを導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
その決定したブロックを逆量子化するために用いられる量子化パラメータ、又は、その決定したブロックを逆量子化するために用いられる量子化パラメータに基づく量子化パラメータである第２の量子化パラメータと、前記第１の量子化パラメータに係る差分とに基づいて、前記第１の量子化パラメータを導出し、
前記復号工程において、
前記処理対象ブロックの周辺の複数のブロックの内、前記他の属性情報が前記処理対象ブロックにおける前記他の属性情報に最も近いブロックを、前記第１の量子化パラメータを導出するための前記ブロックとして決定する
ことを特徴とする画像復号方法。
【請求項３１】
コンピュータを、請求項１〜１２のいずれか１項に記載の画像符号化装置の各手段として機能させることを特徴とするプログラム。
【請求項３２】
コンピュータを、請求項１３〜２４のいずれか１項に記載の画像復号装置の各手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラムに関し、特に画質制御パラメータの符号化方法、および、画質制御パラメータ復号方法に関する。
【背景技術】
【０００２】
動画像の圧縮記録方法として、ＭＰＥＧ−２  Ｖｉｄｅｏ（以下、ＭＰＥＧ−２と略す。非特許文献１）、Ｈ．２６４（非特許文献２）等の方式が知られている。さらに、近年、ＩＴＵ−ＴとＩＳＯ／ＩＥＣの共同組織としてＪＣＴ−ＶＣ（Ｊｏｉｎｔ  Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｔｅａｍ  ｏｎ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）が設立された。この組織において新しい動画像標準規格であるＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）の標準化活動が進められている。例えば非特許文献３のように、ＨＥＶＣにはＨ．２６４をベースとした改良技術が提案されている。
【０００３】
ＭＰＥＧ−２、Ｈ．２６４、ＨＥＶＣに代表される直交変換と量子化を使った符号化方式では、符号化側で所定のブロック画像を直交変換・量子化することにより量子化係数データを生成している。このとき、量子化パラメータと呼ばれる画質制御パラメータを使って量子化することにより画質を制御する。具体的には、小さい量子化パラメータ値を使って量子化した場合、画質は向上するが符号量が大きくなり、大きい量子化パラメータ値を使って量子化した場合、画質は低下するが符号量は小さくなる。符号化処理では、このように目標符号量に応じて、最適な量子化パラメータ値を選択しながら符号化を行う。これはレート制御とよばれ、ＴＭ５（非特許文献４）など様々な方式が提案されている。また、視覚上重要な画像領域であるかを判定し、その重要度に応じて画質制御パラメータを制御する方法もある（特許文献１）。
【０００４】
量子化された量子化係数データは可変長符号化され、可変長符号化係数データが生成される。また、量子化パラメータも符号化され、量子化パラメータ符号が生成される。量子化パラメータの生成方法として、例えば、量子化対象ブロックの前に量子化を行ったブロックの量子化に用いた量子化パラメータを予測量子化パラメータとし、予測量子化パラメータと対象ブロックの量子化に用いた量子化パラメータとの差分値を計算する。この差分値は（ＱＰ＿ＤＥＬＴＡ：Ｑｕａｎｔｉｚａｔｉｏｎ  Ｐａｒａｍｅｔｅｒ  Ｄｅｌｔａ）と呼ばれる。この差分値が、量子化パラメータ符号としてビットストリームに埋め込まれる。このようにして生成された可変長符号化係数データと量子化パラメータ符号は、ビットストリームとして光ディスク媒体やネットワークを介して復号器に伝送される。復号側は可変長符号化係数データと量子化パラメータ符号を復号して量子化係数データと量子化パラメータを生成し、量子化パラメータを用いて量子化係数データを逆量子化・逆直交変換することによって復号画像を生成する。
【０００５】
ＭＰＥＧ−２やＨ．２６４では、マクロブロックとよばれる画像を格子状に区切った１６×１６の格子ブロックを一つの処理単位としている。直交変換するブロックのサイズを画素単位で表現すると、ＭＰＥＧ−２では８×８、Ｈ．２６４では８×８、または４×４となる。つまり、一つのマクロブロックの中に、複数の直交変換ブロックが存在することになる。ＭＰＥＧ−２やＨ．２６４では、マクロブロック単位で量子化パラメータを制御（レート制御）することができるので、同一のマクロブロックに含まれる直交変換ブロックは、同じ量子化パラメータで、量子化される。
【０００６】
一方、ＨＥＶＣでは、画像を格子状に区切った格子ブロックをＬＣＵ（Ｌａｒｇｅｓｔ  Ｃｏｄｉｎｇ  Ｕｎｉｔ）、とよび、そのサイズは６４×６４となっている。ＬＣＵは、領域四分木構造を使ってＣＵ（Ｃｏｒｄｉｎｇ  Ｕｎｉｔ）とよばれるより小さいサイズのブロックに分割される。さらに、ＣＵは、ＴＵ（Ｔｒａｎｓｆｏｒｍ  Ｕｎｉｔ）とよばれる直交変換ブロックを含み、このＴＵも領域四分木構造を使って、より小さいサイズに分割される。量子化パラメータそれぞれのユニットは、分割フラグを持つ。分割フラグがＴｒｕｅのブロックは、縦横を１／２サイズとする４つの分割ブロックを内包する構造をとり、分割フラグがＦａｌｓｅとなるブロックは、分割ブロックを内包しない代わりにブロックの実データを持つ（非特許文献３）。なお、ブロックを分割するかの判定は様々な方法が実現可能であるが、一つの判定方法として、ラグランジュ乗数を用いてブロックのコストを計算し、よりコストが低いブロックの分割方法を選択するというものがある（特許文献２）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−４５４９４号公報
【特許文献２】特開２００５−１９１７０６号公報
【非特許文献】
【０００８】
【非特許文献１】ＩＳＯ／ＩＥＣ  １３８１８−２：２０００  Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ  ――  Ｇｅｎｅｒｉｃ  ｃｏｄｉｎｇ  ｏｆ  ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅｓ  ａｎｄ  ａｓｓｏｃｉａｔｅｄ  ａｕｄｉｏ  ｉｎｆｏｒｍａｔｉｏｎ：  Ｖｉｄｅｏ
【非特許文献２】ＩＳＯ／ＩＥＣ  １４４９６−１０；２００４  Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ  ――  Ｃｏｄｉｎｇ  ｏｆ  ａｕｄｉｏ−ｖｉｓｕａｌ  ｏｂｊｅｃｔｓ  ――  Ｐａｒｔ  １０：  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ
【非特許文献３】ＪＣＴ−ＶＣ  寄書  ＪＣＴＶＣ−Ａ２０５．ｄｏｃ  ＜  ｈｔｔｐ：／／ｗｆｔｐ３．ｉｔｕ．ｉｎｔ／ａｖ−ａｒｃｈ／ｊｃｔｖｃ−ｓｉｔｅ／２０１０＿０４＿Ａ＿Ｄｒｅｓｄｅｎ／＞
【非特許文献４】ＭＰＥＧ−２  Ｔｅｓｔ  Ｍｏｄｅｌ  ５（ＴＭ５），Ｄｏｃ．  ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ０４００，  Ｔｅｓｔ  Ｍｏｄｅｌ  Ｅｄｉｔｉｎｇ  Ｃｏｍｍｉｔｅｅ，  Ａｐｒｉｌ  １９９３
【発明の概要】
【発明が解決しようとする課題】
【０００９】
符号化対象ブロックの量子化パラメータと予測量子化パラメータとの差分値を量子化パラメータ符号として符号化する量子化パラメータ符号化方法では、その差分値の絶対値が大きいほど、量子化パラメータ符号の符号量は大きくなる。量子化パラメータをブロック単位で埋め込む場合、従来は予測量子化パラメータの算出方法が単一であり、画像の符号化方法や画像の特性によっては、その差分値の絶対値が大きくなり、不要に量子化パラメータの符号量が増加してしまっていた。
【００１０】
したがって、本発明は上述した課題を解決するためになされたものであり、不要な量子化パラメータの符号量の増加を防ぎ、量子化パラメータの符号量を削減することを目的としている。
【課題を解決するための手段】
【００１１】
上述の問題点を解決するため、本発明の画像符号化装置は以下の構成を有する。すなわち、複数のブロックを含む画像をブロック単位で符号化して符号化データを生成する符号化手段を有し、前記符号化データは、予測処理に係る情報、動きベクトルを示す情報、及び、ブロックのサイズを特定可能な情報の内の少なくともいずれかである属性情報を含み、前記符号化手段は、符号化の対象となる処理対象ブロックを量子化するために用いられる第１の量子化パラメータに係る差分を符号化する場合に、前記処理対象ブロックにおける前記属性情報に基づいて、前記第１の量子化パラメータに係る差分を導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、その決定したブロックを量子化するために用いられる量子化パラメータ、又は、その決定したブロックを量子化するために用いられる量子化パラメータに基づく量子化パラメータである第２の量子化パラメータと、前記第１の量子化パラメータとの差分を符号化する
また、上述の問題点を解決するため、本発明の画像符号化装置は以下の構成を有する。すなわち、複数のブロックを含む画像をブロック単位で符号化して符号化データを生成する符号化手段を有し、前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、前記符号化手段は、符号化の対象となる処理対象ブロックを量子化するために用いられる第１の量子化パラメータに係る差分を符号化する場合に、前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第１の量子化パラメータに係る差分を導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、その決定したブロックを量子化するために用いられる量子化パラメータ、又は、その決定したブロックを量子化するために用いられる量子化パラメータに基づく量子化パラメータである第２の量子化パラメータと、前記第１の量子化パラメータとの差分を符号化し、前記符号化手段は、前記処理対象ブロックにおける前記他の属性情報と同一の属性情報を有するブロックを、前記第１の量子化パラメータに係る差分を導出するための前記ブロックとして決定する。
また、上述の問題点を解決するため、本発明の画像符号化装置は以下の構成を有する。すなわち、複数のブロックを含む画像をブロック単位で符号化して符号化データを生成する符号化手段を有し、前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、前記符号化手段は、符号化の対象となる処理対象ブロックを量子化するために用いられる第１の量子化パラメータに係る差分を符号化する場合に、前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第１の量子化パラメータに係る差分を導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、その決定したブロックを量子化するために用いられる量子化パラメータ、又は、その決定したブロックを量子化するために用いられる量子化パラメータに基づく量子化パラメータである第２の量子化パラメータと、前記第１の量子化パラメータとの差分を符号化し、前記符号化手段は、前記処理対象ブロックの周辺の複数のブロックの内、前記他の属性情報が前記処理対象ブロックにおける前記他の属性情報に最も近いブロックを、前記第１の量子化パラメータに係る差分を導出するための前記ブロックとして決定する。
また、上述の問題点を解決するため、本発明の画像復号装置は以下の構成を有する。すなわち、複数のブロックを含む画像をブロック単位で符号化して生成された符号化データを復号する復号手段を有し、前記符号化データは、予測処理に係る情報、動きベクトルを示す情報、及び、ブロックのサイズを特定可能な情報の内の少なくともいずれかである属性情報を含み、前記復号手段は、復号の対象となる処理対象ブロックを逆量子化するために用いられる第１の量子化パラメータを導出する場合に、前記処理対象ブロックにおける前記属性情報に基づいて、前記第１の量子化パラメータを導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、その決定したブロックを逆量子化するために用いられる量子化パラメータ、又は、その決定したブロックを逆量子化するために用いられる量子化パラメータに基づく量子化パラメータである第２の量子化パラメータと、前記第１の量子化パラメータに係る差分とに基づいて、前記第１の量子化パラメータを導出する。
また、上述の問題点を解決するため、本発明の画像復号装置は以下の構成を有する。すなわち、複数のブロックを含む画像をブロック単位で符号化して生成された符号化データを復号する復号手段を有し、前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、
前記復号手段は、復号の対象となる処理対象ブロックを逆量子化するために用いられる第１の量子化パラメータを導出する場合に、前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第１の量子化パラメータを導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、その決定したブロックを逆量子化するために用いられる量子化パラメータ、又は、その決定したブロックを逆量子化するために用いられる量子化パラメータに基づく量子化パラメータである第２の量子化パラメータと、前記第１の量子化パラメータに係る差分とに基づいて、前記第１の量子化パラメータを導出し、前記復号手段は、前記処理対象ブロックにおける前記他の属性情報と同一の属性情報を有するブロックを、前記第１の量子化パラメータを導出するための前記ブロックとして決定する。
また、上述の問題点を解決するため、本発明の画像復号装置は以下の構成を有する。すなわち、複数のブロックを含む画像をブロック単位で符号化して生成された符号化データを復号する復号手段を有し、前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、  前記復号手段は、復号の対象となる処理対象ブロックを逆量子化するために用いられる第１の量子化パラメータを導出する場合に、前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第１の量子化パラメータを導出するための１又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、その決定したブロックを逆量子化するために用いられる量子化パラメータ、又は、その決定したブロックを逆量子化するために用いられる量子化パラメータに基づく量子化パラメータである第２の量子化パラメータと、前記第１の量子化パラメータに係る差分とに基づいて、前記第１の量子化パラメータを導出し、前記復号手段は、前記処理対象ブロックの周辺の複数のブロックの内、前記他の属性情報が前記処理対象ブロックにおける前記他の属性情報に最も近いブロックを、前記第１の量子化パラメータを導出するための前記ブロックとして決定する。
【発明の効果】
【００１２】
本発明により、量子化パラメータ符号の符号量を削減できる。
【図面の簡単な説明】
【００１３】
【図１】実施例１として説明する分割ブロック符号化方法を示すフローチャート
【図２】実施例３として説明する分割ブロック符号化方法を示すフローチャート
【図３】実施例５として説明する分割ブロック符号化方法を示すフローチャート
【図４】実施例７として説明する分割ブロック符号化方法を示すフローチャート
【図５】実施例９として説明する分割ブロック符号化方法を示すフローチャート
【図６】実施例２として説明する分割ブロック復号方法を示すフローチャート
【図７】実施例４として説明する分割ブロック復号方法を示すフローチャート
【図８】実施例６として説明する分割ブロック復号方法を示すフローチャート
【図９】実施例８として説明する分割ブロック復号方法を示すフローチャート
【図１０】実施例１０として説明する分割ブロック復号方法を示すフローチャート
【図１１】（ａ）（ｂ）（ｃ）本願発明が実行されるハードウェア構成を示す図
【図１２】（ａ）（ｂ）周辺ブロックの参照位置関係を示す図
【図１３】（ａ）（ｂ）ブロックの分割例を示す図
【図１４】ブロックの位置関係と識別値の変換表を示した図
【図１５】フレームの符号化方法を示すフローチャート
【図１６】フレームの復号方法を示すフローチャート
【図１７】フレームのビットストリームの構成例を示す図
【図１８】（ａ）（ｂ）格子ブロックのビットストリームの構成例を示す図
【図１９】格子ブロックの分割状態と分割フラグの例を示す図
【図２０】分割ブロックのブロックサイズごとの予測画質制御パラメータの取得方法を説明したフローチャート
【図２１】イントラ予測方法から予測画質制御パラメータを決定するフローチャート
【図２２】各ブロックにおける画質制御パラメータの参照関係を示す図
【図２３】実施例５として説明する分割ブロック符号化方法の動作例を示す図
【図２４】（ａ）（ｂ）予測画質制御パラメータの取得方法の一例
【図２５】イントラ予測の予測方向を示すインデックス
【図２６】複数の属性から予測画質制御パラメータを決定する第１のフローチャート
【図２７】複数の属性から予測画質制御パラメータを決定する第２のフローチャート
【図２８】複数の属性から予測画質制御パラメータを決定する第３のフローチャート
【図２９】複数の属性から予測画質制御パラメータを決定する第４のフローチャート
【発明を実施するための形態】
【００１４】
以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１５】
＜実施例１＞
本実施例での符号化対象ブロックの符号化方法について図１、図１１、図１５、図２０を用いて説明する。
【００１６】
図１１（ａ）は、本願発明における符号化方法を含んだ符号化プログラムを実行するためのハードウェア構成を示している。本符号化プログラムはハードディスク装置（以下、ＨＤＤと略す）１１０４に記録されており、符号化プログラムの起動とともにＲＡＭ１１０２にロードされ、以下で示される各ステップをＣＰＵ１１０１が実行して符号化処理がなされる。なお、本実施例では入力画像データはＨＤＤ１１０４に格納されており、符号化されたビットストリームもＨＤＤ１１０４へ記録されるものとする。以上の構成において、符号化を行う動作について説明する。なお、本実施例では、フレームを縦横６４×６４画素からなる格子に区切った格子ブロック（以下、縦横ｎ×ｎ画素からなるブロックをｎ×ｎと表記する。）に分割し、格子ブロックをさらに領域四分木構造を用いて分割ブロックに分割し、分割ブロックを符号化対象ブロックとして符号化処理を行うものとして説明する。最小の分割ブロックは８×８とする。図１３（ａ）は、フレームを格子ブロックに分割した状態の一例を示しており、図１３（ｂ）はその格子ブロックをさらに分割ブロックに分割した状態の一例を表している。なお、格子ブロックが分割されない場合にも、格子ブロック内に一つの６４×６４の分割ブロックが存在するとみなして処理を行う。
【００１７】
図１５は、フレーム全体を符号化するフローを説明したフローチャートである。Ｓ１５０１０では、フレームヘッダー情報を符号化する。フレームヘッダー情報には、フレームの同期コードや、フレームがイントラフレームかインターフレームであるかを示すフレームタイプ情報などが含まれる。
【００１８】
Ｓ１５０２０では、処理対象となる格子ブロック（以下、対象格子ブロック）を設定する。初回の対象格子ブロックは、フレーム内左上の格子ブロックになる。以降、Ｓ１５０２０が実行されるごとに、ラスター順に格子ブロックが設定される。例えば、図１３（ａ）で示される格子ブロック番号（Ｂ１、Ｂ２、．．．）の順になる。
【００１９】
Ｓ１５０３０では、対象格子ブロックの分割状態と分割ブロックごとに後述の予測モードを決定する。対象格子ブロックの分割は、図１３（ｂ）のように、領域四分木構造を使って分割される。また、本実施例においては、予測モードとはイントラ予測モードとインター予測モードのことを示すものとする。イントラ予測モードは、Ｈ．２６４のように処理対象の分割ブロックの周辺の分割ブロックを参照してイントラ予測画像ブロックを生成するモードであり、インター予測モードは、動きベクトルを決定して動き補償予測画像ブロックを生成するモードである。
【００２０】
Ｓ１５０３１では、対象格子ブロック内の分割ブロックの予測モード情報と分割ブロック情報を符号化する。予測モード情報とは、予測モードを識別するフラグと予測モードに関する付加情報である。例えば、イントラ予測モードであれば付加情報はイントラ予測方法情報となり、インター予測であれば動きベクトル情報、あるいは、周辺ブロックの中から動きベクトルが同じブロックを識別する動きベクトル導出ブロック識別情報となる。動きベクトル導出ブロック識別情報の一例として、動きベクトル導出ブロック識別情報はそれぞれ１ビットの動きベクトル同一フラグ、動きベクトル予測方向フラグからなる。動きベクトル同一フラグが１の場合には、動きベクトルが埋め込まれず、動きベクトル予測方向フラグが埋め込まれる。動きベクトル同一フラグが１の場合には、動きベクトルが埋め込まれ、動きベクトル予測方向フラグが埋め込まれない。また、動きベクトル予測方向フラグが１の場合には、左方ブロックの動きベクトルを対象ブロックの動きベクトルとし、
０の場合は、上方ブロックの動きベクトルが対象ブロックの動きベクトルとなる。動きベクトル導出ブロック識別情報を埋め込む場合には、動きベクトル情報をビットストリームに埋め込まなくても、復号処理において、動きベクトル導出ブロック識別情報から動きベクトルを導出できる。なお、本実施例では、動きベクトル予測方向フラグを１ビットのフラグとして扱っているがそれに限定されない。動きベクトル予測方向フラグ上方ブロック、左方ブロックに加えて、左上ブロック、右上ブロックなど複数のブロック候補から選択可能とするために多値のデータであってよい。イントラ予測方法情報は、Ｈ．２６４の１６×１６イントラ予測ブロックとの予測モードと同様に、例えば、水平方向予測、垂直方向予測、ＤＣ予測、平面予測を識別する情報である。
【００２１】
ビットストリームには、この予測モード情報を可変長符号化した予測モード情報符号が埋め込まれる。分割ブロック情報とは、領域四分木の各ノード（ブロック）がさらに分割されるかどうかの分割状態を示す情報であり、ある１つのノード（ブロック）に対する分割ブロック情報を分割フラグとする。例えば、格子ブロックが図１３（ｂ）のように分割されるとすると、ブロックサイズごとの階層の分割状態は、図１９のように表現される。図１９の（ａ），（ｂ），（ｃ），（ｄ）は、それぞれ、６４×６４、３２×３２、１６×１６、８×８ブロックの分割状態を示している。また、ブロックを分割する場合を（１）、分割しない場合を（０）と表現している。Ｎ１，Ｎ２，．．，Ｎ２１は、領域四分木構造のノード（ブロック）番号を表している。その番号は、階層ごとには領域四分木構造を深さ優先探索で走査する順番、同一ブロック内においては左上、右上、左下、右下の順で走査する順番（以下、領域四分木構造順と表現する）で設定されている。「−」はノード（ブロック）が存在しないことを示している。Ｎ１，Ｎ２，．．．，Ｎ２１の分割フラグを分割ブロック情報として復号器へ伝送することにより、復号器側でも、領域四分木構造を再構築が可能となる。予測モード情報符号と分割フラグは、例えば、図１８（ａ）に示されるような構造で、分割ブロックごとにビットストリームに埋め込まれる。なお、図１８（ａ）のＮ１，Ｎ２，．．．，Ｎ２１は、図１９のノード（ブロック）番号に対応し、図１８（ａ）のｂ１，ｂ２，．．．，ｂ１６は、図１３（ｂ）の分割ブロック番号に対応する。なお、Ｎ１，Ｎ２，．．，Ｎ２１において、予測モード情報はこれ以上分割されない最小の分割ブロック、つまり、ｂ１，ｂ２，．．．，ｂ１６に対応する分割ブロックにのみ付加されることになる。
【００２２】
Ｓ１５０４０では、処理対象となる対象分割ブロックを設定する。初回では、格子ブロック内の左上ブロックが設定される。以降、Ｓ１５０４０が実行されるごとに、その領域四分木構造順に従って分割ブロックが設定される。例えば、図１３（ｂ）で示される分割ブロックの番号（ｂ１、ｂ２、．．．）の順になる。
【００２３】
Ｓ１５０５０では、Ｓ１５０４０で設定された対象分割ブロックを符号化する。詳細は、後述する。Ｓ１５０６０では、対象格子ブロック内の全分割ブロックが全て処理されたかを判定し、全分割ブロックの処理が終了している場合にはＳ１５０７０に進み、全分割ブロックの処理が終了していない場合にはＳ１５０４０に戻る。一つの格子ブロックに対する全ての分割ブロックの処理が終了すると、図１８（ａ）に示されるような構造をもつ格子ブロックのビットストリームが生成される。
【００２４】
Ｓ１５０７０は、フレーム内の全格子ブロックの処理が終了したかを判定し、全格子ブロックの処理が終了している場合には本フローを終了し、全格子ブロックの処理が終了していない場合には、Ｓ１５０２０に戻る。全格子ブロックの処理が終了した時点で、図１７（ａ）に示されるような構造をもつフレームのビットストリームが生成される。
【００２５】
図１は、図１５のＳ１５０５０で実行される分割ブロック符号化方法の詳細なフローチャートである。
【００２６】
Ｓ１０１０では、対象分割ブロックの属性情報を取得する。本実施例ではブロックサイズを属性情報とするが、それに限定されない。例えば、属性情報には、イントラ・インター予測を識別するブロックモード情報、動きベクトル、イントラ予測におけるイントラ予測方法などがある。それらの属性の単体、あるいは、組み合わせを用い、属性が同一であり、かつ、直前に符号化した分割ブロックの画質制御パラメータを予測画質制御パラメータとしてもよい。また、動きベクトルに関しては、全く同一である必要がなく、ベクトルの差の絶対値が一定値以下であれば、同一とみなしてもよい。
【００２７】
Ｓ１０２０では、対象分割ブロックの画質制御パラメータを算出する。画質制御パラメータは、例えばフレームの符号量があらかじめ設定された目標符号量となるように算出される。このとき、人の顔やオブジェクトのエッジなど特定の画像成分をもつ領域の画質を向上させること目的として、領域ごとに異なる画質パラメータとなるように画質制御パラメータを調整してもよい。
【００２８】
Ｓ１０３０では、対象分割ブロックと同じ属性を持ち、かつ、直前に符号化した分割ブロックの画質制御パラメータを予測制御パラメータとして取得する。本実施例では、ブロックサイズを属性情報としているため、ブロックサイズごとに画質制御パラメータを記録、更新しておき、それを参照する形式をとる。詳細は、後述する。
【００２９】
Ｓ１０４０では、対象分割ブロックの画質制御パラメータと予測画質制御パラメータとの差分値を計算して、画質制御パラメータの差分値を算出する。
【００３０】
Ｓ１０５０では、画質制御パラメータの差分値を符号化し、画質制御パラメータ差分値符号を生成する。画質制御パラメータ差分値符号は、図１８（ａ）に示される構造でビットストリームに埋め込まれる。
【００３１】
Ｓ１０６０では、対象分割ブロックの画像データを符号化する。本実施例では、予測モードに従って、対象分割ブロックの残差データを生成し、直交変換、量子化、可変長符号化を実行することによって、残差データを符号化し可変長符号化係数データを生成する。このとき、可変長符号化係数データは、図１８（ａ）に示される構造でビットストリームに埋め込まれる。
【００３２】
図２０は、図１のＳ１０３０で示された、ブロックサイズごとの予測画質制御パラメータの取得方法を説明したフローチャートである。なお、本フローチャートでは、最終画質制御パラメータ６４、最終画質制御パラメータ３２、最終画質制御パラメータ１６、最終画質制御パラメータ８が用いられる。これらのパラメータは、フレーム内の処理で共通のパラメータであり、復号の開始時、あるいは、フレームやスライスなどの処理単位ごとに初期化しておくものとする。
【００３３】
Ｓ２０００１は、処理対象ブロックのブロックサイズを判定し、それぞれのブロックサイズごとの処理を実行する。具体的には、ブロックサイズが６４×６４、３２×３２、１６×１６、８×８の場合、それぞれ、Ｓ２０００２とＳ２０００３，Ｓ２０００４とＳ２０００５、Ｓ２０００６とＳ２０００７、Ｓ２０００８とＳ２０００９を実行する。
Ｓ２０００２は、最終画質制御パラメータ６４を予測画質制御パラメータとする。
【００３４】
Ｓ２０００３は、対象分割ブロックの画質制御パラメータを最終画質制御パラメータ６４×６４に記録する。このように値を記録しておくことにより、次回の６４×６４ブロックの処理時に、容易に参照することが可能となる。
【００３５】
以下、Ｓ２０００４とＳ２０００５、Ｓ２０００６とＳ２０００７、Ｓ２０００８とＳ２０００９も、それぞれ、３２×３２、１６×１６、８×８ごとに同様の処理がなされる。ここで、取得した予測画質制御パラメータがＳ１０４０で利用されることになる。
【００３６】
図２２に、予測画質制御パラメータとして参照されるブロックの関係を示す。図中の矢印は、例えば、Ｂ２が処理対象分割ブロックである場合、同一サイズのブロックで最後に符号化したＢ１の画質制御パラメータをＢ２の予測画質制御パラメータとすることを表している。また、Ｃ５が処理対象分割ブロックである場合、同一サイズのブロックで最後に符号化したＣ４の画質制御パラメータをＣ５の予測画質制御パラメータとする。本実施例では、このように、異なるサイズのブロックの画質制御パラメータは、サイズごとに独立した形で、予測画質制御パラメータとして参照される。
【００３７】
同じ属性を持つブロックは、同じあるいは近い値の画質制御パラメータで符号化されることが多い。例えば、低周波成分の多い画像ブロックは大きなブロックサイズで、エッジなど高周波成分が多い画像ブロックは小さなブロックサイズで、符号化することにより符号化効率が良くなる傾向がある。そのため、ブロック分割時のブロックサイズもその傾向に従って決定されやすい。また、特定の画像成分をもつ領域の画質を向上させるために、画質制御パラメータを制御する場合、ブロックサイズごとに画質制御制御パラメータは似た値を持つ可能性が高い。よって、本実施例で説明した手法をとることにより、単純に、直前に符号化したブロックの画質制御パラメータを予測画質制御パラメータとして差分値を計算する場合に比べ差分値の絶対値が小さくなる。つまり、画質制御パラメータを符号化した際の符号量が小さくなる。
【００３８】
本実施例では、格子ブロックサイズは６４×６４、最小の分割ブロッサイズを８×８として説明したがそれに限定されない。また、本願発明における符号化方法は、図１１（ｂ）ように、直交変換器１００３、量子化器１００４、可変長符号化器１００５といった専用のハードウェアを持った構成で行われてもよい。また、本願発明による画質制御パラメータの算出が符号量制御器（不図示）などの専用のハードウェアで構成されていてもよい。このとき、直交変換、量子化、可変長符号化、制御処理がＣＰＵにより実行されるのでなく、ＣＰＵが各処理をそれぞれのハードウェアに実行させること以外は、図１５および図１で示されるフローと同様の動作を行う。
【００３９】
＜実施例２＞
実施例１で説明した画像符号化方法で符号化された符号化データを復号する画像復号方法について図６、図１１、図１６、図２０を用いて説明する。
【００４０】
図１１（ａ）は、本願発明における復号方法を含んだ復号プログラムを実行するための構成を示している。ＨＤＤ１１０４に記録された復号プログラムを、ＲＡＭ１１０２にロードし、後述するフローの各ステップをＣＰＵ１１０１が実行することにより復号処理がなされる。なお、入力符号データはＨＤＤ１１０４から読みだされ、復号画像はＶＲＡＭ１１０５を介して、ディスプレイに出力されるものとする。なお、復号処理はブロックごとに行われるが、各ブロックを復号することにより得られたブロックの復号画像は、ＲＡＭ１１０２内の適正な位置にコピーされ、１フレーム分のブロックの復号処理が終了した時点で、１フレームの復号画像が完成する。生成されたフレームは、その後ＶＲＡＭ１１０５へ出力されるものとする。
【００４１】
入力されるビットストリームは実施例１で生成されたビットストリームとして説明する。
図１６は、入力されたビットストリームを復号処理するフローを示したものである。各格子ブロックは、ラスタースキャン順に復号される。
【００４２】
Ｓ１６０１０では、図１７（ａ）で示されるフレームヘッダー情報を復号する。Ｓ１６０２０では、処理対象となる対象格子ブロックを設定する。初回の処理対象となる対象格子ブロックは、画面左上の格子ブロックになる。以降に、Ｓ１６０２０が実行されるごとに、ラスター順に対象格子ブロックを設定する。例えば、図１３（ａ）で示される格子ブロック番号（Ｂ１、Ｂ２、．．．）の順になる。
【００４３】
Ｓ１６０３０では、対象格子ブロックの分割状態と分割ブロックごとの予測モードを復号する。ここでは、分割フラグをもとに、分割ブロックの領域四分木構造が復元される。また、分割ブロックごと予測モード情報も復号され、以降、分割ブロックの属性情報が取得可能となる。
【００４４】
Ｓ１６０４０では、処理対象となる対象分割ブロックを設定する。Ｓ１６０３０で復元された領域四分木構造の順番基づいて分割ブロックを設定していく。例えば、図１３（ｂ）で示される分割ブロック番号（ｂ１、ｂ２、．．．）の順になる。
【００４５】
Ｓ１６０５０では、対象分割ブロックの画像データを復号する。詳細は、図６の説明で後述する。
【００４６】
Ｓ１６０６０で、格子ブロック内の全分割ブロックが全て処理されたかを判定し、全ての分割ブロック処理が終了している場合にはＳ１６０７０を実行し、全ての分割ブロックの処理が終了していない場合にはＳ１６０４０に戻る。
【００４７】
Ｓ１６０７０は、フレーム内の全格子ブロックの処理が終了したかを判定し、全ての格子ブロックの処理が終了している場合には本フローを終了し、全ての格子ブロックの処理が終了していない場合にはＳ１６０２０〜Ｓ１６０７０の処理を再度実行する。
【００４８】
図６は、図１６のＳ１６０５０で実行される処理の詳細なフローチャートである。Ｓ６０１０では、対象分割ブロックの属性情報を取得する。本実施例ではブロックサイズを属性情報としているが、それに限定されない。Ｓ６０２０では、画質パラメータ差分値符号を復号して、画質パラメータ差分値を生成する。
【００４９】
Ｓ６０３０では、Ｓ６０１０で取得した対象分割ブロックの属性情報と同一の属性情報を持った分割ブロックであり、直前に復号した分割ブロックの画質制御質パラメータを予測画質制御パラメータとする。本実施例では、ブロックサイズを属性情報としているため、ブロックサイズごとの最終画質制御パラメータを記録しておき、それを参照する形式をとる。
【００５０】
Ｓ６０４０では、予測画質制御パラメータに画質制御パラメータ差分値を加算することにより、処理対象ブロックの画質制御パラメータを算出する。
【００５１】
Ｓ６０５０では、対象分割ブロックの画像データを復号する。本実施例の処理対象ブロックの復号処理では、可変長符号化係数データを、可変長復号、逆量子化、逆直交変換して、残差データを生成する。さらに、予測モードに従って、予測画像を生成し、予測画像に残差データに加算することによって、分割ブロックの復号画像を得る。逆量子化の際には、Ｓ６０４０で算出した画質制御パラメータを量子化パラメータとして用いる。
【００５２】
本実施例で説明した手法をとることにより、実施例１で説明した画像符号化方法で符号化されたストリームを復号することができる。
【００５３】
本願発明における復号方法は、図１１（ｃ）のように、逆直交変換器１３０４、逆量子化器１３０５、可変長復号器１３０６、符号量制御器（不図示）といった専用のハードウェアを持った構成で行われてもよい。このとき、逆直交変換、逆量子化、可変長復号処理がＣＰＵ１１０１により実行されるのでなく、ＣＰＵ１１０１が各処理をそれぞれのハードウェアに実行させること以外は、図６および図１６で示されるフローと同様の処理を行う。
【００５４】
＜実施例３＞
本実施例での画像符号化方法について図２を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例１と同様とする。
【００５５】
図２は分割ブロック符号化方法の詳細なフローチャートであり、図１に対して、Ｓ１０２０の後に、Ｓ２０２１が追加されている。なお、本実施例では、対象分割ブロックがインターブロックであるとして説明する。
【００５６】
Ｓ２０２１では、周辺ブロックの中から、対象分割ブロックの属性情報と最も近い属性情報を持つブロックを一つ選択する。図１２（ｂ）は、対象分割ブロックと周辺ブロックの動きベクトルの関係を示している。本実施例では、周辺ブロックとは、図１２（ｂ）のように、左、上、右上のブロックとするが、この組み合わせに限定されない。また、属性情報が最も近いブロックを選択するとは、対象分割ブロックの動きベクトルと周辺ブロックの動きベクトルの差の大きさが最も小さくなる動きベクトルを持つブロックを選択するが、これに限定されない。周辺ブロックの中から動きベクトルが同じブロックを識別する動きベクトル導出ブロック識別情報がある場合には、その情報を利用してブロックを選択してもよい。図１２（ｂ）を例に説明すると、対象分割ブロックの動きベクトルはＶＣｕｒｒであり、左、上、右上のブロックの動きベクトルは、それぞれＶＬｅｆｔ，ＶＴｏｐ，または、ＶＴｏｐＲｉｇｈｔである。図１２（ｂ）を例では、ＶＣｕｒｒとＶＴｏｐは、同じベクトル値であるため、上ブロックが選択される。本実施例では、属性情報が最も近いもしくは同一のブロックが複数存在する場合には、空間的な距離が最も近いブロックを選択することとするが、それに限定されない。
【００５７】
Ｓ２０３０は、Ｓ２０２１で選択されたブロックの画質制御パラメータを予測画質制御パラメータとする。
【００５８】
処理対象ブロック周辺に存在する同じ属性を持つブロックは、同じあるいは近い値の画質制御パラメータで符号化されることが多い。例えば、同じ動きベクトルをもつブロックは同一のオブジェクトに含まれる可能性が高く、特定のオブジェクトの画質を向上させる処理を実施する際には、同じ動きベクトルをもつブロックは、似た値の画質制御パラメータで符号化される可能性が高い。そのため、単純に直前に符号化したブロックの画質制御パラメータを予測画質制御パラメータとして差分値を計算する場合に比べて、本方式では、差分値の絶対値が小さくなり、画質制御パラメータを符号化した際の符号量が小さくなる。そのため、より少ないビットレートで同等の画質の映像を符号化することができる。
【００５９】
＜実施例４＞
実施例３で説明した画像符号化方法で符号化された符号化データを復号する画像復号方法について図７を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例２と同様とする。また、入力されるビットストリームは第３実施例で生成されたビットストリームであるとして説明する。
【００６０】
図７は図１６のＳ１６０５０で示された分割ブロック復号処理の詳細なフローチャートである。また、図６に対して、Ｓ６０２０の後に、Ｓ７０２１が追加されている。本実施例では、処理対象ブロックがインターブロックであるとして説明する。
【００６１】
Ｓ７０２１は、周辺ブロックの中から、対象分割ブロックの属性情報と最も近い属性情報を持つブロックを一つ選択する。図１２（ｂ）では、実施形態３同様にＶＣｕｒｒとＶＴｏｐは、同じベクトルであるため、上ブロックが選択されることになる。このとき、動きベクトルを直接比較してブロックを選択してもよいし、周辺ブロックの中から動きベクトルが同じブロックを識別する情報が存在する場合には、その情報を利用してブロックを選択してもよい。また本実施例では、属性情報が最も近いもしくは同一のブロックが複数存在する場合には、空間的な距離が最も近いブロックを選択することとするが、それに限定されない。
【００６２】
Ｓ７０３０は、Ｓ６０２１で選択されたブロックの画質制御パラメータを予測画質制御パラメータとする。ここで決定され予測画質制御パラメータがＳ６０４０で利用される。本実施例で説明した手法をとることにより、実施例３で説明した画像符号化方法で符号化したストリームを復号することができる。
【００６３】
＜実施例５＞
本実施例における画像符号化方法について図３を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例１と同様とする。
【００６４】
図３は図１５のＳ１５０５０で示されている分割ブロック符号化方法の詳細なフローチャートである。また、図１に対して、Ｓ１０２０の後にＳ３０２１が追加されている。
【００６５】
Ｓ３０２１は、周辺ブロックの中から、属性情報が同一となるブロックを一つ以上選択する。本実施例では、周辺ブロックとは、図１２（ａ）で示されるように処理対象ブロックに対して、左、上、右上のブロックとするが、この組み合わせに限定されない。また、本実施例ではブロックモード情報を属性情報とする。つまり、対象分割ブロックがイントラブロックであれば周辺のイントラブロック選択し、対象分割ブロックがインターブロックであれば周辺のインターブロックを選択する。
【００６６】
Ｓ３０３０は、選択された一つ以上のブロックの画質制御パラメータの平均値を算出し、それを予測画質制御パラメータとする。本実施例では、平均値を予測画質制御パラメータとしているが、これに限定されず、例えば中央値を用いてもよい。
【００６７】
図２３に、本実施例の動作例を示す。図２３（ａ）では、対象分割ブロックの左のブロックがインターブロックなので、左のブロックが選択される。図２３（ｂ）では、対象分割ブロックの上のブロックがインターブロックなので、上のブロックが選択される。図２３（ｃ）では、対象分割ブロックの左のブロックと上のブロックとがインターブロックなので、左のブロックと上のブロックとの平均値が選択される。図２３（ｄ）では、対象分割ブロックの左のブロックも上のブロックもインターブロックではないので、左のブロックが選択される。
【００６８】
対象分割ブロックの周辺に存在する同じ属性を持つブロックは、同じあるいは近い値の画質制御パラメータで符号化されることが多い。例えば、動きのある被写体のエッジ部分のブロックはイントラ符号化、背景や被写体内部のブロックはインター符号化で符号化されやすい。エッジ部分を優先して画質を上げる符号量制御を行う場合、イントラ符号化ブロック対して高画質になるように画質制御パラメータを設定することは有効な手段である。つまり、ブロックモード情報が同じブロックの画質制御パラメータは、似た値になる傾向がある。よって、本実施例で説明した手法をとることにより、単純に直前に符号化したブロックの画質制御パラメータを予測画質制御パラメータとして差分値を計算する場合に比べて、差分値の絶対値が小さくなり、画質制御パラメータを符号化した際の符号量が小さくなる。
【００６９】
＜実施例６＞
実施例５で説明した画像符号化方法で符号化された符号化データを復号する画像復号方法について図８を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例２と同様とする。また、入力されるビットストリームは実施例５で生成されたビットストリームであるとして説明する。
【００７０】
図８は図１６のＳ１６０５０で示された分割ブロック復号処理の詳細なフローチャートである。また、図６に対して、Ｓ６０２０の後にＳ８０２１が追加されている。
【００７１】
Ｓ８０２１は、周辺ブロックの中から属性情報が同一となるブロックを一つ以上選択する。本実施例では、周辺ブロックとは、図１２（ａ）で示されるように処理対象ブロックに対して、左、上、右上のブロックとするが、この組み合わせに限定されない。また、対象分割ブロックがイントラブロックであれば周辺のイントラブロック選択し、対象分割ブロックがインターブロックであれば周辺のインターブロックを選択する。
【００７２】
Ｓ８０３０は、選択された一つ以上のブロックの画質制御パラメータの平均を算出し、それを予測画質制御パラメータとする。本実施例では、平均値を予測画質制御パラメータとしているが、これに限定されず、例えば中央値を用いてもよい。ここで決定され予測画質制御パラメータがＳ６０４０で利用される。
【００７３】
本実施例で説明した手法をとることにより、実施例５で説明した画像符号化方法で符号化したストリームを復号することができる。
【００７４】
＜実施例７＞
本実施例の画像符号化方法について図４を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例１と同様とする。
【００７５】
図４は、図１５のＳ１５０５０で示された分割ブロック符号化方法を示すフローチャートである。また、図１に対して、Ｓ１０２０の後にＳ４０２１が、Ｓ４０２２、Ｓ４０２３が追加されている。
【００７６】
Ｓ４０２１は、予測画質制御パラメータ決定方法を複数の候補の中から選択する。本実施例における予測画質制御パラメータ決定方法としては、（０）対象分割ブロックの空間的に左方に存在する分割ブロックの画質制御パラメータを予測画質制御パラメータとする。（１）周辺分割ブロックの中で対象分割ブロックと同一の属性情報をもつ分割ブロックの画質制御パラメータの平均を予測画質制御パラメータとする。（２）周辺分割ブロックの中で対象分割ブロックと同一の属性情報をもつ分割ブロックの画質制御パラメータの中央値を予測画質制御パラメータとする。（３）対象分割ブロックと同一の属性情報を持ち、直前に符号化された分割ブロックの画質制御パラメータを予測画質制御パラメータとする。の４種類の中から選択する形をとるが、この組み合わせに限定されず、他の決定方法を用いてもよいし、これらの一部のみを用いてもよい。Ｓ４０２１における具体的な処理としては、これらの予測画質制御パラメータ決定方法を試行し、対象分割ブロックの画質制御パラメータと予測画質制御パラメータの差分値が最も小さくなる予測画質制御パラメータ決定方法を選択する。
【００７７】
Ｓ４０２２は、予測画質制御パラメータの決定方法を識別する識別値を決定する。本実施例では、Ｓ４０２１で決定した予測画質制御パラメータ決定方法に対応するインデックス値を識別値とする。
【００７８】
Ｓ４０２３は、前記識別値を符号化して識別値符号を生成する。
【００７９】
Ｓ４０３０は、Ｓ４０２１で選択した予測画質制御パラメータ決定方法によって算出された、予測画質制御パラメータを取得する。
【００８０】
本実施例により、格子ブロックのビットストリーム構造は、図１８（ｂ）のようになる。このビットストリームが復号器に伝送されることにより、復号器でも予測画質制御パラメータ決定方法を識別することが可能となる。
【００８１】
本実施例により、最適な予測画質制御パラメータ決定方法を選択することができる。なお、本実施例では、分割ブロックごとに最適な予測画質制御パラメータ決定方法を選択し、識別値を符号化する方法として説明している。しかし、それに限定されず、格子ブロック単位、スライス単位、フレーム単位、シーケンス単位で、最適な予測画質制御パラメータ決定方法し、前記符号化単位のヘッダー部に識別値を埋め込む構成をとってもよい。例えば、図１７（ａ）のフレームヘッダーに識別値を埋め込むなどの構成である。
【００８２】
＜実施例８＞
実施例７で説明した画像符号化方法で符号化された符号化データを復号する画像復号方法について図９を参照して説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例２と同様とする。また、入力されるビットストリームは第７実施例で生成されたビットストリームであるとして説明する。
【００８３】
図９は図１６のＳ１６０５０で示された分割ブロック復号処理の詳細なフローチャートである。図９は、図２に対して、Ｓ６０２０の後にＳ９０２１が追加されている。本実施例では、実施例７で生成された、図１８（ｂ）で示されるビットストリームを復号するものとする。
【００８４】
Ｓ６０１０では、対象分割ブロックの属性情報を取得する。本実施例では、イントラ・インター予測を識別するブロックモード情報を属性情報とするが、それに限定されず、例えば、ブロックサイズ、動きベクトル、イントラ予測におけるイントラ予測方法、それらの単体、あるいは、組み合わせを用いてもよい。
【００８５】
Ｓ９０２１は、予測画質制御パラメータ決定方法を識別する識別値符号を復号し、識別値を生成する。本実施例では、この識別値は、実施例７で説明した（０）、（１）、（２）、（３）に対応するものとするが、これに限定されない。
【００８６】
Ｓ９０３０は、前記識別値で識別される予測画質制御パラメータ決定方法を用いて、予測画質パラメータを決定する。ここで決定され予測画質制御パラメータがＳ６０４０で利用される。
【００８７】
本実施例で説明した復号方法により、実施例７で説明した画像符号化方法で符号化したストリームを復号することができる。
【００８８】
＜実施例９＞
本実施例の画像符号化方法について図５を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例１と同様とする。
【００８９】
図５は図１５のＳ１５０５０で示された分割ブロック符号化処理の詳細なフローチャートである。また、図１に対して、Ｓ１０２０の後にＳ５０２１が、Ｓ５０４０の後に、Ｓ５０４１、Ｓ５０４２が追加されている。
【００９０】
Ｓ５０２１では、周辺分割ブロックの中から、対象分割ブロックと属性情報が同一であるブロックを選択する。本実施例では、図１２（ａ）で示されるように処理対象ブロックに対して、左、上、右上のブロックとするが、これに限定されない。また、左、上、右上のブロックが全て異なるモードであった場合には、本実施例では全てを選択するものとするが、これに限定されない。
【００９１】
Ｓ５０３０では、対象分割ブロックの画質制御パラメータと選択されたブロックの画質制御パラメータとの差分値を全て計算し、差分値が最も小さくなるブロックを選択する。
【００９２】
Ｓ５０４０では、Ｓ５０３０で選択されたブロックの画質制御パラメータを使って算出した差分値を取得する。この差分値がＳ１０５０で符号化されることになる。
【００９３】
Ｓ５０４１では、複数ブロックから画質制御パラメータ予測ブロックを識別値する識別値を算出する。例えば、この識別値は、図１４にある表を使って算出できる。図１４の「同一属性ブロックの選択有無」は、左、上、右上に存在する分割ブロックがＳ５０２１で選択されたか否かを示している。この「同一属性ブロックの選択有無」に応じて、表中の識別コードが振られ、Ｓ５０２１で選択した左、上、右上の分割ブロックに対応する識別コードが識別値とされる。表中の「−」は、ブロックが選択されていないため識別コードが割り振られていない状態を示している。また、「ｘ」は識別値を符号化せずともに、ブロックが一意に決定できることを表している。
【００９４】
Ｓ５０４２では、前記識別値を符号化して識別値符号を生成する。本実施例では、「同一属性ブロックの選択有無」に応じて、図１４の「符号化方法」列に記載した符号化方法で、前記識別値を符号化する。図１４のケース１および８では、可変長のＧｏｌｍｂ符号を生成し、ビットストリームに埋め込む。図１４のケース２、３、５では、値を１ビット固定長データとしてビットストリームに埋め込む。また、ケース４、６、７は、ブロックが一意に特定できるため、識別値符号はビットストリームに埋め込まれない。なお、符号化方法についてはこれに限定されない。
【００９５】
本実施例により、分割ブロックごとに、対象分割ブロックの画質制御パラメータの符号量を最小にできる予測画質制御パラメータをもつ周辺の分割ブロックを選択することができる。
【００９６】
＜実施例１０＞
実施例９で説明した画像符号化方法で符号化された符号化データを復号する画像復号方法について図１０を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例２と同様とする。また、入力されるビットストリームは第９実施例で生成されたビットストリームであるとして説明する。
【００９７】
図１０は図１６のＳ１６０５０で示した分割ブロック符号化処理の詳細なフローチャートである。また、図６に対して、Ｓ６０２０の後にＳ１００２１、Ｓ１００２２、Ｓ１００２３が追加されている。
【００９８】
Ｓ１００２１では、周辺分割ブロックの中から、処理対象ブロックと属性情報が同一であるブロックを選択する。本実施例では、図１２（ａ）で示されるように処理対象ブロックに対して、左、上、右上のブロックとするが、符号化方法と同一であればよく、これに限定されない。また、左、上、右上のブロックが全て異なるモードであった場合には、本実施例では全てを選択するものとするが、符号化方法と同一であればよく、これに限定されない。
【００９９】
Ｓ１００２２では、識別値符号から識別値を復号する。本実施例では、図１４の「同一属性ブロックの選択有無」に応じて、「符号化方法」列に記載した符号化方法に対応する復号方法で、前記識別値を復号するがこれに限定れない。図１４のケース２、３、５においては、ブロックが一意に特定でき、識別値符号が埋め込まれていなため、識別値符号の復号処理はなされない。
【０１００】
Ｓ１００２３では、識別値に基づいて予測画質制御パラメータの算出に用いる分割ブロックを選択する。具体的には、本実施例では、「同一属性ブロックの選択有無」と識別値から、図１４の表を用いて、左、上、右上のブロックを特定する。Ｓ１００２２で識別値符号を復号しなかったケースでも、図１４の表と「同一属性ブロックの選択有無」から、一つの予測ブロックを選択できる。ここで選択されたブロックがＳ６０３０で利用される。
【０１０１】
本実施例で説明した復号方法により、実施例９で説明した画像符号化方法で符号化したストリームを復号することができる。
【０１０２】
＜実施例１１＞
本実施例の画像符号化方法について図２１を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例１と同様とする。
【０１０３】
本実施例では、対象分割ブロックがイントラブロックであるとして説明する。また、イントラ予測の予測方法は、Ｈ．２６４の１６×１６イントラ予測ブロックと同様に、ＤＣ予測、水平方向予測、垂直方向予測、平面予測であるとして説明するがこれに限定されない。
【０１０４】
図２１は、図１のＳ１０３０においてイントラ予測方法から予測画質制御パラメータを決定するフローチャートである
Ｓ２１００１では、対象分割ブロックのイントラ予測方法が、水平方向予測の場合にはＳ２１００２を、ＤＣ予測または平面予測の場合にＳ２１００３を、垂直方向予測の場合にはＳ２１００４を実行する。
【０１０５】
Ｓ２１００２では、左方に存在する分割ブロックの画質制御パラメータを予測画質制御パラメータとする。
【０１０６】
Ｓ２１００３では、左方に存在する分割ブロックと上方に存在する分割ブロックの画質制御パラメータの平均値を予測画質制御パラメータとする。
【０１０７】
Ｓ２１００４では、上方に存在する分割ブロックの画質制御パラメータを予測画質制御パラメータとする。
【０１０８】
ただし、イントラ予測方法と予測画質制御パラメータの算出に用いる分割ブロックの組み合わせはこれに限定されない。例えば、イントラ予測の方法が図２５に示すように３４方向ある場合には、図２４（ａ）に示すように予測画質制御パラメータを算出する。この場合、例えば予測方向を示すインデックスが１８、１０、１９の場合には対象分割ブロックの予測画質制御パラメータとして、左方に存在する分割ブロックと上方に存在する分割ブロックの画質制御パラメータの平均値を算出する（図２４（ｂ）に示すｔｏｐ＿ｌｅｆｔとｔｏｐ）。
【０１０９】
イントラ予測の予測方向にあるブロックは、同一のオブジェクトに含まれる可能性が高く、特定のオブジェクトの画質を向上させる処理を実施する際には、似た値の画質制御パラメータで符号化される可能性が高い。そのため、単純に直前に符号化したブロックの画質制御パラメータを予測画質制御パラメータとして差分値を計算する場合に比べて、本実施例で説明した方式では、差分値の絶対値が小さくなり、画質制御パラメータを符号化した際の符号量が小さくなる。
【０１１０】
＜実施例１２＞
実施例１１で説明した画像符号化方法で符号化された符号化データを復号する画像復号方法について図２１を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例２と同様とする。また、入力されるビットストリームは第１１実施例で生成されたビットストリームであるとして説明する。
【０１１１】
本実施例では、対象分割ブロックがイントラブロックであるとして説明する。また、イントラ予測の予測方法は、Ｈ．２６４の１６×１６イントラ予測ブロックと同様に、ＤＣ予測、水平方向予測、垂直方向予測、平面予測であるとするが、これに限定されない。
【０１１２】
図６のＳ６０３０において、イントラ予測方法から予測画質制御パラメータの決定は図２１のフローチャートにそって決定される。
【０１１３】
Ｓ２１００１では、対象分割ブロックのイントラ予測方法が、水平方向予測の場合にはＳ２１００２を、ＤＣ予測または平面予測の場合にＳ２１００３を、垂直方向予測の場合にはＳ２１００４を実行する。
Ｓ２１００２では、左方に存在する分割ブロックの画質制御パラメータを予測画質制御パラメータとする。
Ｓ２１００３では、左方に存在する分割ブロックと上方に存在する分割ブロックの画質制御パラメータの平均値を予測画質制御パラメータとする。
Ｓ２１００４では、上方に存在する分割ブロックの画質制御パラメータを予測画質制御パラメータとする。
【０１１４】
ただし、イントラ予測方法と予測画質制御パラメータの算出に用いる分割ブロックの組み合わせは、符号化方法と同一であればよく、これに限定されない。
本実施例で説明した手法をとることにより、実施例１１で説明した画像符号化方法で符号化したストリームを復号することができる。
【０１１５】
＜実施例１３＞
本実施例での画像符号化方法について図２を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例１、実施例３と同様とする。
【０１１６】
Ｓ２０２１では、周辺ブロックの中から、対象分割ブロックの属性情報が同じブロックを選択する。本実施例では、それは動きベクトルであり、図１２（ｂ）の例では、ＶＣｕｒｒとＶＴｏｐは、同じベクトル値であるため、上ブロックが選択される。
【０１１７】
Ｓ２０３０は、Ｓ２０２１で選択されたブロックの画質制御パラメータを予測画質制御パラメータとする。
【０１１８】
本実施形態では、Ｓ２０２１で算出する対象分割ブロックの動きベクトルと周辺ブロックの動きベクトルの差が同じ場合には、画質制御パラメータ差分値符号を埋め込まない形態がとられる。画質制御パラメータ差分値符号を埋め込まない場合、Ｓ１０４０とＳ１０５０をスキップされ、画質制御パラメータ差分値符号を埋め込まない。また、Ｓ１０６０における画像ブロックの符号化において、Ｓ１０２０で算出した画質制御パラメータは利用されず、Ｓ２０３０で決定した予測画質制御パラメータを画質制御のためのパラメータとして利用して画像ブロックを符号化することになる。
【０１１９】
処理対象ブロック周辺に存在する同じ属性を持つブロックは、同じ画質制御パラメータで符号化したほうがよい。例えば、同じ動きベクトルをもつブロックは同一のオブジェクトに含まれる可能性が高く、同一の画質制御パラメータで符号化したほうが同一オブジェト内に画質差が生まれない。画質制御パラメータの差分値をストリームに埋め込まないことにより、より少ないビットレートで同等の画質の映像を符号化することができる。
【０１２０】
さらに、周辺ブロック中で、動きベクトルが同一であるブロックが存在し、かつ、どの位置にあるブロックと動きベクトルが同一であるかを識別する符号をビットストリームに挿入する形態をとってもよい。動きベクトルが同一であるブロックが存在する場合は、前述の画質制御パラメータ差分値符号を埋め込まない形態の処理が行われる。このとき、対象分割ブロックには動きベクトルが埋め込まれないことになる。この実施形態をとることにより、さらに、画質制御パラメータを符号化した際の符号量を削減することが可能となる。
【０１２１】
＜実施例１４＞
実施例１３で説明した画像符号化方法で符号化されたストリームを復号する画像復号方法について図７を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例２、実施例４と同様とする。
【０１２２】
Ｓ７０２１は、周辺ブロックの中から、対象分割ブロックの属性情報が同じブロックを選択する。本実施例では、それは動きベクトルであり、図１２（ｂ）の例では、ＶＣｕｒｒとＶＴｏｐは、同じベクトル値であるため、上ブロックが選択される。
【０１２３】
Ｓ７０３０は、Ｓ７０２１で選択されたブロックの画質制御パラメータを予測画質制御パラメータとする。ここで決定され予測画質制御パラメータがＳ６０４０で利用される。
【０１２４】
本実施形態では、Ｓ７０２１で算出する対象分割ブロックの動きベクトルと周辺ブロックの動きベクトルの差が同じ場合には、画質制御パラメータ差分値符号を復号しない形態がとられる。画質制御パラメータ差分値符号を復号しない場合、Ｓ６０２０とＳ６０４０をスキップされ、Ｓ７０４０における画像ブロックの復号は、Ｓ７０３０で決定した予測画質制御パラメータを画質制御のためのパラメータとして利用し画像ブロック復号することになる。
【０１２５】
本実施例で説明した手法をとることにより、実施例３で説明した画像符号化方法で符号化したストリームを復号することができる。
【０１２６】
さらに、周辺ブロック中で、動きベクトルが同一であるブロックが存在し、かつ、どの位置にあるブロックと動きベクトルが同一であるかを識別する符号がビットストリームに挿入されている場合にも、前述の画質制御パラメータ差分値符号を復号しない形態をとってもよい。この場合、予測画質制御パラメータは、前述の符号により識別される動きベクトルが同一であるブロックの画質制御パラメータとなる。なお、これらの処理は、符号化方法の処理と対応している必要がある。
【０１２７】
＜実施例１５＞
本実施例での画像符号化方法について図２を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例１、実施例３と同様とする。
【０１２８】
Ｓ２０２１では、周辺分割ブロックの中から、対象分割ブロックの属性情報が同じブロックの画面制御パラメータを選択する。本実施例では、複数の属性、すなわち予測モード、イントラ予測方法、参照する分割ブロックの有無の組み合わせによって選択を行う。なお、複数の属性についてはこれに限定されず、前述の動きベクトルやブロックサイズを用いても構わないし、それ以外の属性でも構わない。
【０１２９】
図２６にその選択のフローチャートを示す。選択はまず、対象分割ブロックの予測モードがイントラか否かを判別し、イントラ符号化であれば、イントラ予測方法を属性として画面制御パラメータの選択を行う。また、それ以外の予測モードについては、予測モード自体を属性として予測画面制御パラメータの選択を行う。イントラ予測モード以外にインター予測モードやスキップモードなどの予測モードがこれにあたるが、これに限定されない。最後に参照できるブロックの有無を属性として画面制御パラメータの選択を行う。
以下、フローチャートに従って、詳細に説明する。
【０１３０】
Ｓ２６００１は、対象分割ブロックの予測モードがイントラ予測モードかそれ以外かを判定し、イントラ予測モードであればＳ２６００２に進み、そうでなければＳ２６００３に進む。
【０１３１】
Ｓ２６００２は、イントラ予測方法が水平方向予測であれば、Ｓ２６００９で左方の画質制御パラメータを予測画質制御パラメータとする。また、垂直方向予測であれば、Ｓ２６０１０で上方の画質制御パラメータを予測画質制御パラメータとする。さらに、ＤＣ予測または平面予測であれば、Ｓ２６０１１で左方の画質制御パラメータと上方の画質制御パラメータの平均値を予測画質制御パラメータとする。その後、予測画質制御パラメータ選択処理を終了する。
【０１３２】
Ｓ２６００３は、対象分割ブロックの予測モードが上方の分割ブロックの予測モードと一致するか否かを判定し、一致する場合はＳ２６００４に進み、そうでなければＳ２６００５に進む。
【０１３３】
Ｓ２６００４は、さらに対象分割ブロックの予測モードが左方の分割ブロックの予測モードと一致するか否かを判定し、一致する場合はＳ２６０１０に進み、そうでなければＳ２６０１１に進む。
【０１３４】
Ｓ２６００５は、さらに対象分割ブロックの予測モードが左方の分割ブロックの予測モードと一致するか否かを判定し、一致する場合はＳ２６００９に進み、そうでなければＳ２６００６に進む。
【０１３５】
Ｓ２６００６は、対象分割ブロック上方に参照できる分割ブロックが存在するか否かを判定し、存在する場合はＳ２６００７に進み、そうでなければＳ２６００８に進む。Ｓ２６００７は、対象分割ブロック左方に参照できる分割ブロックが存在するか否かを判定し、存在する場合はＳ２６０１０に進み、そうでなければＳ２６０１１に進む。
【０１３６】
Ｓ２６００８は、対象分割ブロック左方に参照できる分割ブロックが存在するか否かを判定し、存在する場合はＳ２２００９に進み、そうでなければＳ２２０１２に進む。Ｓ２６０１２は、参照する分割ブロックがないので、直前に符号化された分割ブロックの画質制御パラメータを予測画質制御パラメータとする。その後、予測画質制御パラメータ選択処理を終了する。
【０１３７】
本実施例で示したように、複数の属性を用いて、予測画質制御パラメータを選択することにより、画質を細かく制御することが可能になる。
【０１３８】
なお、本実施例において、属性の判定の順番、判定後の処理の方法についてはこれに限定されない。本実施例において、処理分割ブロックがイントラ予測以外の場合に予測モードによる選択を行ったが、図２７に示すようにＳ２６００３からＳ２６００５を省いた構成をとっても構わない。また、Ｓ２６００２でイントラ予測方法を３つに大別したが、これに限定されず、イントラ予測方法をより細かく設定しても構わない。また、Ｓ２６００２ののちに参照する分割ブロックの予測モードがさらに一致するものから選択する方法を用いても構わない。すなわち、Ｓ２６００２で水平方向予測であれば、さらに左方の分割ブロックがイントラ予測モードであればＳ２６００９に進むが、そうでなければＳ２６００３に進むように条件を論理和になるように選択をおこなっても構わない。
【０１３９】
さらに、参照できる分割ブロックに関してもさらに条件を追加しても構わない。たとえば、Ｓ２６００８で参照できる分割ブロックの予測モードを参照したり、分割ブロック内の有意係数の有無、スキップの有無を条件に追加したりしても構わない。
【０１４０】
また、本実施例において、Ｓ２６０１２にて参照する分割ブロックがなかった場合に直前に符号化された分割ブロックの画質制御パラメータを予測画質制御パラメータとしたが、これに限定されず、図２８のＳ２８００１、図２９のＳ２９００１に示すようにスライスに与えられた画質制御パラメータであっても良い。この値はＨ．２６４であればＰＰＳで設定されたｐｉｃ＿ｉｎｉｔ＿ｑｐ＿ｍｉｎｕｓ２６とスライス単位で決められたｓｌｉｃｅ＿ｑｐ＿ｄｅｌｔａから求めることができる。さらには、予め決められた所定の値、ピクチャに与えられた画質制御パラメータであっても良い。また、ＨＥＶＣのようにＬＣＵを分割する際にＬＣＵ単位で与えられた画質制御パラメータを用いてももちろん構わない。
【０１４１】
また、本実施例において、周囲分割ブロックの情報として上方と左方のブロックを参照したが、これに限定されず、斜め左上、斜め右上の分割ブロックを参照しても構わないし、さらには前のフレームの同じ位置の分割ブロックを参照して予測画質制御パラメータを求めてももちろん構わない。
【０１４２】
＜実施例１６＞
実施例１５で説明した画像符号化方法で符号化されたストリームを復号する画像復号方法について図７を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例２、実施例４と同様とする。
【０１４３】
Ｓ７０２１は、周辺ブロックの中から、対象分割ブロックの属性情報が同じブロックを選択する。本実施例では、複数の属性、すなわち予測モード、イントラ予測方法、参照する分割ブロックの有無の組み合わせによって選択を行う。なお、複数の属性についてはこれに限定されず、前述の動きベクトルやブロックサイズを用いても構わないし、それ以外の属性でも構わない。Ｓ７０２１の詳細については図２６、図２７、図２８、図２９に示すフローチャートに従って復号済みの周辺の分割ブロックの予測モード、イントラ予測方法、参照する分割ブロックの有無を属性として判定する。これにより、符号化側と同じ動作を行うことにより正しく予測画質制御パラメータを選択することができる。
【０１４４】
なお、本実施例において、周囲分割ブロックの情報として上方と左方のブロックを参照したが、これに限定されず、斜め左上、斜め右上の分割ブロックを参照しても構わないし、さらには前のフレームの同じ位置の分割ブロックを参照して予測画質制御パラメータを求めてももちろん構わない。
【０１４５】
＜その他の実施例＞
本願発明では符号化されたデータはＨＤＤ９０３に記録される例をとって説明した。しかし、これに限定されず、ハードディスク装置以外の記録媒体に記録されても構わない。また、通信インターフェース９０５を解して通信回路に送信しても、外部記録装置に接続し、可搬メディアに記録してももちろん構わない。
【０１４６】
さらに、本願発明ではソフトウェアはハードディスク装置に記録される例をとって説明したが、これに限定されず、ＲＯＭ等のハードウェアに記録されていても構わないし、メモリカードやディスク等の可搬メディアに記録されていてももちろん構わない。
【図１】
0006261658.tif 000002
【図２】
0006261658.tif 000003
【図３】
0006261658.tif 000004
【図４】
0006261658.tif 000005
【図５】
0006261658.tif 000006
【図６】
0006261658.tif 000007
【図７】
0006261658.tif 000008
【図８】
0006261658.tif 000009
【図９】
0006261658.tif 000010
【図１０】
0006261658.tif 000011
【図１１】
0006261658.tif 000012
【図１２】
0006261658.tif 000013
【図１３】
0006261658.tif 000014
【図１４】
0006261658.tif 000015
【図１５】
0006261658.tif 000016
【図１６】
0006261658.tif 000017
【図１７】
0006261658.tif 000018
【図１８】
0006261658.tif 000019
【図１９】
0006261658.tif 000020
【図２０】
0006261658.tif 000021
【図２１】
0006261658.tif 000022
【図２２】
0006261658.tif 000023
【図２３】
0006261658.tif 000024
【図２４】
0006261658.tif 000025
【図２５】
0006261658.tif 000026
【図２６】
0006261658.tif 000027
【図２７】
0006261658.tif 000028
【図２８】
0006261658.tif 000029
【図２９】
0006261658.tif 000030