(57)【特許請求の範囲】
【請求項１】
入力されたＲＧＢ形式の動画像データに対して色空間形式における３成分をそれぞれ独立した予測を行わない予測が指定されている場合に、前記ＲＧＢ形式及びＹＵＶ形式のいずれの色空間形式でイントラ予測及びインター予測を行うかを判定する判定部と、
前記判定に基づいて前記ＲＧＢ形式の動画像データにおける処理対象のピクチャに含まれる処理ブロック毎に前記イントラ予測及び前記インター予測を行う予測部と、
前記イントラ予測及び前記インター予測の結果に基づいて前記ＲＧＢ形式の予測画像を生成する予測画像生成部と、
前記ピクチャの前記処理ブロックと前記予測画像とに基づいて予測誤差信号を生成する予測誤差信号生成部と、
前記処理ブロックに設定されるサブブロック毎に予測誤差信号を前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式で符号化するかを選択する色空間選択部と、
前記サブブロック毎に選択した前記色空間形式で前記予測誤差信号を直交変換及び量子化する変換処理部と、
を備えることを特徴とする動画像符号化装置。
【請求項２】
前記判定部は、前記ＲＧＢ形式の動画像データにおけるＲ成分、Ｇ成分、及びＢ成分の各成分の分散の大きさと各成分についての判定閾値との比較を成分毎に行い、前記比較の結果、３つの成分のうちの２つ以上についての分散が判定閾値よりも小さい場合には前記ＲＧＢ形式でイントラ予測及びインター予測を行うと判定し、その他の場合には前記ＹＵＶ形式でイントラ予測及びインター予測を行うと判定する、
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記変換処理部で量子化された値に対し逆量子化及び逆直交変換を行い予測誤差信号を復元する逆変換処理部と、
前記変換処理部において前記ＹＵＶ形式で直交変換及び量子化を行った前記サブブロックを前記ＲＧＢ形式に変換する色空間復元部と、
前記色空間復元部において前記ＹＵＶ形式から前記ＲＧＢ形式に変換した前記サブブロックの位置及び数の情報を含むＡＣＴマップを生成するＡＣＴマップ生成部と、を更に備え、
前記判定部は、前記インター予測において参照する参照ピクチャ内の領域であって現処理ブロックとの間で所定の対応関係を有している該領域において、前記色空間復元部において前記ＹＵＶ形式から前記ＲＧＢ形式に変換した領域の割合を、評価値として、前記ＡＣＴマップに基づいて算出し、前記評価値に基づいて前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式でイントラ予測及びインター予測を行うかを判定し、該判定において、前記評価値が該評価値についての判定閾値よりも大きい場合には前記ＹＵＶ形式でイントラ予測及びインター予測を行うと判定し、前記評価値が前記判定閾値よりも小さい場合には前記ＲＧＢ形式でイントラ予測及びインター予測を行うと判定する、
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項４】
前記判定部は、前記参照ピクチャのうち前記現処理ブロックと同位置の参照ブロックについて前記評価値を算出し、前記評価値に基づいて、前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式で前記現処理ブロックのイントラ予測及びインター予測を行うかを判定する、
ことを特徴とする請求項３に記載の動画像符号化装置。
【請求項５】
前記判定部は、前記参照ピクチャのうちの探索範囲であって、前記インター予測において動き探索を行う際の前記現処理ブロックに対する動きベクトルの探索範囲について前記評価値を算出し、前記評価値に基づいて、前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式で前記現処理ブロックのイントラ予測及びインター予測を行うかを判定する、
ことを特徴とする請求項３に記載の動画像符号化装置。
【請求項６】
前記判定部は、前記インター予測において前記現処理ブロックに対し時間的に前である第１の参照ピクチャと時間的に後である第２の参照ピクチャとを用いて行われるフレーム間予測により得られる、前記第２の参照ピクチャにおける前記現処理ブロックと同位置の参照ブロックについての動きベクトルに対し、前記第１の参照ピクチャと、前記現処理ブロックを含む現処理ピクチャと、前記第２の参照ピクチャとの時間的な距離関係に応じた比率を乗じることによって算出される、前記現処理ブロックについての動きベクトル分だけ、又はグローバルベクトルの大きさ分だけ、前記第１の参照ピクチャにおける前記現処理ブロックと同位置の参照ブロックからずれた位置ブロックについて前記評価値を算出し、前記評価値に基づいて、前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式で前記現処理ブロックのイントラ予測及びインター予測を行うかを判定する、
ことを特徴とする請求項３に記載の動画像符号化装置。
【請求項７】
前記判定部は、前記インター予測において前記現処理ブロックに対し時間的に前である第１の参照ピクチャと時間的に後である第２の参照ピクチャとを用いて行われるフレーム間予測により得られる、前記第２の参照ピクチャにおける前記現処理ブロックと同位置の参照ブロックについての動きベクトルに対し、前記第１の参照ピクチャと、前記現処理ブロックを含む現処理ピクチャと、前記第２の参照ピクチャとの時間的な距離関係に応じた比率を乗じることによって算出される、前記現処理ブロックについての動きベクトル分だけ、前記第１の参照ピクチャにおける前記現処理ブロックと同位置の参照ブロックからずれた位置のブロックが、前記第１の参照ピクチャに複数存在する場合には、グローバルベクトルに一番近い前記現処理ブロックについての前記動きベクトル分だけ、前記第１の参照ピクチャにおける前記現処理ブロックと同位置の参照ブロックからずれた位置のブロックについて前記評価値を算出し、前記評価値に基づいて、前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式で前記現処理ブロックのイントラ予測及びインター予測を行うかを判定する、
ことを特徴とする請求項３に記載の動画像符号化装置。
【請求項８】
前記イントラ予測及び前記インター予測で用いる参照画像データを記憶する記憶部と、
前記判定部において前記動画像データに対して前記ＹＵＶ形式でイントラ予測及びインター予測を行うと判定した場合に、入力された前記動画像データを前記ＹＵＶ形式に変換して前記予測部に入力するとともに、前記記憶部から読み出した前記参照画像データを前記ＹＵＶ形式に変換して前記予測部に入力する色空間変換部と、
をさらに備えることを特徴とする請求項１に記載の動画像符号化装置。
【請求項９】
前記変換処理部で量子化された値に対し逆量子化及び逆直交変換を行い予測誤差信号を復元する逆変換処理部と、復元した前記予測誤差信号における前記サブブロックのうち前記変換処理部において前記ＹＵＶ形式で直交変換及び量子化を行った前記サブブロックを前記ＲＧＢ形式に変換する色空間復元部と、全サブブロックを前記ＲＧＢ形式に復元した前記予測誤差信号と前記予測画像生成部で生成した予測画像とに基づいて前記ＲＧＢ形式の復号画像を生成する復号画像生成部と、前記ＲＧＢ形式の復号画像を前記ＹＵＶ形式に変換する変換部と、前記ＲＧＢ形式の復号画像及び前記ＹＵＶ形式の復号画像を記憶する記憶部と、
前記判定部において前記動画像データに対して前記ＹＵＶ形式でイントラ予測及びインター予測を行うと判定した場合に、入力された前記動画像データを前記ＹＵＶ形式に変換して前記予測部に入力する色空間変換部と、
前記判定部の判定結果に応じて前記記憶部から前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれかの前記復号画像を参照画像として取得して前記予測部に入力する取得部と、
をさらに備えることを特徴とする請求項１に記載の動画像符号化装置。
【請求項１０】
当該動画像符号化装置は、前記ＲＧＢ形式の動画像データを前記ＹＵＶ形式に変換する際に、輝度成分信号と、緑色成分の色差信号と、橙色成分の色差信号と、の３成分からなるＹＣｇＣｏ形式に変換する、
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項１１】
コンピュータが、
入力されたＲＧＢ形式の動画像データに対して色空間形式における３成分をそれぞれ独立した予測を行わない予測が指定されている場合に、前記ＲＧＢ形式及びＹＵＶ形式のいずれの色空間形式でイントラ予測及びインター予測を行うかを判定し、
当該判定に基づいて前記ＲＧＢ形式の動画像データにおける処理対象のピクチャに含まれる処理ブロック毎に前記イントラ予測及び前記インター予測を行い、
前記イントラ予測及び前記インター予測の結果に基づいて前記ＲＧＢ形式の予測画像を生成し、
前記ピクチャの前記処理ブロックと前記予測画像とに基づいて予測誤差信号を生成し、
前記処理ブロックに設定されるサブブロック毎に予測誤差信号を前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式で符号化するかを選択し、
前記サブブロック毎に選択した前記色空間形式で前記予測誤差信号を直交変換及び量子化する、
処理を実行することを特徴とする動画像符号化方法。
【請求項１２】
コンピュータに、
入力されたＲＧＢ形式の画像データに対して色空間形式における３成分をそれぞれ独立した予測を行わない予測が指定されている場合に、前記ＲＧＢ形式及びＹＵＶ形式のいずれの色空間形式でイントラ予測及びインター予測を行うかを判定し、
当該判定に基づいて前記ＲＧＢ形式の動画像データにおける処理対象のピクチャに含まれる処理ブロック毎に前記イントラ予測及び前記インター予測を行い、
前記イントラ予測及び前記インター予測の結果に基づいて前記ＲＧＢ形式の予測画像を生成し、
前記処理ブロックと前記予測画像とに基づいて予測誤差信号を生成し、
前記処理ブロックに設定されるサブブロック毎に予測誤差信号を前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式で符号化するかを選択し、
前記サブブロック毎に選択した前記色空間形式で前記予測誤差信号を直交変換及び量子化する、
処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像符号化方法、及びプログラムに関する。
【背景技術】
【０００２】
これまでの動画像の符号化は主としてＹＵＶ形式で行われている。ＹＵＶ形式は、輝度成分Ｙと、２つの色差成分Ｕ，Ｖからなる色空間形式である。すなわち、これまでの動画像の符号化では、入力画像データがＲＧＢ形式である場合にＹＵＶ形式に変換してから符号化していた。ところが近年、デジタルカメラ等の撮像装置（入力源）からの画像信号を、入力源の持つ色空間形式のまま符号化したいという要望が増えている。このため、最新の動画像符号化規格であるＨ．２６５／ＨＥＶＣ規格では、入力される動画像データがＲＧＢ形式の場合に、ＲＧＢ形式のままで符号化するというモードが追加された。この符号化モードでは、ＹＵＶ形式の信号同様の手法でＲＧＢ形式の信号を符号化する（例えば、非特許文献１を参照）。
【０００３】
この符号化方法は、ＨＥＶＣの拡張であるScreen Content Coding（ＳＣＣ）で実現されている。ＳＣＣを適用した動画像の符号化では、ＲＧＢ形式の動画像が入力された場合、Ｇ成分（緑色成分）をＹＵＶ形式におけるＹ成分相当として動画像を符号化する。
【０００４】
また、ＳＣＣには、符号化ツールとして、Adaptive Color Transform（ＡＣＴ）という技術が定義されている。ＡＣＴでは、予測誤差信号を直交変換する前にＲＧＢ形式からＹＵＶ形式に変換するパスを追加し、処理ブロックに設定されるサブブロック毎にＲＧＢ形式及びＹＵＶ形式のいずれで直交変換及び量子化を行うかを判定している。ＡＣＴがオンの場合はＹＵＶ形式に変換して直交変換及び量子化を行い、ＡＣＴがオフの場合はＲＧＢ形式のまま直交変換及び量子化を行う。また、ＡＣＴでは、量子化された値（変換係数）に対して逆量子化及び逆直交変換を行って復元した予測誤差信号におけるＹＵＶ形式のサブブロックをＲＧＢ形式に変換するパスを追加し、全てのサブブロックがＲＧＢ形式の復号画像を生成する。ＨＥＶＣ規格においては、処理ブロックはCoding Unit（ＣＵ）と呼ばれ、直交変換及び量子化におけるサブブロックはTransform Unit（ＴＵ）と呼ばれている。また、処理ブロックに含まれるサブブロック毎にＡＣＴのオン／オフを切り替えても問題が生じないように、ＲＧＢ形式とＹＵＶ形式との間での変換は完全可逆変換で定義されている。
【先行技術文献】
【特許文献】
【０００５】
【非特許文献１】"HEVC Screen Content Coding Extension(SCC)"、[online]、[平成２７年１０月７日検索]、インターネット＜URL：https://hevc.hhi.fraunhofer.de/scc＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
動画像の符号化においては、イントラ予測及びインター予測に対し、色空間情報を示す３成分を独立に予測する予測モードと、３成分のいずれか１成分を主として用いて予測する予測モードとが用意されている。
【０００７】
ＲＧＢ形式の動画像データが入力された場合、３成分を独立に予測する予測モードでは、Ｒ成分のみを用いた予測、Ｇ成分のみを用いた予測、及びＢ成分のみを用いた予測を行う。これに対し、ＲＧＢ形式の動画像データが入力された場合、３成分のいずれか１成分を用いて予測する予測モードでは、例えば、Ｇ成分を用いた予測のみを行う。
【０００８】
しかしながら、Ｒ成分、Ｇ成分、及びＢ成分の３成分を独立に予測する予測モードは、インター予測における動きベクトルの探索範囲を広くすると演算量が膨大になる。
【０００９】
一方、Ｒ成分、Ｇ成分、及びＢ成分の３成分のいずれか１成分を主として用いて予測する予測モードでは、選択した１成分に有意な情報が集中していない場合、インター予測における動きベクトルの探索精度が低くなる可能性がある。
【００１０】
１つの側面において、本発明は、ＲＧＢ形式の動画像を符号化する際の予測精度を向上させることを目的とする。
【課題を解決するための手段】
【００１１】
１つの態様の動画像符号化装置は、入力されたＲＧＢ形式の動画像データに対して色空間形式における３成分をそれぞれ独立した予測を行わない予測が指定されている場合に、ＲＧＢ形式及びＹＵＶ形式のいずれの色空間形式でイントラ予測及びインター予測を行うかを判定する判定部と、当該判定に基づいてＲＧＢ形式の動画像データにおける処理対象のピクチャに含まれる処理ブロック毎にイントラ予測及びインター予測を行う予測部と、イントラ予測及びインター予測の結果に基づいてＲＧＢ形式の予測画像を生成する予測画像生成部と、ピクチャの処理ブロックと予測画像とに基づいて予測誤差信号を生成する予測誤差信号生成部と、処理ブロックに設定されるサブブロック毎に予測誤差信号をＲＧＢ形式及びＹＵＶ形式のいずれの色空間形式で符号化するかを選択する色空間選択部と、サブブロック毎に選択した色空間形式で予測誤差信号を直交変換及び量子化する変換処理部と、を備える。
【発明の効果】
【００１２】
上述の態様によれば、ＲＧＢ形式の動画像を符号化する際の予測精度を向上させることができる。
【図面の簡単な説明】
【００１３】
【図１】ＡＣＴを適用した動画像符号化装置の機能的構成を示す図である。
【図２】第１の実施形態に係る動画像符号化装置の機能的構成を示す図である。
【図３】第１の実施形態に係る１ピクチャの符号化処理を説明するフローチャートである。
【図４】ＲＧＢ形式のピクチャに対する符号化処理を説明するフローチャートである。
【図５】ｍＡＣＴのオン／オフの判定方法を説明するフローチャートである。
【図６】第２の実施形態に係る動画像符号化装置の機能的構成を示す図である。
【図７Ａ】第２の実施形態に係る符号化処理を説明するフローチャート（その１）である。
【図７Ｂ】第２の実施形態に係る符号化処理を説明するフローチャート（その２）である。
【図８】ＡＣＴマップ生成処理を説明するフローチャートである。
【図９】ＡＣＴマップに基づいたｍＡＣＴのオン／オフの判定方法を説明するフローチャートである。
【図１０】ＡＣＴオン率の算出方法の第１の例を説明する図である。
【図１１】ＡＣＴオン率の算出方法の第２の例を説明する図である。
【図１２】ＡＣＴオン率の算出方法の第３の例を説明する図である。
【図１３】ＡＣＴオン率の算出方法の第４の例を説明する図である。
【図１４】第３の実施形態に係る動画像符号化装置の機能的構成を示す図である。
【図１５Ａ】第３の実施形態に係る符号化処理を説明するフローチャート（その１）である。
【図１５Ｂ】第３の実施形態に係る符号化処理を説明するフローチャート（その２）である。
【図１６】コンピュータのハードウェア構成を示す図である。
【発明を実施するための形態】
【００１４】
図１は、ＡＣＴを適用した動画像符号化装置の機能的構成を示す図である。
図１に示すように、ＡＣＴを適用した動画像符号化装置１は、イントラ予測部１０１と、インター予測部１０２と、判定部１０３と、予測画像生成部１０４と、予測誤差信号生成部１０５と、を備える。また、動画像符号化装置１は、色空間選択部１０６と、Ｔ／Ｑ処理部１０７と、ＥＮＴ処理部１０８と、を備える。更に、動画像符号化装置１は、ＩＱ／ＩＴ処理部１０９と、色空間復元部１１０と、復号画像生成部１１１と、フィルタ処理部１１２と、フレームメモリ１１３と、を備える。
【００１５】
イントラ予測部１０１は、現符号化処理対象のピクチャ（動画像データ）内における符号化済みの画素データを復号化した復号画像を参照したイントラ予測（フレーム内予測ともいう）を実行する。インター予測部１０２は、現符号化処理対象のピクチャとは異なる符号化済みのピクチャについての復号画像を参照したインター予測（フレーム間予測ともいう）を実行する。判定部１０３は、イントラ予測部１０１の予測結果及びインター予測部１０２の予測結果に基づいて、各処理ブロックの予測画像の生成に用いる予測結果を判定する。イントラ予測及びインター予測で用いる復号画像は、フレームメモリ１１３に格納されている。また、Ｈ．２６５／ＨＥＶＣ規格に従って動画像を符号化する場合、イントラ予測、インター予測、及び予測結果の判定は、処理ブロック（ＣＵ）に設定したPrediction Unit（ＰＵ）単位で行われる。
【００１６】
予測画像生成部１０４は、判定部１０３の判定結果に基づいて予測画像を生成する。予測誤差信号生成部１０５は、予測誤差信号として、現符号化処理対象のフレームにおける処理ブロックの入力データ（原画データ）と、予測画像との差分信号を生成する。
【００１７】
図１に示した動画像符号化装置１では、ＲＧＢ形式の動画像データ（フレーム）が入力された場合、ＲＧＢ形式のままフレーム内予測、フレーム間予測、予測画像の生成、及び予測誤差信号の生成を行う。
【００１８】
色空間選択部１０６は、処理ブロック内に設定されるTransform Unit（ＴＵ）単位で、色空間をＲＧＢ形式からＹＵＶ形式に変換するか否かを選択する。色空間変換部１０６は、ＡＣＴ部１０６ａとスイッチ１０６ｂとを含む。ＹＵＶ形式に変換する場合、色空間選択部１０６は、スイッチ１０６ｂをＡＣＴ部１０６ａ側に切り替える。ＡＣＴ部１０６ａは、所定の変換行列を用いてサブブロック（ＴＵ）の色空間をＲＧＢ形式からＹＵＶ形式に変換する。ＹＵＶ形式には、ＲＧＢ形式との間での完全可逆変換が可能な色空間形式、例えばＹＣｇＣｏ形式を用いる。
【００１９】
Ｔ／Ｑ処理部１０７は、予測誤差信号に対し、サブブロック（ＴＵ）単位で、直交変換及び量子化を実行する。
【００２０】
ＥＮＴ処理部１０８は、Ｔ／Ｑ処理部１０７で量子化された値（変換係数）に対しContext-based Adaptive Binary Arithmetic Coding（ＣＡＢＡＣ）等の算術符号化、或いは他のエントロピー符号化処理を行い、符号化ビットストリームを生成する。
【００２１】
ＩＱ／ＩＴ処理部１０９は、Ｔ／Ｑ処理部１０７で量子化された値に対し、サブブロック(ＴＵ)単位で逆量子化処理及び逆直交変換を行い、量子化する前の予測誤差画像を復元する。
【００２２】
色空間復元部１１０は、ＩＱ／ＩＴ処理部１０９で復元した予測誤差画像にＹＵＶ形式のサブブロックが含まれる場合に、当該サブブロックの色空間形式をＲＧＢ形式に変換する。色空間復元部１１０は、ＩＡＣＴ部１１０ａとスイッチ１１０ｂとを含む。色空間復元部１１０は、色空間変換部１０６における各サブブロックの色空間の変換情報に基づいて、ＹＵＶ形式で直交変換及び量子化を行ったサブブロックを特定する。ＹＵＶ形式からＲＧＢ形式に変換する場合、色空間復元部１１０は、スイッチ１１０ｂをＩＡＣＴ部１１０ａ側に切り替える。ＩＡＣＴ部１１０ａは、所定の変換行列を用いてＹＵＶ（ＹＣｇＣｏ）形式サブブロックの色空間をＲＧＢ形式に変換する。
【００２３】
復号画像生成部１１１は、ＩＱ／ＩＴ処理部１０９及び色空間復元部１１０により復元させたＲＧＢ形式の予測誤差画像と、予測画像生成部１０４で生成したＲＧＢ形式の予測画像とに基づいて、原画データに対するＲＧＢ形式の局所復号画像を生成する。
【００２４】
フィルタ処理部１１２は、局所復号画像に対しデブロッキングフィルタ処理や、Sample Adaptive Offset（ＳＡＯ）処理等のフィルタ処理を行う。
【００２５】
フレームメモリ１１３は、フィルタ処理を行った局所復号画像を蓄積する。蓄積した局所復号画像は、後続で処理するフレームに対する予測処理等に使用される。
【００２６】
上記のように、図１に示した動画像符号化装置１における色空間選択部１０６は、予測誤差信号に対する直交変換及び量子化をＲＧＢ形式及びＹＵＶ形式のいずれで行うかを選択する。そして、ＹＵＶ形式で直交変換及び量子化を行う場合、色空間選択部１０６は、ＡＣＴ部１０６ａにおいて予測誤差信号をＲＧＢ形式からＹＵＶ形式に変換する。この際、ＡＣＴ部１０６ａは、ＲＧＢ形式との完全可逆変換が可能なＹＣｇＣｏ形式に予測誤差信号を変換する。
【００２７】
ＹＣｇＣｏ形式は、輝度信号Ｙと、緑色成分の色差信号Ｃｇと、橙色成分の色差信号Ｃｏとにより画像の色を表現する色空間の表現形式である。このＹＣｇＣｏ形式の各成分Ｙ，Ｃｇ，Ｃｏと、ＲＧＢ形式の各成分Ｒ，Ｇ，Ｂとの間には、下記式（１）で表される関係がある。
【００２８】
【数１】
0006593122.tif 000002
【００２９】
なお、式（１）におけるβＣｇ及びβＣｏは、それぞれ定数である。
【００３０】
すなわち、色空間変換部１０６のＡＣＴ部１０６ａは、式（１）を逆変換させる行列式を用いて、予測誤差信号におけるＲ，Ｇ，Ｂの各成分の値からＹ，Ｃｇ，Ｃｏの各成分の値を算出する。
【００３１】
また、図１の動画像符号化装置１における色空間復元部１１０のＩＡＣＴ部１１０ａは、ＹＵＶ（ＹＣｇＣｏ）形式でＴ／Ｑ処理及びＩＱ／ＩＴ処理を行って得た復元された予測誤差画像をＲＧＢ形式に変換する。すなわち、色空間復元部１１０のＩＡＣＴ部１１０ａは、式（１）を用いて、復元された予測誤差信号におけるＹ，Ｃｇ，Ｃｏの各成分の値からＲ，Ｇ，Ｂの各成分の値を算出する。
【００３２】
この動画像符号化装置１は、上記のようにＨ．２６５／ＨＥＶＣ規格に従った動画像の符号化が可能であり、かつ、Screen Content Coding（ＳＣＣ）によりＲＧＢ形式で入力された動画像の符号化に対応している。
【００３３】
この種の動画像符号化装置１では、入力された動画像データがＲＧＢ形式である場合、例えば、ＹＵＶ形式の４：４：４フォーマットと対応した符号化方法として、Ｒ成分、Ｇ成分、及びＢ成分の３成分を独立に符号化する方法を選択可能である。この場合、動画像符号化装置１では、３成分のそれぞれでフレーム内予測及びフレーム間予測を行い、成分毎に符号化（モノクロ符号化）を行う。
【００３４】
上記の４：４：４フォーマットで３成分を独立に符号化する場合、ＹＣｇＣｏ形式では、たとえＣｇ成分及びＣｏ成分の画素数がＹ成分と同画素数になったとしても、Ｃｇ成分及びＣｏ成分の持つ情報が少ないためＣｇ成分及びＣｏ成分の予測精度が悪くなる。よって、３成分を独立に符号化する場合には、ＹＣｇＣｏ形式よりもＲＧＢ形式で予測をすることに意味がある。
【００３５】
しかしながら、動画像符号化装置１に入力されたＲＧＢ形式の動画像データを符号化する際には、Ｒ成分、Ｇ成分、及びＢ成分のいずれか１成分を用いた予測を行うことが可能となっている。このように、ある１成分を用いて予測を行うと、ＹＣｇＣｏ形式とＲＧＢ形式との信号特性の違いにより、ＲＧＢ形式では予測結果に悪影響を与える可能性がある。すなわち、映像内の情報が集中したＹ成分で予測を行う場合と、映像内の情報が均等に情報分割されたＲ，Ｇ，Ｂ成分のうちのＧ成分で予測を行う場合とでは、情報の多いＹ成分を用いたほうが、Ｇ成分を用いるより正確に予測することができる。
【００３６】
なお、フレーム内予測及びフレーム間予測を色空間の３成分のそれぞれで独立に行うか３成分のいずれか１成分を主として用いて行うかは、Sequence Parameter Set（ＳＰＳ）ヘッダー内に存在するフラグ「separate_colour_plane_flag」により指定される。「separate_colour_plane_flag=1」の場合、動画像符号化装置１は、フレーム内予測及びフレーム間予測を色空間の３成分のそれぞれで独立に行う。また、「separate_colour_plane_flag=0」の場合、動画像符号化装置１は、フレーム内予測及びフレーム間予測を色空間の３成分のいずれか１成分（例えばＧ成分）を主として用いて行う。言い換えると、「separate_colour_plane_flag=0」の場合のフレーム内予測及びフレーム間予測は、色空間形式における３成分をそれぞれ独立した予測を行わない予測であり、色空間の３成分のいずれか１成分（例えばＧ成分）に重きを置いて行われる。以下の説明では、「separate_colour_plane_flag=0」の場合のフレーム内予測及びフレーム間予測について、色空間の３成分のいずれか１成分を用いて行う予測と表現することもある。
【００３７】
このように、動画像データがＲＧＢ形式で入力され、かつＲ，Ｇ，Ｂの３成分のいずれか１成分を用いた予測を行う場合、インター予測における動きベクトルの精度が低くなる可能性がある。例えば、Ｒ，Ｇ，Ｂの３成分のそれぞれが有意な情報を持つ場合、いずれか１成分のみで予測を行うと、他の２成分の有意な情報を予測に用いることができないため予測精度が低下する可能性がある。
【００３８】
一方、１成分（例えばＧ成分）のみでなくＲ，Ｇ，Ｂの全ての成分を用いて予測を行うと予測精度は良くなる。しかしながら、予測に使用する画素の数に応じて演算処理量が増加するという別の問題が発生する。具体的には、３成分を用いた予測を行うと、１成分で予測した場合の処理量と比較して、４：４：４フォーマット時には３倍、４：２：２フォーマット時には２倍、４：２：０フォーマット時には１．２５倍に処理量が増加する。
【００３９】
［第１の実施形態］
図２は、第１の実施形態に係る動画像符号化装置の機能的構成を示す図である。
【００４０】
図２に示すように、本実施形態に係る動画像符号化装置１は、イントラ予測部１０１と、インター予測部１０２と、判定部１０３と、予測画像生成部１０４と、予測誤差信号生成部１０５と、を備える。また、動画像符号化装置１は、第１の色空間選択部１０６と、Ｔ／Ｑ処理部１０７と、ＥＮＴ処理部１０８と、を備える。また、動画像符号化装置１は、ＩＱ／ＩＴ処理部１０９と、色空間復元部１１０と、復号画像生成部１１１と、フィルタ処理部１１２と、フレームメモリ１１３と、を備える。更に、本実施形態の動画像符号化装置１は、ｍＡＣＴ判定部１２１と、第２の色空間選択部１２２と、第３の色空間選択部１２３と、を備える。
【００４１】
本実施形態の動画像符号化装置１におけるイントラ予測部１０１、インター予測部１０２、判定部１０３、予測画像生成部１０４、及び予測誤差信号生成部１０５は、それぞれ、上記の機能を有する。また、動画像符号化装置１における第１の色空間選択部１０６は、上記の色空間選択部１０６（図１参照）と同様の機能を有する。また、動画像符号化装置１におけるＴ／Ｑ処理部１０７、ＥＮＴ処理部１０８、ＩＱ／ＩＴ処理部１０９、色空間復元部１１０、復号画像生成部１１１、フィルタ処理部１１２、及びフレームメモリ１１３は、それぞれ、上記の機能を有する。
【００４２】
ｍＡＣＴ判定部１２１は、例えば、現処理対象のフレームにおけるＲＧＢ各成分の情報の偏りの程度に基づいて、ＲＧＢ形式及びＹＵＶ形式のいずれの画像データを用いて予測するかを判定する。以下の説明では、イントラ予測部１０１及びインター予測部１０２における予測にＲＧＢ形式の画像データを用いる場合はｍＡＣＴをオフにするといい、予測にＹＵＶ形式の画像データを用いる場合はｍＡＣＴをオンにするという。ｍＡＣＴ判定部１２１は、ｍＡＣＴのオン／オフの判定結果を第２の色空間選択部１２２及び第３の色空間選択部１２３に出力する。ｍＡＣＴをオンにする場合、ｍＡＣＴ判定部１２１は、例えば、「ｍＡＣＴ＝１」という信号を第２の色空間選択部１２２及び第３の色空間選択部１２３に出力する。一方、ｍＡＣＴをオフにする場合、ｍＡＣＴ判定部１２１は、例えば、「ｍＡＣＴ＝０」という信号を第２の色空間選択部１２２及び第３の色空間選択部１２３に出力する。
【００４３】
なお、ｍＡＣＴ判定部１２１は、動画像符号化装置１に入力された動画像データがＲＧＢ形式である場合にのみ、ＲＧＢ形式及びＹＵＶ形式のいずれの画像を用いて予測するかを判定する。すなわち、動画像符号化装置１に入力された動画像データがＹＵＶ形式である場合、ｍＡＣＴ判定部１２１は、ＹＵＶ形式の画像を用いて予測する（ｍＡＣＴをオンにする）と判定する。
【００４４】
第２の色空間選択部１２２は、ｍＡＣＴ判定部１２１の判定結果に基づいて、イントラ予測部１０１及びインター予測部１０２に入力する原画データの色空間を選択する。第２の色空間選択部１２２は、ＡＣＴ部１２２ａと、スイッチ１２２ｂとを含む。ＡＣＴ部１２２ａは、原画データの色空間をＲＧＢ形式からＹＣｇＣｏ形式に変換する。第２の色空間選択部１２２に入力されたＲＧＢ形式の原画データをＲＧＢ形式のまま出力するか、ＡＣＴ部１２２ａでＹＣｇＣｏ形式に変換して出力するかは、スイッチ１２２ｂにより切り替える。ｍＡＣＴがオフである場合、第２の色空間選択部１２２は、入力された原画データをＲＧＢ形式のまま出力するようスイッチ１２２ｂを切り替える。一方、ｍＡＣＴがオンである場合、第２の色空間選択部１２２は、ＡＣＴ部１２２ａにおいてＹＣｇＣｏ形式に変換した原画データを出力するようスイッチ１２２ｂを切り替える。
【００４５】
第３の色空間選択部１２３は、ｍＡＣＴ判定部１２１の判定結果に基づいて、イントラ予測部１０１及びインター予測部１０２に入力する参照画像データの色空間を選択する。第３の色空間選択部１２３は、ＡＣＴ部１２３ａと、スイッチ１２３ｂとを含む。ＡＣＴ部１２３ａは、参照画像データの色空間をＲＧＢ形式からＹＣｇＣｏ形式に変換する。第３の色空間選択部１２３に入力されたＲＧＢ形式の参照画像データをＲＧＢ形式のまま出力するか、ＡＣＴ部１２３ａでＹＣｇＣｏ形式に変換して出力するかは、スイッチ１２３ｂにより切り替える。ｍＡＣＴがオフである場合、第３の色空間選択部１２３は、入力された参照画像データをＲＧＢ形式のまま出力するようスイッチ１２３ｂを切り替える。一方、ｍＡＣＴがオンである場合、第３の色空間選択部１２３は、ＡＣＴ部１２３ａにおいてＹＣｇＣｏ形式に変換された参照画像データを出力するようスイッチ１２３ｂを切り替える。
【００４６】
第２の色空間選択部１２２のＡＣＴ部１２２ａ、及び第３の色空間選択部１２３のＡＣＴ部１２３ａは、それぞれ、式（１）を逆変換することにより、画像データにおけるＲ，Ｇ，Ｂの各成分の値からＹ，Ｃｇ，Ｃｏの各成分の値を算出する。
【００４７】
図３は、第１の実施形態に係る１ピクチャの符号化処理を説明するフローチャートである。なお、図３には、ＲＧＢ形式のピクチャが入力され、かつ色空間の３成分のうち１成分を主として用いた予測を行う場合の符号化処理のフローチャートを示している。入力されたピクチャがＲＧＢ形式であるか否かの判定は、例えば、図２には示していない、動画像符号化装置１全体の動作を制御する全体制御部が行う。全体制御部は、例えば、フラグ「residual_adaptive_colour_transform_enabled_flag」やTone mapping SEI(ヘッダー情報)に基づいてＲＧＢ形式のピクチャの符号化あるか否かを判定する。また、全体制御部は、フラグ「separate_colour_plane_flag」の値に基づいて、色空間の３成分のうち１成分を主として用いた予測を行うか否かを判定する。
【００４８】
入力されたＲＧＢ形式のピクチャに対し色空間の３成分のうち１成分を用いた予測を行う場合、動画像符号化装置１は、図３に示すように、まず処理対象のピクチャを読み込む（ステップＳ１）。そして、読み込んだピクチャのＲＧＢ成分に基づいてｍＡＣＴのオン／オフを判定する（ステップＳ２）。ステップＳ１，Ｓ２は、ｍＡＣＴ判定部１２１が行う。ｍＡＣＴ判定部１２１は、ステップＳ２の判定結果を、第２の色空間選択部１２２及び第３の色空間選択部１２３に出力する。
【００４９】
その後、動画像符号化装置１は、処理対象のピクチャに対する符号化処理（ステップＳ３）を行う。入力されたＲＧＢ形式のピクチャに対し色空間の３成分のうち１成分を主として用いた予測を行う場合、本実施形態の動画像符号化装置１は、ステップ３の符号化処理として、例えば、図４に示したような処理を行う。
【００５０】
図４は、ＲＧＢ形式のピクチャに対する符号化処理を説明するフローチャートである。
ＲＧＢ形式のピクチャに対する符号化処理（ステップＳ３）では、図４に示すように、まず、ｍＡＣＴがオンであるか否かの判定が行われる（ステップＳ３０１）。ステップＳ３０１は、第２の色空間選択部１２２及び第３の色空間選択部１２３が行う。ｍＡＣＴがオンである場合（ステップＳ３０１；Ｙｅｓ）、第２の色空間選択部１２２及び第３の色空間選択部１２３は、イントラ予測部１０１、インター予測部１０２、及び判定部１０３に、ＹＵＶ形式の画像を用いた予測を行わせる（ステップＳ３０２）。すなわち、ｍＡＣＴがオンである場合、第２の色空間選択部１２２は、動画像符号化装置１に入力された原画データがＡＣＴ部１２２ａを介してイントラ予測部１０１及びインター予測部１０２に入力されるようスイッチ１２２ｂを切り替える。また、ｍＡＣＴがオンである場合、第３の色空間選択部１２３は、フレームメモリ１１３の参照画像データがＡＣＴ部１２３ａを介してイントラ予測部１０１及びインター予測部１０２に入力されるようスイッチ１２３ｂを切り替える。これにより、イントラ予測部１０１及びインター予測部１０２には、それぞれ、ＹＣｇＣｏ形式に変換された原画データと参照画像データとが入力される。よって、イントラ予測部１０１及びインター予測部１０２は、それぞれ、ＹＣｇＣｏ形式に変換された原画データと参照画像データとを用いて予測を行う。
【００５１】
ステップＳ３０２の処理において、イントラ予測部１０１及びインター予測部１０２は、それぞれ、処理ブロック（ＣＵ）内に設定した予測ブロック（ＰＵ）単位で予測を行う。１個のＣＵを複数のＰＵに分割した場合、イントラ予測部１０１及びインター予測部１０２は、それぞれ、Ｚスキャン順に各ＰＵの予測を行う。イントラ予測部１０１及びインター予測部１０２は、１個の処理ブロックに対する予測を終えると、予測結果を判定部１０３に出力する。判定部１０３は、イントラ予測部１０１及びインター予測部１０２の予測結果に基づいて符号化コストが最小となる予測結果（予測画像）を判定する。判定部１０３は、判定結果すなわち符号化コストが最小となる予測結果を予測画像生成部１０４に出力する。これにより、１個の処理ブロック（ＣＵ）に対するステップＳ３０２の予測処理が終了する。  一方、ｍＡＣＴがオフである場合（ステップＳ３０１；Ｎｏ）、第２の色空間選択部１２２及び第３の色空間選択部１２３は、イントラ予測部１０１、インター予測部１０２、及び判定部１０３に、ＲＧＢ形式の画像を用いた予測を行わせる（ステップＳ３０３）。すなわち、ｍＡＣＴがオフである場合、第２の色空間選択部１２２は、動画像符号化装置１に入力された原画データがＡＣＴ部１２２ａを介さずにイントラ予測部１０１及びインター予測部１０２に入力されるようスイッチ１２２ｂを切り替える。また、ｍＡＣＴがオフである場合、第３の色空間選択部１２３は、フレームメモリ１１３の参照画像データがＡＣＴ部１２３ａを介さずにイントラ予測部１０１及びインター予測部１０２に入力されるようスイッチ１２３ｂを切り替える。これにより、イントラ予測部１０１及びインター予測部１０２には、それぞれ、ＲＧＢ形式の原画データと参照画像データとが入力される。よって、イントラ予測部１０１及びインター予測部１０２は、それぞれ、ＲＧＢ形式の原画データと参照画像データとを用いた予測を行う。
【００５２】
ステップＳ３０３の処理においても、イントラ予測部１０１及びインター予測部１０２は、１個の処理ブロックに対する予測を終えると、予測結果を判定部１０３に出力する。判定部１０３は、イントラ予測部１０１及びインター予測部１０２の予測結果に基づいて符号化コストが最小となる予測結果（予測画像）を判定する。判定部１０３は、判定結果すなわち符号化コストが最小となる予測結果を予測画像生成部１０４に出力する。これにより、１個の処理ブロック（ＣＵ）に対するステップＳ３０３の予測処理が終了する。
【００５３】
ステップＳ３０２又はＳ３０３の予測処理を終えると、次に、予測画像生成部１０４が予測結果に基づいてＲＧＢ形式の予測画像を生成する（ステップＳ３０４）。ｍＡＣＴがオフの場合、イントラ予測部１０１及びインター予測部１０２は、それぞれＲＧＢ形式の画像データを用いて予測を行っている。そのため、ｍＡＣＴがオフの場合、予測画像生成部１０４は、例えば、イントラ予測部１０１又はインター予測部１０２から判定部１０３を介して入力されるＲＧＢ形式の参照画像データを用いて予測画像を生成する。一方、ｍＡＣＴがオンの場合、イントラ予測部１０１及びインター予測部１０２は、それぞれＹＣｇＣｏ形式の画像データを用いて予測を行っている。そのため、ｍＡＣＴがオンの場合、予測画像生成部１０４は、符号化コストが最小となる予測結果と対応したＲＧＢ形式の画像データをフレームメモリ１１３から読み出して予測画像を生成する。予測画像生成部１０４は、生成した予測画像を予測誤差信号生成部１０５に出力する。なお、予測画像は局所復号画像を生成する際にも用いる。そのため、予測画像生成部１０４が生成した予測画像は、予測誤差信号生成部１０５に出力する一方で、例えば、復号画像生成部１１１内等に設けられたバッファに格納される。
【００５４】
予測画像を生成した後、動画像符号化装置１では、予測誤差信号生成部１０５が予測誤差信号を生成する（ステップＳ３０５）。予測誤差信号生成部１０５は、処理ブロック（ＣＵ）についての原画データと予測画像との差分を求め、当該差分を予測誤差信号として第１の色空間選択部１０６に出力する。予測誤差信号生成部１０５は、ＲＧＢ形式の原画データ及び予測画像を用いてＲＧＢ形式の予測誤差信号を生成する。そのため、第１の色空間選択部１０６には、ＲＧＢ形式の予測誤差信号が入力される。
【００５５】
予測誤差信号を生成した後、動画像符号化装置１では、第１の色空間選択部１０６がＡＣＴ処理を行う（ステップＳ３０６）。第１の色空間選択部１０６は、処理ブロック（ＣＵ）内に設定した変換ブロック（ＴＵ）毎に、予測誤差信号をＲＧＢ形式のままＴ／Ｑ処理部１０７に出力するか、ＹＣｇＣｏ形式に変換してＴ／Ｑ処理部１０７に出力するかを判定する。ＲＧＢ形式及びＹＣｇＣｏ形式のいずれの予測誤差信号をＴ／Ｑ処理部１０７に出力するかは、例えば、図２には示していない全体制御部からの制御信号に基づいて判定する。ＲＧＢ形式のままＴ／Ｑ処理部１０７に出力する場合、第１の色空間選択部１０６は、予測誤差信号生成部１０５からの予測誤差信号がＡＣＴ部１０６ａを介さずにＴ／Ｑ処理部１０７に入力されるようスイッチ１０６ｂを切り替える。一方、ＹＣｇＣｏ形式に変換してＴ／Ｑ処理部１０７に出力する場合、第１の色空間選択部１０６は、予測誤差信号生成部１０５からの予測誤差信号がＡＣＴ部１０６ａを介してＴ／Ｑ処理部１０７に入力されるようスイッチ１０６ｂを切り替える。ＡＣＴ部１０６ａは、式（１）の逆変換により、予測誤差信号をＲＧＢ形式からＹＣｇＣｏ形式に変換する。１個の処理ブロックに対するＡＣＴ処理を終えると、第１の色空間選択部１０６は、例えば、各変換ブロックの色空間情報を色空間復元部１１０内等に設けたバッファ（図示せず）に格納する。
【００５６】
第１の色空間選択部１０６によるＡＣＴ処理を経て予測誤差信号がＴ／Ｑ処理部１０７に入力されると、Ｔ／Ｑ処理部１０７は、変換ブロック（ＴＵ）単位で直交変換及び量子化を行う（ステップＳ３０７）。Ｔ／Ｑ処理部１０７は、変換ブロックがＲＧＢ形式及びＹＣｇＣｏ形式のいずれであるかを判定して各形式に対応した直交変換及び量子化を行う。Ｔ／Ｑ処理部１０７により量子化された値（変換係数）は、ＥＮＴ処理部１０８に出力される。Ｔ／Ｑ処理部１０７により量子化された変換係数が入力されると、ＥＮＴ処理部１０８は、入力された変換係数を算術符号化或いはエントロピー符号化してビットストリームを生成するＥＮＴ処理を行う（ステップＳ３０８）。
【００５７】
また、Ｔ／Ｑ処理部１０７により量子化された変換係数は、後続の処理ブロックやピクチャを符号化する際の参照画像（局所復号画像）の生成にも用いられる。すなわち、ステップＳ３０７の直交変換及び量子化を行った後、動画像符号化装置１は、ＥＮＴ処理を行う一方で、復号画像生成処理（ステップＳ３０９）及びフィルタ処理（ステップＳ３１０）を行う。ステップＳ３０９の復号画像生成処理は、ＩＱ／ＩＴ処理部１０９、色空間復元部１１０、及び復号画像生成部１１１が行う。また、ステップＳ３１０のフィルタ処理は、フィルタ処理部１１２が行う。
【００５８】
ステップＳ３０９の復号画像生成処理では、まず、ＩＱ／ＩＴ処理部１０９が、Ｔ／Ｑ処理部１０７で量子化された変換係数に対して逆量子化及び逆直交変換を行い、直交変換を行う前の予測誤差画像を復元する。次に、色空間復元部１１０が、予測誤差画像（処理ブロック）内の各変換ブロック（ＴＵ）についてのＡＣＴのオン／オフ情報に基づいて、ＹＣｇＣｏ形式の変換ブロックをＲＧＢ形式に逆変換しＲＧＢ形式の予測誤差信号を復元する。その後、復号画像生成部１１１が、ＲＧＢ形式に復元された予測誤差信号と、予測画像生成部１０４が生成した予測画像とを用いて原画データについてのＲＧＢ形式の復号画像を生成する。
【００５９】
また、ステップＳ３１０のフィルタ処理では、例えば、フィルタ処理部１１２が、復号画像生成部１１１で生成した復号画像に対しデブロッキングフィルタ処理を行う。Ｈ．２６５／ＨＥＶＣ規格に従って動画像を符号化する場合、例えば、フィルタ処理部１１２は、デブロッキングフィルタ処理の後、続けてＳＡＯ処理を行う。フィルタ処理部１１２は、復号画像に対する所定のフィルタ処理を終えると、フィルタ処理後の復号画像をフレームメモリ１１３に記憶させる。これにより、動画像符号化装置１における１処理ブロックに対する符号化処理が終了する。
【００６０】
動画像符号化装置１では、１ピクチャ内に設定される複数の処理ブロックのそれぞれに対しステップＳ３０１からＳ３１０の処理を順次行う。この際、動画像符号化装置１は、各処理ブロックに対するステップＳ３０１からＳ３１０の処理をパイプライン化して行う。
【００６１】
このように、ＲＧＢ形式のピクチャが入力され、かつ色空間の３成分のうち１成分を主として用いた予測を行う場合、本実施形態に係る動画像の符号化処理では、ＲＧＢ形式及びＹＣｇＣｏ形式のいずれの画像を用いて予測するかを判定する。
【００６２】
ＹＣｇＣｏ形式を含むＹＵＶ形式では、輝度信号Ｙに画像データの有意な情報が集中する。そのため、例えば、ＲＧＢ形式においてＲ成分、Ｇ成分、及びＢ成分のいずれかに有意な情報が集中している場合等を除くと、ＲＧＢ形式のまま予測するよりもＹＣｇＣｏ形式に変換して予測するほうが、精度の高い予測を行うことが可能となる。
【００６３】
しかしながら、上記のように、ＲＧＢ形式においてＲ成分、Ｇ成分、及びＢ成分のいずれかに有意な情報が集中している場合等、ＲＧＢ形式のまま予測するほうがよいこともある。例えば、ＲＧＢ形式のピクチャにおける有意な情報がＧ成分に集中している場合、当該ピクチャをＹＣｇＣｏ形式に変換すると、Ｇ成分の情報（信号）が輝度信号Ｙ、緑成分の色差信号Ｃｇ、及び橙成分の色差信号Ｃｏの３つの信号に分散されてしまう。そのため、ＹＵＶ形式において重要とされる輝度信号Ｙに含まれる有意な情報が少なくなり、ＲＧＢ形式のまま予測する場合に比べて予測精度が低くなる可能性がある。したがって、本実施形態の動画像符号化装置１では、ｍＡＣＴ判定部１２１において、ＲＧＢ形式及びＹＣｇＣｏ形式のいずれで予測したほうがより精度の高い予測を行えるかを判定する。以下、ｍＡＣＴ判定部１２１が行うＲＧＢ形式及びＹＣｇＣｏ形式のいずれで予測するかの判定方法、すなわちステップＳ２のｍＡＣＴのオン／オフの判定方法について、図５を参照して説明する。
【００６４】
図５は、ｍＡＣＴのオン／オフの判定方法を説明するフローチャートである。
ｍＡＣＴ判定部１２１は、処理対象のピクチャを読み込んだ後、図５に示すように、まずＲ成分、Ｇ成分、及びＢ成分についてのブロック平均AveOrg_R，AveOrg_G，AveOrg_Bと、分散VarOrg_R，VarOrg_G，VarOrg_Bとを算出する（ステップＳ２０１）。ステップＳ２０１において、ｍＡＣＴ判定部１２１は、例えば、下記式（２−１）及び（２−２）を用いてＧ成分についてのブロック平均AveOrg_Gと、分散VarOrg_Gとを算出する。
【００６５】
【数２】
0006593122.tif 000003
【００６６】
式（２−１）及び（２−２）において、Ｎはブロック内の総画素数であり、ｉはブロック内の画素を表す変数である。また、式（２−１）及び（２−２）において、Org_G［ｉ］は原画におけるｉ番目の画素のＧ成分の画素値である。
【００６７】
また、ステップＳ２０１では、ｍＡＣＴ判定部１２４は、式（２−１）及び（２−２）と同様の式を用いて、Ｒ成分についてのブロック平均AveOrg_R及び分散VarOrg_Rと、Ｂ成分についてのブロック平均AveOrg_B及び分散VarOrg_Bとを算出する。
【００６８】
次に、ｍＡＣＴ判定部１２１は、Ｒ成分、Ｇ成分、及びＢ成分についてのピクチャ単位での分散PicVarOrg_R，PicVarOrg_G，PicVarOrg_Bを算出する（ステップＳ２０２）。ステップＳ２０２において、ｍＡＣＴ判定部１２４は、例えば、下記式（３）を用いてＧ成分についてのピクチャ単位の分散PicVarOrg_Gを算出する。
【００６９】
【数３】
0006593122.tif 000004
【００７０】
式（３）において、Ｍはピクチャ内のブロック数であり、ｊはピクチャ内のブロックを表す変数である。
【００７１】
また、ステップＳ２０２では、ｍＡＣＴ判定部１２４は、式（３）と同様の式を用いて、Ｒ成分及びＢ成分についてのピクチャ単位の分散PicVarOrg_R，PicVarOrg_Bを算出する。
【００７２】
次に、ｍＡＣＴ判定部１２４は、ステップＳ２０２で算出したＲ成分、Ｇ成分、及びＢ成分の各成分についてのピクチャ単位の分散PicVarOrg_R，PicVarOrg_G，PicVarOrg_Bに基づいてｍＡＣＴのオン／オフを判定する（ステップＳ２０３）。ステップＳ２０３において、ｍＡＣＴ判定部１２４は、例えば、図５に示したように、Ｒ成分、Ｇ成分、及びＢ成分の各成分についての判定閾値TH_R,TH_G,TH_Bを用い、３成分の分散PicVarOrg_R，PicVarOrg_G，PicVarOrg_Bのうち２成分以上の分散が判定閾値よりも小さい場合はｍＡＣＴをオフにすると判定する。
【００７３】
なお、ｍＡＣＴ判定部１２１は、上述のように、ＲＧＢ形式で入力されたピクチャについて３成分のいずれか１成分を主とした用いた予測を行う場合に、ＲＧＢ形式のまま行うかＹＣｇＣｏ形式に変換して行うかを判定している。また、ＲＧＢ形式のピクチャにおいてＲ成分、Ｇ成分、及びＢ成分のいずれかに有意な情報が集中している場合等を除くと、ＲＧＢ形式のまま予測するよりもＹＣｇＣｏ形式に変換して予測するほうが、精度の高い予測を行うことが可能となる。
【００７４】
一方、ＲＧＢ形式からＹＣｇＣｏ形式への変換は３×３行列を用いた演算であるため、１つの画素に対する変換演算は３回の乗算と３回の加算とで実現可能である。実際には、予測時に原画データに対する変換処理と、参照画像データに対する変換処理とを行うため、演算量は２倍となる。加えて、ＹＣｇＣｏ形式からＲＧＢ形式への逆変換をすることにより演算量は更に２倍程度となるため、一画素当たりの演算量は１２回の乗算及び８回の加算程度となる。これは、数十点〜数千点も探索する動き探索における一画素当たりの探索点数分の差分絶対値計算もしくは差分２乗計算の演算量や、サブペル探索を行う際に必要となるサブペルフィルタ処理の演算量等と比較すると、演算量の少ない軽微な処理と言える。
【００７５】
したがって、本実施形態に係る動画像符号化によれば、ＲＧＢ形式のピクチャを符号化する際に、演算量の増大を抑制しながら精度の高い予測を行うことが可能となる。
【００７６】
なお、本実施形態で挙げたＹＣｇＣｏ形式は、ＲＧＢ形式との間での完全可逆変換が可能なＹＵＶ形式の一例に過ぎず、ＲＧＢ形式との間での完全可逆変換或いは実質的な完全可逆変換が可能であれば、他のＹＵＶ形式に変換してもよい。
【００７７】
また、本実施形態に係るｍＡＣＴのオン／オフの判定は、上記の処理対象のピクチャにおけるＲ成分、Ｇ成分、及びＢ成分のピクチャ単位の分散に限らず、他の値に基づいて行ってもよい。
【００７８】
また、本実施形態では、ＲＧＢ形式のピクチャが入力された場合の符号化処理の例を示しているが、本実施形態に係る動画像符号化装置１は、ＹＵＶ形式のピクチャの符号化も可能である。ＹＵＶ形式のピクチャが入力された場合、動画像符号化装置１は、ＹＵＶ形式の画像データに対する既知の符号化処理を行う。この際、上記のように、ｍＡＣＴ判定部１２１はＹＵＶ形式で予測を行う（ｍＡＣＴオン）と判定し、第２の色空間選択部１２２及び第３の色空間選択部１２３はＹＵＶ形式の画像データをイントラ予測部１０１及びインター予測部１０２に入力する。
【００７９】
［第２の実施形態］
図６は、第２の実施形態に係る動画像符号化装置の機能的構成を示す図である。
【００８０】
図６に示すように、本実施形態に係る動画像符号化装置１は、イントラ予測部１０１と、インター予測部１０２と、判定部１０３と、予測画像生成部１０４と、予測誤差信号生成部１０５と、を備える。また、動画像符号化装置１は、第１の色空間選択部１０６と、Ｔ／Ｑ処理部１０７と、ＥＮＴ処理部１０８と、を備える。また、動画像符号化装置１は、ＩＱ／ＩＴ処理部１０９と、色空間復元部１１０と、復号画像生成部１１１と、フィルタ処理部１１２と、フレームメモリ１１３と、を備える。更に、本実施形態の動画像符号化装置１は、ｍＡＣＴ判定部１２５と、第２の色空間選択部１２２と、第３の色空間選択部１２３と、ＡＣＴマップ生成部１２６と、を備える。
【００８１】
本実施形態の動画像符号化装置１におけるイントラ予測部１０１、インター予測部１０２、判定部１０３、予測画像生成部１０４、及び予測誤差信号生成部１０５は、それぞれ、上記の機能を有する。また、動画像符号化装置１における第１の色空間選択部１０６は、上記の色空間選択部１０６（図１参照）と同様の機能を有する。また、動画像符号化装置１におけるＴ／Ｑ処理部１０７、ＥＮＴ処理部１０８、ＩＱ／ＩＴ処理部１０９、色空間復元部１１０、復号画像生成部１１１、フィルタ処理部１１２、及びフレームメモリ１１３は、それぞれ、上記の機能を有する。なお、フレームメモリ１１３は、量子化した変換係数から復号化した復号画像１１３ａに加え、ＡＣＴマップ生成部１２６が生成したＡＣＴマップ１１３ｂを記憶する。
【００８２】
本実施形態の動画像符号化装置１におけるｍＡＣＴ判定部１２５は、ＲＧＢ形式及びＹＵＶ（ＹＣｇＣｏ）形式のいずれの画像を用いて予測するか、言い換えると予測についてのＡＣＴ（ｍＡＣＴ）のオン／オフを判定する。ｍＡＣＴ判定部１２５は、フレームメモリ１１３に記憶させたＡＣＴマップに基づいて、ｍＡＣＴのオン／オフを判定する。ｍＡＣＴ判定部１２５は、ｍＡＣＴのオン／オフの判定結果を第２の色空間選択部１２２及び第３の色空間選択部１２３に出力する。ｍＡＣＴをオンにする場合、ｍＡＣＴ判定部１２５は、例えば、「ｍＡＣＴ＝１」という信号を第２の色空間選択部１２２及び第３の色空間選択部１２３に出力する。一方、ｍＡＣＴをオフにする場合、ｍＡＣＴ判定部１２５は、例えば、「ｍＡＣＴ＝０」という信号を第２の色空間選択部１２２及び第３の色空間選択部１２３に出力する。
【００８３】
なお、ｍＡＣＴ判定部１２５は、動画像符号化装置１に入力されたピクチャ（動画像データ）がＲＧＢ形式であり、かつ３成分のうち１成分を主として用いて予測する場合に、ＲＧＢ形式及びＹＵＶ（ＹＣｇＣｏ）形式のいずれの画像データを用いて予測するかを判定する。すなわち、動画像符号化装置１に入力されたピクチャがＹＵＶ形式である場合、ｍＡＣＴ判定部１２５は、ＹＵＶ形式の画像データを用いて予測する（ｍＡＣＴをオンにする）と判定する。ｍＡＣＴ判定部１２５は、入力された動画像データがＲＧＢ形式であるかＹＵＶ形式であるかを、例えば、図６には示していない、動画像符号化装置１全体の動作を制御する全体制御部からの制御信号により判定する。
【００８４】
第２の色空間選択部１２２は、ｍＡＣＴ判定部１２５の判定結果に基づいて、イントラ予測部１０１及びインター予測部１０２に入力する原画データの色空間を選択する。第２の色空間選択部１２２は、ＡＣＴ部１２２ａと、図示しないスイッチとを含む。ＡＣＴ部１２２ａは、原画データの色空間をＲＧＢ形式からＹＣｇＣｏ形式に変換する。第２の色空間選択部１２２に入力されたＲＧＢ形式の原画データをＲＧＢ形式のまま出力するか、ＡＣＴ部１２２ａでＹＣｇＣｏ形式に変換して出力するかは、スイッチにより切り替える。
【００８５】
第３の色空間選択部１２３は、ｍＡＣＴ判定部１２５の判定結果に基づいて、イントラ予測部１０１及びインター予測部１０２に入力する参照画像データの色空間を選択する。第３の色空間選択部１２３は、ＡＣＴ部１２３ａと、図示しないスイッチとを含む。ＡＣＴ部１２３ａは、参照画像データの色空間をＲＧＢ形式からＹＣｇＣｏ形式に変換する。第３の色空間選択部１２３に入力されたＲＧＢ形式の参照画像データをＲＧＢ形式のまま出力するか、ＡＣＴ部１２３ａでＹＣｇＣｏ形式に変換して出力するかは、スイッチ１２３ｂにより切り替える。
【００８６】
第２の色空間選択部１２２のＡＣＴ部１２２ａ、及び第３の色空間選択部１２３のＡＣＴ部１２３ａは、それぞれ、式（１）を逆変換することにより、画像データにおけるＲ，Ｇ，Ｂの各成分の値からＹ，Ｃｇ，Ｃｏの各成分の値を算出する。
【００８７】
ＡＣＴマップ生成部１２６は、ピクチャ毎に、ＡＣＴオン及びＡＣＴオフのいずれの処理を用いて符号化（直交変換及び量子化）が行われたかをカウントし、画面位置情報とカウント数とを含むＡＣＴマップを生成する。
【００８８】
図７Ａは、第２の実施形態に係る符号化処理を説明するフローチャート（その１）である。図７Ｂは、第２の実施形態に係る符号化処理を説明するフローチャート（その２）である。なお、図７Ａ及び図７Ｂは、ＲＧＢ形式のピクチャ（原画データ）が入力され、かつ色空間の３成分のいずれか１成分を主として用いて予測を行う場合の１個の処理ブロックに対する符号化処理のフローチャートを示している。色空間の３成分のいずれか１成分を主として用いる予測は、第１の実施形態で説明したように、ＳＰＳヘッダー内に存在するフラグ「separate_colour_plane_flag」が「separate_colour_plane_flag=0」である場合の予測のことである。入力されたピクチャがＲＧＢ形式であるか否かの判定は、例えば、図６には示していない、動画像符号化装置１全体の動作を制御する全体制御部が行う。また、３成分のいずれか１成分を主として用いて予測を行うか否かは、例えば、全体制御部が上記のフラグ「separate_colour_plane_flag」の値で判定する。
【００８９】
入力されたＲＧＢ形式のピクチャに対し色空間の３成分のうち１成分を主として用いて予測を行う場合、動画像符号化装置１は、図７Ａに示すように、まずｍＡＣＴのオン／オフの判定に使用可能なＡＣＴマップがあるか否かを判定する（ステップＳ１１）。ステップＳ１１は、ｍＡＣＴ判定部１２５が行う。判定に使用可能なＡＣＴマップがある場合（ステップＳ１１；Ｙｅｓ）、ｍＡＣＴ判定部１２５は、ＡＣＴマップに基づいてｍＡＣＴのオン／オフを判定する（ステップＳ１２）。一方、判定に使用可能なＡＣＴマップがない場合（ステップＳ１１；Ｎｏ）、ｍＡＣＴ判定部１２５は、初期設定に基づいてｍＡＣＴのオン／オフを判定する（ステップＳ１３）。ｍＡＣＴ判定部１２５は、ステップＳ１２又はＳ１３の判定結果を、第２の色空間選択部１２２及び第３の色空間選択部１２３に出力する。なお、ステップＳ１３の判定における初期設定は、例えば、常にｍＡＣＴをオンにする、或いは第１の実施形態のようにＲＧＢ成分の分散等を用いた判定を行う等の設定にすることができる。
【００９０】
その後、動画像符号化装置１では、ｍＡＣＴのオン／オフの判定結果に基づいた予測処理が行われる（ステップＳ１４）。ステップＳ１４の予測処理は、第２の色空間選択部１２２、第３の色空間選択部１２３、イントラ予測部１０１、インター予測部１０２、及び判定部１０３が協働して行う。第２の色空間選択部１２２及び第３の色空間選択部１２３は、それぞれ、ｍＡＣＴのオン／オフの判定結果に基づいてスイッチを切り替える。
【００９１】
ｍＡＣＴがオンの場合、第２の色空間選択部１２２は、ＡＣＴ部１２２ａにおいてＹＣｇＣｏ形式に変換した原画データを、イントラ予測部１０１及びインター予測部１０２に出力する。また、ｍＡＣＴがオンの場合、第３の色空間選択部１２３は、フレームメモリ１１３から読み出しＡＣＴ部１２３ａにおいてＹＣｇＣｏ形式に変換した復号画像（参照画像データ）を、イントラ予測部１０１及びインター予測部１０２に出力する。
【００９２】
一方、ｍＡＣＴがオフの場合、第２の色空間選択部１２２は、入力されたＲＧＢ形式の原画データを、ＲＧＢ形式のままイントラ予測部１０１及びインター予測部１０２に出力する。また、ｍＡＣＴがオンの場合、第３の色空間選択部１２３は、フレームメモリ１１３から読み出したＲＧＢ形式の復号画像（参照画像データ）を、ＲＧＢ形式のままイントラ予測部１０１及びインター予測部１０２に出力する。
【００９３】
イントラ予測部１０１及びインター予測部１０２は、それぞれ、第２の色空間選択部１２２から入力された原画データと、第３の色空間選択部１２３から入力された参照画像データとを用いて予測を行う。なお、イントラ予測部１０１及びインター予測部１０２は、それぞれ、処理ブロック（ＣＵ）内に設定した予測ブロック（ＰＵ）単位で予測を行う。イントラ予測部１０１及びインター予測部１０２は、１個の処理ブロックに含まれる各予測ブロックに対する予測を終えると、予測結果を判定部１０３に出力する。判定部１０３は、イントラ予測部１０１及びインター予測部１０２の予測結果に基づいて符号化コストが最小となる予測結果（予測画像）を判定する。判定部１０３は、判定結果すなわち符号化コストが最小となる予測結果を予測画像生成部１０４に出力する。これにより、１個の処理ブロック（ＣＵ）に対するステップＳ１４の予測処理が終了する。
【００９４】
ステップＳ１４の処理を終えると、次に、予測画像生成部１０４が予測結果に基づいてＲＧＢ形式の予測画像を生成する（ステップＳ１５）。ｍＡＣＴがオフの場合、イントラ予測部１０１及びインター予測部１０２は、それぞれＲＧＢ形式の画像データを用いて予測を行っている。そのため、ｍＡＣＴがオフの場合、予測画像生成部１０４は、イントラ予測部１０１又はインター予測部１０２から判定部１０３を介して入力されるＲＧＢ形式の参照画像データを用いて予測画像を生成する。一方、ｍＡＣＴがオンの場合、イントラ予測部１０１及びインター予測部１０２は、それぞれＹＣｇＣｏ形式の画像データを用いて予測を行っている。そのため、ｍＡＣＴがオンの場合、予測画像生成部１０４は、符号化コストが最小となる予測結果と対応したＲＧＢ形式の画像データをフレームメモリ１１３から読み出して予測画像を生成する。予測画像生成部１０４は、生成した予測画像を予測誤差信号生成部１０５に出力する。なお、予測画像は局所復号画像を生成する際にも用いる。そのため、予測画像生成部１０４が生成した予測画像は、予測誤差信号生成部１０５に出力する一方で、例えば、復号画像生成部１１１内等に設けたバッファ（図示せず）に格納しておく。
【００９５】
予測画像を生成した後、動画像符号化装置１では、予測誤差信号生成部１０５が予測誤差信号を生成する（ステップＳ１６）。予測誤差信号生成部１０５は、処理ブロック（ＣＵ）についての原画データと予測画像との差分を求め、当該差分を予測誤差信号として第１の色空間選択部１０６に出力する。予測誤差信号生成部１０５は、ＲＧＢ形式の原画データ及び予測画像を用いてＲＧＢ形式の予測誤差信号を生成する。そのため、第１の色空間選択部１０６には、ＲＧＢ形式の予測誤差信号が入力される。
【００９６】
予測誤差信号を生成した後、動画像符号化装置１では、図７Ｂに示すように、第１の色空間選択部１０６がＡＣＴ処理を行う（ステップＳ１７）。第１の色空間選択部１０６は、処理ブロック（ＣＵ）内に設定した変換ブロック（ＴＵ）毎に、予測誤差信号をＲＧＢ形式のままＴ／Ｑ処理部１０７に出力するか、ＹＣｇＣｏ形式に変換してＴ／Ｑ処理部１０７に出力するかを判定する。ＲＧＢ形式及びＹＣｇＣｏ形式のいずれの予測誤差信号をＴ／Ｑ処理部１０７に出力するかは、例えば、図６には示していない全体制御部からの制御信号に基づいて判定する。ＲＧＢ形式のままＴ／Ｑ処理部１０７に出力する場合、第１の色空間選択部１０６は、予測誤差信号生成部１０５からの予測誤差信号がＡＣＴ部１０６ａを介さずにＴ／Ｑ処理部１０７に入力されるようスイッチを切り替える。一方、ＲＧＢ形式のままＴ／Ｑ処理部１０７に出力する場合、第１の色空間選択部１０６は、予測誤差信号生成部１０５からの予測誤差信号がＡＣＴ部１０６ａを介してＴ／Ｑ処理部１０７に入力されるようを切り替える。ＡＣＴ部１０６ａは、式（１）の逆変換により、予測誤差信号をＲＧＢ形式からＹＣｇＣｏ形式に変換する。１個の処理ブロック（ＣＵ）に対するＡＣＴ処理を終えると、第１の色空間選択部１０６は、各変換ブロックのＡＣＴオン／オフ情報を色空間復元部１１０内等に設けたバッファ（図示せず）に格納する。
【００９７】
第１の色空間選択部１０６によるＡＣＴ処理を経て予測誤差信号がＴ／Ｑ処理部１０７に入力されると、Ｔ／Ｑ処理部１０７は、変換ブロック（ＴＵ）単位で直交変換及び量子化を行う（ステップＳ１８）。Ｔ／Ｑ処理部１０７は、変換ブロックがＲＧＢ形式及びＹＣｇＣｏ形式のいずれであるかを判定して各形式に対応した直交変換及び量子化を行う。Ｔ／Ｑ処理部１０７により量子化された変換係数は、ＥＮＴ処理部１０８に出力される。Ｔ／Ｑ処理部１０７により量子化された変換係数が入力されると、ＥＮＴ処理部１０８は、入力された変換係数を算術符号化或いはエントロピー符号化してビットストリームを生成するＥＮＴ処理を行う（ステップＳ１９）。
【００９８】
また、Ｔ／Ｑ処理部１０７により量子化された変換係数は、後続の処理ブロックやピクチャを符号化する際の参照画像（局所復号画像）の生成にも用いられる。すなわち、ステップＳ１８の直交変換及び量子化を行った後、動画像符号化装置１は、ＥＮＴ処理を行う一方で、復号画像生成処理（ステップＳ２０）及びフィルタ処理（ステップＳ２１）を行う。ステップＳ２０の復号画像生成処理は、ＩＱ／ＩＴ処理部１０９、色空間復元部１１０、及び復号画像生成部１１１が行う。また、ステップＳ２１のフィルタ処理は、フィルタ処理部１１２が行う。ステップＳ２０の復号画像生成処理では、まず、ＩＱ／ＩＴ処理部１０９が、Ｔ／Ｑ処理部１０７で量子化された変換係数に対して逆量子化及び逆直交変換を行い、直交変換を行う前の予測誤差画像を復元する。次に、色空間復元部１１０が、予測誤差画像（処理ブロック）内の各変換ブロック（ＴＵ）についてのＡＣＴのオン／オフ情報に基づいて、ＹＣｇＣｏ形式の変換ブロックをＲＧＢ形式に逆変換しＲＧＢ形式の予測誤差信号を復元する。その後、復号画像生成部１１１が、ＲＧＢ形式に復元された予測誤差信号と、予測画像生成部１０４が生成した予測画像とを用いて原画データについてのＲＧＢ形式の復号画像を生成する。また、ステップＳ２１のフィルタ処理では、例えば、フィルタ処理部１１２が、復号画像生成部１１１で生成した復号画像に対するフィルタ処理を行う。Ｈ．２６５／ＨＥＶＣ規格に従って動画像を符号化する場合、例えば、フィルタ処理部１１２は、デブロッキングフィルタ処理の後、続けてＳＡＯ処理を行う。フィルタ処理部１１２は、復号画像に対する所定のフィルタ処理を終えると、フィルタ処理後の復号画像をフレームメモリ１１３に記憶させる。
【００９９】
更に、本実施形態の動画像符号化装置１では、ステップＳ２０において復号画像を生成した後、フィルタ処理（ステップＳ２１）とともに、ＡＣＴマップ生成処理（ステップＳ２２）が行われる。ステップＳ２２のＡＣＴマップ生成処理は、ＡＣＴマップ生成部１２６が行う。ＡＣＴマップ生成部１２６は、色空間復元部１１０で用いた変換ブロック（ＴＵ）毎のＡＣＴのオン／オフの情報に基づいて、ＡＣＴをオンにして直交変換及び量子化を行ったＴＵについての画面位置情報とカウント数とを含むＡＣＴマップを生成する。ＡＣＴマップ作成部１２６は、生成したＡＣＴマップをフレームメモリ１１３に記憶させる。フレームメモリ１１３に記憶させたＡＣＴマップは、後続の処理ブロックやピクチャに対する予測を行う際のｍＡＣＴのオン／オフを判定するためにｍＡＣＴ判定部１２５が参照する。
【０１００】
以上により、動画像符号化装置１における１個の処理ブロック（ＣＵ）に対する符号化処理が終了する。
【０１０１】
動画像符号化装置１では、１ピクチャ内に設定される複数の処理ブロックのそれぞれに対しステップＳ１１からＳ２２の処理を順次行う。この際、動画像符号化装置１は、各処理ブロックに対するステップＳ１１からＳ２２の処理をパイプライン化して行う。
【０１０２】
図８は、ＡＣＴマップ生成処理を説明するフローチャートである。
ステップＳ２２のＡＣＴマップ生成処理において、ＡＣＴマップ生成部１２６は、図８に示すように、まずサブブロック（ＴＵ）を選択し（ステップＳ２２０１）、当該サブブロックの量子化時のＡＣＴのオン／オフの情報を取得する（ステップＳ２２０２）。ＡＣＴマップ生成部１２６は、量子化時のＡＣＴのオン／オフの情報として、例えば、色空間復元部１１０におけるＩＡＣＴのオン／オフの情報、すなわち選択したＴＵに対しＹＣｇＣｏ形式からＲＧＢ形式への変換を行ったか否かを表す情報を取得する。
【０１０３】
次に、ＡＣＴマップ生成部１２６は、取得したＡＣＴのオン／オフの情報に基づいて、選択したサブブロックのＡＣＴの設定がオンであるか否かを判定する（ステップＳ２２０３）。ＡＣＴの設定がオンである場合（ステップＳ２２０３；Ｙｅｓ）、ＡＣＴマップ生成部１２６は、当該サブブロック（ＴＵ）のサイズに応じたカウントCount_mACTを算出する（ステップＳ２２０４）。一方、ＡＣＴの設定がオフである場合（ステップＳ２２０３；Ｎｏ）、ＡＣＴマップ生成部１２６は、当該サブブロック（ＴＵ）についてのカウントをCount_mACT=0とる。
【０１０４】
次に、ＡＣＴマップ生成部１２６は、処理ブロック内の全サブブロックの処理をしたか否かを判定する（ステップＳ２２０６）。未処理のサブブロックがある場合（ステップＳ２２０６；Ｎｏ）、ＡＣＴマップ生成部１２６は、未処理のサブブロックに対しステップＳ２２０２〜Ｓ２２０５の処理を行う。そして、全サブブロックに対して処理を行った場合（ステップＳ２２０６；Ｙｅｓ）、ＡＣＴマップ生成部１２６は、各サブブロックの位置ACT_mapとカウントCount_mACTとをＡＣＴマップとしてフレームメモリ１１３に記憶させる（ステップＳ２２０７）。これにより、１個の処理ブロックに対するＡＣＴマップ生成処理が終了する。
【０１０５】
次に、このＡＣＴマップ生成処理におけるステップＳ２２０４のカウントCount_mACTの算出方法について説明する。
【０１０６】
ＡＣＴマップ生成処理におけるサブブロックである変換ブロック（ＴＵ）のサイズは、変換ブロック内の画素数を表す。ＴＵは処理ブロック（ＣＵ）に対し再帰的な四分木分割を行うことにより設定されるため、ＴＵ内の画素数はＣＵのサイズ及び分割形状により異なる。すなわち、ＴＵのサイズに応じてＴＵ内の画素の情報が全画面に与える影響は異なる。そのため、ステップＳ２２０４においてカウントCount_mACTを算出する際には、ＴＵの最小サイズを基準として各ＴＵのサイズに応じた値を算出する。すなわち、現在処理を行っているＴＵのサイズが２の何乗かを示す値(log2TrafoSize)が、符号化時に別途決定するＴＵの最小サイズを示す値(Log2MinTrafoSize）である場合には、カウントCount_mACTを＋１とする。
【０１０７】
また、処理対象のＴＵのサイズlog2TrafoSize が、Log2MinTrafoSize より１段階大きいサイズである場合は、カウントCount_mACTを＋４とする。また、処理対象のＴＵのサイズlog2TrafoSize がLog2MinTrafoSize より２段階大きいサイズの場合は、カウントCount_mACTを＋１６とする。
【０１０８】
ＣＵを複数のＴＵに分割する際には上記のように再帰的な四分木分割を行う。そのため、１個のＴＵは、２×２個のＴＵに分割される。すなわち、最小サイズのＴＵよりも１段階大きいＴＵのサイズは、最小サイズのＴＵの４倍となる。よって、処理対象のＴＵのサイズが最小サイズより１段階大きい場合、処理対象のＴＵが全画面に与える影響は最小サイズのＴＵが与える影響の４倍と考えられる。したがって、処理対象のＴＵのサイズが最小サイズより１段階大きい場合、上記のように処理対象のＴＵについてのカウントCount_mACTを＋４とする。
【０１０９】
また、最小サイズのＴＵよりも２段階大きいＴＵのサイズは、最小サイズのＴＵよりも１段階大きいＴＵの４倍となる。したがって、最小サイズのＴＵよりも２段階大きいＴＵのサイズは、最小サイズのＴＵの１６倍となる。よって、処理対象のＴＵのサイズが最小サイズより２段階大きい場合、上記のように処理対象のＴＵについてのカウントCount_mACTを＋１６とする。
【０１１０】
処理対象のＴＵのピクチャ内における位置は、当該ＴＵを含むCoding Tree Block（ＣＴＢ）の位置、当該ＣＴＢ内のＣＵの位置、及びＴＵのdepthから算出することができる。ＣＴＢの位置を（xCtb，yCtb）とすると、当該ＣＴＢをＣＵに４分木分割したときの４個のＴＵの位置（x，y）は、下記式（４）で表される。
【０１１１】
【数４】
0006593122.tif 000005
【０１１２】
また、ＡＣＴマップ生成部１２６は、図８におけるステップＳ２２０４のＡＣＴのカウント処理として、例えば下記式（５）のような演算処理を行う。
【０１１３】
【数５】
0006593122.tif 000006
【０１１４】
図９は、ＡＣＴマップに基づいたｍＡＣＴのオン／オフの判定方法を説明するフローチャートである。
【０１１５】
本実施形態の動画像符号化装置１におけるｍＡＣＴ判定部１２５は、上述のように、ＡＣＴマップに基づいてｍＡＣＴのオン／オフを判定する。ｍＡＣＴ判定部１２５は、図９に示すように、まず、予測に用いる参照画像についてのＡＣＴのオン／オフの情報をＡＣＴマップから読み出す（ステップＳ１２０１）。ステップＳ１２０１において、ｍＡＣＴ判定部１２５は、例えば、参照ピクチャにおける予測ブロックと同じ位置の参照ブロックについてのＡＣＴのオン／オフの情報を読み出す。
【０１１６】
次に、ｍＡＣＴ判定部１２５は、ｍＡＣＴ評価値として、参照画像内のＡＣＴオン率を算出する（ステップＳ１２０２）。ＡＣＴオン率は、参照画像（参照ブロック）内におけるＡＣＴオンで符号化した領域の割合を示す値である。
【０１１７】
次に、ｍＡＣＴ判定部１２５は、ｍＡＣＴ評価値が閾値以上であるか否かを判定する（ステップＳ１２０３）。ｍＡＣＴ評価値が閾値以上である場合（ステップＳ１２０３；Ｙｅｓ）、ｍＡＣＴ判定部１２５は、予測についてのｍＡＣＴの設定をオンにする（ステップＳ１２０４）。ｍＡＣＴ評価値が閾値よりも小さい場合（ステップＳ１２０３；Ｎｏ）、ｍＡＣＴ判定部１２５は、予測についてのｍＡＣＴの設定をオフにする（ステップＳ１２０５）。
【０１１８】
ｍＡＣＴ評価値として算出したＡＣＴオン率は、上記のように、参照画像（参照ブロック）内におけるＡＣＴオンで符号化した領域の割合を示す値である。そのため、参照画像におけるＡＣＴオンで符号化したＴＵのサイズが大きいほど、ｍＡＣＴ評価値は大きな値となる。また、ＡＣＴをオンにするのは、ＲＧＢ形式で符号化するよりもＹＣｇＣｏ形式で符号化するほうが有意な情報を１成分に集中させることが可能な場合である。したがって、ｍＡＣＴ評価値が大きな値である場合（ＡＣＴオン率が高い場合）、ＲＧＢ形式のまま予測するよりも、ＹＣｇＣｏ形式に変換して予測するほうが有意な情報を１成分に集中させて予測することが可能であると考えられる。よって、ｍＡＣＴ評価値が閾値以上である場合（ステップＳ１２０３；Ｙｅｓ）、ｍＡＣＴ判定部１２５は、ｍＡＣＴの設定をオンにし、イントラ予測部１０１及びインター予測部１０２にＹＣｇＣｏ形式の画像データを用いた予測を行わせる。
【０１１９】
以下、ｍＡＣＴ評価値としてＡＣＴオン率を用いる場合のＡＣＴオン率の算出方法の例について説明する。
【０１２０】
図１０は、ＡＣＴオン率の算出方法の第１の例を説明する図である。
ＡＣＴオン率の算出方法の第１の例では、図１０に示すように、参照ピクチャ２における、処理対象のピクチャ３の予測ブロック（ＰＵ）３０１と同位置の参照ブロック２０１についてのＡＣＴのオン／オフ情報を用いる。インター予測において予測ブロックと同位置の参照ブロックの情報を参照するのは、予測ブロックと類似の位置を探し出す際の演算の簡易性という意味で、価値が高い。
【０１２１】
インター予測では、符号化済みのピクチャを参照した動きベクトルの探索を行う。動きベクトルの探索は、ＴＵとは別個にＣＵ内に設定されたＰＵ単位で行われる。そのため、ＰＵとＴＵのサイズが異なり（ＰＵサイズ≧ＴＵサイズ）、動きベクトルが処理ブロック（ＣＵ）のグリッドに合わない場合が多い。よって、図１０に示すように、処理ブロック（ＣＵ）３００の予測ブロック３０１と同位置、同サイズの参照ブロック２０１内には、複数のＴＵ２０１ａ，２０１ｂ，２０１ｃ，２０１ｄが含まれる場合が多い。このような場合、ｍＡＣＴ判定部１２５は、参照ブロック２０１と重なるＡＣＴマップの情報を全て加味してｍＡＣＴのオン／オフを判定する。
【０１２２】
ｍＡＣＴのオン／オフの判定には、上記のように、ｍＡＣＴ評価値（ＡＣＴオン率）を用いる。そのため、ｍＡＣＴ判定部１２５は、例えば、下記式（６）を用いて参照ピクチャ２の参照ブロック２０１内のＡＣＴオン率ACTevalを面積比で算出する。
【０１２３】
【数６】
0006593122.tif 000007
【０１２４】
数６において、ａ及びｂは、それぞれ、左上角部の座標が（ｘ,ｙ）であるＣＵ内の参照ブロックに含まれるサブブロック（ＴＵ）の水平方向の位置及び垂直方向の位置である。また、Num[a,b]は、参照ブロックに含まれる位置（ａ，ｂ）のサブブロックの面積又は含有画素数である。
【０１２５】
すなわち、ｍＡＣＴ判定部１２５は、式（６）を用いて算出したＡＣＴオン率ACTeval（0≦ACTeval≦1）と、判定閾値TH1とを比較し、ACTeval ≧TH1の場合にｍＡＣＴの設定をオンにする。
【０１２６】
図１１は、ＡＣＴオン率の算出方法の第２の例を説明する図である。
ＡＣＴオン率の算出方法の第２の例では、図１１に示すように、インター予測において参照ピクチャ２に設定される動きベクトルの探索範囲２０２内のＡＣＴのオン／オフ情報を用いる。インター予測における動きベクトルの参照先は、参照ピクチャに設定される動きベクトルの探索範囲２０２内に存在する。また、動きベクトルの参照先は、現処理ブロック３００と相関が高いブロックとなる。そのため、動きベクトルの探索範囲２０２内が全体的にＡＣＴオン及びオフのいずれか一方で符号化されている場合は、現処理ブロック３００のｍＡＣＴの設定を、探索範囲を符号化したときのＡＣＴの設定と同一の設定にして予測するほうが予測精度がよいと考えられる。
【０１２７】
また、第１の例では現処理ピクチャ３の現処理ブロック３００と同位置、同サイズである参照ピクチャ２の参照ブロック２００を評価の対象としてｍＡＣＴ評価値を算出している。これに対し、第２の例では、インター予測部１０２が動き探索を行う際の現処理ブロック３００に対する動きベクトルの探索範囲２０２分となる。そのため、第２の例では、第１の例に比べて評価するエリアが広くなる。すなわち、第１の例がＣＵ内のサブブロック（ａ，ｂ）についての評価であるのに対して、第２の例では、ＣＵも探索範囲分カウントするということになる。
【０１２８】
ここでは、現処理ブロックの参照範囲のＡＣＴマップ(例えば(0,0)）を中心とし、水平-H〜+H-1,垂直-V〜+V-1である場合は、現ブロックサイズをOh×Ovとし、[-H,-V]を左上として、(2H+Oh)×(2V+Ov)のエリアのＡＣＴマップの結果を用いて判定する。すなわち、基本的には、第１の例における現処理ブロック３００の同位置参照ブロック２００が、第２の例における現処理ブロック３００の探索範囲２０２に変わるだけである。そのため、第２の例においては、ｍＡＣＴ判定部１２５は、例えば、下記式（７）を用いて参照先ブロック内のＡＣＴオン率ACTevalを面積比で算出する。
【０１２９】
【数７】
0006593122.tif 000008
【０１３０】
式（７）において、ｘ及びｙは、探索範囲２０２内の水平方向の位置及び垂直方向の位置である。
【０１３１】
なお、第１の例のように、インター予測において予測ブロックと同位置の参照ブロックの情報を参照するのは、予測ブロックと類似の位置を探し出す際の演算の簡易性という意味で、価値が高い。そのため、第２の例においては、例えば、参照ピクチャ２の動きベクトルの探索範囲２０２に含まれる現処理ピクチャ３の現処理ブロック３００と同位置の参照ブロック２００内のＡＣＴ判定結果に重み付けをしてＡＣＴオン率を算出してもよい。また、第２の例においては、探索範囲２０２に含まれる現処理ピクチャ３の現処理ブロック３００と同位置の参照ブロック２００の代わりに、例えば、別途求めたグローバルベクトルの大きさだけ同位置からずれた位置の参照ブロックに重み付けをしてもよい。
【０１３２】
図１２は、ＡＣＴオン率の算出方法の第３の例を説明する図である。
ＡＣＴオン率の算出方法の第３の例では、現予測ブロックと同位置の参照ブロックを符号化した際の動きベクトルを利用し、比率の計算で、その同位置参照ブロックから現ピクチャを指す動きベクトルを算出する。そして、算出した現ピクチャを指す動きベクトルに基づいてＡＣＴオン率の算出に用いる参照ブロックを決定する。
【０１３３】
インター予測部１０２がフレーム間予測を行う際には、例えば、図１２に示すように、現処理ピクチャ３よりも時間的に前となる第１の参照ピクチャ２と、時間的に後となる第２の参照ピクチャ４とを用いて予測を行うことがある。ここで、第１の参照ピクチャ２における参照ブロック２１１と第２の参照ピクチャ４における参照ブロック４１２との相関（類似度）が高いとする。この場合、第１の参照ピクチャ２の参照ブロック２１１から第２の参照ピクチャ４の参照ブロック４１２への動きベクトル５０１は、第２の参照ピクチャ４において第１の参照ピクチャ２の処理ブロック２１１と同位置であるブロック４１１の持つ動きベクトルMV_ref(x,y)で表すことができる。この動きベクトルMV_ref(x,y)が与えられると、下記式（８）により、第１の参照ピクチャ２の参照ブロック２１１と同位置である現処理ピクチャ３のブロック３１１の持つ動きベクトル MV_base(x,y)を算出することができる。
【０１３４】
MV_base(x,y)＝MV_ref(x,y)×（tb/td）  ・・・(8)
【０１３５】
式（８）におけるｔｂ及びｔｄは、それぞれ、第１の参照ピクチャ２から現処理ピクチャ３までの時間的な距離、及び第１の参照ピクチャ２から第２の参照ピクチャ４までの時間的な距離である。
【０１３６】
式（８）で算出した動きベクトルMV_base(x,y)は、参照ピクチャから現処理ピクチャ３を指す場合と、現処理ピクチャ３から参照ピクチャを指す場合では、方向が逆になる。動きベクトルMV_base(x,y)は、第１の参照ピクチャ２の参照ブロック２１１と同位置である現処理ピクチャ３の処理ブロック３１１の持つ動きベクトルである。これに対し、他のピクチャにおいて第１の参照ピクチャ２の参照ブロック２１１との相関（類似度）が高いのは、図１２に示した動きベクトル５０１で表される方向にある参照ブロックである。すなわち、現処理ピクチャ３において第１の参照ピクチャ２の参照ブロック２１１との相関（類似度）が高いのは、位置（ｘｐ，ｙｐ）を中心とする処理ブロック３０１となる。そのため、第３の例によりｍＡＣＴのオン／オフを判定する場合、ｍＡＣＴ判定部１２５は、第１の参照ピクチャ２における参照ブロック２１１から-MV_base(x,y)の大きさだけずれた位置からＡＣＴマップを参照すればよいこととなる。すなわち、第３の例におけるＡＣＴオン率の算出方法は、基本的には第１の例と同じであるが、ＡＣＴマップを参照する位置が-MV_base(x,y)の分だけずれた位置となる。
【０１３７】
このように、第３の例では、現処理ピクチャと参照ピクチャとの間での動きを考慮してＡＣＴマップを参照し、ＡＣＴオン率を算出する。そのため、第１の例と比べて、より適したｍＡＣＴのオン／オフの判定をすることが可能となる。
【０１３８】
なお、第３の例においては、ピクチャ間の同位置ブロックの持つ動きベクトルを元にした動きによるずれを求める代わりに、参照ピクチャ全体の動きベクトルから求められるグルーバルベクトルを用いてもよい。また、第３の例においては、例えば、処理対象の動画像データ（ピクチャ）の特性に応じて、ピクチャ間の同位置ブロックの持つ動きベクトル及びグローバルベクトルのいずれかを選択してＡＣＴオン率の算出に用いる参照ブロックを求めてもよい。
【０１３９】
図１３は、ＡＣＴオン率の算出方法の第４の例を説明する図である。
ＡＣＴオン率の算出方法の第４の例では、参照ピクチャの全ブロックを対象とし、時間按分のスケーリングした動きベクトルが現処理ブロックを参照する参照ブロックの中からＡＣＴオン率の算出に用いる参照ブロックを選択する。
【０１４０】
例えば、図１３に示すように、第１の参照ピクチャ２において現処理ピクチャ３の処理ブロック３１１を参照する参照ブロックとして、第１の参照ブロック２１３と、第２のブロック２１４とが存在することがある。このような場合、それぞれの参照ブロック２１３，２１４を用いて算出した現処理ピクチャ３での動きベクトル MV_baseに基づいて、ＡＣＴオン率の算出に用いる参照ブロックを選択する。
【０１４１】
まず、第１の参照ピクチャ２における第１の参照ブロック２１３を選択した場合の第２の参照ピクチャ４における参照ブロック４１３の持つ動きベクトルをMV_refＡとする。このとき、現処理ピクチャ３の処理ブロック３１１の持つ動きベクトルは、第３の例と同様の考え方で算出することができる。すなわち、動きベクトルは、第１の参照ピクチャ２から第２の参照ピクチャ４までの時間的な距離ｔｄと、現処理ピクチャ３から第２の参照ピクチャ４までの時間的な距離ｔｂと、参照ピクチャ内における動きベクトルとを用いて算出することができる。
【０１４２】
また、第１の参照ピクチャ２における第２の参照ブロック２１４を選択した場合の第２の参照ピクチャ４における参照ブロック４１４の持つ動きベクトルをMV_refＢとする。このときも、現処理ピクチャ３の処理ブロック３１１の持つ動きベクトルは、第３の例と同様の方法で算出することができる。
【０１４３】
このように、第４の例では、現処理ブロックを参照する複数の参照ブロックが存在する場合、それぞれの参照ブロックを用いて算出した現処理ピクチャでの動きベクトル MV_baseに基づいて、ＡＣＴオン率の算出に用いる参照ブロックを選択する。これにより、第４の例では、ＡＣＴオン率の算出に用いる参照ブロックとして、より現処理ブロックとの相関の高いブロックを選択可能となる。特に、グローバルベクトルを用いて、そのグローバルベクトルに一番近い動きベクトルを持つ参照ブロックを選択すると、良い参照ブロックを選択することが可能であると考えられる。参照ブロックを選択した後は、第３の例と同様にＡＣＴオン率を算出することができる。
【０１４４】
なお、第４の例においては、現処理ブロックを参照するブロックが参照ピクチャ内に存在しない場合がある。そのため、第４の例は、第１〜第３の例のいずれかと組み合わせて用いてもよい。
【０１４５】
以上のように、本実施形態に係る動画像の符号化においては、ＲＧＢ形式のピクチャが入力され、かつ色空間の３成分における１成分を主として用いて予測する場合に、処理ブロック毎又は予測ブロック毎にｍＡＣＴのオン／オフを判定する。ｍＡＣＴがオンの場合、イントラ予測部１０１及びインター予測部１０２は、色空間をＲＧＢ形式からＹＣｇＣｏ形式に変換した画像データを用いて予測を行う。ｍＡＣＴがオフの場合、イントラ予測部１０１及びインター予測部１０２は、色空間がＲＧＢ形式の画像データを用いて予測を行う。
【０１４６】
そのため、本実施形態に係る動画像の符号化においては、入力されたピクチャにおける色空間情報の特性に応じてＲＧＢ形式及びＹＣｇＣｏ形式のうち精度の高いほうを選択して予測することが可能である。例えば、有意な情報がＲ，Ｇ，Ｂの各成分に平均的に含まれている場合、ＹＣｇＣｏ形式に変換することでＲ，Ｇ，Ｂの各成分の有意な情報を輝度成分Ｙに集中させることができる。また、有意な情報がＲ，Ｇ，Ｂの３成分のいずれか１成分に集中している場合、ＲＧＢ形式のまま予測することで、１成分の有意な情報が低減してしまうことを防げる。
【０１４７】
また、本実施形態においては、上記のように、ＡＣＴマップを用いて処理ブロック毎又は予測ブロック毎にｍＡＣＴのオン／オフを判定する。そのため、ピクチャ内にＲＧＢ成分のバランスが異なる複数の領域が含まれる場合に、処理ブロック又は予測ブロックの位置に応じてｍＡＣＴのオン／オフを判定することができる。また、参照ブロック内にＹＣｇＣｏ形式で符号化したＴＵが多い予測ブロックに対してはＹＣｇＣｏ形式でｍＡＣＴをオンにしＹＣｇＣｏ形式で予測することができる。すなわち、ＡＣＴマップを用いてｍＡＣＴのオン／オフを判定することにより、参照ピクチャを符号化したときの色空間形式に合わせた予測を行うことができる。したがって、本実施形態に係る動画像の符号化では、より精度の高い予測が可能となる。
【０１４８】
したがって、本実施形態によれば、演算量の増大を抑制しながらより精度の高い予測を行うことが可能となる。よって、本実施形態によれば、動画像の符号化性能を向上させることが可能となる。
【０１４９】
なお、図７Ａ、図７Ｂ、図８、及び図９のフローチャートは一例に過ぎず、必要に応じて一部の処理の内容を変更してもよいし、他の処理を追加してもよい。
【０１５０】
また、ｍＡＣＴ評価値として用いるＡＣＴオン率は、上記の第１〜第４の例に限らず、他の方法で特定した参照ブロックにおけるＡＣＴのオン／オフの設定に基づいて算出してもよい。また、ＡＣＴオン率はｍＡＣＴ評価値の一例に過ぎず、ｍＡＣＴ評価値は、ＡＣＴマップを用いて算出可能であり、かつＲＧＢ形式及びＹＣｇＣｏ形式のいずれで予測する方が精度がよいかを判定可能である他の値であってもよい。
【０１５１】
［第３の実施形態］
図１４は、第３の実施形態に係る動画像符号化装置の機能的構成を示す図である。
【０１５２】
図１４に示すように、本実施形態に係る動画像符号化装置１は、イントラ予測部１０１と、インター予測部１０２と、判定部１０３と、予測画像生成部１０４と、予測誤差信号生成部１０５と、を備える。また、動画像符号化装置１は、第１の色空間選択部１０６と、Ｔ／Ｑ処理部１０７と、ＥＮＴ処理部１０８と、を備える。また、動画像符号化装置１は、ＩＱ／ＩＴ処理部１０９と、色空間復元部１１０と、復号画像生成部１１１と、フィルタ処理部１１２と、フレームメモリ１１３と、を備える。更に、本実施形態の動画像符号化装置１は、ｍＡＣＴ判定部１２５と、第２の色空間選択部１２２と、参照画像取得部１３１と、ＹＵＶ変換部１３２と、ＡＣＴマップ生成部１２６と、を備える。
【０１５３】
本実施形態の動画像符号化装置１におけるイントラ予測部１０１、インター予測部１０２、判定部１０３、予測画像生成部１０４、及び予測誤差信号生成部１０５は、それぞれ、上記の機能を有する。また、動画像符号化装置１における第１の色空間選択部１０６は、上記の色空間選択部１０６（図１参照）と同様の機能を有する。また、動画像符号化装置１におけるＴ／Ｑ処理部１０７、ＥＮＴ処理部１０８、ＩＱ／ＩＴ処理部１０９、色空間復元部１１０、復号画像生成部１１１、フィルタ処理部１１２、及びフレームメモリ１１３は、それぞれ、上記の機能を有する。なお、本実施形態に係る動画像符号化装置１におけるフレームメモリ１１３は、ＲＧＢ復号画像１１３ａと、ＹＵＶ復号画像１１３ｃと、ＡＣＴマップ１１３ｂと、を記憶する。ＲＧＢ復号画像１１３ａ及びＹＵＶ復号画像１１３ｃは、それぞれ、ＲＧＢ形式の復号画像及びＹＵＶ形式の復号画像である。
【０１５４】
本実施形態の動画像符号化装置１におけるｍＡＣＴ判定部１２５は、ＲＧＢ形式及びＹＵＶ形式のいずれの画像データを用いて予測するか、言い換えると予測についてのＡＣＴ（ｍＡＣＴ）のオン／オフを判定する。本実施形態のｍＡＣＴ判定部１２５は、第２の実施形態で説明したように、フレームメモリ１１３に記憶させたＡＣＴマップ１１３ｄに基づいて、ｍＡＣＴのオン／オフを判定する。ｍＡＣＴ判定部１２５は、ｍＡＣＴのオン／オフの判定結果を第２の色空間選択部１２２及び参照画像取得部１３１に出力する。
【０１５５】
なお、ｍＡＣＴ判定部１２５は、動画像符号化装置１に入力されたピクチャ（動画像データ）がＲＧＢ形式であり、かつ３成分のうち１成分を主として用いて予測する場合に、ＲＧＢ形式及びＹＵＶ（ＹＣｇＣｏ）形式のいずれの画像データを用いて予測するかを判定する。すなわち、動画像符号化装置１に入力された動画像データがＹＵＶ形式である場合、ｍＡＣＴ判定部１２５は、ＹＵＶ形式の画像を用いて予測する（ｍＡＣＴをオンにする）と判定する。ｍＡＣＴ判定部１２５は、入力された動画像データがＲＧＢ形式であるかＹＵＶ形式であるかを、例えば、図１４には示していない、動画像符号化装置１全体の動作を制御する全体制御部からの制御信号により判定する。
【０１５６】
第２の色空間選択部１２２は、ｍＡＣＴ判定部１２５の判定結果に基づいて、イントラ予測部１０１及びインター予測部１０２に入力する原画データの色空間を選択する。第２の色空間選択部１２２は、ＡＣＴ部１２２ａと、図示しないスイッチとを含む。ＡＣＴ部１２２ａは、原画データの色空間をＲＧＢ形式からＹＣｇＣｏ形式に変換する。第２の色空間選択部１２２に入力されたＲＧＢ形式の原画データをＲＧＢ形式のまま出力するか、ＡＣＴ部１２２ａでＹＣｇＣｏ形式に変換して出力するかは、スイッチにより切り替える。
【０１５７】
参照画像取得部１３１は、ｍＡＣＴ判定部１２５の判定結果に基づいてイントラ予測部１０１及びインター予測部１０２に入力する参照画像データの色空間形式を選択し、選択した色空間形式の参照画像データを取得する。ｍＡＣＴがオフである場合、参照画像取得部１３１は、フレームメモリ１１３のＲＧＢ復号画像１１３ａから参照画像データを取得する。一方、ｍＡＣＴがオンである場合、参照画像取得部１３１は、フレームメモリ１１３のＹＵＶ復号画像１１３ｃから参照画像データを取得する。
【０１５８】
ＹＵＶ変換部１３２は、フィルタ処理部１１２においてフィルタ処理を行った復号画像の色空間形式をＲＧＢ形式からＹＣｇＣｏ形式に変換する。ＹＵＶ変換部１３２は、ＹＣｇＣｏ形式に変換した復号画像（すなわちＹＵＶ復号画像１１３ｃ）をフレームメモリ１１３に記憶させる。
【０１５９】
ＡＣＴマップ生成部１２６は、ピクチャ毎に、ＡＣＴオン及びＡＣＴオフのいずれの処理を用いて符号化（直交変換及び量子化）が行われたかをカウントし、画面位置情報とカウント数とを含むＡＣＴマップを生成する。本実施形態の動画像符号化装置１におけるＡＣＴマップ生成部１２６は、例えば、第２の実施形態で説明したＡＣＴマップ生成処理（図８参照）を行ってＡＣＴマップを生成する。ＡＣＴマップ生成部１２６は、生成したＡＣＴマップ１１３ｂをフレームメモリ１１３に記憶させる。
【０１６０】
図１５Ａは、第３の実施形態に係る符号化処理を説明するフローチャート（その１）である。図１５Ｂは、第３の実施形態に係る符号化処理を説明するフローチャート（その２）である。なお、図１５Ａ及び図１５Ｂは、ＲＧＢ形式のピクチャ（原画データ）が入力され、かつ３成分のいずれか１成分を主として用いて予測を行う場合の１個の処理ブロックに対する符号化処理のフローチャートを示している。色空間の３成分のいずれか１成分を主として用いる予測は、第１の実施形態で説明したように、ＳＰＳヘッダー内に存在するフラグ「separate_colour_plane_flag」が「separate_colour_plane_flag=0」である場合の予測のことである。入力されたピクチャがＲＧＢ形式であるか否かの判定は、例えば、図１４には示していない、動画像符号化装置１全体の動作を制御する全体制御部が行う。また、３成分のいずれか１成分による予測処理を行うか否かは、例えば、全体制御部がフラグ「separate_colour_plane_flag」の値で判定する。
【０１６１】
入力されたＲＧＢ形式のピクチャに対し色空間の３成分のうち１成分を主として用いた予測を行う場合、動画像符号化装置１は、図１５Ａに示すように、まずｍＡＣＴのオン／オフの判定に使用可能なＡＣＴマップがあるか否かを判定する（ステップＳ１１）。ステップＳ１１は、ｍＡＣＴ判定部１２５が行う。判定に使用可能なＡＣＴマップがある場合（ステップＳ１１；Ｙｅｓ）、ｍＡＣＴ判定部１２５は、ＡＣＴマップに基づいてｍＡＣＴのオン／オフを判定する（ステップＳ１２）。一方、判定に使用可能なＡＣＴマップがない場合（ステップＳ１１；Ｎｏ）、ｍＡＣＴ判定部１２５は、初期設定に基づいてｍＡＣＴのオン／オフを判定する（ステップＳ１３）。ｍＡＣＴ判定部１２５は、ステップＳ１２又はＳ１３の判定結果を、第２の色空間選択部１２２及び参照画像取得部１３１に出力する。なお、ステップＳ１２では、例えば、第２の実施形態で説明したような方法で算出したＡＣＴオン率（ｍＡＣＴ評価値）に基づいてｍＡＣＴのオン／オフを判定する。また、ステップＳ１３の判定における初期設定は、例えば、常にｍＡＣＴをオンにする、或いは第１の実施形態のようにＲＧＢ成分の分散等を用いた判定を行う等の設定にすることができる。
【０１６２】
その後、動画像符号化装置１では、ｍＡＣＴのオン／オフの判定結果に基づいた予測処理が行われる（ステップＳ１４）。ステップＳ１４の予測処理は、第２の色空間選択部１２２、参照画像取得部１３１、イントラ予測部１０１、インター予測部１０２、及び判定部１０３が協働して行う。
【０１６３】
ｍＡＣＴがオンの場合、第２の色空間選択部１２２は、ＡＣＴ部１２２ａにおいてＹＣｇＣｏ形式に変換した原画データを、イントラ予測部１０１及びインター予測部１０２に出力する。また、ｍＡＣＴがオンの場合、参照画像取得部１３１は、フレームメモリ１１３のＹＣｇＣｏ形式の復号画像（ＹＵＶ復号画像１１３ｃ）から読み出した参照画像データを、イントラ予測部１０１及びインター予測部１０２に出力する。
【０１６４】
一方、ｍＡＣＴがオフの場合、第２の色空間選択部１２２は、入力されたＲＧＢ形式の原画データを、ＲＧＢ形式のままイントラ予測部１０１及びインター予測部１０２に出力する。また、ｍＡＣＴがオフの場合、参照画像取得部１３１は、フレームメモリ１１３のＲＧＢ形式の復号画像（ＲＧＢ復号画像１１３ａ）から読み出した参照画像データを、イントラ予測部１０１及びインター予測部１０２に出力する。
【０１６５】
イントラ予測部１０１及びインター予測部１０２は、それぞれ、第２の色空間選択部１２２から入力された原画データと、参照画像取得部１３１から入力された参照画像データとを用いて予測を行う。なお、イントラ予測部１０１及びインター予測部１０２は、それぞれ、処理ブロック（ＣＵ）内に設定した予測ブロック（ＰＵ）単位で予測を行う。イントラ予測部１０１及びインター予測部１０２は、１個の処理ブロックに含まれる各予測ブロックに対する予測を終えると、予測結果を判定部１０３に出力する。判定部１０３は、イントラ予測部１０１及びインター予測部１０２の予測結果に基づいて符号化コストが最小となる予測結果（予測画像）を判定する。判定部１０３は、判定結果すなわち符号化コストが最小となる予測結果を予測画像生成部１０５に出力する。これにより、１個の処理ブロック（ＣＵ）に対するステップＳ１４の予測処理が終了する。
【０１６６】
ステップＳ１４の予測処理を終えると、次に、予測画像生成部１０４が予測結果に基づいてＲＧＢ形式の予測画像を生成する（ステップＳ１５）。予測画像生成部１０４は、生成した予測画像を予測誤差信号生成部１０５に出力する。なお、予測画像は局所復号画像を生成する際にも用いる。そのため、予測画像生成部１０４が生成した予測画像は、予測誤差信号生成部１０５に出力する一方で、例えば、復号画像生成部１１１内等に設けたバッファ（図示せず）に格納しておく。
【０１６７】
予測画像を生成した後、動画像符号化装置１では、予測誤差信号生成部１０５が予測誤差信号を生成する（ステップＳ１６）。予測誤差信号生成部１０５は、ＲＧＢ形式の原画データ及び予測画像を用いてＲＧＢ形式の予測誤差信号を生成する。予測誤差信号生成部１０５は、生成したＲＧＢ形式の予測誤差信号を第１の色空間選択部１０６に出力する。
【０１６８】
予測誤差信号を生成した後、動画像符号化装置１では、図１５Ｂに示すように、第１の色空間選択部１０６がＡＣＴ処理を行う（ステップＳ１７）。第１の色空間選択部１０６は、処理ブロック（ＣＵ）内に設定した変換ブロック（ＴＵ）毎に、予測誤差信号をＲＧＢ形式のままＴ／Ｑ処理部１０７に出力するか、ＹＣｇＣｏ形式に変換してＴ／Ｑ処理部１０７に出力するかを判定する。ＲＧＢ形式の予測誤差信号をＴ／Ｑ処理部１０７に出力する場合、第１の色空間選択部１０６は、予測誤差信号生成部１０５からの予測誤差信号をそのままＴ／Ｑ処理部１０７に出力する。一方、ＹＣｇＣｏ形式に変換した予測誤差画像をＴ／Ｑ処理部１０７に出力する場合、第１の色空間選択部１０６は、ＡＣＴ部１０６ａにおいて、式（１）の逆変換により、予測誤差信号をＲＧＢ形式からＹＣｇＣｏ形式に変換する。１個の処理ブロック（ＣＵ）に対するＡＣＴ処理を終えると、第１の色空間選択部１０６は、各変換ブロックのＡＣＴオン／オフ情報を色空間復元部１１０内等に設けたバッファ（図示せず）に格納する。
【０１６９】
第１の色空間選択部１０６によるＡＣＴ処理を経て予測誤差信号がＴ／Ｑ処理部１０７に入力されると、Ｔ／Ｑ処理部１０７は、変換ブロック（ＴＵ）単位で直交変換及び量子化を行う（ステップＳ１８）。Ｔ／Ｑ処理部１０７は、変換ブロックがＲＧＢ形式及びＹＣｇＣｏ形式のいずれであるかを判定して各形式に対応した直交変換及び量子化を行う。Ｔ／Ｑ処理部１０７により量子化された変換係数は、ＥＮＴ処理部１０８に出力される。Ｔ／Ｑ処理部１０７により量子化された変換係数が入力されると、ＥＮＴ処理部１０８は、入力された変換係数を算術符号化或いはエントロピー符号化してビットストリームを生成するＥＮＴ処理を行う（ステップＳ１９）。
【０１７０】
また、Ｔ／Ｑ処理部１０７により量子化された変換係数は、後続の処理ブロックやピクチャを符号化する際の参照画像（局所復号画像）の生成にも用いられる。すなわち、ステップＳ１８の直交変換及び量子化を行った後、動画像符号化装置１は、ＥＮＴ処理を行う一方で、復号画像生成処理（ステップＳ２０）及びフィルタ処理（ステップＳ２１）を行う。ステップＳ２０の復号画像生成処理は、ＩＱ／ＩＴ処理部１０９、色空間復元部１１０、及び復号画像生成部１１１が行う。また、ステップＳ２１のフィルタ処理は、フィルタ処理部１１２が行う。ステップＳ２０の復号画像生成処理では、まず、ＩＱ／ＩＴ処理部１０９が、Ｔ／Ｑ処理部１０７で量子化された変換係数に対して逆量子化及び逆直交変換を行い、直交変換を行う前の予測誤差画像を復元する。次に、色空間復元部１１０が、予測誤差画像（処理ブロック）内の各変換ブロック（ＴＵ）についてのＡＣＴのオン／オフ情報に基づいて、ＹＣｇＣｏ形式の変換ブロックをＲＧＢ形式に逆変換しＲＧＢ形式の予測誤差信号を復元する。その後、復号画像生成部１１１が、ＲＧＢ形式に復元された予測誤差信号と、予測画像生成部１０４が生成した予測画像とを用いて原画データについてのＲＧＢ形式の復号画像を生成する。また、ステップＳ２１のフィルタ処理では、例えば、フィルタ処理部１１２が、復号画像生成部１１１で生成した復号画像に対するフィルタ処理を行う。Ｈ．２６５／ＨＥＶＣ規格に従って動画像を符号化する場合、例えば、フィルタ処理部１１２は、デブロッキングフィルタ処理の後、続けてＳＡＯ処理を行う。フィルタ処理部１１２は、復号画像に対する所定のフィルタ処理を終えると、フィルタ処理後のＲＧＢ形式の復号画像（ＲＧＢ復号画像１１３ａ）をフレームメモリ１１３に記憶させる。
【０１７１】
更に、本実施形態の動画像符号化装置１におけるフィルタ処理部１１２は、フィルタ処理後のＲＧＢ形式の復号画像をＹＵＶ変換部１３２に入力する。ＹＵＶ変換部１３２は、式（１）の逆変換により、入力されたＲＧＢ形式の復号画像からＹＵＶ形式の復号画像を生成する（ステップＳ２３）。ＹＵＶ変換部１３２は、生成したＹＵＶ形式の復号画像（ＹＵＶ復号画像１１３ｃ）をフレームメモリ１１３に記憶させる。
【０１７２】
また、本実施形態の動画像符号化装置１では、ステップＳ２０において復号画像を生成した後、フィルタ処理（ステップＳ２１）及びＹＵＶ形式の復号画像の生成処理（ステップＳ２３）とともに、ＡＣＴマップ生成処理（ステップＳ２２）が行われる。ステップＳ２２のＡＣＴマップ生成処理は、ＡＣＴマップ生成部１２６が行う。ＡＣＴマップ生成部１２６は、色空間復元部１０９で用いた変換ブロック（ＴＵ）毎のＡＣＴのオン／オフの情報に基づいて、ＡＣＴをオンにして直交変換及び量子化を行ったＴＵについての画面位置情報とカウント数とを含むＡＣＴマップを生成する。ＡＣＴマップ生成部１２６は、例えば、第２の実施形態で説明した方法によりＡＣＴマップを生成する。
【０１７３】
ＡＣＴマップ作成部１２６は、生成したＡＣＴマップ１１３ｂをフレームメモリ１１３に記憶させる。フレームメモリ１１３に記憶させたＡＣＴマップ１１３ｂは、後続の処理ブロックを予測する際のｍＡＣＴのオン／オフを判定するためにｍＡＣＴ判定部１２５が参照する。
【０１７４】
以上により、動画像符号化装置１における１個の処理ブロック（ＣＵ）に対する符号化処理が終了する。
【０１７５】
動画像符号化装置１では、１ピクチャ内に設定される複数の処理ブロックのそれぞれに対しステップＳ１１からＳ２３の処理を順次行う。この際、動画像符号化装置１は、各処理ブロックに対するステップＳ１１からＳ２３の処理をパイプライン化して行う。
【０１７６】
以上のように、本実施形態に係る動画像の符号化においては、ＲＧＢ形式のピクチャが入力され、かつ色空間の３成分における１成分を主として用いて予測する場合に、処理ブロック毎又は予測ブロック毎にｍＡＣＴのオン／オフを判定する。ｍＡＣＴがオンの場合、イントラ予測部１０１及びインター予測部１０２は、色空間をＲＧＢ形式からＹＣｇＣｏ形式に変換した画像データを用いて予測を行う。ｍＡＣＴがオフの場合、イントラ予測部１０１及びインター予測部１０２は、色空間がＲＧＢ形式の画像データを用いて予測を行う。
【０１７７】
そのため、本実施形態に係る動画像の符号化においては、入力されたピクチャにおける色空間情報の特性に応じてＲＧＢ形式及びＹＣｇＣｏ形式のうち精度の高いほうを選択して予測することが可能である。例えば、有意な情報がＲ，Ｇ，Ｂの各成分に平均的に含まれている場合、ＹＣｇＣｏ形式に変換することでＲ，Ｇ，Ｂの各成分の有意な情報を輝度成分Ｙに集中させることができる。また、有意な情報がＲ，Ｇ，Ｂの３成分のいずれか１成分に集中している場合、ＲＧＢ形式のまま予測することで、１成分の有意な情報が低減してしまうことを防げる。
【０１７８】
また、本実施形態においては、上記のように、ＡＣＴマップを用いて処理ブロック毎又は予測ブロック毎にｍＡＣＴのオン／オフを判定する。そのため、ピクチャ内にＲＧＢ成分のバランスが異なる複数の領域が含まれる場合に、処理ブロック（又は予測ブロック）の位置及びサイズに応じてｍＡＣＴのオン／オフを判定することができる。また、参照ブロック内にＹＣｇＣｏ形式で符号化したＴＵが多い予測ブロックに対してはＹＣｇＣｏ形式でｍＡＣＴをオンにしＹＣｇＣｏ形式で予測することができる。すなわち、ＡＣＴマップを用いてｍＡＣＴのオン／オフを判定することにより、参照ピクチャを符号化したときの色空間形式に合わせた予測を行うことができる。したがって、本実施形態に係る動画像の符号化では、より精度の高い予測が可能となる。
【０１７９】
したがって、本実施形態によれば、演算量の増大を抑制しながらより精度の高い予測を行うことが可能となる。よって、本実施形態によれば、動画像の符号化性能を更に向上させることが可能となる。
【０１８０】
なお、図１５Ａ及び図１５Ｂのフローチャートは一例に過ぎず、必要に応じて一部の処理の内容を変更してもよいし、他の処理を追加してもよい。例えば、ＹＵＶ形式の復号画像は、復号画像生成処理（ステップＳ２０）において生成してもよい。
【０１８１】
また、第１〜第３の実施形態に係る動画像符号化装置１は、それぞれ、例えば、コンピュータと、コンピュータに上記のｍＡＣＴ判定処理等を含む符号化処理を実行させるプログラムとにより実現可能である。以下、コンピュータとプログラムにより実現される動画像符号化装置１について、図１６を参照して説明する。
【０１８２】
図１６は、コンピュータのハードウェア構成を示す図である。図１６に示すように、動画像符号化装置１として動作させるコンピュータ９は、Central Processing Unit（ＣＰＵ）９０１と、主記憶装置９０２と、補助記憶装置９０３と、入力装置９０４と、表示装置９０５と、を備える。また、コンピュータ９は、Digital Signal Processor（ＤＳＰ）９０６と、インタフェース装置９０７と、記憶媒体駆動装置９０８と、通信装置９０９と、を更に備える。コンピュータ９におけるこれらの要素９０１〜９０９は、バス９１０により相互に接続されており、要素間でのデータの受け渡しが可能になっている。
【０１８３】
ＣＰＵ ９０１は、オペレーティングシステムを含む各種のプログラムを実行することによりコンピュータ９の全体の動作を制御する演算処理装置である。
【０１８４】
主記憶装置９０２は、図示しないRead Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む。ＲＯＭには、例えばコンピュータ９の起動時にＣＰＵ ９０１が読み出す所定の基本制御プログラム等が予め記録されている。また、ＲＡＭ は、ＣＰＵ ９０１が各種のプログラムを実行する際に、必要に応じて作業用記憶領域として使用する。主記憶装置９０２のＲＡＭは、例えば、現処理対象のピクチャ（原画データ）、局所復号画像、ＡＣＴのオン／オフの情報、及びＡＣＴマップ等の一時的な記憶に利用可能である。
【０１８５】
補助記憶装置９０３は、Hard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ）等の主記憶装置９０２に比べて容量の大きい記憶装置である。補助記憶装置９０３には、ＣＰＵ ９０１によって実行される各種のプログラムや各種のデータ等を記憶させることができる。補助記憶装置９０３に記憶させるプログラムとしては、例えば、動画像データの符号化や再生を行うアプリケーションプログラム、動画像データを作成（生成）するプログラム等が挙げられる。また、補助記憶装置９０３に記憶させるデータとしては、例えば、符号化対象の動画像データ、符号化済みの動画像データ等が挙げられる。
【０１８６】
入力装置９０４は、例えばキーボード装置やマウス装置であり、コンピュータ９のオペレータにより操作されると、その操作内容に対応付けられている入力情報をＣＰＵ ９０１に送信する。
【０１８７】
表示装置９０５は、例えば液晶ディスプレイである。表示装置９０５は、ＣＰＵ ９０１等から送信される表示データに従って各種のテキスト、画像等を表示する。
【０１８８】
ＤＳＰ ９０６は、ＣＰＵ ９０１からの制御信号等に従って動画像データの符号化処理における一部の処理等を行う演算処理装置である。
【０１８９】
インタフェース装置９０７は、コンピュータ９と他の電子機器とを接続し、コンピュータ９と他の電子機器との間でのデータの送受信を可能にする入出力装置である。インタフェース装置９０７は、例えば、Universal Serial Bus（ＵＳＢ）規格のコネクタを備えたケーブルを接続可能な端子、High-Definition Multimedia Interface（ＨＤＭＩ（登録商標））規格のコネクタを備えたケーブルを接続可能な端子等を備える。インタフェース装置９０７によりコンピュータ９と接続可能な電子機器としては、例えば、デジタルビデオカメラ等の撮像装置が挙げられる。
【０１９０】
記憶媒体駆動装置９０８は、図示しない可搬型記憶媒体に記録されているプログラムやデータの読み出し、補助記憶装置９０３に記憶されたデータ等の可搬型記憶媒体への書き込みを行う。可搬型記憶媒体としては、例えば、ＵＳＢ規格のコネクタが備えられているフラッシュメモリが利用可能である。また、可搬型記憶媒体としては、Compact Disk（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（Blu-rayは登録商標）等の光ディスクも利用可能である。
【０１９１】
通信装置９０９は、コンピュータ９とインターネット或いはLocal Area Network（ＬＡＮ）等の通信ネットワークとを通信可能に接続し、通信ネットワークを介した他の通信端末（コンピュータ）との通信を制御する装置である。コンピュータ９は、符号化した動画像データ（ビットストリーム）を、通信装置９０９及び通信ネットワークを介して他の通信端末に送信することができる。
【０１９２】
このコンピュータ９は、ＣＰＵ ９０１が補助記憶装置９０３等から上述した符号化処理を含むプログラムを読み出し、ＤＳＰ ９０６、主記憶装置９０２、補助記憶装置９０３等と協働して動画像データの符号化処理及び復号処理を実行する。この際、ＣＰＵ ９０１は、ｍＡＣＴのオン／オフの判定、当該判定の結果に基づいた予測処理、予測処理後の直交変換、量子化、及びエントロピー符号化、並びに復号処理等の演算処理をＤＳＰ ９０６に実行させる。
【０１９３】
コンピュータ９で符号化した動画像データ（符号化ビットストリーム）は、例えば、上記のように通信ネットワークを介して他のコンピュータ等に送信することができる。また、コンピュータ９で符号化した動画像データは、補助記憶装置９０３に記憶させておき、必要に応じてコンピュータ９で復号化（再生）することもできる。更に、コンピュータ９で符号化した動画像データは、記憶媒体駆動装置９０８を用いて記録媒体に記憶させて配布することもできる。
【０１９４】
なお、動画像符号化装置１として用いるコンピュータ９は、図１５に示した全ての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、ＣＰＵ ９０１の処理能力が高い場合、ＤＳＰ ９０６を省略し、ＣＰＵ ９０１において上記の符号化処理及び復号処理を実行してもよい。また、動画像データの符号化処理等をＤＳＰ ９０６に行わせる場合、例えば、上記の主記憶装置（ＲＡＭ）９０２や補助記憶装置９０３とは別に、符号化処理を行う動画像データを格納しておく外部メモリを設けてもよい。
【０１９５】
また、コンピュータ９は、種々のプログラムを実行することにより複数の機能を実現する汎用型のものに限らず、動画像の符号化処理に特化した専用の情報処理装置でもよい。更に、コンピュータ９は、動画像の符号化処理及び符号化された動画像の復号化処理に特化した専用の情報処理装置でもよい。
【０１９６】
以上記載した各実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）
入力されたＲＧＢ形式の動画像データを前記ＲＧＢ形式のまま符号化可能であり、かつ色空間形式における３成分をそれぞれ独立した予測を行わない動画像符号化装置であって、
入力された前記ＲＧＢ形式の画像データに対して前記色空間形式の３成分のうち１成分を選択した予測が指定されている場合に、前記ＲＧＢ形式及びＹＵＶ形式のいずれの色空間形式でイントラ予測及びインター予測を行うかを判定する判定部、
を備えることを特徴とする動画像符号化装置。
（付記２）
前記判定部は、前記ＲＧＢ形式の動画像データにおけるＲ成分、Ｇ成分、及びＢ成分の各成分の分散の大きさに基づいて前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式でイントラ予測及びインター予測を行うかを判定する、
ことを特徴とする付記１に記載の動画像符号化装置。
（付記３）
前記動画像データにおける処理対象のピクチャに含まれる処理ブロック毎に行った前記イントラ予測及び前記インター予測の予測結果に基づいて予測画像を生成する予測画像生成部と、前記処理ブロックと前記予測画像とに基づいて予測誤差信号を生成する予測誤差信号生成部と、前記予測誤差信号に対し前記処理ブロック内に設定したサブブロック毎に前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれかで直交変換及び量子化を行う第１の変換処理部と、前記第１の変換処理部で量子化された値に対し逆量子化及び逆直交変換を行い予測誤差信号を復元する第２の変換処理部と、前記第１の変換処理部において前記ＹＵＶ形式で直交変換及び量子化を行った前記サブブロックを前記ＲＧＢ形式に変換する色空間復元部と、前記色空間復元部において前記ＹＵＶ形式から前記ＲＧＢ形式に変換した前記サブブロックの位置及び数の情報を含むＡＣＴマップを生成するＡＣＴマップ生成部と、を更に備え、
前記判定部は、前記ＡＣＴマップに基づいて前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式でイントラ予測及びインター予測を行うかを判定する、
ことを特徴とする付記１に記載の動画像符号化装置。
（付記４）
前記判定部は、前記インター予測において参照する参照ピクチャのうち現処理ブロックと同位置の参照ブロックについての前記ＡＣＴマップに基づいて、前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式で前記現処理ブロックのイントラ予測及びインター予測を行うかを判定する、
ことを特徴とする付記３に記載の動画像符号化装置。
（付記５）
前記判定部は、前記インター予測において参照する参照ピクチャのうち現処理ブロックの参照範囲についての前記ＡＣＴマップに基づいて、前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式で前記現処理ブロックのイントラ予測及びインター予測を行うかを判定する、
ことを特徴とする付記３に記載の動画像符号化装置。
（付記６）
前記判定部は、前記インター予測において参照する参照ピクチャにおける参照ブロックのうち現処理ブロックと同位置のブロックを指す動きベクトル分、又はグローバルベクトルの大きさ分だけずれた位置、を含む所定範囲についての前記ＡＣＴマップに重みを付けた評価値に基づいて、前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式で前記現処理ブロックのイントラ予測及びインター予測を行うかを判定する、
ことを特徴とする付記３に記載の動画像符号化装置。
（付記７）
前記判定部は、前記インター予測において参照する参照ピクチャ内の各処理ブロックのうち、前記処理ブロックを符号化する際に用いた動きベクトルが現処理ブロックの方向を指す処理ブロックを参照ブロックとし、当該参照ブロックについての前記ＡＣＴマップに基づいて、前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式で前記現処理ブロックのイントラ予測及びインター予測を行うかを判定する、
ことを特徴とする付記３に記載の動画像符号化装置。
（付記８）
前記処理ブロック毎にイントラ予測を行うイントラ予測部と、前記処理ブロック毎にインター予測を行うインター予測部と、前記イントラ予測及び前記インター予測で用いる参照画像を記憶する記憶部と、
前記判定部において前記画像データに対して前記ＹＵＶ形式でイントラ予測及びインター予測を行うと判定した場合に、入力された前記画像データを前記ＹＵＶ形式に変換して前記イントラ予測部及び前記インター予測部に入力するとともに、前記記憶部から読み出した前記参照画像データを前記ＹＵＶ形式に変換して前記イントラ予測部及び前記インター予測部に入力する色空間選択部と、
を更に備えることを特徴とする付記１に記載の動画像符号化装置。
（付記９）
前記処理ブロック毎に行った前記イントラ予測及び前記インター予測の予測結果に基づいて予測画像を生成する予測画像生成部と、入力された前記画像データと前記予測画像とに基づいて予測誤差信号を生成する予測誤差信号生成部と、前記予測誤差信号に対し前記処理ブロック内に設定したサブブロック毎に前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれかで直交変換及び量子化を行う第１の変換処理部と、前記第１の変換処理部で量子化された値に対し逆量子化及び逆直交変換を行い予測誤差信号を復元する第２の変換処理部と、復元した前記予測誤差信号における前記サブブロックのうち前記第１の変換処理部において前記ＹＵＶ形式で直交変換及び量子化を行った前記サブブロックを前記ＲＧＢ形式に変換する色空間復元部と、全サブブロックを前記ＲＧＢ形式に復元した前記予測誤差信号と前記予測画像生成部で生成した予測画像とに基づいて前記ＲＧＢ形式の復号画像を生成する復号画像生成部と、前記ＲＧＢ形式の復号画像を前記ＹＵＶ形式に変換する変換部と、前記ＲＧＢ形式の復号画像及び前記ＹＵＶ形式の復号画像を記憶する記憶部と、
前記判定部において前記画像データに対して前記ＹＵＶ形式でイントラ予測及びインター予測を行うと判定した場合に、入力された前記画像データを前記ＹＵＶ形式に変換して前記イントラ予測部及び前記インター予測部に入力する色空間選択部と、
前記判定部の判定結果に応じて前記記憶部から前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれかの参照画像を取得して前記イントラ予測部及び前記インター予測部に入力する取得部と、
を更に備えることを特徴とする付記１に記載の動画像符号化装置。
（付記１０）
前記ＹＵＶ形式は、輝度成分信号Ｙと、緑色成分の色差信号Ｃｇと、橙色成分の色差信号Ｃｏと、の３成分からなる、
ことを特徴とする付記１に記載の動画像符号化装置。
（付記１１）
コンピュータが、
入力されたＲＧＢ形式の画像データに対して色空間形式における３成分をそれぞれ独立した予測を行わない予測が指定されている場合に、前記ＲＧＢ形式及びＹＵＶ形式のいずれの色空間形式でイントラ予測及びインター予測を行うかを判定し、
当該判定に基づいて前記ＲＧＢ形式の動画像データにおける処理対象のピクチャに含まれる処理ブロック毎に前記イントラ予測及び前記インター予測を行い、
前記イントラ予測及び前記インター予測の結果に基づいて前記ＲＧＢ形式の予測画像を生成し、
前記ピクチャの前記処理ブロックと前記予測画像とに基づいて予測誤差信号を生成し、
前記処理ブロックに設定されるサブブロック毎に予測誤差信号を前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式で符号化するかを選択し、
前記サブブロック毎に選択した前記色空間形式で前記予測誤差信号を直交変換及び量子化する、
処理を実行することを特徴とする動画像符号化方法。
（付記１２）
前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式で前記イントラ予測及び前記インター予測を行うかの判定では、前記コンピュータは、
前記ＲＧＢ形式の動画像データにおけるＲ成分、Ｇ成分、及びＢ成分の各成分の分散を算出し、当該各成分の分散の大きさに基づいて前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式でイントラ予測及びインター予測を行うかを判定する、
ことを特徴とする付記１１に記載の動画像符号化方法。
（付記１３）
前記コンピュータが、量子化された前記予測誤差信号の値に対し逆量子化及び逆直交変換を行い予測誤差信号を復元し、前記ＹＵＶ形式で前記直交変換及び前記量子化を行った前記サブブロックを前記ＲＧＢ形式に変換し、前記ＹＵＶ形式から前記ＲＧＢ形式に変換した前記サブブロックの位置及び数の情報を含むＡＣＴマップを生成する、処理を更に実行し、
前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式で前記イントラ予測及び前記インター予測を行うかの判定では、前記コンピュータは、前記ＡＣＴマップに基づいて前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式でイントラ予測及びインター予測を行うかを判定する、
ことを特徴とする付記１１に記載の動画像符号化方法。
（付記１４）
前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式で前記イントラ予測及び前記インター予測を行うかの判定では、前記コンピュータは、前記インター予測において参照する参照ピクチャのうち現処理ブロックと同位置の参照ブロックについての前記ＡＣＴマップに基づいて、前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式で前記現処理ブロックのイントラ予測及びインター予測を行うかを判定する、
ことを特徴とする付記１３に記載の動画像符号化方法。
（付記１５）
前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式で前記イントラ予測及び前記インター予測を行うかの判定では、前記コンピュータは、前記インター予測において参照する参照ピクチャのうち現処理ブロックの参照範囲についての前記ＡＣＴマップに基づいて、前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式で前記現処理ブロックのイントラ予測及びインター予測を行うかを判定する、
ことを特徴とする付記１３に記載の動画像符号化方法。
（付記１６）
前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式で前記イントラ予測及び前記インター予測を行うかの判定では、前記コンピュータは、前記インター予測において参照する参照ピクチャにおける参照ブロックのうち現処理ブロックと同位置のブロックを指す動きベクトル分、又はグローバルベクトルの大きさ分だけずれた位置、を含む所定範囲についての前記ＡＣＴマップに重みを付けた評価値に基づいて、前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式で前記現処理ブロックのイントラ予測及びインター予測を行うかを判定する、
ことを特徴とする付記１３に記載の動画像符号化方法。
（付記１７）
前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式で前記イントラ予測及び前記インター予測を行うかの判定では、前記コンピュータは、前記インター予測において参照する参照ピクチャ内の各処理ブロックのうち、前記処理ブロックを符号化する際に用いた動きベクトルが現処理ブロックの方向を指す処理ブロックを参照ブロックとし、当該参照ブロックについての前記ＡＣＴマップに基づいて、前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式で前記現処理ブロックのイントラ予測及びインター予測を行うかを判定する、
ことを特徴とする付記１３に記載の動画像符号化方法。
（付記１８）
前記コンピュータが、量子化された前記予測誤差信号の値に対し逆量子化及び逆直交変換を行い予測誤差信号を復元し、前記ＹＵＶ形式で前記直交変換及び前記量子化を行った前記サブブロックを前記ＲＧＢ形式に変換し、全ての前記サブブロックが前記ＲＧＢ形式である復元された前記予測誤差信号を記憶部に記憶させる、処理を更に実行し、
前記画像データに対して前記ＹＵＶ形式でイントラ予測及びインター予測を行うと判定した場合に、前記コンピュータは、入力された前記画像データを前記ＹＵＶ形式に変換して前記イントラ予測部及び前記インター予測部に入力するとともに、前記記憶部から読み出した前記参照画像データを前記ＹＵＶ形式に変換して前記イントラ予測部及び前記インター予測部に入力する、
ことを特徴とする付記１１に記載の動画像符号化方法。
（付記１９）
前記コンピュータが、量子化された前記予測誤差信号の値に対し逆量子化及び逆直交変換を行い予測誤差信号を復元し、前記ＹＵＶ形式で前記直交変換及び前記量子化を行った前記サブブロックを前記ＲＧＢ形式に変換し、全ての前記サブブロックが前記ＲＧＢ形式である復元された前記予測誤差信号から前記ＲＧＢ形式の復号画像を生成し、前記ＲＧＢ形式の復号画像から前記ＹＵＶ形式の復号画像を生成し、前記ＲＧＢ形式の復号画像及び前記ＹＵＶ形式の復号画像を記憶部に記憶させる、処理を更に実行し、
前記画像データに対して前記ＹＵＶ形式でイントラ予測及びインター予測を行うと判定した場合に、前記コンピュータは、入力された前記動画像データを前記ＹＵＶ形式に変換して前記イントラ予測部及び前記インター予測部に入力するとともに、判定結果に応じて前記記憶部から前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれかの参照画像を取得して前記イントラ予測部及び前記インター予測部に入力する、
ことを特徴とする付記１１に記載の動画像符号化方法。
（付記２０）
前記ＲＧＢ形式の動画像データを前記ＹＵＶ形式に変換する処理では、前記コンピュータは、前記動画像データの色空間形式を、前記ＲＧＢ形式から輝度成分信号Ｙと、緑色成分の色差信号Ｃｇと、橙色成分の色差信号Ｃｏと、の３成分からなる前記ＹＵＶ形式に変換する、
ことを特徴とする付記１１に記載の動画像符号化方法。
（付記２１）
コンピュータに、
入力されたＲＧＢ形式の動画像データに対して色空間形式における３成分をそれぞれ独立した予測を行わない予測が指定されている場合に、前記ＲＧＢ形式及びＹＵＶ形式のいずれの色空間形式でイントラ予測及びインター予測を行うかを判定し、
当該判定に基づいて前記ＲＧＢ形式の動画像データにおける処理対象のピクチャに含まれる処理ブロック毎に前記イントラ予測及び前記インター予測を行い、
前記イントラ予測及び前記インター予測の結果に基づいて前記ＲＧＢ形式の予測画像を生成し、
前記ピクチャの前記処理ブロックと前記予測画像とに基づいて予測誤差信号を生成し、
前記処理ブロックに設定されるサブブロック毎に予測誤差信号を前記ＲＧＢ形式及び前記ＹＵＶ形式のいずれの色空間形式で符号化するかを選択し、
前記サブブロック毎に選択した前記色空間形式で前記予測誤差信号を直交変換及び量子化する、
処理を実行させるプログラム。
【符号の説明】
【０１９７】
１  動画像符号化装置
１０１  イントラ予測部
１０２  インター予測部
１０３  判定部
１０４  予測画像生成部
１０５  予測誤差信号生成部
１０６  （第１の）色空間選択部
１０６ａ，１２２ａ，１２３ａ  ＡＣＴ部
１０６ｂ，１１０ｂ，１２２ｂ，１２３ｂ  スイッチ
１０７  Ｔ／Ｑ処理部
１０８  ＥＮＴ処理部
１０９  ＩＱ／ＩＴ処理部
１１０  色空間復元部
１１０ａ  ＩＡＣＴ部
１１１  復号画像生成部
１１２  フィルタ処理部
１１３  フレームメモリ
１１３ａ  ＲＧＢ復号画像
１１３ｂ  ＡＣＴマップ
１１３ｃ  ＹＵＶ復号画像
１２１，１２５  ｍＡＣＴ判定部
１２２  第２の色空間選択部
１２３  第３の色空間選択部
１２６  ＡＣＴマップ生成部
１３１  参照画像取得部
１３２  ＹＵＶ変換部
９  コンピュータ
９０１  ＣＰＵ
９０２  主記憶装置
９０３  補助記憶装置
９０４  入力装置
９０５  表示装置
９０６  ＤＳＰ
９０７  インタフェース装置
９０８  記憶媒体駆動装置
９０９  通信装置
９１０  バス
【図１】
0006593122.tif 000009
【図２】
0006593122.tif 000010
【図３】
0006593122.tif 000011
【図４】
0006593122.tif 000012
【図５】
0006593122.tif 000013
【図６】
0006593122.tif 000014
【図７Ａ】
0006593122.tif 000015
【図７Ｂ】
0006593122.tif 000016
【図８】
0006593122.tif 000017
【図９】
0006593122.tif 000018
【図１０】
0006593122.tif 000019
【図１１】
0006593122.tif 000020
【図１２】
0006593122.tif 000021
【図１３】
0006593122.tif 000022
【図１４】
0006593122.tif 000023
【図１５Ａ】
0006593122.tif 000024
【図１５Ｂ】
0006593122.tif 000025
【図１６】
0006593122.tif 000026