(57)【要約】【課題】  変換ユニットサイズが拡大した場合であっても、変換処理又は逆変換処理に必要な負荷の増大を抑制することを可能とする画像復号装置、画像符号化装置、画像処理システム、画像復号方法及びプログラムを提供する。【解決手段】  画像復号装置は、画像符号化装置によって符号化された符号化データの復号処理を行うとともに、符号化装置によって変換処理が施された係数レベル値を取得する復号部と、係数レベル値の逆変換処理を少なくとも行うとともに、予測残差信号を取得する逆変換処理部とを備える。逆変換処理部は、逆変換処理として、変換ユニットサイズで第１逆変換処理と、変換ユニットサイズよりも小さい変換サイズで第２逆変換処理を行うように構成されている。第１変換処理は、係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理である。第２変換処理は、変換ユニットサイズが閾値よりも大きいケースに適用される処理である。【選択図】  図３
2019176421.tif 000002
【特許請求の範囲】
【請求項１】
画像符号化装置によって符号化された符号化データの復号処理を行うとともに、前記符号化装置によって変換処理が施された係数レベル値を取得する復号部と、
前記係数レベル値の逆変換処理を少なくとも行うとともに、予測残差信号を取得する逆変換処理部とを備え、
前記逆変換処理部は、前記逆変換処理として、前記変換ユニットサイズで第１逆変換処理と、前記変換ユニットサイズよりも小さい変換サイズで第２逆変換処理を行うように構成されており、
前記第１逆変換処理は、前記係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理であり、
前記第２逆変換処理は、前記変換ユニットサイズが前記閾値よりも大きいケースに適用される処理である、画像復号装置。
【請求項２】
前記予測残差信号に対応する前記変換サイズを前記変換ユニットサイズに揃える拡大処理を行う拡大処理部を備え、
前記拡大処理は、前記変換ユニットサイズが前記閾値よりも大きいケースに適用される処理である、請求項１に記載の画像復号装置。
【請求項３】
前記変換サイズは、前記変換ユニットサイズの水平画素数が前記変換サイズの水平画素数の２のべき乗で表されるように定められ、或いは、前記変換ユニットサイズの垂直画素数が前記変換サイズの垂直画素数の２のべき乗で表されるように定められ、或いは、前記変換ユニットサイズの水平画素数が前記変換サイズの水平画素数の２のべき乗で表され、かつ、前記変換ユニットサイズの垂直画素数が前記変換サイズの垂直画素数の２のべき乗で表されるように定められる、請求項１又は請求項２に記載の画像復号装置。
【請求項４】
前記復号部は、前記復号処理によって前記変換サイズを取得する、請求項１乃至請求項３のいずれかに記載の画像復号装置。
【請求項５】
前記変換サイズは、前記変換ユニットサイズと予め対応付けられている、請求項１乃至請求項３のいずれかに記載の画像復号装置。
【請求項６】
前記復号部は、前記変換ユニットサイズが前記閾値よりも大きい場合において、予め定められた係数レベル位置を有する前記係数レベル値をゼロとして取得する、請求項１乃至請求項５のいずれかに記載の画像復号装置。
【請求項７】
イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成する生成部と、
前記予測残差信号の変換処理を少なくとも行うとともに、係数レベル値を取得する変換処理部とを備え、
前記変換処理部は、前記変換処理として、前記変換ユニットサイズで第１変換処理を行い、前記変換ユニットサイズよりも小さい変換サイズで第２変換処理を行うように構成されており、
前記第１変換処理は、前記係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理であり、
前記第２変換処理は、前記変換ユニットサイズが前記閾値よりも大きいケースに適用される処理である、画像符号化装置。
【請求項８】
画像符号化装置及び画像復号装置を備える画像処理システムであって、
前記画像符号化装置は、
イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成する生成部と、
前記予測残差信号の変換処理を行うとともに、係数レベル値を取得する変換処理部とを備え、
前記画像復号装置は、
前記画像符号化装置によって符号化された符号化データの復号処理を行うとともに、前記係数レベル値を取得する復号部と、
前記係数レベル値の逆変換処理を少なくとも行うとともに、前記予測残差信号を取得する逆変換処理部とを備え、
前記変換処理部は、前記変換処理として、前記変換ユニットサイズで第１変換処理を行い、前記変換ユニットサイズよりも小さい変換サイズで第２変換処理を行うように構成されており、
前記逆変換処理部は、前記逆変換処理として、前記変換ユニットサイズで第１逆変換処理と、前記変換ユニットサイズよりも小さい変換サイズで第２逆変換処理を行うように構成されており、
前記第１変換処理及び前記第１逆変換処理は、前記係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理であり、
前記第２変換処理及び前記第２逆変換処理は、前記変換ユニットサイズが前記閾値よりも大きいケースに適用される処理である、画像処理システム。
【請求項９】
画像符号化装置によって符号化された符号化データの復号処理を行うとともに、前記符号化装置によって変換処理が施された係数レベル値を取得するステップＡと、
前記係数レベル値の逆変換処理を少なくとも行うとともに、予測残差信号を取得するステップＢとを備え、
前記ステップＢは、前記逆変換処理として、前記変換ユニットサイズで第１逆変換処理と、前記変換ユニットサイズよりも小さい変換サイズで第２逆変換処理を行うステップを含み、
前記第１逆変換処理は、前記係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理であり、
前記第２逆変換処理は、前記変換ユニットサイズが前記閾値よりも大きいケースに適用される処理である、画像復号方法。
【請求項１０】
画像復号装置で用いるプログラムであって、
画像符号化装置によって符号化された符号化データの復号処理を行うとともに、前記符号化装置によって変換処理が施された係数レベル値を取得するステップＡと、
前記係数レベル値の逆変換処理を少なくとも行うとともに、予測残差信号を取得するステップＢとを実行させ、
前記ステップＢは、前記逆変換処理として、前記変換ユニットサイズで第１逆変換処理と、前記変換ユニットサイズよりも小さい変換サイズで第２逆変換処理を行うステップを含み、
前記第１逆変換処理は、前記係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理であり、
前記第２逆変換処理は、前記変換ユニットサイズが前記閾値よりも大きいケースに適用される処理である、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復号装置、画像符号化装置、画像処理システム、画像復号方法及びプログラムに関する。
【背景技術】
【０００２】
従来、イントラ予測（フレーム内予測）又はインター予測（フレーム間予測）によって生成される予測信号と入力画像信号との差分である予測残差信号を生成し、予測残差信号の変換処理及び量子化処理を行う技術（例えば、ＨＥＶＣ；Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）が提案されている（例えば、非特許文献１）。変換処理は、変換ユニットサイズを有する変換ユニットを１つの単位として、予測残差信号を周波数成分信号に変換する処理である。
【０００３】
さらに、上述したＨＥＶＣに対する次世代方式（ＦＶＣ；Ｆｕｔｕｒｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）では、上述した変換ユニットサイズとして、ＨＥＶＣよりも大きな変換ユニットサイズを用いることが検討されている（例えば、非特許文献２）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ＩＴＵ−Ｔ  Ｈ．２６５  Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ
【非特許文献２】Ａｌｇｏｒｉｔｈｍ  Ｄｅｓｃｒｉｐｔｉｏｎ  ｏｆ  Ｊｏｉｎｔ  Ｅｘｐｌｏｒａｔｉｏｎ  Ｔｅｓｔ  Ｍｏｄｅｌ７（ＪＥＭ７）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、変換ユニットサイズの拡大に伴って、変換処理又は逆変換処理に必要な負荷（演算時間及び回路規模など）の増大が見込まれる。
【０００６】
そこで、本発明は、上述した課題を解決するためになされたものであり、変換ユニットサイズが拡大した場合であっても、変換処理又は逆変換処理に必要な負荷の増大を抑制することを可能とする画像復号装置、画像符号化装置、画像処理システム、画像復号方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
第１の特徴は、画像復号装置であって、画像符号化装置によって符号化された符号化データの復号処理を行うとともに、前記符号化装置によって変換処理が施された係数レベル値を取得する復号部と、前記係数レベル値の逆変換処理を少なくとも行うとともに、予測残差信号を取得する逆変換処理部とを備え、前記逆変換処理部は、前記逆変換処理として、前記変換ユニットサイズで第１逆変換処理と、前記変換ユニットサイズよりも小さい変換サイズで第２逆変換処理を行うように構成されており、前記第１逆変換処理は、前記係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理であり、前記第２逆変換処理は、前記変換ユニットサイズが前記閾値よりも大きいケースに適用される処理であることを要旨とする。
【０００８】
第２の特徴は、第１の特徴において、画像復号装置が、前記予測残差信号に対応する前記変換サイズを前記変換ユニットサイズに揃える拡大処理を行う拡大処理部を備え、前記拡大処理は、前記変換ユニットサイズが前記閾値よりも大きいケースに適用される処理であることを要旨とする。
【０００９】
第３の特徴は、第１の特徴又は第２の特徴において前記変換サイズは、前記変換ユニットサイズの水平画素数が前記変換サイズの水平画素数の２のべき乗で表されるように定められ、或いは、前記変換ユニットサイズの垂直画素数が前記変換サイズの垂直画素数の２のべき乗で表されるように定められ、或いは、前記変換ユニットサイズの水平画素数が前記変換サイズの水平画素数の２のべき乗で表され、かつ、前記変換ユニットサイズの垂直画素数が前記変換サイズの垂直画素数の２のべき乗で表されるように定められる。
【００１０】
第４の特徴は、第１の特徴乃至第３の特徴のいずれかにおいて、前記復号部は、前記復号処理によって前記変換サイズを取得する。
【００１１】
第５の特徴は、第１の特徴乃至第３の特徴のいずれかにおいて、前記変換サイズは、前記変換ユニットサイズと予め対応付けられている。
【００１２】
第６の特徴は、第１の特徴乃至第５の特徴のいずれかにおいて、前記復号部は、前記変換ユニットサイズが前記閾値よりも大きい場合において、予め定められた係数レベル位置を有する前記係数レベル値をゼロとして取得する。
【００１３】
第７の特徴は、画像符号化装置であって、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成する生成部と、前記予測残差信号の変換処理を少なくとも行うとともに、係数レベル値を取得する変換処理部とを備え、前記変換処理部は、前記変換処理として、前記変換ユニットサイズで第１変換処理を行い、前記変換ユニットサイズよりも小さい変換サイズで第２変換処理を行うように構成されており、前記第１変換処理は、前記係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理であり、前記第２変換処理は、前記変換ユニットサイズが前記閾値よりも大きいケースに適用される処理であることを要旨とする。
【００１４】
第８の特徴は、画像符号化装置及び画像復号装置を備える画像処理システムであって、前記画像符号化装置は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成する生成部と、前記予測残差信号の変換処理を行うとともに、係数レベル値を取得する変換処理部とを備え、前記画像復号装置は、前記画像符号化装置によって符号化された符号化データの復号処理を行うとともに、前記係数レベル値を取得する復号部と、前記係数レベル値の逆変換処理を少なくとも行うとともに、前記予測残差信号を取得する逆変換処理部とを備え、前記変換処理部は、前記変換処理として、前記変換ユニットサイズで第１変換処理を行い、前記変換ユニットサイズよりも小さい変換サイズで第２変換処理を行うように構成されており、前記逆変換処理部は、前記逆変換処理として、前記変換ユニットサイズで第１逆変換処理と、前記変換ユニットサイズよりも小さい変換サイズで第２逆変換処理を行うように構成されており、前記第１変換処理及び前記第１逆変換処理は、前記係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理であり、前記第２変換処理及び前記第２逆変換処理は、前記変換ユニットサイズが前記閾値よりも大きいケースに適用される処理であることを要旨とする。
【００１５】
第９の特徴は、画像復号方法であって、画像符号化装置によって符号化された符号化データの復号処理を行うとともに、前記符号化装置によって変換処理が施された係数レベル値を取得するステップＡと、前記係数レベル値の逆変換処理を少なくとも行うとともに、予測残差信号を取得するステップＢとを備え、前記ステップＢは、前記逆変換処理として、前記変換ユニットサイズで第１逆変換処理と、前記変換ユニットサイズよりも小さい変換サイズで第２逆変換処理を行うステップを含み、前記第１逆変換処理は、前記係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理であり、前記第２逆変換処理は、前記変換ユニットサイズが前記閾値よりも大きいケースに適用される処理であることを要旨とする。
【００１６】
第１０の特徴は、画像復号装置で用いるプログラムであって、画像符号化装置によって符号化された符号化データの復号処理を行うとともに、前記符号化装置によって変換処理が施された係数レベル値を取得するステップＡと、前記係数レベル値の逆変換処理を少なくとも行うとともに、予測残差信号を取得するステップＢとを実行させ、前記ステップＢは、前記逆変換処理として、前記変換ユニットサイズで第１逆変換処理と、前記変換ユニットサイズよりも小さい変換サイズで第２逆変換処理を行うステップを含み、前記第１逆変換処理は、前記係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理であり、前記第２逆変換処理は、前記変換ユニットサイズが前記閾値よりも大きいケースに適用される処理であることを要旨とする。
【発明の効果】
【００１７】
一態様によれば、変換ユニットサイズが拡大した場合であっても、変換処理又は逆変換処理に必要な負荷の増大を抑制することを可能とする画像復号装置、画像符号化装置、画像処理システム、画像復号方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１８】
【図１】図１は、実施形態に係る画像処理システム１０を示す図である。
【図２】図２は、実施形態に係る画像符号化装置１００を示す図である。
【図３】図３は、実施形態に係る画像復号装置２００を示す図である。
【図４】図４は、実施形態に係る縮小処理及び拡大処理を説明するための図である。
【図５】図５は、実施形態に係る変換処理及び逆変換処理を説明するための図である。
【図６】図６は、実施形態に係る変換処理及び逆変換処理を説明するための図である。
【図７】図７は、変更例３に係る係数レベル値を説明するための図である。
【発明を実施するための形態】
【００１９】
以下において、実施形態について図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。
【００２０】
但し、図面は模式的なものであり、各寸法の比率などは現実のものとは異なる場合があることに留意すべきである。従って、具体的な寸法などは以下の説明を参酌して判断すべきである。また、図面相互間においても互いの寸法の関係又は比率が異なる部分が含まれている場合があることは勿論である。
【００２１】
［開示の概要］
開示の概要に係る画像復号装置は、画像符号化装置によって符号化された符号化データの復号処理を行うとともに、符号化装置によって変換処理が施された係数レベル値を取得する復号部と、係数レベル値の逆変換処理を少なくとも行うとともに、予測残差信号を取得する逆変換処理部とを備える。逆変換処理部は、逆変換処理として、変換ユニットサイズで第１逆変換処理と、変換ユニットサイズよりも小さい変換サイズで第２逆変換処理を行うように構成されている。第１変換処理は、係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理である。第２変換処理は、変換ユニットサイズが閾値よりも大きいケースに適用される処理である。
【００２２】
開示の概要に係る画像復号装置では、変換ユニットサイズが閾値よりも大きい場合に、逆変換処理として、変換ユニットサイズよりも小さい変換サイズで第２逆変換処理が適用される。このような構成によれば、変換ユニットサイズが拡大した場合であっても、逆変換処理に必要な負荷の増大を抑制することができる。
【００２３】
開示の概要に係る画像符号化装置は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成する生成部と、予測残差信号の変換処理を少なくとも行うとともに、係数レベル値を取得する変換処理部とを備える。変換処理部は、変換処理として、変換ユニットサイズで第１変換処理を行い、変換ユニットサイズよりも小さい変換サイズで第２変換処理を行うように構成されている。第１変換処理は、係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理である。第２変換処理は、変換ユニットサイズが閾値よりも大きいケースに適用される処理である。
【００２４】
開示の概要に係る画像符号化装置では、変換ユニットサイズが閾値よりも大きい場合に、変換処理として、変換ユニットサイズよりも小さい変換サイズで第２変換処理が適用される。このような構成によれば、変換ユニットサイズが拡大した場合であっても、変換処理に必要な負荷の増大を抑制することができる。
【００２５】
開示の概要としては、上述した画像復号装置の動作に係る画像復号方法が提供されてもよく、上述した画像符号化装置の動作に係る画像符号化方法が提供されてもよい。開示の概要としては、上述した画像復号装置及び画像符号化装置を有する画像処理システムが提供されてもよい。開示の概要としては、上述した画像復号装置の動作に係るプログラムが提供されてもよく、上述した画像符号化装置の動作に係るプログラムが提供されてもよい。
【００２６】
［実施形態］
（画像処理システム）
以下において、実施形態に係る画像処理システムについて説明する。図１は、実施形態に係る実施形態に係る画像処理システム１０を示す図である。
【００２７】
図１に示すように、画像処理システム１０は、画像符号化装置１００及び画像復号装置２００を有する。画像符号化装置１００は、入力画像信号を符号化することによって符号化データを生成する。画像復号装置２００は、符号化データを復号することによって出力画像信号を生成する。符号化データは、画像符号化装置１００から画像復号装置２００に対して伝送路を介して送信されてもよい。符号化データは、記憶媒体に格納された上で、画像符号化装置１００から画像復号装置２００に提供されてもよい。
【００２８】
（画像符号化装置）
以下において、実施形態に係る画像符号化装置について説明する。図２は、実施形態に係る画像符号化装置１００を示す図である。
【００２９】
図２に示すように、画像符号化装置１００は、インター予測部１１１と、イントラ予測部１１２と、減算器１２１と、加算器１２２と、縮小処理部１３１と、拡大処理部１３２と、変換・量子化部１４１と、逆変換・逆量子化部１４２と、判定部１５０と、スイッチ１５１と、スイッチ１５２と、符号化部１６０と、インループフィルタ１７０と、フレームバッファ１８０とを有する。
【００３０】
インター予測部１１１は、インター予測（フレーム間予測）によって予測信号を生成する。具体的には、インター予測部１１１は、符号化対象のフレーム（以下、対象フレーム）とフレームバッファ１８０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ユニットを特定し、特定された参照ユニットに対する予測動きベクトルを決定する。インター予測部１１１は、予測ユニット及び予測動きベクトルに基づいて予測信号を予測ユニット毎に生成する。インター予測部１１１は、予測信号を減算器１２１及び加算器１２２に出力する。参照フレームは、対象フレームとは異なるフレームである。
【００３１】
イントラ予測部１１２は、イントラ予測（フレーム内予測）によって予測信号を生成する。具体的には、イントラ予測部１１２は、対象フレームに含まれる参照ユニットを特定し、特定された参照ユニットに基づいて予測信号を予測ユニット毎に生成する。イントラ予測部１１２は、予測信号を減算器１２１及び加算器１２２に出力する。例えば、参照ユニットは、符号化対象のユニット（以下、対象ユニット）に隣接するユニットである。
【００３２】
減算器１２１は、入力画像信号から予測信号を減算し、予測残差信号を変換・量子化部１４１に出力する。ここで、減算器１２１は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成する生成部を構成する。
【００３３】
加算器１２２は、逆変換・逆量子化部１４２又は拡大処理部１３２から出力される予測残差信号に予測信号を加算し、フィルタ前復号信号をイントラ予測部１１２及びインループフィルタ１７０に出力する。フィルタ前復号信号は、イントラ予測部１１２で用いる参照ユニットを構成する。予測残差信号のソースは、スイッチ１５２によって切り替えられる。
【００３４】
縮小処理部１３１は、予測誤差信号に対応する変換ユニットサイズを変換サイズに揃える縮小処理を行う。縮小処理は、変換ユニットサイズが閾値よりも大きいケースに適用される処理である。変換ユニットサイズは、変換処理を適用すべき変換ユニットのサイズである。縮小処理の詳細については後述する（図４を参照）。
【００３５】
ここで、変換ユニットサイズは、Ｎ（水平画素数）×Ｍ（垂直画素数）で定義されてもよい。例えば、Ｎの最大数は１２８であってもよく、Ｍの最大数は１２８であってもよい。Ｎ及びＭは、４×４、８×８、１６×１６、３２×３２、６４×６４、１２８×１２８などのように同じ数であってもよく、３２×６４、３２×１２８、６４×１２８などのように異なる数であってもよい。変換サイズは、後述する第２変換処理又は第２逆変換処理を適用すべき予測残差信号のユニットのサイズである。変換サイズは、第２変換処理又は第２逆変換処理で用いる基底パターン（変換行列）のサイズと同義であると考えてもよい。
【００３６】
拡大処理部１３２は、予測残差信号に対応する変換サイズを変換ユニットサイズに揃える拡大処理を行う。拡大処理は、変換ユニットサイズが閾値よりも大きいケースに適用される処理である。拡大処理の詳細については後述する（図４を参照）。
【００３７】
変換・量子化部１４１は、予測残差信号の変換処理を少なくも行うとともに、係数レベル値を取得する。さらに、変換・量子化部１４１は、係数レベル値の量子化を行ってもよい。変換処理は、予測残差信号を周波数成分信号に変換する処理である。変換処理では、離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよく、離散サイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ  Ｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよい。
【００３８】
実施形態では、変換・量子化部１４１は、変換処理として、変換ユニットサイズで第１変換処理を行い、変換ユニットサイズよりも小さい変換サイズで第２変換処理を行うように構成されている。第１変換処理は、係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理である。第２変換処理は、変換ユニットサイズが閾値よりも大きいケースに適用される処理である。具体的には、変換・量子化部１４１は、減算器１２１から出力される予測残差信号を用いて第１変換処理を行う。変換・量子化部１４１は、縮小処理部１３１から出力される予測残差信号を用いて第２変換処理を行う。
【００３９】
逆変換・逆量子化部１４２は、スイッチ１５１から出力される係数レベル値の逆変換処理を行う。ここで、逆変換・逆量子化部１４２は、逆変換処理に先立って、係数レベル値の逆量子化を行ってもよい。逆変換処理及び逆量子化は、変換・量子化部１４１で行われる変換処理及び量子化とは逆の手順で行われる。
【００４０】
実施形態では、逆変換・逆量子化部１４２は、逆変換処理として、変換ユニットサイズで第１逆変換処理と、変換ユニットサイズよりも小さい変換サイズで第２逆変換処理を行うように構成されている。第１変換処理は、係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理である。第２変換処理は、変換ユニットサイズが閾値よりも大きいケースに適用される処理である。
【００４１】
判定部１５０は、第１変換処理を適用すべきか、第２変換処理を適用すべきかを判定する。具体的には、判定部１５０は、変換ユニットサイズが閾値以下である場合に、第１変換処理を適用すると判定する。一方で、判定部１５０は、変換ユニットサイズが閾値よりも大きい場合に、第２変換処理を適用すると判定する。特に限定されるものではないが、閾値は６４であってもよい。
【００４２】
ここで、判定部１５０は、変換ユニットサイズの水平画素数が閾値よりも大きい場合に、第２変換処理を適用すると判定してもよい。判定部１５０は、変換ユニットサイズの垂直画素数が閾値よりも大きい場合に、第２変換処理を適用すると判定してもよい。判定部１５０は、変換ユニットサイズの水平画素数及び垂直画素数の双方が閾値よりも大きい場合に、第２変換処理を適用すると判定してもよい。
【００４３】
判定部１５０は、判定結果に基づいて、スイッチ１５１及びスイッチ１５２を制御する。具体的には、判定部１５０は、第１変換処理が適用されると判定された場合に、第１変換処理が施された係数レベル値が出力されるようにスイッチ１５１を制御し、逆変換・逆量子化部１４２から出力される予測残差信号が出力されるようにスイッチ１５２を制御する。一方で、判定部１５０は、第２変換処理が適用されると判定された場合に、第２変換処理が施された係数レベル値が出力されるようにスイッチ１５１を制御し、拡大処理部１３２から出力される予測残差信号が出力されるようにスイッチ１５２を制御する。
【００４４】
符号化部１６０は、変換・量子化部１４１から出力された係数レベル値を符号化し、符号化データを出力する。例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。
【００４５】
符号化部１６０は、係数レベル値に加えて、復号処理で用いる制御データを符号化する。制御データは、符号化ユニットサイズ、予測ユニットサイズ、変換ユニットサイズなどのサイズデータを含んでもよい。制御データは、予測残差信号の生成方法や変換処理で用いる基底パターンの種類などを示すデータ（フラグを含む）を含んでもよい。
【００４６】
インループフィルタ１７０は、加算器１２２から出力されるフィルタ前復号信号に対してフィルタ処理を行うとともに、フィルタ後復号信号をフレームバッファ１８０に出力する。例えば、フィルタ処理は、ブロック（予測ユニット又は変換ユニット）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。
【００４７】
フレームバッファ１８０は、インター予測部１１１で用いる参照フレームを蓄積する。フィルタ後復号信号は、インター予測部１１１で用いる参照フレームを構成する。
【００４８】
（画像復号装置）
以下において、実施形態に係る画像復号装置について説明する。図３は、実施形態に係る画像復号装置２００を示す図である。
【００４９】
図３に示すように、画像復号装置２００は、復号部２１０と、逆変換・逆量子化部２２０と、判定部２３０と、スイッチ２３１と、拡大処理部２４０と、加算器２５０と、インター予測部２６１と、イントラ予測部２６２と、インループフィルタ２７０と、フレームバッファ２８０とを有する。
【００５０】
復号部２１０は、画像符号化装置１００によって生成される符号化データを復号し、係数レベル値を復号する。例えば、復号は、符号化部１６０で行われるエントロピー符号化とは逆の手順のエントロピー復号である。
【００５１】
復号部２１０は、符号化データの復号処理によって制御データを取得してもよい。上述したように、制御データは、符号化ユニットサイズ、予測ユニットサイズ、変換ユニットサイズなどのサイズデータを含んでもよい。制御データは、予測残差信号の生成方法や逆変換処理で用いる基底パターンの種類などを示すデータ（フラグを含む）を含んでもよい。
【００５２】
逆変換・逆量子化部２２０は、復号部２１０から出力される係数レベル値の逆変換処理を行う。ここで、逆変換・逆量子化部２２０は、逆変換処理に先立って、係数レベル値の逆量子化を行ってもよい。逆変換処理及び逆量子化は、変換・量子化部１４１で行われる変換処理及び量子化とは逆の手順で行われる。
【００５３】
判定部２３０は、判定部１５０と同様の手順で、第１逆変換処理を適用すべきか、第２逆変換処理を適用すべきかを判定する。具体的には、判定部２３０は、変換ユニットサイズが閾値以下である場合に、第１逆変換処理を適用すると判定する。一方で、判定部２３０は、変換ユニットサイズが閾値よりも大きい場合に、第２逆変換処理を適用すると判定する。
【００５４】
判定部２３０は、判定結果に基づいて、スイッチ２３１を制御する。具体的には、判定部２３０は、第１逆変換処理が適用されると判定された場合に、逆変換・逆量子化部２２０から出力される予測残差信号が出力されるようにスイッチ２３１を制御する。一方で、判定部２３０は、第２逆変換処理が適用されると判定された場合に、拡大処理部２４０から出力される予測残差信号が出力されるようにスイッチ２３１を制御する。
【００５５】
拡大処理部２４０は、拡大処理部１３２と同様に、予測残差信号に対応する変換サイズを変換ユニットサイズに揃える拡大処理を行う。拡大処理は、変換ユニットサイズが閾値よりも大きいケースに適用される処理である。拡大処理の詳細については後述する（図４を参照）。
【００５６】
加算器２５０は、逆変換・逆量子化部２２０又は拡大処理部２４０から出力される予測残差信号に予測信号を加算し、フィルタ前復号信号をイントラ予測部２６２及びインループフィルタ２７０に出力する。フィルタ前復号信号は、イントラ予測部２６２で用いる参照ユニットを構成する。予測残差信号のソースは、スイッチ２３１によって切り替えられる。
【００５７】
インター予測部２６１は、インター予測部１１１と同様に、インター予測（フレーム間予測）によって予測信号を生成する。具体的には、インター予測部２６１は、対象フレームとフレームバッファ２８０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ユニットを特定し、特定された参照ユニットに対する予測動きベクトルを決定する。インター予測部２６１は、予測ユニット及び予測動きベクトルに基づいて予測信号を予測ユニット毎に生成する。インター予測部２６１は、予測信号を加算器２５０に出力する。
【００５８】
イントラ予測部２６２は、イントラ予測部１１２と同様に、イントラ予測（フレーム内予測）によって予測信号を生成する。具体的には、イントラ予測部２６２は、対象フレームに含まれる参照ユニットを特定し、特定された参照ユニットに基づいて予測信号を予測ユニット毎に生成する。イントラ予測部２６２は、予測信号を加算器２５０に出力する。
【００５９】
インループフィルタ２７０は、インループフィルタ１７０と同様に、加算器２５０から出力されるフィルタ前復号信号に対してフィルタ処理を行うとともに、フィルタ後復号信号をフレームバッファ２８０に出力する。例えば、フィルタ処理は、ブロック（予測ユニット又は変換ユニット）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。
【００６０】
フレームバッファ２８０は、フレームバッファ１８０と同様に、インター予測部２６１で用いる参照フレームを蓄積する。フィルタ後復号信号は、インター予測部２６１で用いる参照フレームを構成する。
【００６１】
（縮小処理及び拡大処理）
以下において、実施形態に係る縮小処理及び拡大処理について説明する。図４は、実施形態に係る縮小処理及び拡大処理を説明するための図である。上述したように、縮小処理及び拡大処理は、第２変換処理及び第２逆変換処理が適用される場合に行われる処理である。図４では、変換ユニットサイズは、Ｎ（水平画素数）×Ｍ（垂直画素数）で定義されるケースを例示する。
【００６２】
第１に、図４に示すように、縮小処理は、水平方向において、変換ユニットサイズＮを変換サイズＮ／ｘに縮小する処理であってもよい。拡大処理は、水平方向において、変換サイズＮ／ｘを変換ユニットサイズＮに拡大する処理であってもよい。特に限定されるものではないが、ｘは２のべき乗であってもよい。すなわち、変換サイズは、変換ユニットサイズの水平画素数が変換サイズの水平画素数の２のべき乗で表されるように定められてもよい。
【００６３】
第２に、図４に示すように、縮小処理は、垂直方向において、変換ユニットサイズＭを変換サイズＭ／ｙに縮小する処理であってもよい。拡大処理は、垂直方向において、変換サイズＭ／ｙを変換ユニットサイズＭに拡大する処理であってもよい。特に限定されるものではないが、ｙは２のべき乗であってもよい。すなわち、変換サイズは、変換ユニットサイズの垂直画素数が変換サイズの垂直画素数の２のべき乗で表されるように定められてもよい。
【００６４】
第３に、図４に示すように、縮小処理は、水平方向において、変換ユニットサイズＮを変換サイズＮ／ｘに縮小するとともに、垂直方向において、変換ユニットサイズＭを変換サイズＭ／ｙに縮小する処理であってもよい。拡大処理は、水平方向において、変換サイズＮ／ｘを変換ユニットサイズＮに拡大するとともに、垂直方向において、変換サイズＭ／ｙを変換ユニットサイズＭに拡大する処理であってもよい。特に限定されるものではないが、ｘ及びｙは２のべき乗であってもよい。ｘは、ｙと同じ値であってもよく、ｙと異なる値であってもよい。すなわち、変換サイズは、変換ユニットサイズの水平画素数が変換サイズの水平画素数の２のべき乗で表され、かつ、変換ユニットサイズの垂直画素数が変換サイズの垂直画素数の２のべき乗で表されるように定められてもよい。
【００６５】
縮小処理は、画素を間引く処理であってもよい。拡大処理は、画素を補間する処理であってもよい。画素の補間は、１つの隣接画素をコピーする処理であってもよく、２以上の隣接画素から加重平均などによって画素を生成する処理であってもよい。ｘ又はｙが２のべき乗であることによって、縮小処理及び拡大処理の負荷を軽減することができる。
【００６６】
（変換処理及び逆変換処理）
以下において、実施形態に係る変換処理及び逆変換処理について説明する。図５及び図６は、実施形態に係る変換処理及び逆変換処理を説明するための図である。上述したように、変換処理は、第１変換処理及び第２変換処理を含み、逆変換処理は、第１逆変換処理及び第２逆変換処理を含む。
【００６７】
第１に、第１変換処理について図５を参照しながら説明する。図５では、変換ユニットサイズがＭ１×Ｎ１で表されるケースを例示する。第１変換処理は縮小処理を伴わない処理であるため、図５に示すように、予測誤差信号のサイズは変換ユニットサイズである。従って、変換ユニットサイズを有する変換行列（ＤＣＴ又はＤＳＴ）を用いて、予測残差信号が周波数成分に変換される。第１逆変換処理は、第１変換処理と逆の手順であるため、その説明については省略する。
【００６８】
第２に、第２変換処理について図６を参照しながら説明する。図５では、変換ユニットサイズがＭ２×Ｎ２で表されるケースを例示する。第２変換処理は縮小処理を伴う処理であるため、図６に示すように、予測誤差信号のサイズは変換サイズ（Ｍ２／ｘ×Ｎ２／ｙ）である。従って、変換サイズを有する変換行列（ＤＣＴ又はＤＳＴ）を用いて、予測残差信号が周波数成分に変換される。第２逆変換処理は、第２変換処理と逆の手順であるため、その説明については省略する。
【００６９】
ここで、変換ユニットサイズが変換サイズの２のべき乗である場合には、変換サイズを有する変換行列（ＤＣＴ又はＤＳＴ）として、変換ユニットサイズを有する変換行列（ＤＣＴ又はＤＳＴ）の一部を用いることが可能である。
【００７０】
（作用及び効果）
実施形態に係る画像復号装置２００では、変換ユニットサイズが閾値よりも大きい場合に、逆変換処理として、変換ユニットサイズよりも小さい変換サイズで第２逆変換処理が適用される。このような構成によれば、変換ユニットサイズが拡大した場合であっても、逆変換処理に必要な負荷の増大を抑制することができる。
【００７１】
実施形態に係る画像符号化装置１００では、変換ユニットサイズが閾値よりも大きい場合に、変換処理として、変換ユニットサイズよりも小さい変換サイズで第２変換処理が適用される。このような構成によれば、変換ユニットサイズが拡大した場合であっても、変換処理に必要な負荷の増大を抑制することができる。
【００７２】
実施形態では、変換サイズは、変換ユニットサイズの水平画素数又は／及び垂直画素数が変換サイズの水平画素数又は／及び垂直画素数の２のべき乗で表されるように定められてもよい。このような構成によれば、第２変換処理又は第２逆変換処理で用いる基底パターン（変換行列）を、第１変換処理又は第１逆変換処理で用いる基底パターン（変換行列）と共通化することができ、変換処理及び逆変換処理に必要な回路規模の増大を抑制することができる。
【００７３】
［変更例１］
以下において、実施形態の変更例１について説明する。以下においては、実施形態に対する相違点について主として説明する。
【００７４】
変更例１において、画像符号化装置１００は、変換サイズを示すデータ（フラグを含む）を制御データとして符号化する。画像復号装置２００は、符号化データの復号処理によって変換サイズを取得する。このような構成によれば、符号化データの量が増大するものの、変換ユニットサイズと変換サイズとの関係を設定する自由度が増大する。
【００７５】
［変更例２］
以下において、実施形態の変更例２について説明する。以下においては、実施形態に対する相違点について主として説明する。
【００７６】
変更例２において、変換サイズは、変換ユニットサイズと予め対応付けられている。画像復号装置２００は、変換ユニットサイズに基づいて変換サイズを特定する。例えば、変換ユニットサイズが１２８×１２８である場合に、変換サイズは６４×６４（又は、３２×３２）となるように予め定められていてもよい。上述したように、変換サイズは、変換ユニットサイズの水平画素数又は／及び垂直画素数が変換サイズの水平画素数又は／及び垂直画素数の２のべき乗で表されるように予め定められていてもよい。このような構成によれば、変換ユニットサイズと変換サイズとの関係を設定する自由度が減少するものの、符号化データの量の増大を抑制することができる。
【００７７】
［変更例３］
以下において、実施形態の変更例３について説明する。以下においては、実施形態に対する相違点について主として説明する。
【００７８】
変更例３において、変換ユニットサイズが閾値よりも大きい場合において、予め定められた係数レベル位置を有する係数レベル値がゼロと置換される。具体的には、係数レベル値は、図７に示すように、水平方向周波数及び垂直方向周波数によって定義される空間で定義される。このようなケースにおいて、予め定められた係数レベル位置は、水平方向周波数が第１周波数よりも高い位置であってもよく、垂直方向周波数が第２周波数よりも高い位置であってもよく、或いは、水平方向周波数が第１周波数よりも高く、かつ、垂直方向周波数の双方が第２周波数よりも高い位置であってもよい。第１周波数は、第２周波数と同じ値であってもよく、第２周波数と異なる値であってもよい。
【００７９】
すなわち、画像符号化装置１００（符号化部１６０）は、変換ユニットサイズが閾値よりも大きい場合において、すなわち、第２変換処理が適用される場合において、予め定められた係数レベル位置（高周波成分）を有する係数レベル値をゼロとして取得する。同様に、画像復号装置２００（復号部２１０）は、変換ユニットサイズが閾値よりも大きい場合において、すなわち、第２逆変換処理が適用される場合において、予め定められた係数レベル位置（高周波成分）を有する係数レベル値をゼロとして取得する。
【００８０】
ここで、変換ユニットサイズが閾値よりも大きい場合には、変換ユニットに含まれる高周波成分が少ない可能性が高い。従って、変更例３に示す構成では、高周波成分をゼロに置換することによって、逆変換処理に伴う画像復号装置２００の負荷を軽減することができる。
【００８１】
さらに、画像符号化装置１００は、ゼロで取得される係数レベル値の符号化を省略してもよい。このような構成によれば、画像符号化装置１００から画像復号装置２００に符号化データが送信される場合に、符号化データのシグナリング量を低減することができる。
【００８２】
［その他の実施形態］
本発明は上述した実施形態によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
【００８３】
実施形態では、変換・量子化部１４１及び逆変換・逆量子化部１４２とは別に判定部１５０が設けられる。しかしながら、実施形態はこれに限定されるものではない。変換・量子化部１４１は、自ら第１変換処理を適用すべきか、第２変換処理を適用すべきかを判定してもよい。このようなケースにおいて、変換・量子化部１４１は、変換ユニットサイズが閾値以下である場合に、第１変換処理を行う。一方で、変換・量子化部１４１は、変換ユニットサイズが閾値よりも大きい場合に、第２変換処理を行う。同様に、逆変換・逆量子化部１４２は、自ら第１逆変換処理を適用すべきか、第２逆変換処理を適用すべきかを判定してもよい。具体的には、逆変換・逆量子化部１４２は、変換ユニットサイズが閾値以下である場合に、第１逆変換処理を行う。一方で、逆変換・逆量子化部１４２は、変換ユニットサイズが閾値よりも大きい場合に、第２逆変換処理を行う。
【００８４】
実施形態では、逆変換・逆量子化部２２０とは別に判定部２３０が設けられる。しかしながら、実施形態はこれに限定されるものではない。逆変換・逆量子化部２２０は、自ら第１逆変換処理を適用すべきか、第２逆変換処理を適用すべきかを判定してもよい。具体的には、逆変換・逆量子化部２２０は、変換ユニットサイズが閾値以下である場合に、第１逆変換処理を行う。一方で、逆変換・逆量子化部２２０は、変換ユニットサイズが閾値よりも大きい場合に、第２逆変換処理を行う。
【００８５】
実施形態では、画像符号化装置１００（判定部１５０）は、所定条件が満たされていない場合に、第１変換処理を適用すると判定し、所定条件が満たされている場合に、第２変換処理を適用すると判定してもよい。所定条件は、変換ユニットサイズが閾値よりも大きい条件以外の条件を含んでもよい。例えば、所定条件は、特定のイントラ予測モードが適用されているという条件を含んでもよく、変換対象ブロックの動き情報（予測動きベクトルなど）が変換対象ブロックの隣接ブロックの動き情報と同じであるという条件を含んでもよい。
【００８６】
実施形態において、画像復号装置２００（判定部２３０）は、所定条件が満たされていない場合に、第１逆変換処理を適用すると判定し、所定条件が満たされている場合に、第２逆変換処理を適用すると判定してもよい。所定条件は、変換ユニットサイズが閾値よりも大きい条件以外の条件を含んでもよい。例えば、所定条件は、特定のイントラ予測モードが適用されているという条件を含んでもよく、逆変換対象ブロックの動き情報（予測動きベクトルなど）が逆変換対象ブロックの隣接ブロックの動き情報と同じであるという条件を含んでもよい。
【００８７】
実施形態では特に触れていないが、画像符号化装置１００は、第２逆変換処理を適用すべきか否かを示すデータを制御データとして生成してもよい。このようなケースにおいて、画像復号装置２００は、第２逆変換処理を適用すべきか否かを示すデータに基づいて、第２逆変換処理を適用するか否かを判定してもよい。例えば、第２逆変換処理を適用すべきか否かを示すデータは、第２逆変換処理を適用すべきである旨を示す“１”及び第２逆変換処理を適用すべきでない旨を示す“０”を取り得るフラグであってもよい。
【００８８】
実施形態では特にふれていないが、第２変換処理及び第２逆変換処理は、変換ユニットサイズが閾値よりも大きい場合において、色差予測残差信号には適用されず、輝度予測残差信号に適用されてもよい。第２変換処理及び第２逆変換処理は、変換ユニットサイズが閾値よりも大きい場合において、輝度予測残差信号には適用されず、色差予測残差信号に適用されてもよい。第２変換処理及び第２逆変換処理は、変換ユニットサイズが閾値よりも大きい場合において、輝度予測残差信号及び色差予測残差信号の双方に適用されてもよい。
【００８９】
実施形態では特に触れていないが、画像符号化装置１００及び画像復号装置２００が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体であってもよい。
【００９０】
或いは、画像符号化装置１００及び画像復号装置２００が行う各処理を実行するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。
【符号の説明】
【００９１】
１０…画像処理システム、１００…画像符号化装置、１１１…インター予測部、１１２…イントラ予測部、１２１…減算器、１２２…加算器、１３１…縮小処理部、１３２…拡大処理部、１４１…変換・量子化部、１４２…逆変換・逆量子化部、１５０…判定部、１５１…スイッチ、１５２…スイッチ、１６０…符号化部、１７０…インループフィルタ、１８０…フレームバッファ、２００…画像復号装置、２１０…復号部、２２０…逆変換・逆量子化部、２３０…判定部、２３１…スイッチ、２４０…拡大処理部、２５０…加算器、２６１…インター予測部、２６２…イントラ予測部、２７０…インループフィルタ、２８０…フレームバッファ
【図１】
2019176421.tif 000003
【図２】
2019176421.tif 000004
【図３】
2019176421.tif 000005
【図４】
2019176421.tif 000006
【図５】
2019176421.tif 000007
【図６】
2019176421.tif 000008
【図７】
2019176421.tif 000009