(57)【要約】【課題】直交変換後のDC係数のデータ量（振幅）を削減することで符号化データの符号量を削減する。【解決手段】符号化部７の直交変換部１１は、ブロック画像を直交変換して、そのAC係数およびDC係数を出力する。量子化部１２のDC予測部１２１は、AC係数からそのDC係数の予測値であるDC予測値DCPを計算する。ΔDC計算部１２２は、DC係数とその予測値DCPとの差分ΔDCを計算する。DC判別フラグ設定部１２３は、DC係数と差分ΔDCとを比較し、比較結果に応じてDC判別フラグFDCをセットまたはリセットする。仮DC登録部１２４は、DC判別フラグFDCに応じて、DC係数自身または差分ΔDCをDC係数として仮登録する。AC係数、仮DC係数およびDC判別フラグFDCは、エントロピー符号化部１３へ出力されてエントロピー符号化されたのち、符号化データとして出力される。【選択図】図１
2019134284.tif 000002
【特許請求の範囲】
【請求項１】
フレーム画像をブロック単位で符号化する符号化装置において、
フレーム画像の予測残差信号をブロック単位で周波数領域に直交変換して、そのDC係数およびAC係数を取得する手段と、
AC係数からDC係数の予測値DCPを計算する手段と、
DC係数から予測値DCPを減じて差分ΔDCを計算する手段と、
DC係数および差分ΔDCのうち符号量が小さい方を仮DC係数とし、仮DC係数がDC係数および差分ΔDCのいずれであるかを示すDC判別フラグを設定する手段と、
前記AC係数、仮DC係数およびDC判別フラグを符号化する手段とを具備したことを特徴とする符号化装置。
【請求項２】
前記予測値DCPを計算する手段は、ブロック単位でACエネルギに基づいてそのDCエネルギを計算し、当該DCエネルギに基づいて予測値DCPを計算することを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記予測値DCPを計算する手段は、ブロック単位で非ゼロのAC係数の個数に基づいてその予測値DCPを計算することを特徴とする請求項１に記載の符号化装置。
【請求項４】
フレーム画像をブロック単位で復号する復号装置において、
ブロック単位で符号化データを復号して得たAC係数、仮DC係数およびDC判別フラグを取得する手段と、
前記AC係数からDC係数の予測値DCPを計算する手段と、
前記DC判別フラグに基づいて、仮DC係数がDC係数および差分ΔDCのいずれであるかを判別する手段と、
仮DC係数が差分ΔDCであると、当該差分ΔDCおよび前記予測値DCPに基づいてDC係数を復元する手段と、
前記AC係数およびDC係数を逆直交変換して残差信号をブロック単位で再構成する手段とを具備したことを特徴とする復号装置。
【請求項５】
前記予測値DCPを計算する手段は、ブロック単位でACエネルギに基づいてそのDCエネルギを計算し、当該DCエネルギに基づいて予測値DCPを計算することを特徴とする請求項４に記載の復号装置。
【請求項６】
前記予測値DCPを計算する手段は、ブロック単位で非ゼロのAC係数の個数に基づいてその予測値DCPを計算することを特徴とする請求項４に記載の復号装置。
【請求項７】
フレーム画像をブロック単位で符号化する符号化方法において、
フレーム画像の予測残差信号をブロック単位で周波数領域に直交変換して、そのDC係数およびAC係数を取得する手順と、
AC係数からDC係数の予測値DCPを計算する手順と、
DC係数から予測値DCPを減じて差分ΔDCを計算する手順と、
DC係数および差分ΔDCのうち符号量が小さい方を仮DC係数として登録する手順と、
仮DC係数がDC係数および差分ΔDCのいずれであるかを示すDC判別フラグを設定する手順と、
前記AC係数、仮DC係数およびDC判別フラグを符号化する手順とを含むことを特徴とする符号化方法。
【請求項８】
前記予測値DCPを計算する手段は、ブロック単位でACエネルギに基づいてそのDCエネルギを計算し、当該DCエネルギに基づいて予測値DCPを計算することを特徴とする請求項７に記載の符号化方法。
【請求項９】
前記予測値DCPを計算する手段は、ブロック単位で非ゼロのAC係数の個数に基づいてその予測値DCPを計算することを特徴とする請求項７に記載の符号化方法。
【請求項１０】
フレーム画像をブロック単位で復号する復号方法において、
ブロック単位で符号化データを復号して得たAC係数、仮DC係数およびDC判別フラグを取得する手順と、
前記AC係数からDC係数の予測値DCPを計算する手順と、
前記DC判別フラグに基づいて、仮DC係数がDC係数および差分ΔDCのいずれであるかを判別する手順と、
仮DC係数が差分ΔDCであると、当該差分ΔDCおよび前記予測値DCPに基づいてDC係数を復元する手順と、
前記AC係数およびDC係数を逆直交変換して残差信号をブロック単位で再構成する手順とを含むことを特徴とする復号方法。
【請求項１１】
前記予測値DCPを計算する手段は、ブロック単位でACエネルギに基づいてそのDCエネルギを計算し、当該DCエネルギに基づいて予測値DCPを計算することを特徴とする請求項１０に記載の復号方法。
【請求項１２】
前記予測値DCPを計算する手段は、ブロック単位で非ゼロのAC係数の個数に基づいてその予測値DCPを計算することを特徴とする請求項１０に記載の復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の符号化装置および復号装置ならびに符号化方法および復号方法に係り、特に、イントラ予測におけるDC係数の符号量を減じることで符号化データ量を削減できる符号化装置および復号装置ならびに符号化方法および復号方法に関する。
【背景技術】
【０００２】
H.264やH.265などの動画像の符号化ではインター予測と共にイントラ予測（フレーム内予測）が採用される。イントラ予測ではフレーム画像の予測残差信号がDCTに代表される直交変換符号化により周波数領域に変換されて、そのDC係数およびAC係数が抽出され、AC係数のうち人の目に付きにくい高周波成分を切り捨てることで符号量が減ぜられる。一方、DC係数はAC係数に較べて値が大きく、符号量が相対的に大きいので、DC係数の削減による符号量の削減効果は大きい。
【０００３】
非特許文献１には、イントラ予測におけるDC係数の符号量を減じることで符号化データ量を削減する技術が開示されている。非特許文献１では、符号化ブロックの予測残差信号が周波数領域に変換されてDC係数が強制的にゼロにされ、次いで、AC係数が画素領域へ逆変換される。
【０００４】
通常、このようなDC係数の除去は、ブロック境界に沿った不連続性の原因となる。そこで、非特許文献１では画素領域において近傍ブロックで再構築された画素値を参照し、最適化問題を解くことでブロック境界に沿ったオフセット値が推定される。このようにして推定されたオフセット値は周波数領域におけるDC係数と等価である。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Chen C. et al. "DC Coefficient Estimation of Intra-Predicted Residuals in HEVC", IEEE Trans. CSVT., early accessible version, 2017
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１の手法では、DC係数に相当するオフセット値が画素領域で予測されるので、近傍ブロックにおける多くのラインバッファが必要となり、さらにメモリアクセスも増大する。
【０００７】
本発明の目的は、上記の技術課題を解決し、メモリアクセスを抑制可能とするために周波数領域におけるDC係数の予測を可能にする符号化装置および復号装置ならびに符号化方法および復号方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明は、以下の構成を具備した点に特徴がある。
【０００９】
(1) 本発明の符号化装置は、フレーム画像の予測残差信号をブロック単位で周波数領域に直交変換して、そのDC係数およびAC係数を取得する手段と、AC係数からDC係数の予測値DCPを計算する手段と、DC係数から予測値DCPを減じて差分ΔDCを計算する手段と、DC係数および差分ΔDCのうち符号量が小さい方を仮DC係数とし、仮DC係数がDC係数および差分ΔDCのいずれであるかを示すDC判別フラグを設定する手段と、前記AC係数、仮DC係数およびDC判別フラグを符号化して符号化データを生成する手段とを具備した。
【００１０】
(2) 本発明の復号装置は、ブロック単位で符号化データを復号して得たAC係数、仮DC係数およびDC判別フラグを取得する手段と、前記AC係数からDC係数の予測値DCPを計算する手段と、前記DC判別フラグに基づいて、仮DC係数がDC係数および差分ΔDCのいずれであるかを判別する手段と、仮DC係数が差分ΔDCであると、当該差分ΔDCおよび前記予測値DCPに基づいてDC係数を復元する手段と、前記AC係数および前記取得または復元したDC係数を逆直交変換してフレーム画像の残差信号をブロック単位で再構成する手段とを具備した。
【００１１】
(3) 予測値DCPを計算する手段は、ブロック単位でACエネルギに基づいてそのDCエネルギを計算し、当該DCエネルギに基づいて予測値DCPを計算するようにした。
【００１２】
(4) 予測値DCPを計算する手段は、ブロック単位で非ゼロのAC係数の個数に基づいてその予測値DCPを計算するようにした。
【発明の効果】
【００１３】
本発明によれば、以下のような効果が達成される。
【００１４】
(1) DC係数を周波数領域でAC係数に基づいて予測するので、画素領域での予測では必要不可欠な近傍ブロックにおける多くのラインバッファが不要となり、メモリアクセスを減じることができる。
【００１５】
(2) DC係数をAC係数に基づいて予測するので計算手順が単純化され、計算量も少なく抑えられるようになる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る動画像の符号化装置の主要部の構成を示した機能ブロック図である。
【図２】本発明の一実施形態に係る動画像の復号装置の主要部の構成を示した機能ブロック図である。
【図３】本発明を適用した動画像の符号化方法を示したフローチャートである。
【図４】本発明を適用した動画像の復号方法を示したフローチャートである。
【図５】ACエネルギとDCエネルギとの相関を示した図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明を適用した符号化装置の主要部の構成を示したブロック図であり、フレーム画像が所定のn×n画素のブロックに分割されて入力される。なお、動画像を符号化対象とする装置はイントラ予測（フレーム内予測）機能およびインター予測（フレーム間予測）機能を備えるが、これらの予測機能は本発明の説明に不要なので図示を省略している。
【００１８】
CPU１は、符号化部６を含む装置全体を制御する。ROM２には、基本プログラムや各種の基本デバイスが不揮発に記憶されている。RAM３は、CPU１にワークエリアを提供する。入出力部４は、外部装置やオペレータとの間でデータの入出力を管理する。ディスク媒体５には、入力画像や符号化データが記憶される。
【００１９】
前記符号化部７において、直交変換部（DCT）１１は、ブロック画像の予測残差信号を時間領域から周波数領域に変換し、離散コサイン変換結果を示すDCT係数として、そのAC係数およびDC係数を出力する。量子化部１２は、DC予測部１２１、ΔDC計算部１２２およびDC判別フラグ（FDC）設定部１２３および仮DC登録部１２４を含み、DCT係数を別途に与えられる量子化パラメータにしたがって量子化する。
【００２０】
前記DC予測部１２１は、量子化されたDCT係数のAC係数からそのDC係数の予測値である予測値DCPを計算する。ΔDC計算部１２２は、DC係数とその予測値DCPとの差分ΔDCを計算する。DC判別フラグ（FDC）設定部１２３は、DC係数の絶対値abs(DC)と差分ΔDCの絶対値abs(ΔDC)とを比較する。そして、abs(DC)＞abs(ΔDC)であればDC判別フラグFDCをセットし、abs(DC)≦abs(ΔDC)であればDC判別フラグFDCをリセットする。
【００２１】
仮DC登録部１２４は、前記DC判別フラグFDCに応じて、DC係数自身または差分ΔDCをDC係数として仮登録する。本実施形態では、DC判別フラグFDCがセット、すなわちabs(DC)＞abs(ΔDC)であれば差分ΔDCが仮登録され、リセットすなわちabs(DC)≦abs(ΔDC)であればDC係数自身が仮登録される。これ以降、DC判別フラグFDCに応じてDC係数自身または差分ΔDCが選択的に仮登録されているDC係数を「仮DC係数」と表現する。
【００２２】
前記量子化されたAC係数、仮DC係数およびDC判別フラグFDCは、エントロピー符号化部１３へ出力されてエントロピー符号化されたのち、符号化データとして出力される。
【００２３】
図２は、本発明を適用した復号装置の主要部の構成を示したブロック図であり、前記と同一の符号は同一または同等部分を表している。本発明の復号装置７は、前記符号化装置６からAC係数、仮DC係数およびDC判別フラグFDCの符号化データを取得して復号し、復号画像を生成する。
【００２４】
なお、動画像を復号対象とする装置はイントラ予測（フレーム内予測）機能およびインター予測（フレーム間予測）機能を備えるが、これらの予測機能は本発明の説明に不要なので図示を省略している。
【００２５】
復号部７において、エントロピー復号部２３は、前記AC係数、仮DC係数およびDC判別フラグFDCをエントロピー復号する。逆量子化部２２は、別途に与えられる逆量子化パラメータにしたがって、前記AC係数、仮DC係数およびDC判別フラグFDCを逆量子化する。
【００２６】
前記逆量子化部２２において、DC予測部２２１は、AC係数からDC係数の予測値DCPを計算する。DC判別部２２２は、前記DC判別フラグFDCに基づいて、取得した仮DC係数として、DC係数自身および差分ΔDCのいずれが登録されているかを判別する。DC計算部２２３は、仮DC計数として差分ΔDCが登録されていると判別されると、当該仮DC計数（差分ΔDC）を前記DC予測値に加算してDC係数を復元する。逆変換部２１は、前記AC係数およびDC係数を逆直交変換することで残差信号をブロック単位で再構成する。
【００２７】
図３は、前記符号化部６における符号化手順を示したフローチャートであり、ここでは、フレーム画像から抽出した一つの画素ブロックに対する符号化について説明する。
【００２８】
ステップＳ１１では、前記直交変換部１１において、フレーム画像から抽出した画素ブロックの各画素値の予測残差信号がDCTにより時間領域から周波数領域に変換され、そのAC係数およびDC係数が取得される。ステップＳ１２では、前記AC係数およびDC係数を含むDCT係数が前記量子化部１２で量子化される。ステップＳ１３では、量子化部１２のDC予測部１２１において、前記AC係数に基づいてDC係数の予測値DCPが計算される。
【００２９】
ステップＳ１４では、前記ΔDC計算部１２２において、前記DC係数とその予測値DCPとの差分ΔDCが計算される。ステップＳ１５では、前記FDC設定部１２３において、DC係数の絶対値abs(DC)と差分ΔDCの絶対値abs(ΔDC)とが比較され、abs(DC)＞abs(ΔDC)分であればDC判別フラグFDCがセットされ、abs(DC)≦abs(ΔDC)分であればDC判別フラグFDCがリセットされる。
【００３０】
ステップＳ１６では、前記仮DC登録部１２４において、前記DC判別フラグFDCに応じて、DC係数自身または差分ΔDCが仮DC係数として登録される。本実施形態では、DC判別フラグFDCがセットされていれば差分ΔDCが登録され、リセットされていればDC係数自身が登録される。ステップＳ１７では、前記エントロピー符号化部１３において、前記AC係数、仮DC係数およびDC判別フラグFDCがエントロピー符号化されて、符号化データとして出力される。
【００３１】
図４は、前記復号部７における復号手順を示したフローチャートであり、ここでは、一つの画素ブロックの復号について説明する。
【００３２】
ステップＳ２１では、受信した符号化データ（ビットストリーム）からAC係数、仮DC係数およびDC判別フラグFDCの符号化データが抽出され、前記エントロピー復号部２３によりエントロピー復号される。ステップＳ２２では、前記DC予測部２２１において、前記AC係数からDC係数の予測値DCPが計算される。
【００３３】
ステップＳ２３では、前記DC判別部２２２において、抽出したDC判別フラグFDCに基づいて前記仮DC係数がDC係数自身および差分ΔDCのいずれであるかが判別される。ここで、仮DC係数がDC係数自身であれば、当該仮DC係数をDC係数とみなして復号処理が継続される。
【００３４】
これに対して、仮DC係数が差分ΔDCであればステップＳ２４へ進む。ステップＳ２４では、前記DC計算部２２３において、前記予測値DCPに仮DC係数（ΔDC）を加算することでDC係数が復元される。ステップＳ２５では、前記DC係数およびAC係数が逆量子化される。ステップＳ２６では、前記AC係数およびDC係数を逆直交変換することで画素ブロックの残差信号が再構成される。
【００３５】
次いで、前記DC予測部１２１，２２１によるDC係数の予測方法について説明する。本実施形態では、画素ブロックごとにACエネルギとDCエネルギとの間に、図５に一例を示した相関関係に基づいて区分線形モデルを仮定する。そして、この仮定に基づいて初めにAC係数を集計し、次いで、ACエネルギEACを算出する。本実施形態では、DCエネルギをEDCとして次式(1)の区分線形モデルを定義する。
【００３６】
【数１】
2019134284.tif 000003
【００３７】
ここで、a，b，cはモデルにおけるパラメータである。p，q，rはモデルにおいて連続性を担保するためのオフセット値である。th1，th2，th3，th4は予備実験により得られた閾値である。本実施形態では、ACエネルギEACを上式に適用することでDCエネルギEDCを決定し、これに次式(2)に適用することで予測値DCPを計算する。
DCP＝√EDC  …(2)
【００３８】
なお、a，b，cの設定いかんで連続性を担保できるならば、上式(1)に代えて次式(3)を採用しても良い。
【００３９】
【数２】
2019134284.tif 000004
【００４０】
さらに、上式(1)，(2)，(3)に代えて、ACエネルギEACとDCエネルギEDCとの関係を、次式(4)のように係数αを用いて複数線形モデルとして定義し、係数αを非ゼロのAC係数の個数Nの関数として、例えばルックアップテーブルから適宜に取得するようにしても良い。この場合、非ゼロのAC係数の個数Nが多いほど係数αの値が大きくなるように、α，Ｎの関係を定義しておくことが望ましい。
EDC＝αEAC  …(4)
【００４１】
本実施形態によれば、DC係数を周波数領域でAC係数に基づいて予測するので、画素領域での予測では必要不可欠な近傍ブロックにおける多くのラインバッファが不要となり、メモリアクセスを減じることができる。
【００４２】
また、本実施形態によれば、DC係数をAC係数に基づいて予測するので計算手順が単純化され、計算量も少なく抑えられるようになる。
【符号の説明】
【００４３】
６…符号化装置，７…符号化部，１１…直交変換部，１２…量子化部，１３…エントロピー符号化部，２１…逆変換部，２２…逆量子化部，２３…エントロピー復号部，１２１…DC予測部，１２２…ΔDC計算部，１２３…DC判別フラグ設定部，１２４…仮DC登録部，２２１…DC予測部，２２２…DC判別部，２２３…DC計算部
【図１】
2019134284.tif 000005
【図２】
2019134284.tif 000006
【図３】
2019134284.tif 000007
【図４】
2019134284.tif 000008
【図５】
2019134284.tif 000009