(57)【要約】【課題】符号化効率が高く計算負荷の低い符号化装置を提供する。【解決手段】分割部11は入力映像を横及び縦の各空間方向と時間方向とに沿った所定サイズの三次元ブロックに分割する。最適平面決定部12は三次元ブロックの各方向の相関係数を求め、最大相関となる平面を決定する。予測モード決定部13は三次元ブロックに対して最大相関となる平面に基づいた予測モードを決定する。三次元ブロックに対しては、決定された予測モードが適用されて予測値を求められ、予測値と三次元ブロックの画素値との差分が変換・量子化されて符号化される。【選択図】図６
2016063513.tif 000002
【特許請求の範囲】
【請求項１】
入力映像を横及び縦の各空間方向と時間方向とに沿った所定サイズの三次元ブロックに分割する分割部と、
前記三次元ブロックの各方向の相関係数を求め、最大相関となる平面を決定する最適平面決定部と、
前記三次元ブロックに対して前記最大相関となる平面に基づいた予測モードを決定する予測モード決定部と、を備え、
前記三次元ブロックに対して前記決定された予測モードを適用して予測値を求め、当該予測値と当該三次元ブロックの画素値との差分を変換・量子化して符号化することを特徴とする符号化装置。
【請求項２】
前記予測モード決定部は、前記求めた各方向の相関係数同士の差のうち所定基準で大きいと判定されるものがある場合に、最大相関となる方向に沿った一次元予測モードを前記予測モードとして決定することを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記予測モード決定部は、前記求めた各方向の相関係数同士の差が全て所定基準で小さいと判定される場合に、最大相関となる平面における二次元予測モードを前記予測モードとして決定することを特徴とする請求項１または２に記載の符号化装置。
【請求項４】
前記予測モード決定部は、前記求めた各方向の相関係数同士の差のうちの最大値が所定基準で小さいと判定される場合に、近傍の符号化済み三次元ブロックに基づいて予測する三次元予測モードを前記予測モードとして決定することを特徴とする請求項１ないし３のいずれかに記載の符号化装置。
【請求項５】
前記三次元予測モードの一種に、当該符号化対象の三次元ブロックの最適平面と垂直方向にある隣接符号化済み三次元ブロックにおいて最適平面が共通であり、且つ当該両ブロックにおける当該垂直方向の相関係数が共に所定基準で大きいと判定される場合に、当該隣接符号化済み三次元ブロックの全体を予測値とするスキップモードが含まれることを特徴とする請求項４に記載の符号化装置。
【請求項６】
前記三次元予測モードの一種に、所定近傍の符号化済み三次元ブロック内の所定方向の平面から当該符号化対象の三次元ブロックを予測する平面モードが含まれることを特徴とする請求項４または５に記載の符号化装置。
【請求項７】
前記三次元予測モードの一種に、当該符号化対象の三次元ブロック内の各々の画素の予測値を、最小距離にある符号化済み画素によって生成する最小距離モードが含まれることを特徴とする請求項４ないし６のいずれかに記載の符号化装置。
【請求項８】
前記三次元予測モードの一種に、当該符号化対象の三次元ブロックの表面に配置された画素のうち符号化済み画素が隣接しているものの予測値を当該隣接画素によって生成し、当該予測値が生成されなかった画素の予測値を、当該予測値が生成された画素のうち最小距離にある画素の当該予測値によって定める隣接モードが含まれることを特徴とする請求項４ないし７のいずれかに記載の符号化装置。
【請求項９】
請求項１ないし８のいずれかに記載の符号化装置により符号化された符号化ストリームを復号することで、三次元ブロックごとの予測モードの情報を抽出するモード情報抽出部と、
前記符号化ストリームを復号して得られる前記変換・量子化された差分に逆変換・逆量子化を施して三次元ブロックごとの差分を得る逆変換・逆量子化部と、
前記抽出された予測モードの情報に基づいて三次元ブロックごとの予測値を生成する予測値生成部と、
前記生成された予測値と前記得られた差分とを加算することで三次元ブロックを再構成する再構成部と、を備えることを特徴とする復号装置。
【請求項１０】
入力映像を横及び縦の各空間方向と時間方向とに沿った所定サイズの三次元ブロックに分割する分割段階と、
前記三次元ブロックの各方向の相関係数を求め、最大相関となる平面を決定する最適平面決定段階と、
前記三次元ブロックに対して前記最大相関となる平面に基づいた予測モードを決定する予測モード決定段階と、を備え、
前記三次元ブロックに対して前記決定された予測モードを適用して予測値を求め、当該予測値と当該三次元ブロックの画素値との差分を変換・量子化して符号化することを特徴とする符号化方法。
【請求項１１】
請求項１０に記載の符号化方法により符号化された符号化ストリームを復号することで、三次元ブロックごとの予測モードの情報を抽出するモード情報抽出段階と、
前記符号化ストリームを復号して得られる前記変換・量子化された差分に逆変換・逆量子化を施して三次元ブロックごとの差分を得る逆変換・逆量子化段階と、
前記抽出された予測モードの情報に基づいて三次元ブロックごとの予測値を生成する予測値生成段階と、
前記生成された予測値と前記得られた差分とを加算することで三次元ブロックを再構成する再構成段階と、を備えることを特徴とする復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の入力シーケンスを３次元ブロックに分割し、ブロック毎に相関を考慮した適切な予測を適用することで符号化効率を向上することのできる、符号化装置及び復号装置並びに方法に関する。
【背景技術】
【０００２】
H.264やH.265に代表される映像符号化では、映像信号についてフレーム（X方向-Y方向）内の冗長性を削減するためにイントラ符号化が行われ、時間方向(T方向)の冗長性を削減するためにインター符号化が行われる。
【０００３】
これに対して、非特許文献１では、予測性能を向上するために、映像のシーケンス全体又は当該シーケンスをダウンサンプリングしたものを対象として、X-Y、X-T、T-Yの3種類の平面から相関性が高い平面を選択し、当該相関性の高い平面内でイントラ符号化するアプローチを提案している。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Anmin Liu, Weisi Lin, Manoranjan Paul, Fan Zhang, and Chenwei Deng, "Optimal Compression Plane for Efficient Video Coding," IEEE Trans. on IMAGE PROCESSING, VOL. 20, NO. 10, OCTOBER 2011
【非特許文献２】Changcai Lai, Jie Jiang and Philipp Zhang, "ONE DIMENSIONAL PREDICTION AND TRANSFORM FOR INTRA CODING", 2011 18th IEEE International Conference on Image Processing, pp.3485-3488, Brussels, Belgium, Sep 2011.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、非特許文献１では、従来の映像符号化における次のような制約を解除することで、予測性能の向上を目指している。すなわち、イントラ予測はフレーム内方向(X方向-Y方向)のみに限定して適用され、インター符号化はフレーム間方向(T方向)のみに限定して適用されるという制約である。
【０００６】
当該制約のため、従来の映像符号化では、特性の異なるテクスチャやエッジがある場合、つまり当該符号化単位（CTU）において空間相関性が低い場合、予測性能が低下するという問題がある。当該問題に対して非特許文献１では、当該制約を解除することで、非X-Y平面（通常のフレーム平面以外の方向の平面）すなわちX-T平面あるいはY-T平面においてイントラ符号化方式を提案している。具体的には以下の通りである。
【０００７】
図１及び図２はそれぞれ、非特許文献１の提案する符号化装置及び復号装置の概略的な機能ブロック図である。図示するようにそれぞれ、従来符号化装置100及び従来復号装置200と称することとする。
【０００８】
図１に示すように、従来符号化装置100は次のように機能する。まず、PPUサイズ決定部101では、予備処理単位(pre-processing unit；以下、PPUとする)のサイズを決める。当該サイズを決定されるPPUとは、符号化対象となる入力シーケンスの最適な平面を決めるために、各平面の相関係数を計算するための、必要なフレーム数のセットである。従って、PPU毎に最適な平面を決定したうえで、従来符号化装置100は符号化を実施することとなる。
【０００９】
次いで、最適圧縮平面決定部102では、PPUに対して、各平面の相関係数（または各方向の相関係数）を計算し、より高い平面（またはより高い2つの方向で構成された平面）を決める。
【００１０】
XT平面配列部103、XY平面配列部104及びYT平面配列部105ではそれぞれ、入力シーケンスを最適な平面を符号化フレームとなるように再配列する。ここで、各部103〜105のうち、最適圧縮平面決定部102によって相関が高いと決定された平面を扱うものが、再配列を実際に行う。図３は、当該再配列を模式的に示す図である。すなわち、[1]に示すのがX,Y,T方向を有するPPUであり、当該PPUを再配列した結果が[2]〜[4]に模式的に示されている。
【００１１】
[2]はXT平面配列部103による再配列の結果を示している。すなわち、[2]ではXT平面を符号化フレームとし、Y方向をY=y1, y2, y3, …のように通常の符号化方式における時間方向とみなしたシーケンスが得られている。[3]はXY平面配列部104による再配列の結果を示している。すなわち、[3]ではXY平面を符号化フレームとし、T方向をT=t1, t2, t3, …のように通常の符号化方式における時間方向とみなしたシーケンスが得られている。[4]はYT平面配列部104による再配列の結果を示している。すなわち、[4]ではYT平面を符号化フレームとし、X方向をX=x1, x2, x3, …のように通常の符号化方式における時間方向とみなしたシーケンスが得られている。
【００１２】
すなわち、[3]のXY平面配列部104による再配列は、通常の形式のシーケンスであり、XY平面配列部104では入力シーケンスをそのまま扱えばよく、追加処理として「再配列」を行う必要はない。図２では[2]及び[4]との比較のため、[3]を示している。
【００１３】
図１に戻り通常符号化部106では、以上の各部103〜105のいずれかにより再配列されたシーケンスを入力信号として、一般的な符号化方法で符号化する。すなわち、H.264やH.265に代表される国際標準方式に採用されている手法により、イントラ予測やインター予測によって予測残差を得たうえで直交変換及び量子化を行って符号化する。また、当該符号化の際に併せて、PPU毎にXY,XT,YTのうちいずれの平面が最適な平面として決定されたかの情報も符号化する。
【００１４】
一方、図２に示すように、従来復号装置200は次のように機能する。通常復号部206では、図１の従来符号化装置100にて得られたビットストリームに対して通常の復号方法（図１の通常符号化部106の符号化方法に対応する復号方法）でデコードし、最適な平面における復号シーケンスを得る。また、当該デコードの際に併せて、符号化の際にPPU毎に最適な平面がXY,XT,YTのうちいずれとして決定されたかの情報も得られる。
【００１５】
XT-XY再配列部203及びYT-XY再配列部205では、最適な平面がXY平面ではなくXT平面又はYT平面である場合にそれぞれ、XY平面へと再配列する処理を実施し、当初の入力シーケンスに対応する内容の映像を出力映像として得る。すなわち、図１にてXT平面配列部103又はYT平面配列部105が適用されたPPUについてはそれぞれ、その逆処理として、図２にてXT-XY再配列部203又はYT-XY再配列部205がXY平面への再配列を実施する。また、図１にてXY平面配列部104が適用されたPPUについては、図３の復号側における再配列は省略され、そのまま出力映像が得られる。
【００１６】
しかしながら、以上の図１〜図３にて概要を説明した非特許文献１の手法には、以下の（問題点１）〜（問題点３）のような課題が存在する。
【００１７】
（問題点１）XT平面又はYT平面で符号化する場合、それぞれY方向、X方向のインター符号化も可能であるが、信号特徴に対する適応性が乏しいために、結果的にイントラ符号化が多用され、同方式による符号化性能改善は極めて限定的である。
【００１８】
（問題点２）最適圧縮平面決定部102の実装コストが高い。すなわち、レートを落として計算することも可能であるが、PPU毎に各平面の相関性を計算する際に、少なくとも全てのフレーム数の1/8のフレームを計算対象としてメモリに保存する必要がある。（これより少なくなると、最適な平面の選択を誤る場合が多くなる。）高解像度映像を対象とする場合には、必要なメモリ容量がさらに増大してしまう。
【００１９】
（問題点３）上記と同じくPPUを処理単位として扱うことから、低遅延で符号化する事は不可能であり、処理コストが高い。従って、即時処理が必要となるインタラクティブ・アプリケーション(interactive application)等に利用することができない。
【００２０】
以上のような従来技術の課題に鑑み、本発明は符号化効率が高く処理負荷の低い符号化装置及び復号装置並びに方法を提供することを目的とする。
【課題を解決するための手段】
【００２１】
上記目的を達成するため、本発明は符号化装置であって、入力映像を横及び縦の各空間方向と時間方向とに沿った所定サイズの三次元ブロックに分割する分割部と、前記三次元ブロックの各方向の相関係数を求め、最大相関となる平面を決定する最適平面決定部と、前記三次元ブロックに対して前記最大相関となる平面に基づいた予測モードを決定する予測モード決定部と、を備え、前記三次元ブロックに対して前記決定された予測モードを適用して予測値を求め、当該予測値と当該三次元ブロックの画素値との差分を変換・量子化して符号化することを特徴とする。
【００２２】
また、本発明は復号装置であって、前記符号化装置により符号化された符号化ストリームを復号することで、三次元ブロックごとの予測モードの情報を抽出するモード情報抽出部と、前記符号化ストリームを復号して得られる前記変換・量子化された差分に逆変換・逆量子化を施して三次元ブロックごとの差分を得る逆変換・逆量子化部と、前記抽出された予測モードの情報に基づいて三次元ブロックごとの予測値を生成する予測値生成部と、前記生成された予測値と前記得られた差分とを加算することで三次元ブロックを再構成する再構成部と、を備えることを特徴とする。
【００２３】
また、本発明は符号化方法であって、入力映像を横及び縦の各空間方向と時間方向とに沿った所定サイズの三次元ブロックに分割する分割段階と、前記三次元ブロックの各方向の相関係数を求め、最大相関となる平面を決定する最適平面決定段階と、前記三次元ブロックに対して前記最大相関となる平面に基づいた予測モードを決定する予測モード決定段階と、を備え、前記三次元ブロックに対して前記決定された予測モードを適用して予測値を求め、当該予測値と当該三次元ブロックの画素値との差分を変換・量子化して符号化することを特徴とする。
【００２４】
さらに、本発明は復号方法であって、前記符号化方法により符号化された符号化ストリームを復号することで、三次元ブロックごとの予測モードの情報を抽出するモード情報抽出段階と、前記符号化ストリームを復号して得られる前記変換・量子化された差分に逆変換・逆量子化を施して三次元ブロックごとの差分を得る逆変換・逆量子化段階と、前記抽出された予測モードの情報に基づいて三次元ブロックごとの予測値を生成する予測値生成段階と、前記生成された予測値と前記得られた差分とを加算することで三次元ブロックを再構成する再構成段階と、を備えることを特徴とする。
【発明の効果】
【００２５】
本発明によれば、入力映像を横及び縦の各空間方向と時間方向とに沿った所定サイズの三次元ブロックに分割し、当該ブロックを単位として処理を行うので、計算負荷を低減することができる。また、当該ブロック毎に最大相関となる平面を決定し、当該平面に基づいた予測モードを適用するので、符号化効率を向上させることができる。
【図面の簡単な説明】
【００２６】
【図１】非特許文献１の提案する符号化装置の概略的な機能ブロック図である。
【図２】非特許文献１の提案する復号装置の概略的な機能ブロック図である。
【図３】最適な平面への再配列を模式的に示す図である。
【図４】一実施形態に係る符号化装置の機能ブロック図である。
【図５】一実施形態に係る復号装置の機能ブロック図である。
【図６】予測手段をさらに拡充させた一実施形態に係る符号化装置の機能ブロック図である。
【図７】予測手段をさらに拡充させた一実施形態に係る復号装置の機能ブロック図である。
【図８】CTUを模式的に示す図である。
【図９】入力シーケンス全体における各CTUの３次元配置の構造を模式的に示す図である。
【図１０】非特許文献２の開示する一次元予測を模式的に示す図である。
【図１１】一次元モード部がCTUを対象として一次元予測を適用する例を、図１０の例に対応する例によって模式的に示す図である。
【図１２】三次元予測の一種であるXT平面モードを説明するための図である。
【図１３】三次元予測の一種であるYT平面モードを説明するための図である。
【図１４】三次元予測の一種であるXY平面モードを説明するための図である。
【図１５】各CTUを符号化・復号する所定の順番の一例を示すフローチャートである。
【図１６】最適平面におけるイントラ予測及びインター予測を説明するための例を示す図である。
【図１７】三次元予測の一種である斜め面モードにおける斜め面を説明するための図である。
【発明を実施するための形態】
【００２７】
図４は、一実施形態に係る符号化装置10の機能ブロック図である。符号化装置10は、分割部11、最適平面決定部12、予測モード決定部13、一次元モード部21、二次元モード部22、イントラ予測部24、インター予測部25、差分器26,27,28、一次元変換・量子化部31、二次元変換・量子化部32、符号化部41、逆変換・逆量子化部42、加算器43、デブロッキングフィルタ44、ローカルメモリ45及びスイッチS1,S2,S3を備える。
【００２８】
図５は、一実施形態に係る復号装置50の機能ブロック図である。図５の復号装置50は図４の符号化装置10に対応するものであり、符号化装置10によって得られた符号化ストリームを復号して映像を出力する。復号装置50は、モード情報抽出部51、復号部52、一次元逆変換・逆量子化部61、二次元逆変換・逆量子化部62、一次元再構成部65、インター再構成部66、イントラ再構成部67、再配列部71、メモリ72、予測値生成部73及びスイッチS5,S6,S7を備える。
【００２９】
以下、図４及び図５の各部を説明する。なお、説明の流れとして、図４の符号化装置10（エンコーダ側）の各部を説明しつつ、対応している図５の復号装置50（デコーダ側）の各部を説明する。
【００３０】
分割部11は、入力シーケンス（入力映像）のNフレームを所定のBW×BH×Nサイズの３次元CTU（Coding Tree Unit；符号化単位ブロック）に分割し、当該CTUを逐次、予測モード決定部13及び最適平面決定部12へと送る。当該CTUはまた、後述する予測モード等に従う形で切り替えられるスイッチS3を介して、差分器26、27又は28のいずれかへと送られる。
【００３１】
図８は、当該分割されて得られるCTUを模式的に示す図である。まず、[1]は時間軸方向においてNフレーム毎の区切りを明示して描いた入力映像を示している。当該示すように、各時刻について切り出したフレームは横（幅方向）×縦（高さ方向）のサイズ（すなわち映像画面のサイズ）がW×Hとなっている。
【００３２】
そして、当該[1]の各W×H×Nサイズのシーケンスを分割してCTUとした例が[2]に示されている。[2]では、CTUの横サイズBWが画面全体の幅Wに対して「W=4×BW」の関係（4分割した関係）にあり、縦サイズBHが画面全体の高さHに対して「H=3×BH」の関係（3分割した関係）にある例が示されているが、その他にも所定の整数で画面全体「W×H」の幅・高さをそれぞれ分割してCTUを得ることができる。
【００３３】
なお、従来技術に係る非特許文献１におけるPPUは、図８におけるサイズ「W×H×N」のブロックに相当する。当該従来技術に対し、本願発明ではさらに画面全体「W×H」もブロック分割してより細かい単位として３次元CTUを得たうえで、CTU毎に種々の予測を適用して符号化を行う。従って、従来技術においてはPPU全体で予測手法が固定されることにより符号化効率が制限されてしまっていたのに対して、本願発明においてはCTU毎に予測手法を適応的に切り替え可能であり、符号化効率を向上させることができる。
【００３４】
また、詳細は後述するが、本願発明においては各CTUに対し、入力シーケンス全体における３次元配置を考慮した種々の予測を適用することで、符号化効率の向上を図る。図９に、当該CTUの３次元配置の構造を模式的に示す。図示するように、CTUの入力シーケンス全体に対する３次元的な位置を、入力シーケンスのX, Y, T方向（画面内横方向X、画面内縦方向Y、フレーム時間軸方向T）にそれぞれ整数i, j, kで位置を指定される格子点を取ることで、(i, j, k)のように指定することができる。従って、当該３次元位置にあるCTUを図示するようにCTU(i, j, k)として参照する。
【００３５】
図９に示すように、CTU(i, j, k)から見ると、CTU(i-1, j, k)は-X方向にある隣接CTUであり、CTU(i, j+1, k)は+Y方向にある隣接CTUであり、CTU(i, j, k-1)は-T方向にある隣接CTUである。なお、以降の各説明においては、当該記法を適宜用いることとする。
【００３６】
当該CTUを符号化及び復号の処理単位として、符号化装置10及び復号装置50の全体的な動作は次の通りである。
【００３７】
すなわち、符号化装置10においては、当該分割されたCTUを所定の順番でそれぞれ、予測を適用して残差を求め、当該残差を変換・量子化したものと適用された予測情報等とを符号化部41において符号化すると共に、以降の処理対象となるCTUに予測を適用するためのレファレンスとして、符号化済みCTUを再構成してローカルメモリ45に保持しておく。
【００３８】
ここで、予測は一次元モード部21又は二次元モード部22により実施され、対応する変換・量子化はそれぞれ一次元変換・量子化部31又は二次元変換・量子化部32において実施される。二次元モード部22が適用される場合はさらに、イントラ予測部24又はインター予測部25のいずれかが選択される。再構成の処理は逆変換・逆量子化部42、加算器43及びデブロッキングフィルタ44を介して実施される。
【００３９】
また、復号装置50においては、モード情報抽出部51において各CTUに適用された予測情報その他の復号処理のための制御情報を抽出することで、符号化装置10の符号化処理に一対一で対応する形で、所定の順番によりCTU毎に復号が実施される。
【００４０】
なお、CTU(i, j, k)を符号化装置10及び復号装置50がそれぞれ符号化及び復号する所定の順番は、例えば図１５のフローチャートに示すような順番とすることができる。当該図１５のフローは、全体的な流れとして時間ステップkに関して順方向にk=1, 2, 3, …で符号化・復号を実施し、各時間kにおける空間方向(i, j)の符号化・復号の順番はラスタースキャン順とするものであるが、その他の所定の順番を採用してもよい。
【００４１】
図１５の各ステップは次の通りである。なお、入力シーケンス全体のCTU(i, j, k)は、1≦i≦N , 1≦j≦M, 1≦k≦Kの範囲（N, M ,Kは入力シーケンス全体のサイズによって定まる所定の整数）にあるものとする。フロー開始時点では、初期値としてi=j=k=1と設定する。
【００４２】
ステップS10では当該CTU(i, j, k)を符号化・復号してステップS11へ進む。ステップS11ではiの値がNに到達したか否かが判定され、到達していればステップS13へ進み、到達していなければステップS12へ進む。ステップS12ではiの値を1だけ増分してから、ステップS10に戻る。ステップS13ではiの値をNから初期値の1へと再設定したうえで、ステップS21に進む。
【００４３】
ステップS21ではjの値がMに到達したか否かが判定され、到達していればステップS23へ進み、到達していなければステップS22へ進む。ステップS22ではjの値を1だけ増分してから、ステップS10に戻る。ステップS23ではjの値をMから初期値の1へと再設定したうえで、ステップS31に進む。
【００４４】
ステップS31ではkの値がKに到達したか否かが判定され、到達していれば入力シーケンスの全体が符号化済みあるいは対応する符号化ストリームの全体が復号済みであって当該図１５のフローは終了する。到達していなければステップS32へ進む。ステップS32ではkの値を1だけ増分してから、ステップS10に戻る。
【００４５】
ここで、図４の符号化装置10及び図５の復号装置50の各部の説明に戻る。
【００４６】
最適平面決定部12では、処理対象となる３次元CTUの各々につき、X,Y,Tの各方向における相関係数CX, CY, CTをそれぞれ求めると共に、当該相関係数が高い側にある２つの方向が定める平面を当該CTUに対する最適な平面であるとして決定する。例えば、あるCTUについて求めた相関係数の大小関係がCX>CY>CTであったとすると、当該CTUの最適な平面はXY平面であるものとして決定される。
【００４７】
ここで、相関係数の算出に関しては、非特許文献１においてPPUを対象として各方向の相関係数を算出している手法と同様の手法をCTUに対して適用することで算出すればよい。例えば、X方向の相関係数CXについては、当該CTU（サイズBW×BH×N）を各々がサイズBH×Nであり合計でBW枚存在するYT平面の各「画像」に分割し、当該X方向で隣接している画像間の相関係数の平均として求めればよい。また、一般の映像を対象としたその他の相関係数の算出手法を（X方向を一般の映像における時間方向とみなして）相関係数CXを算出するのに利用してもよい。なお、Y方向の相関係数CYとT方向の相関係数CTについても、以上の相関係数CXの算出手法における文字X,Y,Zをサイクリックに置き換えて全く同様に求めることができる。
【００４８】
最適平面決定部12で求め決定した各情報（各方向の相関係数及び最適平面の情報）は予測モード決定部13に送られると共に、後述の一次元モード部21又は二次元モード部22で実際に予測を行う際にも利用される。
【００４９】
予測モード決定部13では、処理対象となる３次元CTUの各々につきその特徴に基づき、当該CTUに対して一次元予測モード（一次元モード部21）又は二次元予測モード（二次元モード部22）のいずれの予測を適用するかを決定する。図４において「(S1, S2, S3へ)」と記載されているように、当該決定された予測モードによって当該CTUに対する予測適用、変換・量子化、符号化、また、逆変換・逆量子化及び再構成が実施されるように、スイッチS1,S2,S3が切り替えられ、信号の流れが制御される。
【００５０】
予測モード決定部13にて当該決定された予測モードの情報はまた、図４においてそのデータ授受の流れは描くのを省略しているが、前述の最適平面決定部12で求め決定した各情報（各方向の相関係数及び最適平面の情報）と共に符号化部41に送られて符号化され、復号装置50のモード情報抽出部51において抽出される。こうして、復号装置50の側においても、抽出された予測モード等の情報に従う形でスイッチS5,S6,S7が切り替えられることにより、符号化装置10側の処理に対応した復号処理が実施される。
【００５１】
予測モード決定部13は具体的には、次のようにして一次元又は二次元予測モードのいずれを適用するかを決定する。すなわち、以下の式(1A),(1B),(1C)が全て成立する場合は、二次元予測を適用し、それ以外の場合には一次元予測を適用する。
【００５２】
【数１】
2016063513.tif 000003
【００５３】
ここで、係数CX, CY, CTは前述のように最適平面決定部12において求めた各方向X,Y,Tにおける相関係数であり、THは判定のための所定の閾値である。すなわち、X,Y,Tから選んだ全ての2方向の組み合わせにおいて、当該2方向の相関係数の差が全て閾値THよりも小さければ、二次元予測を適用する。それ以外の場合は、一次元予測を適用する。
【００５４】
二次元モード部22では、当該CTUに対して予測モード決定部13が二次元予測モードで予測する旨を決定した場合に、最適平面決定部12が求めた最適な平面において、H.264やH.265等における一般的な予測方法で予測する。ここで、イントラ予測を行う場合にはイントラ予測部24に対して指示を与えることでイントラ予測を行い、インター予測を行う場合にはインター予測部25に対して指示を与えることでインター予測を行う。
【００５５】
イントラ予測部24が利用された場合、適用されたイントラ予測の予測モードの情報が（図４に不図示のデータ授受の流れにより）符号化部41において符号化されると共に、求められた予測値が差分器28へと送られ、（スイッチS3を介して送られた）符号化対象の信号値との差分が予測残差として二次元変換・量子化部32に送られる。
【００５６】
インター予測部25が利用された場合、算出された動きベクトルの情報が（図４に不図示のデータ授受の流れにより）符号化部41において符号化されると共に、動きベクトルの参照箇所の画素値が予測値として差分器27へと送られ、（スイッチS3を介して送られた）符号化対象の信号値との差分が予測残差として二次元変換・量子化部32に送られる。
【００５７】
図１６は、最適平面におけるインター予測及びイントラ予測を説明するための例を示す図である。
【００５８】
イントラ予測の場合、当該対象としているCTUにおいてそれぞれ最適と決定された平面においてイントラ予測を行う。例えば、図１６の[1]に示すように、白色で描いてある当該符号化対象であるCTU(i, j, k)はYT平面が最適であったとすると、予測値を与える符号化済みの画素は-Y方向の隣接CTU(i, j-1, k)や、-T方向の隣接CTU(i, j, k-1)や、それらの「交点」に該当する近接CTU(i, j-1, k-1)等（それぞれ灰色で描いてある）におけるYT平面において与えられることとなる。そして、これら参照元となっている各CTUでは、必ずしもYT平面が最適な平面である必要はなく、イントラ予測が適用されている必要もない。
【００５９】
本発明の一実施形態においては、仮にイントラ予測ばかりが適用されたとしても、上記のようにCTU毎に最適平面が適応的に切り替えられることで、符号化効率の向上を図ることができる。そして、実際にはさらに次に述べるインター予測や、後述する一次元予測モードも選択候補として用意されているため、符号化効率の向上を図ることができる。
【００６０】
インター予測の場合も、当該対象としているCTUにおいてそれぞれ最適と決定された平面においてインター予測を行う。例えば、図１６の[2]に示すように、白色で描いてある当該符号化対象であるCTU(i, j, k)はYT平面が最適であったとすると、X方向を通常のインター予測における「時間方向」をみなすこととなるので、符号化済みで当該CTU(i, j, k)から見て-X方向にあるCTU(i-1, j, k)その他といったような一連のCTU（それぞれ灰色で描いてあるCTU(i-Δi, j-Δj, k-Δk)(図示する例ではΔi=1, 2, Δj=0, 1, Δk=0, 1, 2)）等が、YT平面における動きベクトルの参照領域の探索対象となる。
【００６１】
イントラ予測の際の説明と同様、インター予測においても動きベクトルの探索対象領域の各々のCTUは必ずしもインター予測を適用されている必要はなく、それぞれに適した手法で符号化されているので、本願発明においては符号化効率の向上を図ることができる。
【００６２】
なお、当該CTUに関して二次元予測モードで予測されることが決定された後、最適平面における複数の画像につき実際に符号化対象となる予測情報及び残差を算出するに際して、イントラ予測のいずれの予測モードが実際に適用されるか、あるいはインター予測でどのような動きベクトルを算出するか、を決定する必要がある。当該決定に関しては、当該CTUを各手法で符号化（試行として符号化）して、発生符号量と歪量との重み和から算出される符号化コストを最小化するような手法によって決定すればよい。
【００６３】
当該CTUを実際に符号化した手法の情報（CTU内の各画像に対するイントラ予測の予測モードの情報、あるいはインター予測における動きベクトルの情報）は、前述のように図４に不図示のデータ授受の流れにより符号化部41に渡されて符号化されることで、モード情報抽出部51において抽出され、復号装置50においても対応する予測手法により復号が実施される。
【００６４】
すなわち、当該CTUに対してイントラ予測が適用された場合、その予測モードの情報を復号部52より受け取った予測値生成部73は、メモリ72に保存された復号済みCTUより予測モードの情報に従って当該CTUのイントラ予測値を求め、スイッチS7を介してイントラ再構成部67へと送る。イントラ再構成部67では、（スイッチS6を介して）二次元逆変換・逆量子化部62から送られる復号されたイントラ予測残差と、（スイッチS7を介して）予測値生成部73より当該送られたイントラ予測値とを加算することで、当該CTUを復号して再配列部71に送る。
【００６５】
同様に、当該CTUに対してインター予測が適用された場合、その動きベクトルの情報を復号部52より受け取った予測値生成部73は、メモリ72に保存された復号済みCTUより動きベクトルの情報に従って当該CTUの参照する領域を求め、当該領域の値を動き補償された予測値（インター予測値）としてスイッチS7を介してインター再構成部66へと送る。インター再構成部66では、（スイッチS6を介して）二次元逆変換・逆量子化部62から送られる復号されたインター予測残差と、（スイッチS7を介して）予測値生成部73より当該送られたインター予測値とを加算することで、当該CTUを復号して再配列部71に送る。
【００６６】
なお、以上ではイントラ予測及びインター予測における復号処理をCTU全体に関して説明したが、二次元予測が適用される場合に各CTUにはイントラ予測あるいはインター予測のいずれかが適用され、イントラ予測情報（予測モード情報）及びインター予測情報（動きベクトル情報）はCTU内の最適平面に沿った画像毎に求まっているので、実際には各CTUの復号の際には当該画像毎に復号を実施することとなる。
【００６７】
一次元モード部21では、当該CTUに対して予測モード決定部13が一次元予測モードで予測する旨を決定した場合に、最適平面決定部12が求めた最適な平面において、前掲の非特許文献２が開示する一次元予測を用いて各行（あるいは各列）の画素値を一次元予測値として予測する。
【００６８】
当該得られた一次元予測値は差分器26へと送られ、（スイッチS3を介して送られた）符号化対象の信号値との差分が予測残差（一次元予測残差）として一次元変換・量子化部31に送られる。
【００６９】
図１０は、非特許文献２に開示され一次元モード部21において実施される一次元予測を模式的に示す図である。図１０では例として、符号化対象の例として白色で示すサイズ4×4ブロック（各画素が図示する通りp00〜p33）と、灰色で示す当該ブロックに隣接する符号化済み画素（図示する通り上サイドの4画素u0〜u3及び左サイドの4画素l0〜l3及び角部分の1画素s0）が示されている。
【００７０】
図１０では、サイズ1×4の縦長の領域（垂直領域）V0〜V3が順次、予測される場合を例として説明する。この場合、予測単位となる垂直領域と直交する水平な方向へと順次、予測が実施される。
【００７１】
まず、領域V0内の各画素p00〜p30が、それぞれ左隣の符号化済み画素l0〜l3を予測値として残差が求められ、当該１次元単位で変換・量子化され符号化されると共に逆変換・逆量子化されて再構成される。次に、領域V1内の各画素p01〜p31が、それぞれ左隣の再構成された領域V0の画素p00〜p30を予測値として残差が求められ、当該１次元単位で変換・量子化され符号化されると共に逆変換・逆量子化されて再構成される。以降も同様であり、領域V1→V2、領域V2→V3と続けて予測・再構成が実施される。
【００７２】
図１０の例では予測単位の１次元領域が垂直方向であり水平方向に予測・再構成される場合を説明したが、全く同様に水平方向の１次元領域（p00〜p03等）を予測単位として垂直方向に予測・再構成することも可能である。
【００７３】
図１１は、一次元モード部21がCTUを対象として上記の一次元予測を適用する例を、図１０の例に対応する例によって模式的に示す図である。ここでは、符号化対象のCTU(i, j, k)に関して最適な平面はYT平面であり、従って水平方向であるX方向に一次元予測が適用される場合を例としている。また、CTUのサイズは図１０の例と対応するよう、4×4×4としてある。
【００７４】
図１１に矢印A1〜A4として示すように、当該CTU(i, j, k)に対しては、最適なYT平面と垂直なXY平面上においてそれぞれ、図１０と同様の水平予測が適用され、P1〜P4として示すような予測値が得られることとなる。ここで最初に用いる予測値は、灰色の領域として図示するように-X方向に隣接しているCTU(i-1, j, k)の一部（CTU(i, j, k)と接している部分）より得られることとなる。
【００７５】
なお、図１１の例ではXY平面上でそれぞれ水平予測を適用しているが、XT平面上においても全く同様に水平予測を適用することができる。いずれを適用してもよい。
【００７６】
CTUに一次元予測が適用された場合、復号装置50の側では次のように復号を実施する。すなわち、当該CTUに対して一次元予測が適用された場合、その情報を復号部52より受け取った予測値生成部73は、メモリ72に保存された復号済みCTUより一次元予測の手法に従って、図１０及び図１１で説明したような一次元領域ごとに当該CTUの予測値を求め、スイッチS7を介して一次元再構成部65へと送る。一次元再構成部65では、（スイッチS6を介して）一次元逆変換・逆量子化部61から送られる復号された一次元予測残差と、（スイッチS7を介して）予測値生成部73より当該送られた一次元予測値とを加算することで当該CTUを復号し、再配列部71に送る。
【００７７】
一次元変換・量子化部31及び二次元変換・量子化部32ではそれぞれ、当該CTUに関して一次元モード部21及び二次元モード部22が適用されて差分器26並びに差分器27又は差分器28より得られた予測残差（それぞれ一次元予測残差及び二次元予測残差）を入力とし、同残差信号に対してそれぞれ１次元または2次元直交変換と量子化とを行う。同部の出力として、量子化された変換係数を逆変換・逆量子化部42及び符号化部41へと出力する。
【００７８】
逆変換・逆量子化部42では、量子化された変換係数を入力とする。同部では、当該CTUに対して一次元モード部21及び二次元モード部22が適用されている場合にそれぞれ、同部への入力信号（量子化された変換係数）に対して1次元または2次元逆量子化および逆変換を行い、予測残差（それぞれ一次元予測残差及び二次元予測残差）を得る。同部の出力として、得られた予測残差を加算器43へと出力する。
【００７９】
加算器43では当該得られた予測残差と、対応する予測信号（一次元モード部21から送られる一次元予測信号又はイントラ予測部24若しくはインター予測部25から送られる二次元予測信号(すなわちイントラ予測信号若しくはインター予測信号)）とを加算して、当該CTUを復号して、デブロッキングフィルタ44に送る。
【００８０】
復号装置50の側でも全く同様に、当該CTUに対して一次元モード部21及び二次元モード部22が適用されて符号化されている場合にそれぞれ、復号部52において対応する量子化された変換係数を復号し、それぞれ一次元逆変換・逆量子化部61及び二次元逆変換・逆量子化部62が予測残差（それぞれ一次元予測残差及び二次元予測残差）を得て、一次元再構成部65又はインター再構成部66若しくはイントラ再構成部67へと当該予測残差を送る。
【００８１】
デブロッキングフィルタ44は、ローカルメモリ45に当該CTUの復号画像を格納するに先立ち、画像の符号化時に生じるブロック歪を減少させるためのフィルタである。同部の出力として、フィルタ処理後の復号画像をローカルメモリ45へと出力する。
【００８２】
符号化部41は、以上の各部の説明において適宜言及してきたように、量子化された係数、符号化モード、動きベクトルの情報などに対してエントロピー符号化を行う。同部の出力として、符号化されたビットストリームを出力する。
【００８３】
当該符号化ビットストリームより、復号装置50の側においては逆処理としてのエントロピー復号を行うことで、モード情報抽出部51において種々の制御情報（CTU分割情報、各CTUの最適平面の情報、適用された予測モード等の情報等）を抽出すると共に、復号部52において量子化された係数を抽出する。
【００８４】
復号された量子化された係数（予測残差に対応する係数）は、スイッチS5を介して一次元逆変換・逆量子化部61又は二次元逆変換・逆量子化部62のうち当該CTUの予測モードに対応する側へと送られる。復号された予想モード等の情報は予測信号を生成すべく予測値生成部73へと送られる。また、CTUの最適平面の情報等は再配列部71へ送られる。
【００８５】
再配列部71では、各再構成部65,66,67より送られる再構成された3次元CTUの情報と当該CTUについての最適な平面の情報により、本来の入力シーケンスに対応した再生する順序への並べ替えを実施する。すなわち、再配列部71は図２の従来復号装置200において実施された再配列を、従来技術のようにPPU単位ではなくCTU単位で実施する。
【００８６】
当該復号され再配列された映像はメモリ72に送られ復号装置50の出力映像となると共に、当該CTU以降の復号対象のCTUを逐次的に復号するためのレファレンスとしてメモリ72に保持され、予測値生成部73による参照へと供される。
【００８７】
以上、図４及び図５の符号化装置10及び復号装置50によれば、従来技術に係るPPUをさらに細分化した３次元CTUを処理単位とすることにより、処理の高速化を図ることができる。そして、当該３次元CTUの各々につき、符号化効率の観点から最適な平面を決定したうえで、一次元又は二次元予測により豊富な予測オプションを提供する。当該予測オプションの拡充により、符号化効率を向上させることができる。
【００８８】
次に、当該予測オプションをさらに拡充させることにより、さらなる符号化効率を可能とする一実施形態に係る符号化装置10及び復号装置50を説明する。図６及び図７はそれぞれ、当該実施形態に係る符号化装置10及び復号装置50の機能ブロック図である。ここで、それぞれ図４及び図５と共通の名称及び参照番号を付してある機能ブロックについては同一あるいは対応する処理（予測オプションの拡充に伴う追加処理も行うようにする）を行う。各CTUを対象としての全体的な動作も図１５等で説明したのと同様である。従って以下では、図６及び図７の構成における予測オプションの拡充に係る部分を説明する。
【００８９】
すなわち、図６の符号化装置10においては、図４の構成に対して追加された三次元モード部23、差分器29及び三次元変換・量子化部33が、後述する三次元予測モードによる予測を追加提供することにより、符号化効率の向上を達成する。これに対応するデコーダ側の構成が、図７の復号装置50における三次元逆変換・逆量子化部63及び三次元再構成部68である。
【００９０】
なお、図６におけるスイッチS1,S2,S3と、図７におけるスイッチS5,S6,S7とは、図４及び図５の構成においてはCTUに適用された一次元予測又は二次元予測とに従って信号を切り替えたが、図６及び図７の構成においてはCTUに適用された一次元予測、二次元予測、又は三次元予測に従って全く同様に信号の切り替えを実施する。以下、追加される三次元予測の詳細を説明する。
【００９１】
まず、予測モード決定部13では、当該CTUに関して一次元又は二次元予測のいずれを適用するかではなく、一次元、二次元又は三次元予測のいずれを適用するかを決定する。具体的には、まず以下の式(2)が成立するかを調べ、成立する場合には三次元予測を適用する旨を決定する。式(2)が成立しない場合は、一次元又は二次元予測を適用する旨を決定し、そのいずれを適用するかについては図４、図５で説明したのと全く同様に前述の式(1A),(1B),(1C)によって判定すればよい。
【００９２】
【数２】
2016063513.tif 000004
【００９３】
すなわち、X,Y,Tの各方向の相関係数同士の差のうちの最大値が所定の閾値TH2よりも小さい場合には、三次元予測を適用する旨を決定する。
【００９４】
三次元モード部23では、当該CTUに対して三次元予測モードが適用される旨が決定された場合に、三次元CTUに対して、隣接CTUとの接する面またはその中の斜め面から、当該CTUの値を三次元予測値として予測し、加算器43及び差分器29へ送る。当該３次元予測モードは種々のものが可能であり、詳細は後述する。
【００９５】
三次元予測モードが適用された場合、差分器29では当該CTUの画素値とその三次元予測値との差分が三次元予測残差として算出され、三次元変換・量子化部33へ送られる。
【００９６】
三次元変換・量子化部33では、三次元予測残差を入力とし、同信号に対して三次元直交変換と量子化を行う。同部の出力として、量子化された変換係数を逆変換・逆量子化部42及び符号化部41へ出力する。当該三次元予測における量子化変換係数を受け取った逆変換・逆量子化部42では、三次元変換・量子化部33の逆処理によって三次元予測残差を得て、加算器43に出力する。加算器43では当該再構成された三次元予測残差と三次元モード部23から送られた三次元予測値とを加算して当該CTUを再構成する。
【００９７】
CTUに関して三次元予測モードが適用された旨とそのいずれの予測モードが適用されたかの情報は符号化部41において符号化され、復号装置50側でも三次元予測モードに従った復号が実施される。
【００９８】
すなわち、復号部52より（スイッチS5を介して）三次元予測残差の量子化変換係数を受け取った三次元逆変換・逆量子化部63では、三次元変換・量子化部33の逆処理によって三次元予測残差を得て、三次元再構成部68に出力する。また、復号部52より三次元予測モードのうちいずれの予測モードが適用されたかの情報を受け取った予測値生成部73では、当該予測モードに従ってメモリ72内の復号済みCTUを参照して、当該復号対象のCTUの三次元予測値を得て、三次元再構成部68に渡す。
【００９９】
三次元再構成部68では三次元逆変換・逆量子化部63から得た三次元予測残差と、（スイッチS7を介して）予測値生成部73より受け取った三次元予測値と、を加算することで、当該CTUを復号し、再配列部71へ出力する。
【０１００】
以下に、三次元予測モードに利用可能な（モード１）〜（モード７）をそれぞれ説明する。なお、符号化装置10において実際に適用するモードの決定に関しては、各モードで（評価のための試行として）符号化して、発生符号量と歪量との重み和から算出される符号化コストを最小化するようなモードに決定すればよい。なお、（モード１）に関しては後述の条件が満たされるのであれば、その他のモードの符号化コストを評価することなく（モード１）を適用するものとして決定してもよい。
【０１０１】
（モード１）スキップモード
以下のように第一、第二又は第三スキップモードを利用することができ、当該CTUの全体を、符号化済み（復号済み）隣接CTU全体によってそのまま予測するというモードである。
【０１０２】
（１−１）第一スキップモード
以下の条件[1-1]及び[1-2]が満たされる場合、当該CTU(i, j, k)の予測値をその上側（-Y方向）における符号化済み（復号済み）隣接CTU(i, j-1, k)とする。
[1-1] 当該CTU(i, j, k)における最適な平面はXT平面であり、同様に、上側隣接CTU(i, j-1, k)の最適な平面もXT平面である。
[1-2] 当該CTU(i, j, k)のY方向の相関係数CYと上側隣接CTU(i, j-1, k)のY方向の相関係数CYとが共に、所定の閾値TH3よりも大きい。
【０１０３】
（１−２）第二スキップモード
以下の条件[2-1]及び[2-2]が満たされる場合、当該CTU(i, j, k)の予測値をその左側（-X方向）における符号化済み（復号済み）隣接CTU(i-1, j, k)とする。
[2-1] 当該CTU(i, j, k)における最適な平面はYT平面であり、同様に、左側隣接CTU(i-1, j, k)の最適な平面もYT平面である。
[1-2] 当該CTU(i, j, k)のX方向の相関係数CXと左側隣接CTU(i-1, j, k)のX方向の相関係数CXとが共に、所定の閾値TH4よりも大きい。
【０１０４】
（１−３）第三スキップモード
以下の条件[3-1]及び[3-2]が満たされる場合、当該CTU(i, j, k)の予測値をその手前側（-T方向）における符号化済み（復号済み）隣接CTU(i, j, k-1)とする。
[3-1] 当該CTU(i, j, k)における最適な平面はXY平面であり、同様に、手前側隣接CTU(i, j, k-1)の最適な平面もXY平面である。
[3-2] 当該CTU(i, j, k)のT方向の相関係数CTと手前側隣接CTU(i, j, k-1)のT方向の相関係数CTとが共に、所定の閾値TH5よりも大きい。
【０１０５】
（モード２）XT平面モード
図１２に示すように、当該CTU(i, j, k)の予測値を、符号化済み（復号済み）の近傍の3つのXT平面XT-P1,XT-P2,XT-P3（それぞれCTU(i, j-1, k), CTU(i+1, j-1, k), CTU(i-1, j-1, k)に属するXT平面）によって構成する。すなわち、当該CTU(i, j, k)の予測値は、3つのXT平面XT-P1,XT-P2,XT-P3のいずれかを、Y方向のCTUサイズであるBH枚だけ重複して並べたものとなる。
【０１０６】
ここで、3つのXT平面XT-P1,XT-P2,XT-P3のうちいずれの平面を用いるかは、SAD（差分絶対値和）あるいはSSD（差分二乗和）等で差分を評価して、差分が最も小さいものを選べばよい。
【０１０７】
なお、3つのXT平面XT-P1,XT-P2,XT-P3は、属している各CTU内において、当該CTU(i, j, k)に最も近い位置の平面とする。差分評価のために当該CTU(i, j, k)において用いる平面も、比較対象の各平面XT-P1,XT-P2,XT-P3に最も近い位置の平面とする。
【０１０８】
（モード３）YT平面モード
図１３に示すように、当該CTU(i, j, k)の予測値を、符号化済み（復号済み）の近傍の3つのYT平面YT-P1,YT-P2,YT-P3（それぞれCTU(i-1, j, k), CTU(i-1, j+1, k), CTU(i-1, j-1, k)に属するYT平面）によって構成する。
【０１０９】
3つのYT平面YT-P1,YT-P2,YT-P3のCTU内位置とそのいずれを用いるか、また、どのように予測値を構成するかについては、XT平面モードで説明したのと同様である。（X,Y,Tの文字をサイクリックに読み替えればよい。）
【０１１０】
（モード４）XY平面モード
図１４に示すように、当該CTU(i, j, k)の予測値を、符号化済み（復号済み）の近傍の3つのXY平面XY-P1, XY-P2, XY-P3（それぞれCTU(i, j, k-1), CTU(i+1, j, k-1), CTU(i-1, j, k-1)に属するXY平面）によって構成する。
【０１１１】
3つのXY平面XY-P1, XY-P2, XY-P3のCTU内位置とそのいずれを用いるか、また、どのように予測値を構成するかについては、XT平面モードで説明したのと同様である。（X,Y,Tの文字をサイクリックに読み替えればよい。）
【０１１２】
なお、以上（モード２）〜（モード４）のXT,YT,XY平面モードにおいては当該CTU(i, j, k)の位置やCTUの符号化順（復号順）によっては参照する平面のうち符号化（復号）されていないものも存在するが、そのような場合には参照対象から除外すればよい。あるいは、上記説明した３つ以外の所定位置を参照するようにしてもよい。
【０１１３】
（モード５）斜め面モード
以上の（モード２）〜（モード４）でX,Y,Tの各軸に沿った方向での予測を定義したのと同様に、斜め面での予測を定義することができる。参照対象となる面も当該斜め面における所定位置として定義しておけばよい。
【０１１４】
図１７に斜め面の例を示す。[1]は(X, Y, T)=(+1, 0, +1)の方向すなわち+X方向と+T方向との中間方向の斜め面の例を、あるCTU内部に灰色の面として描いている。[2]は(X, Y, T)=(0, +1, +1)の方向すなわち+Y方向と+T方向との中間方向の斜め面の例を、あるCTU内部に灰色の面として描いている。不図示であるが同様に(X, Y, T)=(+1, +1, 0)の方向の面も利用してよい。また、その他の所定方向の斜め面を利用してもよい。
【０１１５】
（モード６）最小距離モード
当該CTU(i, j, k)内の各画素の予測値を、当該画素に最も近い位置にある符号化済み（復号済み）画素とする。画素座標（入力シーケンス全体における３次元座標）を(x, y, t)とすると、画素間の距離dは両画素の座標差分(Δx, Δy, Δt)によって以下の式(3)で求めればよい。ここで、wはフレームレートに従って定める定数である。なお、距離が同じ場合には、相関係数が一番高い方向の画素を優先して用いるようにすればよい。
【０１１６】
【数３】
2016063513.tif 000005
【０１１７】
（モード７）隣接モード
まず、当該CTU(i, j, k)の表面予測値を作る。表面予測値には、隣接し符号化済み（復号済み）のCTUにおける対応する表面の値を利用すればよい。次に、当該表面予測値が得られなかった残りの各画素を、表面画素のうち最も距離が近いもので予測するようにすればよい。なお、距離については、上記式(3)を用いればよい。
【０１１８】
以下、本発明における補足的事項を説明する。
【０１１９】
（１）予測に関しては、一次元、二次元予測、三次元予測を説明したが、これら３種類のうち任意の組み合わせを、実際に適用しうる予測の候補としてよい。例えば、二次元予測又は三次元予測のいずれかを適用する構成を取ってもよいし、一次元予測又は三次元予測のいずれかを適用する構成を取ってもよい。あるいは、一次元、二次元予測、三次元予測のうち１つのみを固定的に適用する構成を取ってもよい。
【０１２０】
いずれの構成においても、CTU単位で各方向X,Y,Tの相関を考慮して最適な平面に基づいた符号化・復号が実施されるので、従来技術においてPPU内で固定した相関しか考慮できないのに比べて、符号化効率の向上を図ることができる。また、CTU単位であることから、従来技術に係るPPUよりも計算負荷を下げることができる。
【０１２１】
（２）既存手法における一次元予測、二次元予測等を適用するに際して、CTUサイズが既存手法に適合していない場合は、CTUをサブブロック分割してサブブロックごとに予測を適用してもよい。あるいは、既存手法におけるサイズに適合する形でCTUサイズを設定しておいてもよい。
【０１２２】
（３）本発明は、コンピュータを符号化装置10又は復号装置50として機能させるプログラムとしても提供可能である。当該コンピュータには、CPU(中央演算装置)、メモリ及び各種I/Fといった周知のハードウェア構成のものを採用することができ、CPUが符号化装置10又は復号装置50の各部の機能に対応する命令を実行することとなる。
【符号の説明】
【０１２３】
10…符号化装置、11…分割部、12…最適平面決定部、13…予測モード決定部、21…一次元モード部、22…二次元モード部、23…三次元モード部、24…イントラ予測部、25…インター予測部、26,27,28,29…差分器、31…一次元変換・量子化部、32…二次元変換・量子化部、33…三次元変換・量子化部、41…符号化部、42    …逆変換・逆量子化部、43…加算器、44…デブロッキングフィルタ、45…ローカルメモリ、50…復号装置、51…モード情報抽出部、52…復号部、61…一次元逆変換・逆量子化部、62…二次元逆変換・逆量子化部、63…三次元逆変換・逆量子化部、65…一次元再構成部、66…インター再構成部、67…イントラ再構成部、68…三次元再構成部、71…再配列部、72…メモリ、73…予測値生成部
【図１】
2016063513.tif 000006
【図２】
2016063513.tif 000007
【図３】
2016063513.tif 000008
【図４】
2016063513.tif 000009
【図５】
2016063513.tif 000010
【図６】
2016063513.tif 000011
【図７】
2016063513.tif 000012
【図８】
2016063513.tif 000013
【図９】
2016063513.tif 000014
【図１０】
2016063513.tif 000015
【図１１】
2016063513.tif 000016
【図１２】
2016063513.tif 000017
【図１３】
2016063513.tif 000018
【図１４】
2016063513.tif 000019
【図１５】
2016063513.tif 000020
【図１６】
2016063513.tif 000021
【図１７】
2016063513.tif 000022