(57)【要約】  画像フレームを符号化するための装置であって、画像フレームが、非重複単位にパーティション化され、パーティション化済みの単位が、画像フレームの第１の領域、第２の領域および第３の領域に含められ、第１の領域、第２の領域および第３の領域の各々が、ラスタ走査順番を示すインジケータと関連付けられる、装置であり、第３の領域のインジケータに基づいて、画像フレームの第３の領域を符号化するための手段であって、ラスタ走査技法を使用して、第３の領域における右および上の第１の単位から始まる、手段と、第２の領域のインジケータに基づいて、画像フレームの第２の領域を符号化するための手段であって、第２の領域における右の第１の単位から始まる、手段と、第１の領域のインジケータに基づいて、第１の領域を符号化するための手段であって、第１の領域における上または下の第１の単位から始まる、手段とを含む、装置が提供される。
2019503135.tif 000002
【特許請求の範囲】
【請求項１】
画像フレームを符号化するための装置であって、
前記画像フレームが、非重複単位にパーティション化され（１００２、１００８）、前記パーティション化済みの単位が、前記画像フレームの第１の領域、第２の領域および第３の領域に含められ（１００８、１０１２）、前記第１の領域、前記第２の領域および前記第３の領域の各々が、ラスタ走査順番を示すインジケータと関連付けられる、装置であり、
前記第３の領域の前記インジケータに基づいて、前記画像フレームの前記第３の領域を符号化するための手段（１００２、１００８、１０１２、１０１６）であって、ラスタ走査技法を使用して、前記第３の領域における右および上の第１の単位から始まる、手段と、
前記第２の領域の前記インジケータに基づいて、前記画像フレームの前記第２の領域を符号化するための手段（１００２、１００８、１０１２、１０１６）であって、前記第２の領域における右の第１の単位から始まる、手段と、
前記第１の領域の前記インジケータに基づいて、前記第１の領域を符号化するための手段（１００２、１００８、１０１２、１０１６）であって、前記第１の領域における上または下の第１の単位から始まる、手段と
を含む、装置。
【請求項２】
前記第３の領域を符号化する前に、前記画像フレームを１８０度回転させるための手段（１０１４）をさらに含む、請求項１に記載の装置。
【請求項３】
前記第１の領域を符号化する前に、前記回転済みの画像フレームを時計回りに追加で９０度回転させ、前記回転済みの画像の前記第１の領域を水平方向にするための手段
をさらに含む、請求項２に記載の装置。
【請求項４】
右下の領域を走査する前に、前記第３の領域を少なくとも２つのより小さな領域に分割するための手段であって、第１のより小さな領域が、前記右下の領域の高さおよび長さにおいて１単位である、手段と、
前記右下の領域の走査順番ビットに基づいて、前記画像フレームの前記右下の領域を符号化するための手段であって、前記第１のより小さな領域の第１の単位から始まり、左から右への水平方向において最後の単位に到達する、手段と、
前記右上の領域の前記走査順番ビットに基づいて符号化するための手段であって、最後の単位から始まり、前記右上の領域の左から右への水平方向において第１の単位に到達する、手段と、
前記第３の領域の前記走査順番ビットに基づいて、前記画像フレームを符号化するための手段であって、第２のより小さな領域の第１の単位から始まり、前記第２のより小さな領域の残りの行の各々に対して左から右への水平方向において最後の単位に到達する、手段と
をさらに含む、請求項１に記載の装置。
【請求項５】
画像を符号化するための方法であって、
画像フレームが、非重複単位にパーティション化され（１００２、１００８）、前記パーティション化済みの単位が、前記画像フレームの第１の領域、第２の領域および第３の領域に含められ（１００８、１０１２）、前記第１の領域、前記第２の領域および前記第３の領域の各々が、ラスタ走査順番を示すインジケータと関連付けられる、方法であり、
前記第３の領域の前記インジケータに基づいて、前記画像フレームの前記第３の領域を符号化すること（１００２、１００８、１０１２、１０１６）であって、ラスタ走査技法を使用して、前記第３の領域における右および上の第１の単位から始まる、符号化することと、
前記第２の領域の前記インジケータに基づいて、前記画像フレームの前記第２の領域を符号化すること（１００２、１００８、１０１２、１０１６）であって、前記第２の領域における右の第１の単位から始まる、符号化することと、
前記第１の領域の前記インジケータに基づいて、前記第１の領域を符号化すること（１００２、１００８、１０１２、１０１６）であって、前記第１の領域における上または下の第１の単位から始まる、符号化することと
を含む、方法。
【請求項６】
前記第３の領域を符号化する前に、前記画像フレームを１８０度回転させるための手段（１０１４）をさらに含む、請求項５に記載の方法。
【請求項７】
前記第１の領域を符号化する前に、前記回転済みの画像フレームを時計回りに追加で９０度回転させ、前記回転済みの画像の前記第１の領域を水平方向にすること
をさらに含む、請求項５に記載の方法。
【請求項８】
前記第３の領域を走査する前に、前記第３の領域を少なくとも２つのより小さな領域に分割することであって、第１のより小さな領域が、前記第３の領域の高さおよび長さにおいて１単位である、分割することと、
前記第３の領域の走査順番ビットに基づいて、前記画像フレームの前記右下の領域を符号化することであって、前記第１のより小さな領域の第１の単位から始まり、左から右への水平方向において最後の単位に到達する、符号化することと、
前記第２の領域の前記走査順番ビットに基づいて符号化することであって、最後の単位から始まり、前記第２の領域の左から右への水平方向において第１の単位に到達する、符号化することと、
前記第３の領域の前記走査順番ビットに基づいて、前記画像フレームを符号化することであって、第２のより小さな領域の第１の単位から始まり、前記第２のより小さな領域の残りの行の各々に対して左から右への水平方向において最後の単位に到達する、符号化することと
をさらに含む、請求項５に記載の方法。
【請求項９】
画像を復号するための装置であって、
画像フレームが、非重複単位にパーティション化され（１００２、１００８）、前記パーティション化済みの単位が、前記画像フレームの第１の領域、第２の領域および第３の領域に含められ（１００８、１０１２）、前記第１の領域、前記第２の領域および前記第３の領域の各々が、ラスタ走査順番を示すインジケータと関連付けられる、装置であり、
前記第３の領域の前記インジケータに基づいて、前記画像フレームの前記第３の領域を復号するための手段（１００２、１００８、１０１２、１０１６）であって、ラスタ走査技法を使用して、前記第３の領域における右および上の第１の単位から始まる、手段と、
前記第２の領域の前記インジケータに基づいて、前記画像フレームの前記第２の領域を復号するための手段（１００２、１００８、１０１２、１０１６）であって、前記第２の領域における右の第１の単位から始まる、手段と、
前記第１の領域の前記インジケータに基づいて、前記第１の領域を復号するための手段（１００２、１００８、１０１２、１０１６）であって、前記第１の領域における上または下の第１の単位から始まる、手段と
を含む、装置。
【請求項１０】
前記第３の領域を復号する前に、前記画像フレームを１８０度回転させるための手段（１０１４）をさらに含む、請求項９に記載の装置。
【請求項１１】
前記第１の領域を復号する前に、前記回転済みの画像フレームを時計回りに追加で９０度回転させ、前記回転済みの画像の前記第１の領域を水平方向にするための手段
をさらに含む、請求項９に記載の装置。
【請求項１２】
前記第３の領域を走査する前に、前記第３の領域を少なくとも２つのより小さな領域に分割するための手段であって、第１のより小さな領域が、前記第３の領域の高さおよび長さにおいて１単位である、手段と、
前記第３の領域の走査順番ビットに基づいて、前記画像フレームの前記右下の領域を復号するための手段であって、前記第１のより小さな領域の第１の単位から始まり、左から右への水平方向において最後の単位に到達する、手段と、
前記第２の領域の前記走査順番ビットに基づいて復号するための手段であって、最後の単位から始まり、前記第２の領域の左から右への水平方向において第１の単位に到達する、手段と、
前記第３の領域の前記走査順番ビットに基づいて、前記画像フレームを復号するための手段であって、第２のより小さな領域の第１の単位から始まり、前記第２のより小さな領域の残りの行の各々に対して左から右への水平方向において最後の単位に到達する、手段と
をさらに含む、請求項９に記載の装置。
【請求項１３】
画像を復号するための方法であって、
画像フレームが、非重複単位にパーティション化され（１００２、１００８）、前記パーティション化済みの単位が、前記画像フレームの第１の領域、第２の領域および第３の領域に含められ（１００８、１０１２）、前記第１の領域、前記第２の領域および前記第３の領域の各々が、ラスタ走査順番を示すインジケータと関連付けられる、方法であり、
前記第３の領域の前記インジケータに基づいて、前記画像フレームの前記第３の領域を復号すること（１００２、１００８、１０１２、１０１６）であって、ラスタ走査技法を使用して、前記第３の領域における右および上の第１の単位から始まる、復号することと、
前記第２の領域の前記インジケータに基づいて、前記画像フレームの前記第２の領域を復号すること（１００２、１００８、１０１２、１０１６）であって、前記第２の領域における右の第１の単位から始まる、復号することと、
前記第１の領域の前記インジケータに基づいて、前記第１の領域を復号すること（１００２、１００８、１０１２、１０１６）であって、前記第１の領域における上または下の第１の単位から始まる、復号することと
を含む、方法。
【請求項１４】
前記第３の領域を復号する前に、前記画像フレームを１８０度回転させるための手段（１０１４）をさらに含む、請求項１３に記載の方法。
【請求項１５】
前記第１の領域を復号する前に、前記回転済みの画像フレームを時計回りに追加で９０度回転させ、前記回転済みの画像の前記第１の領域を水平方向にすること
をさらに含む、請求項１３に記載の方法。
【請求項１６】
前記第３の領域を走査する前に、前記第３の領域を少なくとも２つのより小さな領域に分割することであって、第１のより小さな領域が、前記第３の領域の高さおよび長さにおいて１単位である、分割することと、
前記第３の領域の走査順番ビットに基づいて、前記画像フレームの前記右下の領域を復号することであって、前記第１のより小さな領域の第１の単位から始まり、左から右への水平方向において最後の単位に到達する、復号することと、
前記第２の領域の前記走査順番ビットに基づいて復号することであって、最後の単位から始まり、前記第２の領域の左から右への水平方向において第１の単位に到達する、復号することと、
前記第３の領域の前記走査順番ビットに基づいて、前記画像フレームを復号することであって、第２のより小さな領域の第１の単位から始まり、前記第２のより小さな領域の残りの行の各々に対して左から右への水平方向において最後の単位に到達する、復号することと
をさらに含む、請求項１３に記載の方法。
【請求項１７】
非一時的なソフトウェアプログラムがコンピュータによって実行される際に、請求項５〜８および１２〜１６の少なくとも１つに記載の方法を実行するためのプログラムコード命令を含むことを特徴とする非一時的なコンピュータ可読プログラム製品。
【請求項１８】
非一時的なソフトウェアプログラムがコンピュータによって実行される際に、請求項５〜８および１２〜１６の少なくとも１つに記載の方法を実行するためのプログラムコード命令を含むことを特徴とするソフトウェアプログラムを保持するコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本原理は、映像圧縮のための装置および方法に関し、より具体的には、画像のスマート走査を利用した映像圧縮のための装置および方法に関する。
【背景技術】
【０００２】
映像の質を改善するため、記録プロセスの間にさらなる一層の詳細（すなわち、より高い解像度）が捕捉されている。これにより、映像を再現するために大量のデータが必要とされる。データを扱いやすいレベルに到達させるため、データの量の低減には様々なタイプの圧縮方法が使用されている。これを行うための方法の１つでは、画像またはフレームをより小さな部分またはセクションに分割する必要がある。例えば、２つの連続セクションが同じ色にとどまっている場合は、色情報は、両方のセクションに対して１回コード化するだけでよく、どの２つのセクションに色を適用するかを知らせる情報を含む。同様に、別のセクションの周囲のセクションがすべて同じ色である場合は、別の隣接するセクションも同じ色であると予測することが合理的であり得ると考えられる。この方法は、予測のために情報を得るためのいくつかの周囲のセクションが存在する際にうまく機能することができる。しかし、セクションが画像またはフレームの最初にあるかまたは側方セクションである際は、予測を行うための本質を突く情報を得るためのセクションの周りのセクションは少ない。
【発明の概要】
【課題を解決するための手段】
【０００３】
コード化木単位（ＣＴＵ）に依存する映像圧縮コード化を改善するため、ＣＴＵのコード化走査順番は、コード化効率を高めるために並べ替えられる。並べ替えにより、伝統的な走査順番では情報は利用可能ではない画像のブロックまたは単位に対する追加の予測情報を得ることができる。従って、ＣＴＵのコード化効率は、予測情報を用いてコード化されたＣＴＵの数に対する予測情報なしでコード化されたＣＴＵの数を改善することによって高まる。
【０００４】
一実施形態は、画像フレームを符号化するための装置であって、画像フレームが、非重複単位にパーティション化され（１００２、１００８）、パーティション化済みの単位が、画像フレームの第１の領域、第２の領域および第３の領域に含められ（１００８、１０１２）、第１の領域、第２の領域および第３の領域の各々が、ラスタ走査順番を示すインジケータと関連付けられる、装置であり、第３の領域のインジケータに基づいて、画像フレームの第３の領域を符号化するための手段（１００２、１００８、１０１２、１０１６）であって、ラスタ走査技法を使用して、第３の領域における右および上の第１の単位から始まる、手段と、第２の領域のインジケータに基づいて、画像フレームの第２の領域を符号化するための手段（１００２、１００８、１０１２、１０１６）であって、第２の領域における右の第１の単位から始まる、手段と、第１の領域のインジケータに基づいて、第１の領域を符号化するための手段（１００２、１００８、１０１２、１０１６）であって、第１の領域における上または下の第１の単位から始まる、手段とを含む、装置を含む。
【０００５】
別の実施形態では、画像を符号化するための方法であって、画像フレームが、非重複単位にパーティション化され（１００２、１００８）、パーティション化済みの単位が、画像フレームの第１の領域、第２の領域および第３の領域に含められ（１００８、１０１２）、第１の領域、第２の領域および第３の領域の各々が、ラスタ走査順番を示すインジケータと関連付けられる、方法であり、第３の領域のインジケータに基づいて、画像フレームの第３の領域を符号化すること（１００２、１００８、１０１２、１０１６）であって、ラスタ走査技法を使用して、第３の領域における右および上の第１の単位から始まる、符号化することと、第２の領域のインジケータに基づいて、画像フレームの第２の領域を符号化すること（１００２、１００８、１０１２、１０１６）であって、第２の領域における右の第１の単位から始まる、符号化することと、第１の領域のインジケータに基づいて、第１の領域を符号化すること（１００２、１００８、１０１２、１０１６）であって、第１の領域における上または下の第１の単位から始まる、符号化することとを含む、方法が提供される。
【０００６】
実施形態では、画像を復号するための装置であって、画像フレームが、非重複単位にパーティション化され（１００２、１００８）、パーティション化済みの単位が、画像フレームの第１の領域、第２の領域および第３の領域に含められ（１００８、１０１２）、第１の領域、第２の領域および第３の領域の各々が、ラスタ走査順番を示すインジケータと関連付けられる、装置であり、第３の領域のインジケータに基づいて、画像フレームの第３の領域を復号するための手段（１００２、１００８、１０１２、１０１６）であって、ラスタ走査技法を使用して、第３の領域における右および上の第１の単位から始まる、手段と、第２の領域のインジケータに基づいて、画像フレームの第２の領域を復号するための手段（１００２、１００８、１０１２、１０１６）であって、第２の領域における右の第１の単位から始まる、手段と、第１の領域のインジケータに基づいて、第１の領域を復号するための手段（１００２、１００８、１０１２、１０１６）であって、第１の領域における上または下の第１の単位から始まる、手段とを含む、装置が提供される。
【０００７】
別の実施形態は、画像を復号するための方法であって、画像フレームが、非重複単位にパーティション化され（１００２、１００８）、パーティション化済みの単位が、画像フレームの第１の領域、第２の領域および第３の領域に含められ（１００８、１０１２）、第１の領域、第２の領域および第３の領域の各々が、ラスタ走査順番を示すインジケータと関連付けられる、方法であり、第３の領域のインジケータに基づいて、画像フレームの第３の領域を復号すること（１００２、１００８、１０１２、１０１６）であって、ラスタ走査技法を使用して、第３の領域における右および上の第１の単位から始まる、復号することと、第２の領域のインジケータに基づいて、画像フレームの第２の領域を復号すること（１００２、１００８、１０１２、１０１６）であって、第２の領域における右の第１の単位から始まる、復号することと、第１の領域のインジケータに基づいて、第１の領域を復号すること（１００２、１００８、１０１２、１０１６）であって、第１の領域における上または下の第１の単位から始まる、復号することとを含む、方法を含み得る。
【０００８】
別の実施形態は、画像情報を格納するためのメモリと、少なくとも１つのプロセッサとを含むシステムであって、少なくとも１つのプロセッサが、コード化木単位ＣＴＵを作成するために非重複単位にパーティション化された画像のフレームを受信することと、パーティション化済みの単位を少なくとも２つの領域に分類することと、ラスタ走査順番を示すために少なくとも２つの領域の各々に少なくとも１つのビットを埋め込むかまたは読み取ることとを行うように構成される、システムを含む。代替の実施形態では、システムは、第１の領域の走査順番ビットに基づいて、画像フレームを符号化することであって、ラスタ走査技法を使用して、画像フレームの垂直および水平の両方向において第２のＣＴＵから始まる、符号化することと、画像フレームを１８０度回転させることと、第２の領域の走査順番ビットに基づいて、符号化または復号することであって、回転済みのフレームの第２の領域の垂直および水平の両方向において第１のＣＴＵから始まり、回転済みのフレームの第２の領域の垂直および水平の両方向において最後のＣＴＵに到達する、符号化または復号することを行うようにさらに構成された少なくとも１つのプロセッサを含み得る。別の代替の実施形態では、システムは、第３の領域の走査順番ビットに基づいて、符号化または復号することであって、回転済みの画像フレームの第３の領域の水平方向において最後のＣＴＵ（垂直方向において第１のＣＴＵである）から始まり、回転済みの画像フレームの第３の領域の水平方向において最後のＣＴＵ（垂直方向において最後のＣＴＵである）に到達する、符号化または復号することを行うようにさらに構成された少なくとも１つのプロセッサを含み得る。
【０００９】
他の実施形態は、非一時的なソフトウェアプログラムがコンピュータによって実行される際に、前述の方法およびそれらの代替の実施形態を実行するためのプログラムコード命令を含むことを特徴とする非一時的なコンピュータ可読プログラム製品を含む。さらなる実施形態は、非一時的なソフトウェアプログラムがコンピュータによって実行される際に、前述の方法およびそれらの代替の実施形態を実行するためのプログラムコード命令を含むことを特徴とするソフトウェアプログラムを保持するコンピュータ可読記憶媒体を含む。
【００１０】
上記は、対象物の実施形態のいくつかの態様の基本的な理解を提供するために、対象物の簡単な概要を提示する。この概要は、対象物の広範な要約ではない。この概要は、実施形態の重要な／必須の要素を特定することも、対象物の範囲を線引きすることも意図しない。この概要の唯一の目的は、後に提示されるさらに詳細な説明の前置きとして、簡略化された形態で、対象物のいくつかの概念を提示することである。
【００１１】
前述のおよび関連する目的を達成するため、実施形態のある特定の例示的な態様は、本明細書では、以下の説明および添付の図面と関係して説明される。これらの態様は、対象物の原理を採用することができる様々な方法（ただし、そのうちの少数）を示し、対象物は、そのような態様およびその均等物のすべてを含むことを意図する。対象物の他の利点および新規の特徴は、図面と併せて考慮した上で、以下の詳細な説明から明らかにすることができる。
【図面の簡単な説明】
【００１２】
【図１】本原理の実施形態による、映像画像フレームのコード化木単位の例示的な走査順番および周囲のブロックを使用した予測の例を描写する。
【図２ａ】本原理の実施形態による、標準ラスタ走査と比較した、本原理で使用された技法の例示的な予測結果を示す。
【図２ｂ】本原理の実施形態による、標準ラスタ走査と比較した、本原理で使用された技法の例示的な予測結果を示す。
【図３】本原理の実施形態による、例示的なＣＴＵ走査順番を示す。
【図４】本原理の実施形態による、別の例示的なＣＴＵ走査順番を示す。
【図５】本原理の実施形態による、フレームの任意のスライス／領域に対する例示的なＣＴＵ走査技法を示す。
【図６】本原理の実施形態による、さらなる別の例示的なＣＴＵ走査順番を示す。
【図７】本原理の実施形態による、さらなる別の例示的なＣＴＵ走査順番を示す。
【図８】本原理の実施形態による、コード化順番のための例示的な変形技法を描写する。
【図９】本原理の実施形態による、コード化順番のための別の例示的な変形技法を描写する。
【図１０】本原理の実施形態による、符号化／復号のための例示的な装置を示す。
【図１１】本原理の実施形態による、画像の符号化／復号の方法のフロー図を示す。
【発明を実施するための形態】
【００１３】
ここでは、図面を参照して対象物を説明し、図面全体を通じて、同様の要素を指すために同様の参照番号が使用されている。以下の説明では、説明の目的で、対象物の完全な理解を提供するために、多くの具体的な詳細が記載されている。しかし、これらの具体的な詳細なしでも、対象物の実施形態を実践できることは明らかである。他の例では、周知の構造およびデバイスは、実施形態の説明を容易にするために、ブロック図の形態で示されている。
【００１４】
映像圧縮のタイプの１つでは、画像は、非重複ブロックまたは単位（例えば、高効率映像コード化（ＨＥＶＣ）規格のコード化木単位ＣＴＵ）にパーティション化される。次いで、各ＣＴＵは、コード化単位（ＣＵ）に分割され、その結果、それらの各々は、予測、再構築または変換のためのコード化の単位に対応する。ＣＴＵを走査するためのデフォルト順番は、ラスタ走査であり、図１で描写される例１００のように、フレーム１０２の左上１０４から始まり、右下１０６で終わる。圧縮効率の目的のため、各ＣＴＵ  １０８は、その以前に符号化／復号された近隣のＣＴＵ（典型的には、ラスタ走査では、上のＣＴＵ  １１０、左上のＣＴＵ  １１２および左のＣＴＵ  １１４）から空間的に予測することができる。例えば、イントラモードでは、ＣＴＵ内の第１の予測単位（ＰＵ）は、上方または左のＣＴＵからの近隣の上または左の画素を使用する。インターモードでは、現在の動きベクトルをコード化するための予測因子として、周囲の動きベクトルを使用することもできる。
【００１５】
図１には示されていない「逆ラスタ走査」（すなわち、ラスタ走査とは反対の方向に方向付けられたラスタ走査）では、各ＣＴＵは、その以前に符号化／復号された近隣のＣＴＵ（典型的には、上、右上および右）から空間的に予測することができる。仮に逆の順番のラスタ走査がフレーム１０２において実行されれば、逆ラスタ走査は、最上右のブロックから始まり、最下左のブロックへと続く。走査順番の方向を逆にすることは、通常のまたは標準の走査方向に予測因子を有さないＣＴＵを予測する上で役立ち得る。
【００１６】
標準ラスタ走査では、符号化予定の第１のＣＴＵ（フレームの左上）に対し、これは最初に符号化されるＣＴＵであるため、空間予測因子は利用可能ではない。その上、第１のラインのＣＴＵに対し、これはラスタ走査順番におけるフレームの最初のラインであるため、上の空間予測因子は利用可能ではない。この事例では、そのようなＣＴＵのコード化コストは、かなり高いものであり得る。しかし、最初に符号化されるＣＴＵは、その右、下および右下の近隣のＣＴＵの空間予測のためだけに使用される。同じように、第１のラインのＣＴＵは、上方のＣＴＵからの予測を活用することはない。本原理の実施形態を利用する走査技法を用いると、最初に符号化されるＣＴＵのオーバーコストをよりうまく使用することにより、フレーム全体のコード化効率の改善が可能になる。その上、それらの技法がフレームを符号化するための標準的な方法として採用される場合は、これらの技法に対して追加の構文は必要ない。所定のブロック２０２に対し、図２ａは、標準ラスタ走査方法２０８を用いて所定のブロック２０２から使用することができる、使用される多くの予測因子２０４および多くの予測２０６を示す例２００を示す。図２ｂは、本原理の実施形態を利用する走査技法２１０を用いて同じ所定のブロック２０２から使用することができる、使用される多くの予測因子２０４および多くの予測２０６を示す例２０１を示す。走査技法２１０の実施形態は以下で論じる。
【００１７】
図３では、本原理の実施形態による、例示的なＣＴＵ走査順番３００が示されている。画像またはフレーム３０２は、３つの異なるエリア（または領域もしくはスライス）に分割される。最初に、ラスタ走査順番で、フレーム３０２の領域Ａ  ３０４が符号化／復号される。次いで、逆ラスタ走査順番で、高さにおいてたった１つのＣＴＵであるフレーム３０２のエリアＢ  ３０６が符号化／復号される。最後に、逆ラスタ走査順番で、幅においてたった１つのＣＴＵであるフレーム３０２のエリアＣ  ３０８が符号化／復号される。本原理の走査順番の実施形態では、各スライス／エリア／領域に対して、「スマートＣＴＵ走査順番」を信号伝達するシンプルなフラグを符号化／復号することができる。この符号化／復号順番は、領域内で固定されており、ビットストリーム内で符号化／復号する必要はない。明らかに、領域Ａが高さにおいて２つ以下のＣＴＵである場合は、エリアＢ  ３０６が除去され、領域Ａが幅において２つ以下のＣＴＵである場合は、エリアＣ  ３０８が除去される。また、提示される例では、コード化順番並べ替えは、フレームの第１の列から始まるスライスに対して実行されることに留意すべきである。
【００１８】
図４は、本原理の実施形態による、画像／フレーム４０２を符号化／復号するためのＣＴＵ走査技法の例４００を示す。ステップ１：エリアＡ−エリアＡは、上から２番目の（高さにおいて１つのＣＴＵである上の水平方向のスライス４０４のすぐ下にある）ＣＴＵかつ側方から２番目の（幅において１つのＣＴＵである垂直スライス４０６のすぐ側にある）ＣＴＵからスライス／領域の終わり４１０までのスライス／領域に対応する。エリアＡは、典型的には、図４または図２ａに示されるように、ラスタ走査順番でコード化される。エリアＡの左上のＣＴＵ  ４１２は、ブロックが利用可能ではないため、空間予測を使用しない。エリアＡ内の第１のラインの符号化済みのＣＴＵは、エリアの第２のラインを予測するために使用されることに気付くはずである。
【００１９】
図５は、フレーム５０２の任意のスライス／領域に対するＣＴＵ走査技法の例５００を示す。任意の水平位置から始まるスライスに対し、エリアＡ、ＢおよびＣの形状は、処理と同様に、相応に適応される。任意のスライス／領域に対し、本原理に基づく処理は、水平方向のＣＴＵスライス５０４の下方かつ垂直方向のＣＴＵスライス５０６の隣のＣＴＵ  ５１０に対応する開始点から始まる。言い換えれば、本原理に基づく処理は、第１のＣＴＵを座標原点として使用して、垂直および水平の両方向において２番目のＣＴＵから始まる。
【００２０】
図６は、本原理の実施形態による、画像／フレーム６０２を符号化／復号するためのＣＴＵ走査技法の別の例６００を描写する。ステップ２：エリアＢ−エリアＡ  ６０４は以前に符号化／復号されているため、エリアＢ  ６０６は、エリアＡ  ６０４からの空間予測を使用して符号化／復号することができる。現在のエンコーダ／デコーダの実装への影響を最小限に抑えるため、本原理の実施形態の技法は、回転済みのフレーム６０８を得るために、フレーム６０２を１８０度回転させるものである。この事例では、回転済みのエリアＢ  ６１０は、回転済みのフレーム６０８の最後のラインのＣＴＵと考えられ、図４および５で描写されるように、上方のＣＴＵからの予測を使用して符号化／復号することができる。別の方法は、上／左のブロックから予測することに加えて、下のブロックから予測できるようにするために、現在のエンコーダ／デコーダの実装を適応させるものである。回転済みのエリアＡ  ６１２内の第１のラインの符号化済みのＣＴＵは、回転済みのエリアＢ  ６１０のＣＴＵのラインを予測するためにも使用されていることに気付くはずである。
【００２１】
図７は、本原理の実施形態による、画像／フレーム７０２を符号化／復号するためのＣＴＵ走査技法のさらなる別の例７００を示す。ステップ３：エリアＣ−エリアＡ  ７０４およびＢ  ７０６は以前に符号化／復号されているため、エリアＣ  ７０８は、エリアＡ  ７０４およびＢ  ７０６に基づいて空間予測を使用して符号化／復号することができる。本原理の実施形態の技法は、この場合もやはり、回転済みのフレーム７１０を使用するものである。この事例では、回転済みのエリアＣ  ７１２は、回転済みのフレーム７１０のＣＴＵの最後の列と考えられ、左のＣＴＵから（すなわち、回転済みのエリアＡ  ７１４および回転済みのエリアＢ  ７１６から）の予測を使用して符号化／復号することができる。この場合もやはり、別の方法は、上／左のブロックから予測することに加えて、右のブロックから予測できるようにするために、現在のエンコーダ／デコーダの実装を適応させるものである。
【００２２】
ＨＥＶＣのような現代のコーデック内では、コンテキスト変数は、エントロピーに基づくコード化（例えば、コンテキスト適応型バイナリ算術コード化（ＣＡＢＡＣ））に対して使用される。スマートＣＴＵ走査順番などの本原理の技法を採用する実施形態の事例においてコンテキスト関連性を最大化するため、次の通り、コンテキスト保存を実行することができる。エリアＡ内の第１のラインのＣＴＵのコード化の終了時に、関連ＣＡＢＡＣエンコーダ／デコーダのコンテキストが保存される。次いで、これらのコンテキストは、エリアＢの符号化／復号を開始する際にリロードされる。現に、エリアＢの第１のＣＴＵは、実際には、エリアＡの第１のラインの最後のＣＴＵのすぐ上にある。エリアＡの最後のラインの第１のＣＴＵをコード化した後、関連ＣＡＢＡＣエンコーダ／デコーダのコンテキストが保存される。次いで、これらのコンテキストは、エリアＣの符号化／復号を開始する際にリロードされる。
【００２３】
図８は、本原理の実施形態による、エリアＣのコード化順番の変形技法の例８００を描写する。ライン単位でエリアＣ  ８０６を符号化／復号する代わりに、フレーム８０２は、再び９０度回転させ、回転済みのフレーム８０４を形成することができる。これにより、回転済みのエリアＣ  ８０８の第１のＣＴＵは回転済みのエリアＢ  ８１０の最後のＣＴＵの近隣のＣＴＵであるため、エンコーダ／デコーダは、上記で説明されるようなコンテキスト変数の保存を回避することができる。
【００２４】
図９は、本原理の実施形態による、エリアＢのコード化順番の変形技法の例９００を示す。エリアＡ  ９０６の後にエリアＢ  ９０４をコード化する代わりに、エリアＡ  ９０６は、第１のライン９０８と残りの部分９１０とに分けられる。それにより、エリアＢ  ９０４に対するコンテキスト変数の保存を回避することができる。図８に示されるエリアＣの変形形態と共に使用されるこの技法は、コンテキスト変数の保存に対するいかなる要件も排除する。エリアＡ  ９０６の第１のライン９０８は、フレーム９０２に示されるように最初に走査される。次いで、フレーム９１２に示されるエリアＢ  ９１４が逆走査される。最後に、エリアＡ  ９２０の残りの部分９１８がフレーム９１６で描写されるように走査される。
【００２５】
図１０に移ると、本原理の実施形態による、符号化／復号のための例示的な装置１０００が示されている。説明を簡潔にしておくため、例は、エンコーダのみまたはデコーダのみを指す。しかし、当業者であれば、エンコーダで採用される技法はデコーダでも使用することができ、その逆も可能であることが把握されよう。装置１０００は、この例では、エンコーダ１００２を含み、エンコーダ１００２は、画像フレーム１００４を受信し、符号化済みの画像フレーム１００６を提供する（同様に、本原理の実施形態を組み込むデコーダを使用して復号済みの画像フレームを提供することができる）。エンコーダ１００２は、画像フレーム１００４を符号化するための走査プロセスを監視する走査コントローラ１００８で構成される。また、走査コントローラ１００８は、フレームスライサ１０１２によって決定された所定の領域に対するラスタ走査順番を示す少なくとも１つのビットの埋め込み（またはデコーダの場合は読み取り）を指示することができる。
【００２６】
任意選択のＣＴＵプロセッサ１０１０は、画像フレーム１００４を受信し、画像フレーム１００４の送信に必要なデータの圧縮を可能にするためにさらに処理されるブロックまたは「単位」に画像フレーム１００４を分割する。任意選択により、ＣＴＵプロセッサ１０１０を装置１０００に含めることも、装置１０００によって受信される前に画像フレーム１００４をＣＴＵ処理することもできる。フレームスライサ１０１２は、処理済みのＣＴＵブロック／単位で構成される領域に画像フレーム１００４を分割する。各領域は、その領域に対するラスタ走査順番に関する情報を伝えるブロック／単位と関連付けられた少なくとも１つのビットを有する。符号化の間、１つまたは複数のビットは、各領域に埋め込まれる。復号の間、１つまたは複数のビットは、各領域から読み取られる。典型的には、以前に説明されるように、３つの領域（エリアＡ、エリアＢおよびエリアＣ）が構築されるが、エリアの数は、増加することも、ましてや減少することさえもできる。走査コントローラ１００８は、必要に応じて画像フレーム１００４を回転させるために、フレーム回転子を採用する。本原理の実施形態に従って異なる技法を使用することができるため、走査コントローラ１００８は、９０または１８０度、時計回りにまたは反時計回りに回転するようにフレーム回転子１０１４に指示することができる。画像フレーム１００４が回転された時点で、ラスタ走査エンジン１０１６は、走査コントローラ１００８によって指示されるように、画像フレーム１００４の特定のスライス／領域／エリアを走査する。走査コントローラ１００８は、画像フレーム９０４をさらに回転させ、再び、ラスタ走査エンジンに画像フレーム１００４を走査させることができる。従って、画像フレーム１００４は、何回も回転させ、走査することができる。
【００２７】
上記で説明される技法を考慮すると、実施形態に従って実装することができる方法論は、図１１のフローチャートを参照して、より良く把握されよう。説明を簡単にするため、方法論は一連のブロックとして示され説明されているが、いくつかのブロックは、実施形態に従って、本明細書で示され説明されるものとは異なる順番でおよび／または他のブロックと同時に起こり得るため、実施形態はブロックの順番によって制限されないことを理解および把握されたい。その上、必ずしも示されるすべてのブロックが実施形態による方法論の実装に必要であるとは限らない。
【００２８】
図１１は、本原理の実施形態による、画像の符号化／復号の方法１１００のフロー図である。方法１１００は、コード化木単位ＣＴＵを作成するために非重複単位にパーティション化された画像のフレームを受信すること（１１０２）によって開始される。パーティション化済みの単位は、少なくとも２つの領域に分類される（１１０４）。符号化の場合、領域は、各コード化単位に対する予測因子を増加するように決定することができる。復号の場合、領域は、符号化プロセスから決定することができる。少なくとも２つの領域の各々における少なくとも１つのビットは、ラスタ走査順番を示す（１１０６）。復号プロセスの場合、ビットは、領域の各々から読み取られる。符号化プロセスの場合、ビットは、領域の各々に埋め込まれる。１つまたは複数のビットは、所定の領域に対するラスタ走査順番を示す。
【００２９】
第１の領域の走査順番ビットに基づいて、画像フレームが符号化／復号され（１１０８）、符号化／復号は、ラスタ走査技法を使用して、画像フレームの垂直および水平の両方向において第２のコード化木単位（ＣＴＵ）から始まる。次いで、画像フレームを１８０度回転させる（１１１０）。回転は、時計回りまたは反時計回りの方向に遂行することができる。第２の領域の走査順番ビットに基づいて、回転済みの画像フレームの第２の領域が符号化／復号され（１１１２）、符号化／復号は、回転済みのフレームの第２の領域の水平方向において第１のＣＴＵから始まり、回転済みの画像フレームの第２の領域の水平方向において最後のＣＴＵに到達する。次いで、第３の領域の走査順番ビットに基づいて、回転済みの画像フレームの第３の領域が符号化／復号され（１１１４）、符号化／復号は、回転済みの画像フレームの第３の領域の水平方向において最後のＣＴＵおよび垂直方向において第１のＣＴＵから始まり、回転済みの画像フレームの第３の領域の水平方向において最後のＣＴＵおよび垂直方向において最後のＣＴＵに到達する。
【００３０】
方法１１００は、回転済みの画像フレームを時計回りに追加で９０度さらに回転させ、回転済みの画像の垂直エリアまたはスライスをさらなる回転済みの画像フレームの水平エリアまたはスライスにすることによって、強化することができる。次いで、さらなる回転済みの画像フレームの水平エリアまたはスライスを符号化／復号することができ、符号化／復号は、水平方向において第１のＣＴＵおよび垂直方向において最後のＣＴＵから始まり、水平方向において最後のＣＴＵおよび垂直方向において最後のＣＴＵに到達する。また、コンテキスト変数の保存が不要となるように、以前に説明されるようなさらなる処理を行うこともできる。
【００３１】
上記で説明してきたものには、実施形態の例が含まれる。当然ながら、実施形態を説明する目的で、コンポーネントまたは方法論の考えられるすべての組合せを説明することは可能ではないが、当業者は、実施形態の多くのさらなる組合せおよび並べ替えが可能であることを認識することができる。それに従って、対象物は、そのようなすべての改変形態、変更形態および変形形態を取り入れることを意図する。その上、詳細な説明または請求項において「含む（includes）」という用語が使用される限り、そのような用語は、「含む（comprising）」が採用される際には移行語と解釈されるため、「含む（comprising）」という用語と同様に、包括的であることを意図する。
【００３２】
本明細書で説明される実装は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または、信号で実装することができる。実装の単一の形態の文脈においてのみ論じられる（例えば、方法またはデバイスとしてのみ論じられる）場合であっても、論じられる特徴の実装は、他の形態（例えば、プログラム）でも実装することができる。装置は、例えば、適切なハードウェア、ソフトウェアおよびファームウェアで実装することができる。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路またはプログラマブル論理デバイスを含む、例えば、一般に処理デバイスを指す装置（例えば、プロセッサなど）で実装することができる。また、プロセッサは、例えば、スマートフォン、タブレット、コンピュータ、携帯電話、ポータブル／携帯情報端末（「ＰＤＡ」）、および、エンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスも含む。
【００３３】
本明細書で説明される様々なプロセスおよび特徴の実装は、様々な異なる機器またはアプリケーション（特に、例えば、データ符号化、データ復号、ビュー生成、テクスチャ処理、ならびに、画像および関連テクスチャ情報および／または深度情報の他の処理と関連付けられた機器またはアプリケーション）で具体化することができる。そのような機器の例は、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダに入力を提供するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡおよび他の通信デバイスを含む。明確であるべきだが、機器は、モバイルであり得、移動車両にインストールすることさえも可能である。
【００３４】
それに加えて、方法は、プロセッサによって実行されている命令によって実装することができ、そのような命令（および／または実装によって生成されたデータ値）は、例えば、集積回路、ソフトウェアキャリアまたは他の記憶装置（例えば、ハードディスク、光ディスク（例えば、コンパクトディスクとして知られているＣＤおよび／またはデジタル多用途ディスクもしくはデジタルビデオディスクと称される場合が多いＤＶＤなど）、ランダムアクセスメモリ（「ＲＡＭ」）または読み取り専用メモリ（「ＲＯＭ」））などのプロセッサ可読媒体上に格納することができる。命令は、プロセッサ可読媒体上で有形に具体化されたアプリケーションプログラムを形成することができる。命令は、例えば、ハードウェア、ファームウェア、ソフトウェアまたは組合せにおけるものであり得る。命令は、例えば、オペレーティングシステム、別個のアプリケーションまたはその２つの組合せで見つけることができる。従って、プロセッサは、例えば、プロセスを実行するように構成されたデバイスと、プロセスを実行するための命令を有するプロセッサ可読媒体（記憶装置など）を含むデバイスの両方として特徴付けることができる。さらに、プロセッサ可読媒体は、命令に加えてまたは命令の代わりに、実装によって生成されたデータ値を格納することができる。
【００３５】
当業者には明らかであるように、実装は、例えば、格納または送信することができる、情報を伝えるようにフォーマットされた様々な信号を生成することができる。情報は、例えば、方法を実行するための命令、または、説明される実装のうちの１つによって生成されたデータを含み得る。例えば、信号は、説明される実施形態の構文を書き込むまたは読み取るための規則をデータとして伝えるように、あるいは、説明される実施形態によって書き込まれた実際の構文・値をデータとして伝えるように、フォーマットすることができる。そのような信号は、例えば、電磁波として（例えば、スペクトルの高周波部分を使用して）またはベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化すること、および、符号化されたデータストリームで搬送波を変調することを含み得る。信号が伝える情報は、例えば、アナログまたはデジタル情報であり得る。信号は、知られているように、様々な異なる有線または無線リンク上で送信することができる。信号は、プロセッサ可読媒体上に格納することができる。
【００３６】
多くの実装について説明してきた。それにもかかわらず、様々な変更を行えることが理解されよう。例えば、他の実装を生成するために、異なる実装の要素を組み合わせることも、補足することも、変更することも、除去することもできる。それに加えて、当業者は、開示されるものの代わりに、他の構造およびプロセスを代用することができ、結果として得られる実装は、開示される実装と少なくとも実質的に同じ結果を達成するために、少なくとも実質的に同じ方法で、少なくとも実質的に同じ機能を実行することを理解するであろう。それに従って、これらのおよび他の実装は、この出願によって企図される。
【図１】
2019503135.tif 000003
【図２ａ】
2019503135.tif 000004
【図２ｂ】
2019503135.tif 000005
【図３】
2019503135.tif 000006
【図４】
2019503135.tif 000007
【図５】
2019503135.tif 000008
【図６】
2019503135.tif 000009
【図７】
2019503135.tif 000010
【図８】
2019503135.tif 000011
【図９】
2019503135.tif 000012
【図１０】
2019503135.tif 000013
【図１１】
2019503135.tif 000014
【国際調査報告】
2019503135.tif 000015
2019503135.tif 000016