(57)【要約】【課題】画像符号化及び復号化に適したブロック分割を行うことにより、符号化効率を向上させる技術を提供する。【解決手段】画像をブロックに分割し、分割されたブロック単位で符号化を行う画像符号化装置を提供する。ブロック分割部１０１は、画像を所定サイズの矩形に再帰的に分割して符号化対象ブロックを生成する。符号化ビット列生成部１０５は、符号化対象ブロックのブロック分割情報を符号化する。ブロック分割部１０１は、再帰的分割における対象ブロックを水平方向かつ垂直方向に４分割して４つのブロックを生成する４分割部と、再帰的分割における対象ブロックを水平方向又は垂直方向に２分割して２つのブロックを生成する２分割部とを含む。２分割部は、前回の再帰的分割が２分割である場合、前回の再帰的分割においてブロックが分割された方向と同一の方向で今回の再帰的分割の対象ブロックを分割することを禁止する。【選択図】図１
2018093416.tif 000002
【特許請求の範囲】
【請求項１】
画像をブロックに分割し、分割されたブロック単位で符号化を行う画像符号化装置であって、
前記画像を所定サイズの矩形に再帰的に分割して符号化対象ブロックを生成するブロック分割部と、
符号化対象ブロックのブロック分割情報を符号化する符号化部とを備え、
前記ブロック分割部は、
再帰的分割における対象ブロックを水平方向かつ垂直方向に４分割して４つのブロックを生成する４分割部と、
再帰的分割における対象ブロックを水平方向又は垂直方向に２分割して２つのブロックを生成する２分割部とを含み、
前記２分割部は、前回の再帰的分割が２分割である場合、前回の再帰的分割においてブロックが分割された方向と同一の方向で今回の再帰的分割の対象ブロックを分割することを禁止する、
ことを特徴とする画像符号化装置。
【請求項２】
前記２分割部は、前回の再帰的分割が２分割であり、対象ブロックが所定の大きさ以下である場合に、前回の再帰的分割においてブロックが分割された方向と同一方向で今回の再帰的分割の対象ブロックを分割することを禁止する、
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記２分割部は、前回の再帰的分割が２分割であり、前回の再帰的分割においてブロックが分割された方向が垂直方向である場合に、前回の再帰的分割においてブロックが分割された方向と同一方向で今回の再帰的分割の対象ブロックを分割することを禁止する、
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
画像をブロックに分割し、分割されたブロック単位で符号化を行う画像符号化装置であって、
前記画像を所定サイズの矩形に再帰的に分割して符号化対象ブロックを生成するブロック分割部と、
符号化対象ブロックのブロック分割情報を符号化する符号化部とを備え、
前記ブロック分割部は、
再帰的分割における対象ブロックを水平方向かつ垂直方向に４分割して４つのブロックを生成する４分割部と、
再帰的分割における対象ブロックを水平方向又は垂直方向に２分割して２つのブロックを生成する２分割部とを含み、
前記ブロック分割部は、前々回の再帰的分割が２分割であり、前回の再帰的分割が４分割である場合、対象ブロックのさらなる分割を禁止する、
ことを特徴とする画像符号化装置。
【請求項５】
画像をブロックに分割し、分割されたブロック単位で符号化を行う画像符号化方法であって、
前記画像を所定サイズの矩形に再帰的に分割して符号化対象ブロックを生成するブロック分割ステップと、
符号化対象ブロックのブロック分割情報を符号化する符号化ステップとを有し、
前記ブロック分割ステップは、
再帰的分割における対象ブロックを水平方向かつ垂直方向に４分割して４つのブロックを生成する４分割ステップと、
再帰的分割における対象ブロックを水平方向又は垂直方向に２分割して２つのブロックを生成する２分割ステップとを含み、
前記２分割ステップは、前回の再帰的分割が２分割である場合、前回の再帰的分割においてブロックが分割された方向と同一の方向で今回の再帰的分割の対象ブロックを分割することを禁止する、
ことを特徴とする画像符号化方法。
【請求項６】
画像をブロックに分割し、分割されたブロック単位で符号化を行う画像符号化プログラムであって、
前記画像を所定サイズの矩形に再帰的に分割して符号化対象ブロックを生成するブロック分割ステップと、
符号化対象ブロックのブロック分割情報を符号化する符号化ステップとをコンピュータに実行させ、
前記ブロック分割ステップは、
再帰的分割における対象ブロックを水平方向かつ垂直方向に４分割して４つのブロックを生成する４分割ステップと、
再帰的分割における対象ブロックを水平方向又は垂直方向に２分割して２つのブロックを生成する２分割ステップとを含み、
前記２分割ステップは、前回の再帰的分割が２分割である場合、前回の再帰的分割においてブロックが分割された方向と同一の方向で今回の再帰的分割の対象ブロックを分割することを禁止する、
ことを特徴とする画像符号化プログラム。
【請求項７】
画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化装置であって、
復号化されたブロック分割情報に基づいて前記画像を所定サイズの矩形に再帰的に分割して復号化対象ブロックを生成するブロック分割部と、
復号化対象ブロックを復号化する復号化部とを備え、
前記ブロック分割部は、
再帰的分割における対象ブロックを水平方向かつ垂直方向に４分割して４つのブロックを生成する４分割部と、
再帰的分割における対象ブロックを水平方向又は垂直方向に２分割して２つのブロックを生成する２分割部とを含み、
前記復号化部は、前回の再帰的分割が２分割である場合、前回の再帰的分割においてブロックが分割された方向と同一の方向で今回の再帰的分割の対象ブロックを分割するかどうかを示すフラグを復号化しない、
ことを特徴とする画像復号化装置。
【請求項８】
画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化装置であって、
復号化されたブロック分割情報に基づいて前記画像を所定サイズの矩形に再帰的に分割して復号化対象ブロックを生成するブロック分割部と、
復号化対象ブロックを復号化する復号化部とを備え、
前記ブロック分割部は、
再帰的分割における対象ブロックを水平方向かつ垂直方向に４分割して４つのブロックを生成する４分割部と、
再帰的分割における対象ブロックを水平方向又は垂直方向に２分割して２つのブロックを生成する２分割部とを含み、
前記復号化部は、前々回の再帰的分割が２分割であり、前回の再帰的分割が４分割である場合、対象ブロックをさらに分割するかどうかを示すフラグを復号化しない、
ことを特徴とする画像復号化装置。
【請求項９】
画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化方法であって、
復号化されたブロック分割情報に基づいて前記画像を所定サイズの矩形に再帰的に分割して復号化対象ブロックを生成するブロック分割ステップと、
復号化対象ブロックを復号化する復号化ステップとを有し、
前記ブロック分割ステップは、
再帰的分割における対象ブロックを水平方向かつ垂直方向に４分割して４つのブロックを生成する４分割ステップと、
再帰的分割における対象ブロックを水平方向又は垂直方向に２分割して２つのブロックを生成する２分割ステップとを含み、
前記復号化ステップは、前回の再帰的分割が２分割である場合、前回の再帰的分割においてブロックが分割された方向と同一の方向で今回の再帰的分割の対象ブロックを分割するかどうかを示すフラグを復号化しない、
ことを特徴とする画像復号化方法。
【請求項１０】
画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化プログラムであって、
復号化されたブロック分割情報に基づいて前記画像を所定サイズの矩形に再帰的に分割して復号化対象ブロックを生成するブロック分割ステップと、
復号化対象ブロックを復号化する復号化ステップとをコンピュータに実行させ、
前記ブロック分割ステップは、
再帰的分割における対象ブロックを水平方向かつ垂直方向に４分割して４つのブロックを生成する４分割ステップと、
再帰的分割における対象ブロックを水平方向又は垂直方向に２分割して２つのブロックを生成する２分割ステップとを含み、
前記復号化ステップは、前回の再帰的分割が２分割である場合、前回の再帰的分割においてブロックが分割された方向と同一の方向で今回の再帰的分割の対象ブロックを分割するかどうかを示すフラグを復号化しない、
ことを特徴とする画像復号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像をブロックに分割し、分割されたブロック単位で符号化及び復号化を行う技術に関する。
【背景技術】
【０００２】
画像符号化及び復号化では、画像を所定数の画素の集合であるブロックに分割し、ブロック単位で符号化及び復号化を行う。適切なブロックの分割を行うことで画面内予測（イントラ予測）、画面間予測（インター予測）、直交変換、エントロピー符号化、等の効率が向上し、その結果、符号化効率が向上する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１５−５２６００８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
適切な大きさ及び形状でブロックを分割しなければ、符号化効率が低下する。また、適切な大きさ及び形状でブロックを分割しなければ、その後の符号化及び復号化での処理量が増大する。
【０００５】
本発明はこうした状況に鑑みてなされたものであり、その目的は、画像符号化及び復号化に適したブロック分割を行うことにより、符号化効率を向上させる技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の画像符号化装置は、画像をブロックに分割し、分割されたブロック単位で符号化を行う画像符号化装置であって、前記画像を所定サイズの矩形に再帰的に分割して符号化対象ブロックを生成するブロック分割部（１０１）と、符号化対象ブロックのブロック分割情報を符号化する符号化部（１０５）とを備える。前記ブロック分割部は、再帰的分割における対象ブロックを水平方向かつ垂直方向に４分割して４つのブロックを生成する４分割部と、再帰的分割における対象ブロックを水平方向又は垂直方向に２分割して２つのブロックを生成する２分割部とを含む。前記２分割部は、前回の再帰的分割が２分割である場合、前回の再帰的分割においてブロックが分割された方向と同一の方向で今回の再帰的分割の対象ブロックを分割することを禁止する。
【０００７】
本発明の別の態様もまた、画像符号化装置である。この装置は、画像をブロックに分割し、分割されたブロック単位で符号化を行う画像符号化装置であって、前記画像を所定サイズの矩形に再帰的に分割して符号化対象ブロックを生成するブロック分割部（１０１）と、符号化対象ブロックのブロック分割情報を符号化する符号化部（１０５）とを備える。前記ブロック分割部は、再帰的分割における対象ブロックを水平方向かつ垂直方向に４分割して４つのブロックを生成する４分割部と、再帰的分割における対象ブロックを水平方向又は垂直方向に２分割して２つのブロックを生成する２分割部とを含む。前記ブロック分割部は、前々回の再帰的分割が２分割であり、前回の再帰的分割が４分割である場合、対象ブロックのさらなる分割を禁止する。
【０００８】
本発明のさらに別の態様は、画像符号化方法である。この方法は、画像をブロックに分割し、分割されたブロック単位で符号化を行う画像符号化方法であって、前記画像を所定サイズの矩形に再帰的に分割して符号化対象ブロックを生成するブロック分割ステップと、符号化対象ブロックのブロック分割情報を符号化する符号化ステップとを有する。前記ブロック分割ステップは、再帰的分割における対象ブロックを水平方向かつ垂直方向に４分割して４つのブロックを生成する４分割ステップと、再帰的分割における対象ブロックを水平方向又は垂直方向に２分割して２つのブロックを生成する２分割ステップとを含む。前記２分割ステップは、前回の再帰的分割が２分割である場合、前回の再帰的分割においてブロックが分割された方向と同一の方向で今回の再帰的分割の対象ブロックを分割することを禁止する。
【０００９】
本発明のさらに別の態様は、画像復号化装置である。この装置は、画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化装置であって、復号化されたブロック分割情報に基づいて前記画像を所定サイズの矩形に再帰的に分割して復号化対象ブロックを生成するブロック分割部（２０２）と、復号化対象ブロックを復号化する復号化部（２０３、２０４、２０５）とを備える。前記ブロック分割部は、再帰的分割における対象ブロックを水平方向かつ垂直方向に４分割して４つのブロックを生成する４分割部と、再帰的分割における対象ブロックを水平方向又は垂直方向に２分割して２つのブロックを生成する２分割部とを含む。前記復号化部は、前回の再帰的分割が２分割である場合、前回の再帰的分割においてブロックが分割された方向と同一の方向で今回の再帰的分割の対象ブロックを分割するかどうかを示すフラグを復号化しない。
【００１０】
本発明のさらに別の態様もまた、画像復号化装置である。この装置は、画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化装置であって、復号化されたブロック分割情報に基づいて前記画像を所定サイズの矩形に再帰的に分割して復号化対象ブロックを生成するブロック分割部（２０２）と、復号化対象ブロックを復号化する復号化部（２０３、２０４、２０５）とを備える。前記ブロック分割部は、再帰的分割における対象ブロックを水平方向かつ垂直方向に４分割して４つのブロックを生成する４分割部と、再帰的分割における対象ブロックを水平方向又は垂直方向に２分割して２つのブロックを生成する２分割部とを含む。前記復号化部は、前々回の再帰的分割が２分割であり、前回の再帰的分割が４分割である場合、対象ブロックをさらに分割するかどうかを示すフラグを復号化しない。
【００１１】
本発明のさらに別の態様は、画像復号化方法である。この方法は、画像をブロックに分割し、分割されたブロック単位で復号化を行う画像復号化方法であって、復号化されたブロック分割情報に基づいて前記画像を所定サイズの矩形に再帰的に分割して復号化対象ブロックを生成するブロック分割ステップと、復号化対象ブロックを復号化する復号化ステップとを有する。前記ブロック分割ステップは、再帰的分割における対象ブロックを水平方向かつ垂直方向に４分割して４つのブロックを生成する４分割ステップと、再帰的分割における対象ブロックを水平方向又は垂直方向に２分割して２つのブロックを生成する２分割ステップとを含む。前記復号化ステップは、前回の再帰的分割が２分割である場合、前回の再帰的分割においてブロックが分割された方向と同一の方向で今回の再帰的分割の対象ブロックを分割するかどうかを示すフラグを復号化しない。
【００１２】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１３】
本発明によれば、画像符号化及び復号化に適したブロック分割が可能になり、符号化効率を向上させ、処理量の少ない画像符号化及び復号化を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施の形態に係る画像符号化装置の構成図である。
【図２】第１の実施の形態に係る画像復号化装置の構成図である。
【図３】ツリーブロックへの分割及びツリーブロック内部の分割を説明するフローチャートである。
【図４】入力された画像をツリーブロックに分割する様子を示す図である。
【図５】ｚ−スキャンを説明する図である。
【図６】ツリーブロックを水平かつ垂直方向に４分割した図である。
【図７】ツリーブロックを水平方向に２分割した図である。
【図８】ツリーブロックを垂直方向に２分割した図である。
【図９】ツリーブロックを水平方向及び垂直方向に４分割した場合の分割された各ブロックの処理を説明するフローチャートである。
【図１０】ツリーブロックを水平方向に２分割した場合の分割された各ブロックの処理を説明するフローチャートである。
【図１１】ツリーブロックの分割が水平方向に２分割された場合の分割されたブロックの再分割の様子を示す図である。
【図１２】ツリーブロックを垂直方向に２分割した場合の分割された各ブロックの処理を説明するフローチャートである。
【図１３】ツリーブロックの分割が垂直方向に２分割された場合の分割されたブロックの再分割の様子を示す図である。
【図１４】第１の実施の形態のブロック分割に関するシンタックスの例を示す図である。
【図１５】イントラ予測を説明する図である。
【図１６】インター予測を説明する図である。
【図１７】第２の実施の形態のブロック分割に関するシンタックスの例を示す図である。
【図１８】第２の実施の形態のブロック分割に関するシンタックスの別の例を示す図である。
【図１９】第３の実施の形態のブロック分割に関するシンタックスの例を示す図である。
【図２０】水平方向または垂直方向に２分割された場合のブロック内部をさらに同一方向に再分割する様子を示す図である。
【図２１】第４の実施の形態のブロック分割に関するシンタックスの例を示す図である。
【図２２】ツリーブロックの分割が２分割された場合のブロック内部の４分割を示す図である。
【発明を実施するための形態】
【００１５】
本発明の実施の形態は、画像を矩形ブロックに分割し、分割されたブロックを符号化・復号化する画像符号化技術を提供する。
【００１６】
（第１の実施の形態）
本発明の実施の形態１に係る画像符号化装置１００及び画像復号化装置２００について説明する。実施の形態１では、ブロック分割を再帰的に行う際、同一方向に連続して分割することを制限する。
【００１７】
図１は第１の実施の形態に係る画像符号化装置１００の構成図である。ここで、図１では画像信号に関するデータの流れのみを表しており、動きベクトルや予測モードなど画像信号以外の付加情報については各構成要素が符号化ビット列生成部１０５に供給して対応する符号化データを生成するが、付加情報に関するデータの流れは図示していない。
【００１８】
ブロック分割部１０１は、画像を符号化の処理単位となる符号化対象ブロックに分割し、符号化対象ブロック内の画像信号を残差信号生成部１０３に供給する。また、ブロック分割部１０１は、予測画像の一致度を評価するために符号化対象ブロックの画像信号を予測画像生成部１０２に供給する。
【００１９】
ブロック分割部１０１は、画像を所定サイズの矩形に再帰的に分割して符号化対象ブロックを生成する。ブロック分割部１０１は、再帰的分割における対象ブロックを水平方向かつ垂直方向に４分割して４つのブロックを生成する４分割部と、再帰的分割における対象ブロックを水平方向又は垂直方向に２分割して２つのブロックを生成する２分割部とを含む。ブロック分割部１０１の詳細の動作については後述する。
【００２０】
予測画像生成部１０２は、復号画像メモリ１０８から供給される復号画像信号から、予測モードを基にピクチャ内予測（イントラ予測）或いはピクチャ間予測（インター予測）を行い、予測画像信号を生成する。ブロック分割部１０１から供給される符号化対象ブロック内の画像信号はイントラ予測及びインター予測の評価に用いられる。イントラ予測では、ブロック分割部１０１から供給される符号化対象ブロックの画像信号と、復号画像メモリ１０８から供給される符号化対象のブロックと同じピクチャ内に存在する符号化対象のブロックに近接する周囲の符号化済みブロックの画像信号を用いて予測画像信号を生成する。インター予測では、ブロック分割部１０１から供給され符号化対象ブロックの画像信号を、符号化対象ブロックを含むピクチャ（符号化ピクチャ）の時系列で前または後ろにある復号画像メモリ１０８に格納されている符号化済みピクチャを参照ピクチャとし、符号化ピクチャと参照ピクチャとの間でブロックマッチング等のブロック一致度評価を行い、動き量を示す動きベクトルを求め、この動き量を基に参照ピクチャから動き補償を行い、予測画像信号を生成する。予測画像生成部１０２は、こうして生成された予測画像信号を残差信号生成部１０３に供給する。
【００２１】
残差信号生成部１０３は、符号化する画像信号と予測画像生成部１０２にて生成された予測信号との減算を行い残差信号を生成し、直交変換・量子化部１０４に供給する。
【００２２】
直交変換・量子化部１０４は、残差信号生成部１０３から供給される残差信号を直交変換・量子化し、直交変換・量子化された残差信号を符号化ビット列生成部１０５及び逆量子化・逆直交変換部１０６に供給する。
【００２３】
符号化ビット列生成部１０５は直交変換・量子化部１０４から供給される直交変換・量子化された残差信号に対する符号化ビット列を生成する。また、符号化ビット列生成部１０５は動きベクトルや予測モード、ブロック分割情報などの付加情報について、対応する符号化ビット列を生成する。
【００２４】
逆量子化・逆直交変換部１０６は、直交変換・量子化部１０４から供給される直交変換・量子化された残差信号を逆量子化・逆直交変換し、逆量子化・逆直交変換された残差信号を復号画像信号重畳部１０７に供給する。
【００２５】
復号画像信号重畳部１０７は、予測画像生成部１０２により生成された予測画像信号と逆量子化・逆直交変換部１０６で逆量子化及び逆直交変換された残差信号を重畳して復号画像を生成し、復号画像メモリ１０８に格納する。尚、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ１０８に格納することもある。
【００２６】
図２は実施の形態１に係る画像復号化装置２００の構成図である。ここで、図２では画像信号に関するデータの流れのみを表しており、動きベクトルや予測モードなど画像信号以外の付加情報についてはビット列復号部２０１が各構成要素に供給して対応する処理に用いるが、付加情報に関するデータの流れは図示していない。
【００２７】
ビット列復号部２０１は、供給された符号化ビット列を復号化して、直交変換・量子化された残差信号をブロック分割部２０２に供給する。
【００２８】
ブロック分割部２０２は、復号化したブロック分割情報に基づいて復号化対象ブロックの形状を決定し、決定された復号化対象ブロックの直交変換・量子化された残差信号を逆量子化・逆直交変換部２０３に供給する。
【００２９】
ブロック分割部２０２は、画像を復号化されたブロック分割情報に基づいて所定サイズの矩形に再帰的に分割して復号化対象ブロックを生成する。ブロック分割部２０２は、再帰的分割における対象ブロックを水平方向かつ垂直方向に４分割して４つのブロックを生成する４分割部と、再帰的分割における対象ブロックを水平方向又は垂直方向に２分割して２つのブロックを生成する２分割部とを含む。ブロック分割部２０２の詳細の動作については後述する。
【００３０】
逆量子化・逆直交変換部２０３は、供給された直交変換・量子化された残差信号に対して、逆直交変換及び逆量子化を行い、逆直交変換・逆量子化された残差信号を得る。
【００３１】
予測画像生成部２０４は、復号画像メモリ２０６から供給される復号画像信号から予測画像信号を生成し、復号画像信号重畳部２０５に供給する。
【００３２】
復号画像信号重畳部２０５は、予測画像生成部２０４で生成された予測画像信号と、逆量子化・逆直交変換部２０３により逆直交変換・逆量子化された残差信号とを重畳することにより、復号画像信号を生成し、出力するとともに復号画像メモリ２０６に格納する。尚、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ２０６に格納することもある。
【００３３】
画像符号化装置１００のブロック分割部１０１の動作について詳細に説明する。図３はツリーブロックへの分割及びツリーブロック内部の分割を説明するフローチャートである。
【００３４】
まず、入力された画像を所定サイズのツリーブロックに分割する（Ｓ１０００）。例えば、ツリーブロックを１２８画素ｘ１２８画素とする。ただし、ツリーブロックは１２８画素ｘ１２８画素に限定されず、矩形であればどのような大きさ及び形状を用いてもよい。また、ツリーブロックの大きさ及び形状は、符号化装置と復号化装置の間で固定の値を定めておいてもよいが、符号化装置が決定して符号化ビットストリーム内に記録し復号化装置が記録されたブロックサイズを用いる構成にしてもよい。入力された画像をツリーブロックに分割する様子を図４に示す。ツリーブロックは、ラスタスキャン順、すなわち左から右、上から下に符号化及び復号化される。
【００３５】
ツリーブロックの内部をさらに矩形のブロックに分割していく。ツリーブロック内部はｚ−スキャン順に符号化・復号化していく。図５にｚ−スキャンの順序を示す。ｚ−スキャンでは、左上、右上、左下、右下、の順序で符号化及び復号化する。ツリーブロック内部の分割は４分割と２分割が可能であり、４分割は水平方向かつ垂直方向に分割する。２分割は水平方向又は垂直方向に分割する。図６はツリーブロックを水平かつ垂直方向に４分割した図である。図７はツリーブロックを水平方向に２分割した図である。図８はツリーブロックを垂直方向に２分割した図である。
【００３６】
再び図３を参照する。ツリーブロック内部を水平及び垂直方向に４分割するかどうかを判断する（Ｓ１００１）。
【００３７】
ツリーブロック内部を４分割すると判断した場合（Ｓ１００１：Ｙｅｓ）、ツリーブロック内部を４分割し（Ｓ１００２）、水平かつ垂直方向に４分割したブロックの各処理を行う（Ｓ１００３）。４分割されたブロックの再分割処理については後述する（図９）。
【００３８】
ツリーブロック内部を４分割しないと判断した場合（Ｓ１００１：Ｎｏ）、ツリーブロック内部を２分割するかどうかを判断する（Ｓ１００４）。
【００３９】
ツリーブロック内部を２分割すると判断した場合（Ｓ１００４：Ｙｅｓ）、２分割する方向を水平方向とするかどうかを判断する（Ｓ１００５）。
【００４０】
２分割する方向を水平方向と判断した場合（Ｓ１００５：Ｙｅｓ）、ツリーブロック内部を水平方向に２分割し（Ｓ１００６）、水平方向に２分割したブロックの各処理を行う（Ｓ１００７）。水平方向に２分割されたブロックの再分割処理については後述する（図１０）。
【００４１】
２分割する方向を水平方向ではなく垂直方向と判断した場合（Ｓ１００５：Ｎｏ）、ツリーブロック内部を垂直方向に２分割し（Ｓ１００８）、垂直方向に２分割したブロックの各処理を行う（Ｓ１００９）。水平方向に２分割されたブロックの再分割処理については後述する（図１１）。
【００４２】
ツリーブロック内部を２分割しないと判断した場合（Ｓ１００４：Ｎｏ）、ツリーブロックの内部をブロック分割せずにブロック分割処理を終了する（Ｓ１０１０）。
【００４３】
続いて、ツリーブロックを水平方向かつ垂直方向に４分割した場合の分割された各ブロックの処理について図９のフローチャートを用いて説明する。
【００４４】
ブロック内部を水平かつ垂直方向に再び４分割するかどうかを判断する（Ｓ１１０１）。
【００４５】
ブロック内部を再び４分割すると判断した場合（Ｓ１１０１：Ｙｅｓ）、ブロック内部を再び４分割し（Ｓ１１０２）、水平かつ垂直方向に４分割したブロックの各処理を行う（Ｓ１１０３）。
【００４６】
ブロック内部を再び４分割しないと判断した場合（Ｓ１１０１：Ｎｏ）、ブロック内部を２分割するかどうかを判断する（Ｓ１１０４）。
【００４７】
ブロック内部を２分割すると判断した場合（Ｓ１１０４：Ｙｅｓ）、２分割する方向を水平方向とするかどうかを判断する（Ｓ１１０５）。
【００４８】
２分割する方向を水平方向と判断した場合（Ｓ１１０５：Ｙｅｓ）、ブロック内部を水平方向に２分割し（Ｓ１１０６）、水平方向に２分割したブロックの各処理を行う（Ｓ１１０７）。
【００４９】
２分割する方向を水平方向ではなく垂直方向と判断した場合（Ｓ１１０５：Ｎｏ）、ブロック内部を垂直方向に２分割し（Ｓ１１０８）、垂直方向に２分割したブロックの各処理を行う（Ｓ１１０９）。
【００５０】
ブロック内部を２分割しないと判断した場合（Ｓ１１０４：Ｎｏ）、ブロックの内部をブロック分割せずにブロック分割処理を終了する（Ｓ１１１０）。
【００５１】
図９のフローチャートに示す処理が４分割された各ブロックについて実行される。４分割されたブロックの内部もｚ−スキャン順に符号化及び復号化していく。
【００５２】
続いて、ツリーブロックを水平方向に２分割した場合の分割された各ブロックの処理について図１０のフローチャートを用いて説明する。
【００５３】
ツリーブロックを水平方向に２分割した場合、２分割された各ブロックは、まず、ブロック内部を水平及び垂直方向に４分割するかどうかを判断する（Ｓ１２０１）。
【００５４】
ブロック内部を４分割すると判断した場合（Ｓ１２０１：Ｙｅｓ）、ブロック内部を４分割し（Ｓ１２０２）、水平かつ垂直方向に４分割したブロックの各処理を行う（Ｓ１２０３）。
【００５５】
ブロック内部を４分割しないと判断した場合（Ｓ１２０１：Ｎｏ）、ブロック内部を再び２分割するかどうかを判断する（Ｓ１２０４）。
【００５６】
再び２分割すると判断した場合（Ｓ１２０４：Ｙｅｓ）、ブロック内部を垂直方向に分割し（Ｓ１２０５）、垂直方向に２分割したブロックの各処理を行う（Ｓ１２０６）。
【００５７】
再び２分割しないと判断した場合（Ｓ１２０４：Ｎｏ）、ブロックの内部を再分割せずブロック分割処理を終了する（Ｓ１２０７）。
【００５８】
図１１にツリーブロックの分割が水平方向に２分割された場合の分割されたブロックの再分割の様子を示す。ここで、親ブロックであるツリーブロックが水平方向に２分割された場合、分割されたブロックの再２分割では、垂直方向のみの２分割を許容し、自動的に垂直方向に２分割する。また、親ブロックであるツリーブロックが２分割された場合、子ブロックでは４分割も完全に禁止することも可能である。これにより、親ブロックと同一方向にブロックが分割されることを禁止できるため、より横方向に細長い長方形となるブロック分割を防止でき、符号化・復号化の処理がしやすくなる。
【００５９】
図１０のフローチャートに示す処理が水平方向に２分割された各ブロックについて実行される。２分割されたブロックの内部も上、下の順に符号化及び復号化していく。
【００６０】
続いて、ツリーブロックを垂直方向に２分割した場合の分割された各ブロックの処理について図１２のフローチャートを用いて説明する。
【００６１】
ツリーブロックを垂直方向に２分割した場合、２分割された各ブロックは、まず、ブロック内部を水平及び垂直方向に４分割するかどうかを判断する（Ｓ１３０１）。
【００６２】
ブロック内部を４分割すると判断した場合（Ｓ１３０１：Ｙｅｓ）、ブロック内部を４分割し（Ｓ１３０２）、水平かつ垂直方向に４分割したブロックの各処理を行う（Ｓ１３０３）。
【００６３】
ブロック内部を４分割しないと判断した場合（Ｓ１３０１：Ｎｏ）、ブロック内部を再び２分割するかどうかを判断する（Ｓ１３０４）。
【００６４】
再び２分割すると判断した場合（Ｓ１３０４：Ｙｅｓ）、ブロック内部を水平方向に分割し（Ｓ１３０５）、水平方向に２分割したブロックの各処理を行う（Ｓ１３０６）。
【００６５】
再び２分割しないと判断した場合（Ｓ１３０４：Ｎｏ）、ブロックの内部を再分割せずブロック分割処理を終了する（Ｓ１３０７）。
【００６６】
図１３にツリーブロックの分割が垂直方向に２分割された場合の分割されたブロックの再分割の様子を示す。ここで、親ブロックであるツリーブロックが垂直方向に２分割された場合、分割されたブロックの再２分割では、水平方向のみの２分割を許容し、自動的に水平方向に２分割する。また、親ブロックであるツリーブロックが２分割された場合、子ブロックでは４分割も完全に禁止することも可能である。これにより、親ブロックと同一方向にブロックが分割されることを禁止できるため、より縦方向に細長い長方形となるブロック分割を防止でき、符号化・復号化の処理がしやすくなる。
【００６７】
図１２のフローチャートに示す処理が垂直方向に２分割された各ブロックについて実行される。２分割されたブロックの内部も左、右の順に符号化及び復号化していく。
【００６８】
なお、ツリーブロックが分割された時の分割されたブロックの再分割について説明したが、親ブロックがツリーブロックでなくてもよい。例えば、ツリーブロック（１２８ｘ１２８）を４分割し、４分割されたブロック（６４ｘ６４）をさらに４分割又は２分割した場合に、再分割されたブロックの分割にも上記処理を適用していく。
【００６９】
次に、画像復号化装置２００のブロック分割部２０２の動作について説明する。画像符号化装置１００のブロック分割部１０１と同じ処理手順でブロックを分割するが、画像符号化装置１００のブロック分割部１０１では、ブロック分割のパターンを選択し、選択したブロック分割情報を出力するのに対して、画像復号化装置のブロック分割部２０２は、符号化ビットストリームから復号化されたブロック分割情報を用いてブロックを分割すること、また、符号化ビットストリームからブロック分割情報を復号化する際に、同一方向への再分割が禁止される状況では、選択肢のない情報はビットストリーム内で伝送しないシンタックス構造となっていることが異なる。
【００７０】
第１の実施の形態のブロック分割に関するシンタックス（符号化ビットストリームの構文規則）の例を図１４に示す。ツリーブロックの内部の分割は、まず４分割をするかどうかのフラグ（4_division_flag）を送受信する。４分割する場合（4_division_flagが1）は、ツリーブロック内を４分割して処理を終了する。その後４分割されたブロックについて再度図１４に示すシンタックスで内部を再分割する。４分割しない場合（4_division_flagが0）は、２分割するかどうかのフラグ（2_division_flag）を送受信する。２分割する場合（2_division_flagが1）は、さらに、２分割する方向を示すフラグ（2_division_direction）を送受信する。2_division_directionが1の場合は垂直方向への分割を示し、2_division_directionが0の場合は水平方向への分割を示す。その後２分割されたブロックについて再度図１４に示すシンタックスでブロック内部を再分割する。２分割しない場合（2_division_flagが0）は、ツリーブロックを分割せずに処理を終了する。
【００７１】
ここで、４分割又は２分割されたブロックの内部を再分割する処理について説明する。ブロック内部を再分割する処理も図１４に示すシンタックスを用いるが、ツリーブロックを分割する場合と比較して、２分割する場合の分割方向に制限があることが異なる。つまり、ツリーブロックを２分割している場合、２分割されたブロックの内部を再分割する場合には、ツリーブロックを２分割した分割方向と同一の方向で分割することを禁止する。これにより、分割されたブロックがより細長い長方形になることを防止し、イントラ予測やインター予測で必要となるメモリ帯域の増加を防止することができる。メモリ帯域の増加の防止についての詳細は後述する。
【００７２】
また、同一方向に２分割した数をカウントして所定回数を超えた場合に同一方向に分割することを制限してももちろんよい。例えば、２回まで同一方向への２分割を許可するが、３回目からは同一方向への２分割を禁止する。
【００７３】
図１４では、４分割を優先して選択し、４分割するかどうかの情報を２分割するかどうかの情報よりも先に送受信するシンタックスとした。一方、２分割を優先して選択する場合、２分割するかどうかの情報を４分割するかどうかの情報よりも先に送受信するシンタックスとすることも可能である。確率的により発生しやすい事象を先に送受信する方がビットストリームとして伝送する符号量が少なくなるためである。つまり、予め４分割と２分割のどちらが発生しやすいか推定し、より発生しやすい分割情報を先にする送受信するシンタックスとしてもよい。例えば、画像のヘッダ情報で４分割を優先するか、２分割を優先するかを送受信することで、符号化装置が適応的に符号化効率の高い優先分割数を決定して、復号化装置では選択された優先分割数に基づいたシンタックスでツリーブロック内部を分割することもできる。
【００７４】
画像符号化装置１００及び画像復号化装置２００において、分割されたブロックを用いてイントラ予測やインター予測が行われる。イントラ予測、インター予測ともにメモリからの画素のコピーを伴う。
【００７５】
図１５（ａ）〜図１５（ｄ）にイントラ予測の一例を示す。図１５（ａ）及び図１５（ｂ）はイントラ予測の予測方向とモード番号を示す。イントラ予測は、図１５（ｃ）及び図１５（ｄ）に示すように、符号化・復号化対象ブロックに近接する符号化・復号化済の画素から画素をコピーすることで符号化・復号化対象ブロックの予測画像を生成する。イントラ予測では、ブロック単位で予測画像生成から符号化・復号化画素生成を繰り返すため、処理順序がブロック単位でシーケンシャルとなり、ブロック内部を小さく分割するほど全体の処理の負荷が大きくなる。また、ブロックの形状が細長い長方形になるほどメモリからの画素コピーの処理が大きくなる。また、符号化・復号化には残差信号の直交変換を行うため、長方形のサイズの種類が多くなればなるほど必要な直交変換の種類が多くなり、その結果回路規模の増大につながる。そのため、ブロック内部を２分割する場合に、親ブロックの分割方法と同一方向に２分割することを制限することで、イントラ予測で必要となるメモリ帯域の増加を防止することができる。
【００７６】
図１６にインター予測の一例を示す。インター予測は、符号化・復号化済の画像に含まれる画素からブロック単位で画素をコピーすることで符号化・復号化対象ブロックの予測画像を生成する。インター予測では、参照画像からブロック単位で画素をコピーする際に、必要な画素が含まれるメモリの管理単位での取得が必要な装置の構成となることが多い。そのため、ブロックを小さく分割するほど、また、ブロックの形状が細長い長方形になるほど、全体の処理の負荷が大きくなる。また、参照画像に対して補間フィルタを用いた小数精度の動き補償を行う場合には、ブロック内に含まれる画素に数画素を加えた画素のコピーが必要となり、ブロックの大きさが小さいほど、追加する数画素の相対的な比率が大きくなり、全体の処理の負荷が大きくなる。そのため、ブロック内部を２分割する場合に、親のブロックの分割方向と同一方向に２分割することを制限することで、インター予測で必要となるメモリ帯域の増加を防止することができる。
【００７７】
（第２の実施の形態）
本発明の第２の実施の形態に係る画像符号化装置及び画像復号化装置について説明する。第２の実施の形態では、ブロックが所定サイズ以下の場合にブロック内部をさらに分割することを制限することが第１の実施の形態とは異なり、それ以外の構成は第１の実施の形態と同様である。これにより、ブロック内部を小さく分割するほど全体の処理の負荷が大きくなることを防止する。
【００７８】
図１７、図１８に第２の実施の形態のブロック分割に関するシンタックスを示す。第１の実施の形態の図１４のシンタックスとの差異は、最初にブロックの大きさが所定サイズより大きい場合のみブロック分割を可能としていることである。図１７の場合、ブロック内の画素数が６４より大きい場合のブロックを４分割または２分割できる。
【００７９】
また、４分割と２分割で分割されたブロック内の画素数の差を考慮する場合、図１８のように、４分割はブロック内の画素数が６４より大きい場合に許可し、２分割はブロック内の画素数が３２より大きい場合に許可する。これにより、分割されたブロックの画素数の制限を精度よく制御できる。
【００８０】
（第３の実施の形態）
本発明の第３の実施の形態に係る画像符号化装置及び画像復号化装置について説明する。第３の実施の形態では、垂直方向に分割されたブロック内部をさらに垂直方向に分割することを制限することが第１の実施の形態とは異なり、それ以外の構成は第１の実施の形態と同様である。
【００８１】
通常、画像の画素情報は一次元メモリにラスタスキャン順に格納される。つまり、一次元メモリ上は、水平方向の画素は相対的に近くに格納されており、垂直方向の画素は相対的に遠くに格納されている。よって、水平方向の画素へのアクセスは容易であるが、垂直方向の画素へのアクセスは容易ではない。例えば、横１６画素ｘ縦８画素のブロックと横８画素ｘ縦１６画素のブロックの場合、画素数は同じであるが、横８画素ｘ縦１６画素のブロックの方が横画素１６ｘ縦画素８のブロックよりも画素が格納されているメモリの範囲が広い。そのため、動き補償を用いる際に画素の転送により多くのメモリバンド幅を必要とする。
【００８２】
図１９に第３の実施の形態のブロック分割に関するシンタックスを示す。第１の実施の形態の図１４のシンタックスとの差異は、親ブロックが垂直方向に２分割されている場合にのみ、さらに内部を垂直方向に２分割することを禁止する。つまり、図２０のように、親ブロックが垂直方向に２分割されている場合、さらに内部を２分割する場合には、水平方向と垂直方向の選択はなく自動的に水平方向の分割が選択される。
【００８３】
（第４の実施の形態）
本発明の第４の実施の形態に係る画像符号化装置及び画像復号化装置について説明する。第４の実施の形態では、ブロックを２分割した後、分割された内部のブロックを４分割した場合に、４分割された内部のブロックのさらなる分割を禁止することが第１の実施の形態とは異なり、それ以外の構成は第１の実施の形態と同様である。
【００８４】
図２１に第４の実施の形態のブロック分割に関するシンタックスを示す。図２２のように、親ブロックが２分割された後に、分割された内部のブロックを４分割した場合、2_division_after_4_division_flagが1となり、その後の分割をすべて禁止する。
【００８５】
これは、２分割後に４分割した場合には、２分割を選択した際に４分割を選択しなかったことが確定しているため、２分割後に４分割した後にさらにブロック分割が必要になる可能性が低いためである。そのような場合は、最初から４分割を選択すればよい。また、２分割後に４分割している場合は、ブロックの形状が既に長方形になっているため、４分割後にさらに２分割する方向を禁止しようとすると、処理が複雑になる。２分割後に４分割されたブロックに対して一意的にその後のブロック分割を禁止すれば、ブロック分割が可能であるかどうか判定処理も複雑にならずに済む。２分割後に４分割されたブロックに対して一意的にその後のブロック分割を禁止することで、ブロック分割をしない選択をビットストリームで送受信する必要がなくなり、伝送する符号量を削減できる。
【００８６】
なお、第１の実施の形態〜第４の実施の形態までのブロック分割制限の手法を複数組み合わせることももちろん可能である。
【００８７】
以上述べた実施の形態の画像符号化装置が出力する画像の符号化ビットストリームは、実施の形態で用いられた符号化方法に応じて復号化することができるように特定のデータフォーマットを有しており、画像符号化装置に対応する画像復号化装置がこの特定のデータフォーマットの符号化ビットストリームを復号化することができる。
【００８８】
画像符号化装置と画像復号化装置の間で符号化ビットストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ビットストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、画像符号化装置が出力する符号化ビットストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する送信装置と、ネットワークから符号化データを受信して符号化ビットストリームに復元して画像復号化装置に供給する受信装置とが設けられる。
【００８９】
送信装置は、画像符号化装置が出力する符号化ビットストリームをバッファするメモリと、符号化ビットストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ビットストリームを生成し、画像復号化装置に提供するパケット処理部とを含む。
【００９０】
また、画像復号化装置で復号化された画像を表示する表示部を構成に追加することで、表示装置とすることも可能である。その場合、表示部は、復号画像信号重畳部２０５により生成され、復号画像メモリ２０６に格納された復号画像信号を読み出して画面に表示する。
【００９１】
また、撮像部を構成に追加し、撮像した画像を画像符号化装置に入力することで、撮像装置とすることも可能である。その場合、撮像部は、撮像した画像信号をブロック分割部１０１に入力する。
【００９２】
以上の符号化及び復号化に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
【００９３】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００９４】
１００  画像符号化装置、  １０１  ブロック分割部、  １０２  予測画像生成部、  １０３  残差信号生成部、  １０４  直交変換・量子化部、  １０５  符号化ビット列生成部、  １０６  逆量子化・逆直交変換部、  １０７  復号画像信号重畳部、  １０８  復号画像メモリ、  ２００  画像復号化装置、  ２０１  ビット列復号部、  ２０２  ブロック分割部、  ２０３  逆量子化・逆直交変換部、  ２０４  予測画像生成部、  ２０５  復号画像信号重畳部、  ２０６  復号画像メモリ。
【図１】
2018093416.tif 000003
【図２】
2018093416.tif 000004
【図３】
2018093416.tif 000005
【図４】
2018093416.tif 000006
【図５】
2018093416.tif 000007
【図６】
2018093416.tif 000008
【図７】
2018093416.tif 000009
【図８】
2018093416.tif 000010
【図９】
2018093416.tif 000011
【図１０】
2018093416.tif 000012
【図１１】
2018093416.tif 000013
【図１２】
2018093416.tif 000014
【図１３】
2018093416.tif 000015
【図１４】
2018093416.tif 000016
【図１５】
2018093416.tif 000017
【図１６】
2018093416.tif 000018
【図１７】
2018093416.tif 000019
【図１８】
2018093416.tif 000020
【図１９】
2018093416.tif 000021
【図２０】
2018093416.tif 000022
【図２１】
2018093416.tif 000023
【図２２】
2018093416.tif 000024