【手続補正書】
【提出日】令和1年7月31日(2019.7.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２
【補正方法】変更
【補正の内容】
【請求項２】
前記隣接画素は、前記長方形ブロックが垂直方向に長い場合に、前記長方形ブロックの長い辺又は前記長い辺を垂直下方向に拡張した延長線に隣接する左のブロックに含まれ、前記長方形ブロックが水平方向に長い場合に、前記長方形ブロックの長い辺又は前記長い辺を水平右方向に拡張した延長線に隣接する上のブロックに含まれる、ことを特徴とする請求項１に記載の画像符号化装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
本実施形態では、以上のようにして定義される２つの予測方向のうちどちらが良い予測画像を生成可能かが暗黙的に（＝符号量の増加無しに）決定されることにより、より適切なイントラ予測が実現される。上記の判定が画像符号化装置と画像復号装置とで同じアルゴリズムに従って実行されることにより、元の予測方向に対応する予測モードが符号化されながら、条件によって符号化側と復号側とで予測モードに対応する元の予測方向とは正反対の予測方向がイントラ予測に適用されるようにすることが可能となる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
上述の基本動作に基づく本実施形態について、図面を参照しながら詳細に説明する。
図５は、本実施形態で採用されるＨＥＶＣにおけるブロックの説明図である。ＨＥＶＣにおいては、ピクチャは、符号化ブロック（Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ：ＣＴＵ）単位に分割され、ラスタスキャン順に符号化処理が行われる。ＣＴＵサイズは、シーケンス単位で一定であるが、６４×６４画素から１６×１６画素までの画素サイズを選択することができる。ＣＴＵは更に第１のサブブロッＣＵに四分木構造で分割され、ＣＴＵ内でラスタスキャン順に符号化処理が行われる。ＣＵは可変サイズであり、ＣＵ分割モード８×８画素から６４×６４画素を選択することができる。ＣＵは、符号化モードであるイントラ予測とインター予測を選択する単位となる。ＣＵは、第２のサブブロックＰＵと第３のサブブロックＴＵ（Ｔｒａｎｓｆｏｒｍ  Ｕｎｉｔ）単位に個別に処理される。ＰＵは、それぞれの符号化モードの予測の単位となる。例えば、イントラ予測では、ＰＵはイントラ予測モードを決定する単位となる。また、インター予測では、ＰＵは動き補償を行う単位となる。ＰＵのサイズは、例えばインター予測であれば、ＰＵ分割モード（ＰａｒｔＭｏｄｅ）＝２Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、２Ｎ×Ｕ、２Ｎ×ｎＤ、ｎＲ×２Ｎ、ｎＬ×２Ｎの何れかの画素サイズから選択可能である。一方、ＴＵは、後述する図６の直交変換・量子化部６１０が実行する直交変換の単位であり、４×４から３２×３２の画素サイズを選択することができる。ＴＵは、四分木構造で分割され、ラスタスキャン順に処理される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
次に、動き補償部６０６が、現在の処理ＰＵに関して、動きベクトル検出部６０５が検出した動きベクトルに基づいて動き補償を行う。動き補償部６０６は、動きベクトル検出部６０５がフレームメモリ６１４から読み出した参照画像ＰＵに、動きベクトル検出部６０５が検出した動きベクトルを適用する。これにより、動き補償部６０６は、原画像ＰＵに対応する予測画像のＰＵ（以下「予測画像ＰＵ」と記載）を生成し、インター予測による予測画像ＰＵとする。動き補償部６０６は、このインター予測による処理ＰＵ毎の予測画像ＰＵを処理ＣＵ全体で合成することにより、処理ＣＵに対するインター予測による予測画像ＣＵを生成して出力する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
まず、隣接画素拡張部６０１は、処理ＣＵから分割される処理ＰＵが長方形ブロックである場合に、次の処理を実行する。隣接画素拡張部６０１は、その長方形ブロックが水平方向に長い場合には、その長方形ブロックの上隣接画素を、その長方形ブロックの長い辺を水平右方向に拡張した延長線に隣接する上のブロックに含まれる画素にまで拡張する（図４の説明を参照）。また、隣接画素拡張部６０１は、その長方形ブロックが垂直方向に長い場合には、その長方形ブロックの左隣接画素を、その長方形ブロックの長い辺を垂直下方向に拡張した延長線に隣接する左のブロックに含まれる画素にまで拡張する。なお、隣接画素拡張部６０１は、隣接画素値としては、フレームメモリ６１４から読み出した参照画像の該当する位置の画素値を使用する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
図６のイントラ予測部６０４は、イントラ予測モード判定部６０３が判定したイントラ予測モードに対してイントラ予測モード判定部６０３が算出していた暫定予測画像ＰＵを、イントラ予測による予測画像ＰＵとする。イントラ予測部６０４は、このイントラ予測による処理ＰＵ毎の予測画像ＰＵを処理ＣＵ全体で合成することにより、処理ＣＵに対するイントラ予測による予測画像ＣＵを生成して出力する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
ステップＳ７０１の判定において長方形分割の判定がＹＥＳである場合は、隣接画素拡張部６０１は、前述した隣接画素拡張の処理を実行する（ステップＳ７０２）。ステップＳ７０１の判定において長方形分割の判定がＮＯである場合は、隣接画素拡張部６０１はステップＳ７０２の処理はスキップする。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
左隣接画素列：Ｐ［−１，−１］，Ｐ［−１，０］，Ｐ［−１，１］，
・・・，Ｐ［−１，ＸＸ］・・・（３）
上隣接画素列：Ｐ［−１，−１］，Ｐ［０，−１］，Ｐ［１，−１］，
・・・，Ｐ［ＹＹ、−１］・・・（４）
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
ここで、ＸＸないしＹＹは、ＸとＹの大きさの関係により決定する。従来通りの隣接画素の読み込みでは、ＸＸ＝２Ｘ＋１、ＹＹ＝２Ｙ＋１となるが、本実施形態では、図４の説明で示した、予測方向拡張として、モード番号３′番から９′番や、モード番号３３′番から２７′番のイントラ予測を実施するのに必要な画素数だけ、上隣接画素、もしくは、左隣接画素の追加読込みを実施する。モード番号９′番やモード番号２７′番の予測モード計算を実施する場合に、最も隣接画素の読出し数の増加(＝隣接画素拡張)を必要とするが、ここは予測モードの角度より、正確に追加画素数を計算してもよいし、ＸＸの画素拡張最大値は、４Ｘ＋１まで、以降は、Ｐ［−１，４Ｘ＋１］のリピートにより隣接画素を生成するような、隣接画素読出しの上限を定める定義にしてもよい。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
次に、図７のステップＳ７０５及びＳ７０６での距離計算処理の他の実施形態について説明する。上記説明では、これらの距離として、元予測方向の隣接画素と処理ＰＵ内の全ての予測対象画素との距離の総和、及び正反対予測方向の隣接画素と処理ＰＵ内の全ての予測対象画素との距離の総和が計算された。これに対して、上記距離として、元予測方向の隣接画素と処理ＰＵ内の最左上と最右下の予測対象画素の夫々との距離の和、及び正反対予測方向の隣接画素と処理ＰＵ内の最左上と最右下の予測対象画素の夫々との距離の和が計算されてもよい。この場合、ステップＳ７０３の説明で示した例において、前述した（６）式及び（７）式はそれぞれ、下記（８）式及び（９）式で置き換えられる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
まず、隣接画素拡張部９０３は、図６の隣接画素拡張部６０１と同様の動作を実行する。隣接画素拡張部９０３は、処理ＣＵから分割される処理ＰＵが長方形ブロックである場合に、次の処理を実行する。隣接画素拡張部９０３は、その長方形ブロックが水平方向に長い場合には、その長方形ブロックの上隣接画素を、その長方形ブロックの長い辺を水平右方向に拡張した延長線に隣接する上のブロックに含まれる画素にまで拡張する（図４の説明を参照）。また、隣接画素拡張部９０３は、その長方形ブロックが垂直方向に長い場合には、その長方形ブロックの左隣接画素を、その長方形ブロックの長い辺を垂直下方向に拡張した延長線に隣接する左のブロックに含まれる画素にまで拡張する。なお、隣接画素拡張部９０３は、隣接画素値としては、フレームメモリ９１１から読み出した復号済みの参照画像の該当する位置の画素値を使用する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
復号画像演算部９１０は、上記復号されたＴＵ単位毎の予測残差画像を処理ＣＵの単位でまとめ（以下「予測残差画像ＣＵ」と記載）、その予測残差画像ＣＵを予測画像生成部９０７から入力する予測画像ＣＵに対応する画素単位で加算する。この結果、復号画像演算部９１０は、ＣＵ単位の復号画像（以下「復号画像ＣＵ」と記載）を復号し、更に１枚のフレーム画像に合成し、それをフレーム復号画像として出力すると共に、フレームメモリ９１１に復号済みの参照画像として蓄積する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１０３
【補正方法】変更
【補正の内容】
【０１０３】
ステップＳ１００１の判定がＹＥＳである場合は、隣接画素拡張部９０３は、前述した隣接画素拡張の処理を実行する（ステップＳ１００２）。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１１９
【補正方法】変更
【補正の内容】
【０１１９】
補助情報記憶装置１１０５は、例えば、ハードディスク記憶装置、磁気ディスク記憶装置、光ディスク装置、光磁気ディスク装置、テープ装置、又は半導体記憶装置である。図６の動画像符号化装置６００又は図９の動画像復号装置９００は、補助情報記憶装置１１０５に図６の動画像符号化装置６００に用いられる例えば図７のフローチャートの処理又は図９の動画像復号装置９００に用いられる例えば図１０のフローチャートの処理を実行するプログラム及びデータを格納しておき、それらをメモリ１１０２にロードして使用することができる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１２９
【補正方法】変更
【補正の内容】
【０１２９】
以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
画像内で前記画像を分割したブロックを単位としてイントラ予測をし符号化を行う画像符号化装置であって、
前記ブロックとして長方形ブロックを選択するブロック選択部と、
前記長方形ブロックが選択された際に、前記長方形ブロックの短い辺に隣接する画素を参照する予測方向のうち、予測方向を１８０度反転したときに前記長方形ブロックの長い辺に隣接する左又は上のブロックの隣接画素を参照する予測方向を、イントラ予測方向の選定対象に加える予測方向判定部と、
を備えることを特徴とする画像符号化装置。
（付記２）
前記隣接画素は、前記長方形ブロックが垂直方向に長い場合に、前記長方形ブロックの長い辺又は前記長い辺を垂直下方向に拡張した延長線に隣接する左のブロックに含まれ、前記長方形ブロックが水平方向に長い場合に、前記長方形ブロックの長い辺又は前記長い辺を水平右委方向に拡張した延長線に隣接する上のブロックに含まれる、ことを特徴とする付記１に記載の画像符号化装置。
（付記３）
前記予測方向判定部は、前記長方形ブロックについて、左下方向から右上方向への前記イントラ予測方向、又は右上方向から左下方向への前記イントラ予測方向を、前記選択の調整対象とする、ことを特徴とする付記１又は２に記載の画像符号化装置。
（付記４）
前記左下方向から右上方向へのイントラ予測方向は、前記長方形ブロック内の予測対象画素を基準にして、右水平方向を０度として反時計回りに１８０度から２２５度の角度方向であり、前記右上方向から左下方向へのイントラ予測方向は、前記予測対象画素を基準にして、反時計回りに４５度から９０度の角度方向である、ことを特徴とする付記３に記載の画像符号化装置。
（付記５）
前記予測方向判定部は、少なくとも前記選定対象として加えたイントラ予測方向と、加えたイントラ予測方向を１８０度反転した方向について、前記長方形ブロック内の全ての予測対象画素の夫々と前記隣接画素との距離の総和を、前記左下方向から右上方向へのイントラ予測方向と前記右上方向から左下方向へのイントラ予測方向の夫々について算出し、前記算出した各距離の総和のうち小さい方に対応するイントラ予測方向を前記選択の結果とする、ことを特徴とする付記２乃至４の何れかに記載の画像符号化装置。
（付記６）
前記予測方向判定部は、少なくとも前記選定対象として加えたイントラ予測方向と、加えたイントラ予測方向を１８０度反転した方向について、前記長方形ブロック内の最左上と最右下の予測対象画素の夫々と前記隣接画素との各距離の和を、前記左下方向から右上方向へのイントラ予測方向と前記右上方向から左下方向へのイントラ予測方向の夫々について算出し、前記算出した各距離の和のうち小さい方に対応するイントラ予測方向を前記選択の結果とする、ことを特徴とする付記２乃至４の何れかに記載の画像符号化装置。
（付記７）
前記予測方向判定部は、少なくとも前記選定対象として加えたイントラ予測方向と、加えたイントラ予測方向を１８０度反転した方向について、前記長方形ブロック内の最右下の予測対象画素と前記隣接画素との距離を、前記左下方向から右上方向へのイントラ予測方向と前記右上方向から左下方向へのイントラ予測方向のそれぞれについて算出し、前記算出した各距離のうち小さい方に対応するイントラ予測方向を前記選択の結果とする、ことを特徴とする付記２乃至４の何れかに記載の画像符号化装置。
（付記８）
前記予測方向判定部は、前記長方形ブロックが選択された際の予測方向を選定する際の処理として、長方形ブロックの短い辺に隣接する画素を参照する予測方向の内、予測方向を１８０度反転したときに前記長方形ブロックの長い辺に隣接する左又は上のブロックの隣接画素を参照するイントラ予測方向となる長方形ブロックの短い辺に隣接する左又は上のブロックの画素を参照する方向に対しては、前記選択の対象から除外する、ことを特徴とする付記１に記載の画像符号化装置。
（付記９）
画像内で前記画像を分割したブロックを単位としてイントラ予測し復号を行う画像符号化装置であって、
前記ブロックとして長方形ブロックが選択されたことを判定するブロック判定部と、
前記長方形ブロックが選択された際のイントラ予測方向を選定する際に、前記長方形ブロックの短い辺に隣接する画素を参照する予測方向のうち、予測方向を１８０度反転したときに前記長方形ブロックの長い辺に隣接する左又は上のブロックの隣接画素を参照する予測方向を、イントラ予測方向の選定対象に加える予測方向判定部と、
を備えることを特徴とする画像復号装置。
（付記１０）
画像内で前記画像を分割したブロックを単位としてイントラ予測し符号化又は復号を行う画像処理方法であって、
前記ブロックとして長方形ブロックが選択されたことを判定し、
前記長方形ブロックが選択された際のイントラ予測方向を選定する際の処理として、前記長方形ブロックの長い辺に隣接する左又は上のブロックの隣接画素を参照するイントラ予測方向が選択されやすくなるように判定する、
ことを特徴とする画像処理方法。
（付記１１）
動画像符号化において予測モードで対応づけられたイントラ予測を行う方式について、イントラ予測を実施する処理単位が、長方形となるか否かを判定するイントラ予測処理サイズ決定部と、
イントラ予測処理サイズ決定部で、長方形のブロックに対してイントラ予測を実施すると決定した場合に、各イントラ予測モードに関して、イントラ予測方向に応じた予測画像を生成する予測モードが使用可能であり、かつ、正反対方向からの予測も演算可能である場合に、
各予測モードに関して、正方向の予測モードからの予測方向と正反対方向からの予測方向のいずれを用いた方が、より近い隣接画像からのイントラ予測が使用可能かを判定する予測方向判定部と、
該予測方向判定手段により選択された予測方向を用いてイントラ予測モードを判定する、イントラ予測モード判定部と、
を備え、イントラ予測を行うことを特徴とする動画像符号化方法。
（付記１２）
動画像符号化において予測モードで対応づけられたイントラ予測を行う方式について、イントラ予測を実施する処理単位が長方形を用いる予測モードであった場合に、
選択されたイントラ予測モードに関して、イントラ予測方向に応じた予測画像を生成する予測モードが使用可能であり、かつ、正反対方向からの予測も演算可能である場合に、該選択された予測モードに関して、正方向の予測モードからの予測方向と正反対方向からの予測方向のいずれを用いた方が、より距離が近い隣接画像からのイントラ予測になるかを判定する予測方向判定部と、該予測方向判定手段により選択された予測方向を用いてイントラ予測を実施する
ことを特徴とする動画像復号方法。
（付記１３）
画像内で前記画像を分割したブロックを単位としてイントラ予測し符号化又は復号を行うコンピュータに、
前記ブロックとして長方形ブロックが選択されたことを判定するステップと、
前記長方形ブロックが選択された際のイントラ予測方向を選定する際の処理として、前記長方形ブロックの長い辺に隣接する左又は上のブロックの隣接画素を参照するイントラ予測方向が選択されやすくなるように判定するステップと、
を実行させることを特徴とする画像処理プログラム。