(57)【要約】  本開示は、画像における伝送エラーの伝搬を抑えるようにすることができるようにする画像処理装置および方法に関する。画面（ピクチャ）において、イントラ予測を行うイントラストライプと呼ばれる領域を垂直方向に割り当てて、画面におけるすべての符号化単位が、そのイントラストライプとなるように、イントラストライプを水平方向に移動させるが、そのイントラストライプの左右の領域を、インター予測を行う左のインターブロックおよび右のインターブロックに限定する。本開示は、例えば、画像処理装置、画像符号化装置、または画像復号装置等に適用することができる。
2018105410.tif 000002
【特許請求の範囲】
【請求項１】
複数のピクチャの画像データを符号化する際、イントラ予測を行うイントラ領域を、垂直方向または水平方向であるイントラ割り当て方向に割り当てて、前記ピクチャにおけるすべての符号化単位が、前記イントラ領域となるように、前記イントラ領域を、前記イントラ割り当て方向に対して垂直な方向に移動させることで得られるイントラ領域の座標情報に基づいて、前記イントラ領域の周囲領域の予測モードをインター予測に決定する予測モード決定部
を備える画像処理装置。
【請求項２】
イントラ予測を行う際に、隣接画素の参照がイントラ領域の画素のみに制約されることを示すイントラ予測参照フラグをONに設定する設定部を
さらに備え、
前記設定部により前記イントラ予測参照フラグがONに設定されている場合、前記予測モード決定部は、前記イントラ領域の座標情報に基づいて、前記イントラ領域の周囲領域の予測モードをインター予測に決定する
請求項１に記載の画像処理装置。
【請求項３】
前記イントラ割り当て方向が垂直方向の場合、前記予測モード決定部は、前記イントラ領域の左右領域の予測モードをインター予測に決定する
請求項２に記載の画像処理装置。
【請求項４】
前記イントラ割り当て方向が水平方向の場合、前記予測モード決定部は、前記イントラ領域の上部領域の予測モードをインター予測に決定する
請求項２に記載の画像処理装置。
【請求項５】
前記イントラ予測を行う際に、決定されているイントラ予測方向にインター領域の画素の参照がある場合、前記イントラ予測方向を、インター領域の画素の参照がない方向に置き換える置き換え部を
さらに備える請求項２に記載の画像処理装置。
【請求項６】
画像処理装置が、
複数のピクチャの画像データを符号化する際、イントラ予測を行うイントラ領域を、垂直方向または水平方向であるイントラ割り当て方向に割り当てて、前記ピクチャにおけるすべての符号化単位が、前記イントラ領域となるように、前記イントラ領域を、前記イントラ割り当て方向に対して垂直な方向に移動させることで得られるイントラ領域の座標情報に基づいて、前記イントラ領域の周囲領域の予測モードをインター予測に決定する
画像処理方法。
【請求項７】
複数のピクチャの画像データを符号化する際、イントラ予測を行うイントラ領域を、垂直方向または水平方向であるイントラ割り当て方向に割り当てて、前記ピクチャにおけるすべての符号化単位が、前記イントラ領域となるように、前記イントラ領域を、前記イントラ割り当て方向に対して垂直な方向に移動させることで得られるイントラ領域の座標情報に基づいて、前記イントラ領域の境界部のイントラ予測モードを、前記イントラ領域に隣接する画素を利用しない予測モードに決定する予測モード決定部
を備える画像処理装置。
【請求項８】
イントラ予測を行う際に、隣接画素の参照がイントラ領域の画素のみに制約されることを示すイントラ予測参照フラグをOFFに設定する設定部を
さらに備え、
前記設定部により前記イントラ予測参照フラグがOFFに設定されている場合、前記予測モード決定部は、前記イントラ領域の座標情報に基づいて、前記イントラ領域の境界部のイントラ予測モードを、前記イントラ領域に隣接する画素を利用しない予測モードに決定する
請求項７に記載の画像処理装置。
【請求項９】
前記イントラ割り当て方向が垂直方向の場合、前記予測モード決定部は、前記イントラ領域の左右の境界部のイントラ予測モードを、前記イントラ領域に隣接する画素を利用しない予測モードに決定する
請求項８に記載の画像処理装置。
【請求項１０】
前記イントラ割り当て方向が水平方向の場合、前記予測モード決定部は、前記イントラ領域の上位の境界部のイントラ予測モードを、前記イントラ領域に隣接する画素を利用しない予測モードに決定する
請求項８に記載の画像処理装置。
【請求項１１】
画像処理装置が、
複数のピクチャの画像データを符号化する際、イントラ予測を行うイントラ領域を、垂直方向または水平方向であるイントラ割り当て方向に割り当てて、前記ピクチャにおけるすべての符号化単位が、前記イントラ領域となるように、前記イントラ領域を、前記イントラ割り当て方向に対して垂直な方向に移動させることで得られるイントラ領域の座標情報に基づいて、前記イントラ領域の境界部のイントラ予測モードを、前記イントラ領域に隣接する画素を利用しない予測モードに決定する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関し、特に、画像における伝送エラーの伝搬を抑えることができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
一般的に、GDR(Gradual Decoding Refresh)という技術で、伝送エラーから復帰する方法は広く利用されている。【０００３】
MPEG2（Moving Picture Experts Group 2(ISO/IEC 13818-2)）においては、イントラ予測に周辺画素を用いた予測画像という概念がなかったため、イントラブロックを時間方向に循環させることで、エラーからの復帰を行うことができた（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−３５４４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、MPEG-4 Part10（Advanced Video Coding、以下AVCと記す）やHEVC（High Efficiency Video Coding）においては、周辺画素からの予測が存在するため、予測に用いる画素にエラーが載っている場合、そのエラーを旋回させるイントラブロック内に引き込んでしまう恐れがあった。【０００６】
本開示は、このような状況に鑑みてなされたものであり、画像における伝送エラーの伝搬を抑えることができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の第１の側面の画像処理装置は、複数のピクチャの画像データを符号化する際、イントラ予測を行うイントラ領域を、垂直方向または水平方向であるイントラ割り当て方向に割り当てて、前記ピクチャにおけるすべての符号化単位が、前記イントラ領域となるように、前記イントラ領域を、前記イントラ割り当て方向に対して垂直な方向に移動させることで得られるイントラ領域の座標情報に基づいて、前記イントラ領域の周囲領域の予測モードをインター予測に決定する予測モード決定部を備える。【０００８】
イントラ予測を行う際に、隣接画素の参照がイントラ領域の画素のみに制約されることを示すイントラ予測参照フラグをONに設定する設定部をさらに備え、前記設定部により前記イントラ予測参照がONに設定されている場合、前記予測モード決定部は、前記イントラ領域の座標情報に基づいて、前記イントラ領域の周囲領域の予測モードをインター予測に決定することができる。【０００９】
前記イントラ割り当て方向が垂直方向の場合、前記予測モード決定部は、前記イントラ領域の左右領域の予測モードをインター予測に決定することができる。【００１０】
前記イントラ割り当て方向が水平方向の場合、前記予測モード決定部は、前記イントラ領域の上部領域の予測モードをインター予測に決定することができる。【００１１】
前記イントラ予測を行う際に、決定されているイントラ予測方向にインター領域の画素の参照がある場合、前記イントラ予測方向を、インター領域の画素の参照がない方向に置き換える置き換え部をさらに備えることができる。【００１２】
本技術の第１の側面の画像処理方法は、画像処理装置が、複数のピクチャの画像データを符号化する際、イントラ予測を行うイントラ領域を、垂直方向または水平方向であるイントラ割り当て方向に割り当てて、前記ピクチャにおけるすべての符号化単位が、前記イントラ領域となるように、前記イントラ領域を、前記イントラ割り当て方向に対して垂直な方向に移動させることで得られるイントラ領域の座標情報に基づいて、前記イントラ領域の周囲領域の予測モードをインター予測に決定する。【００１３】
本技術の第２の側面の画像処理装置は、複数のピクチャの画像データを符号化する際、イントラ予測を行うイントラ領域を、垂直方向または水平方向であるイントラ割り当て方向に割り当てて、前記ピクチャにおけるすべての符号化単位が、前記イントラ領域となるように、前記イントラ領域を、前記イントラ割り当て方向に対して垂直な方向に移動させることで得られるイントラ領域の座標情報に基づいて、前記イントラ領域の境界部のイントラ予測モードを、前記イントラ領域に隣接する画素を利用しない予測モードに決定する予測モード決定部を備える。【００１４】
イントラ予測を行う際に、隣接画素の参照がイントラ領域の画素のみに制約されることを示すイントラ予測参照フラグをOFFに設定する設定部をさらに備え、前記設定部により前記イントラ予測参照フラグがOFFに設定されている場合、前記予測モード決定部は、前記イントラ領域の座標情報に基づいて、前記イントラ領域の境界部のイントラ予測モードを、前記イントラ領域に隣接する画素を利用しない予測モードに決定することができる。【００１５】
前記イントラ割り当て方向が垂直方向の場合、前記予測モード決定部は、前記イントラ領域の左右の境界部のイントラ予測モードを、前記イントラ領域に隣接する画素を利用しない予測モードに決定することができる。【００１６】
前記イントラ割り当て方向が水平方向の場合、前記予測モード決定部は、前記イントラ領域の上位の境界部のイントラ予測モードを、前記イントラ領域に隣接する画素を利用しない予測モードに決定することができる。【００１７】
本技術の第２の側面の画像処理方法は、画像処理装置が、複数のピクチャの画像データを符号化する際、イントラ予測を行うイントラ領域を、垂直方向または水平方向であるイントラ割り当て方向に割り当てて、前記ピクチャにおけるすべての符号化単位が、前記イントラ領域となるように、前記イントラ領域を、前記イントラ割り当て方向に対して垂直な方向に移動させることで得られるイントラ領域の座標情報に基づいて、前記イントラ領域の境界部のイントラ予測モードを、前記イントラ領域に隣接する画素を利用しない予測モードに決定する。【００１８】
本技術の第１の側面においては、複数のピクチャの画像データを符号化する際、イントラ予測を行うイントラ領域を、垂直方向または水平方向であるイントラ割り当て方向に割り当てて、前記ピクチャにおけるすべての符号化単位が、前記イントラ領域となるように、前記イントラ領域を、前記イントラ割り当て方向に対して垂直な方向に移動させることで得られるイントラ領域の座標情報に基づいて、前記イントラ領域の周囲領域の予測モードがインター予測に決定される。【００１９】
本技術の第２の側面においては、複数のピクチャの画像データを符号化する際、イントラ予測を行うイントラ領域を、垂直方向または水平方向であるイントラ割り当て方向に割り当てて、前記ピクチャにおけるすべての符号化単位が、前記イントラ領域となるように、前記イントラ領域を、前記イントラ割り当て方向に対して垂直な方向に移動させることで得られるイントラ領域の座標情報に基づいて、前記イントラ領域の境界部のイントラ予測モードが、前記イントラ領域に隣接する画素を利用しない予測モードに決定される。
【発明の効果】
【００２０】
本開示によれば、画像を処理することができる。特に、画像における伝送エラーの伝搬を抑えることができることができる。
【図面の簡単な説明】
【００２１】
【図１】イントラストライプを用いた伝送エラーの復帰方法について説明するための説明図である。
【図２】AVCおよびHEVCにおける９種類の輝度信号の４×４画素のイントラ予測モードを示す図である。
【図３】画面におけるエラー伝搬について説明するための説明図である。
【図４】画面におけるエラー伝搬の抑制方法について説明する図である。
【図５】画面におけるエラー伝搬の抑制方法について説明する図である。
【図６】本開示を適用した符号化装置の一実施の形態の構成例を示すブロック図である。
【図７】符号化部の構成例を示すブロック図である。
【図８】符号化装置の処理を説明するフローチャートである。
【図９】符号化処理の詳細を説明するフローチャートである。
【図１０】符号化処理の詳細を説明するフローチャートである。
【図１１】モード判定処理について説明するフローチャートである。
【図１２】本開示を適用した復号装置の一実施の形態の構成例を示すブロック図である。
【図１３】復号部の構成例を示すブロック図である。
【図１４】逆変換処理の流れの例を説明するフローチャートである。
【図１５】シンタクスの例を示す図である。
【図１６】画面におけるエラー伝搬のconstrained_intra_pred_flag=0とした場合の抑制方法について説明する図である。
【図１７】図５に記載の抑制方法の横ストライプ場合の例を説明する図である。
【図１８】図１６に記載の抑制方法の横ストライプ場合の例を説明する図である。
【図１９】本技術を適用したテレビジョン会議システムの一実施の形態の構成例を示すブロック図である。
【図２０】コンピュータの主な構成例を示すブロック図である。
【図２１】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図２２】携帯電話機の概略的な構成の一例を示すブロック図である。
【図２３】撮像装置の概略的な構成の一例を示すブロック図である。
【図２４】ネットワークシステムの概略的な構成の一例を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（イントラストライプを用いた復帰方法）
２．第２の実施の形態（変形例）
３．第３の実施の形態（テレビジョン会議システムの例）
４．第４の実施の形態（応用例）
【００２３】
＜１．第１の実施の形態＞
＜伝送エラーの復帰方法＞
一般的に、GDR(Gradual Decoding Refresh)という技術で、伝送エラーから復帰する方法は広く利用されている。MPEG2（Moving Picture Experts Group 2(ISO/IEC 13818-2)）においては、イントラ予測に周辺画素を用いた予測画像という概念がなかったため、イントラストライプ（イントラブロック）を時間方向に循環させることで、エラーからの復帰を行うことができた。
【００２４】
図１の例においては、伝送エラーが起こっている画面１からの復帰方法が時間経過に沿って示されている。伝送エラーが起こっている画面１において、垂直方向（イントラ割り当て方向）に並ぶブロックの領域が、イントラ予測を行うイントラブロックであるイントラストライプ１０として設定される。また、画面１において、イントラストライプ１０以外の領域は、伝送エラーが起こっているかもしれない、伝送エラー領域１１である。
【００２５】
イントラストライプ１０は、フレーム毎に、順次水平方向に移動し、前フレームにイントラストライプ１０であった領域は、エラー復帰されたエラー復帰領域１２となる。したがって、イントラストライプ１０をフレーム毎に循環させることで、画面１は、伝送エラーから復帰することができる。すなわち、図１の例においては、時間経過に沿って、画面１（ピクチャ）におけるすべての符号化単位が、イントラストライプ１０となるように、イントラストライプ１０が、水平方向に移動される。これにより、画面１は、伝送エラーから復帰することができる。
【００２６】
しかしながら、MPEG-4 Part10（Advanced Video Coding、以下AVCと記す）やHEVC（High Efficiency Video Coding）においては、図２に示されるように、周辺画素からの予測が存在するため、予測に用いる画素にエラーが載っている場合、そのエラーを旋回させるイントラストライプ１０内に引き込んでしまう恐れがあった。
【００２７】
図２の例においては、AVCおよびHEVCにおける９種類の輝度信号の４×４画素のイントラ予測モード(Intra_4x4_pred_mode)を示す図である。平均値（DC）予測を示すモード２以外の８種類の各モードは、それぞれ、異なる方向に対応している。
【００２８】
したがって、図３に示されるように、イントラストライプ１０内のブロック１０ａのイントラ予測時に、ブロック１０ａ（イントラストライプ１０）に接するブロック２１ａにエラーが載っている状態だと、そのエラーがイントラストライプ１０内に伝搬してしまう恐れがある。同様に、ブロック１０ｂ（イントラストライプ１０）に接するブロック２１ｂにエラーが載っている状態だと、そのエラーがイントラストライプ１０内に伝搬してしまう恐れがある。
【００２９】
仮に、ピクチャヘッダにおいて、constrained_intra_pred_flag=1とすることで、イントラ予測時の周辺ブロックとして、イントラ予測だけに制約される、すなわち、インター予測であるならば、隣接画素を参照することが禁止される（できなくなる）が、周辺ブロックがイントラ予測で、かつ、エラーが載っている状態だと、やはり、イントラストライプ１０内にエラーが伝搬されてしまう。
【００３０】
これに対して、図４に示されるように、画面１を、太線で示すようなスライスに分割するというのも１つの方法である。
【００３１】
ただし、イントラ予測は、スライスを超えた画素参照ができないため、予測精度が落ちてしまう恐れがある。なお、HEVCにおいては、画面１を、スライスではなく、タイルに分割する方法もある。タイルの場合、大きさに制約があるため、イントラストライプの大きさが少し大きくなってしまうことが考えられる。
【００３２】
そこで、本技術においては、図５に示されるように、画面１において、イントラストライプ１０の左右の周辺領域を、インター予測を行うインターブロック３１Ｌおよび３１Ｒに限定し、かつ、ピクチャヘッダにおいて、constrained_intra_pred_flag=1とする。これにより、イントラストライプ１０において、イントラ予測時に、イントラ予測の隣接画素値のみの参照に制約される。すなわち、イントラストライプ１０において、イントラ予測時に、インターブロック３１Ｌおよび３１Ｒにおける隣接画素値の参照が禁止される。したがって、図３を参照して上述したように、隣接ブロックにエラーが載っている場合に、その影響を、イントラストライプ１０内部に伝搬させてしまうことを抑制することができる。
【００３３】
＜符号化装置の構成例＞
図６は、本開示を適用した符号化装置の一実施の形態の構成例を示すブロック図である。
【００３４】
図６の符号化装置１００は、設定部１１１、符号化部１１２、および伝送部１１３により構成され、画像をHEVC方式に準ずる方式で符号化する。例えば、符号化装置１００は、撮像部を備えることで、撮像装置として構成することもできる。符号化装置１００は、後述する図１２の復号装置２００とともに、通信システムを構成することができる。
【００３５】
設定部１１１は、VPS,SPS,PPS,VUI,SEIなどのパラメータセットや各種ヘッダを設定する。その際、設定部１１１は、ピクチャヘッダにおいて、constrained_intra_pred_flag=1を設定する。なお、constrained_intra_pred_flagは、ピクチャヘッダに限らず、スライスヘッダなど、各種ヘッダやVPS,SPS,PPS,VUI,SEIなどのパラメータセットに配置されてもよい。設定部１１１は、設定されたパラメータセットを符号化部１１２に供給する。
【００３６】
符号化部１１２には、フレーム単位の画像が入力される。符号化部１１２は、設定部１１１から供給されるパラメータセットと各種ヘッダを参照して、入力された画像をHEVC方式に準ずる方式で符号化する。符号化部１１２は、符号化の結果得られる符号化データとパラメータセットおよび各種ヘッダから符号化ストリームを生成し、伝送部１１３に供給する。
【００３７】
伝送部１１３は、符号化部１１２から供給される符号化ストリームを、後述する復号装置に伝送する。
【００３８】
＜符号化部の構成例＞
図７は、図６の符号化部１１２の構成例を示すブロック図である。
【００３９】
図７の符号化部１１２は、A/D変換部１３１、画面並べ替えバッファ１３２、演算部１３３、直交変換部１３４、量子化部１３５、可逆符号化部１３６、蓄積バッファ１３７、逆量子化部１３８、逆直交変換部１３９、および加算部１４０を有する。また、符号化部１１２は、デブロックフィルタ１４１、フレームメモリ１４４、イントラ予測部１４６、動き予測・補償部１４７、モード判定部（予測モード決定部）１４８、イントラ予測方向置き換え部１４９、セレクタ１５０、およびレート制御部１５１を有する。
【００４０】
符号化部１１２のA/D変換部１３１は、符号化対象として入力されたフレーム単位の画像をA/D変換する。A/D変換部１３１は、変換後のデジタル信号である画像を画面並べ替えバッファ１３２に出力して記憶させる。
【００４１】
画面並べ替えバッファ１３２は、記憶した表示の順番のフレーム単位の画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ１３２は、並べ替え後の画像を、演算部１３３、イントラ予測部１４６、および動き予測・補償部１４７に出力する。
【００４２】
演算部１３３は、画面並べ替えバッファ１３２から供給される画像から、セレクタ１５０から供給される予測画像を減算することにより符号化を行う。演算部１３３は、その結果得られる画像を、残差情報(差分)として直交変換部１３４に出力する。なお、モード判定部４８から予測画像が供給されない場合、演算部１３３は、画面並べ替えバッファ１３２から読み出された画像をそのまま残差情報として直交変換部１３４に出力する。
【００４３】
直交変換部１３４は、ＴＵ単位で、演算部１３３からの残差情報に対して直交変換処理を行う。直交変換部１３４は、直交変換処理後の直交変換処理結果を量子化部１３５に供給する。
【００４４】
量子化部１３５は、直交変換部１３４から供給される直交変換処理結果を量子化する。量子化部１３５は、量子化の結果得られる量子化値を可逆符号化部１３６に供給する。
【００４５】
可逆符号化部１３６は、最適イントラ予測モードを示す情報（以下、イントラ予測モード情報という）をイントラ予測部１４６から取得する。また、可逆符号化部１３６は、最適インター予測モードを示す情報（以下、インター予測モード情報という）、動きベクトル、参照画像を特定する情報などを動き予測・補償部１４７から取得する。
【００４６】
可逆符号化部１３６は、量子化部１３５から供給される量子化値に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行う。
【００４７】
また、可逆符号化部１３６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、および参照画像を特定する情報を、符号化に関する符号化情報として可逆符号化する。可逆符号化部１３６は、可逆符号化された符号化情報と量子化値を、符号化データとして蓄積バッファ１３７に供給し、蓄積させる。
【００４８】
蓄積バッファ１３７は、可逆符号化部１３６から供給される符号化データを、一時的に記憶する。また、蓄積バッファ１３７は、記憶している符号化データを、図６の設定部１１１から供給されるパラメータセットおよび各種ヘッダとともに、符号化ストリームとして伝送部１１３に供給する。
【００４９】
また、量子化部１３５より出力された量子化値は、逆量子化部１３８にも入力される。逆量子化部１３８は、量子化値を逆量子化する。逆量子化部１３８は、逆量化の結果得られる直交変換処理結果を逆直交変換部１３９に供給する。
【００５０】
逆直交変換部１３９は、ＴＵ単位で、逆量子化部１３８から供給される直交変換処理結果に対して逆直交変換処理を行う。逆直交変換の方式としては、例えば、IDCT(逆離散コサイン変換)とIDST(逆離散サイン変換)がある。逆直交変換部１３９は、逆直交変換処理の結果得られる残差情報を加算部１４０に供給する。
【００５１】
加算部１４０は、逆直交変換部１３９から供給される残差情報と、セレクタ１５０から供給される予測画像を加算し、復号を行う。加算部１４０は、復号された画像をデブロックフィルタ１４１とフレームメモリ１４４に供給する。
【００５２】
デブロックフィルタ１４１は、加算部１４０から供給される復号された画像に対して、ブロック歪を除去する適応デブロックフィルタ処理を行い、その結果得られる画像をフレームメモリ１４４に供給する。
【００５３】
フレームメモリ１４４は、デブロックフィルタ１４１から供給される画像と、加算部１４０から供給される画像を蓄積する。フレームメモリ１４４に蓄積されたフィルタ処理が行われていない画像のうちのＰＵ（Prediction Unit）に隣接する画像は、周辺画像として、イントラ予測部１４６に供給される。一方、フレームメモリ１１４４に蓄積されたフィルタ処理が行われた画像は、参照画像として、動き予測・補償部１４７に出力される。
【００５４】
イントラ予測部１４６は、ＰＵ単位で、フレームメモリ１４４から読み出された周辺画像を用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。
【００５５】
また、イントラ予測部１４６は、画面並べ替えバッファ１３２から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予モードに対してコスト関数値を算出する。そして、イントラ予測部１４６は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。
【００５６】
イントラ予測部１４６は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、モード判定部１４８に供給する。イントラ予測部１４６は、セレクタ１５０により最適イントラ予測モードで生成された予測画像が選択された場合、イントラ予測モード情報を可逆符号化部１３６に供給する。なお、イントラ予測モードとはＰＵのサイズ、予測方向などを表すモードである。
【００５７】
動き予測・補償部１４７は、ＰＵ単位で候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部１４７は、画面並べ替えバッファ１３２から供給される画像と、フレームメモリ１４４から読み出される参照画像に基づいて、候補となる全てのインター予測モードの動きベクトルをＰＵ単位で検出する。そして、動き予測・補償部１４７は、その動きベクトルに基づいてＰＵ単位で参照画像に補償処理を施し、予測画像を生成する。
【００５８】
このとき、動き予測・補償部１４７は、画面並べ替えバッファ１３２から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、動き予測・補償部１４７は、最適インター予測モードのコスト関数値と、対応する予測画像をモード判定部１４８に供給する。また、動き予測・補償部１４７は、セレクタ１５０により最適インター予測モードで生成された予測画像が選択された場合、インター予測モード情報、対応する動きベクトル、参照画像を特定する情報などを可逆符号化部１３６に出力する。なお、インター予測モードとは、ＰＵのサイズなどを表すモードである。
【００５９】
モード判定部４８は、符号化部１１２の外から供給されるイントラストライプ座標情報および現在のブロックの座標に基づいて、本技術のモード判定処理を行う。すなわち、モード判定部４８は、現在のブロックがイントラストライプ１０内であると判定した場合、モードをイントラ予測に固定する。また、モード判定部４８は、イントラストライプ１０内ではないと判定した場合、現在のブロックがイントラストライプ１０との境界であるか否かを判定する。
【００６０】
モード判定部１４８は、現在のブロックがイントラストライプ１０との境界であると判定した場合、モードをインター予測に固定する。また、モード判定部４８は、現在のブロックがイントラストライプ１０との境界ではないと判定した場合、コスト関数値に基づくモード判定を行う。すなわち、モード判定部１４８は、イントラ予測部４６および動き予測・補償部１４７から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。
【００６１】
なお、その際に、イントラ（最適イントラ予測モード）が選択された場合、モード判定部４８は、周辺のインターブロックの画素を利用する予測方向が選択されているか否かを判定する。すなわち、図６の設定部１１１において、ピクチャヘッダにおいて、constrained_intra_pred_flag=1が設定されているので、周辺のインターブロックの画素を利用する予測の方向が選択されていると判定された場合、イントラ予測方向置き換え部１４９により、インターブロックではない画素を利用する方向に、予測方向の置き換えが行われ、置き換えが行われたイントラ予測の方向での予測画像がセレクタ１５０により選択されて、演算部１３３に供給される。
【００６２】
一方、イントラ（最適イントラ予測モード）が選択された場合に、周辺のインターブロックの画素を利用する予測の方向が選択されていなかったとき、イントラ予測部１４６により生成されたイントラ予測画像がセレクタ１５０により選択されて、演算部１３３に供給される。インター画像が選択された場合、動き予測・補償部１４７により生成されたインター予測画像がセレクタ１５０により選択されて、演算部１３３に供給される。
【００６３】
なお、理想的には、イントラ予測部１４６にも、イントラストライプ座標情報が入力されるので、イントラ予測部１４６において、周辺情報(Intra/Inter)が確定してから、予測画生成に利用可能かの結果を持ってインターブロックが選択された周辺画素は利用しない予測の方向に限定することが理想であるが、リアルタイム処理の要求されるシステムにおいては難しい状況となる。
【００６４】
そのため、イントラ予測部１４６においては、イントラストライプ１０の内部および境界以外では、周辺画素が予測に利用(あるいは予測への利用不可)として、イントラの予測の方向の探索を行うものとする。この際に、イントラ予測に周辺画素の利用不可とした場合(周辺が全てインターブロックで構成)には、イントラ予測方向置き換えブロックは不要となる。利用可能(周辺ブロックがイントラブロックで構成)とした場合には、モード判定部１４８で周辺履歴の管理を行い、イントラ予測部１４６から入力される予測の方向とインターブロック３１Ｌ，３１Ｒの関係を判断して、インターブロック３１Ｌ，３１Ｒからの予測を利用する方向が選択されていた場合には、インターブロックの画素を利用しない、最も近い予測方向に置き換える処理を行うものとする。
【００６５】
レート制御部１５１は、蓄積バッファ１３７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１３５の量子化動作のレートを制御する。
【００６６】
＜符号化装置の処理の説明＞
図８は、図６の符号化装置１００のストリーム生成処理を説明するフローチャートである。
【００６７】
図８のステップＳ１１において、符号化装置１００の設定部１１１は、VPSやSPSなどのパラメータセットおよび各種ヘッダを設定する。その際、設定部１１１は、ピクチャヘッダにおいて、constrained_intra_pred_flag=1を設定する。設定部１１１は、設定されたパラメータセットおよび各種ヘッダを符号化部１１２に供給する。
【００６８】
ステップＳ１２において、符号化部１１２は、外部から入力されたフレーム単位の画像をHEVC方式に準ずる方式で符号化する符号化処理を行う。この符号化処理の詳細は、後述する図９および図１０を参照して説明する。
【００６９】
ステップＳ１３において、符号化部１１２の蓄積バッファ１３７（図７）は、設定部１１１から供給されるパラメータセットおよび各種ヘッダと蓄積している符号化データから符号化ストリームを生成し、伝送部１１３に供給する。
【００７０】
ステップＳ１４において、伝送部１１３は、設定部１１１から供給される符号化ストリームを、後述する復号装置２００に伝送し、処理を終了する。
【００７１】
次に、図９および図１０は、図８のステップＳ１２の符号化処理の詳細を説明するフローチャートである。
【００７２】
図９のステップＳ６１において、符号化部１１２のA/D変換部１３１（図７）は、符号化対象として入力されたフレーム単位の画像をA/D変換する。A/D変換部１３１は、変換後のデジタル信号である画像を画面並べ替えバッファ１３２に出力して記憶させる。
【００７３】
ステップＳ６２において、画面並べ替えバッファ１３２は、記憶した表示の順番のフレームの画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ１３２は、並べ替え後のフレーム単位の画像を、演算部１３３、イントラ予測部１４６、および動き予測・補償部１４７に供給する。
【００７４】
ステップＳ６３において、イントラ予測部１４６は、ＰＵ単位で候補となる全てのイントラ予測モードのイントラ予測処理を行う。また、イントラ予測部１４６は、画面並べ替えバッファ１３２から読み出された画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部１４６は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。イントラ予測部１４６は、最適イントラ予測モードに対応するコスト関数値を、モード判定部１４８に供給する。
【００７５】
また、動き予測・補償部１４７は、ＰＵ単位で候補となる全てのインター予測モードの動き予測・補償処理を行う。また、動き予測・補償部１４７は、画面並べ替えバッファ１３２から供給される画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、動き予測・補償部１４７は、最適インター予測モードのコスト関数値をモード判定部１４８に供給する。
【００７６】
ステップＳ６４において、モード判定部１４８は、モード判定処理を行う。このモード判定処理については、図１１を参照して後述される。ステップＳ６４の処理により、イントラストライプ情報に基づく判定結果に基づいて、最適イントラ予測モードと最適インター予測モードのうちのどちらかを、最適予測モードに決定する。なお、その際に、イントラ（最適イントラ予測モード）が選択された場合、モード判定部１４８は、周辺のインターブロックの画素を利用する予測方向が選択されているか否かを判定する。すなわち、図６の設定部１１１において、ピクチャヘッダにおいて、constrained_intra_pred_flag=1が設定されているので、周辺のインターブロックの画素を利用する予測方向が選択されていると判定された場合、インターブロックではない画素を利用する方向に、予測方向の置き換えが行われ、置き換えが行われたイントラ予測の方向での予測画像がセレクタ１５０により選択されて、演算部１３３に供給される。
【００７７】
ステップＳ６５において、イントラ予測部１４６および動き予測・補償部１４７は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ６５で最適予測モードが最適インター予測モードであると判定された場合、処理は、ステップＳ６６に進む。
【００７８】
ステップＳ６６において、動き予測・補償部１４７は、インター予測モード情報、動きベクトル、および参照画像を特定する情報を可逆符号化部１３６に供給し、処理をステップＳ６８に進める。
【００７９】
一方、ステップＳ６５で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、処理は、ステップＳ６７に進む。ステップＳ６７において、イントラ予測部１４６は、イントラ予測モード情報を可逆符号化部１３６に供給し、処理をステップＳ６８に進める。
【００８０】
ステップＳ６８において、演算部１３３は、画面並べ替えバッファ１３２から供給される画像から、セレクタから供給される予測画像を減算することにより符号化を行う。演算部１３３は、その結果得られる画像を、残差情報として直交変換部１３４に出力する。
【００８１】
ステップＳ６９において、直交変換部１３４は、ＴＵ単位で、残差情報に対して直交変換処理を行う。直交変換部１３４は、直交変換処理後の直交変換処理結果を量子化部１３５に供給する。
【００８２】
ステップＳ７０において、量子化部１３５は、直交変換部１３４から供給される直交変換処理結果を量子化する。量子化部１３５は、量子化の結果得られる量子化値を可逆符号化部１３６と逆量子化部１３８に供給する。
【００８３】
ステップＳ７１において、逆量子化部１３８は、量子化部１３５からの量子化値に対して逆量子化を行う。逆量子化部１３８は、逆量化の結果得られる直交変換処理結果を逆直交変換部１３９に供給する。
【００８４】
ステップＳ７２において、逆直交変換部１３９は、ＴＵ単位で、逆量子化部１３８から供給される直交変換処理結果に対して逆直交変換処理を行う。逆直交変換部１３９は、逆直交変換処理の結果得られる残差情報を加算部１４０に供給する。
【００８５】
ステップＳ７３において、加算部１４０は、逆直交変換部１３９から供給される残差情報と、モード判定部１４８から供給される予測画像を加算し、復号を行う。加算部１４０は、復号された画像をデブロックフィルタ１４１とフレームメモリ１４４に供給する。
【００８６】
ステップＳ７４において、デブロックフィルタ１４１は、加算部１４０から供給される復号された画像に対して、デブロッキングフィルタ処理を行う。デブロックフィルタ１４１は、その結果得られる画像をフレームメモリ１４４に供給する。
【００８７】
ステップＳ７５において、フレームメモリ１４４は、デブロックフィルタ１４１から供給される画像と加算部１４０から供給される画像を蓄積する。フレームメモリ１４４に蓄積されたフィルタ処理が行われていない画像のうちのＰＵに隣接する画像は、周辺画像としてイントラ予測部１４６に供給される。一方、フレームメモリ１４４に蓄積されたフィルタ処理が行われた画像は、参照画像として動き予測・補償部１４７に出力される。
【００８８】
ステップＳ７６において、可逆符号化部１３６は、量子化部１３５から供給される量子化値を可逆符号する。なお、このとき、可逆符号化部１３６は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、および参照画像を特定する情報を、符号化情報として可逆符号化し、可逆符号化された符号化情報と可逆符号化された量子化値から、符号化データを生成し、蓄積バッファ１３７に供給する。
【００８９】
ステップＳ７７において、蓄積バッファ１３７は、可逆符号化部１３６から供給される符号化データを、一時的に蓄積する。
【００９０】
ステップＳ７８において、レート制御部１５１は、蓄積バッファ１３７に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１３５の量子化動作のレートを制御する。そして、処理は、図８のステップＳ１２に戻り、ステップＳ１３に進む。
【００９１】
次に、図１１のフローチャートを参照して、図９のステップＳ６４のモード判定処理について説明する。
【００９２】
モード判定部４８は、ステップＳ１０１において、符号化部１１２の外から供給されるイントラストライプ情報および現在のブロックの座標に基づいて、現在のブロックがイントラストライプ１０内である否かを判定する。
【００９３】
ステップＳ１０１において、現在のブロックがイントラストライプ１０内であると判定された場合、処理は、ステップＳ１０２に進む。ステップＳ１０２において、モード判定部４８は、予測モードをイントラに固定する。この場合、イントラ予測方向置き換え部１４９は、セレクタ１５０に、イントラ予測を選択させる。これにより、イントラ予測部１４６により生成されたイントラ予測画像がセレクタ１５０により選択されて、演算部１３３に供給される。
【００９４】
ステップＳ１０１において、現在のブロックがイントラストライプ１０内であると判定された場合、処理は、ステップＳ１０３に進む。ステップＳ１０３において、モード判定部４８は、現在のブロックがイントラストライプ境界であるか否かを判定する。ステップＳ１０３において、現在のブロックがイントラストライプ境界であると判定された場合、処理は、ステップＳ１０４に進む。
【００９５】
ステップＳ１０４において、モード判定部１４８は、予測モードをインターに固定する。この場合、イントラ予測方向置き換え部１４９は、セレクタ１５０に、インター予測を選択させる。これにより、動き予測・補償部１４７により生成されたインター予測画像がセレクタ１５０により選択されて、演算部１３３に供給される。
【００９６】
ステップＳ１０３において、現在のブロックがイントラストライプ境界ではないと判定された場合、処理は、ステップＳ１０５に進む。ステップＳ１０５において、モード判定部１４８は、通常のコスト関数値に基づく、イントラ／インター判定処理を行う。
【００９７】
すなわち、モード判定部１４８は、イントラ予測部１４６および動き予測・補償部１４７から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。
【００９８】
ステップＳ１０６において、モード判定部１４８は、イントラが選択された場合、最適イントラ予測モードを参照して、周辺のインターブロックの画素を利用する予測の方向が選択されているか否かを判定する。ここでは、ピクチャヘッダにおいて、constrained_intra_pred_flag=1に対応する処理が行われる。
【００９９】
ステップＳ１０６において、インターが選択された場合、または、イントラが選択された場合で、周辺のインターブロックの画素を利用する予測の方向が選択されていないと判定されたとき、処理は、ステップＳ１０７に進む。イントラ予測方向置き換え部１４９は、ステップＳ１０７において、セレクタ１５０に、インター予測またはイントラ予測を選択させる。これにより、動き予測・補償部１４７により生成されたインター予測画像、または、イントラ予測部１４６により生成されたイントラ予測画像がセレクタ１５０により選択されて、演算部１３３に供給される。
【０１００】
一方、ステップＳ１０６において、イントラが選択された場合で、周辺のインターブロックの画素を利用する予測の方向が選択されていると判定されたとき、処理は、ステップＳ１０７に進む。ステップＳ１０７において、イントラ予測方向置き換え部１４９により、インターブロックではない画素を利用する方向に、予測の方向の置き換えが行われ、置き換えが行われたイントラ予測の方向での予測画像がセレクタ１５０により選択されて、演算部１３３に供給される。
【０１０１】
なお、画面１において、イントラストライプ１０以外の領域をすべてインターブロックで構成するようにしてもよい。
【０１０２】
＜復号装置の構成例＞
図１２は、図７の符号化装置１００から伝送される符号化ストリームを復号する、本開示を適用した復号装置の一実施の形態の構成例を示すブロック図である。
【０１０３】
図１２の復号装置２００は、受け取り部２１１、抽出部２１２、および復号部２１３により構成される。
【０１０４】
復号装置２００の受け取り部２１１は、図７の符号化装置１００から伝送されてくる符号化ストリームを受け取り、抽出部２１２に供給する。
【０１０５】
抽出部２１２は、受け取り部２１１から供給される符号化ストリームから、VPSやSPSなどのパラメータセットおよび各種ヘッダと符号化データを抽出し、復号部２１３に供給する。
【０１０６】
復号部２１３は、抽出部２１２から供給される符号化データをHEVC方式に準ずる方式で復号する。このとき、復号部２１３は、必要に応じて、抽出部２１２から供給されるパラメータセットおよび各種ヘッダも参照する。なお、ピクチャヘッダにおけるconstrained_intra_pred_flagは、復号側では、特に参照の必要はない。復号部２１３は、復号の結果得られる画像を出力する。
【０１０７】
＜復号部の構成例＞
図１３は、図１２の復号部２１３の構成例を示すブロック図である。
【０１０８】
図１３の復号部２１３は、蓄積バッファ２３１、可逆復号部２３２、逆量子化部２３３、逆直交変換部２３４、加算部２３５、デブロックフィルタ２３６、および画面並べ替えバッファ２３９を有する。また、復号部２１３は、D/A変換部２４０、フレームメモリ２４１、スイッチ２４２、イントラ予測部２４３、動き補償部２４４、およびスイッチ２４５を有する。
【０１０９】
復号部２１３の蓄積バッファ２３１は、図１２の抽出部２１２から符号化データを受け取り、蓄積する。蓄積バッファ２３１は、蓄積されている符号化データを可逆復号部２３２に供給する。
【０１１０】
可逆復号部２３２は、蓄積バッファ２３１からの符号化データに対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化値と符号化情報を得る。可逆復号部２３２は、量子化値を逆量子化部２３３に供給する。また、可逆復号部２３２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部２４３に供給する。可逆復号部２３２は、動きベクトル、インター予測モード情報、参照画像を特定する情報などを動き補償部２４４に供給する。
【０１１１】
さらに、可逆復号部２３２は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ２４５に供給する。
【０１１２】
逆量子化部２３３、逆直交変換部２３４、加算部２３５、デブロックフィルタ２３６、フレームメモリ２４１、イントラ予測部２４３、および動き補償部２４４は、図８の逆量子化部１３８、逆直交変換部１３９、加算部１４０、デブロックフィルタ１４１、フレームメモリ１４４、イントラ予測部１４６、および動き予測・補償部１４７とそれぞれ同様の処理を行い、これにより、画像が復号される。
【０１１３】
具体的には、逆量子化部２３３は、図８の逆量子化部１３８と同様に構成される。逆量子化部２３３は、ＴＵ単位で、可逆復号部２３２からの量子化値を逆量子化する。逆量子化部２３３は、その結果得られる直交変換処理結果を逆直交変換部２３４に供給する。
【０１１４】
逆直交変換部２３４は、図８の逆直交変換部１３９と同様に構成される。逆直交変換部２３４は、逆量子化部２３３から供給される直交変換処理結果に対して逆直交変換処理を行う。逆直交変換部２３４は、逆直交変換処理の結果得られる残差情報を加算部２３５に供給する。
【０１１５】
加算部２３５は、逆直交変換部２３４から供給される残差情報と、スイッチ２４５から供給される予測画像を加算することにより、復号を行う。加算部２３５は、復号された画像をデブロックフィルタ２３６とフレームメモリ２４１に供給する。
【０１１６】
デブロックフィルタ２３６は、加算部２３５から供給される画像に対して適応デブロックフィルタ処理を行い、その結果得られる画像をその結果得られる画像をフレームメモリ１４１および画面並べ替えバッファ２３９に供給する。
【０１１７】
画面並べ替えバッファ２３９は、デブロックフィルタ２３６から供給される画像をフレーム単位で記憶する。画面並べ替えバッファ２３９は、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部２４０に供給する。
【０１１８】
D/A変換部２４０は、画面並べ替えバッファ２３９から供給されるフレーム単位の画像をD/A変換し、出力する。
【０１１９】
フレームメモリ２４１は、デブロックフィルタ２３６から供給される画像と加算部２３５から供給される画像を蓄積する。フレームメモリ２４１に蓄積されたフィルタ処理が行われていない画像のうちのＰＵに隣接する画像は、周辺画像としてスイッチ２４２を介してイントラ予測部２４３に供給される。一方、フレームメモリ２４１に蓄積されたフィルタ処理が行われた画像は、参照画像として、スイッチ２４２を介して動き補償部２４４に供給される。
【０１２０】
イントラ予測部２４３は、フレームメモリ２４１からスイッチ２４２を介して読み出された周辺画像を用いて、可逆復号部２３２から供給されるイントラ予測モード情報が示す最適イントラ予測モードのイントラ予測処理を行う。イントラ予測部２４３は、その結果生成される予測画像をスイッチ２４５に供給する。
【０１２１】
動き補償部２４４は、フレームメモリ２４１からスイッチ２４２を介して、可逆復号部２３２から供給される参照画像を特定する情報により特定される参照画像を読み出す。動き補償部２４４は、可逆復号部２３２から供給される動きベクトルと参照画像を用いて、可逆復号部２３２から供給されるインター予測モード情報が示す最適インター予測モードの動き補償処理を行う。動き補償部２４４は、その結果生成される予測画像をスイッチ２４５に供給する。
【０１２２】
スイッチ２４５は、可逆復号部２３２からイントラ予測モード情報が供給された場合、イントラ予測部１４６から供給される予測画像を加算部２３５に供給する。一方、可逆復号部２３２からインター予測モード情報が供給された場合、スイッチ２４５は、動き補償部２４４から供給される予測画像を加算部２３５に供給する。
【０１２３】
＜復号装置の処理の説明＞
図１４は、図１２の復号装置２００の画像生成処理を説明するフローチャートである。
【０１２４】
図１４のステップＳ２１１において、復号装置２００の受け取り部２１１は、図７の符号化装置１００から伝送されてくる符号化ストリームを受け取り、抽出部２１２に供給する。
【０１２５】
ステップＳ２１２において、抽出部２１２は、受け取り部２１１から供給される符号化ストリームから、符号化データを抽出し、復号部２１３に供給する。
【０１２６】
ステップＳ２１３において、抽出部２１２は、受け取り部２１１から供給される符号化ストリームから、VPD,SPSなどのパラメータセットおよび各種ヘッダを抽出し、復号部２１３に供給する。
【０１２７】
ステップＳ２１４において、復号部２１３は、必要に応じて抽出部２１２から供給されるパラメータセットおよび各種ヘッダを用いて、抽出部２１２から供給される符号化データをHEVC方式に準ずる方式で復号する復号処理を行う。この復号処理の詳細は、後述する図１５を参照して説明する。そして、処理は終了する。
【０１２８】
次に、図１５のフローチャートを参照して、図１４のステップＳ２１４の復号処理の詳細を説明する。
【０１２９】
復号処理が開始されると、ステップＳ２３１において、蓄積バッファ２３１は、復号部２１３に供給される符号化データを蓄積する。ステップＳ２３２において、可逆復号部２３２は、復号処理を行い、量子化データを得る。
【０１３０】
ステップＳ２３３において、逆量子化部２３３は、ステップＳ２３２の処理により得られた量子化データを逆量子化して直交変換係数を得る。ステップＳ２３４において逆直交変換部２３４は、ステップＳ２３３の処理により得られた直交変換係数を逆直交変換して復元された残差データを得る。
【０１３１】
ステップＳ２３５において、イントラ予測部２４３、動き補償部２４４、およびスイッチ２４５は、符号化の際の予測モードで予測処理を行い、予測画像を生成する。例えば、処理対象のＰＵ（マクロブロック）が符号化の際にイントラ予測が行われたＰＵである場合、イントラ予測部２４３がイントラ予測画像を生成し、スイッチ２４５がそのイントラ予測画像を予測画像として選択する。また、例えば、処理対象のＰＵが符号化の際にインター予測が行われたＰＵである場合、動き補償部２４４がインター予測画像を生成し、スイッチ２４５がそのインター予測画像を予測画像として選択する。
【０１３２】
ステップＳ２３６において、加算部２３５は、ステップＳ２３４の処理により得られた復元された残差データに、ステップＳ２３５の処理により得られた予測画像を加算し、再構成画像を得る。
【０１３３】
ステップＳ２３７において、デブロックフィルタ２３６は、ステップＳ２３６の処理により得られた再構成画像に対してデブロッキングフィルタ等のフィルタ処理を行い、復号画像を得る。
【０１３４】
ステップＳ２３８において、画面並べ替えバッファ２３９は、ステップＳ２３７の処理により得られた復号画像の並べ替えを行い、フレームの順序を、元の表示の順序（符号化装置１００の画面並べ替えバッファ１１１が並べ替える前の順序）に並べ替える。
【０１３５】
ステップＳ２３９において、フレームメモリ２４１は、ステップＳ２３８の処理により得られた復号画像を記憶する。この復号画像は、インター予測において参照画像として利用される。
【０１３６】
ステップＳ２３９の処理が終了すると、画像復号処理が終了される。
【０１３７】
なお、これらの各処理の処理単位は任意であり、互いに同一でなくてもよい。したがって、各ステップの処理は、適宜、他のステップの処理等と並行して、または、処理順を入れ替えて実行することもできる。
【０１３８】
＜２．第２の実施の形態＞
＜伝送エラーの他の復帰方法＞
上述した本技術により実現したい内容は、イントラストライプ１０の外部からエラーがイントラストライプ１０内部に伝搬を抑制することであり、図１６の例においては、その観点から、constrained_intra_pred_flag=0とした場合の実施例について示されている。
【０１３９】
constrained_intra_pred_flag=0とした場合、図１６に示されるように、イントラストライプ１０の左位置が画面端に位置しないときには、太線に示されるように、イントラストライプ１０の開始位置でのスライスのカットが行われる。
【０１４０】
これは、スライス境界にしないと、左の画素を規格上、必ず利用してしまうため、当該境界画素にエラーが載っている場合、イントラストライプ１０内にエラーを伝達させてしまうためである。また、図１６の例においては、網目部分の境界位置に接するブロックのイントラの予測の方向が、左側の境界部２５１Ｌでは、左の画素値の利用を禁止した予測の方向に限定される。右側の境界部２５１Ｒでは、右の画素値の利用を禁止した予測の方向に限定される。
【０１４１】
このようにすることで、イントラストライプ１０へのエラーの伝搬を抑制することが可能となる。なお、イントラストライプ１０外のブロックに対しての制約は特にない。
【０１４２】
＜横ストライプの例＞
図１７は、constrained_intra_pred_flag=1とした場合の横ストライプ場合の実施例について示す図である。図１８は、constrained_intra_pred_flag=0とした場合の横ストライプ場合の実施例について示す図である。
【０１４３】
図１７の例に示されるように、constrained_intra_pred_flag=1とした場合の画面１へのインターブロック３１Uの挿入位置は、イントラストライプ１０の上位の境界部のみとなる。それは、ラスター順に処理が行われるため、未来からの予測がないからである。
【０１４４】
図１８の例に示されるように、constrained_intra_pred_flag=0とした場合、画面１におけるイントラストライプ１０の境界の上位の境界部２５１Uのみ、上側の画素を利用する予測の方向が禁止される。
【０１４５】
また、太線実線に示されるように、最低１マクロブロック（MB/CTUを意味する）は、スライス境界とする必要があります。これは、スライス境界としない場合、左側の画素値が利用できないため、必ず、上位の画素を利用してしまう規格の動作に依存しています。スライス境界とすることで、上位画素の利用をNotAvailableにマークする目的で、太線破線に示される部分でのスライス切り替えが可能となる。上位がスライス境界に位置する場合には、スライスを跨いだ画素参照は規格上利用禁止となる。すなわち、スライス境界としていても、スライス境界としていなくても、上位画素の参照をしないという意味において同様の予測となる。
【０１４６】
以上のように、本技術によれば、GDRにおけるイントラストライプ（イントラブロック）への周辺からのエラーの伝搬を押さえこむことが可能となる。これにより、イントラストライプ内部でエラーが発生せず、インター予測を用いてイントラストライプで復帰した参照面を利用しながら、イントラストライプが１巡回することで、画面を再構成することができる。
【０１４７】
以上により、本技術によれば、画像におけるエラーの伝搬を抑えることができる。すなわち、画質の劣化を抑えることができる。
【０１４８】
以上においては、符号化方式としてHEVCに準じた方式を用いるようにした。ただし、本技術はこれに限らず、その他の符号化方式／復号方式を適用することができる。
【０１４９】
＜３．第３の実施の形態＞
＜テレビジョン会議システムの構成例＞
図１９は、本技術を適用したテレビジョン会議システムの一実施の形態の構成例を示すブロック図である。
【０１５０】
図１９のテレビジョン会議システム３００は、撮影装置３１１−１乃至３１１−Ｍ、符号化装置１００−１乃至１００−Ｍ、合成装置３１２、復号装置２００−１乃至２００−Ｍ、および表示装置３１３−１乃至３１３−Ｍにより構成される。テレビジョン会議システム３００は、異なる地点で会議に参加するＭ人の画像を撮影し、符号化して合成し、復号して表示する。
【０１５１】
具体的には、テレビジョン会議システム３００の撮影装置３１１−１乃至３１１−Ｍは、それぞれ、会議に参加するＭ人の各地点に配置される。撮影装置３１１−１乃至３１１−Ｍは、それぞれ、会議に参加する人の画像を撮影し、符号化装置１００−１乃至１００−Ｍに供給する。
【０１５２】
符号化装置１００−１乃至１００−Ｍは、それぞれ、図６の符号化装置１００と同様に構成される。符号化装置１００−１乃至１００−Ｍは、撮影装置３１１から供給される画像を、タイルごとに独立して、HEVC方式に準じた方式で圧縮符号化する。符号化装置１００−１乃至１００−Ｍは、それぞれ、圧縮符号化の結果得られる符号化ストリームを合成装置１６３に伝送する。
【０１５３】
合成装置１６３は、符号化装置１００−１乃至１００−Ｍから伝送されてくる符号化ストリームを受け取る。合成装置３１２は、符号化ストリームのうちの符号化データを、それぞれ合成する。合成装置３１２は、合成の結果得られる符号化データに、SPS,PPS,VUI,APSなどを付加することにより、合成ストリームを生成する。合成装置３１２は、合成ストリームを復号装置２００−１乃至２００−Ｍに伝送する。
【０１５４】
復号装置２００−１乃至２００−Ｍは、それぞれ、図１２の復号装置２００と同様に構成される。復号装置２００−１乃至２００−Ｍは、それぞれ、合成装置３１２から伝送されてくる合成ストリームを受け取る。復号装置２００−１乃至２００−Ｍは、それぞれ、合成ストリームをタイルごとに独立して復号し、その結果得られる復号画像を表示装置３１３−１乃至３１３−Ｍに供給する。
【０１５５】
表示装置３１３−１乃至３１３−Ｍは、それぞれ、会議に参加するＭ人の各地点に配置される。表示装置３１３−１乃至３１３−Ｍは、復号装置２００−１乃至２００−Ｍから供給される復号画像を表示する。
【０１５６】
なお、テレビジョン会議システム３００では、表示装置３１３−１乃至３１３−Ｍが、それぞれ、会議に参加するＭ人の各地点に配置されたが、表示装置は、会議に参加するＭ人の一部の人の地点に配置されるようにしてもよい。また、復号画像は、会議に参加してない人の表示装置に表示されるようにしてもよい。また、合成装置３１２はなくてもよく、その場合、符号化装置１００−１乃至１００−Ｍから伝送されてくる符号化ストリームを受け取る。
【０１５７】
以上のような、テレビジョン会議システム３００では、符号化装置１００−１乃至１００−Ｍにおいて、本技術を適用することにより、GDRにおけるイントラストライプ（イントラブロック）への周辺からのエラーの伝搬を押さえこむことが可能となる。
【０１５８】
テレビジョン会議システム３００においては、低遅延のため、エラー修復などしている時間がないが、本技術を適用することにより、画像におけるエラーの伝搬を抑えることができる。すなわち、本技術は、低遅延のテレビジョン会議システムやネットワークカメラシステムなどに効果的である。
【０１５９】
＜４．第４の実施の形態＞
＜情報のデータ単位＞
以上において説明した画像に関する情報や画像の符号化・復号に関する情報が設定される（または対象とするデータの）データ単位は、それぞれ任意であり、上述した例に限定されない。例えば、これらの情報が、それぞれ、TU、PU、CU、LCU、サブブロック、ブロック、タイル、スライス、ピクチャ、シーケンス、またはコンポーネント毎に設定されるようにしてもよいし、それらのデータ単位のデータを対象とするようにしてもよい。もちろん、このデータ単位は、情報毎に設定される。つまり、全ての情報が同一のデータ単位毎に設定される（または対象とする）ようにしなくてもよい。なお、これらの情報の格納場所は任意であり、上述したデータ単位のヘッダやパラメータセット等に格納されるようにしてもよい。また、複数個所に格納されるようにしてもよい。
【０１６０】
＜符号化・復号＞
なお、本開示は、例えば、HEVC方式等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本開示は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。
【０１６１】
＜本技術の適用分野＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。
【０１６２】
例えば、本技術は、鑑賞の用に供される画像を伝送するシステムやデバイスにも適用することができる。また、例えば、本技術は、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、農業の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、畜産業の用に供されるシステムやデバイスにも適用することができる。さらに、本技術は、例えば火山、森林、海洋等の自然の状態を監視するシステムやデバイスにも適用することができる。また、本技術は、例えば天気、気温、湿度、風速、日照時間等を観測する気象観測システムや気象観測装置に適用することができる。さらに、本技術は、例えば鳥類、魚類、ハ虫類、両生類、哺乳類、昆虫、植物等の野生生物の生態を観測するシステムやデバイス等にも適用することができる。
【０１６３】
＜多視点画像符号化・復号システムへの適用＞
上述した一連の処理は、複数の視点（ビュー（view））の画像を含む多視点画像の符号化・復号を行う多視点画像符号化・復号システムに適用することができる。その場合、各視点（ビュー（view））の符号化・復号において、本技術を適用するようにすればよい。
【０１６４】
＜階層画像符号化・復号システムへの適用＞
また、上述した一連の処理は、所定のパラメータについてスケーラビリティ（scalability）機能を有するように複数レイヤ化（階層化）された階層画像の符号化・復号を行う階層画像符号化（スケーラブル符号化）・復号システムに適用することができる。その場合、各階層（レイヤ）の符号化・復号において、本技術を適用するようにすればよい。
【０１６５】
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【０１６６】
図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１６７】
図２０に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。
【０１６８】
バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。
【０１６９】
入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。
【０１７０】
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１７１】
コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。
【０１７２】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。
【０１７３】
その他、このプログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくこともできる。
【０１７４】
＜本技術の応用＞
上述した実施形態に係る符号化装置１００や復号装置２００は、例えば、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機や受信機、または、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置や、これら記憶媒体から画像を再生する再生装置などの、様々な電子機器に応用され得る。
【０１７５】
＜第１の応用例：テレビジョン受像機＞
図２１は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース（I/F）部９０９、制御部９１０、ユーザインタフェース（I/F）部９１１、及びバス９１２を備える。
【０１７６】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
【０１７７】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０１７８】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
【０１７９】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０１８０】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
【０１８１】
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０１８２】
外部インタフェース部９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース部９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース部９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
【０１８３】
制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０１８４】
ユーザインタフェース部９１１は、制御部９１０と接続される。ユーザインタフェース部９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０１８５】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９及び制御部９１０を相互に接続する。
【０１８６】
このように構成されたテレビジョン装置９００において、デコーダ９０４が、上述した画像復号装置２００の機能を有するようにしてもよい。つまり、デコーダ９０４が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、テレビジョン装置９００は、受信する符号化ビットストリームの符号化効率の低減を抑制することができる。
【０１８７】
また、このように構成されたテレビジョン装置９００において、映像信号処理部９０５が、例えば、デコーダ９０４から供給される画像データを符号化し、得られた符号化データを、外部インタフェース部９０９を介してテレビジョン装置９００の外部に出力させることができるようにしてもよい。そして、その映像信号処理部９０５が、上述した符号化装置１００の機能を有するようにしてもよい。つまり、映像信号処理部９０５が、デコーダ９０４から供給される画像データを、以上の各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、テレビジョン装置９００は、画像におけるエラーの伝搬を抑えることができる。すなわち、画質の劣化を抑えることができる。
【０１８８】
＜第２の応用例：携帯電話機＞
図２２は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０１８９】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０１９０】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０１９１】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０１９２】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９に供給し、その記憶媒体に書き込ませる。
【０１９３】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Universal Serial Bus）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０１９４】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９に供給し、その記憶媒体に書き込ませる。
【０１９５】
さらに、画像表示モードにおいて、記録再生部９２９は、記憶媒体に記録されている符号化ストリームを読み出して画像処理部９２７へ出力する。画像処理部９２７は、記録再生部９２９から入力される符号化ストリームを復号し、画像データを表示部９３０に供給し、その画像を表示させる。
【０１９６】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０１９７】
このように構成された携帯電話機９２０において、例えば画像処理部９２７が、上述した符号化装置１００の機能を有するようにしてもよい。つまり、画像処理部９２７が、画像データを、以上の各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、携帯電話機９２０は、画像におけるエラーの伝搬を抑えることができる。すなわち、画質の劣化を抑えることができる。
【０１９８】
また、このように構成された携帯電話機９２０において、例えば画像処理部９２７が、上述した画像復号装置２００の機能を有するようにしてもよい。つまり、画像処理部９２７が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、携帯電話機９２０は、符号化データの符号化効率の低減を抑制することができる。
【０１９９】
＜第３の応用例：撮像装置＞
図２３は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０２００】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース（I/F）部９６６、メモリ部９６７、メディアドライブ９６８、OSD部９６９、制御部９７０、ユーザインタフェース（I/F）部９７１、およびバス９７２を備える。
【０２０１】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース部９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、OSD部９６９、および制御部９７０を相互に接続する。
【０２０２】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０２０３】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０２０４】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース部９６６またはメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース部９６６またはメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD部９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０２０５】
OSD部９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０２０６】
外部インタフェース部９６６は、例えばUSB入出力端子として構成される。外部インタフェース部９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース部９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース部９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース部９６６は、撮像装置９６０における伝送部としての役割を有する。
【０２０７】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
【０２０８】
制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０２０９】
ユーザインタフェース部９７１は、制御部９７０と接続される。ユーザインタフェース部９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース部９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０２１０】
このように構成された撮像装置９６０において、例えば画像処理部９６４が、上述した符号化装置１００の機能を有するようにしてもよい。つまり、画像処理部９６４が、画像データを、以上の各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、撮像装置９６０は、画像におけるエラーの伝搬を抑えることができる。すなわち、画質の劣化を抑えることができる。
【０２１１】
また、このように構成された撮像装置９６０において、例えば画像処理部９６４が、上述した復号装置２００の機能を有するようにしてもよい。つまり、画像処理部９６４が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、撮像装置９６０は、画像におけるエラーの伝搬を抑えることができる。すなわち、画質の劣化を抑えることができる。
【０２１２】
＜第４の応用例：ネットワークシステム＞
また、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。図２４は、本技術を適用したネットワークシステムの概略的な構成の一例を示している。
【０２１３】
図２４に示されるネットワークシステム１６００は、機器同士が、ネットワークを介して画像（動画像）に関する情報を授受するシステムである。このネットワークシステム１６００のクラウドサービス１６０１は、自身に通信可能に接続されるコンピュータ１６１１、AV（Audio Visual）機器１６１２、携帯型情報処理端末１６１３、IoT（Internet of Things）デバイス１６１４等の端末に対して、画像（動画像）に関するサービスを提供するシステムである。例えば、クラウドサービス１６０１は、所謂動画配信（オンデマンドやライブ配信）のような、画像（動画像）のコンテンツの供給サービスを端末に提供する。また、例えば、クラウドサービス１６０１は、端末から画像（動画像）のコンテンツを受け取って保管するバックアップサービスを提供する。また、例えば、クラウドサービス１６０１は、端末同士の画像（動画像）のコンテンツの授受を仲介するサービスを提供する。
【０２１４】
クラウドサービス１６０１の物理構成は任意である。例えば、クラウドサービス１６０１は、動画像を保存し、管理するサーバ、動画像を端末に配信するサーバ、動画像を端末から取得するサーバ、ユーザ（端末）や課金を管理するサーバ等の各種サーバや、インターネットやLAN等の任意のネットワークを有するようにしてもよい。
【０２１５】
コンピュータ１６１１は、例えば、パーソナルコンピュータ、サーバ、ワークステーション等のような情報処理装置により構成される。AV機器１６１２は、例えば、テレビジョン受像機、ハードディスクレコーダ、ゲーム機器、カメラ等のような画像処理装置により構成される。携帯型情報処理端末１６１３は、例えば、ノート型パーソナルコンピュータ、タブレット端末、携帯電話機、スマートフォン等のような携帯型の情報処理装置により構成される。IoTデバイス１６１４は、例えば、機械、家電、家具、その他の物、ICタグ、カード型デバイス等、画像に関する処理を行う任意の物体により構成される。これらの端末は、いずれも通信機能を有し、クラウドサービス１６０１に接続し（セッションを確立し）、クラウドサービス１６０１と情報の授受を行う（すなわち通信を行う）ことができる。また、各端末は、他の端末と通信を行うこともできる。端末間の通信は、クラウドサービス１６０１を介して行うようにしてもよいし、クラウドサービス１６０１を介さずに行うようにしてもよい。
【０２１６】
以上のようなネットワークシステム１６００に本技術を適用し、端末間や、端末とクラウドサービス１６０１との間で画像（動画像）のデータが授受される際に、その画像データを各実施の形態において上述したように符号化・復号するようにしてもよい。つまり、端末（コンピュータ１６１１乃至IoTデバイス１６１４）やクラウドサービス１６０１が、それぞれ、上述した符号化装置１００や復号装置２００の機能を有するようにしてもよい。このようにすることにより、画像データを授受する端末やクラウドサービス１６１１は、画像におけるエラーの伝搬を抑えることができる。すなわち、画質の劣化を抑えることができる。
【０２１７】
＜その他＞
なお、符号化データ（ビットストリーム）に関する各種情報は、符号化データに多重化されて伝送され又は記録されるようにしてもよいし、符号化データに多重化されることなく、符号化データと関連付けられた別個のデータとして伝送され又は記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
【０２１８】
また、上述したように、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
【０２１９】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２２０】
例えば、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２２１】
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０２２２】
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２２３】
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
【０２２４】
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２２５】
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
【０２２６】
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術を、他の実施の形態において説明した本技術と組み合わせて実施することもできる。また、上述した任意の本技術を、上述していない他の技術と併用して実施することもできる。
【０２２７】
なお、本技術は以下のような構成も取ることができる。
（１）  複数のピクチャの画像データを符号化する際、イントラ予測を行うイントラ領域を、垂直方向または水平方向であるイントラ割り当て方向に割り当てて、前記ピクチャにおけるすべての符号化単位が、前記イントラ領域となるように、前記イントラ領域を、前記イントラ割り当て方向に対して垂直な方向に移動させることで得られるイントラ領域の座標情報に基づいて、前記イントラ領域の周囲領域の予測モードをインター予測に決定する予測モード決定部
を備える画像処理装置。
（２）  イントラ予測を行う際に、隣接画素の参照がイントラ領域の画素のみに制約されることを示すイントラ予測参照フラグをONに設定する設定部を
さらに備え、
前記設定部により前記イントラ予測参照フラグがONに設定されている場合、前記予測モード決定部は、前記イントラ領域の座標情報に基づいて、前記イントラ領域の周囲領域の予測モードをインター予測に決定する
前記（１）に記載の画像処理装置。
（３）  前記イントラ割り当て方向が垂直方向の場合、前記予測モード決定部は、前記イントラ領域の左右領域の予測モードをインター予測に決定する
前記（１）または（２）に記載の画像処理装置。
（４）  前記イントラ割り当て方向が水平方向の場合、前記予測モード決定部は、前記イントラ領域の上部領域の予測モードをインター予測に決定する
前記（１）または（２）に記載の画像処理装置。
（５）  前記イントラ予測を行う際に、決定されているイントラ予測方向にインター領域の画素の参照がある場合、前記イントラ予測方向を、インター領域の画素の参照がない方向に置き換える置き換え部を
さらに備える
前記（２）に記載の画像処理装置。
（６）  画像処理装置が、
複数のピクチャの画像データを符号化する際、イントラ予測を行うイントラ領域を、垂直方向または水平方向であるイントラ割り当て方向に割り当てて、前記ピクチャにおけるすべての符号化単位が、前記イントラ領域となるように、前記イントラ領域を、前記イントラ割り当て方向に対して垂直な方向に移動させることで得られるイントラ領域の座標情報に基づいて、前記イントラ領域の周囲領域の予測モードをインター予測に決定する
画像処理方法。
（７）  複数のピクチャの画像データを符号化する際、イントラ予測を行うイントラ領域を、垂直方向または水平方向であるイントラ割り当て方向に割り当てて、前記ピクチャにおけるすべての符号化単位が、前記イントラ領域となるように、前記イントラ領域を、前記イントラ割り当て方向に対して垂直な方向に移動させることで得られるイントラ領域の座標情報に基づいて、前記イントラ領域の境界部のイントラ予測モードを、前記イントラ領域に隣接する画素を利用しない予測モードに決定する予測モード決定部
を備える画像処理装置。
（８）  イントラ予測を行う際に、隣接画素の参照がイントラ領域の画素のみに制約されることを示すイントラ予測参照フラグをOFFに設定する設定部を
さらに備え、
前記設定部により前記イントラ予測参照フラグがOFFに設定されている場合、前記予測モード決定部は、前記イントラ領域の座標情報に基づいて、前記イントラ領域の境界部のイントラ予測モードを、前記イントラ領域に隣接する画素を利用しない予測モードに決定する
前記（７）に記載の画像処理装置。
（９）  前記イントラ割り当て方向が垂直方向の場合、前記予測モード決定部は、前記イントラ領域の左右の境界部のイントラ予測モードを、前記イントラ領域に隣接する画素を利用しない予測モードに決定する
前記（７）または（８）に記載の画像処理装置。
（１０）  前記イントラ割り当て方向が水平方向の場合、前記予測モード決定部は、前記イントラ領域の上位の境界部のイントラ予測モードを、前記イントラ領域に隣接する画素を利用しない予測モードに決定する
前記（７）または（８）に記載の画像処理装置。
（１１）  画像処理装置が、
複数のピクチャの画像データを符号化する際、イントラ予測を行うイントラ領域を、垂直方向または水平方向であるイントラ割り当て方向に割り当てて、前記ピクチャにおけるすべての符号化単位が、前記イントラ領域となるように、前記イントラ領域を、前記イントラ割り当て方向に対して垂直な方向に移動させることで得られるイントラ領域の座標情報に基づいて、前記イントラ領域の境界部のイントラ予測モードを、前記イントラ領域に隣接する画素を利用しない予測モードに決定する
画像処理方法。
【符号の説明】
【０２２８】
１  画面，  １０  イントラストライプ，  １０ａ  ブロック，  １１  伝送エラー領域，  ２１ａ  ブロック，  ３１Ｌ，３１Ｒ，３１Ｕ  インターブロック，  １００，１００−１乃至１００−Ｍ  符号化装置，  １１１  設定部，  １１２  符号化部，  １４６  イントラ予測部，  １４７  動き予測・補償部，  １４８  モード判定部，  １４９  イントラ予測方向置き換え部，  ２００，２００−１乃至２００−Ｍ  復号装置，  ２１３  復号部，  ２５１Ｌ，２５１Ｒ，２５１Ｕ  境界部，  ３００  テレビジョン会議システム，  ３１２  合成装置，  ３１３−１乃至３１３Ｍ  表示装置
【図１】
2018105410.tif 000003
【図２】
2018105410.tif 000004
【図３】
2018105410.tif 000005
【図４】
2018105410.tif 000006
【図５】
2018105410.tif 000007
【図６】
2018105410.tif 000008
【図７】
2018105410.tif 000009
【図８】
2018105410.tif 000010
【図９】
2018105410.tif 000011
【図１０】
2018105410.tif 000012
【図１１】
2018105410.tif 000013
【図１２】
2018105410.tif 000014
【図１３】
2018105410.tif 000015
【図１４】
2018105410.tif 000016
【図１５】
2018105410.tif 000017
【図１６】
2018105410.tif 000018
【図１７】
2018105410.tif 000019
【図１８】
2018105410.tif 000020
【図１９】
2018105410.tif 000021
【図２０】
2018105410.tif 000022
【図２１】
2018105410.tif 000023
【図２２】
2018105410.tif 000024
【図２３】
2018105410.tif 000025
【図２４】
2018105410.tif 000026
【国際調査報告】
2018105410.tif 000027
2018105410.tif 000028
2018105410.tif 000029
2018105410.tif 000030