(57)【要約】【課題】Ｉピクチャを利用しない映像符号化において、視覚的な画質劣化を抑制することを目的とする。【解決手段】予測画像生成部１７が、リフレッシュ周期の最初のピクチャの第１画素ブロック群に含まれる画素ブロックをイントラ予測符号化し、リフレッシュ周期のｎ番目（ｎ＞１）のピクチャの第ｎ画素ブロック群（第ｎ−１画素ブロック群を拡張した領域）に含まれる画素ブロックをｍ番目（ｍ＜ｎ）のピクチャの第ｍ画素ブロック群に含まれる画素ブロックのみを参照可能としてインター予測符号化する。【選択図】図１
2020057936.tif 000002
【特許請求の範囲】
【請求項１】
映像を構成するピクチャを画素ブロックごとに符号化する映像符号化装置であって、
前記画素ブロックをイントラ予測符号化またはインター予測符号化する予測画像生成部を有し、
前記予測画像生成部は、所定の周期の１番目のピクチャの第１領域に含まれる画素ブロックをイントラ予測符号化し、
前記所定の周期のｎ番目（ｎ＞１）のピクチャの第ｎ−１領域を広げた第ｎ領域に含まれる画素ブロックをｍ番目（ｍ＜ｎ）のピクチャの第ｍ領域に含まれる画素ブロックのみを参照可能としてインター予測符号化することを特徴とする映像符号化装置。
【請求項２】
前記第１領域は、前記ピクチャの端部に位置し、当該端部に沿って延びる帯状の領域であり、
前記第ｎ領域は、前記第ｎ−１領域と前記第ｎ−１領域に沿って延びる帯状の領域を合わせた領域であることを特徴とする請求項１に記載の映像符号化装置。
【請求項３】
映像を構成するピクチャを画素ブロックごとに符号化する映像符号化方法であって、
所定の周期の１番目のピクチャの第１領域に含まれる画素ブロックをイントラ予測符号化するステップと、
前記所定の周期のｎ番目（ｎ＞１）のピクチャの第ｎ−１領域を広げた第ｎ領域に含まれる画素ブロックをｍ番目（ｍ＜ｎ）のピクチャの第ｍ領域に含まれる画素ブロックのみを参照可能としてインター予測符号化するステップと、
を有することを特徴とする映像符号化方法。
【請求項４】
前記第１領域は、前記ピクチャの端部に位置し、当該端部に沿って延びる帯状の領域であり、
前記第ｎ領域は、前記第ｎ−１領域と前記第ｎ−１領域に沿って延びる帯状の領域を合わせた領域であることを特徴とする請求項３に記載の映像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を符号化する技術に関する。
【背景技術】
【０００２】
リアルタイムに映像通信を行う場合、映像送信側でピクチャを取得してから映像受信側でピクチャを表示するまでに要する時間（遅延時間）を短縮することが望まれる。映像の符号化処理／復号処理による遅延時間を短縮する技術の１つとして、イントラスライスあるいはイントラコラムと呼ばれる技術が知られている。
【０００３】
イントラスライスを利用した映像符号化では、画面内だけで独立して符号化することで得られるＩピクチャを利用しない代わりに、符号化ブロックを強制的に画面内予測（イントラ予測）符号化するイントラスライス領域をピクチャ単位で上から下に移動させてリフレッシュを実現する。図６（ａ）にイントラスライス領域が移動する様子を示す。イントラスライス領域がピクチャの上端から下端に移動するピクチャ数をイントラスライス周期と呼ぶ。図６（ｂ）は、イントラコラム領域が移動する様子示す図である。イントラコラムを利用した映像符号化では、ピクチャに対して縦に配置したイントラコラム領域を左端から右端に移動させてリフレッシュを実現する。
【０００４】
図７は、イントラスライス領域を含むピクチャの符号化処理の概要を示す図である。イントラスライス領域より上の領域では、参照ピクチャにおけるリフレッシュ領域（以前のピクチャでイントラスライス領域が通過した領域）のみを参照可能として、画面間予測（インター予測）符号化を行う。イントラスライス領域では、イントラ予測符号化を行う。イントラスライス領域より下の領域では、参照ピクチャ中の任意の領域を参照してインター符号化を行う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２０１２／１２１２１１号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
イントラスライス領域に含まれる符号化ブロックは、イントラ予測符号化のみを行うイントラブロックである。一方、イントラスライス領域に含まれない符号化ブロックは、イントラ予測符号化を行うイントラブロックとインター符号化を行うインターブロックが混在する。映像の特性あるいは要求されるビットレートなどによっては、イントラスライス領域と非イントラスライス領域とで画質に差が生じることがある。その結果、イントラスライスを利用した符号化では、復号した映像中にイントラスライス領域が移動する様子が見えてしまい、視覚的な画質劣化を生じることがあるという課題があった。
【０００７】
本発明は、上記に鑑みてなされたものであり、Ｉピクチャを利用しない映像符号化において、視覚的な画質劣化を抑制することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る映像符号化装置は、映像を構成するピクチャを画素ブロックごとに符号化する映像符号化装置であって、前記画素ブロックをイントラ予測符号化またはインター予測符号化する予測画像生成部を有し、前記予測画像生成部は、所定の周期の１番目のピクチャの第１領域に含まれる画素ブロックをイントラ予測符号化し、前記所定の周期のｎ番目（ｎ＞１）のピクチャの第ｎ−１領域を広げた第ｎ領域に含まれる画素ブロックをｍ番目（ｍ＜ｎ）のピクチャの第ｍ領域に含まれる画素ブロックのみを参照可能としてインター予測符号化することを特徴とする。
【０００９】
本発明に係る映像符号化方法は、映像を構成するピクチャを画素ブロックごとに符号化する映像符号化方法であって、所定の周期の１番目のピクチャの第１領域に含まれる画素ブロックをイントラ予測符号化するステップと、前記所定の周期のｎ番目（ｎ＞１）のピクチャの第ｎ−１領域を広げた第ｎ領域に含まれる画素ブロックをｍ番目（ｍ＜ｎ）のピクチャの第ｍ領域に含まれる画素ブロックのみを参照可能としてインター予測符号化するステップと、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、Ｉピクチャを利用しない映像符号化において、視覚的な画質劣化を抑制することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態の映像符号化装置の構成を示す機能ブロック図である。
【図２】リフレッシュされる領域の変化を示す図である。
【図３Ａ】リフレッシュ周期の最初のピクチャに第１画素ブロック群を設定した様子を示す図である。
【図３Ｂ】リフレッシュ周期の２番目のピクチャに第２画素ブロック群を設定した様子を示す図である。
【図３Ｃ】リフレッシュ周期の３番目のピクチャに第３画素ブロック群を設定した様子を示す図である。
【図４Ａ】リフレッシュ周期の最初のピクチャに第１画素ブロック群を設定した様子を示す図である。
【図４Ｂ】リフレッシュ周期の２番目のピクチャに第２画素ブロック群を設定した様子を示す図である。
【図４Ｃ】リフレッシュ周期の３番目のピクチャに第３画素ブロック群を設定した様子を示す図である。
【図５Ａ】リフレッシュ周期の最初のピクチャに第１画素ブロック群を設定した様子を示す図である。
【図５Ｂ】リフレッシュ周期の２番目のピクチャに第２画素ブロック群を設定した様子を示す図である。
【図５Ｃ】リフレッシュ周期の３番目のピクチャに第３画素ブロック群を設定した様子を示す図である。
【図６】イントラスライス領域、イントラコラム領域が移動する様子を示す図である。
【図７】イントラスライス領域を含むピクチャの符号化処理の概要を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について図面を用いて説明する。
【００１３】
図１は、本実施形態の映像符号化装置１の構成を示す機能ブロック図である。同図に示す映像符号化装置１は、加算器Ａ、直交変換部１１、量子化部１２、可変長符号化部１３、量子化制御部１４、逆量子化部１５、逆直交変換部１６、加算器Ｂ、及び予測画像生成部１７を備える。
【００１４】
加算器Ａは、映像を構成する入力ピクチャから、予測画像生成部１７が生成した予測画像を減算して予測残差を生成する。直交変換部１１は、加算器Ａの出力である予測残差に対し、離散コサイン変換などの直交変換を施す。量子化部１２は、量子化制御部１４から出力された量子化パラメータを用いて、直交変換された予測残差の変換係数を量子化する。可変長符号化部１３は、量子化された予測残差の変換係数を、可逆的な処理が可能な所定の符号化方式により符号化して符号化データを出力する。量子化制御部１４は、入力ピクチャおよび可変長符号化部１３が出力するデータ量等から得られる発生符号量を用いて量子化パラメータを決定する。
【００１５】
量子化部１２の出力は、可変長符号化部１３に入力されるとともに、逆量子化部１５にも入力される。逆量子化部１５は、量子化部１２の出力を逆量子化して予測残差の変換係数を復号する。逆直交変換部１６は、逆量子化部１５の出力を逆直交変換して予測残差を復号する。加算器Ｂは、予測画像生成部１７が生成した予測画像と逆直交変換部１６が復号した予測残差とを加算し、局所復号画像を生成する。
【００１６】
予測画像生成部１７は、イントラ予測部１７１およびインター予測部１７２を備える。予測画像生成部１７は、符号化対象ブロックごとに、予測効率に応じてイントラ予測部１７１又はインター予測部１７２の出力を切り替える。映像符号化装置１は、Ｈ．２６４／ＡＶＣあるいはＨ．２６５／ＨＥＶＣなどの映像符号化標準に準拠する符号化データを生成することから、多くの処理がブロック単位で行われる。イントラ予測部１７１は、近接画素間の相関関係を利用し、局所復号画像の画素値を用いて画素ブロックをイントラ予測符号化する。インター予測部１７２は、局所復号画像の前方あるいは後方のフレームから検出される符号化対象の動き情報を用いて画素ブロックをインター予測符号化する。
【００１７】
予測画像生成部１７は、リフレッシュ周期の最初のピクチャにイントラ予測符号化する画素ブロックの集合（第１画素ブロック群）を挿入し、リフレッシュ周期の２番目以降のピクチャでは、ｎ番目（ｎ＞１）のピクチャの第ｎ画素ブロック群の画素ブロックを、ｍ番目（ｍ＜ｎ）のピクチャ（参照ピクチャ）中の第ｍ画素ブロック群のみを参照可能としてインター予測符号化する。予測画像生成部１７は、ｎ番目のピクチャの第ｎ画素ブロック群を、ｎ−１番目のピクチャの第ｎ−１画素ブロック群に隣接する領域を含めて広げる。
【００１８】
最初のピクチャの第１画素ブロック群は、前のリフレッシュ周期での誤りが伝播されていないリフレッシュされた領域となる。また、２番目のピクチャの第１画素ブロック群のみを参照してインター予測符号化された第２画素ブロック群もリフレッシュされた領域となる。３番目以降のピクチャにおいても参照ピクチャ中のリフレッシュされた領域のみを参照してインター予測符号化された領域はリフレッシュされた領域となる。予測画像生成部１７は、リフレッシュ周期の最初のピクチャのみにイントラ予測符号化する第１画素ブロック群を挿入するので、イントラ予測符号化した領域とインター予測符号化した領域との画質の差が生じにくい。
【００１９】
図２にリフレッシュされる領域の変化を示す。図２では、リフレッシュ周期内に４つのピクチャを示しているが、これに限定するものではなく、リフレッシュ周期内のピクチャ数は任意に設定できる。
【００２０】
リフレッシュ周期の最初のピクチャ１００Ａでは、イントラ予測符号化する第１画素ブロック群１１０Ａがリフレッシュされた領域となる。
【００２１】
２番目のピクチャ１００Ｂでは、第１画素ブロック群１１０Ａと第１画素ブロック群１１０Ａに隣接した領域を含む第２画素ブロック群１１０Ｂがリフレッシュされる領域である。第２画素ブロック群１１０Ｂの画素ブロックは、ピクチャ１００Ａの第１画素ブロック群１１０Ａのみを参照可能としてインター予測符号化される。
【００２２】
３番目のピクチャ１００Ｃでは、第２画素ブロック群１１０Ｂと第２画素ブロック群１１０Ｂに隣接した領域を含む第３画素ブロック群１１０Ｃがリフレッシュされる領域である。第３画素ブロック群１１０Ｃの画素ブロックは、ピクチャ１００Ａの第１画素ブロック群１１０Ａおよびピクチャ１００Ｂの第２画素ブロック群１１０Ｂのみを参照可能としてインター予測符号化される。
【００２３】
リフレッシュ周期の最後のピクチャ１００Ｄでは、ピクチャ全体がリフレッシュされる領域となる。最後のピクチャ１００Ｄの画素ブロックは、１つ前または２つ前のピクチャ１００Ｂ，１００Ｃの第２画素ブロック群１１０Ｂと第３画素ブロック群１１０Ｃのみを参照可能としてインター予測符号化される。
【００２４】
次のリフレッシュ周期では、上記と同様に、最初のピクチャにイントラ予測符号化する第１画素ブロック群を挿入し、以降のピクチャにおいて、リフレッシュされる領域を広げていく。
【００２５】
次に、予測画像生成部の処理について説明する。
【００２６】
予測画像生成部１７は、図３Ａに示すように、リフレッシュ周期の最初のピクチャの上端部に、イントラ予測符号化する画素ブロックの集合（第１画素ブロック群）を挿入する。第１画素ブロック群の画素ブロックは、イントラ予測部１７１がイントラ予測符号化する。第１画素ブロック群以外の画素ブロックは、インター予測部１７２がインター予測符号化する。第１画素ブロック群以外の画素ブロックは、予測効率に応じてイントラ予測符号化とインター予測符号化を切り替えてもよい。以下で説明する第ｎ画素ブロック群以外の画素ブロックについても同様である。
【００２７】
図３Ａに示す第１画素ブロック群は、ピクチャ中で横方向に延伸された帯状のイントラスライス（横帯）に相当する。第１画素ブロック群は、イントラスライスに限定するものではなく、後述の、ピクチャ中で縦方向に延伸された帯状のイントラコラム（縦帯）でもよい。第１画素ブロック群は、ピクチャの端部に位置する閉じた領域に含まれる画素ブロックで構成されればよい。例えば、イントラ予測符号化する第１画素ブロック群は図３Ａの横帯の一部であってもよい。
【００２８】
続いて、予測画像生成部１７は、図３Ｂに示すように、２番目のピクチャの、第１画素ブロック群と第１画素ブロック群に隣接する領域の画素ブロックの集合を第２画素ブロック群とする。第２画素ブロック群の幅は、第１画素ブロック群の幅の２倍程度が望ましい。第２画素ブロック群の画素ブロックは、最初のピクチャ中の第１画素ブロック群のみを参照可能としてインター予測部１７２がインター予測符号化する。第２画素ブロック群以外の画素ブロックは、参照制限なしでインター予測部１７２がインター予測符号化する。
【００２９】
続いて、予測画像生成部１７は、図３Ｃに示すように、３番目のピクチャの、第２画素ブロック群と第２画素ブロック群に隣接する領域の画素ブロックの集合を第３画素ブロック群とする。第３画素ブロック群の幅は、第２画素ブロック群の幅に第１画素ブロック群の幅を加えた程度が望ましい。第３画素ブロック群の画素ブロックは、最初のピクチャ中の第１画素ブロック群および２番目のピクチャ中の第２画素ブロック群のみを参照可能としてインター予測部１７２がインター予測符号化する。第３画素ブロック群以外の画素ブロックは、参照制限なしでインター予測部１７２がインター予測符号化する。
【００３０】
予測画像生成部１７は、４番目のピクチャ以降においても、インター予測符号化の際に参照可能な領域を制限する領域（第４画像ブロック群、第５画像ブロック群、・・・）つまりリフレッシュされる領域を広げていき、その領域の画素ブロックは参照ピクチャ中のリフレッシュされた領域のみを参照可能としてインター予測符号化する。
【００３１】
リフレッシュ周期の最後のピクチャは、リフレッシュされる領域がピクチャの全体となる。この最後のピクチャの次のピクチャは、新たなリフレッシュ周期の最初のピクチャである。予測画像生成部１７は、図３Ａに戻り、新たなリフレッシュ周期の最初のピクチャに第１画素ブロック群を挿入する。
【００３２】
次に、ピクチャの横方向にリフレッシュする例について説明する。
【００３３】
予測画像生成部１７は、図４Ａに示すように、リフレッシュ周期の最初のピクチャの左端部に縦帯の第１画素ブロック群を挿入する。第１画素ブロック群の画素ブロックは、イントラ予測部１７１がイントラ予測符号化する。第１画素ブロック群以外の画素ブロックは、インター予測部１７２がインター予測符号化する。
【００３４】
続いて、予測画像生成部１７は、図４Ｂに示すように、２番目のピクチャの、第１画素ブロック群と第１画素ブロック群に隣接する右側の領域の画素ブロックの集合を第２画素ブロック群とする。第２画素ブロック群の幅は、第１画素ブロック群の幅の２倍程度が望ましい。第２画素ブロック群の画素ブロックは、最初のピクチャ中の第１画素ブロック群のみを参照可能としてインター予測部１７２がインター予測符号化する。第２画素ブロック群以外の画素ブロックは、参照制限なしでインター予測部１７２がインター予測符号化する。
【００３５】
続いて、予測画像生成部１７は、図４Ｃに示すように、３番目のピクチャの、第２画素ブロック群と第２画素ブロック群に隣接する右側の領域の画素ブロックの集合を第３画素ブロック群とする。第３画素ブロック群の幅は、第２画素ブロック群の幅に第１画素ブロック群の幅を加えた程度が望ましい。第３画素ブロック群の画素ブロックは、最初のピクチャ中の第１画素ブロック群および２番目のピクチャ中の第２画素ブロック群のみを参照可能としてインター予測部１７２がインター予測符号化する。第３画素ブロック群以外の画素ブロックは、参照制限なしでインター予測部１７２がインター予測符号化する。
【００３６】
予測画像生成部１７は、４番目のピクチャ以降も同様に、リフレッシュされる領域を右方向へ広げていき、リフレッシュされる領域の画素ブロックは参照ピクチャ中のリフレッシュされた領域のみを参照可能としてインター予測符号化する。
【００３７】
次に、ピクチャの上下端から中央に向けてリフレッシュする例について説明する。
【００３８】
予測画像生成部１７は、図５Ａに示すように、リフレッシュ周期の最初のピクチャの上端部と下端部のそれぞれに横帯の第１画素ブロック群を挿入する。第１画素ブロック群の画素ブロックは、イントラ予測部１７１がイントラ予測符号化する。第１画素ブロック群以外の画素ブロックは、インター予測部１７２がインター予測符号化する。
【００３９】
続いて、予測画像生成部１７は、図５Ｂに示すように、２番目のピクチャの、第１画素ブロック群と第１画素ブロック群のそれぞれの中央側に隣接する２つの領域の画素ブロックの集合を第２画素ブロック群とする。第２画素ブロック群の画素ブロックは、最初のピクチャ中の第１画素ブロック群のみを参照可能としてインター予測部１７２がインター予測符号化する。ピクチャの下端部の第２画素ブロック群の画素ブロックは、参照ピクチャの上端部の第１画素ブロック群を参照してもよいし、ピクチャの上端部の第２画素ブロック群の画素ブロックは、参照ピクチャの下端部の第１画素ブロック群を参照してもよい。第２画素ブロック群以外の画素ブロックは、参照制限なしでインター予測部１７２がインター予測符号化する。
【００４０】
続いて、予測画像生成部１７は、図５Ｃに示すように、３番目のピクチャの、第２画素ブロック群と第２画素ブロック群のそれぞれの中央側に隣接する２つの領域の画素ブロックの集合を第３画素ブロック群とする。第３画素ブロック群の画素ブロックは、最初のピクチャ中の第１画素ブロック群および２番目のピクチャ中の第２画素ブロック群のみを参照可能としてインター予測部１７２がインター予測符号化する。ピクチャの下端部の第３画素ブロック群の画素ブロックは、参照ピクチャの上端部の第１、第２画素ブロック群を参照してもよいし、ピクチャの上端部の第３画素ブロック群の画素ブロックは、参照ピクチャの下端部の第１、第２画素ブロック群を参照してもよい。第３画素ブロック群以外の画素ブロックは、参照制限なしでインター予測部１７２がインター予測符号化する。
【００４１】
予測画像生成部１７は、４番目のピクチャ以降も同様に、リフレッシュされる領域をピクチャの内側に向けて拡張していき、リフレッシュされる領域の画素ブロックは参照ピクチャ中のリフレッシュされた領域のみを参照可能としてインター予測符号化する。
【００４２】
なお、ピクチャの左右に第１画素ブロックを挿入し、ピクチャの左右端部から中央に向けてリフレッシュされる領域を拡張してもよい。
【００４３】
以上説明したように、本実施の形態によれば、予測画像生成部１７が、リフレッシュ周期の最初のピクチャの第１画素ブロック群に含まれる画素ブロックをイントラ予測符号化し、リフレッシュ周期のｎ番目（ｎ＞１）のピクチャの第ｎ画素ブロック群（第ｎ−１画素ブロック群を拡張した領域）に含まれる画素ブロックをｍ番目（ｍ＜ｎ）のピクチャの第ｍ画素ブロック群に含まれる画素ブロックのみを参照可能としてインター予測符号化することで、Ｉピクチャを利用しない映像符号化において、イントラスライス領域が移動しないので、視覚的な画質劣化を抑制することができる。
【符号の説明】
【００４４】
１…映像符号化装置
１１…直交変換部
１２…量子化部
１３…可変長符号化部
１４…量子化制御部
１５…逆量子化部
１６…逆直交変換部
１７…予測画像生成部
１７１…イントラ予測部
１７２…インター予測部
Ａ，Ｂ…加算器
【図１】
2020057936.tif 000003
【図２】
2020057936.tif 000004
【図３Ａ】
2020057936.tif 000005
【図３Ｂ】
2020057936.tif 000006
【図３Ｃ】
2020057936.tif 000007
【図４Ａ】
2020057936.tif 000008
【図４Ｂ】
2020057936.tif 000009
【図４Ｃ】
2020057936.tif 000010
【図５Ａ】
2020057936.tif 000011
【図５Ｂ】
2020057936.tif 000012
【図５Ｃ】
2020057936.tif 000013
【図６】
2020057936.tif 000014
【図７】
2020057936.tif 000015