(57)【要約】【課題】イントラスライスを利用する符号化において、視覚的な画質劣化を抑制する。【解決手段】イントラ符号化されるイントラスライス領域をピクチャ単位で移動させるイントラスライスを利用する映像符号化装置１において、イントラスライス制御部２０が、イントラスライス領域を含むイントラスライスピクチャ間にイントラスライス領域を含まない非イントラスライスピクチャを挿入する。これにより、単位時間あたりのイントラスライスピクチャの数が減り、イントラスライスにおける画質の差が視覚的に感知されづらくなる。【選択図】図１
2018198392.tif 000002
【特許請求の範囲】
【請求項１】
イントラ符号化されるイントラスライス領域をピクチャ単位で移動させる映像符号化装置であって、
前記イントラスライス領域を含むイントラスライスピクチャの間に前記イントラスライス領域を含まない非イントラスライスピクチャを挿入するイントラスライス制御手段を有すること
を特徴とする映像符号化装置。
【請求項２】
前記非イントラスライスピクチャでは、前記イントラスライス領域が通過済みのリフレッシュ領域に含まれる符号化対象ブロックは、参照先の前記イントラスライスピクチャのリフレッシュ領域のみを参照可能としてインター符号化を行うインター予測手段を有することを特徴とする請求項１に記載の映像符号化装置。
【請求項３】
前記イントラスライス制御手段は、前記イントラスライス領域をピクチャの両端のそれぞれから中央に向けて移動させることを特徴とする請求項１又は２に記載の映像符号化装置。
【請求項４】
前記イントラスライス制御手段は、前記イントラスライス領域をピクチャの両端のそれぞれから中央に向けて交互に配置して移動させることを特徴とする請求項１又は２に記載の映像符号化装置。
【請求項５】
イントラ符号化されるイントラスライス領域をピクチャ単位で移動させる映像符号化方法であって、
前記イントラスライス領域を含むイントラスライスピクチャの間に前記イントラスライス領域を含まない非イントラスライスピクチャを挿入するステップを有することを特徴とする映像符号化方法。
【請求項６】
前記非イントラスライスピクチャでは、前記イントラスライス領域が通過済みのリフレッシュ領域に含まれる符号化対象ブロックは、参照先の前記イントラスライスピクチャのリフレッシュ領域のみを参照可能としてインター符号化を行うことを特徴とする請求項５に記載の映像符号化方法。
【請求項７】
前記イントラスライス領域をピクチャ単位で移動させるステップは、前記イントラスライス領域をピクチャの両端のそれぞれから中央に向けて移動させることを特徴とする請求項５又は６に記載の映像符号化方法。
【請求項８】
前記イントラスライス領域をピクチャ単位で移動させるステップは、前記イントラスライス領域をピクチャの両端のそれぞれから中央に向けて交互に配置して移動させることを特徴とする請求項５又は６に記載の映像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を符号化する技術に関する。
【背景技術】
【０００２】
リアルタイムに映像通信を行う場合、映像送信側でピクチャを取得してから映像受信側でピクチャを表示するまでに要する時間（遅延時間）を短縮することが望まれる。映像の符号化処理／復号処理による遅延時間を短縮する技術の１つとして、イントラスライスあるいはイントラコラムと呼ばれる技術が知られている。
【０００３】
イントラスライスを利用した映像符号化では、画面内（イントラ）だけで独立して符号化することで得られるＩピクチャを利用しない代わりに、符号化ブロックを強制的にイントラ符号化するイントラスライス領域をピクチャ単位で上から下に移動させてリフレッシュを実現する。図９（ａ）にイントラスライス領域が移動する様子を示す。イントラスライス領域がピクチャの上端から下端に移動するピクチャ数をイントラスライス周期と呼ぶ。図９（ｂ）は、イントラコラム領域が移動する様子示す図である。イントラコラムを利用した映像符号化では、ピクチャに対して縦に配置したイントラコラム領域を左端から右端に移動させてリフレッシュを実現する。以下、イントラスライスとイントラコラムとを区別せずに単に「イントラスライス」と呼ぶ。
【０００４】
図１０は、イントラスライス領域を含むピクチャの符号化処理の概要を示す図である。イントラスライス領域より上の領域では、参照ピクチャにおけるリフレッシュ領域（以前のピクチャでイントラスライス領域が通過した領域）のみを参照可能として、インター符号化を行う。イントラスライス領域では、イントラ符号化を行う。イントラスライス領域より下の領域では、参照ピクチャ中の任意の領域を参照してインター符号化を行う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２０１２／１２１２１１号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
イントラスライス領域に含まれる符号化ブロックは、イントラ符号化のみを行うイントラブロックである。一方、イントラスライス領域に含まれない符号化ブロックは、イントラ符号化を行うイントラブロックとインター符号化を行うインターブロックが混在する。映像の特性あるいは要求されるビットレートなどによっては、イントラスライス領域と非イントラスライス領域とで画質に差が生じることがある。その結果、イントラスライスを利用した符号化では、復号した映像中に、イントラスライス領域が移動する様子が見えてしまい、視覚的な画質劣化を生じることがあるという課題があった。
【０００７】
本発明は、上記に鑑みてなされたものであり、イントラスライスを利用する符号化において、視覚的な画質劣化を抑制することを目的とする。
【課題を解決するための手段】
【０００８】
第１の本発明に係る映像符号化装置は、イントラ符号化されるイントラスライス領域をピクチャ単位で移動させる映像符号化装置であって、前記イントラスライス領域を含むイントラスライスピクチャの間に前記イントラスライス領域を含まない非イントラスライスピクチャを挿入するイントラスライス制御手段を有することを特徴とする。
【０００９】
第２の本発明に係る映像符号化方法は、イントラ符号化されるイントラスライス領域をピクチャ単位で移動させる映像符号化方法であって、前記イントラスライス領域を含むイントラスライスピクチャ間に前記イントラスライス領域を含まない非イントラスライスピクチャを挿入するステップを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、イントラスライスを利用する符号化において、視覚的な画質劣化を抑制することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態の映像符号化装置の構成を示す機能ブロック図である。
【図２】イントラスライス制御部の処理の流れを示すフローチャートである。
【図３】２枚に１枚の割合でイントラスライスを利用しない非イントラスライスピクチャを挿入した例を示す図である。
【図４】スイッチの処理の流れを示すフローチャートである。
【図５】非イントラスライスピクチャの符号化処理の概要を示す図である。
【図６】非イントラスライスピクチャの別の符号化処理の概要を示す図である。
【図７】イントラスライス領域の配置例を示す図である。
【図８】イントラスライス領域の別の配置例を示す図である。
【図９】イントラスライス領域、イントラコラム領域が移動する様子を示す図である。
【図１０】イントラスライス領域を含むピクチャの符号化処理の概要を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について図面を用いて説明する。なお、以下では、強制的にイントラ符号化される画素の集合であって、ピクチャ中で横方向に延伸された帯状の領域を用いる「イントラスライス」に本発明を適用した実施の形態を中心に説明するが、ピクチャ中で縦方向に延伸された帯状の領域を用いる「イントラコラム」に対しても、本発明を適用することができる。以下では、特に断りのない場合は、イントラスライスとイントラコラムとを区別せずに単に「イントラスライス」と呼んで、本発明に係る実施形態を説明する。
【００１３】
図１は、本実施形態の映像符号化装置１の構成を示す機能ブロック図である。同図に示す映像符号化装置１は、加算器Ａ、直交変換部１１、量子化部１２、可変長符号化部１３、量子化制御部１４、逆量子化部１５、逆直交変換部１６、加算器Ｂ、イントラ予測部１７、インター予測部１８、スイッチ１９、及びイントラスライス制御部２０を備える。
【００１４】
加算器Ａは、入力ピクチャから、イントラ予測部１７又はインター予測部１８が生成した予測画像を減算して予測残差を生成する。直交変換部１１は、加算器Ａの出力である予測残差に対し、離散コサイン変換などの直交変換を施す。量子化部１２は、量子化制御部１４から出力された量子化パラメータを用いて、直交変換された予測残差の変換係数を量子化する。可変長符号化部１３は、量子化された予測残差の変換係数を、可逆的な処理が可能な所定の符号化方式により符号化して符号化データを出力する。量子化制御部１４は、入力ピクチャ、可変長符号化部１３が出力するデータ量等から得られる発生符号量、及びイントラスライスを挿入する位置と幅を指定するイントラスライス情報を用いて量子化パラメータを決定する。
【００１５】
量子化部１２の出力は、可変長符号化部１３に入力されるとともに、逆量子化部１５にも入力される。逆量子化部１５は、量子化部１２の出力を逆量子化して予測残差の変換係数を復号する。逆直交変換部１６は、逆量子化部１５の出力を逆直交変換して予測残差を復号する。加算器Ｂは、イントラ予測部１７又はインター予測部１８が生成した予測画像と逆直交変換部１６が復号した予測残差とを加算し、局所復号画像を生成する。
【００１６】
イントラ予測部１７は、近接画素間の相関関係を利用し、局所復号画像の画素値を用いて画面内予測（イントラ予測）を行い、予測画像を生成する。インター予測部１８は、局所復号画像の前方あるいは後方のフレームから検出される、符号化対象の動き情報を用いて画面間予測（インター予測）を行い、予測画像を生成する。
【００１７】
スイッチ１９は、イントラスライス制御部２０の決定に応じて、符号化対象ブロックごとにイントラ予測部１７又はインター予測部１８の出力を切り替え、予測画像を選択的に出力する。映像符号化装置１は、Ｈ．２６４／ＡＶＣやＨ．２６５／ＨＥＶＣなどの映像符号化標準に準拠する符号化データを生成することから、多くの処理がブロック単位で行われる。符号化対象ブロックがイントラスライス領域に含まれる場合、スイッチ１９はイントラ予測を選択する。一方、符号化対象ブロックがイントラスライス領域に含まれない場合、スイッチ１９はインター予測を選択する。なお、符号化対象ブロックがイントラスライス領域に含まれない場合は、予測効率に応じてイントラ予測とインター予測を切り替える構成でもよい。イントラ予測部１７又はインター予測部１８が生成した予測画像は、加算器Ａ及び加算器Ｂに出力される。
【００１８】
イントラスライス制御部２０は、入力ピクチャ番号に基づき、イントラスライスを利用しないピクチャを挿入するか否かを決定する。イントラスライスを利用する場合、イントラスライス領域を配置する位置及びイントラスライス領域の幅を決定する。以下、イントラスライスを利用するピクチャをイントラスライスピクチャと称し、イントラスライスを利用しないピクチャを非イントラスライスピクチャと称する。
【００１９】
次に、本実施形態の映像符号化装置１がイントラスライスを挿入する動作について説明する。
【００２０】
図２は、イントラスライス制御部２０の処理の流れを示すフローチャートである。
【００２１】
イントラスライス制御部２０は、入力ピクチャ番号に基づき、イントラスライスを利用するか否か決定する（ステップＳ１１）。イントラスライス制御部２０は、入力ピクチャｎ枚（ｎは２以上の整数）に対して１枚の割合で、非イントラスライスピクチャが挿入されるように、イントラスライスの利用の有無を決定する。
【００２２】
イントラスライス制御部２０は、イントラスライスを利用すると決定した場合、イントラスライスを挿入する位置を決定する（ステップＳ１２）。
【００２３】
図３に、２枚に１枚の割合で非イントラスライスピクチャを挿入した例を示す。図３の例では、入力ピクチャ番号が偶数のピクチャ１００Ｂ，１００Ｄは、イントラスライス領域を含まない非イントラスライスピクチャであり、入力ピクチャ番号が奇数のピクチャ１００Ａ，１００Ｃ，１００Ｅは、イントラスライス領域１１０Ａ，１１０Ｃ，１１０Ｅを含むイントラスライスピクチャである。イントラスライス制御部２０は、イントラスライスの挿入位置を、前回イントラスライスが挿入された位置（２つ前のピクチャでイントラスライスを挿入した位置）からイントラスライスの幅だけ下方に移動した位置と決定する。イントラスライス制御部２０は、イントラスライスの挿入位置をスイッチ１９に送信する。
【００２４】
続いて、スイッチ１９の動作について説明する。
【００２５】
図４は、スイッチ１９の処理の流れを示すフローチャートである。
【００２６】
スイッチ１９は、符号化対象ブロックがイントラスライスに含まれるか否か判定する（ステップＳ２１）。
【００２７】
符号化対象ブロックがイントラスライスに含まれる場合は、スイッチ１９は、イントラ予測を選択し、スイッチ１９の入力元をイントラ予測部１７の出力に切り替える（ステップＳ２２）。
【００２８】
符号化対象ブロックがイントラスライスに含まれない場合は、スイッチ１９は、インター予測を選択し、スイッチ１９の入力元をインター予測部１８の出力に切り替える（ステップＳ２３）。
【００２９】
続いて、インター予測部１８の動作について説明する。
【００３０】
図５は、非イントラスライスピクチャの符号化処理の概要を示す図である。
【００３１】
非イントラスライスピクチャ１００Ｄの既にリフレッシュされた領域１２０Ｄについては、インター予測部１８は、参照先のピクチャ１００Ｃのリフレッシュ領域１５０Ｃのみを参照可能としてインター予測を行う。非イントラスライスピクチャ１００Ｄのリフレッシュされていない領域１３０Ｄについては、インター予測部１８は、参照先のピクチャ１００Ｃの全域を参照可能としてインター予測を行う。
【００３２】
非イントラスライスピクチャ１００Ｄを参照先とするイントラスライスピクチャ１００Ｅでは、イントラスライス領域１１０Ｅより上の既にリフレッシュされた領域１２０Ｅについては、インター予測部１８は、参照先の非イントラスライスピクチャ１００Ｄの既にリフレッシュされた領域１２０Ｄのみを参照可能としてインター予測を行う。イントラスライス領域１１０Ｅについては、イントラ予測部１７がイントラ予測する。イントラスライス領域１１０Ｅより下の領域１３０Ｅについては、インター予測部１８は、参照先の非イントラスライスピクチャ１００Ｄの全域を参照可能としてインター予測を行う。
【００３３】
なお、図３を用いた説明において、イントラスライス制御部２０は、イントラスライスピクチャ１００Ｃ、１００Ｅにおけるイントラスライス１１０Ｃ、１１０Ｅの挿入位置を「前回イントラスライスが挿入された位置からイントラスライスの幅だけ下方に移動した位置と決定する」と説明した。すなわち、イントラスライス制御部２０は、イントラスライス１１０Ｃ、１１０Ｅの挿入位置を、前回のイントラスライス１１０Ａ、１１０Ｃと重なることなくその下方に接した位置となるよう決定していた。ただし、本発明におけるイントラスライスの挿入位置は、これに限定されるものではない。例えば、図６に示したように、イントラスライスピクチャ１００Ｅにおけるイントラスライス１１０Ｅの挿入位置は、イントラスライスピクチャ１００Ｃにおけるイントラスライス１１０Ｃの下方であって、イントラスライス１１０Ｃの下方領域の一部が重なる位置となるよう決定してもよい。
【００３４】
イントラスライス１１０Ｃとその次のイントラスライス１１０Ｅの重なり領域（図６において２つの破線で挟まれた領域）の幅は、符号化ブロックのサイズを考慮し、例えば８画素列や１６画素列などに設定すればよい。
【００３５】
図１ではその説明を省略したが、映像符号化装置１には、加算器Ｂの後段に、局所復号画像におけるブロックノイズを低減するためのループフィルタが設けられることがある。ループフィルタは、Ｈ．２６５／ＨＥＶＣの場合、符号化対象ブロックの境界を中心としてその上下（あるいは左右）４画素ずつの画素値を平均化することで、画素値の平滑化処理を行う。イントラスライス１１０Ｃの下端に位置する符号化ブロックに対してフィルタ処理をした場合、イントラスライス１１０Ｃに含まれる画素と、リフレッシュされていない領域１３０Ｃに含まれる画素との間で平滑化処理を行うことになる。その結果、リフレッシュされていない領域１３０Ｃの画素値がリフレッシュされた領域ににじみ出てしまい、当該符号化ブロックの画質が劣化してしまうことも考えられる。そこで、イントラスライス１１０Ｃの最下端の符号化ブロックについて参照制限をするとともに、それに引き続くイントラスライス１１０Ｅの開始位置を、符号化ブロックの幅だけ（あるいはその半値幅だけ）重なるようにすることで、フィルタ処理に起因する画質の劣化を回避することができるようになる。
【００３６】
前後するイントラスライスに重なりを設けるようにした場合の、イントラスライスピクチャ及び非イントラスライスピクチャにおける参照領域は、以下のように設定すればよい。なお、以下では、イントラスライスの重なり幅を８画素列に設定した場合について説明する。非イントラスライスピクチャ１００Ｄの既にリフレッシュされた領域１２０Ｄのうち下方８画素列を除いた領域については、インター予測部１８は、参照先のピクチャ１００Ｃのリフレッシュ領域１５０Ｃのうち下方８画素列を除いた領域のみを参照可能としてインター予測を行う。非イントラスライスピクチャ１００Ｄのリフレッシュされていない領域１３０Ｄとその上方８画素列の領域については、インター予測部１８は、参照先のピクチャ１００Ｃの全域を参照可能としてインター予測を行う。
【００３７】
非イントラスライスピクチャ１００Ｄを参照先とするイントラスライスピクチャ１００Ｅでは、イントラスライス領域１１０Ｅより上の既にリフレッシュされた領域１２０Ｅについては、インター予測部１８は、参照先の非イントラスライスピクチャ１００Ｄの既にリフレッシュされた領域１２０Ｄのうち下方８画素列を除いた領域のみを参照可能としてインター予測を行う。イントラスライス領域１１０Ｅについては、イントラ予測部１７がイントラ予測する。イントラスライス領域１１０Ｅより下の領域１３０Ｅについては、インター予測部１８は、参照先の非イントラスライスピクチャ１００Ｄの全域を参照可能としてインター予測を行う。
【００３８】
次に、イントラスライスのバリエーションについて説明する。
【００３９】
図７は、イントラスライス領域の配置例を示す図である。
【００４０】
図７の例では、ピクチャ上端及びピクチャ下端からそれぞれピクチャの中央に向けて移動するようにイントラスライス領域１１０を配置する。また、図７の例では、イントラスライスピクチャと非イントラスライスピクチャを交互に配置している。
【００４１】
図７の例をイントラコラムに適用する場合は、ピクチャ左端とピクチャ右端からそれぞれピクチャの中方に向けて移動するようにイントラコラム領域を配置する。
【００４２】
図７のように、ピクチャの両端辺から中央に向けてイントラスライス領域１１０を移動させることで、リフレッシュ時間をより短くすることができる。
【００４３】
図８は、イントラスライス領域の別の配置例を示す図である。
【００４４】
図８の例では、ピクチャ上端から中央に向けて移動するイントラスライス領域１１０とピクチャ下端から中央に向けて移動するイントラスライス領域１１０とが交互に現れるように配置し、さらに、イントラスライスピクチャと非イントラスライスピクチャを交互に配置している。
【００４５】
図８の例をイントラコラムに適用する場合は、ピクチャ左端から中央に向けて移動するイントラコラム領域とピクチャ右端から中央に向けて移動するイントラコラム領域とが交互に現れるように配置する。
【００４６】
図８のように、ピクチャの両端辺から中央に向けて移動するイントラスライス領域１１０を交互に出現させることで、イントラスライス領域１１０がピクチャ中で連続して現れにくくなるため、イントラスライス領域１１０が移動する様子は視覚的に感知されにくくなる。
【００４７】
以上説明したように、本実施の形態によれば、イントラ符号化されるイントラスライス領域をピクチャ単位で移動させるイントラスライスを利用する映像符号化装置１において、イントラスライス制御部２０が、イントラスライス領域を含むイントラスライスピクチャ間にイントラスライス領域を含まない非イントラスライスピクチャを挿入することで、単位時間あたりのイントラスライスピクチャの数が減り、イントラスライスにおける画質の差が視覚的に感知されづらくなる。
【符号の説明】
【００４８】
１…映像符号化装置
１１…直交変換部
１２…量子化部
１３…可変長符号化部
１４…量子化制御部
１５…逆量子化部
１６…逆直交変換部
１７…イントラ予測部
１８…インター予測部
１９…スイッチ
２０…イントラスライス制御部
Ａ，Ｂ…加算器
【図１】
2018198392.tif 000003
【図２】
2018198392.tif 000004
【図３】
2018198392.tif 000005
【図４】
2018198392.tif 000006
【図５】
2018198392.tif 000007
【図６】
2018198392.tif 000008
【図７】
2018198392.tif 000009
【図８】
2018198392.tif 000010
【図９】
2018198392.tif 000011
【図１０】
2018198392.tif 000012