(57)【要約】【課題】  様々な処理対象映像のビット深度に統一的に対応可能な映像符号化装置を提供する。【解決手段】  本発明の映像符号化装置は、入力された符号化対象画像を、映像符号化装置内部での演算に使用する符号付き固定ビット深度画像に変換する符号付き固定ビット深度化変換手段と、符号化処理によって上記符号付き固定ビット深度画像として再構成した再構成画像を、後続の画像の符号化時の予測画像の生成に用いる参照画像として保持する符号付き固定ビット深度参照画像バッファとを備えることを特徴とする。【選択図】      図１
2020195096.tif 000002
【特許請求の範囲】
【請求項１】
入力された符号化対象画像を、映像符号化装置内部での演算に使用する符号付き固定ビット深度画像に変換する符号付き固定ビット深度化変換手段と、
符号化処理によって上記符号付き固定ビット深度画像として再構成した再構成画像を、後続の画像の符号化時の予測画像の生成に用いる参照画像として保持する符号付き固定ビット深度参照画像バッファと
を備えることを特徴とする映像符号化装置。
【請求項２】
上記予測画像は、符号付き固定ビット深度の画像として生成されたものであることを特徴とする請求項１に記載の映像符号化装置。
【請求項３】
上記符号付き固定ビット深度参照画像バッファ内の上記参照画像を参照して、動き補償予測や双方向予測を用いて、符号付き固定ビット深度のインター予測画像を生成するインター予測手段をさらに備えることを特徴とする請求項２に記載の映像符号化装置。
【請求項４】
符号付き固定ビット深度の画像として生成された同じ画面内の画素を参照して、イントラ予測処理を行って、符号付き固定ビット深度のイントラ予測画像を生成するイントラ予測手段をさらに備えることを特徴とする請求項２に記載の映像符号化装置。
【請求項５】
上記再構成画像に対して、ループ内フィルタ処理を施した、符号付き固定ビット深度の復号画像を生成するループ内フィルタ手段をさらに備え、
上記符号付き固定ビット深度参照画像バッファは、上記ループ内フィルタ手段で生成された上記復号画像を、上記符号付き固定ビット深度参照画像バッファに上記参照画像として保持する
ことを特徴とする請求項1に記載の映像符号化装置。
【請求項６】
上記符号付き固定ビット深度化変換手段で変換された上記符号化対象画像と、上記予測画像との差分から予測残差信号を求める差分処理手段をさらに備え、
上記符号化処理は、上記予測残差信号を基にして行われる
ことを特徴とする請求項２に記載の映像符号化装置。
【請求項７】
上記予測画像と、符号化された残差信号を復元する処理を行い、復元された当該残差信号とを加算する加算処理手段をさらに備え、
上記再構成画像は、上記加算処理手段の加算処理によって得られた結果から、符号付き固定ビット深度の再構成画像が生成されることを特徴とする請求項２に記載の映像符号化装置。
【請求項８】
上記予測残差信号に対して、所定の変換処理を施して変換係数領域に変換する変換手段と、
上記変換手段によって変換された変換係数を量子化する量子化手段と
をさらに備えることを特徴とする請求項６に記載の映像符号化装置。
【請求項９】
量子化された上記変換係数を逆量子化する逆量子化手段と、
上記逆量子化手段によって得られた上記変換係数に対して、所定の逆変換処理を施して上記予測残差信号を復元した復元予測残差信号を取得する逆変換手段とをさらに備え、
上記復元予測残差信号は、符号付き固定ビット深度の再構成画像の生成に利用されること
を特徴とする請求項８に記載の映像符号化装置。
【請求項１０】
上記変換手段及び上記量子化手段によって求められた量子化された上記変換係数を、上記符号付き固定ビット深度化変換手段で用いられた入力画像のビット深度を表すビット深度パラメーターを含む変換パラメーターとともに多重化してエントロピー符号化するエントロピー符号化手段をさらに備えることを特徴とする請求項８に記載の映像符号化装置。
【請求項１１】
上記符号付き固定ビット深度化変換手段は、
入力画像の画素値を、入力画像のビット深度パラメーターに応じて、固定のビット深度にスケールするスケール部と、
符号なしの入力画像の画素値を符号付きの画素値に変換する減算部と
を備えることを特徴とする請求項１に記載の映像符号化装置。
【請求項１２】
上記インター予測手段は、上記符号付き固定ビット深度参照画像バッファ内の上記参照画像を参照して、水平と垂直の２次元の方向のいずれか一方の方向への補間フィルタ処理による中間結果を符号付き固定ビット深度の画像として求め、当該中間結果を参照して、もう一方の方向への上記補間フィルタ処理によって、補間処理結果画像を符号付き固定ビット深度の画像として求め、当該補間処理結果画像を用いて、上記インター予測画像を生成することを特徴とする請求項３に記載の映像符号化装置。
【請求項１３】
上記イントラ予測手段は、イントラ予測に用いる参照画素が、当該参照画素としては用いない位置の画素であった場合には、その画素値を０であるとみなすような処理を行って、上記イントラ予測画像を生成することを特徴とする請求項４に記載の映像符号化装置。
【請求項１４】
上記符号化対象画像の画素値を、符号付き固定のビット深度の画素値に変換する変換関数を、ビット深度パラメーター以外のパラメーターも用いた上記変換関数として定義可能として、上記パラメーターを、符号化ストリームに多重化する多重化手段をさらに備え、
上記符号付き固定ビット深度化変換手段は、上記変換関数に従って、上記符号化対象画像の画素値を符号付き固定のビット深度の画素値に変換する
ことを特徴とする請求項１に記載の映像符号化装置。
【請求項１５】
復号処理によって再構成される画像を、符号付き固定ビット深度の画像として求め、この再構成した再構成画像を、後続の画像の符号化時の予測画像の生成に用いる参照画像として保持する符号付き固定ビット深度参照画像バッファと、
映像復号装置内部の映像表現である符号付き固定ビット深度の画像を、対象映像のビット深度の画像に変換する復号画像ビット深度変換手段と
を備えることを特徴とする映像復号装置。
【請求項１６】
上記予測画像は、符号付き固定ビット深度の画像として生成されたものであることを特徴とする請求項１５に記載の映像復号装置。
【請求項１７】
上記符号付き固定ビット深度参照画像バッファ内の上記参照画像を参照して、動き補償予測や双方向予測を用いて、符号付き固定ビット深度のインター予測画像を生成するインター予測手段をさらに備えることを特徴とする請求項１６に記載の映像復号装置。
【請求項１８】
符号付き固定ビット深度の画像として生成された同じ画面内の画素を参照して、イントラ予測処理を行って、符号付き固定ビット深度のイントラ予測画像を生成するイントラ予測手段をさらに備えることを特徴とする請求項１６に記載の映像復号装置。
【請求項１９】
上記再構成画像に対して、ループ内フィルタ処理を施した、符号付き固定ビット深度の復号画像を生成するループ内フィルタ手段をさらに備え、
上記符号付き固定ビット深度参照画像バッファは、上記ループ内フィルタ手段で生成された上記復号画像を、上記符号付き固定ビット深度参照画像バッファに上記参照画像として保持する
ことを特徴とする請求項１５に記載の映像復号装置。
【請求項２０】
上記予測画像と、符号化された残差信号を復元する処理を行い、復元された当該残差信号とを加算する加算処理手段をさらに備え、
上記再構成画像は、上記加算処理手段の加算処理によって得られた結果から、符号付き固定ビット深度の再構成画像が生成されることを特徴とする請求項１６に記載の映像復号装置。
【請求項２１】
量子化された変換係数を逆量子化する逆量子化手段と、
上記逆量子化手段によって得られた上記変換係数に対して、所定の逆変換処理を施して上記残差信号を復元した復元予測残差信号を取得する逆変換手段とをさらに備え、
上記復元予測残差信号は、符号付き固定ビット深度の再構成画像の生成に利用されること
を特徴とする請求項２０に記載の映像復号装置。
【請求項２２】
入力される符号化ストリームから、量子化された上記変換係数と、上記復号画像ビット深度変換手段で用いる符号化対象画像のビット深度パラメーターを含むビット深度の逆変換のためのパラメーターをエントロピー復号して抽出するエントロピー復号手段をさらに備え、
上記復号画像ビット深度変換手段は、上記エントロピー復号手段によって得られる上記パラメーターを基に、対象画像のビット深度の画像への変換を行う
ことを特徴とする請求項２１に記載の映像復号装置。
【請求項２３】
上記復号画像ビット深度変換手段は、復号処理結果の復号画像の出力先の要求するビット深度が、上記符号化ストリームから得られる上記ビット深度パラメーターと異なる場合には、符号付き固定ビット深度の画像として復号された上記復号画像を、出力先の要求するビット深度の画像に変換する処理を行うことを特徴とする請求項請求項２２に記載の映像復号装置。
【請求項２４】
上記復号画像ビット深度変換手段は、
符号付き固定ビット深度の画像として生成されている復号画像に対して、
符号付きの復号画素値を符号なしの画素値に変換する加算部と、
固定ビット深度の画素値を、対象画像のビット深度パラメーターに応じて、上記対象画像のビット深度の画素値に変換する逆スケール部と
を備えることを特徴とする請求項１５に記載の映像復号装置。
【請求項２５】
上記インター予測手段は、上記符号付き固定ビット深度参照画像バッファ内の上記参照画像を参照して、水平と垂直の２次元の方向のいずれか一方の方向への補間フィルタ処理による中間結果を符号付き固定ビット深度の画像として求め、当該中間結果を参照して、もう一方の方向への上記補間フィルタ処理によって、補間処理結果画像を符号付き固定ビット深度の画像として求め、当該補間処理結果画像を用いて、上記インター予測画像を生成することを特徴とする請求項１７に記載の映像符号化装置。
【請求項２６】
上記イントラ予測手段は、イントラ予測に用いる参照画素が、当該参照画素としては用いない位置の画素であった場合には、その画素値を０であるとみなすような処理を行って、上記イントラ予測画像を生成することを特徴とする請求項１８に記載の映像符号化装置。
【請求項２７】
コンピュータを、
入力された符号化対象画像を、映像符号化装置内部での演算に使用する符号付き固定ビット深度画像に変換する符号付き固定ビット深度化変換手段と、
符号化処理によって上記符号付き固定ビット深度画像として再構成した再構成画像を、後続の画像の符号化時の予測画像の生成に用いる参照画像として保持する符号付き固定ビット深度参照画像バッファと
して機能させることを特徴とする映像符号化プログラム。
【請求項２８】
コンピュータを、
復号処理によって再構成される画像を、符号付き固定ビット深度の画像として求め、この再構成した再構成画像を、後続の画像の符号化時の予測画像の生成に用いる参照画像として保持する符号付き固定ビット深度参照画像バッファと、
映像復号装置内部の映像表現である符号付き固定ビット深度の画像を、対象映像のビット深度の画像に変換する復号画像ビット深度変換手段と
して機能させることを特徴とする映像復号プログラム。
【請求項２９】
映像符号化装置と、前記映像符号化装置により符号化された符号化データを復号する映像復号装置とを備える映像処理システムにおいて、前記映像符号化装置として請求項１〜１４のいずれかに記載の映像符号化装置を適用し、前記映像復号装置として請求項１５〜２６のいずれかに記載の映像復号装置を適用したことを特徴とする映像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化装置及びプログラム、並びに、映像復号装置及びプログラム、並びに、映像処理システムに関する。
【背景技術】
【０００２】
例えば、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ：以下、「ＡＶＣ」とも呼ぶ）や、Ｈ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ：以下、「ＨＥＶＣ」とも呼ぶ）等に代表される映像符号化方式による映像情報の圧縮符号化処理は、入力された対象画像を分割した処理単位ごとに、イントラ予測や動き補償予測等のインター予測を行った予測画像と、入力された対象画像との差分である予測残差信号に、離散コサイン変換等の空間変換を施した変換係数を量子化して、これをエントロピー符号化することによって高効率の映像圧縮を実現している。
【０００３】
ＨＥＶＣの次世代の映像符号化方式も検討されており、ＩＳＯ/ＩＥＣとＩＴＵ-Ｔのジョイントの検討チーム（Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｅｘｐｅｒｔ  Ｔｅａｍ：以下、「ＪＶＥＴ」とも呼ぶ）において、検討中の映像符号化方式をＶｅｒｓａｔｉｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（以下、「ＶＶＣ」とも呼ぶ）として開発中であり、非特許文献１として開示されている。
【０００４】
図１０は、従来技術の映像符号化装置の構成を示す構成図である。ＨＥＶＣのような符号化技術を用いる場合、入力された符号化対象画像（入力映像）は、差分処理部３０１に与えられる。差分処理部３０１は、入力された符号化対象画像を、符号化ユニット等の処理単位領域ごとに、動き補償を伴うインター予測部３１０もしくは画面内の符号化済み画素等から予測を行うイントラ予測部３１１による予測画像との差分をとり、その差分である予測残差信号を得る。変換部３０２は、予測残差信号を、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）により変換する。量子化部３０３は得られた変換係数を量子化し、エントロピー符号化部３０４が、量子化された変換係数を、可変長符号や算術符号のようなエントロピー符号化して符号化ストリームを出力する。量子化された変換係数は、逆量子化部３０５で逆量子化され、逆変換部３０６により逆変換される。加算部３０７は、逆変換で得られる復元された残差信号に予測画像を加算することによって再構成画像を得る。さらに、再構成画像はブロック歪を軽減するデブロッキングフィルタなどのループ内フィルタ部３０８によるフィルタが適用され、フィルタ後の再構成画像は、後続の画像の符号化時のインター予測の動き補償のための参照画像として参照画像バッファ３０９に保持される。
【０００５】
図１１は、従来技術の映像復号装置の構成を示す構成図である。符号化装置で生成された符号化ストリームが入力されると、符号化ストリームはエントロピー復号部４０４によりエントロピー復号されて、ＤＣＴ等の変換係数と、符号化モード情報や動きベクトル情報を得る。変換係数は逆量子化部４０５により逆量子化され、逆変換部４０６により逆変換される。加算部４０７は、逆変換で得られる復元された残差信号に、インター予測部４１０もしくはイントラ予測部４１１により生成された予測画像を加算することで、符号化装置と同じ再構成画像を生成する。再構成画像はデブロッキングフィルタなどのループ内フィルタ部４０８によるフィルタが適用されて復号画像として出力されるとともに、後続のインター予測のための参照画像として参照画像バッファ４０９に保持される。
【０００６】
近年、ディスプレイ技術の進歩やネットワークの広帯域化に伴って、より高画質な映像の符号化が求められるようになり、従来、画素あたり８ビットのビット深度で輝度値等を表現していたＳＤＲ（Ｓｔａｎｄａｒｄ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）映像から、１０ビットのビット深度で画素値を表現するＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）映像が主流となりつつある。ＨＥＶＣ等でも、映像のビット深度に応じた符号化が可能となるように設計されており、ＶＶＣでも同様の技術によって様々なビット深度に応じた符号化を実現しようとしている。
【０００７】
映像符号化技術のコーデックでのビット深度の取り扱いは、非特許文献２に示されるように、一般にコーデックに入出力される映像のビット深度よりも、コーデック内部での演算で用いるビット深度をより大きくするほうが、符号化効率が向上することが知られている。例えば、ＨＥＶＣでも参照画像バッファのビット深度は入出力映像のビット深度と同じとしているが、インター予測の動き補償予測画像の生成や変換演算等で、よりビット深度の大きな演算を用いるように設計されている。
【０００８】
このように、８ビット映像や１０ビット映像など様々なビット深度の映像に対応する映像符号化技術では、コーデック内部の様々な構成要素における演算処理で、処理対象となっている映像のビット深度をパラメーターとするシフト演算等の演算によって、ビット深度の異なる様々な対象映像の処理を可能とするように設計されている。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】ＢｅｎｊａｍｉｎＢｒｏｓｓ, ｅｔ ａｌ. “Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ ４）,”ＪＶＥＴ-Ｍ１００１-ｖ７（ｈｔｔｐ：//ｐｈｅｎｉｘ.ｉｔ-ｓｕｄｐａｒｉｓ.ｅｕ/ｊｖｅｔ/ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ/ｄｏｃｕｍｅｎｔｓ/１３＿Ｍａｒｒａｋｅｃｈ/ｗｇ１１/ＪＶＥＴ-Ｍ１００１-ｖ７.ｚｉｐ）
【非特許文献２】ＴａｋｅｓｈｉＣｈｕｊｏｈ, ｅｔ ａｌ. “Ｉｎｔｅｒｎａｌ ｂｉｔ ｄｅｐｔｈ ｉｎｃｒｅａｓｅ ｆｏｒ ｃｏｄｉｎｇ ｅｆｆｉｃｉｅｎｃｙ,” ＶＣＥＧ-ＡＥ１３（ｈｔｔｐｓ：//ｗｗｗ.ｉｔｕ.ｉｎｔ/ｗｆｔｐ３/ａｖ-ａｒｃｈ/ｖｉｄｅｏ-ｓｉｔｅ/０７０１＿Ｍａｒ/ＶＣＥＧ-ＡＥ１３.ｚｉｐ）
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、従来技術の映像符号化技術では、非特許文献２で示されるように、参照画像のビット深度を入出力画像のビット深度と同じとしていたため、入出力ビット深度よりも大きなビット深度の参照画像バッファを用いる場合に比べて、符号化効率が低下してしまうという問題があった。
【００１１】
また、処理対象映像のビット深度に応じて、コーデック内部の様々な構成要素における演算処理で、ビット深度をパラメーターとするシフト演算等の演算を行う必要があった。特に、動き補償予測のための参照画像からの補間処理など大量のデータ処理が最も必要な部分において、参照画像のビット深度を補間処理のための内部ビット深度に変換するためのビット深度パラメーター依存のシフト演算と、補間処理結果を入出力ビット深度と同じビット深度に変換するためのビット深度パラメーター依存のシフト演算が行われるなど、頻繁にビット深度依存の演算が行われていた。
【００１２】
さらに、映像符号化技術で取り扱う映像の画素値は、例えば８ビット映像では０〜２５５のような符号なしの値である。しかしコーデック内部での演算では正負の値を持つ符号付き数として演算が行われるため、例えば０〜２５５の値を符号付き数として保持するには９ビット必要となるなど、画素値に相当する符号なし数を符号付き数で表現するときに、符号付き数で表現可能な数値のうち負数側の値が用いられていないなどの演算精度の無駄が生じていた。
【００１３】
以上のような問題に鑑みて、８ビット映像や１０ビット映像といった、様々な処理対象映像のビット深度に統一的に対応可能で、かつ、ビット深度をパラメーターとするような演算が極力不要となるような映像符号化装置及びプログラム、並びに、映像復号装置及びプログラム、並びに、映像処理システムが望まれている。
【課題を解決するための手段】
【００１４】
第１の本発明の映像符号化装置は、（１）入力された符号化対象画像を、映像符号化装置内部での演算に使用する符号付き固定ビット深度画像に変換する符号付き固定ビット深度化変換手段と、（２）符号化処理によって上記符号付き固定ビット深度画像として再構成した再構成画像を、後続の画像の符号化時の予測画像の生成に用いる参照画像として保持する符号付き固定ビット深度参照画像バッファとを備えることを特徴とする。
【００１５】
第２の本発明の映像復号装置は、（１）復号処理によって再構成される画像を、符号付き固定ビット深度の画像として求め、この再構成した再構成画像を、後続の画像の符号化時の予測画像の生成に用いる参照画像として保持する符号付き固定ビット深度参照画像バッファと、（２）映像復号装置内部の映像表現である符号付き固定ビット深度の画像を、対象映像のビット深度の画像に変換する復号画像ビット深度変換手段とを備えることを特徴とする。
【００１６】
第３の本発明の映像符号化プログラムは、コンピュータを、（１）入力された符号化対象画像を、映像符号化装置内部での演算に使用する符号付き固定ビット深度画像に変換する符号付き固定ビット深度化変換手段と、（２）符号化処理によって上記符号付き固定ビット深度画像として再構成した再構成画像を、後続の画像の符号化時の予測画像の生成に用いる参照画像として保持する符号付き固定ビット深度参照画像バッファとして機能させることを特徴とする。
【００１７】
第４の本発明の映像復号プログラムは、コンピュータを、（１）復号処理によって再構成される画像を、符号付き固定ビット深度の画像として求め、この再構成した再構成画像を、後続の画像の符号化時の予測画像の生成に用いる参照画像として保持する符号付き固定ビット深度参照画像バッファと、（２）映像復号装置内部の映像表現である符号付き固定ビット深度の画像を、対象映像のビット深度の画像に変換する復号画像ビット深度変換手段として機能させることを特徴とする。
【００１８】
第５の本発明の映像処理システムは、映像符号化装置と、前記映像符号化装置により符号化された符号化データを復号する映像復号装置とを備える映像処理システムにおいて、前記映像符号化装置として第１の本発明の映像符号化装置を適用し、前記映像復号装置として第２の本発明の映像復号装置を適用したことを特徴とする。
【発明の効果】
【００１９】
本発明によれば、８ビット映像や１０ビット映像といった、様々な処理対象映像のビット深度に統一的に対応可能で、かつ、ビット深度をパラメーターとするような演算が極力不要とすることができる。
【図面の簡単な説明】
【００２０】
【図１】実施形態に係る映像符号化装置の構成を示す図である。
【図２】実施形態に係る映像復号装置の構成を示す図である。
【図３】実施形態に係る映像処理システムの全体構成について示した図である。
【図４】実施形態に係る符号付き固定ビット深度化変換部の構成の一例を示す図である。
【図５】実施形態に係る符号付き復号画像ビット深度変換部の構成の一例を示す図である。
【図６】ＨＥＶＣにおける輝度画像の予測に使われる補間フィルタのフィルタ係数の一例を示す図である。
【図７】従来技術（ＨＥＶＣ）における補間画像生成処理の構成を示す図である。
【図８】実施形態に係る補間画像生成処理の構成を示す図である。
【図９】実施形態に係る符号付き固定ビット深度への変換、対象ビット深度への変換の様子を示す図である。
【図１０】従来技術の映像符号化装置の構成を示す構成図である。
【図１１】従来技術の映像復号装置の構成を示す構成図である。
【発明を実施するための形態】
【００２１】
（Ａ）主たる実施形態
以下、本発明による映像符号化装置及びプログラム、並びに、映像復号装置及びプログラム、並びに、映像処理システムの実施形態を、図面を参照しながら詳述する。
【００２２】
（Ａ−１）実施形態の構成
（Ａ−１−１）全体構成
図３は、実施形態に係る映像処理システムの全体構成について示した図である。
【００２３】
映像処理システム１は、符号化対象の入力映像を符号化したストリームデータ（以下、「符号化ストリーム」と呼ぶ）を出力する映像符号化装置１０と、映像符号化装置１０で生成された符号化ストリームを復号して復号映像を得る映像復号装置２０とを有している。
【００２４】
映像符号化装置１０に供給される入力映像の入力方式は限定されないものであり、リアルタイムにカメラで撮影（撮像）された映像信号としてもよいし、ＨＤＤやＤＶＤ等のデータ記録媒体に記録されたデータ（オフラインデータ）に基づく映像を読み込むようにしてもよいし、通信により供給されるデータ（オンラインデータ）に基づく映像を読み込むようにしてもよい。
【００２５】
映像復号装置２０に供給される符号化ストリームのデータについても入力方式は限定されないものであり、リアルタイムに通信により符号化ストリームを受信（映像符号化装置１０から受信）するようにしてもよいし、データ記録媒体に記録された符号化ストリームのデータをオフラインで読み込むようにしてもよい。
【００２６】
（Ａ−１−２）映像符号化装置１０の詳細な構成
図１は、実施形態に係る映像符号化装置の構成を示す図である。図１において、実施形態に係る映像符号化装置１０は、差分処理部１０１、変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆変換部１０６、加算部１０７、ループ内フィルタ部１０８、符号付き固定ビット深度参照画像バッファ１０９、インター予測部１１０、イントラ予測部１１１、切り替え部１１２、及び符号付き固定ビット深度化変換部１２０を有する。
【００２７】
この実施形態の映像符号化装置は、図１に示す各構成部を搭載した専用のＩＣチップ等のハードウェアとして構成しても良いし、又は、ＣＰＵと、ＣＰＵが実行するプログラムを中心としてソフトウェア的に構成して良いが、機能的には、図１で表すことができる。
【００２８】
映像符号化装置１０は、入力映像を符号付き固定ビット深度画像に変換し、符号付き固定ビット深度画像に変換された符号化対象画像（入力映像）を符号化ユニット等の所定単位領域ごとに符号化し、符号化ストリームを出力する。
【００２９】
符号付き固定ビット深度化変換部１２０は、入力された符号化対象画像を、そのビット深度を表すビット深度パラメーターに応じて、符号化装置内部での演算に使用する符号付き固定ビット深度の画像に変換するものである。符号付き固定ビット深度に変換された入力画像は、所定の処理単位領域ごとに分割されて、差分処理部１０１に与えられる。
【００３０】
差分処理部１０１は、予測残差信号を求めるために、処理単位領域の符号付き固定ビット深度に変換された入力画像と、インター予測部１１０若しくはイントラ予測部１１１からの、上記処理単位領域に対応する符号付き固定ビット深度の予測画像との差分を求め、その差分を予測残差信号として変換部１０２に与えるものである。
【００３１】
変換部１０２は、入力された予測残差信号を変換係数に変換するものである。変換部１０２は、例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散コサイン変換）等を適用できる。
【００３２】
量子化部１０３は、変換部１０２により変換された変換係数を量子化するものである。量子化部１０３は、得られた量子化された変換係数をエントロピー符号化部１０４及び逆量子化部１０５に出力する。
【００３３】
エントロピー符号化部１０４は、符号の出現確率の偏りを圧縮するために、量子化部１０３からの量子化された変換係数、予測モード情報、動きベクトル情報、ビット深度パラメーター等をエントロピー符号化して、符号化ストリームを出力するものである。
【００３４】
逆量子化部１０５は、符号化信号から残差信号（残差画像）を復元するために、量子化部１０３からの量子化された変換係数を逆量子化するものである。
【００３５】
逆変換部１０６は、逆量子化部１０５により逆量子化された信号を逆変換して残差信号（残差画像）を復元して、加算部１０７に与えるものである。
【００３６】
加算部１０７は、逆変換部１０６からの復元された残差信号に、切り替え部１１２を介してインター予測部１１０若しくはイントラ予測部１１１からの符号付き固定ビット深度の予測画像を加算して、復号側で復号される符号付き固定ビット深度の再構成画像を求めるものである。加算部１０７は、符号付き固定ビット深度の再構成画像を、ループ内フィルタ部１０８に与える。
【００３７】
ループ内フィルタ部１０８は、符号化ループ内の量子化処理によって生じる符号化歪み（例えばブロック歪、リンギング歪等）を低減するために、加算部１０７からの符号付き固定ビット深度の再構成画像をフィルタリングするものである。
【００３８】
符号付き固定ビット深度参照画像バッファ１０９は、ループ内フィルタ部１０８から出力される画像を、符号付き固定ビット深度画像のまま参照画像として保持するものである。符号付き固定ビット深度参照画像バッファ１０９に保持されている画像が、後続の入力画像の符号化時のインター予測の動き補償のための参照画像となる。
【００３９】
インター予測部１１０は、符号付き固定ビット深度参照画像バッファ１０９に保持されている画像を参照画像として取得して動き補償予測を行うものである。
【００４０】
イントラ予測部１１１は、加算部１０７から出力される再構成画像を用いて、画面内の符号付き固定ビット深度の再構成画素等からイントラ予測を行うものである。
【００４１】
切り替え部１１２は、符号化モード（イントラモード又はインターモード）に応じて、インター予測部１１０又はイントラ予測部１１１の出力を切り替えるものである。
【００４２】
ここで、従来技術の映像符号化装置（図１０）との違いは、入力画像を符号付き固定ビット深度の内部処理用の画像に変換する、符号付き固定ビット深度化変換部１２０を設けたことと、参照画像を符号付き固定ビット深度の画像のまま保持する符号付き固定ビット深度参照画像バッファ１０９を設けたことである。また、その他の構成要素に関しても、符号付き固定ビット深度の処理対象画像を扱うように演算処理等が修正されている。
【００４３】
（Ａ−１−３）映像復号装置２０の詳細な構成
図２は、実施形態に係る映像復号装置の構成を示す図である。図２において、映像復号装置２０は、エントロピー復号部２０４、逆量子化部２０５、逆変換部２０６、加算部２０７、ループ内フィルタ部２０８、符号付き固定ビット深度参照画像バッファ２０９、インター予測部２１０、イントラ予測部２１１、切り替え部２１２、及び符号付き復号画像ビット深度変換部２２０を有する。
【００４４】
実施形態に係る映像復号装置は、図２に示す各構成部を搭載した専用のＩＣチップ等のハードウェアとして構成しても良いし、又は、ＣＰＵと、ＣＰＵが実行するプログラムを中心としてソフトウェア的に構成して良いが、機能的には、図２で表すことができる。
【００４５】
映像復号装置２０は、入力された符号化ストリームを復号して、復号映像を出力する。
【００４６】
エントロピー復号部２０４は、入力された符号化ストリームをエントロピー復号して、変換係数や符号化モード情報、動きベクトル情報、ビット深度パラメーター等を取得するものである。
【００４７】
逆量子化部２０５は、エントロピー復号部２０４からの変換係数を逆量子化するものである。
【００４８】
逆変換部２０６は、逆量子化部２０５により逆量子化された信号を逆変換して残差信号（残差画像）を復元して、加算部２０７に与えるものである。
【００４９】
インター予測部２１０は、符号付き固定ビット深度参照画像バッファ２０９に保持されている画像を参照画像として取得して動き補償予測を行うものである。
【００５０】
イントラ予測部２１１は、加算部２０７から出力される再構成画像を用いて、画面内の符号付き固定ビット深度の再構成画素等からイントラ予測を行うものである。
【００５１】
切り替え部２１２は、予測画像を切り替えるため、符号化モード（イントラモード又はインターモード）に応じて、インター予測部２１０又はイントラ予測部２１１の出力を切り替えるものである。
【００５２】
加算部２０７は、逆変換部２０６からの復元された残差信号に、切り替え部２１２を介してインター予測部２１０若しくはイントラ予測部２１１からの予測画像（符号付き固定ビット深度の画像）を加算して、符号付き固定ビット深度の再構成画像を生成するものである。加算部２０７は、符号付き固定ビット深度の再構成画像を、ループ内フィルタ部２０８に与える。
【００５３】
ループ内フィルタ部２０８は、符号化ループ内の量子化処理によって生じる符号化歪み（例えばブロック歪、リンギング歪等）を低減するために、加算部２０７からの符号付き固定ビット深度の再構成画像をフィルタリングするものである。
【００５４】
符号付き固定ビット深度参照画像バッファ２０９は、ループ内フィルタ部２０８で得られた符号付き固定ビット深度の復号画像を、後続のインター予測のための参照画像として保持するものである、また、当該画像は、復号処理結果として符号付き復号画像ビット深度変換部２２０で対象画像のビット深度に変換されて出力される。
【００５５】
符号付き復号画像ビット深度変換部２２０は、符号付き固定ビット深度参照画像バッファ２０９から出力されるループ内フィルタ適用後の符号付き固定ビット深度の復号画像を、エントロピー復号部２０４から得られるビット深度パラメーターに従って、（符号なしの）対象画像のビット深度の画像に変換して出力するものである。
【００５６】
従来技術の映像復号装置（図１１）との違いは、復号処理で得られる符号付き固定ビット深度の復号画像を符号付き固定ビット深度のまま保持する符号付き固定ビット深度参照画像バッファ２０９を用いることと、符号付き固定ビット深度の復号画像を、エントロピー復号部２０４から得られるビット深度パラメーターに従って、対象画像のビット深度の画像に変換して出力する符号付き復号画像ビット深度変換部２２０を設けたことである。また、その他の構成要素に関しても、符号付き固定ビット深度の処理対象画像を扱うように演算処理等が修正されている。なお、符号付き復号画像ビット深度変換部２２０では復号画像の利用環境（出力先ディスプレイ等）によっては、ビット深度パラメーターとして符号化装置側から受け取ったビット深度まで映像のビット深度を小さくすることはせず、出力先の（表示能力等の）要求に応じたビット深度に変換して出力するように構成しても良い。
【００５７】
（Ａ−２）実施形態の動作
次に、以上のような構成を有するこの実施形態における映像処理システム１の動作（実施形態の映像符号化処理、及び映像復号処理）を説明する。
【００５８】
（Ａ−２−１）映像符号化処理、及び映像復号処理の前提説明
以下の説明では、処理対象の映像のビット深度を表すビット深度パラメーターを「Ｂ」と表記する。なお、輝度成分と色差成分でビット深度が異なるような対象画像も処理対象とすることが可能であり、その場合、パラメーターＢは色成分ごとに保持しても良い。また、以下の説明では、簡略化のために単にＢと記載するが、Ｂは処理対象となっているそれぞれの色成分に対応するビット深度パラメーターを表しているものとする。パラメーターＢは、例えば、ＳＤＲ映像で８、ＨＤＲ映像で１０といった値で、入力画像と共に与えられる。
【００５９】
また、本実施形態で用いる符号付き固定ビット深度画像のビット深度を表す固定値を「Ｗ」で表す。これは固定値として、本実施形態の映像符号化方法を用いる映像符号化装置１０、映像復号装置２０であらかじめ決められた定数値であり、処理対象に応じて変更可能とする値ではない。例えば、１６ビット演算器を主に用いる装置構成を想定して、Ｗを１６（又は演算途中の桁あふれを考慮した１５）のような定数として固定する。
【００６０】
本実施形態では、符号化処理、復号処理を構成する大部分の構成要素において、処理対象画像のビット深度を表すパラメーターＢに依存しない演算処理となるように、処理の大部分で画素値を表すデータを符号付きの固定のビット深度Ｗのデータとして取り扱うように構成する。
【００６１】
まず、図１に示すように、映像符号化装置１０では、符号付き固定ビット深度化変換部１２０において、パラメーターＢとともに与えられるビット深度Ｂの入力映像を、符号付きの固定ビット深度Ｗの画像に変換する。以降の符号化処理はパラメーターＢには依存しない処理となるよう構成する。
【００６２】
図４は、実施形態に係る符号付き固定ビット深度化変換部１２０の構成の一例を示す図である。符号付き固定ビット深度化変換部１２０は、入力されるビット深度Ｂの（符号なしの）画素値をもつ画像を、画素ごとに、符号付き固定ビット深度Ｗの画素値に変換する。スケール部５０１では、符号なしＢビットのデータを符号なしＷビットの数値に変換する。例えば、単純に入力画素値を（Ｗ−Ｂ）ビット左シフトする。これによって、０〜２Ｂ−１の入力画素値は０〜２Ｗ−１の値をもつ符号なしＷビットのデータとなる。次に、減算部５０２ではスケールされたデータから２Ｗ−１を減算する。これによって、−２Ｗ−１〜２Ｗ−１−１の値をもつ符号付きＷビットのデータとなる。なお、符号付き固定ビット深度化変換処理は、図４のような構成に限定されず、２Ｂ−１を減算したのちに（Ｗ−Ｂ）ビット左シフトするような構成としたり、これらの値以外のシフトや減算を行ったり、あるいは、スケール処理を２のべき乗とは限らない数値の乗算としたりしてもよい。また、ここでの変換に用いたパラメーターを、ビット深度パラメーターＢと合わせて、エントロピー符号化部１０４で符号化ストリームに多重化して、復号装置側にシグナリングするようにしてもよい。
【００６３】
いずれにしても、ここでは、入力される画素値の取りうる範囲が、符号付きＷビットで表現可能な数値の範囲の大部分の範囲にわたって写像されるような変換を行う。復号装置側の符号付き復号画像ビット深度変換部２２０では、ここで行われた変換処理の逆変換処理を行うことになる。図９は、実施形態に係る符号付き固定ビット深度への変換、対象ビット深度への変換の様子（各画像における画素値の取りうる範囲）を示している。
【００６４】
以下の説明では、入力映像や出力映像のような、（符号なし）Ｂビットで表現された画像（画素値）を、「（符号なし）Ｂビット領域の画像（画素値）」、符号付き固定ビット深度化変換後の符号化対象画像や、再構成画像、参照画像バッファ内の画像、予測画像など、符号付きＷビットで表現された画像（画素値）を、「符号付きＷビット領域の画像（画素値）」のように呼ぶ場合もある。
【００６５】
本実施形態の符号付き固定ビット深度参照画像バッファ１０９（符号付き固定ビット深度参照画像バッファ２０９）では、符号付きＷビット領域の参照画像が保持されている。また、加算部１０７（加算部２０７）で生成される再構成画素も符号付きＷビット領域の画素である。イントラ予測部１１１（イントラ予測部２１１）、インター予測部１１０（インター予測部２１０）では、これら符号付きＷビット領域の画素値を参照して予測処理を行い、符号付きＷビット領域で表現された予測画像を生成する。
【００６６】
（Ａ−２−２）映像符号化処理
映像符号化装置１０では、（符号なし）Ｂビット領域の入力画像が入力されると、符号付き固定ビット深度化変換部１２０で、符号付きＷビット領域に変換した符号化対象画像を求める。
【００６７】
符号付きＷビット領域の画像に変換された符号化対象画像を、従来技術の映像符号化装置と同様に、符号化ユニット等の処理単位領域ごとに処理を行う。
【００６８】
それぞれの処理単位領域に対して、符号付き固定ビット深度参照画像バッファ１０９を参照して動き補償を伴うインター予測を行うインター予測部１１０、もしくは、画面内の符号化済の符号付きＷビット領域の再構成画素等から予測を行うイントラ予測部１１１を用いて、符号付きＷビット領域の予測画像を生成する。選択した符号化モードに応じて切り替え部１１２で選択された予測画像と、符号付きＷビット領域に変換された符号化対象画像との差分である予測残差を差分処理部１０１で求める。予測残差は、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）によって変換部１０２で変換し、得られた変換係数を量子化部１０３で量子化する。量子化された変換係数と、符号化モード情報、予測モード情報、動きベクトル情報、ビット深度パラメーター等をエントロピー符号化部１０４でエントロピー符号化、多重化して符号化ストリームとして出力する。一方、量子化された変換係数は、逆量子化部１０５と逆変換部１０６で逆量子化・逆変換処理を行い、残差信号を復元する。復元された残差信号に符号付きＷビット領域の予測画像を、加算部１０７で加算して、符号付き固定ビット深度の再構成画像を求める。得られた符号付きＷビット領域の再構成画像は、ループ内フィルタ部１０８でループ内フィルタ処理を適用して、符号付き固定ビット深度の復号画像を求め、後続の画像の符号化時のインター予測の動き補償のための参照画像として、符号付きＷビット領域の画像のまま、符号付き固定ビット深度参照画像バッファ１０９に保持する。
【００６９】
なお、映像符号化装置においては、通常、利用可能な符号化モード、予測モード、動きベクトルなど複数の候補から最適な符号化方法を選択する処理が行われるため、そのそれぞれについて予測画像を生成してみるような処理が行われる。つまり、予測画像を生成する処理が軽量であれば、より高速に符号化処理が行えたり、より多くの候補から最適に選択することができるようになることで符号化効率を向上できたりすることが可能となる。
【００７０】
以上の処理によって、映像符号化装置１０は、エントロピー符号化部１０４から得られた符号化ストリームを、符号化処理結果として出力する。
【００７１】
（Ａ−２−３）映像復号処理
映像復号装置２０では、まず、入力された符号化ストリームを、エントロピー復号部２０４でエントロピー復号して、量子化された変換係数や符号化モード情報、予測モード情報、動きベクトル情報、ビット深度パラメーター等を取得する。得られた量子化された変換係数は、逆量子化部２０５と逆変換部２０６で逆量子化・逆変換して、復元された残差信号を求める。一方、予測モード情報や動きベクトル情報から、符号付き固定ビット深度参照画像バッファ２０９を参照して動き補償予測を行うインター予測部２１０、もしくは、画面内の符号付き固定ビット深度の再構成画素等から予測を行うイントラ予測部２１１を用いて、符号付きＷビット領域の予測画像を生成し、符号化モード情報にしたがって切り替え部２１２で選択された符号付きＷビット領域の予測画像に、逆量子化・逆変換で得られた復元された残差信号を加算部２０７で加算して、符号付き固定ビット深度の再構成画像を生成する。符号付きＷビット領域の再構成画像に対して、ループ内フィルタ部２０８でループ内フィルタ処理を適用して、符号付き固定ビット深度の復号画像を求める。ループ内フィルタ部２０８で得られた符号付きＷビット領域の復号画像は、後続の画像のインター予測のための参照画像として、符号付きＷビット領域の画像のまま、符号付き固定ビット深度参照画像バッファ２０９に保持される。
【００７２】
また、符号付き復号画像ビット深度変換部２２０では、ループ内フィルタ部２０８で得られた符号付き固定ビット深度の復号画像を、エントロピー復号部２０４から得られるビット深度パラメーターに従って（符号なしの）対象画像のビット深度の画像に変換して復号処理結果として出力する。
【００７３】
図５は、実施形態に係る符号付き復号画像ビット深度変換部２２０の構成の一例を示す図である。ループ内フィルタ部２０８で得られた符号付き固定ビット深度の復号画像は、参照画像として、又は、出力順の並べ替えのために、符号付き固定ビット深度参照画像バッファ２０９に符号付きＷビット領域の画像として保持されている。この符号付きＷビット領域の画素値をもつ画像を、画素ごとに、エントロピー復号部２０４から得られるビット深度パラメーターＢに従って（符号なしの）対象画像のビット深度の画素値に変換する。
【００７４】
加算部６０２では、−２Ｗ−１〜２Ｗ−１−１の値をもつ符号付きＷビットのデータに２Ｗ−１を加算して、０〜２Ｗ−１の値をもつ符号なしＷビットのデータを得る。次に、逆スケール部６０１では、符号なしＷビットのデータを符号なしＢビットの画素値に変換する。例えば、単純に（Ｗ−Ｂ）ビット右シフトする。これによって、０〜２Ｂ−１の画素値となる。なお、復号画像ビット深度変換部の処理は、図５のような構成に限定されず、符号付きＷビット領域のデータを（Ｗ−Ｂ）ビット符号付き右シフトしたのちに２Ｂ−１を加算するような構成としたり、これらの値以外のシフトや加算を行ったり、丸め処理を行ったり、又は、符号化装置側でスケール処理に２のべき乗とは限らない数値の乗算を用いたような場合は、スケール係数の逆数に相当する数の乗算等（逆数倍に相当するような乗算とシフト演算など）を行うようにしてもよい。また、ここでの変換に用いるパラメーターは、ビット深度パラメーターＢとともにエントロピー復号部２０４で符号化ストリームから得るようにしてもよいし、例えば、出力先のディスプレイ装置等がビット深度Ｂより大きなビット深度Ｂ’の表示能力を持つなど、ビット深度パラメーターＢとは異なるビット深度パラメーターＢ’に基づくビット深度の変換処理を行って出力するような構成としてもよい。
【００７５】
以上の処理によって、映像復号装置２０は、符号付き復号画像ビット深度変換部２２０で得られた対象画像のビット深度で表現された復号映像を、復号処理結果として出力する。
【００７６】
（Ａ−２−４）従来技術との差異
次に、本実施形態の映像符号化装置１０、及び映像復号装置２０の各部における動作を、従来技術との差異を中心に説明する。
【００７７】
（Ａ−２−４−１）インター予測処理
インター予測処理における、予測単位領域への分割方法や動きベクトルの表現、動きベクトルの予測などは、従来技術のＨＥＶＣ等と同様な方法やＶＶＣ等で検討されているような方法など、様々な方法を用いることができる。ここでは、参照画像から整数精度とは限らない動きベクトル位置の予測画像を、補間フィルタ処理を用いて生成する処理について説明する。
【００７８】
図６は、ＨＥＶＣにおける輝度画像の予測に使われる補間フィルタのフィルタ係数の一例を示す図である。ＨＥＶＣでは１/４画素精度の動きベクトルを用いており、整数画素位置からの１/４画素精度のずれに応じて、８タップの補間フィルタを用いて水平方向のフィルタ処理、垂直方向のフィルタ処理を行って補間画像が生成される。
【００７９】
図７は、従来技術（ＨＥＶＣ）における補間画像生成処理の構成を示す図である。ＨＥＶＣにおける参照画像バッファに保持されている参照画像は、処理対象画像のビット深度Ｂと同じ、符号なしＢビット領域画像である。また、予測画像として生成する画像のビット深度も同じく符号なしＢビット領域の画像である。ＨＥＶＣでは、水平方向のフィルタ処理を施した中間結果をＢビットよりもビット深度の大きなＷビット領域の画像として生成し、中間結果のＷビット領域の画像に対して垂直フィルタ処理を施した結果を符号なしＢビット領域の画像として生成するように規定されている。また、双方向予測のように複数の補間画像を加重平均して予測画像を生成する場合は、補完結果画像をＷビット領域の画像として出力して加重平均ののち、符号なしＢビット領域の画像に変換して予測画像を生成している。水平方向フィルタでは、水平方向に隣り合う８画素を参照してフィルタ係数を乗算して加算し、得られた結果をＷビット精度の値となるように、ビット深度パラメーターＢに依存したシフト演算を行う。水平方向が整数位置である場合は、フィルタ演算は行わず、参照位置の符号なしＢビットの画素をＷビット領域の画素に変換する、ビット深度パラメーターＢに依存したシフト演算を行う。ＨＥＶＣの参照ソフトであるＨＭでは、中間結果のＷビット領域の画像を、符号付きＷビット領域の画像として表すための減算処理も行われる。続く垂直方向のフィルタ処理では、Ｗビット領域の画像として求められている中間結果の画素の垂直方向に隣り合う８画素を参照してフィルタ係数を乗算して加算し、得られた結果を符号なしＢビット精度の画素値となるように、ビット深度パラメーターＢに依存したシフト演算を行う。垂直方向が整数位置である場合は、フィルタ演算は行わず、参照位置のＷビット領域の中間結果画素を符号なしＢビットの画素に変換する、ビット深度パラメーターＢに依存したシフト演算を行う。図７では詳細な記載を省略しているが、双方向予測の場合など、垂直フィルタも施した補完処理結果を、さらに加重平均するなどして予測画像を生成するときは、補完結果画像をＷビット領域の画像として出力する場合もあり、この場合は、符号なしＢビットの補完処理結果を出力する場合とは別の変換処理（ビット深度パラメーターＢに依存したシフト演算）を行う。ＨＭのように、中間結果のＷビット領域の画像を符号付きＷビット領域の画像として表していた場合は、符号なしＢビット領域の予測画像とするための加算処理も行われる。
【００８０】
以上のように、従来技術の補完画像生成処理では、符号なしＢビット領域の参照画像から、符号なしＢビット領域の予測画像を生成するようにしていたため、フィルタ処理途中の演算精度を確保するために、ビット深度パラメーターＢに依存したシフト演算を多用して処理が行われていた。また、中間結果を符号付きＷビット領域の画像とするための減算処理や加算処理も行われていた。
【００８１】
これに対して、本実施形態に係るインター予測処理における補完画像の生成処理は、図８に示すように構成する。本実施形態の補完画像生成処理では、符号付き固定ビット深度参照画像バッファに保持された符号付きＷビット領域の参照画像を参照して補完処理を行い、補完処理結果も符号付きＷビット領域の画像として出力する。このため、ビット深度パラメーターＢに依存するような演算処理は行う必要がない。水平方向フィルタでは、符号付きＷビット領域の参照画像の水平方向に隣り合う複数の画素を参照してフィルタ係数を乗算して加算し、得られた結果を符号付きＷビット領域の値となるように、フィルタ係数のビット精度分だけシフトする固定のシフト演算を行う。水平方向が整数位置である場合は、フィルタ演算は行わず参照位置の画素値がそのまま中間結果の画素値となる。続く垂直方向のフィルタ処理では、符号付きＷビット領域の画像として求められている中間結果の画素の垂直方向に隣り合う複数の画素を参照してフィルタ係数を乗算して加算し、得られた結果をフィルタ係数のビット精度分だけシフトする固定のシフト演算を行う。垂直方向が整数位置である場合は、フィルタ演算は行わず参照位置の符号付きＷビット領域の中間結果画素をそのまま補完処理結果として出力する。参照画像、中間結果、補完処理結果とも符号付きＷ領域の画像であるため、符号なし画像との変換のための減算や加算は不要である。ここで用いられるシフト演算は、フィルタ係数の固定のビット精度に応じたシフト演算であり、ビット深度パラメーターＢには依存せず、固定ビット分のシフト演算である。例えば、図６のようなＨＥＶＣの補間フィルタ係数は、６ビット相当のビット精度であるとみなされる。フィルタ係数やフィルタのタップ数、フィルタのビット精度はＨＥＶＣのような６ビット８タップフィルタに限定されず、ビット精度が固定されていれば、より大きなビット精度や、よりタップ数の大きなフィルタ、さらにはフィルタ係数自体も符号化装置側で対象映像に応じて自由に設計したフィルタ係数をシグナリングできるように構成してもよい。
【００８２】
以上の処理によって求められた、符号付きＷビット領域の補完処理結果は、そのまま予測画像として利用したり、又は双方向予測のように複数の補間画像を加重平均して予測画像を生成する場合は、これら符号付きＷビット領域の補完結果画像を加重平均するなどして符号付きＷビット領域の予測画像を生成したりすることでインター予測処理を行う。
【００８３】
（Ａ−２−４−２）イントラ予測処理
イントラ予測処理における、予測単位領域への分割方法や予測モードなどは、従来技術のＨＥＶＣ等と同様な方法やＶＶＣ等で検討されているような方法など、様々な方法を用いることができる。ここでは、イントラ予測が参照する再構成画像と、生成されるイントラ予測画像の違いについて説明する。
【００８４】
ＨＥＶＣ等の従来技術の映像符号化技術では、イントラ予測の参照画素に用いる画面内の再構成画像は符号なしＢビット深度の画像として参照される。また、イントラ予測画像も符号なしＢビット深度の画像として生成されている。
【００８５】
これに対して、本実施形態のイントラ予測処理では、符号付きＷビット領域の画像として再構成画像を生成しているので、イントラ予測に用いる参照画素は符号付きＷビット領域の画素である。イントラ予測では処理対象の領域に隣接する参照画素から、例えば、方向性の予測を行うような場合には複数の参照画素を補間処理するなどして予測用の画素値を求めている。本実施形態のイントラ予測処理では、このような処理をすべて符号付きＷビット領域で高精度に行うことが可能となる。得られる符号付きＷビット領域の予測画素値を、Ｂビット精度にビット深度を落とすことなく、予測画素値として利用することができる。なお、ＨＥＶＣにおけるスライス境界やＶＶＣで検討されているタイルグループ境界等では、同じスライス、同じタイルグループ以外の画素を参照しないよう、このような画素の画素値を２Ｂ−１とみなすような処理が行われる。これに相当する、本実施形態のイントラ予測処理における参照しないようにする参照画素の画素値は、０とみなすような処理とするように構成する。そのほか、ＨＥＶＣでは参照画素をスムージングするフィルタの強度を画素値領域の閾値で判断するなどの処理でビット深度パラメーターＢに依存するような処理があるが、これらもパラメーターＢには非依存となる。
【００８６】
以上の処理によって、符号付きＷビット領域の再構成画像を参照して、符号付きＷビット領域の予測画像を生成することでイントラ予測処理を行う。
【００８７】
（Ａ−２−４−３）差分処理
従来技術では、符号化対象画像、予測画像とも符号なしＢビット領域の画像として残差信号を算出するため、残差信号は符号付きＢ＋１ビットの数値となる。
【００８８】
これに対して、本実施形態の映像符号化装置１０の差分処理では、符号付きＷビット領域に変換された符号化対象画像と、符号付きＷビット領域の画像として生成された予測画像との残差信号を求めるため、残差信号は符号付きＷ＋１ビットの数値となる。
【００８９】
（Ａ−２−４−４）変換・量子化処理
変換・量子化処理における、変換単位領域への分割方法や、変換に用いるＤＣＴやＤＳＴといった変換関数、変換関数の選択処理などは、従来技術のＨＥＶＣ等と同様な方法を用いたり、ＶＶＣ等で検討されているように、複数種類のＤＣＴやＤＳＴから選択可能としたり、変換結果にさらに別の変換を施したりするなど、様々な方法を用いることができる。
【００９０】
変換処理では、従来技術では残差信号が符号付きＢ＋１ビットの数値であるのに対して、本実施形態では、残差信号が符号付きＷ＋１ビットの数値となることを想定した変換処理とする。ただし、従来技術ではビット深度パラメーターＢが変数であることを想定した処理が必要となる場合があるのに対して、本発明の変換処理では、Ｗは固定値とするためこのような処理は不要である。量子化処理についても、従来技術では、ビット深度パラメーターＢに依存して、量子化処理で用いられる量子化パラメーターを導出する処理が必要であったが、ビット深度パラメーターＢに依存しない導出方法とすることも可能である。
【００９１】
（Ａ−２−４−５）エントロピー符号化・エントロピー復号
エントロピー符号化、エントロピー復号処理も、従来技術のＨＥＶＣ等と同様な方法やＶＶＣで検討されているような方法などのように、可変長符号や算術符号を用いるなど、様々な方法を用いることができる。
【００９２】
対象画像のビット深度を表すビット深度パラメーターも、色成分ごとに異なるビット深度を持つことができる可能性も含めて、従来技術と同様に、符号化ストリームの上位シンタックスに多重化して符号化することができる。さらに、単純なシフト演算と減算のみで符号付き固定ビット深度化変換部を構成する以外に、２のべき乗以外を含む数値の乗算を用いる逆スケール処理を行うなど、逆変換で用いる変換パラメーターを符号化ストリームに多重化するように構成してもよい。さらに、線形変換だけでなく非線形な変換関数も表現できるようなパラメーターを符号化ストリームに多重化できるように構成してもよい。
【００９３】
なお、従来技術でも用いられている、対象画像の画素値を変換量子化せずに伝送するＰＣＭモードのような符号化モードを用いる場合は、この部分についてのみビット深度パラメーターＢに依存するようなビット数の、又は、ＨＥＶＣのように、ＰＣＭモード用に別途明示的にシグナリングしたビット数の符号語を割り当てるようにエントロピー符号化処理、復号処理を構成する。
【００９４】
（Ａ−２−４−６）逆量子化・逆変換処理
逆量子化・逆変換処理においても、変換・量子化処理に対応する形で、従来技術のＨＥＶＣ等と同様な方法やＶＶＣ等で検討されているような方法など、様々な方法を用いることができる。
【００９５】
逆量子化処理で用いられる量子化パラメーターの導出方法も、量子化処理と同様、ビット深度パラメーターＢに依存しない導出方法とすることも可能である。
【００９６】
逆変換処理については、従来技術では、符号付きＢ＋１ビット程度の数値として残差信号を復元するのに対して、本発明では、符号付きＷ＋１ビット程度の数値として残差信号を復元する。ビット深度パラメーターＢに依存する処理は行わない。
【００９７】
なお、符号付きＷ＋１ビット程度と記載したのは、復元される残差信号には量子化誤差が含まれるため、必ずしも符号付きＷ＋１ビットの範囲に収まる数値が算出されるわけではないことによる。逆変換処理の演算過程で符号付きＷ＋１ビットの範囲に収まるようにクリッピング処理を行うように構成してもよい。
【００９８】
（Ａ−２−４−７）加算処理
従来技術では、符号付きＢ＋１ビット程度の数値として復元された残差信号と、符号なしＢビット領域の画像として生成された予測画像とを加算して、符号なしＢビットの数値範囲（０〜２Ｂ−１）にクリッピングすることで再構成画像を生成していた。
【００９９】
これに対して、本実施形態の加算処理による再構成画像の生成処理では、符号付きＷ＋１ビット程度の数値として復元された残差信号と、符号付きＷビット領域の画像として生成された予測画像とを加算して、符号付きＷビットの数値範囲（−２Ｗ−１〜２Ｗ−１−１）にクリッピングすることで、符号付きＷビット領域の再構成画像を生成する。クリッピング処理は、ビット深度パラメーターＢに非依存な処理とできるほか、クリッピング処理を含む飽和演算が可能な演算器を用いる場合は、これを有効活用することもできる。
【０１００】
クリッピング処理は、ほかにもインター予測のフィルタ処理やイントラ予測の参照画素のフィルタ処理など、画素値領域での演算処理の随所で用いられるが、これらもすべてビット深度パラメーターＢに非依存な処理とすることが可能である。
【０１０１】
なお、ＶＶＣで検討されているように、対象画像の画素値が取りうる範囲（画素値の最小値・最大値）をシグナリングできるようにしてクリッピング処理をこの範囲へのクリッピング処理とする場合は、符号化ストリームでシグナリングする画素値の範囲の表現は、Ｂビット領域の値で表現し、これを符号付きＷビット領域の数値に、符号付き固定ビット深度化変換部と同様な変換処理によって変換した符号付きＷビット領域での画素値の範囲（画素値の最小値・最大値）をもちいてクリッピング処理を行うように構成してもよい。
【０１０２】
（Ａ−２−４−８）ループ内フィルタ
ループ内フィルタ処理も、従来技術のＨＥＶＣ等と同様な、デブロッキングフィルタやサンプル適応オフセット（ＳＡＯ）、ＶＶＣで検討されているような適応ループフィルタ（ＡＬＦ）など、様々な方法を用いることができる。
【０１０３】
従来技術のループ内フィルタ処理は、入力される再構成画像、出力されるフィルタ処理後の復号画像とも符号なしＢビット領域の画像であるのに対して、本実施形態のループ内フィルタ処理では、符号付きＷビット領域の再構成画像を入力してフィルタ処理を行い、符号付きＷビット領域のフィルタ処理後の復号画像を生成する。
【０１０４】
入出力のビット深度、符号の有無の差異のほか、例えば、デブロッキングフィルタでは、量子化パラメーターに依存して、フィルタ処理の適用・非適用を判断する閾値やフィルタによる補正値の取りうる範囲となる閾値を求めるような処理があるが、ここで求める閾値等も、符号付きＷビット領域の数値として閾値を導出する。また、例えば、ＳＡＯ等では、画素値の領域でのオフセット値を符号化するため、この部分に関しては、ビット深度パラメーターＢに依存するような精度のオフセット値をシグナリングするようにして、これを符号付きＷビット領域のオフセット値に変換して使用するようにしてもよい。
【０１０５】
なお、フィルタ処理後にクリッピング処理が必要な場合は、加算処理で説明したようなクリッピング処理を行う。
【０１０６】
以上のように、本実施形態の映像符号化装置１０、映像復号装置２０の各構成要素においては、画素値に関する処理は、すべて符号付きＷビット領域の画素値を想定した処理を行い、ＰＣＭモードのような符号化ストリームにＷビットの情報を多重化する無駄を回避するためなど、一部の処理でＢビット領域の画素値を用いるが、演算処理を行うに当たっては、符号付きＷビット領域に変換して用いるように構成する。
【０１０７】
（Ａ−３）実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。
【０１０８】
この実施形態の映像処理システム１（映像符号化装置１０、映像復号装置２０）では、映像符号化技術の符号化処理、復号処理の大半の部分において、処理対象映像のビット深度に依存する処理を排除でき処理の軽量化、実装の簡素化が図れる。また、内部で利用する演算器のビット幅を最大限に利用する演算を行うので、対象画像のビット深度に合わせる演算によるノイズ成分の発生を低減することができ、符号化効率を向上させることができる。
【０１０９】
特に、符号化処理、復号処理で最も大量の演算処理が必要となるインター予測処理において、ビット深度パラメーターＢに依存するような演算処理を排除することができる。
【０１１０】
対象画像のビット深度への丸め処理は、Ｂビット深度の画素値の最下位桁への切り上げ／切る捨てがほぼランダムに起こるため、画素値として知覚可能なランダムなノイズを発生させていることに相当する。これが、参照画像や参照画素として繰り返し丸めながら利用されるため、さらにノイズは大きなものとなる。本実施形態では、最終的な復号結果としての出力時以外の丸め演算は、Ｂビットよりも深い、Ｗビットの最下位桁に向けて行われるので、このようなノイズの振幅は非常に小さなものとなり、符号化効率を向上させることが可能となる。
【０１１１】
従来技術では、主な処理対象画像が８ビット深度のＳＤＲ映像であったため、参照画像バッファに８ビットで保持することができることは、メモリアクセスのバンド幅等の観点から有利な面があった。しかし、１０ビット深度といったＨＤＲ映像を主な処理対象画像とする場合は、メモリへの保存がバイト単位（８ビット単位）であるため、１０ビットの画素値は２バイト（１６ビット）使用することになる。したがって、１０ビットに丸めて保持することには何ら有利な点はなく、１６ビットあるメモリを有効活用できるようにすることによる符号化効率の向上のほうが有利である。
【０１１２】
従来技術のＨＥＶＣのソフトウェア実装であるＨＭ等では、補間処理等で符号なしの画素値領域の値を、符号付きの画素値領域の値に変換する加減算等が行われていた。これは、ＣＰＵやＧＰＵを用いるソフトウェア実装では、符号なし数同士の乗算、符号付き数同士の乗算命令はあるが、符号なし数と符号付き数の乗算命令はないなどの制約があり、符号付き数同士の乗算命令を有効活用することを想定しての処理であった。本実施形態の内部演算処理では画素値は符号付き数として取り扱われるため、正負の値をもつフィルタ係数との乗算をそのまま符号付き数同士の乗算命令で効率よく演算処理することが可能となっている。
【０１１３】
（Ｂ）他の実施形態
本発明は、上記実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【０１１４】
上記の実施形態では、本発明を映像処理システム１（映像符号化装置１０及び映像復号装置２０）に適用する例について説明したが、その他のさまざまな映像符号化処理に利用可能である。例えば、符号化処理や復号処理で用いる様々な構成要素も、ＨＥＶＣで用いられているような構成要素を用いたり、ＶＶＣで検討されているような構成要素を用いたり、補間フィルタ係数や、ＤＣＴ変換マトリックスをより高精度な係数をもつ演算を用いたり、その他さまざまな符号化ツールを組み合わせて用いるような構成としてもよい。このとき、これらそれぞれの構成要素においても、画素値領域に関する処理は符号付きの固定ビット深度の画素値を対象として、対象画像のビット深度に依存しないような処理として構成することが望ましい。
【０１１５】
上記の説明における、固定のビット深度Ｗとしては、処理対象とする様々なビット深度Ｂのいずれよりも十分大きなＷの値を規定することが望ましい。例えば、２バイト（１６ビット）での参照画像バッファの構成を想定して、Ｗを１６としてもよいし、符号付きＷビットの数値同士の演算の桁あふれ等も含めた１６ビットの演算器での実装を想定して、Ｗを１５としてもよい。又は、乗算結果に必要なビット幅を考慮してこれらより小さな値としたり、１６ビットの医用画像のような限定された目的用にこれらより大きな値としたりしてもよい。また、図８のようなフィルタ処理では、中間結果もＷビットとしているが、中間結果はＷとは異なるＷ’のビット深度で演算するように規定してもよい。
【０１１６】
いずれにしても、Ｗは定数として規定してしまい、Ｗを変数とするような演算は一切用いないようにすることが望ましい。
【符号の説明】
【０１１７】
１…映像処理システム、１０…映像符号化装置、２０…映像復号装置、１０１…差分処理部、１０２…変換部、１０３…量子化部、１０４…エントロピー符号化部、１０５…逆量子化部、１０６…逆変換部、１０７…加算部、１０８…ループ内フィルタ部、１０９…符号付き固定ビット深度参照画像バッファ、１１０…インター予測部、１１１…イントラ予測部、１１２…切り替え部、１２０…符号付き固定ビット深度化変換部、２０４…エントロピー復号部、２０５…逆量子化部、２０６…逆変換部、２０７…加算部、２０８…ループ内フィルタ部、２０９…符号付き固定ビット深度参照画像バッファ、２１０…インター予測部、２１１…イントラ予測部、２１２…切り替え部、２２０…符号付き復号画像ビット深度変換部、５０１…スケール部、５０２…減算部、６０１…逆スケール部、６０２…加算部。
【図１】
2020195096.tif 000003
【図２】
2020195096.tif 000004
【図３】
2020195096.tif 000005
【図４】
2020195096.tif 000006
【図５】
2020195096.tif 000007
【図６】
2020195096.tif 000008
【図７】
2020195096.tif 000009
【図８】
2020195096.tif 000010
【図９】
2020195096.tif 000011
【図１０】
2020195096.tif 000012
【図１１】
2020195096.tif 000013