(57)【要約】【課題】  レイヤ間予測処理を伴う映像符号化処理を行う際に、画質劣化を低減し、かつ、符号化効率を高める。【解決手段】  本発明の映像符号化装置は、複数レイヤの画像を階層符号化する装置であって、符号化対象レイヤの入力画像を予測した予測画像を、少なくとも、他の参照レイヤの復号画像に対してフィルタ処理を行ったリサンプル画像を参照して、レイヤ間予測により生成する予測手段と、前記符号化対象レイヤの入力画像と、前記参照レイヤの復号画像とを参照して、最適なフィルタ係数セットを決定するフィルタ係数決定手段と、前記フィルタ係数セットを用いて、前記参照レイヤの復号画像に対してフィルタ処理を行うリサンプリング手段と、前記符号化対象レイヤの入力画像と前記予測画像との残差信号を符号化する符号化手段とを有することを特徴とする。【選択図】      図１
2018032913.tif 000002
【特許請求の範囲】
【請求項１】
複数レイヤの画像を階層符号化する映像符号化装置において、
符号化対象レイヤの入力画像を予測した予測画像を、少なくとも、他の参照レイヤの復号画像に対してフィルタ処理を行ったリサンプル画像を参照して、レイヤ間予測により生成する予測手段と、
前記符号化対象レイヤの入力画像と、前記参照レイヤの復号画像とを参照して、最適なフィルタ係数セットを決定するフィルタ係数決定手段と、
前記フィルタ係数セットを用いて、前記参照レイヤの復号画像に対してフィルタ処理を行うリサンプリング手段と、
前記符号化対象レイヤの入力画像と前記予測画像との残差信号を符号化する符号化手段と
を有することを特徴とする映像符号化装置。
【請求項２】
前記リサンプリング手段は、前記符号化対象レイヤの入力画像の画素位置に対応する、前記参照レイヤの復号画像の対象画素の位置（Ｘ，Ｙ）に対して、その整数位置（ｘＲ，ｙＲ）と整数位置からのずれである位相（ｘＰ，ｙＰ）とを用いて、以下の(Ａ１)及び(Ａ２)式に従って、前記参照レイヤの復号画像の画素値配列ｒからリサンプルされた画素値ｐを求めることを特徴とする請求項１に記載の映像符号化装置。
ｔｊ＝（Σiａ［ｘＰ，ｉ］＊ｒ［ｘＲ＋ｉ−Ｎ／２＋１，ｙＲ＋ｊ−Ｎ／２＋１］＋ｂ）＞＞ｓ１  …（Ａ１）
ｐ＝（Σｊｃ［ｙＰ，ｊ］＊ｔｊ＋ｄ＋ｏ）＞＞ｓ２  …（Ａ２）
（Ａ１）式及び（Ａ２）式において、ａ、ｂ、ｃ、ｄは前記フィルタ係数セットを構成するフィルタ係数であって、ｓ１，ｓ２，ｏは画素値のビット深度に応じたシフト値と丸め値である。また、（Ａ１）式及び（Ａ２）式において、Ｎはフィルタのタップ数であって、ｉ及びｊは、水平方向及び垂直方向に用いるフィルタのタップ位置である。
【請求項３】
前記リサンプリング手段は、前記参照レイヤの復号画像の対象画素の位置（Ｘ，Ｙ）を１６分の１画素精度で表現し、前記参照レイヤの復号画像の対象画素の整数位置（ｘＲ，ｙＲ）と位相（ｘＰ，ｙＰ）を、以下の（Ｂ１）〜（Ｂ４）式に従って求めることで、前記フィルタ係数セットを１６通りの位相に対するフィルタ係数とすることを特徴とする請求項２に記載の映像符号化装置。
ｘＲ＝Ｘ＞＞４  …（Ｂ１）
ｘＰ＝Ｘ％１６  …（Ｂ２）
ｙＲ＝Ｙ＞＞４  …（Ｂ３）
ｙＰ＝Ｙ％１６  …（Ｂ４）
【請求項４】
前記符号化手段は、前記フィルタ係数決定手段で決定した前記フィルタ係数セットを多重化して符号化した符号化ストリームを出力することを特徴とする請求項１〜３のいずれかに記載の映像符号化装置。
【請求項５】
前記フィルタ係数決定手段は、前記リサンプリング手段で使用する水平方向のフィルタ係数ａ及びｂと、垂直方向のフィルタのフィルタ係数ｃ及びｄを同じ値を用いるような制約を設けた上で、前記フィルタ係数セットの決定を行うことを特徴とする請求項２〜４のいずれかに記載の映像符号化装置。
【請求項６】
前記フィルタ係数決定手段は、前記リサンプリング手段で使用する定数項であるフィルタ係数ｂ及びｄを使用しないというような制約を設けた上で、前記フィルタ係数セットの決定を行うことを特徴とする請求項２〜４のいずれかに記載の映像符号化装置。
【請求項７】
前記リサンプリング手段で使用する前記参照レイヤの復号画像の対象画素の位置の位相毎の既定のフィルタ係数をさらに有し、
前記符号化手段は、前記フィルタ係数決定手段が前記既定のフィルタ係数と異なる値のフィルタ係数を決定したか否かを示すフラグをシグナリングすることにより符号化すべきデータ量を削減する
ことを特徴とする請求項２〜６のいずれかに記載の映像符号化装置。
【請求項８】
前記符号化手段は、前記符号化手段により決定されたフィルタ係数と対応する前記既定のフィルタ係数との差分値を符号化することにより、符号化すべきデータ量を削減する
ことを特徴とする請求項７に記載の映像符号化装置。
【請求項９】
前記フィルタ係数決定手段は、最小二乗法を用いて、前記フィルタ係数セットを決定することを特徴とする請求項２〜８のいずれかに記載の映像符号化装置。
【請求項１０】
前記フィルタ係数決定手段は、前記リサンプリング手段と前記既定のフィルタ係数を用いて、前記参照レイヤの復号画像に対して、フィルタ処理を行うことによって仮のレイヤ間参照画像を生成し、
前記フィルタ係数決定手段は、前記仮のレイヤ間参照画像と、インター予測のために参照されるインター予測参照画像とを参照して、前記符号化対象レイヤの入力画像の内、レイヤ間予測を行うレイヤ間予測領域を決定し、
前記レイヤ間予測領域のみに関する、前記リサンプル画像と前記符号化対象レイヤの入力画像の誤差の二乗和を最小化するような前記フィルタ係数セットの決定処理を行う
ことを特徴とする請求項９に記載の映像符号化装置。
【請求項１１】
階層符号化された符号化データを復号する映像復号装置において、
復号対象レイヤの対象画像を予測した予測画像を、少なくとも、他の参照レイヤの復号画像に対してフィルタ処理を行ったリサンプル画像を参照して、レイヤ間予測により生成する予測手段と、
階層符号化された符号化データに含まれるフィルタ係数セットを復号する復号手段と、
前記復号手段により復号された前記フィルタ係数セットを用いて、前記参照レイヤの復号画像に対してフィルタ処理を行うリサンプリング手段と
を有することを特徴とする映像復号装置。
【請求項１２】
複数レイヤの画像を階層符号化する映像符号化装置に搭載されるコンピュータを、
符号化対象レイヤの入力画像を予測した予測画像を、少なくとも、他の参照レイヤの復号画像に対してフィルタ処理を行ったリサンプル画像を参照して、レイヤ間予測により生成する予測手段と、
前記符号化対象レイヤの入力画像と、前記参照レイヤの復号画像とを参照して、最適なフィルタ係数セットを決定するフィルタ係数決定手段と、
前記フィルタ係数セットを用いて、前記参照レイヤの復号画像に対してフィルタ処理を行うリサンプリング手段と、
前記符号化対象レイヤの入力画像と前記予測画像との残差信号を符号化する符号化手段と
して機能させることを特徴とする映像符号化プログラム。
【請求項１３】
階層符号化された符号化データを復号する映像復号装置に搭載されるコンピュータを、
復号対象レイヤの対象画像を予測した予測画像を、少なくとも、他の参照レイヤの復号画像に対してフィルタ処理を行ったリサンプル画像を参照して、レイヤ間予測により生成する予測手段と、
階層符号化された符号化データに含まれるフィルタ係数セットを復号する復号手段と、
前記復号手段により復号された前記フィルタ係数セットを用いて、前記参照レイヤの復号画像に対してフィルタ処理を行うリサンプリング手段と
して機能させることを特徴とする映像復号プログラム。
【請求項１４】
複数レイヤの画像を階層符号化する映像符号化装置が行う映像符号化方法において、
予測手段、フィルタ係数決定手段、リサンプリング手段、及び符号化手段を備え、
前記予測手段は、符号化対象レイヤの入力画像を予測した予測画像を、少なくとも、他の参照レイヤの復号画像に対してフィルタ処理を行ったリサンプル画像を参照して、レイヤ間予測により生成し、
前記フィルタ係数決定手段は、前記符号化対象レイヤの入力画像と、前記参照レイヤの復号画像とを参照して、最適なフィルタ係数セットを決定し、
前記リサンプリング手段は、前記フィルタ係数セットを用いて、前記参照レイヤの復号画像に対してフィルタ処理を行い、
前記符号化手段は、前記符号化対象レイヤの入力画像と前記予測画像との残差信号を符号化する
ことを特徴とする映像符号化方法。
【請求項１５】
階層符号化された符号化データを復号する映像復号装置が行う映像復号方法において、
予測手段、復号手段、及びリサンプリング手段を備え、
前記予測手段は、復号対象レイヤの対象画像を予測した予測画像を、少なくとも、他の参照レイヤの復号画像に対してフィルタ処理を行ったリサンプル画像を参照して、レイヤ間予測により生成し、
前記復号手段は、階層符号化された符号化データに含まれるフィルタ係数セットを復号し、
前記リサンプリング手段は、前記復号手段により復号された前記フィルタ係数セットを用いて、前記参照レイヤの復号画像に対してフィルタ処理を行う
ことを特徴とする映像復号方法。
【請求項１６】
複数レイヤの画像を階層符号化する映像符号化装置と、前記映像符号化装置により階層符号化された符号化データを復号する映像復号装置とを備える映像伝送システムにおいて、前記映像符号化装置として請求項１〜１０のいずれかに記載の映像符号化装置を適用し、前記映像復号装置として請求項１１に記載の映像復号装置を適用したことを特徴とする映像伝送システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システムに関し、例えば、マルチレイヤの映像情報を圧縮符号化してストリームデータとして伝送するシステムに適用し得る。
【背景技術】
【０００２】
例えば、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ：以下、「ＡＶＣ」とも呼ぶ）やＨ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ：以下、「ＨＥＶＣ」とも呼ぶ）等に代表される映像符号化方式による映像情報の圧縮符号化処理は、入力された対象画像を分割した処理単位ごとに、イントラ予測や動き補償予測等のインター予測を行った予測画像と、入力された対象画像との差分である予測残差信号に、離散コサイン変換等の空間変換を施した変換係数を量子化して、これをエントロピー符号化することによって高効率の映像圧縮を実現している。さらに、これらの映像符号化方式では、スケーラブル符号化拡張が利用可能であり、複数の空間解像度や、フレームレート、画像品質、ビット深度等の複数の映像表現をマルチレイヤの映像ストリームとして符号化することができる。
【０００３】
図８は、マルチレイヤの映像符号化装置の構成を示すブロック図である。また、図９は、マルチレイヤの映像復号装置の構成を示すブロック図である。
【０００４】
マルチレイヤの映像符号化装置では、レイヤ０（基本レイヤ）の入力映像は、スケーラブル符号化拡張を用いないエンコーダ（レイヤ０エンコーダ）を用いて符号化される。そして、基本レイヤのみの映像ストリームは、スケーラブル符号化拡張を用いないデコーダ（レイヤ０デコーダ）を用いて復号される。マルチレイヤの映像符号化装置では、レイヤ１以上のレイヤ（拡張レイヤ）のエンコーダは、基本レイヤを含む他のレイヤの復号画像を参照して符号化されるように構成される。拡張レイヤのエンコーダは、他のレイヤのエンコーダで生成した復号画像（参照レイヤの復号画像）を用いてレイヤ間予測を行うことで、レイヤ間予測を用いない場合よりもさらに高効率な符号化を行う。各レイヤのエンコーダから出力されたストリームは、多重化（ＭＵＸ）されてマルチレイヤストリームとしてマルチレイヤの映像符号化装置から出力される。
【０００５】
マルチレイヤの復号装置では、マルチレイヤストリームから各レイヤの符号化ストリームがデマルチプレックス（ＤＥＭＵＸ）されて、各レイヤのデコーダ（レイヤ０〜レイヤｎデコーダ）に入力される。そして、各レイヤのデコーダは、対象レイヤの復号画像を生成し各レイヤの復号映像（レイヤ０〜レイヤｎ復号映像）として出力する。なお、拡張レイヤ（１以上のレイヤ）のデコーダは、他のレイヤのデコーダで生成した復号画像（参照レイヤの復号画像）を用いて、レイヤ間予測を行って復号処理を行う。
【０００６】
図１０は、従来の映像符号化装置における拡張レイヤのエンコーダの構成を示すブロック図である。図１０において、例えば、ＨＥＶＣのような符号化技術を用いる場合、レイヤｉ入力映像（符号化対象レイヤの画像）がエンコーダに入力される。入力された符号化対象レイヤの画像は、符号化ユニット等の処理単位領域ごとに分割されて差分処理部３０１に与えられる。処理単位領域ごとに分割された入力画像は、差分処理部３０１により、動き補償を伴うインター予測部３０８による予測画像、又は画面内の符号化済み画素等から予測を行うイントラ予測部３０９による予測画像との差分である予測残差信号が求められる。そして、予測残差信号は、変換量子化部３０２により、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）されて、得られた変換係数が量子化される。エントロピー符号化部１０３では、量子化された変換係数を、可変長符号や算術符号等のようなエントロピー符号化して符号化ストリームとして出力する。なお、対象レイヤの符号化ストリームは、他のレイヤのストリームと多重化されてマルチレイヤストリームとして出力される。
【０００７】
量子化された変換係数は、逆量子化逆変換部３０４で逆量子化、及び逆変換されて、加算部３０５で予測画像と加算することによって再構成画像を得る。
【０００８】
さらに、再構成画像は、ブロック歪を軽減するデブロッキングフィルタなどのループ内フィルタ部３０６が適用され、復号側で生成される対象レイヤの復号画像（レイヤｉ復号画像）が得られる。対象レイヤの復号画像は、後続の入力画像の符号化時のインター予測の動き補償のための参照画像として参照画像バッファ３０７に保持されると共に、他の拡張レイヤでのレイヤ間予測のための参照レイヤ画像として他の拡張レイヤのエンコーダに供給される。
【０００９】
ＨＥＶＣのスケーラブル拡張であるＳＨＶＣ（Ｓｃａｌａｂｌｅ  Ｈｉｇｈ-ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）では、参照レイヤからの復号画像（レイヤｊ復号画像）は、リサンプリング部３２０において、対象画像の空間解像度、ビット深度にリサンプリングされ、参照画像バッファ３０７に保持された対象レイヤの参照画像（レイヤｉ復号画像）と同等に参照画像番号が付与される。そして、拡張レイヤのエンコーダでは、インター予測部３０８においてインター予測を用いて予測画像を生成することでレイヤ間予測を実現している。なお、基本レイヤのエンコーダは、このレイヤ間予測部分を省いた構成と同等である。
【００１０】
図１１は、従来の映像復号装置における拡張レイヤのデコーダの構成を示すブロック図である。
【００１１】
映像符号化装置で生成されたマルチレイヤストリームは、デマルチプレックスされて、それぞれのレイヤのストリームが各レイヤのデコーダに入力される。
【００１２】
入力された対象レイヤの符号化ストリーム（レイヤｉストリーム）は、エントロピー復号部４０３で復号されて、ＤＣＴ等の変換係数と、符号化モード情報や動きベクトル情報が得られる。得られた変換係数は、逆量子化逆変換部３０４で逆量子化、及び逆変換された後、加算部４０５で、インター予測部４０８若しくはイントラ予測部４０９で生成された予測画像と加算することによって、符号化側と同じ再構成画像が生成される。
【００１３】
さらに、再構成画像は、デブロッキングフィルタなどのループ内フィルタ部４０６が適用され、対象レイヤの復号画像（レイヤｉ復号画像）として他の拡張レイヤのデコーダに供給されると共に、後続のインター予測のための参照画像として参照画像バッファ４０７に保持される。
【００１４】
参照レイヤからの復号画像（レイヤｊ復号画像）は、リサンプリング部４２０において、対象画像の空間解像度、ビット深度にリサンプリングされ、参照画像バッファ４０７に保持された対象レイヤの参照画像（レイヤｉ復号画像）と同等に参照画像番号が付与される。そして、拡張レイヤのエンコーダでは、インター予測部４０８においてインター予測を用いて予測画像を生成することでレイヤ間予測を実現している。なお、基本レイヤのデコーダは、このレイヤ間予測部分を省いた構成と同等である。
【００１５】
以上、ＨＥＶＣでは、空間解像度等が異なり得る他のレイヤの復号画像を参照画像として用いて、レイヤ間予測を行うために、空間解像度やビット深度を変換するリサンプリング処理が行われる。
【００１６】
図１２、図１３は、ＨＥＶＣの符号化技術で用いられるリサンプリングフィルタのフィルタ係数を示す説明図である。図１２は輝度サンプルのリサンプリングに用いられる８タップのフィル夕係数、図１３は色差サンプルのリサンプリングに用いられる４タップのフィルタ係数を示している。
【００１７】
ＨＥＶＣでは、対象レイヤの画素位置に対応する参照レイヤでの画素の位置が１／１６画素精度で算出され、参照レイヤ上での１／１６画素精度の水平方向および垂直方向の位相（整数画素位置からのずれ）に従って、フィルタ係数が選択されて、水平方向のフィルタ処理と垂直方向のフィルタ処理を行ってリサンプリング処理が行われる。
【００１８】
例えば、輝度フィルタでは、対象画素の参照レイヤ上での１／１６画素精度の位置（Ｘ，Ｙ）に対して、整数位置（ｘＲ，ｙＲ）と位相（ｘＰ，ｙＰ）を用いて、次の（１−１）〜（１−６）式のように参照レイヤの復号画像の画素値配列ｒから、対象画素の位置のリサンプルされた画素値ｐを求める。
【００１９】
【数１】
2018032913.tif 000003
ここで、ｆは、図１２のフィルタ係数（位相及びフィルタのタップ位置により定まる係数）である。ｓ１、ｓ２、ｏは画素値のビット深度に応じたシフト値と丸め値である。また、ｉとｊは、水平方向及垂直方向に用いるフィルタのタップ位置であり、図１２の例であれば、それぞれ０〜７の値が該当する。
【００２０】
このように、ＨＥＶＣではリサンプリング処理で用いるフィルタ係数として、位相ごとに固定の係数値が用いられている。一方、このようなリサンプリング処理のフィルタ係数を適応的なものとする方法として、例えば、特許文献１で挙げる方法が提案されている。
【先行技術文献】
【特許文献】
【００２１】
【特許文献１】特表２０１５−５３０８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【００２２】
しかしながら、従来のリサンプリング処理ではリサンプリングのフィルタ処理で用いるフィルタ係数に固定の値を用いているため、符号化対象画像に対して必ずしも最適ではないフィルタ処理が行われていた。
【００２３】
また、これを適応的な係数とする方法については、先述の特許文献１を含め具体的な実現方法が明らかではないという課題があった。
【００２４】
そのため、レイヤ間予測処理（リンサンプリング処理）を伴う映像符号化処理及び映像復号処理を行う際に、画質劣化を低減し、かつ、符号化効率を高めることができる映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システムが望まれている。
【課題を解決するための手段】
【００２５】
第１の本発明は、複数レイヤの画像を階層符号化する映像符号化装置において、（１）符号化対象レイヤの入力画像を予測した予測画像を、少なくとも、他の参照レイヤの復号画像に対してフィルタ処理を行ったリサンプル画像を参照して、レイヤ間予測により生成する予測手段と、（２）前記符号化対象レイヤの入力画像と、前記参照レイヤの復号画像とを参照して、最適なフィルタ係数セットを決定するフィルタ係数決定手段と、（３）前記フィルタ係数セットを用いて、前記参照レイヤの復号画像に対してフィルタ処理を行うリサンプリング手段と、（４）前記符号化対象レイヤの入力画像と前記予測画像との残差信号を符号化する符号化手段とを有することを特徴とする。
【００２６】
第２の本発明は、階層符号化された符号化データを復号する映像復号装置において、（１）復号対象レイヤの対象画像を予測した予測画像を、少なくとも、他の参照レイヤの復号画像に対してフィルタ処理を行ったリサンプル画像を参照して、レイヤ間予測により生成する予測手段と、（２）階層符号化された符号化データに含まれるフィルタ係数セットを復号する復号手段と、（３）前記復号手段により復号された前記フィルタ係数セットを用いて、前記参照レイヤの復号画像に対してフィルタ処理を行うリサンプリング手段とを有することを特徴とする。
【００２７】
第３の本発明の映像符号化プログラムは、複数レイヤの画像を階層符号化する映像符号化装置に搭載されるコンピュータを、（１）符号化対象レイヤの入力画像を予測した予測画像を、少なくとも、他の参照レイヤの復号画像に対してフィルタ処理を行ったリサンプル画像を参照して、レイヤ間予測により生成する予測手段と、（２）前記符号化対象レイヤの入力画像と、前記参照レイヤの復号画像とを参照して、最適なフィルタ係数セットを決定するフィルタ係数決定手段と、（３）前記フィルタ係数セットを用いて、前記参照レイヤの復号画像に対してフィルタ処理を行うリサンプリング手段と、（４）前記符号化対象レイヤの入力画像と前記予測画像との残差信号を符号化する符号化手段として機能させることを特徴とする。
【００２８】
第４の本発明の映像復号プログラムは、階層符号化された符号化データを復号する映像復号装置に搭載されるコンピュータを、（１）復号対象レイヤの対象画像を予測した予測画像を、少なくとも、他の参照レイヤの復号画像に対してフィルタ処理を行ったリサンプル画像を参照して、レイヤ間予測により生成する予測手段と、（２）階層符号化された符号化データに含まれるフィルタ係数セットを復号する復号手段と、（３）前記復号手段により復号された前記フィルタ係数セットを用いて、前記参照レイヤの復号画像に対してフィルタ処理を行うリサンプリング手段として機能させることを特徴とする。
【００２９】
第５の本発明は、複数レイヤの画像を階層符号化する映像符号化装置が行う映像符号化方法において、予測手段、フィルタ係数決定手段、リサンプリング手段、及び符号化手段を備え、（１）前記予測手段は、符号化対象レイヤの入力画像を予測した予測画像を、少なくとも、他の参照レイヤの復号画像に対してフィルタ処理を行ったリサンプル画像を参照して、レイヤ間予測により生成し、（２）前記フィルタ係数決定手段は、前記符号化対象レイヤの入力画像と、前記参照レイヤの復号画像とを参照して、最適なフィルタ係数セットを決定し、（３）前記リサンプリング手段は、前記フィルタ係数セットを用いて、前記参照レイヤの復号画像に対してフィルタ処理を行い、（４）前記符号化手段は、前記符号化対象レイヤの入力画像と前記予測画像との残差信号を符号化することを特徴とする。
【００３０】
第６の本発明は、階層符号化された符号化データを復号する映像復号装置が行う映像復号方法において、予測手段、復号手段、及びリサンプリング手段を備え、（１）前記予測手段は、復号対象レイヤの対象画像を予測した予測画像を、少なくとも、他の参照レイヤの復号画像に対してフィルタ処理を行ったリサンプル画像を参照して、レイヤ間予測により生成し、（２）前記復号手段は、階層符号化された符号化データに含まれるフィルタ係数セットを復号し、（３）前記リサンプリング手段は、前記復号手段により復号された前記フィルタ係数セットを用いて、前記参照レイヤの復号画像に対してフィルタ処理を行うことを特徴とする。
【００３１】
第７の本発明の映像伝送システムは、複数レイヤの画像を階層符号化する映像符号化装置と、前記映像符号化装置により階層符号化された符号化データを復号する映像復号装置とを備える映像伝送システムにおいて、前記映像符号化装置として第１の本発明の映像符号化装置を適用し、前記映像復号装置として第２の本発明の映像復号装置を適用したことを特徴とする。
【発明の効果】
【００３２】
本発明によれば、レイヤ間予測処理（リンサンプリング処理）を伴う映像符号化処理及び映像復号処理を行う際に、画質劣化を低減し、かつ、符号化効率を高めることができる。
【図面の簡単な説明】
【００３３】
【図１】実施形態の映像符号化装置における拡張レイヤのエンコーダの構成を示すブロック図である。
【図２】実施形態の映像復号装置における拡張レイヤのデコーダの構成を示すブロック図である。
【図３】実施形態の映像伝送システムの全体構成について示したブロック図である。
【図４】実施形態の拡張レイヤのエンコーダにおいて、リサンプリング処理で用いるフィルタ係数セットの決定処理を示すフローチャートである。
【図５】実施形態の拡張レイヤのエンコーダで用いる符号化対象画像（レイヤ間予測領域を含む）の一例を示す説明図である。
【図６】実施形態のフィルタ係数決定部において、フィルタ係数セットを算出する一例を示すフローチャート（その１）である。
【図７】実施形態のフィルタ係数決定部において、フィルタ係数セットを算出する一例を示すフローチャート（その２）である。
【図８】マルチレイヤの映像符号化装置の構成を示すブロック図である。
【図９】マルチレイヤの映像復号装置の構成を示すブロック図である。
【図１０】従来の映像符号化装置における拡張レイヤのエンコーダの構成を示すブロック図である。
【図１１】従来の映像復号装置における拡張レイヤのデコーダの構成を示すブロック図である。
【図１２】ＨＥＶＣの符号化技術で用いられるリサンプリングフィルタのフィルタ係数を示す説明図（その１）である。
【図１３】ＨＥＶＣの符号化技術で用いられるリサンプリングフィルタのフィルタ係数を示す説明図（その２）である。
【発明を実施するための形態】
【００３４】
（Ａ）主たる実施形態
以下、本発明による映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システムの実施形態を、図面を参照しながら詳述する。
【００３５】
（Ａ−１）実施形態の構成
（Ａ−１−１）全体構成
図３は、この実施形態の映像伝送システム１の全体構成を示すブロック図である。
【００３６】
図３に示す映像伝送システム１では、符号化対象映像（入力映像）を構成する符号化対象画像（入力画像）を階層（レイヤ）毎に符号化して、レイヤ毎の符号化ストリームを多重化したマルチレイヤストリームを出力する映像符号化装置１０と、マルチレイヤストリームを複数のレイヤ毎の符号化ストリームに戻し、レイヤ毎の符号化ストリームを復号して、復号映像を構成する復号画像を得る映像復号装置２０が配置されている。
【００３７】
この実施形態では、映像符号化装置１０は、階層的符号化と呼ばれる符号化方式を採用し、基本レイヤのエンコーダと、１又は２以上の拡張レイヤのエンコーダとから構成される。また、映像復号装置２０も、同様に、基本レイヤのデコーダと、１又は２以上の拡張レイヤのデコーダとから構成される。
【００３８】
映像伝送システム１では、映像符号化装置１０と映像復号装置２０との間の接続構成については限定されないものであり、例えば、ネットワークを介して通信により伝送するようにしてもよいし、オフラインでデータ供給（例えば、ＤＶＤやＨＤＤ等のデータ記録媒体で供給）するようにしてもよい。また、映像符号化装置１０で符号化したマルチレイヤストリームの内、映像復号装置２０が要求する映像品質（映像表現）となるレイヤまでが復号可能となる一部レイヤのストリームのみが伝送されるようにしてもよい。
【００３９】
（Ａ−１−２）映像符号化装置（拡張レイヤのエンコーダ）の詳細な構成
図１は、映像符号化装置における拡張レイヤのエンコーダの構成を示すブロック図である。この実施形態の拡張レイヤのエンコーダは、図１に示す各構成部を搭載した専用のＩＣチップ等のハードウェアとして構成しても良いし、又は、ＣＰＵと、ＣＰＵが実行するプログラムを中心としてソフトウェア的に構成して良いが、機能的には、図１で表すことができる。
【００４０】
図１において、拡張レイヤのエンコーダ１００は、差分処理部１０１、変換量子化部１０２、エントロピー符号化部１０３、逆量子化逆変換部１０４、加算部１０５、ループ内フィルタ部１０６、参照画像バッファ１０７、インター予測部１０８、イントラ予測部１０９、切り替え部１１０、リサンプリング部１２０、フィルタ係数記憶部１３０、及びフィルタ係数決定部１３１を有する。
【００４１】
拡張レイヤのエンコーダ１００は、レイヤｉに入力された映像（レイヤｉ入力映像）を所定の符号化方式で符号化して、レイヤｉの符号化ストリーム（レイヤｉストリーム）を出力するものである。また、拡張レイヤのエンコーダ１００は、従来技術の映像符号化装置の拡張レイヤのエンコーダ（先述の図１０のエンコーダ）と同様に、入力された符号化対象レイヤの画像（レイヤｉの入力画像）を、符号化ユニット等の所定の単位（例えば、所定のサイズのブロック）の領域（以下、「処理単位領域」と呼ぶ）ごとに処理を行う。この実施形態ではレイヤｉの入力画像がそれぞれ個別に入力されているように説明するが、これらは、もともとの入力画像から、ダウンサンプル等の画像処理により各レイヤに応じた画像表現がレイヤｉの入力画像として生成されるように構成可能である。
【００４２】
この実施形態では、符号化方式がＨ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣの規格化技術等を基調として拡張した符号化方式である場合を例示するが、これに限らず、類似する種々様々な符号化方式にも適用可能である。
【００４３】
差分処理部１０１は、予測残差信号を求めるために、所定の処理単位領域ごとの入力画像と、インター予測部１０８若しくはイントラ予測部１０９からの、上記処理単位領域に対応する予測画像との差分を求め、その差分を予測残差信号として変換量子化部１０２に与えるものである。
【００４４】
変換量子化部１０２は、入力された予測残差信号を、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）等によって変換係数に変換し、得られた変換係数に対して量子化を行うものである。
【００４５】
エントロピー符号化部１０３は、符号の出現確率の偏りを圧縮するために、変換量子化部１０２からの量子化された変換係数等（符号化モード情報、動きベクトル情報等を含む）をエントロピー符号化して、当該レイヤの符号ストリームとして出力するものである。なお、後述するフィルタ係数決定部１３１で決定したフィルタ係数（フィルタ係数記憶部１３０に記憶したフィルタ係数）も、量子化された変換係数等と同様にエントロピー符号化されてマルチレイヤストリームに多重化される。
【００４６】
エントロピー符号化部１０３から出力される符号化ストリーム（レイヤｉストリーム）は、他のレイヤの符号化ストリームと多重化されて、映像符号化装置１０の符号化処理結果であるマルチレイヤストリームとして出力される。また、フィルタ係数決定部１３１で決定したフィルタ係数（フィルタ係数記憶部１３０に記憶したフィルタ係数）も、符号化されて符号化結果のマルチレイヤストリームに多重化して出力される。
【００４７】
逆量子化逆変換部１０４は、符号化信号から残差信号（残差画像）を復元するために、変換量子化部１０２からの量子化された変換係数を逆量子化及び逆変換して、加算部１１２に与えるものである。
【００４８】
加算部１０５は、逆量子化逆変換部１０４からの復元された残差信号に、切り替え部１１０を介してインター予測部１０８又はイントラ予測部１０９からの予測画像を加算して、再構成画像を求めるものである。加算部１１２は、再構成画像を、ループ内フィルタ部１０６及びイントラ予測部１０９に与える。
【００４９】
ループ内フィルタ部１０６は、符号化ループ内の量子化処理によって生じる符号化歪み（例えばブロック歪、リンギング歪等）を低減するために、加算部１０５からの再構成画像を復号画像としてフィルタリングするものである。この実施形態はＨＥＶＣ等を適用する場合を例示しており、デブロッキングフィルタ等を用いて符号化歪みを低減する。ループ内フィルタ部１０６から出力される復号画像（レイヤｉ復号画像）は、インター予測部１０８での動き補償等のための参照画像として参照画像バッファ１０７に保持されると共に、他の拡張レイヤのエンコーダに供給される。
【００５０】
参照画像バッファ１０７は、ループ内フィルタ部１０６から出力される画像を、参照画像として保持するものである。ループ内フィルタ部１０６からの出力画像が、後続の入力画像の符号化時のインター予測の動き補償のための参照画像となる。
【００５１】
インター予測部１０８は、参照画像バッファ１０７に保持されている画像を参照して、インター予測を行うものである。
【００５２】
また、インター予測部１０８は、参照画像バッファ１０７に保持されている画像と共に、リサンプリング部１２０によってリサンプリングされた参照レイヤの復号画像を参照してインター予測（レイヤ間予測）を行うものでもある。レイヤ間予測は、他のレイヤの同時刻の画像（リサンプリングされた参照レイヤの復号画像）を予測画像として参照できるため、より符号化効率を改善することができる。変形例として、インター予測部１０８は、リサンプリング部１２０によってリサンプリングされた参照レイヤの復号画像のみを参照してインター予測（レイヤ間予測）を行っても良い。
【００５３】
イントラ予測部１０９は、加算部１０５から出力される画像（符号化済みの再構成画素等）を用いてイントラ予測を行うものである。
【００５４】
切り替え部１１０は、符号化モード（インター予測モード若しくはレイヤ間予測モード、又はイントラ予測モード）に応じて、インター予測部１０８又はイントラ予測部１０９の出力（予測画像）を切り替えるものである。
【００５５】
フィルタ係数決定部１３１は、リサンプリング部１２０で用いるフィルタ係数群（以下、「フィルタ係数セット」と呼ぶ）を決定する。フィルタ係数決定部１３１の詳細については動作の項で述べる。フィルタ係数セットは、複数のフィルタ係数により構成されている。
【００５６】
フィルタ係数記憶部１３０は、フィルタ係数決定部１３１で決定されたフィルタ係数セットを記憶するものである。
【００５７】
リサンプリング部１２０は、フィルタ係数記憶部１３０に記憶されたフィルタ係数セットを用いて、参照レイヤの復号画像（レイヤｊ復号画像）をリサンプリング（フィルター処理）するものである。リサンプリング部１２０の詳細については動作の項で述べる。
【００５８】
ここで、この実施形態の拡張レイヤのエンコーダ１００と、先述の図１０で説明した従来の拡張レイヤのエンコーダとの違いついて簡単に述べる。拡張レイヤのエンコーダ１００のリサンプリング部１２０では、固定のフィルタ係数では無く、適宜決定したフィルタ係数セットを用いて、リサンプリング処理を行う点が従来のリサンプリング処理と異なる。また、このリサンプリング処理で用いるフィルタ係数セットを決定するフィルタ係数決定部１３１とフィルタ係数記憶部１３０を設けた点が従来の拡張レイヤのエンコーダと異なる。そして、フィルタ係数決定部１３１で決定したフィルタ係数セットはエントロピー符号化部１０３で符号化され、符号化結果のマルチレイヤストリームに多重化して出力される点が従来の拡張レイヤのエンコーダと異なる。
【００５９】
映像符号化装置１０に適用される基本レイヤのエンコーダ１５０は、従来技術と同様に拡張レイヤのエンコーダ１００からレイヤ間予測処理に関わる構成要素を省略したものと同等である。
【００６０】
（Ａ−１−３）映像復号装置（拡張レイヤのデコーダ）の詳細な構成
図２は、実施形態の映像復号装置における拡張レイヤのデコーダの構成を示すブロック図である。この実施形態の拡張レイヤのデコーダは、図２に示す各構成部を搭載した専用のＩＣチップ等のハードウェアとして構成しても良いし、又は、ＣＰＵと、ＣＰＵが実行するプログラムを中心としてソフトウェア的に構成して良いが、機能的には、図２で表すことができる。
【００６１】
図２において、拡張レイヤのデコーダ２００は、エントロピー復号部２０３、逆量子化逆変換部２０４、加算部２０５、ループ内フィルタ部２０６、参照画像バッファ２０７、インター予測部２０８、イントラ予測部２０９、切り替え部２１０、リサンプリング部２２０、及びフィルタ係数記憶部２３０を有する。
【００６２】
拡張レイヤのデコーダ２００は、拡張レイヤのエンコーダ１００で符号化された拡張レイヤの符号化ストリームを、デコード（復号）処理を行って、拡張レイヤの復号画像を得るものである。なお、拡張レイヤのデコーダ２００には、映像復号装置２０に入力されたマルチレイヤストリームをデマルチプレックスしたレイヤごとの符号化ストリーム（レイヤｉストリーム）が入力される。
【００６３】
エントロピー復号部２０３は、入力された符号化ストリームをエントロピー復号して復号データを取得する。復号データには、量子化された変換係数（予測残差信号がＤＣＴ等により変換され、さらに量子化されたデータ）が含まれている。また、符号化ストリームには、上述の通り、その他の付加情報が含まれている。付加情報には、符号化モード情報、動きベクトル情報、及びリサンプリング処理に用いるフィルタ係数セット（拡張レイヤのエンコーダ１００のフィルタ係数決定部１３１で決定されたフィルタ係数セット）等が含まれるものとする。エントロピー復号部２０３は、復号により得た、量子化された変換係数を逆量子化逆変換部２０４に供給し、リサンプリング処理で用いるフィルタ係数セットをフィルタ係数記憶部２３０に供給する。
【００６４】
逆量子化逆変換部２０４は、符号化信号から残差信号（残差画像）を復元するために、エントロピー復号部２０３からの量子化された変換係数を逆量子化及び逆変換して、加算部２０５に与えるものである。
【００６５】
加算部２０５は、逆量子化逆変換部２０４からの復元された残差信号に、切り替え部２１０を介してインター予測部２０８又はイントラ予測部２０９からの予測画像を加算して、再構成画像を求めるものである。加算部２０５は、再構成画像を、ループ内フィルタ部２０６及びイントラ予測部２０９に与える。
【００６６】
ループ内フィルタ部２０６は、符号化ループ内の量子化処理によって生じる符号化歪み（例えばブロック歪、リンギング歪等）を低減するために、加算部２０５からの再構成画像を復号画像としてフィルタリングするものである。この実施形態はＨＥＶＣ等を適用する場合を例示しており、デブロッキングフィルタ等を用いて符号化歪みを低減する。ループ内フィルタ部２０６から復号結果として出力される復号画像（レイヤｉ復号画像）は、インター予測部２０８での動き補償等のための参照画像として参照画像バッファ２０７に保持されると共に、他の拡張レイヤのデコーダに供給される。この実施形態では、それぞれのレイヤｉ復号画像がすべて復号結果として出力されるように説明するが、これらの内、復号処理として要求されている画像品質（画像表現）のレイヤの復号画像のみが映像復号装置２０の復号結果として出力されるように構成してもよい。
【００６７】
参照画像バッファ２０７は、ループ内フィルタ部２０６から出力される画像を、参照画像として保持するものである。
【００６８】
インター予測部２０８は、参照画像バッファ２０７に保持されている画像と、リサンプリング部２２０によってリサンプリングされた参照レイヤの復号画像を参照してインター予測を行うものである。
【００６９】
イントラ予測部２０９は、加算部２０５から出力される画像（画面内の再構成画素等）を用いてイントラ予測を行うものである。
【００７０】
切り替え部２１０は、エントロピー復号部２０３により符号化ストリームから復元された符号化モード情報に応じて、インター予測部２０８又はイントラ予測部２０９の出力（予測画像）を切り替えるものである。
【００７１】
フィルタ係数記憶部２３０は、エントロピー復号部２０３から供給されたフィルタ係数セットを記憶するものである。
【００７２】
リサンプリング部２２０は、フィルタ係数記憶部２３０に記憶されたフィルタ係数セットを用いて、参照レイヤの復号画像（レイヤｊ復号画像）をリサンプリングするものである。
【００７３】
ここで、この実施形態の拡張レイヤのデコーダ２００と、先述の図１１で説明した従来の拡張レイヤのデコーダとの違いついて簡単に述べる。拡張レイヤのデコーダ２００のリサンプリング部２２０では、固定のフィルタ係数では無く、映像符号化装置１０からのストリームをエントロピー復号部２０３で復号して得られたフィルタ係数セットを用いて、リサンプリング部２２０でリサンプリング処理を行う点が従来のリサンプリング処理と異なる。また、このリサンプリング処理で用いるエントロピー復号部２０３で復号して得られたフィルタ係数セットを記憶するフィルタ係数記憶部２３０を設けた点が従来の拡張レイヤのデコーダと異なる。
【００７４】
（Ａ−２）実施形態の動作
次に、以上のような構成を有するこの実施形態における映像伝送システム１の動作（実施形態の映像符号化方法、および映像復号方法）を説明する。
【００７５】
以下では、本実施形態の特徴部分である拡張レイヤのエンコーダ１００（拡張レイヤのデコーダ２００）のリサンプリングに関わる処理（リサンプリング処理及びフィルタ係数決定処理）を中心に説明する。
【００７６】
（Ａ−２−１）リサンプリング処理
上述の通り、リサンプリング部１２０（リサンプリング部２２０）では、フィルタ処理に用いるフィルタ係数を固定値ではなく可変値（拡張レイヤのエンコーダ１００のフィルタ係数決定部１３１で決定したフィルタ係数セット）としている。
【００７７】
すなわち、リサンプリング部１２０（リサンプリング部２２０）は、フィルタ係数記憶部１３０（フィルタ係数記憶部２３０）に保持しているフィルタ係数セットを用いて、対象レイヤ上の画素位置に対応する参照レイヤ上での１／１６画素精度の対象画素の位置（Ｘ，Ｙ）に対して、整数位置（ｘＲ，ｙＲ）と整数位置からのずれである位相（ｘＰ，ｙＰ）を用いて、例えば、以下の（２−１）〜（２−６）式のように参照レイヤの復号画像（図１及び図２の例では、レイヤｊ復号画像）の画素値配列ｒから、対象画素の位置のリサンプルされた画素値ｐを求める。
【００７８】
【数２】
2018032913.tif 000004
上記の（２−１）〜（２−６）式おいて、ａ（ａ［ｘＰ，ｉ］）、ｂ、ｃ（ｃ［ｙＰ，ｊ］）、ｄは、フィルタ係数記憶部１３０（フィルタ係数記憶部２３０）に記憶されるフィルタ係数セットを構成するフィルタ係数である。なお、ｂ及びｄは、定数項である（この実施形態では、定数項であるｂ及びｄもフィルタ係数と呼ぶものとする）。また、上記の（２−１）〜（２−６）式において、ｓ１，ｓ２は、画素値のビット深度に応じたシフト値であり、ｏは丸め値である。さらに、Ｎはフィルタタップ数である。また、ｉ及びｊは、水平方向及び垂直方向に用いるフィルタのタップ位置を示す値である。なお、この実施形態では、参照レイヤ上での画素位置を１／１６画素精度で表現し、位相としては１６通りのフィルタ係数を用いる例を示したが、１／１６画素精度とは異なる精度（１／ｎ画素）で表現しても良い。
【００７９】
フィルタタップ数Ｎは、例えば輝度成分（輝度フィルタ）に対しては８、色差成分（色差フィルタ）に対しては４とするなど色成分ごとに異なる値を用いても良い。また、フィルタタップ数Ｎは上位シンタックスで指定可能としても良い。
【００８０】
上記の（２−１）〜（２−６）式では、ｂ及びｄのような定数項を所持する式となっている。なお、ｂ及びｄは、使用するプロファイル等によって使用しないよう制限（ｂ＝０，ｄ＝０）しても良い。また、水平方向で用いるフィルタ係数ａ、ｂと垂直方向で用いるフィルタ係数ｃ、ｄを独立に設定可能としているが、同じ係数を用いるよう制限（ａ＝ｃ，ｂ＝ｄ）しても良い。これらの制限により符号化すべきフィルタ係数の個数は削減可能である。
【００８１】
映像符号化装置１０（拡張レイヤのエンコーダ１００）では、フィルタ係数決定部１３１で、リサンプリングのための最適なフィルタ係数セットの設計を行い、得られたフィルタ係数をリサンプリング部１２０で用いるフィルタ係数セットとしてフィルタ係数記憶部１３０に格納すると共に、エントロピー符号化部１０３で種々の符号化方法に従って符号化ストリームに多重化する。
【００８２】
映像復号装置２０（拡張レイヤのデコーダ２００）では、エントロピー復号部２０３で、符号化ストリームに多重化されたリサンプリング処理で用いるフィルタ係数セットを復号し、リサンプリング部２２０で用いるフィルタ係数セットとしてフィルタ係数記憶部２３０に格納する。
【００８３】
エントロピー符号化部１０３における、フィルタ係数セットの多重化方法としては、例えば、スライスヘッダやピクチャパラメーターセット等のパラメータセットのような上位シンタックスで符号化するようにしてもよい。
【００８４】
例えば、図１２、図１３で示したような既定のフィルタ係数を予め定めておき、エントロピー符号化部１０３は、既定のフィルタ係数からの変更がない場合は変更なしを表すフラグのみを上位シンタックス等でシグナリングする。なお、シグナリングとは、所望の情報を受信側（復号側）が取得できるように、伝達信号（符号化ストリーム）内に当該所望の情報を特定するための信号、又は、当該情報そのものを示す信号を含めることを意味する。
【００８５】
また、変更がある場合には、エントロピー符号化部１０３は、位相ごとにフラグを設け、既定のフィルタ係数と異なるフィルタ係数を含む位相を示すフラグをシグナリングする。これにより、例えば、空間解像度を２×２倍に拡大するようなリサンプリングの場合には、位相としては０と８のフィルタのみが使用されるようなときが存在するが、エントロピー符号化部１０３は、これら特定の位相のフィルタ係数のみを効率的に符号化することができる。さらに、エントロピー符号化部１０３は、フィルタ係数の値も対応する既定のフィルタ係数の値と、変更後のフィルタ係数の値の差分値を符号化するように構成することにより、フィルタ係数値の符号化に必要となる符号量を削減するように構成しても良い。
【００８６】
映像復号装置２０（拡張レイヤのデコーダ２００）では、エントロピー復号部２０３は、上記のようにシグナリングされたフィルタ係数セットを復号する。また、既定のフィルタ係数の使用が指示された位相については、例えば、先述の図１２、図１３のような予め定められた既定のフィルタ係数と合せて、フィルタ係数記憶部２３０に記憶（格納）する。そして、リサンプリング部２２０では、フィルタ係数記憶部２３０に記憶されたフィルタ係数セットを用いて、上記の（２−１）〜（２−６）式に基づくリサンプリング処理を行うことで、対象レイヤの復号処理を行うことができる。
【００８７】
（Ａ−２−２）リサンプリング処理に用いる最適なフィルタ係数セットの設計（選択）について
次に、拡張レイヤのエンコーダ１００のフィルタ係数決定部１３１におけるフィルタ係数セットの設計処理について説明する。
【００８８】
参照レイヤの復号画像をｒ、符号化対象レイヤの入力画像をｑとして、フィルタ係数セット（フィルタ係数ａ〜ｄ）によるリサンプル画像をｐとすると、リサンプル画像ｐは、先述の（２−１）〜（２−６）式により求まる値である。これと、入力画像ｑの誤差が最少となるようなフィルタ係数ａ〜ｄを、フィルタ係数決定部１３１で設計する。
【００８９】
例えば、フィルタ係数決定部１３１は、次の（３）式に示すような、リサンプル画像ｐと入力画像ｑの誤差の二乗和Ｅを、最小化するフィルタ係数ａ〜ｄを、最小二乗法を用いて求める。
【００９０】
【数３】
2018032913.tif 000005
ここで、上記の（３）式における誤差の二乗和Ｅは、対象レイヤの画像の画面全体のすべての画素位置に関する和として求める。ｐ及びｑは対象レイヤ上の画素位置ごとの値である。
【００９１】
また、フィルタ係数決定部１３１は、例えば、図５に示すように符号化対象画像の画面全体に対して、レイヤ間予測を用いて符号化する領域（レイヤ間予測領域）が一部である場合には、図４に示すような手順でフィルタ係数を決定しても良い。
【００９２】
図４は、拡張レイヤのエンコーダ１００において、リサンプリング処理で用いるフィルタ係数の決定処理を示すフローチャートである。
【００９３】
フィルタ係数決定部１３１は、既定のフィルタ係数（例えば、図１２、図１３で示したフィルタ係数）を用いて、参照レイヤの復号画像に対して、リサンプリング処理を行い、一旦仮のレイヤ間参照画像を作成する。そして、拡張レイヤのエンコーダ１００は、このレイヤ間参照画像と、参照画像バッファの対象レイヤの参照画像とを用いて、各処理単位領域の符号化モード（イントラ予測、インター予測、レイヤ間予測）や参照される参照画像を選択する（Ｓ１１）。
【００９４】
フィルタ係数決定部１３１は、符号化対象画像の内、レイヤ間予測が選択された領域（例えば、図５のレイヤ間予測領域）を抽出する（Ｓ１２）。
【００９５】
フィルタ係数決定部１３１は、レイヤ間予測が選択された領域についてのみ、先述の（３）式により求まる誤差の二乗和Ｅを最小化するようなフィルタ係数ａ〜ｄを求める（Ｓ１３）。すなわち誤差の二乗和Ｅを、レイヤ間予測が選択された領域の画素位置に限定して和を求めた式に基づいてフィルタ係数を求める。算出されたフィルタ係数ａ〜ｄは、フィルタ係数記憶部１３０に記憶される。
【００９６】
その後、リサンプリング部１２０では、フィルタ係数決定部１３１で決定されたフィルタ係数（フィルタ係数記憶部１３０に記憶されたフィルタ係数）を用いて、フィルタ処理が実行される（Ｓ１４）。
【００９７】
なお、先述のステップＳ１１において、既定のフィルタ係数を用いたリサンプリング処理による仮のレイヤ間参照画像を用いる場合を説明したが、フィルタ係数決定部１３１は、画面全体の画素を用いて一旦フィルタ係数を設計し、このフィルタ係数を用いてリサンプリング処理を行って仮のレイヤ間参照画像を作成するよう構成しても良い。
【００９８】
次に、フィルタ設計のための最小二乗法の詳細について説明を行う。
【００９９】
先述の（３）式のような誤差の二乗和Ｅを最小化するフィルタ係数ａ〜ｄを求める場合、フィルタ係数決定部１３１は、誤差の二乗和Ｅを、ａ〜ｄで偏微分した式が０となるようなフィルタ係数ａ〜ｄを、例えば、次の（４）式のような連立方程式を解くことによって求める。
【０１００】
【数４】
2018032913.tif 000006
上記の（４）式は、ａ〜ｄに関する１次式とはならないが、既定のフィルタ係数値を始点とするような解析的な処理方法等によりフィルタ係数ａ〜ｄを求めることができる。
【０１０１】
図６は、フィルタ係数決定部において、線形方程式の解法のみを用いてフィルタ係数を近似的に求める一例を示すフローチャートである。
【０１０２】
フィルタ係数決定部１３１は、先述の（３）式のｃ、ｄが既定のフィルタ係数と同じ値であると仮定して、ｃ、ｄに既定のフィルタ係数値を代入する。そして、フィルタ係数決定部１３１は、代入した（３）式の誤差の二乗和Ｅを、最小化するようなフィルタ係数ａ、ｂを求める（Ｓ２１）。フィルタ係数決定部１３１は、ｃ、ｄを定数とみなせば、（３）式のＥのａ、ｂによる偏微分（４−１）、（４−２）式は、ａ、ｂに関する１次式となり、簡単な線形方程式の解法を用いてａ、ｂを求めることができる。
【０１０３】
フィルタ係数決定部１３１は、先述のステップＳ２１で求めたａ、ｂを、定数とみなして代入した（３）式のＥを、最小化するような係数ｃ、ｄを（４−３）、（４−４）式より求める（Ｓ２２）。フィルタ係数決定部１３１は、先述のステップＳ２１と同様に線形方程式の解法で処理可能である。
【０１０４】
なお、フィルタ係数決定部１３１は、ステップＳ２１において係数ｃ、ｄを先に求め、その後、ステップＳ２２において係数ａ、ｂを決定しても良い。
【０１０５】
また、例えば、水平方向と垂直方向で同じフィルタ係数を用いる制約（ａ＝ｃ、ｂ＝ｄ）を設ける場合には、フィルタ係数決定部１３１は、一方のフィルタ係数を定数と仮定して他方のフィルタ係数を求める処理を繰り返すことによってフィルタ係数を求める処理（図７）を行っても良い。
【０１０６】
フィルタ係数決定部１３１は、フィルタ係数ｃ、ｄを既定のフィルタ係数で初期化する（Ｓ３１）。
【０１０７】
フィルタ係数決定部１３１は、フィルタ係数ｃ、ｄを定数とみなして、先述の（３）式の誤差の二乗和Ｅを、最小化するようなフィルタ係数ａ、ｂの決定処理を行う（Ｓ３２）。
【０１０８】
フィルタ係数決定部１３１は、先述のステップＳ３２で求めた係数ａ、ｂを定数とみなして、同様に（３）式の誤差の二乗和Ｅを、最小化するような係数ｃ、ｄの決定処理を行う（Ｓ３３）。
【０１０９】
フィルタ係数決定部１３１は、求めたフィルタ係数ｃ、ｄを利用するか否か判断し、利用しない場合にはステップＳ３２から再度決定処理を行う（Ｓ３４）。一方、フィルタ係数決定部１３１は、求めたフィルタ係数ｃ、ｄを利用する場合（係数値が収束したと判断した場合）には、決定処理の打ち切りを行う。
【０１１０】
以上のように、フィルタ係数決定部１３１は、レイヤ間予測領域に対して最適設計したフィルタ係数セットを求め、リサンプリング部１２０（フィルタ係数記憶部１３０）及び映像復号装置２０側に供給する。
【０１１１】
（Ａ−３）実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。
【０１１２】
この実施形態では、拡張レイヤのエンコーダ１００のリサンプリング部１２０、及び拡張レイヤのデコーダ２００のリサンプリング部２２０で用いるフィルタ係数セットを、適切なものに設定可能（フィルタ係数セットを任意に変更可能）とした。これにより、この実施形態の映像符号化装置１０（拡張レイヤのエンコーダ１００）では、符号化対象の画像の性質に応じた最適なフィルタ処理を施すことが可能となり、画質劣化が低減できるとともに、より符号化効率の高い符号化ストリームを生成することができる。
【０１１３】
また、フィルタ係数決定部１３１は、既定のリサンプリングフィルタ係数と異なるフィルタ係数のみを符号化するように構成したので、フィルタ係数の符号化に要する符号量を削減することができる。
【０１１４】
さらに、拡張レイヤのエンコーダ１００（拡張レイヤのデコーダ２００）は、位相０のフィルタ係数も指定可能としているので、空間解像度変換を伴わないようなレイヤ間参照（参照レイヤと対象レイヤが同じ空間解像度）の場合や、ステレオ３Ｄ画像符号化のような、多視点符号化拡張を用いる符号化の場合の視点間参照予測（ビュー間予測）の場合に、リサンプリング部１２０（リサンプリング部２２０）を、参照レイヤからの参照画像に対する画質改善フィルタとして機能させることも可能である。
【０１１５】
（Ｂ）他の実施形態
本発明は、上記実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【０１１６】
上記の実施形態では、本発明を映像伝送システム（映像符号化装置及び映像復号装置）に適用する例について説明したが、その他のさまざまな符号化処理に利用可能である。例えば、上記の実施形態のリンサンプリング処理以外の符号化に関わる予測処理や変換量子化処理については、上記の実施形態で説明したような構成に限定されるものではなく、様々な符号化ツールを組み合わせたような符号化処理にも利用可能である。
【符号の説明】
【０１１７】
１…映像伝送システム、１０…映像符号化装置、２０…映像復号装置、１００…拡張レイヤのエンコーダ、１０１…差分処理部、１０２…変換量子化部、１０３…エントロピー符号化部、１０４…逆量子化逆変換部、１０５…加算部、１０６…ループ内フィルタ部、１０７…参照画像バッファ、１０８…インター予測部、１０９…イントラ予測部、１１０…切り替え部、１１２…加算部、１２０…リサンプリング部、１３０…フィルタ係数記憶部、１３１…フィルタ係数決定部、２００…拡張レイヤのデコーダ、２０３…エントロピー復号部、２０４…逆量子化逆変換部、２０５…加算部、２０６…ループ内フィルタ部、２０７…参照画像バッファ、２０８…インター予測部、２０９…イントラ予測部、２１０…切り替え部、２２０…リサンプリング部、２３０…フィルタ係数記憶部。
【図１】
2018032913.tif 000007
【図２】
2018032913.tif 000008
【図３】
2018032913.tif 000009
【図４】
2018032913.tif 000010
【図５】
2018032913.tif 000011
【図６】
2018032913.tif 000012
【図７】
2018032913.tif 000013
【図８】
2018032913.tif 000014
【図９】
2018032913.tif 000015
【図１０】
2018032913.tif 000016
【図１１】
2018032913.tif 000017
【図１２】
2018032913.tif 000018
【図１３】
2018032913.tif 000019