(57)【要約】  符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う。前記処理領域において、復号時に参照可能である情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定し、その補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とする。
2014010583.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化方法であって、
前記処理領域において、復号時に参照可能である情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリングステップと
を有することを特徴とする映像符号化方法。
【請求項２】
前記フィルタ特定ステップは、前記映像の情報から生成される補助情報を参照して前記補間フィルタを生成または選択することを特徴とする請求項１に記載の映像符号化方法。
【請求項３】
前記補助情報は、前記処理領域内部の境界の状態を示す情報であることを特徴とする請求項２に記載の映像符号化方法。
【請求項４】
前記補助情報は、前記処理領域のテクスチャ特性を示す情報であることを特徴とする請求項２に記載の映像符号化方法。
【請求項５】
前記フィルタ特定ステップは、前記映像の符号化に用いる予測画像を参照して前記補間フィルタを生成または選択することを特徴とする請求項１に記載の映像符号化方法。
【請求項６】
前記フィルタ特定ステップは、前記映像の符号化に用いる動きベクトルを参照して前記補間フィルタを生成または選択することを特徴とする請求項１に記載の映像符号化方法。
【請求項７】
前記フィルタ特定ステップは、前記映像と相関を持つ補助情報を参照して前記補間フィルタを生成または選択することを特徴とする請求項１に記載の映像符号化方法。
【請求項８】
前記補助情報は、前記映像が同一シーンを複数の視点から撮影した多視点映像のうちのある一つの視点の映像である場合における、他の視点の映像の情報であることを特徴とする請求項7に記載の映像符号化方法。
【請求項９】
前記補助情報を符号化し補助情報符号データを生成する補助情報符号化ステップと、
前記補助情報符号データを映像符号データと多重化した符号データを出力する多重化ステップと
をさらに有することを特徴とする請求項２、７、８のいずれか１項に記載の映像符号化方法。
【請求項１０】
前記補助情報符号化ステップは、選択すべき補間フィルタの識別番号を補助情報として符号化することを特徴とする請求項９に記載の映像符号化方法。
【請求項１１】
前記補助情報は、前記映像に対応するデプスマップであることを特徴とする請求項７に記載の映像符号化方法。
【請求項１２】
前記デプスマップから、前記処理領域内部の境界の状態を示す情報を補助情報として生成する補助情報生成ステップをさらに有することを特徴とする請求項１１に記載の映像符号化方法。
【請求項１３】
前記フィルタ特定ステップは、前記デプスマップに加えて前記映像に対応する他の視点の映像を参照して前記補間フィルタを生成または選択することを特徴とする請求項１1に記載の映像符号化方法。
【請求項１４】
前記デプスマップを符号化してデプスマップ符号データを生成するデプスマップ符号化ステップと、
前記デプスマップ符号データを映像符号データと多重化した符号データを出力する多重化ステップと
をさらに有することを特徴とする請求項１１に記載の映像符号化方法。
【請求項１５】
前記符号化対象の映像の情報はデプスマップであり、前記補助情報は、前記デプスマップに対応する同じ視点の映像の情報である請求項７に記載の映像符号化方法。
【請求項１６】
前記同じ視点の映像の情報から、前記処理領域内部の境界の状態を示す情報を補助情報として生成する補助情報生成ステップをさらに有することを特徴とする請求項１５に記載の映像符号化方法。
【請求項１７】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号方法であって、
前記処理領域において、符号化時に参照された情報に対応する情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリングステップと
を有することを特徴とする映像復号方法。
【請求項１８】
前記フィルタ特定ステップは、前記符号データから生成される補助情報を参照して前記補間フィルタを生成または選択することを特徴とする請求項１７に記載の映像復号方法。
【請求項１９】
前記補助情報は、前記処理領域内部の境界の状態を示す情報であることを特徴とする請求項１８に記載の映像復号方法。
【請求項２０】
前記補助情報は、前記処理領域のテクスチャ特性を示す情報であることを特徴とする請求項１８に記載の映像復号方法。
【請求項２１】
前記フィルタ特定ステップは、前記符号データの復号に用いる予測画像を参照して前記補間フィルタを生成または選択することを特徴とする請求項１７に記載の映像復号方法。
【請求項２２】
前記フィルタ特定ステップは、前記符号データの復号に用いる動きベクトルを参照して前記補間フィルタを生成または選択することを特徴とする請求項１７に記載の映像復号方法。
【請求項２３】
前記フィルタ特定ステップは、前記映像と相関を持つ補助情報を参照して前記補間フィルタを生成または選択することを特徴とする請求項１７に記載の映像復号方法。
【請求項２４】
前記符号データを逆多重化し、補助情報符号データと映像符号データとに分離する逆多重化ステップと、
前記補助情報符号データを復号して補助情報を生成する補助情報復号ステップとをさらに有し、
前記フィルタ特定ステップは、前記復号された前記補助情報を参照して前記補間フィルタを生成または選択することを特徴とする請求項１７に記載の映像復号方法。
【請求項２５】
前記補助情報は、前記映像が同一シーンを複数視点から撮影した多視点映像のうちのある一つの視点映像である場合における他の視点映像であることを特徴とする請求項２３に記載の映像復号方法。
【請求項２６】
前記補助情報は、選択すべき前記補間フィルタの識別番号であることを特徴とする請求項２４に記載の映像復号方法。
【請求項２７】
前記補助情報は、前記映像の情報に対応するデプスマップであることを特徴とする請求項２３に記載の映像復号方法。
【請求項２８】
前記デプスマップから、前記処理領域内部の境界の状態を示す情報を補助情報として生成する補助情報生成ステップをさらに有することを特徴とする請求項２７に記載の映像復号方法。
【請求項２９】
前記フィルタ特定ステップは、前記デプスマップに加えて前記映像に対応する他の視点の映像を参照して前記補間フィルタを生成または選択することを特徴とする請求項２７に記載の映像復号方法。
【請求項３０】
前記符号データを逆多重化し、デプスマップ符号データと映像符号データとに分離する逆多重化ステップと、
前記デプスマップ符号データを復号してデプスマップを生成するデプスマップ復号ステップと
をさらに有することを特徴とする請求項２７に記載の映像復号方法。
【請求項３１】
前記符号化対象の映像の情報はデプスマップであり、前記補助情報は、前記デプスマップに対応する同じ視点の映像の情報である請求項２３に記載の映像符号化方法。
【請求項３２】
前記同じ視点の映像の情報から、前記処理領域内部の境界の状態を示す情報を補助情報として生成する補助情報生成ステップをさらに有することを特徴とする請求項３１に記載の映像符号化方法。
【請求項３３】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化装置であって、
前記処理領域において、復号時に参照可能である情報を参照して適応的に前記補間フィルタを生成または選択することにより前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリング手段と
を備えることを特徴とする映像符号化装置。
【請求項３４】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号装置であって、
前記処理領域において、符号化時に参照された情報に対応する情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリング手段と
を備えることを特徴とする映像復号装置。
【請求項３５】
コンピュータに、請求項１から１６のいずれか１項に記載の映像符号化方法を実行させるための映像符号化プログラム。
【請求項３６】
コンピュータに、請求項１７から３２のいずれか１項に記載の映像復号方法を実行させるための映像復号プログラム。
【請求項３７】
請求項３５に記載の映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３８】
請求項３６に記載の映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体に関する。
本願は、２０１２年７月９日に出願された特願２０１２−１５３９５３号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
一般的な映像符号化では、被写体の空間的／時間的な連続性を利用して、映像の各フレームを処理単位となるブロックに分割し、ブロック毎にその映像信号を空間的／時間的に予測し、その予測方法を示す予測情報と予測残差とを符号化することで、映像信号そのものを符号化する場合に比べて大幅な符号化効率の向上を図っている。【０００３】
ＲＲＵ（Reduced Resolution Update）は、予測残差の変換・量子化の前に画像の少なくとも一部の予測残差の解像度を低下させることで、更なる符号化効率の向上を図るものである（例えば、非特許文献１参照）。予測を高解像度基準において行い、また低解像度の予測残差に対して復号時にアップサンプリングプロセスを適用するために、最終的な画像は高解像度で再構成できる。
このプロセスの結果、客観的な品質は低下するが、符号化対象ビットの減少により結果的にビットレートが向上する。また、主観品質に対する影響は客観品質に対する影響と比較して大きくない。
この機能はＩＴＵ−Ｔ  Ｈ．２６３標準によりサポートされており、シーケンス内に激しい動的領域が存在する場合に特に有効であることが知られている。これは、ＲＲＵモードを利用することによりエンコーダのフレームレートを高く維持することができ、一方で静的領域の解像度と品質を良好に保つことができるためである。【０００４】
しかしながら、動的領域の品質は予測残差のアップサンプリング精度に大きく影響を受ける。このため、従来技術の上記問題点を解消するＲＲＵ映像符号化および復号化のための方法及び装置を有することが、望ましくかつ効果的である。【０００５】
ここで、自由視点映像符号化について説明する。自由視点映像とは、対象シーンを多数の撮像装置を用いて様々な位置・角度から撮像することでシーンの光線情報を取得し、これを元に任意の視点における光線情報を復元することで任意の視点から見た映像を生成するものである。
シーンの光線情報は様々なデータ形式によって表現されるが、最も一般的な形式としては、映像とその映像の各フレームにおけるデプスマップと呼ばれる奥行き画像を用いる方式がある（例えば、非特許文献２参照）。【０００６】
デプスマップとは、カメラから被写体までの距離（奥行き・デプス）を画素毎に記述したものであり、被写体のもつ３次元情報の簡易な表現である。２つのカメラから同一の被写体を観測するとき、被写体のデプス値はカメラ間の視差の逆数に比例するために、デプスマップはディスパリティマップ（視差画像）と呼ばれることもある。
デプスマップは画像の各画素につき一つの値を持つ表現であるために、グレースケール画像とみなして記述することができる。また、デプスマップの時間的に連続した記述であるデプスマップ映像（以下では画像／映像の区別なしにデプスマップと呼ぶ）は、映像信号と同様に、被写体の空間的／時間的な連続性から、空間的・時間的相関を持つと言える。したがって、通常の映像信号を符号化するために用いられる映像符号化方式によって、空間的／時間的冗長性を取り除きながらデプスマップを効率的に符号化することが可能である。【０００７】
一般に映像とデプスマップの間には高い相関があり、そのため自由視点映像符号化のように映像とデプスマップを合わせて符号化する場合には、両者の間の相関を利用して更なる符号化効率の向上が実現できる。
非特許文献３では、両者の符号化に用いる予測情報（ブロック分割、動きベクトル、参照フレーム）を共通化することで冗長性を排除し、効率的な符号化を実現している。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】A.M. Tourapis, J. Boyce, "Reduced Resolution Update Mode for Advanced Video Coding", ITU-T Q6/SG16, document VCEG-V05, Munich, March 2004.
【非特許文献２】Y. Mori, N. Fukusima, T. Fuji, and M. Tanimoto, "View Generation with 3D Warping Using Depth Information for FTV ",In Proceedings of 3DTV-CON2008, pp. 229-232, May 2008.
【非特許文献３】I. Daribo, C. Tillier, and B. P. Popescu, "Motion Vector Sharing and Bitrate Allocation for 3D Video-Plus-Depth Coding," EURASIP Journal on Advances in Signal Processing, vol. 2009, Article ID 258920, 13 pages, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来のＲＲＵは、ブロック外からのいずれかのデータも利用することなく、各ブロックの予測残差を処理する。低解像度予測残差は高解像度予測残差からサンプルの相対的位置に基づくダウンサンプリング補間（二次元バイリニア補間など）を利用して計算される。復号化されたブロックを取得するためには、当該低解像度予測残差が符号化、再構成、アップサンプリング補間によって高解像度予測残差として復元され、予測画像に加えられる。
図１９、図２０は、従来のＲＲＵについての高解像度予測残差サンプルに対する低解像度予測残差サンプルの空間配置と、アップサンプリング補間を行うための計算例を示す図である。
これら各図において、白丸は高解像度予測残差サンプルの配置を示し、斜線付きの丸は、低解像度予測残差サンプルの配置を示す。また、各丸内の文字ａ〜ｅ、Ａ〜Ｄは画素値の例であり、高解像度予測残差サンプルの画素値ａ〜eの各々が、周囲の低解像度予測残差サンプルの画素値Ａ〜Ｄからどのように算出されるかを図内に示している。
２つ以上の残差値が互いに大きく異なるサンプルを含むブロックにおいては、このアップサンプリングに伴う補間によって再構成された残差の精度が落ち、復号画像の品質を低下させる。また、一般にブロック境界部のアップサンプリングにはブロック内のサンプルのみを利用し、異なるブロックのサンプルは参照しない。このため、補間精度によってはブロック境界部にブロック歪（ブロック境界付近に特有の歪）が発生することがある。【００１０】
アップサンプリング精度向上のためには、アップサンプリングに用いる補間フィルタを適切に選択する必要がある。この問題に対して、例えば、符号化時に最適なフィルタを生成し、そのフィルタ係数を付加情報として映像信号と共に符号化するという方法が考えられる。しかしながら、そのような方法では、サンプル毎に補間に寄与する係数を符号化しなくてはならないために、付加情報の符号量が増大し、効率的な符号化を実現できないという問題がある。【００１１】
本発明は、このような事情に鑑みてなされたもので、ＲＲＵにおける予測残差のアップサンプリング精度を向上し、最終的に得られる画像の品質を向上することができる映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化方法であって、前記処理領域において、復号時に参照可能である情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定ステップと、前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリングステップとを有する映像符号化方法を提供する。【００１３】
典型例として、前記フィルタ特定ステップは、前記映像の情報から生成される補助情報を参照して前記補間フィルタを生成または選択する。【００１４】
前記補助情報は、前記処理領域内部の境界の状態を示す情報でも良い。【００１５】
前記補助情報は、前記処理領域のテクスチャ特性を示す情報でも良い。【００１６】
別の典型例として、前記フィルタ特定ステップは、前記映像の符号化に用いる予測画像を参照して前記補間フィルタを生成または選択する。【００１７】
別の典型例として、前記フィルタ特定ステップは、前記映像の符号化に用いる動きベクトルを参照して前記補間フィルタを生成または選択する。【００１８】
好適例として、前記フィルタ特定ステップは、前記映像と相関を持つ補助情報を参照して前記補間フィルタを生成または選択する。【００１９】
前記補助情報は前記映像が同一シーンを複数の視点から撮影した多視点映像のうちのある一つの視点映像である場合における他の視点の映像の情報であっても良い。【００２０】
前記補助情報を符号化し補助情報符号データを生成する補助情報符号化ステップと、前記補助情報符号データを映像符号データと多重化した符号データを出力する多重化ステップとをさらに有しても良い。【００２１】
前記補助情報符号化ステップは、選択すべき補間フィルタの識別番号を補助情報として符号化しても良い。【００２２】
前記補助情報は、前記映像に対応するデプスマップであっても良い。【００２３】
前記デプスマップから前記処理領域内部の境界の状態を示す情報を補助情報として生成する補助情報生成ステップをさらに有するようにしても良い。【００２４】
前記フィルタ特定ステップは、前記デプスマップに加えて前記映像に対応する他の視点の映像を参照して前記補間フィルタを生成または選択するようにしても良い。  【００２５】
前記デプスマップを符号化しデプスマップ符号データを生成するデプスマップ符号化ステップと、前記デプスマップ符号データを映像符号データと多重化した符号データを出力する多重化ステップとをさらに有するようにしても良い。【００２６】
前記符号化対象の映像の情報はデプスマップであり、前記補助情報は、前記デプスマップに対応する同じ視点の映像の情報であっても良い。
この場合、前記同じ視点の映像の情報から、前記処理領域内部の境界の状態を示す情報を補助情報として生成する補助情報生成ステップをさらに有するようにしても良い。【００２７】
本発明は、符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号方法であって、前記処理領域において、符号化時に参照された情報に対応する情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定ステップと、前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリングステップとを有する映像復号方法も提供する。【００２８】
典型例として、前記フィルタ特定ステップは、前記符号データから生成される補助情報を参照して前記補間フィルタを生成または選択する。【００２９】
前記補助情報は、前記処理領域内部の境界の状態を示す情報でも良い。【００３０】
前記補助情報は、前記処理領域のテクスチャ特性を示す情報でも良い。【００３１】
別の典型例として、前記フィルタ特定ステップは、前記符号データの復号に用いる予測画像を参照して前記補間フィルタを生成または選択する。【００３２】
別の典型例として、前記フィルタ特定ステップは、前記符号データの復号に用いる動きベクトルを参照して前記補間フィルタを生成または選択する。【００３３】
好適例として、前記フィルタ特定ステップは、前記映像と相関を持つ補助情報を参照して前記補間フィルタを生成または選択する。【００３４】
別の好適例として、前記符号データを逆多重化し補助情報符号データと映像符号データとに分離する逆多重化ステップと、前記補助情報符号データを復号して補助情報を生成する補助情報復号ステップとをさらに有し、前記フィルタ特定ステップは、前記復号された前記補助情報を参照して前記補間フィルタを生成または選択する。【００３５】
前記補助情報は、前記映像が同一シーンを複数視点から撮影した多視点映像のうちのある一つの視点映像である場合における他の視点映像であっても良い。【００３６】
前記補助情報は、選択すべき前記補間フィルタの識別番号であっても良い。【００３７】
前記補助情報は、前記映像の情報に対応するデプスマップであっても良い。
この場合、前記デプスマップから前記処理領域内部の境界の状態を示す情報を補助情報として生成する補助情報生成ステップをさらに有しても良い。【００３８】
前記フィルタ特定ステップは、前記デプスマップに加えて前記映像に対応する他の視点の映像を参照して前記補間フィルタを生成または選択するようにしても良い。【００３９】
前記符号データを逆多重化しデプスマップ符号データと映像符号データとに分離する逆多重化ステップと、前記デプスマップ符号データを復号しデプスマップを生成するデプスマップ復号ステップとをさらに有するようにしても良い。【００４０】
前記符号化対象の映像の情報はデプスマップであり、前記補助情報は、前記デプスマップに対応する同じ視点の映像の情報であっても良い。
この場合、前記同じ視点の映像の情報から、前記処理領域内部の境界の状態を示す情報を補助情報として生成する補助情報生成ステップをさらに有するようにしても良い。【００４１】
本発明は、符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化装置であって、前記処理領域において、復号時に参照可能である情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定手段と、前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリング手段とを備える映像符号化装置も提供する。【００４２】
本発明は、符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号装置であって、前記処理領域において、符号化時に参照された情報に対応する情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定手段と、前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリング手段とを備える映像復号装置も提供する。【００４３】
本発明は、コンピュータに、前記映像符号化方法を実行させるための映像符号化プログラムも提供する。【００４４】
本発明は、コンピュータに、前記映像復号方法を実行させるための映像復号プログラムも提供する。【００４５】
本発明は、前記映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体も提供する。【００４６】
本発明は、前記映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体も提供する。
【発明の効果】
【００４７】
本発明によれば、映像信号と共に符号化される付加情報や、あるいは復号側で映像から予測可能な情報を利用して、復号時に予測残差の各処理ブロックに対して適応的に補間フィルタを生成または選択することで、ＲＲＵにおける予測残差アップサンプリング精度が向上し、最終画像の品質を向上することができる。
これにより、ＲＲＵモードを利用して符号化効率を向上させることができるとともに、映像の品質を充分保つことができるという効果が得られる。
【図面の簡単な説明】
【００４８】
【図１】本発明の第１実施形態による映像符号化装置１００の構成を示すブロック図である。
【図２】図１に示す映像符号化装置１００の動作を示すフローチャートである。
【図３】境界がブロックを斜めに横切る場合の補間フィルタの例を示す図である。
【図４】境界の状態のパターンを示す図である。
【図５Ａ】符号化対象ブロック及びその周辺ブロックの動きベクトルと、そこから推定できる境界状態の例を示す図である。
【図５Ｂ】符号化対象ブロック及びその周辺ブロックの動きベクトルと、そこから推定できる境界状態の別の例を示す図である。
【図６】同第１実施形態による映像復号装置２００の構成を示すブロック図である。
【図７】図６に示す映像復号装置２００の動作を示すフローチャートである。
【図８】本発明の第２実施形態による映像符号化装置１００ａの構成を示すブロック図である。
【図９】図８に示す映像符号化装置１００ａの動作を示すフローチャートである。
【図１０】同第２実施形態による映像復号装置２００ａの構成を示すブロック図である。
【図１１】図１０に示す映像復号装置２００ａの動作を示すフローチャートである。
【図１２】本発明の第３実施形態による映像符号化装置１００ｂの構成を示すブロック図である。
【図１３】図１２に示す映像符号化装置１００ｂの動作を示すフローチャートである。
【図１４】同第３実施形態による映像復号装置２００ｂの構成を示すブロック図である。
【図１５】図１４に示す映像復号装置２００ｂの動作を示すフローチャートである。
【図１６】変換・量子化したデプスマップのＤＣＴ係数から境界情報を求める例を示す図である。
【図１７】映像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示す図である。
【図１８】映像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示す図である。
【図１９】従来のＲＲＵについての高解像度予測残差サンプルに対する低解像度予測残差サンプルの空間配置と、アップサンプリング補間を行うための計算例を示す図である。
【図２０】従来のＲＲＵについての高解像度予測残差サンプルに対する低解像度予測残差サンプルの空間配置と、アップサンプリング補間を行うための別の計算例を示す図である。
【発明を実施するための形態】
【００４９】
以下、本発明の第１実施形態を、図面を参照して説明する。
＜第１実施形態＞
始めに、本発明の第１実施形態による映像符号化装置について説明する。図１は、同第１実施形態による映像符号化装置の構成を示すブロック図である。
映像符号化装置１００は、図１に示すように、符号化対象映像入力部１０１、入力フレームメモリ１０２、補助情報生成部１０３、補助情報メモリ１０４、フィルタ生成部１０５、予測部１０６、減算部１０７、ダウンサンプル部１０８、変換・量子化部１０９、逆量子化・逆変換部１１０、アップサンプル部１１１、加算部１１２、ループフィルタ部１１３、参照フレームメモリ１１４、およびエントロピー符号化部１１５を備えている。
【００５０】
符号化対象映像入力部１０１は、符号化対象となる映像を映像符号化装置１００に入力する。以下では、この符号化対象となる映像のことを符号化対象映像と呼び、特に処理を行うフレームを符号化対象フレームまたは符号化対象画像と呼ぶ。
入力フレームメモリ１０２は、入力された符号化対象映像を記憶する。
補助情報生成部１０３は、入力フレームメモリ１０２に記憶された符号化対象映像または符号化対象フレームから、補間フィルタを生成するために必要となる補助情報を生成する。以下では、このフィルタ生成に必要な補助情報のことを、単に補助情報と呼ぶ。
補助情報メモリ１０４は、生成された補助情報を記憶する。
フィルタ生成部１０５は、補助情報メモリ１０４に記憶された補助情報を参照して予測残差のダウンサンプリングおよびアップサンプリングに使用する補間フィルタを生成する。以下では、このダウンサンプリングおよびアップサンプリングに使用する補間フィルタのことを、単に補間フィルタと呼ぶ。
なお、補助情報を参照しての補間フィルタの生成は、ダウンサンプリングおよびアップサンプリング用で共通の１つのフィルタを作成しても、別々のフィルタを作成しても良い。また、ダウンサンプリングおよびアップサンプリングのいずれか一方のみに補間フィルタを生成し、生成しない側については、所定のフィルタを提供するなどしても良い。
【００５１】
予測部１０６は、入力フレームメモリ１０２に記憶された符号化対象画像に対して予測処理を行い、予測画像を生成する。
減算部１０７は、入力フレームメモリ１０２に記憶された符号化対象画像と予測部１０６が生成した予測画像の差分値をとり、高解像度予測残差を生成する。
ダウンサンプル部１０８は、生成された高解像度予測残差を、補間フィルタを使用してダウンサンプリングし、低解像度予測残差を生成する。
変換・量子化部１０９は、生成された低解像度予測残差を変換・量子化し、量子化データを生成する。
逆量子化・逆変換部１１０は、生成された量子化データを逆量子化・逆変換し、復号低解像度予測残差を生成する。
アップサンプル部１１１は、生成された復号低解像度予測残差を、補間フィルタを用いてアップサンプリングし、復号高解像度予測残差を生成する。
加算部１１２は、生成された復号高解像度予測残差と予測画像とを足しあわせ、復号フレームを生成する。
ループフィルタ部１１３は、生成された復号フレームにループフィルタを掛け合わせ、参照フレームを生成する。
参照フレームメモリ１１４は、生成された参照フレームを記憶する。
エントロピー符号化部１１５は、量子化データをエントロピー符号化し符号データ（または符号化データ）を出力する。
【００５２】
次に、図２を参照して、図１に示す映像符号化装置１００の動作を説明する。図２は、図１に示す映像符号化装置１００の動作を示すフローチャートである。
ここでは符号化対象映像中のある１フレームを符号化する処理について説明する。当該処理をフレームごとに繰り返すことで、映像の符号化を実現することができる。
【００５３】
まず、符号化対象映像入力部１０１は符号化対象フレームを映像符号化装置１００に入力し、入力フレームメモリ１０２に記憶する（ステップＳ１０１）。なお、符号化対象映像中の幾つかのフレームは既に符号化されているものとし、その復号フレームが参照フレームメモリ１１４に記憶されているものとする。
【００５４】
次に、補助情報生成部１０３は符号化対象フレームから補助情報を生成する。
この補助情報及び、それにより生成される補間フィルタは、どのようなものであっても構わない。また、補助情報の生成には、符号化対象フレームの他に、既に符号化・復号済みの参照フレームを参照しても構わないし、動き補償予測に用いる動きベクトルなどの情報を用いても構わない。
また、アップサンプリング用とダウンサンプリング用とで異なる補助情報を用いて異なる補間フィルタを生成して使用してもかまわない。その場合にはダウンサンプリングフィルタのための補助情報は符号化装置で参照可能であるどのような情報を参照して推定してもかまわない。たとえば符号化対象映像そのものや、符号化対象高解像度予測残差、その他の符号化しない情報を用いてもかまわない。
アップサンプリングに用いる補間フィルタに関しては、符号化装置および復号装置において同一の補間フィルタを生成・選択するために、復号装置で参照可能である情報を参照して推定する必要がある。たとえば予測画像、低解像度予測残差、既に復号済みの参照ピクチャや予測情報や、その他多重化される符号データなどである。
あるいは、符号化装置および復号装置で同一のものを参照できるのであれば符号化されない別の情報を参照してもかまわない。たとえば符号化側と復号側とで符号化されていない別の映像を参照できる場合には、これを参照してもかまわない。
【００５５】
ここでは従来のＲＲＵの抱える問題の一つである、画像内の動的領域同士あるいは静的領域との境界（以下では単純に境界と呼ぶ）における品質劣化を解決する補間フィルタとその生成のための補助情報について説明する。
一般に、境界に相当するブロックにおいては動き補償予測による予測誤差が大きく、このブロックの予測残差はばらついた値をとるため、予測残差のダウンサンプリング及びアップサンプリングによって、復号画像において被写体境界部が訛るような劣化が生じやすい。こうした劣化を防ぐためには、境界の状態に応じて補間フィルタの係数を決定することが有効である。
図３は、破線で示す境界がブロックを斜めに横切る場合の補間フィルタの例である。
同図において、白丸は高解像度予測残差サンプルの配置を示し、斜線付きの丸は、低解像度予測残差サンプルの配置を示す。また、各丸内の文字ａ〜ｌ、Ａ〜Ｈは画素値の例であり、高解像度予測残差サンプルの画素値ａ〜ｌの各々が、周囲の低解像度予測残差サンプルの画素値Ａ〜Ｈからどのように算出されるかを図内に示している。
この例では、境界より上部の領域では、下部領域のサンプルを使用せずに、上部領域のサンプルのみを使用して補間を行う。下部領域における補間についても同様である。また、境界上に位置する領域では、境界上のサンプルのみを使用して補間を行なう。
【００５６】
このような補間フィルタを生成するための補助情報としては、境界の状態を示す何れかの情報を用いる。境界の状態は画素単位で厳密に示しても構わないし、図４（境界の状態のパターン例を示す図）に示すようにおおまかなパターンを予め定め、最も近いものを用いても構わない。
また、境界を推定する方法はどのようなものでも構わないが、例えば、符号化対象フレームに対して輪郭抽出処理を施すことで得られる輪郭を境界と推定しても構わない。この場合の補助情報は、輪郭画像そのものでも構わないし、輪郭を構成する画素を示す座標でも構わない。
復号時には低解像度予測残差そのものからは高解像度の輪郭画像を求めることができないが、既に復号済みのブロックやフレームの輪郭画像から推定することは可能である。または、予測画像から推定しても構わない。更にこのとき、予測精度の高いブロックでは予測画像からの推定を行い、予測精度の低いブロックでは別の方法で推定してもかまわない。
【００５７】
また、他の方法としては、符号化対象ブロック及びその周辺ブロックの動き補償予測に用いる動きベクトルを利用して境界状態を推定するという方法も適用可能である。
図５Ａ，５Ｂは、符号化対象ブロック及びその周辺ブロックの動きベクトルと、そこから推定できる境界状態の例を示す。これらの図において、矢印は各ブロックの動きベクトルを示し、図５Ａでは水平方向の境界状態が、図５Ｂでは右上がりの対角線方向の境界状態が、それぞれ推定されている。
また別の方法としては、前述のように局所的な境界状態の推定ではなく、映像全体から被写体抽出を行い境界を推定するといった方法もある。これには画像セグメンテーションや、その他任意の方法を用いて構わない。
更に別の方法としては、予め境界状態のパターンを幾通りかに定め、識別番号によって区別しておき、何れかの方法で推定した境界に最も近いパターンを選択し、その識別番号を補助情報として用いても構わない。
【００５８】
また別の問題として、様々な特性をもつ符号化対象領域に全て同一の補間フィルタを用いることで場合によっては大きく品質が低下するという問題があるが、このような問題に対しては、符号化対象ブロックのテクスチャの特性から最適な補間フィルタを推定する方法が適用できる。
例えば、テクスチャが滑らかなグラデーションを持つ場合や、均一である場合や、エッジをもつ場合、または複雑で高周波成分を多く含むテクスチャを持つ場合、などの特性にあわせて適切なフィルタを生成・選択するようにしても良い。たとえばテクスチャが滑らかなグラデーションを持つ場合においては残差も滑らかな状態であるとしてバイリニアフィルタなどの滑らかな補間を行うフィルタを生成し、強いエッジが存在するようなテクスチャであればその残差もエッジを持つものとしてエッジを保存するような補間フィルタの推定を行うことができる。このような補間フィルタを生成する補助情報として、符号化対象ブロックの予測画像や、既に符号化済みの周辺画像などを利用しても良い。
また、境界情報とテクスチャ特性の両方を組み合わせてもよい。例えば、境界領域では境界領域パターンに基づいて補間フィルタを決定し、非境界領域ではテクスチャ特性に基づいて補間フィルタを決定する等である。
補間フィルタのフィルタ係数の具体的な決定方法としては、予め定めた係数パターンから選択しても構わないし、バイラテラルフィルタのように何れかの関数に基づいて計算しても構わない。
【００５９】
ここで、一般にブロック境界部のアップサンプリングにはブロック内のサンプルのみを利用し、異なるブロックのサンプルは参照しないことから、補間精度によってはブロック境界部にブロック歪が発生することがあるという問題がある。２つのブロック内部でそれぞれ補間を実施する際に、例えば一方は前述の問題のように被写体境界をまたいでサンプリングされ、もう一方はそうでない、あるいはまた別の被写体境界をまたぐ場合に、ブロック境界部の画素についてそれぞれのブロックで求まる残差値が互いに異なる劣化をするために、ブロック歪みを生じやすい。
【００６０】
このような問題に対し、そうしたブロック歪みを生じやすいブロックについては、異なるブロックのサンプルを利用する補間を行ったり、場合によっては補外（外挿）フィルタを使用することができる。
用いるフィルタは、前述の例のようにいずれの方法で決めても構わない。ブロック外サンプルの使用可否や補外の実施可否は映像信号から推定しても構わないし、別に付加情報を符号化しても構わない。また、この問題についても、前述の被写体境界を考慮する補間フィルタを利用することで、ブロック境界部の訛りを低減し、間接的に緩和することができる。
【００６１】
以上は補間フィルタと補助情報及びその推定方法の例であるが、何れも上記の例に限定されるものではなく、他の任意の補間フィルタと補助情報及び推定方法を用いる事ができる。
【００６２】
図２に戻り、補助情報生成の後、符号化対象フレームを符号化対象ブロックに分割し、ブロック毎に符号化対象フレームの映像信号を符号化するルーチンを行なう（ステップＳ１０３）。すなわち、以下のステップＳ１０４〜Ｓ１１２までの処理を、フレーム内の全てのブロックが順次処理されるまで、繰り返し実行する。
符号化対象ブロックごとに繰り返される処理では、まず、フィルタ生成部１０５は補助情報を参照して補間フィルタを生成する（ステップＳ１０４）。
生成する補間フィルタの例は前述のとおりである。ここでのフィルタ生成は、フィルタ係数を逐次決定しても構わないし、予め幾通りかに定められたフィルタパターンから選択しても構わない。
【００６３】
次に、予測部１０６は、符号化対象フレーム及び参照フレームを用いて何れかの予測処理を行い、予測画像を生成する（ステップＳ１０５）。
予測方法は、復号側で予測情報などを使用して正しく予測画像を生成できるのであればどのような方法でも構わない。一般的な映像符号化では、画面内予測や動き補償などの予測方法を用いる。また、一般にはこのとき用いる予測情報を符号化し映像符号データと多重化する。
【００６４】
次に、減算部１０７は、予測画像と符号化対象ブロックとの差分を取り予測残差を生成する（ステップＳ１０６）。
予測残差の生成が終了したら、ダウンサンプル部１０８は、補間フィルタを使用して予測残差のダウンサンプリングを実行し低解像度予測残差を生成する（ステップＳ１０７）。
続いて、変換・量子化部１０９は低解像度予測残差を変換・量子化し、量子化データを生成する（ステップＳ１０８）。この変換・量子化は、復号側で正しく逆量子化・逆変換できるものであればどのような方法を用いても構わない。
【００６５】
変換・量子化が終了したら、逆量子化・逆変換部１１０は、量子化データを逆量子化・逆変換し、復号低解像度予測残差を生成する（ステップＳ１０９）。
続いて、アップサンプル部１１１は、補間フィルタを使用して復号低解像度予測残差のアップサンプリングを行い、復号高解像度予測残差を生成する（ステップＳ１１０）。このとき、使用する補間フィルタはダウンサンプリングに使用したものと同一のものを使用するのではなく、前述のような手法で新たに生成し直したものを用いることが望ましい。ただし符号化ノイズを許容する場合はその限りではなく、同一のものを使用してもよい。
【００６６】
アップサンプリングが終了したら、加算部１１２は復号高解像度予測残差と予測画像を加算し、復号ブロックを生成する。そして、ループフィルタ部１１３は、生成した復号ブロックにループフィルタをかけ、参照フレームのブロックとして参照フレームメモリ１１４に記憶する（ステップＳ１１１）。
ループフィルタは必要がなければ特にかけなくてもかまわないが、通常の映像符号化では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。もしくは、ＲＲＵによる劣化を除去するためのフィルタを使用してもよい。また、このループフィルタを、アップサンプリングフィルタ生成の場合と同様の手順で適応的に生成してもよい。
次に、エントロピー符号化部１１５は、量子化データをエントロピー符号化し符号データを生成する（ステップＳ１１２）。
全てのブロックについて処理が終了したら（ステップＳ１１３）、映像符号データを出力する（ステップＳ１１４）。
【００６７】
次に、本第１実施形態における映像復号装置について説明する。図６は、同第１実施形態による映像復号装置の構成を示すブロック図である。
映像復号装置２００は、図６に示すように、符号データ入力部２０１、符号データメモリ２０２、エントロピー復号部２０３、逆量子化・逆変換部２０４、補助情報生成部２０５、補助情報メモリ２０６、フィルタ生成部２０７、アップサンプル部２０８、予測部２０９、加算部２１０、ループフィルタ部２１１、および参照フレームメモリ２１２を備えている。
【００６８】
符号データ入力部２０１は、復号対象となる映像符号データを映像復号装置２００に入力する。この復号対象となる映像符号データのことを復号対象映像符号データと呼び、特に処理を行うフレームを復号対象フレームまたは復号対象画像と呼ぶ。
符号データメモリ２０２は、入力された復号対象映像符号データを記憶する。
エントロピー復号部２０３は、復号対象フレームの符号データをエントロピー復号し量子化データを生成し、逆量子化・逆変換部２０４は生成された量子化データに逆量子化／逆変換を施して復号低解像度予測残差を生成する。
補助情報生成部２０５は、符号化装置に対しての上述の説明と同様に、生成された復号低解像度予測残差または参照フレーム、および予測情報、またはその他の情報から、補助情報を生成する。
補助情報メモリ２０６は、生成された補助情報を記憶する。
フィルタ生成部２０７は、補助情報を参照して予測残差のアップサンプリングに使用する補間フィルタを生成する。
【００６９】
アップサンプル部２０８は、補間フィルタを用いて復号低解像度予測残差のアップサンプリングを実行し、復号高解像度予測残差を生成する。
予測部２０９は、予測情報等を参照して復号対象画像に対して予測処理を行い、予測画像を生成する。
加算部２１０は、生成された復号高解像度予測残差と予測画像とを加算し、復号フレームを生成する。
ループフィルタ部２１１は、生成された復号フレームにループフィルタをかけ参照フレームを生成する。
参照フレームメモリ２１２は、生成された参照フレームを記憶する。
【００７０】
次に、図７を参照して、図６に示す映像復号装置２００の動作を説明する。図７は、図６に示す映像復号装置２００の動作を示すフローチャートである。
ここでは符号データ中のある１フレームを復号する処理について説明する。当該処理をフレームごとに繰り返すことで、映像の復号を実現することができる。
【００７１】
まず、符号データ入力部２０１は映像符号データを映像復号装置２００に入力し、符号データメモリ２０２に記憶する（ステップＳ２０１）。なお、復号対象映像中の幾つかのフレームは既に復号されているものとし、参照フレームメモリ２１２に記憶されているものとする。
次に、復号対象フレームを対象ブロックに分割し、ブロック毎に復号対象フレームの映像信号を復号するルーチンを行なう（ステップＳ２０２）。すなわち、以下のステップＳ２０３〜Ｓ２０８までの処理を、フレーム内の全てのブロックが順次処理されるまで、繰り返し実行する。
【００７２】
復号対象ブロックごとに繰り返される処理において、まず、エントロピー復号部２０３は、符号データをエントロピー復号し、逆量子化・逆変換部２０４で逆量子化・逆変換を行い、復号低解像度予測残差を生成する（ステップＳ２０３）。
続いて、補助情報生成部２０５は、生成された復号低解像度予測残差または参照フレーム、および予測情報、またはその他の情報から、補間フィルタ生成に必要な補助情報を生成し、補助情報メモリ２０６に記憶する（ステップＳ２０４）。
【００７３】
補助情報を生成したら、フィルタ生成部２０７は、補助情報を用いて補間フィルタを生成する（ステップＳ２０５）。
次に、アップサンプル部２０８は、復号低解像度予測残差をアップサンプリングし、復号高解像度予測残差を生成する（ステップＳ２０６）。
続いて、予測部２０９は、復号対象ブロック及び参照フレームを用いて何れかの予測処理を行い、予測画像を生成する（ステップＳ２０７）。
更に加算部２１０は、復号高解像度予測残差と予測画像を加算し、更にループフィルタ部２１１でループフィルタをかけ、その出力を参照ブロックとして参照フレームメモリ２１２に記憶する（ステップＳ２０８）。
最後に、全てのブロックについて処理が終了したら（ステップＳ２０９）、復号フレームとして出力する（ステップＳ２１０）。
【００７４】
次に、本発明の第２実施形態を、図面を参照して説明する。
＜第２実施形態＞
図８は、本発明の第２実施形態による映像符号化装置１００ａの構成を示すブロック図である。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。
この図に示す装置が図１に示す装置と異なる点は、補助情報生成部１０３に代えて補助情報入力部１１６を備え、新たに補助情報符号化部１１７と多重化部１１８を備えている点である。
補助情報入力部１１６は、補間フィルタを生成するために必要となる補助情報を映像符号化装置１００ａに入力する。
補助情報符号化部１１７は入力された補助情報を符号化し、補助情報符号データを生成する。
多重化部１１８は補助情報符号データと映像符号データとを多重化して出力する。
【００７５】
次に、図９を参照して、図８に示す映像符号化装置１００ａの動作を説明する。図９は、図８に示す映像符号化装置１００ａの動作を示すフローチャートである。
図９は、第１実施形態における補助情報生成処理の代わりに、外部から補助情報を取り込んでしフィルタ生成に利用し、またその補助情報を符号化し、映像符号データと多重化して映像信号とする場合の処理を示している。
図９において、図２に示す処理と同一の部分には同一の符号を付し、その説明を省略する。
【００７６】
まず、符号化対象映像入力部１０１は符号化対象フレームを映像符号化装置１００ａに入力し、入力フレームメモリ１０２に記憶する。これと並行して、補助情報入力部１１６は補助情報を取り込み、補助情報メモリ１０４に記憶する（ステップＳ１０１ａ）。
なお、符号化対象映像中の幾つかのフレームは既に符号化されているものとし、その復号フレームが参照フレームメモリ１１４に記憶されているものとする。
ここで入力される補助情報は、復号装置側で同種の補間フィルタを生成できるものであればどのようなものでもかまわない。第１実施形態で述べた例のように、映像情報や予測情報から生成したものでもかまわないし、符号化対象映像と何らかの相関を持つ他の情報や、その情報に基づいて生成したものでも構わない。
【００７７】
例えば、符号化対象映像が、同一シーンを複数視点から撮影した多視点映像のうちのある一つの視点の映像である場合、符号化対象映像は他の視点の映像と空間的に相関をもつために、他の視点の映像から符号化対象映像のための補助情報を求めることが可能である。このときの補助情報の求め方は、第１実施形態の例と同様の方法でも構わないし、別の方法でも構わない。
また、符号化して映像符号データと多重化する補助情報は、符号化対象映像データに対して求めた補助情報でも構わないし、復号装置側で同一の補助情報を求めることができるのであれば、他の視点の映像そのものを符号化したものでも構わない。また別の例としては、法線マップや温度画像などの、被写体に依存した値を持つ画像情報などでもよい。
【００７８】
また、予めいくつかのフィルタパターンとその識別番号を定め、選択すべきフィルタの識別番号をそのまま補助情報としてもよい。この場合のフィルタ選択についてはどのような方法を用いても構わない。すなわち、上述した何れかの方法と同様の方法で選択すべきフィルタを求めても構わないし、符号化対象ブロック毎に考えられるフィルタを使用して符号化・復号化を実行し、得られた復号ブロックの品質を評価し、その品質が最高になるフィルタを選択しても構わない。
また、何れかの方法により求めたフィルタのフィルタ係数を、そのまま補助情報としても構わない。
あるいは、例えばバイラテラルフィルタのように何れかの関数に基づいてフィルタ係数を決定するとし、その関数のパラメータを補助情報としても構わない。
【００７９】
なお、フィルタ生成に用いる補助情報は、符号化ノイズその他のノイズの発生を許容する場合は符号化を経ないものを使用しても構わないが、より符号化品質を向上するためには、後述の符号化手順及び復号化手順によって符号化・復号を経たものを用いても構わない。補助情報の符号化・復号は映像符号化装置内で実行しても構わないし、符号化対象映像の符号化前に別途符号化・復号化していても構わない。
【００８０】
次に、符号化対象フレームを符号化対象ブロックに分割し、ブロック毎に符号化対象フレームの映像信号を符号化するルーチンを行なう（ステップＳ１０３）。すなわち、以下のステップＳ１０４〜Ｓ１１２ｂまでの処理を、フレーム内の全てのブロックが順次処理されるまで、繰り返し実行する。
以下、ステップＳ１０４〜Ｓ１１２までの処理は、図２に示す処理動作と同様に実行する。
次に、前述の補助情報を符号化し（ステップＳ１１２ａ）、映像符号データと多重化して符号データを生成する（ステップＳ１１２ｂ）。
この符号化方法は、復号側で正しく復号できるのであれば、どのような方法でも構わない。ただし、前述のようにフィルタ生成のために一度補助情報の符号化・復号を行なっている場合には、復号データを更に符号化するのではなく、符号化済みの補助情報をそのまま用いて構わない。
全てのブロックについて処理が終了したら（ステップＳ１１３）、映像符号データを出力する（ステップＳ１１４）。
【００８１】
次に、本第２実施形態における映像復号装置について説明する。図１０は、同第２実施形態による映像復号装置の構成を示すブロック図である。この図において、図６に示す装置と同一の部分には同一の符号を付し、その説明を省略する。
この図に示す装置が図６に示す装置と異なる点は、逆多重化部２１３を新たに備え、補助情報生成部２０５に代えて補助情報復号部２１４を備えている点である。
逆多重化部２１３は、符号データを逆多重化し、補助情報符号データと映像符号データとに分離する。
補助情報復号部２１４は、補助情報符号データを復号し、補助情報を生成する。
【００８２】
次に、図１１を参照して、図１０に示す映像復号装置２００ａの動作を説明する。図１１は、図１０に示す映像復号装置２００ａの動作を示すフローチャートである。
ここでは符号データ中のある１フレームを復号する処理について説明する。当該処理をフレームごとに繰り返すことで、映像の復号を実現することができる。
図１１には、第１実施形態における映像符号データの代わりに映像符号データと補助情報符号データとが多重化された符号データを映像復号装置２００ａに入力し、これを逆多重化して補助情報生成の代わりに補助情報復号を行い、復号された補助情報をフィルタ生成に利用する場合の処理を示している。
図１１において、図７に示す処理と同一の部分には同一の符号を付し、その説明を省略する。
【００８３】
まず、符号データ入力部２０１は映像符号データを映像復号装置２００ａに入力し、符号データメモリ２０２に記憶する（ステップＳ２０１）。なお、復号対象映像中の幾つかのフレームは既に復号されているものとし、参照フレームメモリ２１２に記憶されているものとする。
次に、復号対象フレームを対象ブロックに分割し、ブロック毎に復号対象フレームの映像信号を復号するルーチンを行なう（ステップＳ２０２）。すなわち、以下のステップＳ２０３〜Ｓ２０８までの処理を、フレーム内の全てのブロックが順次処理されるまで、繰り返し実行する。
【００８４】
復号対象ブロックごとに繰り返される処理において、まず、逆多重化部２１３は入力した映像符号データを映像符号データと補助情報符号データとに逆多重化する（ステップ２０３ａ）。
そして、エントロピー復号部２０３は、映像符号データをエントロピー復号し、逆量子化・逆変換部２０４は逆量子化・逆変換を行い、復号低解像度予測残差を生成する（ステップＳ２０３）。
続いて、補助情報復号部２１４は補助情報を復号し、補助情報メモリ２０６に記憶する（ステップＳ２０４ａ）。
以下、ステップＳ２０５〜Ｓ２１０は、図７に示す処理動作と同様の処理を行う。
【００８５】
なお、第２実施形態では、補助情報符号データと映像符号データとを処理ブロック単位で多重化しているが、画面単位等、別の処理単位において別々の符号データとしていても構わない。また、復号装置側で復号情報に用いたものと同等の補助情報が得られるのであれば、符号化装置側で補助情報を符号化し多重化しなくても構わない。
【００８６】
次に、本発明の第３実施形態を、図面を参照して説明する。
＜第３実施形態＞
図１２は、本発明の第３実施形態による映像符号化装置１００ｂの構成を示すブロック図である。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。
この図に示す装置が図１に示す装置と異なる点は、デプスマップ入力部１１９とデプスマップメモリ１２０とを新たに備え、補助情報生成部１０３が符号化対象フレームの代わりにデプスマップを使用して補助情報を生成する点である。
デプスマップ入力部１１９は、補間フィルタを生成するために参照するデプスマップ(情報）を映像符号化装置１００ｂに入力する。ここで入力されるデプスマップは、符号化対象映像の各フレームの各画素に写っている被写体のデプス値を表すものである。
デプスマップメモリ１２０は、入力されたデプスマップを記憶する。
【００８７】
次に、図１３を参照して、図１２に示す映像符号化装置１００ｂの動作を説明する。図１３は、図１２に示す映像符号化装置１００ｂの動作を示すフローチャートである。
図１３には、第１実施形態における映像情報を参照した補助情報生成の代わりに、外部からデプスマップを取り込んで補助情報生成に利用する場合の処理を示している。
図１３において、図２に示す処理と同一の部分には同一の符号を付し、その説明を省略する。
【００８８】
まず、符号化対象映像入力部１０１は符号化対象フレームを映像符号化装置１００ｂに入力し、入力フレームメモリ１０２に記憶する。これと並行して、デプスマップ入力部１１９はデプスマップを取り込み、デプスマップメモリ１２０に記憶する（ステップＳ１０１ｂ）。
なお、符号化対象映像中の幾つかのフレームは既に符号化されているものとし、その復号フレームが参照フレームメモリ１１４に、対応するデプスマップがデプスマップメモリ１２０に記憶されているものとする。
また、本第２実施形態では入力された符号化対象フレームが順次符号化されるものとしているが、入力順と符号化順は必ずしも一致している必要はない。入力順と符号化順が異なる場合には、次に符号化するフレームが入力されるまで、先に入力されたフレームは入力フレームメモリ１０２に記憶される。
入力フレームメモリ１０２に記憶された符号化対象フレームは、以下で説明する符号化処理によって符号化されたら、入力フレームメモリ１０２から削除しても構わない。しかし、デプスマップメモリ１２０に記憶されたデプスマップは、対応する符号化対象フレームの復号フレームが参照フレームメモリ１１４から削除されるまで記憶しておく。
【００８９】
なお、ステップＳ１０１ｂで入力されるデプスマップは、符号化ノイズその他のノイズの発生を抑えるために、復号装置側で得られるデプスマップと同じものを用いることが望ましい。例えば、デプスマップを符号化して映像と共に符号データとする場合には、映像符号化に用いるデプスマップは符号化・復号を経たものを用いる。
復号装置側で得られるデプスマップの他の例としては、別の視点の符号化済みデプスマップを復号したものを用いて合成されたデプスマップや、別の視点の符号化済み画像群を復号したものからステレオマッチング等によって推定したデプスマップなどがある。
ただし、符号化ノイズの発生を許容する場合は符号化を経ないデプスマップを使用しても構わない。
【００９０】
次に、補助情報生成部１０３は、デプスマップを参照して補間フィルタ生成に用いる補助情報を生成する（ステップＳ１０２ａ）。
ここで生成する補助情報とその推定方法、及び生成される補間フィルタはどのようなものであっても構わない。例えば、第１実施形態で例を挙げたような境界情報を補助情報として用いる場合には、映像の代わりにデプスマップの輪郭情報や、デプスマップを符号化するための動きベクトル等を用いて同様の推定を行なっても構わない。
一般に、同一被写体を構成する各画素のデプス値は比較的連続な値を取り、また異なる被写体同士の境界においては各画素のデプス値は離散的な値を取ることが多い。したがって、デプスマップにおける輪郭情報や動きベクトルに基づいて境界情報を求めることで、映像のテクスチャに影響を受けず正確な境界情報を検出できるために、精度よく補間フィルタを生成することができる。
また、局所的な境界状態の推定ではなく、デプスマップ全体から、被写体境界抽出を行うといった方法もある。この場合、前述の連続性を考慮して被写体を抽出してもよいし、画像セグメンテーションのような方法を使用しても構わない。
【００９１】
あるいは、ブロック内の各画素のデプス値そのものやそれを用いた演算値、もしくは選択すべきフィルタの識別番号を補助情報としても構わない。
例えば、デプス値の平均を参照して、補間フィルタを適応的に生成するか、既定のフィルタを用いるかの切り替えを行なうようにしてもよい。
平均デプス値の小さいブロックは、別の視点からの映像との視差がごく小さいために視差補償予測を行う場合の精度が高く、またカメラからの距離が遠いために被写体の移動量が少なく、動き補償予測も比較的精度が高いことが多い。このため、予測残差がごく小さくなる可能性が高く、単純なバイリニアフィルタ等を用いた補間により良好な復号結果が得られる可能性が高い。一方、デプス値の大きいブロックについては逆のことが言え、適応的な補間フィルタが有効である可能性が高い。
【００９２】
あるいは、デプスマップを利用して符号化対象映像と既に復号済みの他の視点の映像との対応関係を高い精度で求めることによって、他の視点の映像を参照して補間フィルタを生成しても構わない。
フィルタ係数の具体的な決定方法としては、予め定めた係数パターンから選択しても構わないし、バイラテラルフィルタのように何れかの関数に基づいて計算しても構わない。
例えば、バイラテラルフィルタで参照する輝度値を、符号化対象映像の輝度値ではなくではなくデプスマップの輝度値とするような、クロスバイラテラルフィルタ関数が考えられる。あるいは、映像とデプスマップの両方、あるいは更に別の情報を参照する関数を使用しても構わない。
【００９３】
以上は補間フィルタと補助情報及びその推定方法の例であるが、何れも上記の例に限定されるものではなく、他に任意の補間フィルタと補助情報及び推定方法を用いる事ができる。
以下、ステップＳ１０３〜ステップＳ１１４まで、図２に示す処理動作と同様実行する。
【００９４】
次に、本第３実施形態における映像復号装置２００ｂについて説明する。図１４は、同第３実施形態による映像復号装置の構成を示すブロック図である。この図において、図６に示す装置と同一の部分には同一の符号を付し、その説明を省略する。
この図に示す装置が図６に示す装置と異なる点は、デプスマップ入力部２１５とデプスマップメモリ２１６を新たに備え、補助情報生成部２０５が低解像度予測残差の代わりにデプスマップを使用して補助情報を生成する点である。
デプスマップ入力部２１５は、補間フィルタを生成するために参照するデプスマップ(情報）を映像復号装置２００ｂに入力し、入力し、デプスマップメモリ２１６は、入力されたデプスマップを記憶する。
【００９５】
次に、図１５を参照して、図１４に示す映像復号装置２００ｂの動作を説明する。図１５は、図１４に示す映像復号装置２００ｂの動作を示すフローチャートである。
図１５には、第１実施形態における映像情報を参照した補助情報生成の代わりに外部からデプスマップを取り込んで補助情報生成に利用する場合の処理を示している。
図１５において、図７に示す処理と同一の部分には同一の符号を付し、その説明を省略する。
【００９６】
まず、符号データ入力部２０１は符号データを映像復号装置２００ｂに入力し、符号データメモリ２０２に記憶する。これと並行して、デプスマップ入力部２１５はデプスマップを取り込み、デプスマップメモリ２１６に記憶する（ステップＳ２０１ａ）。
なお、復号対象映像中の幾つかのフレームは既に復号されているものとし、参照フレームメモリ２１２に、対応するデプスマップがデプスマップメモリ２１６に記憶されているものとする。
次に、復号対象フレームを復号対象ブロックに分割し、ブロック毎に復号対象フレームの映像信号を復号する（ステップＳ２０２）。以下のステップＳ２０３〜Ｓ２０８までの処理を、フレーム内の全てのブロックが順次処理されるまで、繰り返し実行する。
【００９７】
復号対象ブロックごとに繰り返される処理において、まず、エントロピー復号部２０３は、符号データをエントロピー復号する。そして、逆量子化・逆変換部２０４は逆量子化・逆変換を行い、復号低解像度予測残差を生成する（ステップ２０３）。
続いて、補助情報生成部２０５は、デプスマップやその予測情報などから補間フィルタ生成に必要な補助情報を生成し、補助情報メモリ２０６に記憶する（ステップＳ２０４ｂ）。
以下、ステップＳ２０５からステップＳ２１０まで、図７に示す処理動作と同様の処理を行う。
【００９８】
上述の第３実施形態では、映像をＲＲＵで符号化する例を示しているが、例えばデプスマップをＲＲＵで符号化しても構わない。また、その場合に、映像情報を参照してデプスマップ用の補間フィルタを生成しても構わない。あるいは、映像情報・デプスマップのどちらにもＲＲＵを利用し、デプスマップの補間フィルタは自己参照あるいは入力した補助情報により生成し、映像情報は復号したデプスマップを用いて復号しても構わない。映像情報・デプスマップの関係が、その逆でも構わない。
また、符号化および復号の順序を工夫し、双方向参照を行なっても構わない。
また、デプスマップと、第１実施形態のように映像情報から推定した補助情報や、付加情報として符号化した補助情報を併用しても構わない。例えば、デプスマップから求めた境界領域では境界状態に応じたフィルタを生成し、非境界領域では映像のテクスチャから補間フィルタを生成するなどである。
【００９９】
また、前述の第３実施形態では、復号対象フレームに対応するデプスマップを参照して補助情報生成を行なっているが、既に復号済みの参照フレームに対応するデプスマップを参照してもよい。
また、デプスマップだけでなく、復号対象フレームやその予測情報及び参照フレームを参照してもよいし、デプスマップ自身の予測情報などを参照しても構わない。
また、前述の第３実施形態では、入力したデプスマップをそのまま使用しているが、符号化されたデプスマップを用いる場合などは、デプスマップの符号化ノイズを低減するためにローパスフィルタ等をかけても構わない。
また、例に挙げたように被写体境界を判定して補間フィルタを生成する場合などは、被写体の違いが分かる程度のビット深度があれば十分であるため、入力されたデプスマップに対してビット深度変換を施して、デプスマップのビット深度を小さくする処理を加えても構わない。
なお、単純なビット深度変換を行なっても構わないが、デプスマップから被写体数を判定するなどして、その結果に応じて被写体を区別するだけの情報に変換しても構わない。
【０１００】
また、前述の第１〜第３実施形態では、符号化対象フレームの全ブロックについてＲＲＵを適用する例を説明したが、一部のブロックにのみ適用してもよい。また、ブロックによってダウンサンプル率を可変にしても構わない。
その場合には、ＲＲＵ適用可否やダウンサンプル率を示す情報を符号化し付加情報に含めてもよいし、復号装置側にＲＲＵ適用可否やダウンサンプル率を判別する機能を付け加えてもよい。
例えば第３実施形態においては、ＲＲＵ適用可否やダウンサンプル率を、デプスマップを参照して決定しても構わない。その場合には、デプスマップの符号化ノイズや伝送エラーによって復号不能になることを防ぐための回避機能や訂正機能を付け加えるとよい。
【０１０１】
さらに、前述の説明では全てのブロックで補間フィルタを適応的に生成しているが、演算量の低減のため、既定のフィルタで十分な性能が得られるブロックについては既定のフィルタを使用してもよい。その場合、既定のフィルタを使用するかフィルタ生成を行うかを映像情報や補助情報を参照して切り替えてもよい。
また、ダウンサンプリングは既定のフィルタを利用し、アップサンプリングにのみ適応的に生成した補間フィルタを用いてもよいし、その逆でも構わない。
【０１０２】
また、前述の第１〜第３の実施形態では、符号化装置では補助情報の生成はループの外部で実行するが、内部でブロック毎に実行しても構わない。
一方、復号装置では、補助情報の生成はループの内部でブロック毎に実行するが、可能ならばループの外部で実行しても構わない。
更に符号化装置・複合装置共に、フィルタの生成はループ内部で実行したが、外部で実行しても構わない。
また、複数フレーム分先行してフィルタ生成を実行しても構わないし、復号装置においては復号対象フレームの復号前に対応するフィルタが生成できるのであれば、その他いかなる順番で実行しても構わない。
【０１０３】
また、前述の第１〜第３実施形態では、復号時に、符号データを逆量子化・逆変換した復号低解像度予測残差や、復号したデプスマップを用いて補助情報を生成しているが、逆量子化前の量子化データや逆変換前の変換データを参照して補助情報を生成しても構わない。
図１６は、変換・量子化したデプスマップのＤＣＴ係数から境界情報を求める例を示している。図１６に示すように、変換・量子化したＤＣＴ係数から直流成分を除き、交流成分のうちのある閾値以下の係数を０に置き換えてから逆量子化・逆変換を施すと、かなり正確な境界情報を示す画像が復元できる。
補間フィルタ生成のための補助情報を求める場合には、当該ＤＣＴ係数を画像として復元する必要はなく、ＤＣＴ係数のパターンから直接補助情報を推定することもできる。
【０１０４】
また、前述の第１〜第３実施形態では、符号化対象映像信号中の輝度信号や色差信号を特に区別していないが、これらを区別しても構わない。
例えば色差信号にのみダウンサンプリング・アップサンプリングを実行し、輝度信号は高解像度のまま符号化するなどしても構わないし、その逆でも構わない。
あるいは、輝度信号・色差信号それぞれの補間フィルタとして、異なるものを用いても構わない。その場合に、例えば輝度信号の補間フィルタを、色差信号を参照して生成するなどしても構わない。
【０１０５】
なお、前述した第１〜第３実施形態における一部の処理は、その順序が前後しても構わない。
【０１０６】
以上説明した映像符号化及び映像復号の処理は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータで読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。
【０１０７】
図１７に、前述した映像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア図を示す。
本システムは：
・プログラムを実行するＣＰＵ３０
・ＣＰＵ３０がアクセスするプログラムやデータが記憶されるＲＡＭ等のメモリ３１
・カメラ等からの符号化対象の映像信号を映像符号化装置内に入力する符号化対象映像入力部３２（ディスク装置などによる、映像信号を記憶する記憶部でもよい）
・図２、図９、図１３に示す処理をＣＰＵ３０に実行させるソフトウェアプログラムである映像符号化プログラム３５１が記憶されたプログラム記憶装置３５
・ＣＰＵ３０がメモリ３１にロードされた映像符号化プログラムを実行することにより生成された符号データを、例えばネットワークを介して出力する符号データ出力部３６（ディスク装置などによる符号データを記憶する記憶部でもよい）
とが、バスで接続された構成になっている。
この他に、第２、３実施形態で説明した符号化を実現する場合に必要であれば、例えばネットワークを介して補助情報を入力する補助情報入力部３３（ディスク装置などによる、補助情報信号を記憶する記憶部でもよい）や、例えばネットワークを介して符号化対象の映像に対するデプスマップを入力するデプスマップ入力部３４（ディスク装置などによる、デプスマップ信号を記憶する記憶部でもよい）を更に接続すればよい。
また、図示は省略するが、他に、符号データ記憶部、参照フレーム記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、映像信号符号データ記憶部、予測情報符号データ記憶部などが用いられることもある。
【０１０８】
図１８に、前述した映像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア図を示す。
本システムは：
・プログラムを実行するＣＰＵ４０
・ＣＰＵ４０がアクセスするプログラムやデータが記憶されるＲＡＭ等のメモリ４１
・映像符号化装置が本発明による手法により符号化した符号データを映像復号装置内に入力する符号データ入力部４２（ディスク装置などによる、符号データを記憶する記憶部でもよい）
・図７、図１１、図１５に示す処理をＣＰＵ４０に実行させるソフトウェアプログラムである映像復号プログラム４５１が記憶されたプログラム記憶装置４５
・ＣＰＵ４０がメモリ４１にロードされた映像復号プログラムを実行することにより生成された復号映像を、再生装置などに出力する復号映像出力部４６
とが、バスで接続された構成になっている。
この他に、第２、３実施形態で説明した復号を実現する場合に必要であれば、例えばネットワークを介して復号対象の映像情報に対するデプスマップを入力するデプスマップ入力部４４（ディスク装置などによる、デプスマップ信号を記憶する記憶部でもよい）を更に接続すればよい。
また、図示は省略するが、他に、参照フレーム記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、映像信号符号データ記憶部、予測情報符号データ記憶部などが用いられることもある。
【０１０９】
以上説明したように、映像信号と共に符号化されるいずれかの付加情報や、あるいは映像情報から予測可能な情報を利用して、復号時に予測残差の各処理ブロックに補間フィルタを適応的に生成または選択することで、ＲＲＵにおける予測残差のアップサンプリング精度を向上し、最終画像を元の高解像度かつよい品質で再構成することができる。
これにより、デプスマップに代表されるような付加情報を伴う映像符号化において、ＲＲＵモードを利用し符号化効率を向上し、一方で主観品質を充分保つことができる。
なお、前述したＲＲＵモードは、自由視点映像符号化での使用に好適であるが、これに限定されるものではない。しかしながら、元来デプスマップ等の付加情報を伴う映像信号の符号化方式である自由視点映像符号化等で本発明を利用することは、余分の付加情報を信号に含める必要がないため、より効果的である。
【０１１０】
なお、図１、６、８、１０、１２、１４における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像符号化処理、映像復号処理を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【０１１１】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【０１１２】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【０１１３】
ＲＲＵにおける予測残差アップサンプリング精度を向上し、最終画像の品質を向上することが不可欠な用途に適用できる。
【符号の説明】
【０１１４】
１００、１００ａ、１００ｂ・・・映像符号化装置
１０１・・・符号化対象映像入力部
１０２・・・入力フレームメモリ
１０３・・・補助情報生成部
１０４・・・補助情報メモリ
１０５・・・フィルタ生成部
１０６・・・予測部
１０７・・・減算部
１０８・・・ダウンサンプル部
１０９・・・変換・量子化部
１１０・・・逆量子化・逆変換部
１１１・・・アップサンプル部
１１２・・・加算部
１１３・・・ループフィルタ部
１１４・・・参照フレームメモリ
１１５・・・エントロピー符号化部
１１６・・・補助情報入力部
１１７・・・補助情報符号化部
１１８・・・多重化部
１１９・・・デプスマップ入力部
１２０・・・デプスマップメモリ
２００、２００ａ、２００ｂ・・・映像復号装置
２０１・・・符号データ入力部
２０２・・・符号データメモリ
２０３・・・エントロピー復号部
２０４・・・逆量子化・逆変換部
２０５・・・補助情報生成部
２０６・・・補助情報メモリ
２０７・・・フィルタ生成部
２０８・・・アップサンプル部
２０９・・・予測部
２１０・・・加算部
２１１・・・ループフィルタ部
２１２・・・参照フレームメモリ
２１３・・・逆多重化部
２１５・・・デプスマップ入力部
２１６・・・デプスマップメモリ
【図１】
2014010583.tif 000003
【図２】
2014010583.tif 000004
【図３】
2014010583.tif 000005
【図４】
2014010583.tif 000006
【図５Ａ】
2014010583.tif 000007
【図５Ｂ】
2014010583.tif 000008
【図６】
2014010583.tif 000009
【図７】
2014010583.tif 000010
【図８】
2014010583.tif 000011
【図９】
2014010583.tif 000012
【図１０】
2014010583.tif 000013
【図１１】
2014010583.tif 000014
【図１２】
2014010583.tif 000015
【図１３】
2014010583.tif 000016
【図１４】
2014010583.tif 000017
【図１５】
2014010583.tif 000018
【図１６】
2014010583.tif 000019
【図１７】
2014010583.tif 000020
【図１８】
2014010583.tif 000021
【図１９】
2014010583.tif 000022
【図２０】
2014010583.tif 000023
【手続補正書】
【提出日】平成26年7月25日(2014.7.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化方法であって、
前記処理領域において、該処理領域のテクスチャ特性を示す情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリングステップと
を有することを特徴とする映像符号化方法。
【請求項２】
（削除）
【請求項３】
（削除）
【請求項４】
（削除）
【請求項５】
（削除）
【請求項６】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化方法であって、
前記処理領域において、該処理領域とその周辺の領域の動き補償予測に用いる動きベクトルを参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリングステップと、を有し、
前記動きベクトルから該処理領域とその周辺の領域における境界状態を推定し、推定結果に基づいて前記補間フィルタを生成または選択することを特徴とする映像符号化方法。
【請求項７】
（削除）
【請求項８】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化方法であって、
前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリングステップと、を有し、
前記補助情報は、前記映像が同一シーンを複数の視点から撮影した多視点映像のうちのある一つの視点の映像である場合における、他の視点の映像の情報であることを特徴とする映像符号化方法。
【請求項９】
前記補助情報を符号化し補助情報符号データを生成する補助情報符号化ステップと、
前記補助情報符号データを映像符号データと多重化した符号データを出力する多重化ステップと
をさらに有することを特徴とする請求項８に記載の映像符号化方法。
【請求項１０】
（削除）
【請求項１１】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化方法であって、
前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリングステップと、を有し、
前記補助情報は、前記映像に対応するデプスマップであることを特徴とする映像符号化方法。
【請求項１２】
前記デプスマップから、前記処理領域内部の境界の状態を示す情報を補助情報として生成する補助情報生成ステップをさらに有することを特徴とする請求項１１に記載の映像符号化方法。
【請求項１３】
前記フィルタ特定ステップは、前記デプスマップに加えて前記映像に対応する他の視点の映像を参照して前記補間フィルタを生成または選択することを特徴とする請求項１１に記載の映像符号化方法。
【請求項１４】
前記デプスマップを符号化してデプスマップ符号データを生成するデプスマップ符号化ステップと、
前記デプスマップ符号データを映像符号データと多重化した符号データを出力する多重化ステップと
をさらに有することを特徴とする請求項１１に記載の映像符号化方法。
【請求項１５】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化方法であって、
前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリングステップと、を有し、
前記符号化対象の映像の情報はデプスマップであり、前記補助情報は、前記デプスマップに対応する同じ視点の映像の情報であることを特徴とする映像符号化方法。
【請求項１６】
前記同じ視点の映像の情報から、前記処理領域内部の境界の状態を示す情報を補助情報として生成する補助情報生成ステップをさらに有することを特徴とする請求項１５に記載の映像符号化方法。
【請求項１７】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号方法であって、
前記処理領域において、該処理領域のテクスチャ特性を示す情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリングステップと
を有することを特徴とする映像復号方法。
【請求項１８】
（削除）
【請求項１９】
（削除）
【請求項２０】
（削除）
【請求項２１】
（削除）
【請求項２２】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号方法であって、
前記処理領域において、該処理領域とその周辺の領域の動き補償予測に用いる動きベクトルを参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリングステップと、を有し、
前記動きベクトルから該処理領域とその周辺の領域における境界状態を推定し、推定結果に基づいて前記補間フィルタを生成または選択することを特徴とする映像復号方法。
【請求項２３】
（削除）
【請求項２４】
（削除）
【請求項２５】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号方法であって、
前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリングステップと、を有し、
前記補助情報は、前記映像が同一シーンを複数の視点から撮影した多視点映像のうちのある一つの視点の映像である場合における、他の視点の映像の情報であることを特徴とする映像復号方法。
【請求項２６】
前記符号データを逆多重化し、補助情報符号データと映像符号データとに分離する逆多重化ステップと、
前記補助情報符号データを復号して前記補助情報を生成する補助情報復号ステップとをさらに有し、
前記フィルタ特定ステップは、前記復号された前記補助情報を参照して前記補間フィルタを生成または選択することを特徴とする請求項２５に記載の映像復号方法。
【請求項２７】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号方法であって、
前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリングステップと、を有し、
前記補助情報は、前記映像に対応するデプスマップであることを特徴とする映像復号方法。
【請求項２８】
前記デプスマップから、前記処理領域内部の境界の状態を示す情報を補助情報として生成する補助情報生成ステップをさらに有することを特徴とする請求項２７に記載の映像復号方法。
【請求項２９】
前記フィルタ特定ステップは、前記デプスマップに加えて前記映像に対応する他の視点の映像を参照して前記補間フィルタを生成または選択することを特徴とする請求項２７に記載の映像復号方法。
【請求項３０】
前記符号データを逆多重化し、デプスマップ符号データと映像符号データとに分離する逆多重化ステップと、
前記デプスマップ符号データを復号してデプスマップを生成するデプスマップ復号ステップと
をさらに有することを特徴とする請求項２７に記載の映像復号方法。
【請求項３１】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号方法であって、
前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリングステップと、を有し、
前記符号化対象の映像の情報はデプスマップであり、前記補助情報は、前記デプスマップに対応する同じ視点の映像の情報であることを特徴とする映像復号方法。
【請求項３２】
前記同じ視点の映像の情報から、前記処理領域内部の境界の状態を示す情報を補助情報として生成する補助情報生成ステップをさらに有することを特徴とする請求項３１に記載の映像復号方法。
【請求項３３】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化装置であって、
前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリング手段と、を有し、
前記補助情報は、前記映像が同一シーンを複数の視点から撮影した多視点映像のうちのある一つの視点の映像である場合における、他の視点の映像の情報であることを特徴とする映像符号化装置。
【請求項３４】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号装置であって、
前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリング手段と、を有し、
前記補助情報は、前記映像が同一シーンを複数の視点から撮影した多視点映像のうちのある一つの視点の映像である場合における、他の視点の映像の情報であることを特徴とする映像復号装置。
【請求項３５】
コンピュータに、請求項１、６、８，１１、および１５のいずれか１項に記載の映像符号化方法を実行させるための映像符号化プログラム。
【請求項３６】
コンピュータに、請求項１７、２２，２５、２７、および３１のいずれか１項に記載の映像復号方法を実行させるための映像復号プログラム。
【請求項３７】
（削除）
【請求項３８】
（削除）
【請求項３９】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化装置であって、
前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリング手段と、を有し、
前記補助情報は、前記映像に対応するデプスマップであることを特徴とする映像符号化装置。
【請求項４０】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化装置であって、
前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリング手段と、を有し、
前記符号化対象の映像の情報はデプスマップであり、前記補助情報は、前記デプスマップに対応する同じ視点の映像の情報であることを特徴とする映像符号化装置。
【請求項４１】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号装置であって、
前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリング手段と、を有し、
前記補助情報は、前記映像に対応するデプスマップであることを特徴とする映像復号装置。
【請求項４２】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号装置であって、
前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリング手段と、を有し、
前記符号化対象の映像の情報はデプスマップであり、前記補助情報は、前記デプスマップに対応する同じ視点の映像の情報であることを特徴とする映像復号装置。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
技術分野
［０００１］
本発明は、映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、及び映像復号プログラムに関する。
本願は、２０１２年７月９日に出願された特願２０１２−１５３９５３号に基づき優先権を主張し、その内容をここに援用する。
背景技術
［０００２］
一般的な映像符号化では、被写体の空間的／時間的な連続性を利用して、映像の各フレームを処理単位となるブロックに分割し、ブロック毎にその映像信号を空間的／時間的に予測し、その予測方法を示す予測情報と予測残差とを符号化することで、映像信号そのものを符号化する場合に比べて大幅な符号化効率の向上を図っている。
［０００３］
ＲＲＵ（Ｒｅｄｕｃｅｄ  Ｒｅｓｏｌｕｔｉｏｎ  Ｕｐｄａｔｅ）は、予測残差の変換・量子化の前に画像の少なくとも一部の予測残差の解像度を低下させることで、更なる符号化効率の向上を図るものである（例えば、非特許文献１参照）。予測を高解像度基準において行い、また低解像度の予測残差に対して復号時にアップサンプリングプロセスを適用するために、最終的な画像は高解像度で再構成できる。
このプロセスの結果、客観的な品質は低下するが、符号化対象ビットの減少により結果的にビットレートが向上する。また、主観品質に対する影響は客観品質に対する影響と比較して大きくない。
この機能はＩＴＵ−Ｔ  Ｈ．２６３標準によりサポートされており、シーケンス内に激しい動的領域が存在する場合に特に有効であることが知られている。これは、ＲＲＵモードを利用することによりエンコーダのフレームレ
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
これら各図において、白丸は高解像度予測残差サンプルの配置を示し、斜線付きの丸は、低解像度予測残差サンプルの配置を示す。また、各丸内の文字ａ〜ｅ、Ａ〜Ｄは画素値の例であり、高解像度予測残差サンプルの画素値ａ〜ｅの各々が、周囲の低解像度予測残差サンプルの画素値Ａ〜Ｄからどのように算出されるかを図内に示している。
２つ以上の残差値が互いに大きく異なるサンプルを含むブロックにおいては、このアップサンプリングに伴う補間によって再構成された残差の精度が落ち、復号画像の品質を低下させる。また、一般にブロック境界部のアップサンプリングにはブロック内のサンプルのみを利用し、異なるブロックのサンプルは参照しない。このため、補間精度によってはブロック境界部にブロック歪（ブロック境界付近に特有の歪）が発生することがある。
［００１０］
アップサンプリング精度向上のためには、アップサンプリングに用いる補間フィルタを適切に選択する必要がある。この問題に対して、例えば、符号化時に最適なフィルタを生成し、そのフィルタ係数を付加情報として映像信号と共に符号化するという方法が考えられる。しかしながら、そのような方法では、サンプル毎に補間に寄与する係数を符号化しなくてはならないために、付加情報の符号量が増大し、効率的な符号化を実現できないという問題がある。
［００１１］
本発明は、このような事情に鑑みてなされたもので、ＲＲＵにおける予測残差のアップサンプリング精度を向上し、最終的に得られる画像の品質を向上することができる映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、及び映像復号プログラムを提供することを目的とする。
課題を解決するための手段
［００１２］
本発明は、符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化方法であって、前記処理領域において、該処理領域のテクスチャ特性を示す情報を参照して
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定ステップと、前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリングステップとを有する映像符号化方法を提供する。
［００１３］
［００１４］
［００１５］
［００１６］
［００１７］
本発明はまた、符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化方法であって、
前記処理領域において、該処理領域とその周辺の領域の動き補償予測に用いる動きベクトルを参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリングステップと、を有し、
前記動きベクトルから該処理領域とその周辺の領域における境界状態を推定し、推定結果に基づいて前記補間フィルタを生成または選択することを特徴とする映像符号化方法も提供する。
［００１８］
［００１９］
本発明はまた、符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化方法であって、
前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリングステップと、を有し、
前記補助情報は、前記映像が同一シーンを複数の視点から撮影した多視点映像のうちのある一つの視点の映像である場合における、他の視点の映像の情報であることを特徴とする映像符号化方法も提供する。
［００２０］
前記補助情報を符号化し補助情報符号データを生成する補助情報符号化ステップと、前記補助情報符号データを映像符号データと多重化した符号データを出力する多重化ステップとをさらに有しても良い。
［００２１］
［００２２］
本発明はまた、符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化方法であって、
前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリングステップと、を有し、
前記補助情報は、前記映像に対応するデプスマップであることを特徴とする映像符号化方法も提供する。
［００２３］
前記デプスマップから前記処理領域内部の境界の状態を示す情報を補助情報として生成する補助情報生成ステップをさらに有するようにしても良い。
［００２４］
前記フィルタ特定ステップは、前記デプスマップに加えて前記映像に対応する他の視点の映像を参照して前記補間フィルタを生成または選択するよう
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
にしても良い。
［００２５］
前記デプスマップを符号化しデプスマップ符号データを生成するデプスマップ符号化ステップと、前記デプスマップ符号データを映像符号データと多重化した符号データを出力する多重化ステップとをさらに有するようにしても良い。
［００２６］
本発明はまた、符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化方法であって、
前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリングステップと、を有し、
前記符号化対象の映像の情報はデプスマップであり、前記補助情報は、前記デプスマップに対応する同じ視点の映像の情報であることを特徴とする映像符号化方法も提供する。
この場合、前記同じ視点の映像の情報から、前記処理領域内部の境界の状態を示す情報を補助情報として生成する補助情報生成ステップをさらに有するようにしても良い。
［００２７］
本発明は、符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号方法であって、前記処理領域において、該処理領域のテクスチャ特性を示す情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定ステップと、前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリングステップとを有する映像復号方法も提供する。
［００２８］
［００２９］
［００３０］
［００３１］
［００３２］
本発明はまた、符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号方法であって、
前記処理領域において、該処理領域とその周辺の領域の動き補償予測に用いる動きベクトルを参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリングステップと、を有し、
前記動きベクトルから該処理領域とその周辺の領域における境界状態を推定し、推定結果に基づいて前記補間フィルタを生成または選択することを特徴とする映像復号方法も提供する。
［００３３］
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
［００３４］
［００３５］
本発明はまた、符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号方法であって、
前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリングステップと、を有し、
前記補助情報は、前記映像が同一シーンを複数の視点から撮影した多視点映像のうちのある一つの視点の映像である場合における、他の視点の映像の情報であることを特徴とする映像復号方法も提供する。
［００３６］
この場合、前記符号データを逆多重化し、補助情報符号データと映像符号データとに分離する逆多重化ステップと、前記補助情報符号データを復号して前記補助情報を生成する補助情報復号ステップとをさらに有し、前記フィルタ特定ステップは、前記復号された前記補助情報を参照して前記補間フィルタを生成または選択するようにしても良い。
［００３７］
本発明はまた、符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号方法であって、
前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリングステップと、を有し、
前記補助情報は、前記映像に対応するデプスマップであることを特徴とする映像復号方法も提供する。
この場合、前記デプスマップから前記処理領域内部の境界の状態を示す情報を補助情報として生成する補助情報生成ステップをさらに有しても良い。
［００３８］
前記フィルタ特定ステップは、前記デプスマップに加えて前記映像に対応する他の視点の映像を参照して前記補間フィルタを生成または選択するようにしても良い。
［００３９］
前記符号データを逆多重化しデプスマップ符号データと映像符号データとに分離する逆多重化ステップと、前記デプスマップ符号データを復号しデプスマップを生成するデプスマップ復号ステップとをさらに有するようにしても良い。
［００４０］
本発明はまた、符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号方法であって、
前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリングステップと、を有し、
前記符号化対象の映像の情報はデプスマップであり、前記補助情報は、前記デプスマップに対応する同じ視点の映像の情報であることを特徴とする映像復号方法も提供する。
［００４１］
本発明は、符号化対象の映像を構成する各フレームを複数の処理領域に分
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化装置であって、前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定手段と、前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリング手段とを備え、前記補助情報は、前記映像が同一シーンを複数の視点から撮影した多視点映像のうちのある一つの視点の映像である場合における、他の視点の映像の情報である映像符号化装置も提供する。
［００４２］
本発明は、符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号装置であって、前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定手段と、前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリング手段とを備え、前記補助情報は、前記映像が同一シーンを複数の視点から撮影した多視点映像のうちのある一つの視点の映像である場合における、他の視点の映像の情報である映像復号装置も提供する。
［００４３］
本発明は、コンピュータに、前記映像符号化方法を実行させるための映像符号化プログラムも提供する。
［００４４］
本発明は、コンピュータに、前記映像復号方法を実行させるための映像復号プログラムも提供する。
［００４５］
本発明はまた、符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化装置であって、
前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリング手段と、を有し、
前記補助情報は、前記映像に対応するデプスマップであることを特徴とする映像符号化装置も提供する。
本発明はまた、符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化装置であって、
前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリング手段と、を有し、
前記符号化対象の映像の情報はデプスマップであり、前記補助情報は、前記デプスマップに対応する同じ視点の映像の情報であることを特徴とする映像符号化装置も提供する。
［００４６］
本発明はまた、符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号装置であって、
前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリング手段と、を有し、
前記補助情報は、前記映像に対応するデプスマップであることを特徴とする映像復号装置も提供する。
本発明はまた、符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号装置であって、
前記処理領域において、前記映像と相関を持つ補助情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリング手段と、を有し、
前記符号化対象の映像の情報はデプスマップであり、前記補助情報は、前記デプスマップに対応する同じ視点の映像の情報であることを特徴とする映像復号装置も提供する。
発明の効果
［００４７］
本発明によれば、映像信号と共に符号化される付加情報や、あるいは復号側で映像から予測可能な情報を利用して、復号時に予測残差の各処理ブロッ
【手続補正書】
【提出日】平成27年10月5日(2015.10.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化方法であって、
前記処理領域において、該処理領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリングステップと
を有することを特徴とする映像符号化方法。
【請求項２】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化方法であって、
前記処理領域において、該処理領域とその周辺の領域の動き補償予測に用いる動きベクトルを参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリングステップと、を有し、
該処理領域とその周辺の領域における境界であって、画像内の動的領域同士又は動的領域と静的領域との境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを前記動きベクトルから推定し、推定されたパターンに近いパターンの補間フィルタを予め定められた補間フィルタのパターンから選択する、又は、推定されたパターンに応じた補間フィルタ係数を用いて補間フィルタを生成することによって、前記補間フィルタを生成または選択することを特徴とする映像符号化方法。
【請求項３】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化方法であって、
前記処理領域において、前記映像と相関を持つ補助情報から得られる該処理領域と同位置の領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリングステップと、を有し、
前記補助情報は、前記映像が同一シーンを複数の視点から撮影した多視点映像のうちのある一つの視点の映像である場合における、他の視点の映像の情報であることを特徴とする映像符号化方法。
【請求項４】
前記補助情報を符号化し補助情報符号データを生成する補助情報符号化ステップと、
前記補助情報符号データを映像符号データと多重化した符号データを出力する多重化ステップと
をさらに有することを特徴とする請求項３に記載の映像符号化方法。
【請求項５】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化方法であって、
前記処理領域において、前記映像と相関を持つ補助情報であるデプスマップを使用して特定可能な境界状態、テクスチャ特性、予測精度のいずれかに応じて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリングステップと、を有し、
前記フィルタ特定ステップにおいて、前記境界状態に応じて適応的に前記補間フィルタを生成または選択する場合には、該処理領域とその周辺の領域における境界であって、画像内の動的領域同士又は動的領域と静的領域との境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを前記動きベクトルから推定し、推定されたパターンに近いパターンの補間フィルタを予め定められた補間フィルタのパターンから選択する、又は、推定されたパターンに応じた補間フィルタ係数を用いて補間フィルタを生成することによって、前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記テクスチャ特性に応じて適応的に前記補間フィルタを生成または選択する場合には、前記処理領域において、該処理領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記予測精度に応じて適応的に前記補間フィルタを生成または選択する場合には、前記予測精度の高いブロックでは予測画像における前記境界状態又は前記テクスチャ特性に基づいて前記補間フィルタを生成または選択する映像符号化方法。
【請求項６】
前記デプスマップから、前記処理領域内部の境界の状態を示す情報として、該処理領域内部の動的領域同士又は動的領域と静的領域との境界を示す情報を補助情報として生成する補助情報生成ステップをさらに有し、
前記フィルタ特定ステップにおいて、前記境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを推定し、推定されたパターンに応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定することを特徴とする請求項５に記載の映像符号化方法。
【請求項７】
前記フィルタ特定ステップは、前記デプスマップを利用して符号化対象の映像に対応する他の視点の映像を求め、前記他の視点の映像を参照し、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて前記補間フィルタを生成または選択することを特徴とする請求項５に記載の映像符号化方法。
【請求項８】
前記デプスマップを符号化してデプスマップ符号データを生成するデプスマップ符号化ステップと、
前記デプスマップ符号データを映像符号データと多重化した符号データを出力する多重化ステップと
をさらに有することを特徴とする請求項５に記載の映像符号化方法。
【請求項９】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化方法であって、
前記処理領域において、前記映像と相関を持つ補助情報である映像を使用して特定可能な境界状態、テクスチャ特性、予測精度のいずれかに応じて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリングステップと、を有し、
前記符号化対象の映像はデプスマップであり、前記補助情報は、前記デプスマップに対応する同じ視点の映像の情報であり、
前記フィルタ特定ステップにおいて、前記境界状態に応じて適応的に前記補間フィルタを生成または選択する場合には、該処理領域とその周辺の領域における境界であって、画像内の動的領域同士又は動的領域と静的領域との境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを前記動きベクトルから推定し、推定されたパターンに近いパターンの補間フィルタを予め定められた補間フィルタのパターンから選択する、又は、推定されたパターンに応じた補間フィルタ係数を用いて補間フィルタを生成することによって、前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記テクスチャ特性に応じて適応的に前記補間フィルタを生成または選択する場合には、前記処理領域において、該処理領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記予測精度に応じて適応的に前記補間フィルタを生成または選択する場合には、前記予測精度の高いブロックでは予測画像における前記境界状態又は前記テクスチャ特性に基づいて前記補間フィルタを生成または選択することを特徴とする映像符号化方法。
【請求項１０】
前記同じ視点の映像の情報から、前記処理領域内部の境界の状態を示す情報として、該処理領域内部の動的領域同士又は動的領域と静的領域との境界を示す情報を補助情報として生成する補助情報生成ステップをさらに有し、
前記フィルタ特定ステップにおいて、前記境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを推定し、推定されたパターンに応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定することを特徴とする請求項９に記載の映像符号化方法。
【請求項１１】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号方法であって、
前記処理領域において、該処理領域のテクスチャ特性を示す情報を、既に復号済みのブロックやフレームの輪郭画像又は予測画像から推定し、推定されたテクスチャ特性を示す情報に応じて予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリングステップと
を有することを特徴とする映像復号方法。
【請求項１２】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号方法であって、
前記処理領域において、該処理領域とその周辺の領域の動き補償予測に用いる動きベクトルを参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリングステップと、を有し、
該処理領域とその周辺の領域における境界であって、画像内の動的領域同士又は動的領域と静的領域との境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを前記動きベクトルから推定し、推定されたパターンに近いパターンの補間フィルタを予め定められた補間フィルタのパターンから選択する、又は、推定されたパターンに応じた補間フィルタ係数を用いて補間フィルタを生成することによって、前記補間フィルタを生成または選択することを特徴とする映像復号方法。
【請求項１３】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号方法であって、
前記処理領域において、前記映像と相関を持つ補助情報から得られる該処理領域と同位置の領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリングステップと、を有し、
前記補助情報は、前記映像が同一シーンを複数の視点から撮影した多視点映像のうちのある一つの視点の映像である場合における、他の視点の映像の情報であることを特徴とする映像復号方法。
【請求項１４】
前記符号データを逆多重化し、補助情報符号データと映像符号データとに分離する逆多重化ステップと、
前記補助情報符号データを復号して前記補助情報を生成する補助情報復号ステップとをさらに有し、
前記フィルタ特定ステップは、前記復号された前記補助情報を参照して前記補間フィルタを生成または選択することを特徴とする請求項１３に記載の映像復号方法。
【請求項１５】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号方法であって、
前記処理領域において、前記映像と相関を持つ補助情報であるデプスマップを使用して特定可能な境界状態、テクスチャ特性、予測精度のいずれかに応じて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリングステップと、を有し、
前記フィルタ特定ステップにおいて、前記境界状態に応じて適応的に前記補間フィルタを生成または選択する場合には、該処理領域とその周辺の領域における境界であって、画像内の動的領域同士又は動的領域と静的領域との境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを前記動きベクトルから推定し、推定されたパターンに近いパターンの補間フィルタを予め定められた補間フィルタのパターンから選択する、又は、推定されたパターンに応じた補間フィルタ係数を用いて補間フィルタを生成することによって、前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記テクスチャ特性に応じて適応的に前記補間フィルタを生成または選択する場合には、前記処理領域において、該処理領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記予測精度に応じて適応的に前記補間フィルタを生成または選択する場合には、前記予測精度の高いブロックでは予測画像における前記境界状態又は前記テクスチャ特性に基づいて前記補間フィルタを生成または選択する映像復号方法。
【請求項１６】
前記デプスマップから、前記処理領域内部の境界の状態を示す情報として、該処理領域内部の動的領域同士又は動的領域と静的領域との境界を示す情報を補助情報として生成する補助情報生成ステップをさらに有し、
前記フィルタ特定ステップにおいて、前記境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを推定し、推定されたパターンに応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定することを特徴とする請求項１５に記載の映像復号方法。
【請求項１７】
前記フィルタ特定ステップは、前記デプスマップを利用して符号化対象の映像に対応する他の視点の映像を求め、前記他の視点の映像を参照し、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて前記補間フィルタを生成または選択することを特徴とする請求項１５に記載の映像復号方法。
【請求項１８】
前記符号データを逆多重化し、デプスマップ符号データと映像符号データとに分離する逆多重化ステップと、
前記デプスマップ符号データを復号してデプスマップを生成するデプスマップ復号ステップと
をさらに有することを特徴とする請求項１５に記載の映像復号方法。
【請求項１９】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号方法であって、
前記処理領域において、前記映像と相関を持つ補助情報である映像を使用して特定可能な境界状態、テクスチャ特性、予測精度のいずれかに応じて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリングステップと、を有し、
前記符号化対象の映像はデプスマップであり、前記補助情報は、前記デプスマップに対応する同じ視点の映像の情報であり、
前記フィルタ特定ステップにおいて、前記境界状態に応じて適応的に前記補間フィルタを生成または選択する場合には、該処理領域とその周辺の領域における境界であって、画像内の動的領域同士又は動的領域と静的領域との境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを前記動きベクトルから推定し、推定されたパターンに近いパターンの補間フィルタを予め定められた補間フィルタのパターンから選択する、又は、推定されたパターンに応じた補間フィルタ係数を用いて補間フィルタを生成することによって、前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記テクスチャ特性に応じて適応的に前記補間フィルタを生成または選択する場合には、前記処理領域において、該処理領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記予測精度に応じて適応的に前記補間フィルタを生成または選択する場合には、前記予測精度の高いブロックでは予測画像における前記境界状態又は前記テクスチャ特性に基づいて前記補間フィルタを生成または選択することを特徴とする映像復号方法。
【請求項２０】
前記同じ視点の映像の情報から、前記処理領域内部の境界の状態を示す情報として、該処理領域内部の動的領域同士又は動的領域と静的領域との境界を示す情報を補助情報として生成する補助情報生成ステップをさらに有し、
前記フィルタ特定ステップにおいて、前記境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを推定し、推定されたパターンに応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定することを特徴とする請求項１９に記載の映像復号方法。
【請求項２１】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化装置であって、
前記処理領域において、前記映像と相関を持つ補助情報から得られる該処理領域と同位置の領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択することにより前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリング手段と、を有し、
前記補助情報は、前記映像が同一シーンを複数の視点から撮影した多視点映像のうちのある一つの視点の映像である場合における、他の視点の映像の情報であることを特徴とする映像符号化装置。
【請求項２２】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号装置であって、
前記処理領域において、前記映像と相関を持つ補助情報から得られる該処理領域と同位置の領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリング手段と、を有し、
前記補助情報は、前記映像が同一シーンを複数の視点から撮影した多視点映像のうちのある一つの視点の映像である場合における、他の視点の映像の情報であることを特徴とする映像復号装置。
【請求項２３】
コンピュータに、請求項１、２、３、５、および９のいずれか１項に記載の映像符号化方法を実行させるための映像符号化プログラム。
【請求項２４】
コンピュータに、請求項１１、１２、１３、１５、および１９のいずれか１項に記載の映像復号方法を実行させるための映像復号プログラム。
【請求項２５】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化装置であって、
前記処理領域において、前記映像と相関を持つ補助情報であるデプスマップを使用して特定可能な境界状態、テクスチャ特性、予測精度のいずれかに応じて適応的に前記補間フィルタを生成または選択することにより前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリング手段と、を有し、
前記フィルタ特定ステップにおいて、前記境界状態に応じて適応的に前記補間フィルタを生成または選択する場合には、該処理領域とその周辺の領域における境界であって、画像内の動的領域同士又は動的領域と静的領域との境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを前記動きベクトルから推定し、推定されたパターンに近いパターンの補間フィルタを予め定められた補間フィルタのパターンから選択する、又は、推定されたパターンに応じた補間フィルタ係数を用いて補間フィルタを生成することによって、前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記テクスチャ特性に応じて適応的に前記補間フィルタを生成または選択する場合には、前記処理領域において、該処理領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記予測精度に応じて適応的に前記補間フィルタを生成または選択する場合には、前記予測精度の高いブロックでは予測画像における前記境界状態又は前記テクスチャ特性に基づいて前記補間フィルタを生成または選択する映像符号化装置。
【請求項２６】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化装置であって、
前記処理領域において、前記映像と相関を持つ補助情報である映像を使用して特定可能な境界状態、テクスチャ特性、予測精度のいずれかに応じて適応的に前記補間フィルタを生成または選択することにより前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリング手段と、を有し、
前記符号化対象の映像はデプスマップであり、前記補助情報は、前記デプスマップに対応する同じ視点の映像の情報であり、
前記フィルタ特定ステップにおいて、前記境界状態に応じて適応的に前記補間フィルタを生成または選択する場合には、該処理領域とその周辺の領域における境界であって、画像内の動的領域同士又は動的領域と静的領域との境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを前記動きベクトルから推定し、推定されたパターンに近いパターンの補間フィルタを予め定められた補間フィルタのパターンから選択する、又は、推定されたパターンに応じた補間フィルタ係数を用いて補間フィルタを生成することによって、前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記テクスチャ特性に応じて適応的に前記補間フィルタを生成または選択する場合には、前記処理領域において、該処理領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記予測精度に応じて適応的に前記補間フィルタを生成または選択する場合には、前記予測精度の高いブロックでは予測画像における前記境界状態又は前記テクスチャ特性に基づいて前記補間フィルタを生成または選択することを特徴とする映像符号化装置。
【請求項２７】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号装置であって、
前記処理領域において、前記映像と相関を持つ補助情報であるデプスマップを使用して特定可能な境界状態、テクスチャ特性、予測精度のいずれかに応じて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリング手段と、を有し、
前記フィルタ特定ステップにおいて、前記境界状態に応じて適応的に前記補間フィルタを生成または選択する場合には、該処理領域とその周辺の領域における境界であって、画像内の動的領域同士又は動的領域と静的領域との境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを前記動きベクトルから推定し、推定されたパターンに近いパターンの補間フィルタを予め定められた補間フィルタのパターンから選択する、又は、推定されたパターンに応じた補間フィルタ係数を用いて補間フィルタを生成することによって、前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記テクスチャ特性に応じて適応的に前記補間フィルタを生成または選択する場合には、前記処理領域において、該処理領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記予測精度に応じて適応的に前記補間フィルタを生成または選択する場合には、前記予測精度の高いブロックでは予測画像における前記境界状態又は前記テクスチャ特性に基づいて前記補間フィルタを生成または選択する映像復号装置。
【請求項２８】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号装置であって、
前記処理領域において、前記映像と相関を持つ補助情報である映像を使用して特定可能な境界状態、テクスチャ特性、予測精度のいずれかに応じて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリング手段と、を有し、
前記符号化対象の映像はデプスマップであり、前記補助情報は、前記デプスマップに対応する同じ視点の映像の情報であり、
前記フィルタ特定ステップにおいて、前記境界状態に応じて適応的に前記補間フィルタを生成または選択する場合には、該処理領域とその周辺の領域における境界であって、画像内の動的領域同士又は動的領域と静的領域との境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを前記動きベクトルから推定し、推定されたパターンに近いパターンの補間フィルタを予め定められた補間フィルタのパターンから選択する、又は、推定されたパターンに応じた補間フィルタ係数を用いて補間フィルタを生成することによって、前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記テクスチャ特性に応じて適応的に前記補間フィルタを生成または選択する場合には、前記処理領域において、該処理領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記予測精度に応じて適応的に前記補間フィルタを生成または選択する場合には、前記予測精度の高いブロックでは予測画像における前記境界状態又は前記テクスチャ特性に基づいて前記補間フィルタを生成または選択することを特徴とする映像復号装置。
【手続補正書】
【提出日】平成27年12月25日(2015.12.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化方法であって、
前記処理領域において、該処理領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリングステップと
を有することを特徴とする映像符号化方法。
【請求項２】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化方法であって、
前記処理領域において、該処理領域とその周辺の領域の動き補償予測に用いる動きベクトルを参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリングステップと、を有し、
画像内の動的領域同士又は動的領域と静的領域との境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを前記動きベクトルから推定し、推定されたパターンに最も近い境界の状態を選択し、選択された前記境界の状態を用いて、前記補間フィルタを生成または選択することを特徴とする映像符号化方法。
【請求項３】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化方法であって、
前記処理領域において、前記映像と相関を持つ補助情報から得られる該処理領域と同位置の領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリングステップと、を有し、
前記補助情報は、前記映像が同一シーンを複数の視点から撮影した多視点映像のうちのある一つの視点の映像である場合における、他の視点の映像の情報であることを特徴とする映像符号化方法。
【請求項４】
前記補助情報を符号化し補助情報符号データを生成する補助情報符号化ステップと、
前記補助情報符号データを映像符号データと多重化した符号データを出力する多重化ステップと
をさらに有することを特徴とする請求項３に記載の映像符号化方法。
【請求項５】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化方法であって、
前記処理領域において、前記映像と相関を持つ補助情報であるデプスマップを使用して特定可能な境界状態、テクスチャ特性、予測精度のいずれかに応じて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリングステップと、を有し、
前記フィルタ特定ステップにおいて、前記境界状態に応じて適応的に前記補間フィルタを生成または選択する場合には、画像内の動的領域同士又は動的領域と静的領域との境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを前記処理領域とその周辺領域の動き補償予測に用いる動きベクトルから推定し、推定されたパターンに最も近い境界の状態を選択し、選択された前記境界の状態を用いて、前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記テクスチャ特性に応じて適応的に前記補間フィルタを生成または選択する場合には、前記処理領域において、該処理領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記予測精度に応じて適応的に前記補間フィルタを生成または選択する場合には、前記予測精度の高いブロックでは予測画像における前記境界状態又は前記テクスチャ特性に基づいて前記補間フィルタを生成または選択する映像符号化方法。
【請求項６】
前記デプスマップから、前記処理領域内部の境界の状態を示す情報として、該処理領域内部の動的領域同士又は動的領域と静的領域との境界を示す情報を補助情報として生成する補助情報生成ステップをさらに有し、
前記フィルタ特定ステップにおいて、前記境界状態に応じて適応的に前記補間フィルタを生成または選択する場合には、前記境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを推定し、推定されたパターンに応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定することを特徴とする請求項５に記載の映像符号化方法。
【請求項７】
前記フィルタ特定ステップは、前記デプスマップを利用して符号化対象の映像に対応する他の視点の映像を求め、前記他の視点の映像を参照し、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて前記補間フィルタを生成または選択することを特徴とする請求項５に記載の映像符号化方法。
【請求項８】
前記デプスマップを符号化してデプスマップ符号データを生成するデプスマップ符号化ステップと、
前記デプスマップ符号データを映像符号データと多重化した符号データを出力する多重化ステップと
をさらに有することを特徴とする請求項５に記載の映像符号化方法。
【請求項９】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化方法であって、
前記処理領域において、前記映像と相関を持つ補助情報である映像を使用して特定可能な境界状態、テクスチャ特性、予測精度のいずれかに応じて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリングステップと、を有し、
前記符号化対象の映像はデプスマップであり、前記補助情報は、前記デプスマップに対応する同じ視点の映像の情報であり、
前記フィルタ特定ステップにおいて、前記境界状態に応じて適応的に前記補間フィルタを生成または選択する場合には、画像内の動的領域同士又は動的領域と静的領域との境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを前記処理領域とその周辺領域の動き補償予測に用いる動きベクトルから推定し、推定されたパターンに最も近い境界の状態を選択し、選択された前記境界の状態を用いて、前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記テクスチャ特性に応じて適応的に前記補間フィルタを生成または選択する場合には、前記処理領域において、該処理領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記予測精度に応じて適応的に前記補間フィルタを生成または選択する場合には、前記予測精度の高いブロックでは予測画像における前記境界状態又は前記テクスチャ特性に基づいて前記補間フィルタを生成または選択することを特徴とする映像符号化方法。
【請求項１０】
前記同じ視点の映像の情報から、前記処理領域内部の境界の状態を示す情報として、該処理領域内部の動的領域同士又は動的領域と静的領域との境界を示す情報を補助情報として生成する補助情報生成ステップをさらに有し、
前記フィルタ特定ステップにおいて、前記境界状態に応じて適応的に前記補間フィルタを生成または選択する場合には、前記境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを推定し、推定されたパターンに応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定することを特徴とする請求項９に記載の映像符号化方法。
【請求項１１】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号方法であって、
前記処理領域において、該処理領域のテクスチャ特性を示す情報を、既に復号済みのブロックやフレームの輪郭画像又は予測画像から推定し、推定されたテクスチャ特性を示す情報に応じて予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリングステップと
を有することを特徴とする映像復号方法。
【請求項１２】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号方法であって、
前記処理領域において、該処理領域とその周辺の領域の動き補償予測に用いる動きベクトルを参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリングステップと、を有し、
画像内の動的領域同士又は動的領域と静的領域との境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを前記動きベクトルから推定し、推定されたパターンに最も近い境界の状態を選択し、選択された前記境界の状態を用いて、前記補間フィルタを生成または選択することを特徴とする映像復号方法。
【請求項１３】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号方法であって、
前記処理領域において、前記映像と相関を持つ補助情報から得られる該処理領域と同位置の領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリングステップと、を有し、
前記補助情報は、前記映像が同一シーンを複数の視点から撮影した多視点映像のうちのある一つの視点の映像である場合における、他の視点の映像の情報であることを特徴とする映像復号方法。
【請求項１４】
前記符号データを逆多重化し、補助情報符号データと映像符号データとに分離する逆多重化ステップと、
前記補助情報符号データを復号して前記補助情報を生成する補助情報復号ステップとをさらに有し、
前記フィルタ特定ステップは、前記復号された前記補助情報を参照して前記補間フィルタを生成または選択することを特徴とする請求項１３に記載の映像復号方法。
【請求項１５】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号方法であって、
前記処理領域において、前記映像と相関を持つ補助情報であるデプスマップを使用して特定可能な境界状態、テクスチャ特性、予測精度のいずれかに応じて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリングステップと、を有し、
前記フィルタ特定ステップにおいて、前記境界状態に応じて適応的に前記補間フィルタを生成または選択する場合には、画像内の動的領域同士又は動的領域と静的領域との境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを前記処理領域とその周辺領域の動き補償予測に用いる動きベクトルから推定し、推定されたパターンに最も近い境界の状態を選択し、選択された前記境界の状態を用いて、前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記テクスチャ特性に応じて適応的に前記補間フィルタを生成または選択する場合には、前記処理領域において、該処理領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記予測精度に応じて適応的に前記補間フィルタを生成または選択する場合には、前記予測精度の高いブロックでは予測画像における前記境界状態又は前記テクスチャ特性に基づいて前記補間フィルタを生成または選択する映像復号方法。
【請求項１６】
前記デプスマップから、前記処理領域内部の境界の状態を示す情報として、該処理領域内部の動的領域同士又は動的領域と静的領域との境界を示す情報を補助情報として生成する補助情報生成ステップをさらに有し、
前記フィルタ特定ステップにおいて、前記境界状態に応じて適応的に前記補間フィルタを生成または選択する場合には、前記境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを推定し、推定されたパターンに応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定することを特徴とする請求項１５に記載の映像復号方法。
【請求項１７】
前記フィルタ特定ステップは、前記デプスマップを利用して符号化対象の映像に対応する他の視点の映像を求め、前記他の視点の映像を参照し、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて前記補間フィルタを生成または選択することを特徴とする請求項１５に記載の映像復号方法。
【請求項１８】
前記符号データを逆多重化し、デプスマップ符号データと映像符号データとに分離する逆多重化ステップと、
前記デプスマップ符号データを復号してデプスマップを生成するデプスマップ復号ステップと
をさらに有することを特徴とする請求項１５に記載の映像復号方法。
【請求項１９】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号方法であって、
前記処理領域において、前記映像と相関を持つ補助情報である映像を使用して特定可能な境界状態、テクスチャ特性、予測精度のいずれかに応じて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリングステップと、を有し、
前記符号化対象の映像はデプスマップであり、前記補助情報は、前記デプスマップに対応する同じ視点の映像の情報であり、
前記フィルタ特定ステップにおいて、前記境界状態に応じて適応的に前記補間フィルタを生成または選択する場合には、画像内の動的領域同士又は動的領域と静的領域との境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを前記処理領域とその周辺領域の動き補償予測に用いる動きベクトルから推定し、推定されたパターンに最も近い境界の状態を選択し、選択された前記境界の状態を用いて、前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記テクスチャ特性に応じて適応的に前記補間フィルタを生成または選択する場合には、前記処理領域において、該処理領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択し、
前記フィルタ特定ステップにおいて、前記予測精度に応じて適応的に前記補間フィルタを生成または選択する場合には、前記予測精度の高いブロックでは予測画像における前記境界状態又は前記テクスチャ特性に基づいて前記補間フィルタを生成または選択することを特徴とする映像復号方法。
【請求項２０】
前記同じ視点の映像の情報から、前記処理領域内部の境界の状態を示す情報として、該処理領域内部の動的領域同士又は動的領域と静的領域との境界を示す情報を補助情報として生成する補助情報生成ステップをさらに有し、
前記フィルタ特定ステップにおいて、前記境界状態に応じて適応的に前記補間フィルタを生成または選択する場合には、前記境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを推定し、推定されたパターンに応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定することを特徴とする請求項１９に記載の映像復号方法。
【請求項２１】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化装置であって、
前記処理領域において、前記映像と相関を持つ補助情報から得られる該処理領域と同位置の領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択することにより前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリング手段と、を有し、
前記補助情報は、前記映像が同一シーンを複数の視点から撮影した多視点映像のうちのある一つの視点の映像である場合における、他の視点の映像の情報であることを特徴とする映像符号化装置。
【請求項２２】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号装置であって、
前記処理領域において、前記映像と相関を持つ補助情報から得られる該処理領域と同位置の領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリング手段と、を有し、
前記補助情報は、前記映像が同一シーンを複数の視点から撮影した多視点映像のうちのある一つの視点の映像である場合における、他の視点の映像の情報であることを特徴とする映像復号装置。
【請求項２３】
コンピュータに、請求項１、２、３、５、および９のいずれか１項に記載の映像符号化方法を実行させるための映像符号化プログラム。
【請求項２４】
コンピュータに、請求項１１、１２、１３、１５、および１９のいずれか１項に記載の映像復号方法を実行させるための映像復号プログラム。
【請求項２５】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化装置であって、
前記処理領域において、前記映像と相関を持つ補助情報であるデプスマップを使用して特定可能な境界状態、テクスチャ特性、予測精度のいずれかに応じて適応的に前記補間フィルタを生成または選択することにより前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリング手段と、を有し、
前記フィルタ特定手段において、前記境界状態に応じて適応的に前記補間フィルタを生成または選択する場合には、画像内の動的領域同士又は動的領域と静的領域との境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを前記処理領域とその周辺領域の動き補償予測に用いる動きベクトルから推定し、推定されたパターンに最も近い境界の状態を選択し、選択された前記境界の状態を用いて、前記補間フィルタを生成または選択し、
前記フィルタ特定手段において、前記テクスチャ特性に応じて適応的に前記補間フィルタを生成または選択する場合には、前記処理領域において、該処理領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択し、
前記フィルタ特定手段において、前記予測精度に応じて適応的に前記補間フィルタを生成または選択する場合には、前記予測精度の高いブロックでは予測画像における前記境界状態又は前記テクスチャ特性に基づいて前記補間フィルタを生成または選択する映像符号化装置。
【請求項２６】
符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化装置であって、
前記処理領域において、前記映像と相関を持つ補助情報である映像を使用して特定可能な境界状態、テクスチャ特性、予測精度のいずれかに応じて適応的に前記補間フィルタを生成または選択することにより前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリング手段と、を有し、
前記符号化対象の映像はデプスマップであり、前記補助情報は、前記デプスマップに対応する同じ視点の映像の情報であり、
前記フィルタ特定手段において、前記境界状態に応じて適応的に前記補間フィルタを生成または選択する場合には、画像内の動的領域同士又は動的領域と静的領域との境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを前記処理領域とその周辺領域の動き補償予測に用いる動きベクトルから推定し、推定されたパターンに最も近い境界の状態を選択し、選択された前記境界の状態を用いて、前記補間フィルタを生成または選択し、
前記フィルタ特定手段において、前記テクスチャ特性に応じて適応的に前記補間フィルタを生成または選択する場合には、前記処理領域において、該処理領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択し、
前記フィルタ特定手段において、前記予測精度に応じて適応的に前記補間フィルタを生成または選択する場合には、前記予測精度の高いブロックでは予測画像における前記境界状態又は前記テクスチャ特性に基づいて前記補間フィルタを生成または選択することを特徴とする映像符号化装置。
【請求項２７】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号装置であって、
前記処理領域において、前記映像と相関を持つ補助情報であるデプスマップを使用して特定可能な境界状態、テクスチャ特性、予測精度のいずれかに応じて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリング手段と、を有し、
前記フィルタ特定手段において、前記境界状態に応じて適応的に前記補間フィルタを生成または選択する場合には、画像内の動的領域同士又は動的領域と静的領域との境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを前記処理領域とその周辺領域の動き補償予測に用いる動きベクトルから推定し、推定されたパターンに最も近い境界の状態を選択し、選択された前記境界の状態を用いて、前記補間フィルタを生成または選択し、
前記フィルタ特定手段において、前記テクスチャ特性に応じて適応的に前記補間フィルタを生成または選択する場合には、前記処理領域において、該処理領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択し、
前記フィルタ特定手段において、前記予測精度に応じて適応的に前記補間フィルタを生成または選択する場合には、前記予測精度の高いブロックでは予測画像における前記境界状態又は前記テクスチャ特性に基づいて前記補間フィルタを生成または選択する映像復号装置。
【請求項２８】
符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号装置であって、
前記処理領域において、前記映像と相関を持つ補助情報である映像を使用して特定可能な境界状態、テクスチャ特性、予測精度のいずれかに応じて適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリング手段と、を有し、
前記符号化対象の映像はデプスマップであり、前記補助情報は、前記デプスマップに対応する同じ視点の映像の情報であり、
前記フィルタ特定手段において、前記境界状態に応じて適応的に前記補間フィルタを生成または選択する場合には、画像内の動的領域同士又は動的領域と静的領域との境界が、少なくとも水平状態、垂直状態、右肩上がり状態、右肩下がり状態、境界なしの状態の何れか一つ又は複数を含むパターンのうちどのようなパターンの状態であるかを前記処理領域とその周辺領域の動き補償予測に用いる動きベクトルから推定し、推定されたパターンに最も近い境界の状態を選択し、選択された前記境界の状態を用いて、前記補間フィルタを生成または選択し、
前記フィルタ特定手段において、前記テクスチャ特性に応じて適応的に前記補間フィルタを生成または選択する場合には、前記処理領域において、該処理領域のテクスチャ特性を示す情報に応じて、予め定めた係数パターンから選択する又は何れかの関数に基づいて計算することによって得られる補間フィルタ係数を用いて適応的に前記補間フィルタを生成または選択し、
前記フィルタ特定手段において、前記予測精度に応じて適応的に前記補間フィルタを生成または選択する場合には、前記予測精度の高いブロックでは予測画像における前記境界状態又は前記テクスチャ特性に基づいて前記補間フィルタを生成または選択することを特徴とする映像復号装置。
【国際調査報告】
2014010583.tif 000024
2014010583.tif 000025
2014010583.tif 000026
2014010583.tif 000027