(57)【要約】【課題】動画像データを符号化する際の発生情報量を抑制しつつ主観画質を向上できる動画像復号装置を提供する。【解決手段】動画像復号装置は、符号化された動画像データに含まれる第１の符号化データから、複数の画像のそれぞれの縮小画像を復号する第１の復号部（２２）と、符号化された動画像データに含まれる第２の符号化データから、複数の画像のうち表示順において互いに不連続な複数の第１の画像を復号する第２の復号部（２４）と、複数の画像のうちの第２の画像の縮小画像が復号される度に、その縮小画像において第２の画像の直前の第１の画像の縮小画像に対して動きのある領域を記録する動領域記録部（２５）と、第２の画像のそれぞれについて、復号された縮小画像上の動きのある領域をアップサンプリングして得られる領域で、復号された直前の第１の画像の対応領域を置換することで第２の画像を再生する合成部（２７）とを有する。【選択図】図６
2018067751.tif 000002
【特許請求の範囲】
【請求項１】
符号化された動画像データから、前記動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれの縮小画像が符号化された第１の符号化データと、前記複数の画像のうち表示順において互いに不連続な複数の第１の画像が符号化された第２の符号化データとを取り出す分離部と、
前記第１の符号化データから前記複数の画像のそれぞれの前記縮小画像を復号する第１の復号部と、
前記第２の符号化データから前記複数の第１の画像のそれぞれを復号する第２の復号部と、
前記複数の画像のうちの前記第１の画像でない第２の画像の前記縮小画像が復号される度に、当該縮小画像において当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きのある領域を記録する動領域記録部と、
前記第２の画像のそれぞれについて、復号された前記縮小画像上の前記動きのある領域をアップサンプリングして得られる領域で、復号された直前の前記第１の画像の対応領域を置換することで当該第２の画像を再生する合成部と、
を有する動画像復号装置。
【請求項２】
前記第２の画像のそれぞれの前記縮小画像の前記動きのある領域は、当該第２の画像の直前の他の第２の画像の前記縮小画像または当該第２の画像の直前の前記第１の画像の前記縮小画像を参照して符号化され、前記第２の画像のそれぞれの前記縮小画像において当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きの無い領域の符号化はスキップされており、
前記動領域記録部は、前記第２の画像のそれぞれについて、当該第２の画像の前記縮小画像において符号化された領域を前記動きのある領域とする、請求項１に記載の動画像復号装置。
【請求項３】
前記第２の画像のそれぞれの前記縮小画像の前記動きのある領域は、当該第２の画像の直前の他の第２の画像の前記縮小画像を参照して符号化され、
前記動領域記録部は、前記第２の画像のそれぞれについて、当該第２の画像の直前の前記第１の画像から当該第２の画像までの各第２の画像の前記縮小画像において符号化された領域の和集合を前記動きのある領域とする、請求項２に記載の動画像復号装置。
【請求項４】
前記第２の画像のそれぞれの前記縮小画像の前記動きのある領域は、当該第２の画像の直前の前記第１の画像の前記縮小画像を参照して符号化され、
前記動領域記録部は、前記第２の画像のそれぞれについて、当該第２の画像の前記縮小画像において符号化された領域を前記動きのある領域とする、請求項２に記載の動画像復号装置。
【請求項５】
符号化された動画像データから、前記動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれの縮小画像が符号化された第１の符号化データと、前記複数の画像のうち表示順において互いに不連続な複数の第１の画像が符号化された第２の符号化データとを取り出し、
前記第１の符号化データから前記複数の画像のそれぞれの前記縮小画像を復号し、
前記第２の符号化データから前記複数の第１の画像のそれぞれを復号し、
前記複数の画像のうちの前記第１の画像でない第２の画像の前記縮小画像が復号される度に、当該縮小画像において当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きのある領域を記録し、
前記第２の画像のそれぞれについて、復号された前記縮小画像上の前記動きのある領域をアップサンプリングして得られる領域で、復号された直前の前記第１の画像の対応領域を置換することで当該第２の画像を再生する、
ことを含む動画像復号方法。
【請求項６】
符号化された動画像データから、前記動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれの縮小画像が符号化された第１の符号化データと、前記複数の画像のうち表示順において互いに不連続な複数の第１の画像が符号化された第２の符号化データとを取り出し、
前記第１の符号化データから前記複数の画像のそれぞれの前記縮小画像を復号し、
前記第２の符号化データから前記複数の第１の画像のそれぞれを復号し、
前記複数の画像のうちの前記第１の画像でない第２の画像の前記縮小画像が復号される度に、当該縮小画像において当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きのある領域を記録し、
前記第２の画像のそれぞれについて、復号された前記縮小画像上の前記動きのある領域をアップサンプリングして得られる領域で、復号された直前の前記第１の画像の対応領域を置換することで当該第２の画像を再生する、
ことをコンピュータに実行させるための動画像復号用コンピュータプログラム。
【請求項７】
動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれをダウンサンプリングして、前記複数の画像のそれぞれごとに縮小画像を生成する縮小部と、
前記複数の画像のそれぞれの前記縮小画像を符号化する第１の符号化部と、
前記複数の画像のうち表示順において互いに不連続な複数の第１の画像を符号化する第２の符号化部と、
を有する動画像符号化装置。
【請求項８】
前記第１の符号化部は、前記複数の画像のうちの前記第１の画像でない第２の画像のそれぞれについて、当該第２の画像の前記縮小画像のうち、当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きのある領域を、前記直前の第１の画像の前記縮小画像または当該第２の画像の直前の他の第２の画像の縮小画像を参照して符号化し、当該第２の画像の前記縮小画像のうち、前記直前の第１の画像の前記縮小画像に対して動きの無い領域の符号化をスキップする、請求項７に記載の動画像符号化装置。
【請求項９】
二つの前記第１の画像間の間隔を、前記縮小画像に対する、当該二つの前記第１の画像間の各第２の画像の前記縮小画像上で前記動きのある領域の和集合の比に応じて設定する符号化制御部をさらに有する、請求項７または８に記載の動画像符号化装置。
【請求項１０】
動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれをダウンサンプリングして、前記複数の画像のそれぞれごとに縮小画像を生成し、
前記複数の画像のそれぞれの前記縮小画像を符号化し、
前記複数の画像のうち表示順において互いに不連続な複数の第１の画像を符号化する、
ことを含む動画像符号化方法。
【請求項１１】
動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれをダウンサンプリングして、前記複数の画像のそれぞれごとに縮小画像を生成し、
前記複数の画像のそれぞれの前記縮小画像を符号化し、
前記複数の画像のうち表示順において互いに不連続な複数の第１の画像を符号化する、
ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、動画像データを階層符号化する動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム、及び、階層符号化された動画像データを復号する動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラムに関する。
【背景技術】
【０００２】
動画像データは、一般に、大きなデータ量を有する。特に、いわゆる4K、8Kといった、非常に画素数が多い規格に従った動画像データは、非常に大きいデータ量を有することがある。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信する場合、あるいは、動画像データを記憶装置に記憶する場合、動画像データを圧縮符号化する。代表的な動画像の符号化標準として、International Standardization Organization/International Electrotechnical Commission(ISO/IEC)で策定されたMoving Picture Experts Group phase 2（MPEG-2）、あるいはMPEG-4、H.264 MPEG-4 Advanced Video Coding（MPEG-4 AVC/H.264）が挙げられる。また、新たな標準として、High Efficiency Video Coding(HEVC, MPEG-H/H.265)が策定されている。
【０００３】
一方、復号装置によっては、符号化された動画像データから、元の品質がほぼ維持された動画像データを復号するには、演算能力が不足していることがある。そこで、復号装置の演算能力に応じて適応的に品質の異なる動画像データを配信するための技術として、階層符号化（スケーラブル符号化とも呼ばれる）技術が提案されている（例えば、特許文献１を参照）。スケーラブル符号化技術では、符号化された動画像データを復号する際に、動画像データに含まれる各ピクチャの解像度またはフレームレートを元の解像度またはフレームレートよりも低下させることが可能となる。そして解像度またはフレームレートの低下により、必要な演算能力のレベルも低くて済む。
【０００４】
また、用途によっては、ピクチャの一部の領域について元の品質で再生できればよく、他の領域の品質は低くてもよいことがある。そこで、ピクチャごとに、YCbCr 4:4:4形式で符号化するブロックとYCbCr 4:2:0形式で符号化するブロックとをブロック単位で切り替える技術（例えば、非特許文献１）が提案されている。なお、YCbCr 4:4:4形式は、ピクチャを表現する形式の一つであり、各画素の値が、輝度信号Yと二つの色差信号Cb、Crで表され、かつ、輝度信号Yの空間解像度（すなわち、ピクチャサイズ）と二つの色差信号Cb、Crの空間解像度が同じとなる形式である。一方、YCbCr 4:2:0形式は、YCbCr 4:4:4形式と比較して、二つの色差成分(Cb, Cr)が縦方向及び横方向のそれぞれについて1/2にダウンサンプリングされたものとなる。
【０００５】
非特許文献１に記載された技術では、ピクチャ内のブロックごとに画素値が調べられ、その結果に基づいて、YCbCr 4:4:4形式で符号化するか、YCbCr 4:2:0形式で符号化するかが切り替えられる。例えば、文字領域といった、微細な線構造が含まれるブロックは、YCbCr 4:4:4形式で符号化され、一方、カメラにより生成された映像などが含まれるブロックは、YCbCr 4:2:0形式で符号化される。これにより、YCbCr 4:4:4形式で符号化されるブロックの数が必要最低限になるため、符号化動画像データの発生情報量が抑制される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開第２０１５／１８２３４２号
【非特許文献】
【０００７】
【非特許文献１】T.Lin, S.Wang, “ Mixed Chroma Sampling-rate coding: combining the merits of 4:4:4 and 4:2:0 and increasing the value of past 4:2:0 investment”, JCTVC-H0065, 8th JCT-VC Meeting, San Jose, USA, 1-10 February, 2012
【発明の概要】
【発明が解決しようとする課題】
【０００８】
非特許文献１に記載された技術では、ピクチャ内にYCbCr 4:4:4形式のブロックとYCbCr4:2:0形式のブロックが混在するため、符号化装置及び復号装置の構成及び制御が複雑化してしまう。また、この技術では、ピクチャを予測符号化する際に、参照元のブロックと参照先のブロックとの色差の表現形式が異なる場合の制御が複雑になる。そのため、現時点ではブロック単位で色差の表現形式を切り替えることが可能な符号化標準は存在しない。
【０００９】
一つの側面では、本発明は、動画像データを符号化する際の発生情報量を抑制しつつ主観画質を向上できる動画像復号装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
一つの実施形態によれば、動画像復号装置が提供される。この動画像復号装置は、符号化された動画像データから、動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれの縮小画像が符号化された第１の符号化データと、複数の画像のうち表示順において互いに不連続な複数の第１の画像が符号化された第２の符号化データとを取り出す分離部と、第１の符号化データから複数の画像のそれぞれの縮小画像を復号する第１の復号部と、第２の符号化データから複数の第１の画像のそれぞれを復号する第２の復号部と、複数の画像のうちの第１の画像でない第２の画像の縮小画像が復号される度に、その縮小画像において第２の画像の直前の第１の画像の縮小画像に対して動きのある領域を記録する動領域記録部と、第２の画像のそれぞれについて、復号された縮小画像上の動きのある領域をアップサンプリングして得られる領域で、復号された直前の第１の画像の対応領域を置換することで第２の画像を再生する合成部とを有する。
【００１１】
他の実施形態によれば、動画像符号化装置が提供される。この動画像符号化装置は、動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれをダウンサンプリングして、複数の画像のそれぞれごとに縮小画像を生成する縮小部と、複数の画像のそれぞれの縮小画像を符号化する第１の符号化部と、複数の画像のうち表示順において互いに不連続な複数の第１の画像を符号化する第２の符号化部とを有する。
【発明の効果】
【００１２】
動画像データを符号化する際の発生情報量を抑制しつつ主観画質を向上できる。
【図面の簡単な説明】
【００１３】
【図１】YCbCr 4:2:0形式化による画質劣化の例を模式的に示す図である。
【図２】一つの実施形態による、動画像データの階層符号化の模式図である。
【図３】一つの実施形態による動画像符号化装置の概略構成図である。
【図４】基本層及び拡張層における、参照関係の一例を示す図である。
【図５】動画像符号化処理の動作フローチャートである。
【図６】一つの実施形態による動画像復号装置の概略構成図である。
【図７】色差成分の合成に関する説明図である。
【図８】動画像復号処理の動作フローチャートである。
【図９】変形例による、基本層及び拡張層における、参照関係の一例を示す図である。
【図１０】変形例による、色差成分の合成に関する説明図である。
【図１１】動画像符号化装置または動画像復号装置として動作するコンピュータの構成図である。
【発明を実施するための形態】
【００１４】
以下、図を参照しつつ、動画像符号化装置及び動画像復号装置について説明する。
最初に、ピクチャ内でYCbCr 4:4:4形式で符号化されるブロックとYCbCr4:2:0形式で符号化されるブロックとが混在することが好ましい例について説明する。
【００１５】
近年のIT技術の進歩に伴い、コンピュータのデスクトップ画面に表示されるスクリーン映像にも、動画像符号化を適用することが検討されている。例えば、ディスプレイ機器に対し、コンピュータまたはゲーム機器の表示映像を無線伝送するWireless display、及び、仮想OSのユーザ画面をシンクライアント端末に伝送するデスクトップ仮想化(Virtual Display Infrastructure, VDI)が挙げられる。このようなスクリーン映像については、符号化による発生情報量の抑制と主観画質の向上を達成するために、スクリーン映像の各ピクチャにおいて、動きのある領域はYCbCr4:2:0形式で符号化し、それ以外の領域はYCbCr 4:4:4形式で符号化することが好ましい。
【００１６】
より詳細に説明すると、スクリーン映像は、自然映像とは異なる特徴を持っている。例えば、自然映像では、複数の画素にわたって同じ物体が写っていることが多いため、注目画素の画素値と隣接画素の画素値との間には、高い相関性が存在することが多い。一方、スクリーン映像では、隣接する画素間の相関性が低い領域が多く存在する。例えば、ドキュメント編集画面での文字が表示されている領域、あるいは、Computer Aided Design(CAD)データ編集画面での一画素単位の細線が表示されている領域では、文字輪郭あるいは細線を横切る方向における画素間の相関性は低い。
【００１７】
そのため、スクリーン映像では、YCbCr 4:4:4形式で表されたピクチャとYCbCr 4:2:0形式で表されたピクチャとの差が明確に知覚されてしまうことがある。例えば、CAD画像の配線といった一画素単位の細線は、空間周波数が高い色差成分を含む。そのため、一般的なフラットな背景が用いられる場合に、空間解像度が低い形式で色差成分を符号化及び復号すると、画質の劣化が顕著に認知されてしまう。
【００１８】
図１は、YCbCr 4:2:0形式化による画質劣化の例を模式的に示す図である。ピクチャ１１０は、YCbCr 4:4:4形式で表されたオリジナルのピクチャである。中央の縦線１１１（画素値は(Y, Cb, Cr) = (128, 0, 0)）以外の画素１１２の画素値は(0, 128, 128)である。一方、ピクチャ１２０は、オリジナルのピクチャの色差成分(Cb, Cr)に対し、横方向及び縦方向に2:1ダウンサンプリングフィルタを適用して4:2:0形式に変更した後、1:2アップサンプリングフィルタを適用して、元の4:4:4形式に戻して得られるピクチャである。ダウンサンプリングフィルタ及びアップサンプリングフィルタの適用により生成したピクチャ１２０では、エッジ近傍の画素の色差成分値が元の値から変化する。この例では、オリジナルのピクチャ１１０の縦線１１１と同じ位置にある中央の縦線１２１上の各画素の値は(128, 0, 0)から(128, 32, 32)に変化し、縦線１２１の両側に隣接する線１２２上の各画素の値は(0, 128, 128)から(0, 88, 88)に変化する。この画素値変化は、背景が一様な場合には特に明確に知覚される。
【００１９】
このように、ピクチャの符号化及び復号による、ピクチャ上で一画素の幅を持つ細線のような構造の劣化を防止するには、そのような構造が含まれるブロックについて、YCbCr 4:4:4（もしくはRGB 4:4:4）形式のまま、符号化及び復号化が行われることが好ましい。
【００２０】
しかし、YCbCr 4:4:4形式では、符号化対象となる色差成分の画素数がYCbCr 4:2:0形式と比較して多いため、符号化による発生情報量が増加する。そのため、そのような構造が含まれないブロックについては、発生情報量を抑制するために、YCbCr 4:2:0形式で符号化されることが好ましい。特に、スクリーン映像では、ピクチャ内に設けられる領域（例えば、ウィンドウ）によって、表示されるコンテンツが異なることがある。例えば、一方の領域では、細線といった構造を含むドキュメントなどが表示され、他の領域では、自然映像が表示されるといったことがある。
【００２１】
また、スクリーン映像では、自然映像が表示されたり、ユーザが操作したり、あるいは、アプリケーションの実行対象となる領域では、時間経過とともに何らかの物体が移動したり変形することがある。輝度成分(Y)に比べ色差成分(CB, Cr)の空間方向解像度の知覚特性が劣るという、人間の視覚特性上、このような動きのある物体を含む領域（以下、動領域と呼ぶ）については、色差成分の劣化は検知され難い。
【００２２】
特に、自然映像においては、ダウンサンプリングによって失なわれる、空間周波数が高い色差成分は殆ど存在しないため、結果としてYCbCr 4:4:4形式で表されたピクチャとYCbCr 4:2:0形式で表されたピクチャとの差は殆ど知覚されない。そのため、上記のように、動きのある領域はYCbCr4:2:0形式で符号化し、それ以外の領域はYCbCr 4:4:4形式で符号化することで、発生情報量を抑制しつつ、主観画質を向上することが可能となる。
【００２３】
そこで、この動画像符号化装置は、符号化対象となる動画像データの各ピクチャの色差成分(Cb,Cr)を、YCbCr 4:4:4形式と、YCbCr 4:2:0形式とで階層符号化する。その際、この動画像符号化装置は、YCbCr 4:4:4形式の色差成分については、表示順序で連続する複数のピクチャのうちの一枚の割合で符号化する。一方、YCbCr 4:2:0形式については、動画像符号化装置は、各ピクチャの色差成分を符号化する。これにより、動画像復号装置がピクチャを復号する際に、ピクチャ上で動きが無い領域については、YCbCr 4:4:4形式の色差成分が符号化された直前のピクチャを用い、動領域については、そのピクチャのYCbCr 4:2:0形式の色差成分を用いることが可能となる。
【００２４】
図２は、一つの実施形態による、動画像データの階層符号化の模式図である。
入力される動画像データは、例えば、デスクトップ画面に表示されるスクリーン映像であり、時刻t0〜t3の順に、ピクチャ２０１、２０２、２０３、２０４を含む。これらのピクチャは、YCbCr 4:4:4形式で表されている。各ピクチャにおいて、前景２１０が順に移動しており、それ以外の背景については変化が無いものとする。
【００２５】
上記のように、人間の視覚特性上、動領域の色差成分の劣化は検知し難い。前景２１０が存在する領域、及び前景２１０で一度隠された背景が存在する領域は、短期的には動領域となる。これら動領域をYCbCr 4:2:0形式で符号化及び表示することで、動画像符号化装置及び動画像復号装置は、主観的な画質劣化を抑制しつつ符号化による発生情報量を削減できる。例えば、時刻t1におけるピクチャ２０２では、前景２１０を含む領域と、時刻t0において前景２１０によって一度隠された背景とを含む領域２１２が動領域となる。同様に、時刻t2におけるピクチャ２０３では、前景２１０を含む領域と、時刻t0〜t1において前景２１０によって一度隠された背景とを含む領域２１３が動領域となる。また、時刻t3におけるピクチャ２０４では、前景２１０を含む領域と、時刻t0〜t2において前景２１０によって一度隠された背景とを含む領域２１４が動領域となる。その他の領域は、静止領域であり、視覚的な画質劣化を防ぐには、YCbCr 4:4:4形式で符号化及び表示されることが好ましい。
【００２６】
そこで、YCbCr 4:4:4形式のピクチャの色差成分が扱われる拡張層においては、時刻t0のピクチャ２０１の色差成分２２１が符号化される。色差成分２２１の各ブロックは、YCbCr 4:2:0形式の色差成分が扱われる基本層における同一時刻（すなわち、時刻t0）のピクチャ２０１の色差成分２３１の局所復号画像を4:4:4形式にアップサンプリングした画像を参照画像としてインター予測符号化される。入力された動画像は、デスクトップ画面に表示されるスクリーン映像であるため、ユーザが操作する領域またはアプリケーションプログラムの実行対象となる領域以外は全く変化しない。そのため、時刻t1からt3にかけて、動領域以外の静止領域では画素値が全く変化せず、静止領域内のブロックは、動きベクトルが０ベクトルとなり、かつ、予測誤差信号が完全にゼロとなる。そのため、静止領域内のブロックを仮に符号化するとしても直交変換などはスキップされる。ただし、このようなスキップが適用される場合でも、ブロック単位にスキップされたことを示す情報を符号化する必要がある。そこで本実施形態では、時刻t1〜t3において、拡張層に関しては、ピクチャの符号化自体がスキップされる。
【００２７】
一方、基本層では、拡張層の対応色差成分が符号化される時刻t0の色差成分２３１では、各ブロックはイントラ予測符号化される。なお、以下では、拡張層と基本層の両方で色差成分が符号化されるピクチャを、説明の便宜上、同時符号化ピクチャと呼ぶ。各同時符号化ピクチャは、表示順において互いに対して不連続となる。そして、拡張層の対応色差成分が符号化されない、時刻t1〜t3の各ピクチャの色差成分２３２〜２３４については、各ブロックは、基本層における直前の時刻のピクチャの色差成分の局所復号画像を参照してインター予測符号化される。その際、動領域、すなわち、前景を含む領域または前景によって一度隠れた背景領域に含まれるブロックはスキップせずに符号化される。なお、スキップせずに符号化すること、すなわち、予測誤差信号の算出、直交変換及び量子化を行うことを、以下では、非スキップ符号化と呼ぶ。
【００２８】
一方、静止領域に含まれるその他のブロックについては、直前のピクチャの対応領域と完全に一致するため、符号化がスキップされる（なお、本明細書において、ブロック単位での符号化のスキップは、予測誤差の直交変換及び量子化が省略されることをいう）。この例では、時刻t1のピクチャ２の色差成分２３２では、領域２４２に含まれる各ブロックが非スキップ符号化され、他の領域に含まれる各ブロックについては符号化がスキップされる。また、時刻t2のピクチャの色差成分２３３では、領域２４３に含まれる各ブロックが非スキップ符号化され、他の領域に含まれる各ブロックについては符号化がスキップされる。同様に、時刻t3のピクチャの色差成分２３４では、領域２４４に含まれる各ブロックが非スキップ符号化され、他の領域に含まれる各ブロックについては符号化がスキップされる。
【００２９】
本実施形態では、動画像符号化装置は、空間解像度に関して階層符号化が適用可能な符号化標準の一つであるH.265に準拠して動画像データを符号化する。しかし、動画像符号化装置は、空間解像度に関して階層符号化が適用可能な他の符号化標準に準拠して動画像データを符号化してもよい。
【００３０】
また、動画像データに含まれるピクチャは、YCbCr形式で表されるものとする。すなわち、ピクチャは、輝度成分と二つの色差成分とで表される。輝度成分及び二つの色差成分は、それぞれ、動画像データに含まれる画像の一例である。またピクチャは、フレームまたはフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータ及び偶数行のデータの何れか一方を取り出すことにより得られる静止画像である。
【００３１】
図３は、一つの実施形態による動画像符号化装置の概略構成図である。動画像符号化装置１は、バッファ１０と、符号化制御部１１と、縮小部１２と、基本層符号化部１３と、拡大部１４と、拡張層符号化部１５と、輝度成分符号化部１６と、多重化部１７とを有する。
【００３２】
動画像符号化装置１が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像符号化装置１が有するこれらの各部は、その各部に対応する回路が集積された一つまたは複数の集積回路として動画像符号化装置１に実装されてもよい。さらに、動画像符号化装置１が有するこれらの各部は、動画像符号化装置１が有する一つまたは複数のプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。
【００３３】
バッファ１０には、動画像データに含まれる各ピクチャが、その再生順序に従って入力される。そしてバッファ１０に蓄積されたピクチャは、符号化制御部１１により設定されたピクチャの符号化順序に従って順次読み出される。またバッファ１０は、局所復号画像など、符号化処理の途中で生成される各種のデータを保存してもよい。
【００３４】
符号化制御部１１は、入力された動画像データに含まれる各ピクチャのうち、拡張層符号化部１５による符号化対象となるピクチャ、すなわち、同時符号化ピクチャを判定する。例えば、符号化制御部１１は、直前の同時符号化ピクチャから着目するピクチャまでの間の各ピクチャの基本層の色差成分において動きの有る領域の和集合が基本層の色差成分に占める割合を算出する。そして符号化制御部１１は、その割合が所定の比率（例えば、0.25）以上になったとき、着目するピクチャの次のピクチャを同時符号化ピクチャとする。これにより、符号化制御部１１は、ピクチャ上での動きが少ないほど、同時符号化ピクチャ間の間隔を長くすることができるので、ピクチャ上での動きが少ないほど、符号化による発生情報量を削減できる。また、符号化制御部１１は、同時符号化ピクチャごとに、非スキップ符号化されるブロックの数を０にリセットする。
【００３５】
符号化制御部１１は、基本層の色差成分におけるブロックの総数に対する、直前の同時符号化ピクチャから着目するピクチャまでの間の何れかのピクチャの基本層の色差成分において非スキップ符号化されるブロックの合計の比を、上記の割合として算出できる。あるいは、符号化制御部１１は、基本層の色差成分全体の画素数に対する、直前の同時符号化ピクチャから着目するピクチャまでの間の何れかのピクチャの基本層の色差成分において非スキップ符号化される画素数の比を、上記の割合として算出してもよい。なお、符号化制御部１１は、色差成分ごとに別個に同時符号化ピクチャを決定してもよく、あるいは、二つの色差成分のうちの何れか一方について算出した割合が所定の比率以上となった直後のピクチャを同時符号化ピクチャとしてもよい。
【００３６】
あるいはまた、符号化制御部１１は、予め設定された一定周期ごとのピクチャを同時符号化ピクチャとしてもよい。この場合には、符号化制御部１１は、動画像復号装置において途中から再生可能なピクチャ（すなわち、同時符号化ピクチャ）間の間隔を一定にできる。
【００３７】
符号化制御部１１は、動画像データに含まれる各ピクチャを表示順序に従ってバッファ１０から読出す。そして符号化制御部１１は、同時符号化ピクチャの色差成分を縮小部１２及び拡張層符号化部１５へわたす。一方、符号化制御部１１は、同時符号化ピクチャ以外のピクチャの色差成分を縮小部１２へわたす。
【００３８】
また、符号化制御部１１は、各ピクチャの輝度成分を、表示順序に従って輝度成分符号化部１６へわたす。
【００３９】
縮小部１２は、色差(Cb,Cr)ごとに、入力された色差成分をダウンサンプリングして、入力された色差成分の画素数よりも少ない画素数を持つ基本層の色差成分を生成する。基本層の色差成分は、縮小画像の一例である。本実施形態では、入力された色差成分、すなわち、拡張層の色差成分は、YCbCr 4:4:4形式の色差成分であり、基本層の色差成分は、YCbCr 4:2:0形式の色差成分である。したがって、縮小部１２は、入力された各色差成分を、水平方向及び垂直方向のそれぞれについて縮小率1/2で縮小する。すなわち、縮小部１２は、入力された各色差成分の画素数を、水平方向及び垂直方向のそれぞれについて、1/2にする。
【００４０】
縮小部１２は、例えば、色差ごとに、入力された色差成分にガウシアンフィルタまたは平均化フィルタといった平滑化フィルタを適用してその色差成分を平滑化する。そして縮小部１２は、色差ごとに、水平方向及び垂直方向の縮小率（本実施形態では、1/2）に応じて、平滑化された色差成分をダウンサンプリングすることで、基本層の色差成分を生成する。
【００４１】
縮小部１２は、各ピクチャについて、基本層の各色差成分を基本層符号化部１３へ出力する。
【００４２】
基本層符号化部１３は、ピクチャごとに、基本層の各色差成分を符号化する。なお、基本層符号化部１３は、Cbの色差成分及びCrの色差成分の両方に同じ符号化処理を適用するので、以下では、一つの色差成分に対する符号化処理について説明する。
【００４３】
基本層符号化部１３は、符号化対象となるピクチャの色差成分を、符号化ブロックCoding Tree Unit(CTU)単位で分割し、各CTUをラスタスキャン順に符号化する。その際、基本層符号化部１３は、CTUごとに、そのCTUを四分木構造で複数のCoding Unit(CU)に分割する。なお、CUは、ブロックの一例である。そして基本層符号化部１３は、各CUについて、そのCU内に設定されるPrediction Unit(PU)ごとに、符号化済みのピクチャの色差成分を復号して得られた局所復号画像または符号化対象となるピクチャの符号化済みの領域を参照して予測ブロックを生成する。そして基本層符号化部１３は、各CUについて、そのCU内の各画素と予測ブロックの対応画素間の差分値を予測誤差信号として算出する。そして基本層符号化部１３は、各CUについて、そのCU内に設定されるTransform Unit(TU)ごとに、予測誤差信号を直交変換して直交変換係数の組を算出する。基本層符号化部１３は、TUごとに算出された直交変換係数の組を所定の符号化レートに応じて量子化し、量子化された直交変換係数の組をエントロピー符号化する。さらに基本層符号化部１３は、予測ブロックの生成に利用する情報、例えば、動き補償用の動きベクトルなどもエントロピー符号化してもよい。これにより、基本層符号化部１３は、色差成分の符号化データを算出する。
【００４４】
なお、基本層符号化部１３は、CTUごとに、符号化コストが最小化されるように、予め設定される複数のCUのサイズ、PUのサイズ及びTUのサイズの中からCUのサイズ、PUのサイズ及びTUのサイズを選択してもよい。
【００４５】
本実施形態では、上記のように、同時符号化ピクチャについて、基本層符号化部１３は、各CUをイントラ予測符号化する。すなわち、基本層符号化部１３は、各CUについて、そのCU内のPUごとに、そのピクチャの色差成分における符号化済みの領域を参照して予測ブロックを生成する。これにより、動画像符号化装置１は、入力動画像データを、同時符号化ピクチャから再生可能なように符号化できる。
【００４６】
一方、同時符号化ピクチャ以外のピクチャ、すなわち、拡張層の色差成分が符号化されないピクチャについては、基本層符号化部１３は、各CUについて、直前のピクチャの色差成分における同じ位置の領域との間で対応画素間の差分値の絶対値和を算出する。そして基本層符号化部１３は、差分値の絶対値和が０であるCUについて、すなわち、直前のピクチャの色差成分における同じ位置の領域と完全に一致するCUについて、符号化をスキップする。そして基本層符号化部１３は、符号化をスキップするCUについて、符号化をスキップしたことを示す情報を符号化データに付す。
【００４７】
また、基本層符号化部１３は、差分値の絶対値和が０でない各CUを、表示順序で直前のピクチャの色差成分を参照してインター予測符号化する。すなわち、基本層符号化部１３は、差分値の絶対値和が０でない各CUについて、そのCU内のPUごとに、直前のピクチャから得られた局所復号画像とブロックマッチングを行って最も一致する領域を求め、その領域を予測ブロックとする。これにより、動画像符号化装置１は、動領域に含まれるCUを非スキップ符号化し、他のCUについて符号化をスキップするので、符号化による発生情報量を削減できる。
【００４８】
基本層符号化部１３は、色差成分ごとに、符号化データを多重化部１７へ出力するとともに、非スキップ符号化したCUの位置及び範囲を表す情報を符号化制御部１１へ通知する。また基本層符号化部１３は、色差成分ごとに、各TUの量子化された直交変換係数の組に対して逆量子化及び逆直交変換を行うことで予測誤差信号を再生し、再生した予測誤差信号に予測ブロックの対応画素の値を加算することで局所復号画像を算出する。そして基本層符号化部１３は、局所復号画像をバッファ１０に保存する。さらに、基本層符号化部１３は、同時符号化ピクチャについての各色差成分の局所復号画像を拡大部１４へ出力する。
【００４９】
なお、変形例によれば、基本層符号化部１３は、同時符号化ピクチャ以外のピクチャについて、CTUごとに、符号化をスキップするか否かを判定してもよい。この場合、CTUが、ブロックの他の一例となる。この例では、基本層符号化部１３は、CTUごとに、直前のピクチャの色差成分における同じ位置の領域との間で対応画素間の差分値の絶対値和を算出し、その差分値の絶対値和が０であるCTUについて符号化をスキップすると判定すればよい。また他の変形例によれば、基本層符号化部１３は、CUごと、あるいは、CTUごとに、対応画素間の差分値の絶対値和を、０でない所定の閾値と比較し、差分値の絶対値和が所定の閾値未満となるCUあるいはCTUについて符号化をスキップしてもよい。なお、所定の閾値は、例えば、CUあるいはCTU内の何れかの画素の値が過去のピクチャの画素の値で置換されることにより生じる画質劣化が許容される程度となるように設定される。これにより、符号化がスキップされるブロックの数が増えるので、動画像符号化装置１は、符号化による発生情報量をより削減できる。
【００５０】
拡大部１４は、同時符号化ピクチャについて、基本層の二つの色差成分のそれぞれの局所復号画像をアップサンプリングすることで、色差成分ごとに、拡張層の色差成分を符号化する際に参照される局所復号画像（以下、拡大局所復号画像と呼ぶ）を生成する。
【００５１】
例えば、拡大部１４は、局所復号画像に対して、H.264のスケーラブル符号化で規定されているアップサンプリングフィルタを適用することで、拡大局所復号画像を生成する。なお、拡大部１４は、他のアップサンプリングフィルタを適用してもよい。
【００５２】
拡大部１４は、色差成分ごとに、拡大局所復号画像を拡張層符号化部１５へ出力する。
【００５３】
拡張層符号化部１５は、同時符号化ピクチャの拡張層の各色差成分を符号化する。拡張層符号化部１５は、基本層符号化部１３と同様に、H.265に準拠して、各色差成分を符号化すればよい。そのため、拡張層符号化部１５による符号化処理の詳細な説明については省略する。
【００５４】
ただし、本実施形態では、拡張層符号化部１５は、色差成分ごとに、同じピクチャについての拡大局所復号画像を参照してインター予測符号化することで、その色差成分の符号化データを算出する。すなわち、拡張層符号化部１５は、PUごとに同じピクチャについての拡大局所復号画像との間でブロックマッチングを行って最も一致する領域を求め、その領域を予測ブロックとすればよい。なお、拡張層符号化部１５は、インター予測符号化するよりもイントラ予測符号化した方が符号化コストが低くなるブロックについて、イントラ予測符号化してもよい。
【００５５】
拡張層符号化部１５は、同時符号化ピクチャの拡張層の各色差成分の符号化データを多重化部１７へ出力する。
【００５６】
図４は、基本層及び拡張層における、参照関係の一例を示す図である。図４において、横軸は時間を表す。また個々の矩形領域は、一つのピクチャの色差成分を表す。時刻t0におけるピクチャ及び時刻tNにおけるピクチャが同時符号化ピクチャである。また各ピクチャの色差成分を表すブロック内に示されている記号は、適用される予測符号化モードを表す。この例では、'I'は、イントラ予測符号化モードを表し、'P'はインター予測符号化モードを表す。そして各矢印は参照関係を表し、矢印の先が参照される色差成分、矢印の根元が参照する色差成分を表す。
【００５７】
図４に示されるように、時刻t0における同時符号化ピクチャの基本層の色差成分４００、及び、時刻tNにおける同時符号化ピクチャの基本層の色差成分４１０は、それぞれ、イントラ予測符号化される。そして同時符号化ピクチャ以外のピクチャ、すなわち、時刻t1〜t3の各ピクチャに対応する基本層の色差成分４０１〜４０３は、それぞれ、直前のピクチャの同じ層の色差成分の局所復号画像を参照してインター予測符号化される。また、時刻t0における同時符号化ピクチャの拡張層の色差成分４１０、及び、時刻tNにおける同時符号化ピクチャの拡張層の色差成分４１４は、それぞれ、同時刻の基本層の色差成分４００、４０４の拡大局所復号画像を参照してインター予測符号化される。
【００５８】
輝度成分符号化部１６は、入力動画像データの各ピクチャの輝度成分を符号化する。輝度成分符号化部１６は、例えば、基本層符号化部１３と同様に、H.265に準拠して、各ピクチャの輝度成分を符号化すればよい。ただし、輝度成分符号化部１６は、例えば、所定のGroup Of Pictures(GOP)に従って、各ピクチャがイントラ予測符号化されるか、あるいは、インター予測符号化されるかを決定すればよい。また、本実施形態では、基本層の輝度成分と拡張層の輝度成分は同じであるため、輝度成分符号化部１６は、基本層及び拡張層のうちの基本層の各ピクチャの輝度成分を符号化すればよい。
輝度成分符号化部１６は、各ピクチャの輝度成分の符号化データを多重化部１７へ出力する。
【００５９】
多重化部１７は、各ピクチャの基本層の各色差成分の符号化データ、同時符号化ピクチャの拡張層の各色差成分の符号化データ、及び、各ピクチャの輝度成分の符号化データを所定の順序で結合する。さらに、多重化部１７は、その結合された符号化データにH.265に従ったヘッダ情報などを付加することで、符号化された動画像データを含むビットストリームを得る。その際、多重化部１７は、基本層及び拡張層の各色差成分の符号化データ及び輝度成分の符号化データのそれぞれに対して、例えば、ピクチャごとの復号時刻及び表示時刻を表す時刻情報（例えば、Decode TimeStamp及びPresentation TimeStamp）を付加する。これにより、後述する動画像復号装置は、その時刻情報を参照することにより、各ピクチャのうちの同時符号化ピクチャを特定できる。
【００６０】
図５は、動画像符号化装置１による動画像符号化処理の動作フローチャートである。動画像符号化装置１はピクチャごとに、下記の動作フローチャートに従って符号化する。
【００６１】
縮小部１２は、符号化対象ピクチャの各色差成分をダウンサンプリングして基本層の各色差成分を生成する（ステップＳ１０１）。符号化制御部１１は、基本層の色差成分全体に占める、直前のピクチャまでにおける動領域の和集合の比に基づいて、符号化対象ピクチャが同時符号化ピクチャか否か判定する（ステップＳ１０２）。符号化対象ピクチャが同時符号化ピクチャである場合（ステップＳ１０２−Ｙｅｓ）、基本層符号化部１３は、基本層の各色差成分をブロックごとにイントラ予測符号化する（ステップＳ１０３）。そして拡大部１４は、色差ごとに、その色差成分の局所復号画像をアップサンプリングして拡大局所復号画像を生成する（ステップＳ１０４）。
【００６２】
拡張層符号化部１５は、同時符号化ピクチャである符号化対象ピクチャの拡張層の各色差成分を、対応する拡大局所復号画像を参照してブロックごとにインター予測符号化する（ステップＳ１０５）。
【００６３】
一方、符号化対象ピクチャが同時符号化ピクチャでない場合（ステップＳ１０２−Ｎｏ）、基本層符号化部１３は、基本層の各色差成分について、ブロックごとに符号化をスキップするか否か判定する（ステップＳ１０６）。そして基本層符号化部１３は、符号化をスキップすると判定したブロックについて符号化をスキップする（ステップＳ１０７）。また基本層符号化部１３は、符号化をスキップしないと判定したブロックを直前のピクチャの基本層の色差成分の局所復号画像を参照してインター予測符号化する（ステップＳ１０８）。
【００６４】
また、輝度成分符号化部１６は、符号化対象ピクチャの輝度成分を符号化する（ステップＳ１０９）。そして多重化部１７は、基本層の各色差成分の符号化データ及び輝度成分の符号化データを多重化する。さらに、符号化対象ピクチャが同時符号化ピクチャである場合、多重化部１７は、拡張層の各色差成分の符号化データを多重化する（ステップＳ１１０）。そして動画像符号化装置１は、動画像符号化処理を終了する。なお、ステップＳ１０９の処理は、ステップＳ１０２よりも前に実行されてもよく、あるいは、ステップＳ１０２〜Ｓ１０８の処理と並行して実行されてもよい。
【００６５】
次に、上記の動画像符号化装置により符号化された動画像データを復号する動画像復号装置について説明する。
【００６６】
図６は、一つの実施形態による動画像復号装置の概略構成図である。動画像復号装置２は、バッファ２０と、分離部２１と、基本層復号部２２と、拡大部２３と、拡張層復号部２４と、動領域記録部２５と、輝度成分復号部２６と、合成部２７とを有する。
動画像復号装置２が有するこれらの各部は、それぞれ、別個の回路として動画像復号装置２に実装される。あるいは、動画像復号装置２が有するこれらの各部は、その各部の機能を実現する回路が集積された一つまたは複数の集積回路として動画像復号装置２に実装されてもよい。あるいはまた、動画像復号装置２が有するこれらの各部は、動画像復号装置２が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。
【００６７】
バッファ２０には、符号化された動画像データを含むビットストリームが入力される。そしてバッファ２０から、符号化された動画像データのピクチャごとに、そのピクチャの各層の二つの色差成分の符号化データ及び輝度成分の符号化データが表示順序に従って順次読み出される。また、バッファ２０は、復号済みの各層の色差成分及び輝度成分など、動画像復号処理の途中で生成される各種のデータを保存してもよい。
【００６８】
分離部２１は、符号化された動画像データを含むビットストリームから、各ピクチャの基本層の各色差成分の符号化データ、同時符号化ピクチャの拡張層の各色差成分の符号化データ及び各ピクチャの輝度成分の符号化データを取り出す。そして分離部２１は、基本層の各色差成分の符号化データの符号化データを基本層復号部２２へ出力し、拡張層の各色差成分の符号化データを拡張層復号部２４へ出力する。さらに、分離部２１は、輝度成分の符号化データを輝度成分復号部２６へ出力する。
【００６９】
基本層復号部２２は、各ピクチャについて、基本層の各色差成分を復号する。本実施形態では、基本層復号部２２は、H.265に準拠して各色差成分を復号する。具体的には、基本層復号部２２は、色差成分ごとに、符号化データをエントロピー復号する。そして基本層復号部２２は、色差成分ごとに、非スキップ符号化された各ブロックについて、予測誤差信号をTUごとに直交変換して得られた直交変換係数の組が量子化された係数である量子化係数の組を再生する。
【００７０】
基本層復号部２２は、非スキップ符号化された各ブロックについて、再生した量子化係数の組をTUごとに逆量子化及び逆直交変換して各ブロックの予測誤差信号を再生する。
【００７１】
また基本層復号部２２は、ヘッダ情報から、非スキップ符号化された各ブロックに対して適用された符号化モードを特定する。そして基本層復号部２２は、着目するブロックがインター予測符号化されたブロックであれば、そのブロックについての動きベクトルを復号し、その動きベクトルで指定される復号済みのピクチャの色差成分上の領域を予測ブロックとする。また、基本層復号部２２は、着目するブロックがイントラ予測符号化されたブロックであれば、復号対象の色差成分の復号済みの領域から予測ブロックをもとめる。そして基本層復号部２２は、非スキップ符号化された各ブロックについて、そのブロックに対応する予測ブロックの各画素値に、その画素に対応する再生された予測誤差信号を加算することにより、そのブロックを再生する。
【００７２】
また、基本層復号部２２は、符号化がスキップされたブロックについては、復号済みの直前のピクチャにおける、そのスキップされたブロックと同位置のブロックを、そのスキップされたブロックにコピーすればよい。
【００７３】
そして基本層復号部２２は、色差成分ごとに、再生されたブロックを、符号化順序に従って結合することにより、その色差成分を再生する。基本層復号部２２は、再生された色差成分をバッファ２０に保存する。
なお、動画像復号装置２が他の符号化標準に準拠している場合には、基本層復号部２２は、その準拠している符号化標準に従って基本層の各色差成分を復号すればよい。
【００７４】
基本層復号部２２は、同時符号化ピクチャ以外のピクチャの各色差成分を復号する度に、その色差成分について非スキップ符号化されたブロックの位置及び範囲を動領域記録部２５へ通知する。
【００７５】
拡大部２３は、各ピクチャについて、基本層の各色差成分をアップサンプリングする。
【００７６】
例えば、拡大部２３は、基本層の各色差成分に対して、H.264のスケーラブル符号化で規定されているアップサンプリングフィルタを適用することで、拡張層の色差成分と同サイズの拡大復号画像を生成する。この例では、YCbCr 4:4:4形式の色差成分のサイズと同じサイズとなるように、基本層の各色差成分は拡大される。なお、拡大部２３は、他のアップサンプリングフィルタを適用してもよい。
拡大部２３は、ピクチャごとの拡大された各色差成分をバッファ２０に保存する。
【００７７】
拡張層復号部２４は、同時符号化ピクチャについて、拡張層の各色差成分を復号する。本実施形態では、拡張層復号部２４は、基本層復号部２２と同様に、H.265に準拠して各色差成分を復号すればよい。そのため、拡張層復号部２４による復号処理の詳細については省略する。なお、動画像復号装置２が他の符号化標準に準拠している場合には、拡張層復号部２４は、その準拠している符号化標準に従って拡張層の各色差成分を復号すればよい。
【００７８】
動領域記録部２５は、連続する二つの同時符号化ピクチャ間で、基本層の色差成分ごとに、非スキップ符号化された領域、すなわち、動領域を表す動領域マップを生成する。そのために、動領域記録部２５は、色差成分ごとに、基本層復号部２２から非スキップ符号化されたブロックの位置及び範囲を通知される度に、動領域マップ上にその位置及び範囲を追加することで、動領域マップを更新する。すなわち、動領域は、直前の同時符号化対象ピクチャから復号対象ピクチャまでに非スキップ符号化されたブロックの和集合となる。また、動領域記録部２５は、同時符号化ピクチャが復号される度に、動領域全体を消去するように動領域マップをリセットする。なお、動領域記録部２５は、各層の色差成分の符号化データに付される、表示時刻などを表す時刻情報を参照し、拡張層と基本層とで同じ表示時刻となる色差成分が含まれるピクチャを同時符号化ピクチャと判定すればよい。そして動領域記録部２５は、例えば、動領域マップが更新またはリセットされる度に、その動領域マップをバッファ２０に保存する。
【００７９】
輝度成分復号部２６は、ピクチャごとに、そのピクチャの輝度成分を復号する。本実施形態では、輝度成分復号部２６は、基本層復号部２２と同様に、H.265に準拠して輝度成分を復号すればよい。そのため、輝度成分復号部２６による復号処理の詳細については省略する。なお、動画像復号装置２が他の符号化標準に準拠している場合には、輝度成分復号部２６は、その準拠している符号化標準に従って輝度成分を復号すればよい。
輝度成分復号部２６は、復号した輝度成分を合成部２７へ出力する。
【００８０】
合成部２７は、ピクチャごとに、復号された輝度成分、基本層の各色差成分及び拡張層の各色差成分を合成することで、そのピクチャを再生する。
【００８１】
本実施形態では、合成部２７は、同時符号化ピクチャについては、その輝度成分と、拡張層の各色差成分とを合成することでそのピクチャを再生する。一方、合成部２７は、同時符号化ピクチャ以外のピクチャについては、そのピクチャの輝度成分及び基本層の各色差成分のうちの動領域に含まれるブロックと、直前の同時符号化ピクチャの拡張層の各色差成分とを合成することでそのピクチャを再生する。なお、合成部２７は、バッファ２０から読み出した動領域マップに基づいて、動領域に含まれるブロックを特定すればよい。また、合成部２７は、動領域記録部２５と同様に、各層の色差成分の符号化データに付される、表示時刻などを表す時刻情報を参照し、拡張層と基本層とで同じ表示時刻となる色差成分が含まれるピクチャを同時符号化ピクチャと判定すればよい。
【００８２】
図７は、色差成分の合成に関する説明図である。
図７において、横軸は時間を表す。この例では、時刻t0のピクチャ及び時刻tNのピクチャが同時符号化ピクチャである。また個々の矩形領域は、一つのピクチャの色差成分を表す。なお、基本層と拡張層とでブロック同士の位置を比較し易いように、基本層の色差成分及び動領域マップに関しては、拡張層に合わせて拡大されている。
【００８３】
時刻t0では、基本層の色差成分７００に含まれる各ブロックはイントラ予測符号化されているので、全てのブロックが復号される。また時刻t0では、動領域マップ７１０はリセットされ、動領域を含まない。さらに、時刻t0では、拡張層の色差成分７２０も復号される。そして拡張層の色差成分７２０自体が、再生されるピクチャの色差成分７３０となる。
【００８４】
次に、時刻t1では、基本層の色差成分７０１において、領域７５１に含まれる各ブロックが非スキップ符号化されている。この場合、動領域マップ７１１において、領域７５１が動領域７６１として記録される。そして時刻t1のピクチャの色差成分７３１は、時刻t0における、拡張層の色差成分７２０のうち、動領域７６１について、時刻t1における拡大された基本層の色差成分７０１の動領域７６１で置換されたものとなる。
【００８５】
同様に、時刻t2では、基本層の色差成分７０２において、領域７５２に含まれる各ブロックが非スキップ符号化されている。この場合、動領域マップ７１２において、領域７５１と領域７５２の和集合となる領域７６２が動領域として記録される。そして時刻t1のピクチャの色差成分７３２は、時刻t0における、拡張層の色差成分７２０のうち、動領域７６２について、時刻t1における拡大された基本層の色差成分７０２の動領域７６２で置換されたものとなる。
【００８６】
さらに、時刻t3では、基本層の色差成分７０３において、領域７５３に含まれる各ブロックが非スキップ符号化されている。この場合、動領域マップ７１３において、領域７５１、領域７５２及び領域７５３の和集合となる領域７６３が動領域として記録される。そして時刻t3のピクチャの色差成分７３３は、時刻t0における、拡張層の色差成分７２０のうち、動領域７６３について、時刻t3における拡大された基本層の色差成分７０３の動領域７６３で置換されたものとなる。
【００８７】
さらに、時刻tNでは、基本層の色差成分７０４に含まれる各ブロックはイントラ予測符号化されているので、全てのブロックが復号される。また時刻tNでは、動領域マップ７１４はリセットされ、動領域を含まない。さらに、時刻tNでは、拡張層の色差成分７２４自体が、再生されるピクチャの色差成分７３４となる。
【００８８】
合成部２７は、ピクチャごとに、上記のように合成された各色差成分と輝度成分とを組み合わせて、そのピクチャを再生する。そして合成部２７は、各ピクチャを、その表示順序に従って表示装置（図示せず）の表示画面に表示させる。
【００８９】
図８は、動画像復号装置２により実行される動画像復号処理の動作フローチャートである。例えば、動画像復号装置２は、符号化された動画像データに含まれるピクチャごとに以下の動作フローチャートに従って動画像復号処理を実行する。
【００９０】
分離部２１は、符号化された動画像データを含むビットストリームから、基本層の各色差成分の符号化データ及び輝度成分の符号化データを取り出す。また分離部２１は、復号対象ピクチャが同時符号化ピクチャである場合、拡張層の各色差成分の符号化データを取り出す（ステップＳ２０１）。そして分離部２１は、基本層の各色差成分の符号化データを基本層復号部２２へ出力し、拡張層の各色差成分の符号化データを拡張層復号部２４へ出力する。さらに、分離部２１は、輝度成分の符号化データを輝度成分復号部２６へ出力する。
【００９１】
輝度成分復号部２６は、復号対象ピクチャの輝度成分を復号する（ステップＳ２０２）。また基本層復号部２２は、復号対象ピクチャの基本層の各色差成分の符号化データから各色差成分を復号する（ステップＳ２０３）。そして基本層復号部２２は、色差ごとに、非スキップ符号化されたブロックの位置及び範囲を動領域記録部２５へ通知する。動領域記録部２５は、色差ごとに、通知された非スキップ符号化されたブロックの位置及び範囲に基づいて、動領域マップを更新する（ステップＳ２０４）。また、拡大部２３は、色差ごとに、復号された色差成分をアップサンプリングして拡大された色差成分を生成する（ステップＳ２０５）。
【００９２】
動画像復号装置２の制御部（図示せず）は、復号対象ピクチャが同時符号化ピクチャか否か判定する（ステップＳ２０６）。復号対象ピクチャが同時符号化ピクチャであれば（ステップＳ２０６−Ｙｅｓ）、拡張層復号部２４は、拡張層の各色差成分を復号する（ステップＳ２０７）。そして合成部２７は、拡張層の各色差成分と輝度成分とを合成することで復号対象ピクチャを再生する（ステップＳ２０８）。
【００９３】
一方、復号対象ピクチャが同時符号化ピクチャでなければ（ステップＳ２０６−Ｎｏ）、合成部２７は、色差ごとに、拡張層の色差成分のうち、動領域マップに示される動領域を、拡大された基本層の色差成分の同領域で置換する（ステップＳ２０９）。これにより、復号対象ピクチャの色差成分が再生される。そして合成部２７は、再生された各色差成分と輝度成分とを合成することで、復号対象ピクチャを再生する（ステップＳ２１０）。ステップＳ２０８またはＳ２１０の後、動画像復号装置２は、動画像復号処理を終了する。なお、ステップＳ２０２の処理は、ステップＳ２０３〜Ｓ２０７及びＳ２０９の処理と並行して実行されてもよい。
【００９４】
以上に説明してきたように、動画像符号化装置は、拡張層と基本層とでそれぞれ色差成分を符号化する。動画像復号装置は、直前の同時符号化ピクチャの拡張層の色差成分の動領域を、着目ピクチャの動領域の色差成分で置換することで、着目ピクチャの色差成分を再生する。このように、この動画像符号化装置及び動画像復号装置は、画質劣化に対する許容度が大きい動領域の色差成分の空間解像度を他の領域の空間解像度よりも低くしつつ符号化及び復号するので、画質の劣化が知覚されることを防止できる。そしてこの動画像符号化装置及び動画像復号装置は、ピクチャごとに、低解像度で符号化される動領域の位置及び範囲を変更できる。さらに、この動画像符号化装置は、拡張層については、連続する複数のピクチャのうちの同時符号化ピクチャについてのみ符号化し、基本層については、各ピクチャについて動領域以外について符号化をスキップすることで、符号化による発生情報量を削減できる。またこの動画像符号化装置及び動画像復号装置は、各層の色差成分を符号化及び復号する際に、基本層の色差成分と拡張層の色差成分を混在させたものを参照しない。そのため、この動画像符号化装置及び動画像復号装置は、空間解像度に関して階層符号化が規定されている既存の符号化標準を修正せずに、各ピクチャを符号化及び復号できる。
【００９５】
なお、変形例によれば、動画像符号化装置１の基本層符号化部１３は、同時符号化ピクチャ以外の各ピクチャの基本層の色差成分について、直前の同時符号化ピクチャの同じ層の色差成分の局所復号画像を参照して符号化してもよい。
【００９６】
図９は、この変形例による、基本層及び拡張層における、参照関係の一例を示す図である。図９において、横軸は時間を表す。また個々の矩形領域は、一つのピクチャの色差成分を表す。そして時刻t0におけるピクチャ及び時刻tNにおけるピクチャが同時符号化ピクチャである。また各ピクチャの色差成分を表すブロック内に示されている記号は、適用される予測符号化モードを表す。この例では、'I'は、イントラ予測符号化モードを表し、'P'はインター予測符号化モードを表す。そして各矢印は参照関係を表し、矢印の先が参照される色差成分、矢印の根元が参照する色差成分を表す。
【００９７】
図９に示されるように、時刻t0における同時符号化ピクチャの基本層の色差成分９００、及び、時刻tNにおける同時符号化ピクチャの基本層の色差成分９０４は、それぞれ、イントラ予測符号化される。同時符号化ピクチャ以外のピクチャ、すなわち、時刻t1〜t3の各ピクチャに対応する基本層の色差成分９０１〜９０３は、それぞれ、直前の同時符号化ピクチャの同じ層（すなわち、基本層）の色差成分９００の局所復号画像を参照してインター予測符号化される。また、時刻t0における同時符号化ピクチャの拡張層の色差成分９１０、及び、時刻tNにおける同時符号化ピクチャの拡張層の色差成分９１４は、それぞれ、同時刻の基本層の色差成分９００、９０４の拡大局所復号画像を参照してインター予測符号化される。
【００９８】
この変形例の場合も、動画像復号装置２の合成部２７は、上記の実施形態と同様に、色差ごとに、着目ピクチャについての拡大された基本層の色差成分の動領域で、直前の同時符号化ピクチャの拡張層の色差成分の動領域を置換することで、各色差成分を復号できる。また、この変形例の場合には、同時符号化ピクチャ以外の各ピクチャについては、直前の同時符号化ピクチャが参照されている。そのため、ピクチャごとに、そのピクチャについて非スキップ符号化されたブロックの集合が動領域とされてもよい。
【００９９】
図１０は、この変形例による、色差成分の合成に関する説明図である。
図１０において、横軸は時間を表す。この例では、時刻t0のピクチャ及び時刻tNのピクチャが同時符号化ピクチャである。また個々の矩形領域は、一つのピクチャの色差成分を表す。なお、基本層と拡張層とでブロック同士の位置を比較し易いように、基本層の色差成分及び動領域マップに関しては、拡張層に合わせて拡大されている。
【０１００】
時刻t0では、基本層の色差成分１０００に含まれる各ブロックはイントラ予測符号化されているので、全てのブロックが復号される。また時刻t0では、動領域マップ１０１０はリセットされ、動領域を含まない。さらに、時刻t0では、拡張層の色差成分１０２０も復号される。そして拡張層の色差成分１０２０自体が、再生されるピクチャの色差成分１０３０となる。
【０１０１】
次に、時刻t1では、基本層の色差成分１００１において、領域１０５１に含まれる各ブロックが非スキップ符号化されている。この場合、動領域マップ１０１１において、領域１０５１と同じ領域が動領域１０６１として記録される。そして時刻t1のピクチャの色差成分１０３１は、時刻t0における、拡張層の色差成分１０２０のうち、動領域１０６１について、時刻t1における拡大された基本層の色差成分１００１の動領域１０６１で置換されたものとなる。
【０１０２】
同様に、時刻t2では、基本層の色差成分１００２において、領域１０５２に含まれる各ブロックが非スキップ符号化されている。この場合、動領域マップ１０１２において、領域１０５２と同じ領域が動領域１０６２として記録される。そして時刻t1のピクチャの色差成分１０３２は、時刻t0における、拡張層の色差成分１０２０のうち、動領域１０６２について、時刻t2における拡大された基本層の色差成分１００２の動領域１０６２で置換されたものとなる。
【０１０３】
さらに、時刻t3では、基本層の色差成分１００３において、領域１０５３に含まれる各ブロックが非スキップ符号化されている。この場合、動領域マップ１０１３において、領域１０５３と同じ領域が動領域１０６３として記録される。そして時刻t3のピクチャの色差成分１０３３は、時刻t0における、拡張層の色差成分１０２０のうち、動領域１０６３について、時刻t3における拡大された基本層の色差成分１００３の動領域１０６３で置換されたものとなる。
【０１０４】
さらに、時刻tNでは、基本層の色差成分１００４に含まれる各ブロックはイントラ予測符号化されているので、全てのブロックが復号される。また時刻tNでは、動領域マップ１０１４はリセットされ、動領域を含まない。さらに、時刻tNでは、拡張層の色差成分１０２４自体が、再生されるピクチャの色差成分１０３４となる。
【０１０５】
この変形例によれば、動画像復号装置は、低解像度の色差成分で置換する領域を小さくすることができる。
【０１０６】
また、他の変形例によれば、拡張層の色差成分は、YCbCr 4:4:4形式で表され、基本層の色差成分は、YCbCr 4:2:2形式で表されてもよい。あるいは、拡張層の色差成分は、YCbCr 4:2:2形式で表され、基本層の色差成分は、YCbCr 4:2:0形式で表されてもよい。
【０１０７】
また、動画像復号装置２の基本層復号部２２は、各ピクチャの縮小輝度成分を復号し、拡張層復号部２４は、同時符号化ピクチャの拡張層の輝度成分を復号する。そして動画像復号装置２の合成部２７は、同時符号化ピクチャについて、拡張層の復号された輝度成分自体を、そのピクチャの輝度成分とすればよい。また合成部２７は、同時符号化ピクチャ以外の各ピクチャについて、そのピクチャについての拡大された縮小輝度成分の動領域で、直前の同時符号化ピクチャの拡張層の輝度成分の同じ領域を置換することで、そのピクチャの輝度成分を再生すればよい。
【０１０８】
さらに他の変形例によれば、動画像符号化装置１の基本層符号化部１３は、同時符号化ピクチャ以外の各ピクチャの基本層の色差成分について、全てのブロックについてインター予測符号化してもよい。この場合、動領域に含まれないブロックについては、予測誤差信号の絶対値の和が０または０に非常に近い値となることが想定される。そのため、動画像復号装置２の動領域記録部２５は、予測誤差信号の絶対値の和が所定の閾値以上となるブロックの和集合を動領域とすればよい。
【０１０９】
さらに他の変形例によれば、動画像符号化装置１の拡張層符号化部１５は、一定周期で同時符号化ピクチャの各色差成分をイントラ予測符号化してもよい。そして拡張層符号化部１５は、イントラ予測符号化されない同時符号化ピクチャについて、色差ごとに、その色差成分を、直前の他の同時符号化ピクチャの色差成分の局所復号画像、または対応する拡大局所復号画像を参照してインター予測符号化してもよい。
【０１１０】
さらに他の変形例によれば、上記の実施形態または変形例による階層符号化は、輝度成分にも適用されてもよい。すなわち、動画像符号化装置１の縮小部１２は、各ピクチャの輝度成分の解像度を低下させた縮小輝度成分を生成し、基本層符号化部１３は、各ピクチャの縮小輝度成分を符号化してもよい。その際、基本層符号化部１３は、同時符号化ピクチャ以外の各ピクチャについて、直前のピクチャの輝度成分または直前の同時符号化ピクチャの輝度成分に対して動きのある領域に含まれる各ブロックを非スキップ符号化する。また基本層符号化部１３は、それ以外のブロックについて符号化をスキップすればよい。また、拡張層符号化部１５は、同時符号化ピクチャについて、縮小輝度成分を符号化したものを復号し、拡大して得られる拡大局所復号画像を参照して、元の輝度成分を符号化してもよい。この場合、動画像符号化装置１の輝度成分符号化部１６及び動画像復号装置２の輝度成分復号部２６は省略されてもよい。
【０１１１】
図１１は、上記の実施形態またはその変形例による動画像符号化装置または動画像復号装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置または動画像復号装置として動作するコンピュータの構成図である。このコンピュータは、例えば、Wireless displayまたはVDIを実現するシステムにおいてスクリーン映像を生成するサーバ、あるいは、符号化されたスクリーン映像を再生する端末として利用可能である。
【０１１２】
コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。
【０１１３】
ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、符号化する動画像データ、あるいは、復号する動画像データを選択する操作信号をプロセッサ１０５へ出力する。なお、符号化する動画像データ、あるいは、復号する動画像データは、プロセッサ１０５上で動作するアプリケーションプログラムによって決定されてもよい。
【０１１４】
通信インターフェース部１０２は、例えば、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。そして通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、符号化する動画像データを取得し、そのデータをプロセッサ１０５へ渡す。また通信インターフェース部１０２は、プロセッサ１０５から受け取った、符号化動画像データを通信ネットワークを介して他の機器へ出力してもよい。また、通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、復号対象となる、符号化された動画像データを含むビットストリームを取得し、そのビットストリームをプロセッサ１０５へ渡してもよい。
【０１１５】
記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、動画像符号化処理を実行するためのコンピュータプログラム、または、動画像復号処理を実行するためのコンピュータプログラムを記憶する。さらに、記憶部１０３は、動画像符号化処理または動画像復号処理の途中または結果として生成されるデータを記憶する。
【０１１６】
記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、動画像符号化処理用のコンピュータプログラムまたは動画像復号処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。
【０１１７】
プロセッサ１０５は、例えば、Central Processing Unit(CPU)、Graphics Processing Unit(GPU)及び数値演算プロセッサの少なくとも何れかを含む。そしてプロセッサ１０５は、上記の実施形態または変形例による動画像符号化処理用コンピュータプログラムを実行することにより、動画像データを符号化する。そしてプロセッサ１０５は、符号化された動画像データを記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。あるいは、プロセッサ１０５は、上記の実施形態または変形例による動画像復号処理用コンピュータプログラムを実行することにより、符号化された動画像データを復号する。そしてプロセッサ１０５は、復号されたピクチャをユーザインターフェース部１０１の表示装置に表示させる。
【０１１８】
なお、上記の実施形態または変形例による動画像符号化処理用コンピュータプログラム及び動画像復号処理用コンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。
【０１１９】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【０１２０】
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
符号化された動画像データから、前記動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれの縮小画像が符号化された第１の符号化データと、前記複数の画像のうち表示順において互いに不連続な複数の第１の画像が符号化された第２の符号化データとを取り出す分離部と、
前記第１の符号化データから前記複数の画像のそれぞれの前記縮小画像を復号する第１の復号部と、
前記第２の符号化データから前記複数の第１の画像のそれぞれを復号する第２の復号部と、
前記複数の画像のうちの前記第１の画像でない第２の画像の前記縮小画像が復号される度に、当該縮小画像において当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きのある領域を記録する動領域記録部と、
前記第２の画像のそれぞれについて、復号された前記縮小画像上の前記動きのある領域をアップサンプリングして得られる領域で、復号された直前の前記第１の画像の対応領域を置換することで当該第２の画像を再生する合成部と、
を有する動画像復号装置。
（付記２）
前記第２の画像のそれぞれの前記縮小画像の前記動きのある領域は、当該第２の画像の直前の他の第２の画像の前記縮小画像または当該第２の画像の直前の前記第１の画像の前記縮小画像を参照して符号化され、前記第２の画像のそれぞれの前記縮小画像において当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きの無い領域の符号化はスキップされており、
前記動領域記録部は、前記第２の画像のそれぞれについて、当該第２の画像の前記縮小画像において符号化された領域を前記動きのある領域とする、付記１に記載の動画像復号装置。
（付記３）
前記第２の画像のそれぞれの前記縮小画像の前記動きのある領域は、当該第２の画像の直前の他の第２の画像の前記縮小画像を参照して符号化され、
前記動領域記録部は、前記第２の画像のそれぞれについて、当該第２の画像の直前の前記第１の画像から当該第２の画像までの各第２の画像の前記縮小画像において符号化された領域の和集合を前記動きのある領域とする、付記２に記載の動画像復号装置。
（付記４）
前記第２の画像のそれぞれの前記縮小画像の前記動きのある領域は、当該第２の画像の直前の前記第１の画像の前記縮小画像を参照して符号化され、
前記動領域記録部は、前記第２の画像のそれぞれについて、当該第２の画像の前記縮小画像において符号化された領域を前記動きのある領域とする、付記２に記載の動画像復号装置。
（付記５）
前記第２の復号部は、前記第１の画像のそれぞれについて、当該第１の画像の復号された前記縮小画像をアップサンプリングして得られる拡大復号画像を参照して当該第１の画像を復号する、付記１〜４の何れかに記載の動画像復号装置。
（付記６）
符号化された動画像データから、前記動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれの縮小画像が符号化された第１の符号化データと、前記複数の画像のうち表示順において互いに不連続な複数の第１の画像が符号化された第２の符号化データとを取り出し、
前記第１の符号化データから前記複数の画像のそれぞれの前記縮小画像を復号し、
前記第２の符号化データから前記複数の第１の画像のそれぞれを復号し、
前記複数の画像のうちの前記第１の画像でない第２の画像の前記縮小画像が復号される度に、当該縮小画像において当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きのある領域を記録し、
前記第２の画像のそれぞれについて、復号された前記縮小画像上の前記動きのある領域をアップサンプリングして得られる領域で、復号された直前の前記第１の画像の対応領域を置換することで当該第２の画像を再生する、
ことを含む動画像復号方法。
（付記７）
符号化された動画像データから、前記動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれの縮小画像が符号化された第１の符号化データと、前記複数の画像のうち表示順において互いに不連続な複数の第１の画像が符号化された第２の符号化データとを取り出し、
前記第１の符号化データから前記複数の画像のそれぞれの前記縮小画像を復号し、
前記第２の符号化データから前記複数の第１の画像のそれぞれを復号し、
前記複数の画像のうちの前記第１の画像でない第２の画像の前記縮小画像が復号される度に、当該縮小画像において当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きのある領域を記録し、
前記第２の画像のそれぞれについて、復号された前記縮小画像上の前記動きのある領域をアップサンプリングして得られる領域で、復号された直前の前記第１の画像の対応領域を置換することで当該第２の画像を再生する、
ことをコンピュータに実行させるための動画像復号用コンピュータプログラム。
（付記８）
動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれをダウンサンプリングして、前記複数の画像のそれぞれごとに縮小画像を生成する縮小部と、
前記複数の画像のそれぞれの前記縮小画像を符号化する第１の符号化部と、
前記複数の画像のうち表示順において互いに不連続な複数の第１の画像を符号化する第２の符号化部と、
を有する動画像符号化装置。
（付記９）
前記第１の符号化部は、前記複数の画像のうちの前記第１の画像でない第２の画像のそれぞれについて、当該第２の画像の前記縮小画像のうち、当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きのある領域を、前記直前の第１の画像の前記縮小画像または当該第２の画像の直前の他の第２の画像の縮小画像を参照して符号化し、当該第２の画像の前記縮小画像のうち、前記直前の第１の画像の前記縮小画像に対して動きの無い領域の符号化をスキップする、付記８に記載の動画像符号化装置。
（付記１０）
前記複数の第１の画像のそれぞれについて、前記縮小画像を復号して得られる局所復号画像をアップサンプリングして拡大局所復号画像を生成する拡大部をさらに有し、
前記第２の符号化部は、前記複数の第１の画像のそれぞれを、対応する前記拡大局所復号画像を参照して符号化する、付記８または９に記載の動画像符号化装置。
（付記１１）
二つの前記第１の画像間の間隔を、前記縮小画像に対する、当該二つの前記第１の画像間の各第２の画像の前記縮小画像上で前記動きのある領域の和集合の比に応じて設定する符号化制御部をさらに有する、付記８〜１０の何れかに記載の動画像符号化装置。
（付記１２）
動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれをダウンサンプリングして、前記複数の画像のそれぞれごとに縮小画像を生成し、
前記複数の画像のそれぞれの前記縮小画像を符号化し、
前記複数の画像のうち表示順において互いに不連続な複数の第１の画像を符号化する、
ことを含む動画像符号化方法。
（付記１３）
動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれをダウンサンプリングして、前記複数の画像のそれぞれごとに縮小画像を生成し、
前記複数の画像のそれぞれの前記縮小画像を符号化し、
前記複数の画像のうち表示順において互いに不連続な複数の第１の画像を符号化する、
ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
（付記１４）
符号化された動画像データから、前記動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれの縮小画像が符号化された第１の符号化データと、前記複数の画像のうち表示順において互いに不連続な複数の第１の画像が符号化された第２の符号化データとを取り出し、
前記第１の符号化データから前記複数の画像のそれぞれの前記縮小画像を復号し、
前記第２の符号化データから前記複数の第１の画像のそれぞれを復号し、
前記複数の画像のうちの前記第１の画像でない第２の画像の前記縮小画像が復号される度に、当該縮小画像において当該第２の画像の直前の前記第１の画像の前記縮小画像に対して動きのある領域を記録し、
前記第２の画像のそれぞれについて、復号された前記縮小画像上の前記動きのある領域をアップサンプリングして得られる領域で、復号された直前の前記第１の画像の対応領域を置換することで当該第２の画像を再生するように構成されたプロセッサ、
を有する動画像復号装置。
（付記１５）
動画像データに含まれ、表示順に従って連続する複数の画像のそれぞれをダウンサンプリングして、前記複数の画像のそれぞれごとに縮小画像を生成し、
前記複数の画像のそれぞれの前記縮小画像を符号化し、
前記複数の画像のうち表示順において互いに不連続な複数の第１の画像を符号化するように構成されたプロセッサ、
を有する動画像符号化装置。
【符号の説明】
【０１２１】
１    動画像符号化装置
１０    バッファ
１１    符号化制御部
１２    縮小部
１３    基本層符号化部（第１の符号化部）
１４    拡大部
１５    拡張層符号化部（第２の符号化部）
１６    輝度成分符号化部
１７    多重化部
２    動画像復号装置
２０    バッファ
２１    分離部
２２    基本層復号部（第１の復号部）
２３    拡大部
２４    拡張層復号部（第２の復号部）
２５    動領域記録部
２６    輝度成分復号部
２７    合成部
１００    コンピュータ
１０１    ユーザインターフェース部
１０２    通信インターフェース部
１０３    記憶部
１０４    記憶媒体アクセス装置
１０５    プロセッサ
１０６    記憶媒体
【図１】
2018067751.tif 000003
【図２】
2018067751.tif 000004
【図３】
2018067751.tif 000005
【図４】
2018067751.tif 000006
【図５】
2018067751.tif 000007
【図６】
2018067751.tif 000008
【図７】
2018067751.tif 000009
【図８】
2018067751.tif 000010
【図９】
2018067751.tif 000011
【図１０】
2018067751.tif 000012
【図１１】
2018067751.tif 000013