(57)【要約】  マルチレイヤ動画のレイヤ間予測方法およびレイヤ間予測方法に関する技術が開示される。マルチレイヤ動画のレイヤ間予測方法は、基準レイヤの予測符号化によって、基準レイヤ内に復元ピクチャを生成するステップと、拡張レイヤ内の現在のピクチャを符号化または復号化するために、拡張レイヤ内の現在のピクチャに対応する時間に、基準レイヤ内の復元ピクチャが存在するかどうか判定するステップと、拡張レイヤ内のピクチャまたは基準レイヤ内の復元ピクチャに基づいてレイヤ間予測を行うステップと、を備える。これにより、拡張レイヤの符号化または復号化を考えると、基準レイヤ内の同じビューからの復元ピクチャがない場合に、拡張レイヤ内のピクチャまたは基準レイヤ内のピクチャを適応的に用いることにより、有効なレイヤ間予測を行うことができる。
2015536119.tif 000002
【特許請求の範囲】
【請求項１】
マルチレイヤ動画の符号化／復号化における前記マルチレイヤ動画のレイヤ間予測方法であって、
基準レイヤの予測符号化によって前記基準レイヤ内に再構築ピクチャを生成するステップと、
前記基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在するかどうか判定して、前記拡張レイヤ内の前記現在のピクチャを符号化または復号化するステップと、
前記拡張レイヤ内のピクチャまたは前記基準レイヤ内の前記再構築ピクチャに基づいてレイヤ間予測を行うステップと、
を備えるレイヤ間予測方法。
【請求項２】
前記レイヤ間予測を行うステップは、前記拡張レイヤ内の前記現在のピクチャに対応する時間に前記基準レイヤ内の前記再構築ピクチャが存在しない場合に、前記拡張レイヤ内における前記現在のピクチャの前または後のピクチャに基づいてレイヤ間予測を行う、請求項１に記載のレイヤ間予測方法。
【請求項３】
前記レイヤ間予測を行うステップは、前記拡張レイヤ内の前記現在のピクチャに対応する時間に前記基準レイヤ内の前記再構築ピクチャが存在しない場合に、前記基準レイヤ内における、前記拡張レイヤ内の前記現在のピクチャに対応する時間の前記再構築ピクチャの前または後のピクチャに基づいてレイヤ間予測を行う、請求項１に記載のレイヤ間予測方法。
【請求項４】
前記レイヤ間予測を行うステップは、前記拡張レイヤ内の前記現在のピクチャに対応する時間に前記基準レイヤ内の前記再構築ピクチャが存在しない場合に、前記拡張レイヤ内における前記現在のピクチャの前または後のピクチャと、前記基準レイヤ内における、前記拡張レイヤ内の前記現在のピクチャに対応する時間の前記再構築ピクチャの前または後のピクチャと、に基づいてレイヤ間予測を行う、請求項１に記載のレイヤ間予測方法。
【請求項５】
前記レイヤ間予測を行うステップは、前記拡張レイヤ内の前記現在のピクチャに対応する時間に前記基準レイヤ内の再構築ピクチャが存在する場合に、前記基準レイヤ内における、前記拡張レイヤ内の前記現在のピクチャに対応する時間の前記再構築ピクチャに基づいてレイヤ間予測を行う、請求項１に記載のレイヤ間予測方法。
【請求項６】
マルチレイヤ動画を符号化／復号化する、前記マルチレイヤ動画のレイヤ間予測装置であって、
基準レイヤ内の再構築ピクチャであって、前記基準レイヤの予測符号化によって生成される再構築ピクチャを保存するためのフレームバッファと、
拡張レイヤ内の現在のピクチャを符号化または復号化するために、前記拡張レイヤ内のピクチャまたは前記基準レイヤ内の前記再構築ピクチャに基づいて、レイヤ間予測を行うための予測ユニットと、
を備えるレイヤ間予測装置。
【請求項７】
前記拡張レイヤの解像度に基づいて、前記基準レイヤ内の前記再構築ピクチャを補間するための補間ユニットをさらに備える、請求項６に記載のレイヤ間予測装置。
【請求項８】
前記予測ユニットは、前記拡張レイヤ内の前記現在のピクチャに対応する時間に前記基準レイヤ内の前記再構築ピクチャが存在しない場合に、前記拡張レイヤ内における前記現在のピクチャの前または後のピクチャに基づいてレイヤ間予測を行う、請求項６に記載のレイヤ間予測装置。
【請求項９】
前記予測ユニットは、前記拡張レイヤ内の前記現在のピクチャに対応する時間に前記基準レイヤ内の前記再構築ピクチャが存在しない場合に、前記基準レイヤ内における、前記拡張レイヤ内の前記現在のピクチャに対応する時間の前記再構築ピクチャの前または後のピクチャに基づいてレイヤ間予測を行う、請求項６に記載のレイヤ間予測装置。
【請求項１０】
前記予測ユニットは、前記拡張レイヤ内の前記現在のピクチャに対応する時間に前記基準レイヤ内の前記再構築ピクチャが存在しない場合に、前記拡張レイヤ内における前記現在のピクチャの前または後のピクチャと、前記基準レイヤ内における、前記拡張レイヤ内の前記現在のピクチャに対応する時間の前記再構築ピクチャの前または後のピクチャと、に基づいてレイヤ間予測を行う、請求項６に記載のレイヤ間予測装置。
【請求項１１】
前記予測ユニットは、前記拡張レイヤ内の前記現在のピクチャに対応する時間に前記基準レイヤ内の前記再構築ピクチャが存在する場合に、前記基準レイヤ内における、前記拡張レイヤ内の前記現在のピクチャに対応する時間の前記再構築ピクチャに基づいてレイヤ間予測を行う、請求項６に記載のレイヤ間予測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、動画の符号化／復号化に関し、特に、マルチレイヤ動画のレイヤ間予測方法およびレイヤ間予測装置に関する。
【背景技術】
【０００２】
近年、ワイヤレスネットワークおよびインターネットの急速な発達により、様々なマルチメディアサービスが稼動されている。特に、圧縮符号化技術のみが開発されていた過去とは異なり、放送通信コンバージェンスネットワークの登場により、マルチメディアが作成され、送信され、消費される様々な環境下でサービス品質（ＱｏＳ:Quality of Service）を保証するために動画符号化のスケーラビリティを提供するための標準化タスクが行われている。
【０００３】
スケーラブルビデオコード化（ＳＶＣ：Scalable Video Coding）技術は、様々な端末およびネットワーク環境に応じて、１つの圧縮ビットストリームから、異なる解像度（空間的）、品質、およびフレームレート（時間的）を有する画像を、適応的に再構築するように構成される。ＳＶＣは、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）の高い圧縮率で、様々な種類のマルチメディアデバイスに適応的に対処するために、階層を割り当てられたビデオコーデックであり、ジョイントビデオチーム（ＪＶＴ）が、Ｈ．２６４／ＭＰＥＧ−４  ＰＡＲＴ１０の改正として、ＳＶＣの標準化を行った。
【０００４】
また、従来のＨ．２６４／ＡＶＣの圧縮効率の２倍を超える圧縮効率を有するとされる次世代の動画圧縮規格技術として、ＨＥＶＣ（High Efficiency Video Coding）が標準化されている。
【０００５】
ＨＥＶＣは、四分木構造を有するコーディングユニット（ＣＵ）と、予測ユニット（ＰＵ：Prediction Unit）と、変換ユニット（ＴＵ：Transform Unit）とを規定し、サンプル適応オフセット（ＳＡＯ：Sample Adaptive Offset）または非ブロック化フィルタなどの追加のループ内フィルタを使用する。また、既存のイントラ予測およびインター予測が改善され、これにより、圧縮符号化効率が向上している。
【０００６】
一方、最近の標準化ＨＥＶＣの拡張版として、ＳＶＣも標準化されている。
【０００７】
従来のＳＶＣ技術は、レイヤ間予測において、基準レイヤと異なる時間および空間解像度を有する拡張レイヤを符号化する際に、基準レイヤ内のピクチャを参照できない拡張レイヤ内のピクチャが存在する点で問題があり、これは、符号化すべき拡張レイヤ内のピクチャの時間的位置と同じ時間的位置に、基準レイヤ内の再構築ピクチャが存在しないためである。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述の問題を解決するために本発明の目的は、マルチレイヤ動画を符号化または復号化する際に、基準ピクチャを適応的に判定することにより、レイヤ間予測を行うための方法を提供することである。
【０００９】
上述の問題を解決する本発明の別の目的は、マルチレイヤ動画を符号化または復号化する際に、基準ピクチャを適応的に判定することにより、レイヤ間予測を行うための装置を提供することである。
【課題を解決するための手段】
【００１０】
上記目的を達成するために本発明の一態様によれば、基準レイヤの予測符号化によって基準レイヤ内に再構築ピクチャを生成するステップと、拡張レイヤ内の現在のピクチャに対応する時間に基準レイヤ内の再構築ピクチャが存在するかどうか判定して、拡張レイヤ内の現在のピクチャを符号化または復号化するステップと、拡張レイヤ内のピクチャまたは基準レイヤ内の再構築ピクチャに基づいてレイヤ間予測を行うステップと、を備えるマルチレイヤ動画のレイヤ間予測方法が提供される。
【００１１】
レイヤ間予測を行うステップは、拡張レイヤ内の現在のピクチャに対応する時間に基準レイヤ内の再構築ピクチャが存在しない場合に、拡張レイヤ内における現在のピクチャの前または後のピクチャに基づいてレイヤ間予測を行うステップを備えてもよい。
【００１２】
レイヤ間予測を行うステップは、拡張レイヤ内の現在のピクチャに対応する時間に基準レイヤ内の再構築ピクチャが存在しない場合に、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャに基づいてレイヤ間予測を行うステップを備えてもよい。
【００１３】
レイヤ間予測を行うステップは、拡張レイヤ内の現在のピクチャに対応する時間に基準レイヤ内の再構築ピクチャが存在しない場合に、拡張レイヤ内における現在のピクチャの前または後のピクチャと、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャと、に基づいてレイヤ間予測を行うステップを備えてもよい。
【００１４】
レイヤ間予測を行うステップは、拡張レイヤ内の現在のピクチャに対応する時間に基準レイヤ内の再構築ピクチャが存在する場合に、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャに基づいてレイヤ間予測を行うステップを備えてもよい。
【００１５】
上記課題を達成するために本発明の別の一態様によれば、基準レイヤ内の再構築ピクチャであって、基準レイヤの予測符号化によって生成される再構築ピクチャを保存するためのフレームバッファと、拡張レイヤ内の現在のピクチャを符号化または復号化するために、拡張レイヤ内のピクチャまたは基準レイヤ内の再構築ピクチャに基づいてレイヤ間予測を行う予測ユニットと、を備えるマルチレイヤ動画のレイヤ間予測装置が提供される。
【００１６】
レイヤ間予測装置は、拡張レイヤの解像度に基づいて、基準レイヤ内の再構築ピクチャを補間するための補間ユニットをさらに備えてもよい。
【発明の効果】
【００１７】
本発明の実施形態に係るマルチレイヤ動画のレイヤ間予測方法およびレイヤ間予測装置が使用される場合、拡張レイヤの時間的位置と同じ時間的位置に基準レイヤ内の再構築ピクチャが存在しない場合であっても、拡張レイヤ内のピクチャまたは基準レイヤ内のピクチャを適応的に使用し、これにより、効果的なレイヤ間予測を行える。
【００１８】
また、拡張レイヤ内のピクチャまたは基準レイヤ内のピクチャを適応的に使用するレイヤ間予測手段によって、符号化および復号化の効率を高めることが可能である。
【図面の簡単な説明】
【００１９】
【図１】図１は、本発明の実施形態に係る、マルチレイヤ動画のレイヤ間予測を行う符号化装置を示すブロック図である。
【図２】図２は、本発明の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法を示す概略図である。
【図３】図３は、本発明の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法に基づく基準ピクチャリストを示す図である。
【図４】図４は、本発明の別の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法を示す概略図である。
【図５】図５は、本発明の別の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法に基づく基準ピクチャリストを示す図である。
【図６】図６は、本発明のさらに別の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法を示す概略図である。
【図７】図７は、本発明のさらに別の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法に基づく基準ピクチャリストを示す図である。
【図８】図８は、本発明の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法を示すフローチャートである。
【図９】図９は、本発明の実施形態に係る、マルチレイヤ動画のレイヤ間予測に用いられる構文要素を示す図である。
【図１０】図１０は、本発明の実施形態に係る、マルチレイヤ動画のレイヤ間予測を行う復号化装置を示すブロック図である。
【発明を実施するための形態】
【００２０】
本発明は、様々に変更してもよく、また様々な実施形態を有してもよく、以下、添付の図面を参照して、具体的な実施形態を詳細に説明する。しかし、これらの実施形態は、特定の開示形態に本発明を限定することを意図せず、かつ実施形態は、本発明の趣旨および範囲に含まれる全ての変更、均等物または置換物を含むことを理解すべきである。以下の図面の説明において、同一または類似の要素を示すために、同じ参照符号が用いられる。
【００２１】
”第１”、”第２”、”Ａ”、および”Ｂ”などの用語は、様々な構成要素を述べるために用いてもよいが、これらの構成要素は、これらの用語によって限定されるべきではない。用語は、単に、１つの構成要素を他の構成要素から区別するために用いられる。例えば、本発明の範囲に基づく範囲から逸脱することなしに、第１の構成要素を、第２の構成要素として指定してもよく、同様に、第２の構成要素を、第１の構成要素として指定してもよい。”および／または”という用語は、複数の関連する説明項目の組み合わせ、または複数の関連する説明項目のいずれかを含む。
【００２２】
明細書全体を通して、第１の構成要素が第２の構成要素に”接続”または”結合”されることを示す表現は、他の何らかの構成要素をその間に介在させて、第１の構成要素が第２の構成要素に接続または結合される場合や、第１の構成要素が第２の構成要素に直接接続または結合される場合を含んでもよいことを理解すべきである。反対に、第１の構成要素が第２の構成要素に”直接接続”または”直接結合”されることを示す表現は、第１および第２の構成要素の間に構成要素が介在されないことを意味すると理解すべきである。
【００２３】
本明細書にて用いられる用語は、単に具体的な実施形態を説明するために用いられ、本発明を限定することは意図しない。単数の表現は、文脈内において反対の説明が具体的に指摘されない限り、複数の表現を含む。本明細書においては、”含む”または”有する”などの用語は、その特徴、数、ステップ、動作、構成要素、部品、または組み合わせが存在することを示すことを単に意図しており、その１つまたは複数の他の特徴、数、ステップ、動作、構成要素、部品、または組み合わせが存在または追加される可能性を除外することは意図しないと理解すべきである。
【００２４】
異なって定義されない限り、技術的または科学的用語を含む、ここに用いられる全ての用語は、本発明の属する技術分野の当業者によって通常理解される用語と同じ意味を有する。一般的に用いられる辞書に定義される用語と同一の用語は、関連技術の文脈上の意味と同じ意味を有すると解釈されるべきであり、これらが本明細書に明確に定義されない限り、理想的または排他的に形式的な意味としては解釈されない。
【００２５】
以下、後述する動画符号化装置および動画復号化装置は、パーソナルコンピュータ（ＰＣ）、ノートパソコン、携帯情報端末（ＰＤＡ）、ポータブルマルチメディアプレーヤー（ＰＭＰ）、プレイステーションポータブル（ＰＳＰ）、ワイヤレス通信端末、スマートフォンまたは様々な類似の種類の装置などのユーザー端末、ＴＶアプリケーションサーバまたはサービスサーバなどのサーバ端末、あるいは、通信装置、例えば、有線／無線通信ネットワーク上で通信を行うための通信モデム、画像を符号化または復号化するため、あるいは符号化または復号化のための画像間または画像内予測を行うのに必要な様々な種類のプログラムおよびデータを格納するためのメモリ、プログラムを実行し、かつ作業および制御を行うためのマイクロプロセッサ等を含む様々な種類の装置のいずれかであってもよい。
【００２６】
また、動画符号化装置によりビットストリーム内で符号化される画像は、インターネット、短距離無線通信ネットワーク、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、Ｗｉｂｒｏネットワーク、または携帯通信ネットワークなどの有線／無線通信ネットワーク上で、あるいは、ケーブルまたはユニバーサルシリアルバス（ＵＳＢ）などの様々な通信インターフェイスを通して、リアルタイムまたは非リアルタイムで、動画復号化装置に送信され、これにより、符号化された画像は、動画復号化装置によって復号化されてもよく、かつオリジナル画像として再構築され、再生されてもよい。
【００２７】
典型的には、動画は、一連のピクチャで構成されていてもよく、各ピクチャは、フレームまたはブロックなどの所定の領域に分割されていてもよい。ピクチャの領域をブロックに分割する場合、分割されたブロックは、コード化方法に従って、主に、イントラブロックおよびインターブロックに分類してもよい。イントラブロックは、イントラ予測コードを用いて符号化されたブロックを示す。ここで、イントラ予測コードは、現在符号化されている現在のピクチャ内で、すでに符号化および復号化され次いで再構築され、ブロック内の画素が用いられている現在のブロック内で画素を予測することにより、予測ブロックが生成され、予測ブロックの画素値と現在のブロックの画素値との差異が符号化される方式を示すものである。また、インターブロックは、インター予測コードを用いて符号化されたブロックを示す。ここで、インター予測コードは、１つまたは複数の前または後のピクチャに基づいて現在のピクチャ内の現在のブロックを予測することにより、予測ブロックが生成され、予測ブロックの画素値と現在のブロックの画素値と差異が符号化される方式を示すものである。この場合、現在のピクチャを符号化または復号化する際に参照されるフレームは、基準フレームと呼ばれる。また、本実施形態が属する技術分野の当業者は、以下に説明される用語”ピクチャ”を、ピクチャと同じ意味を有する別の用語、画像またはフレームなどと置き換え、かつ共に用いてもよいことを理解するであろう。さらに、本実施形態が属する技術分野の当業者は、本発明で言及されるピクチャは再構築ピクチャを意味することを理解するであろう。
【００２８】
以下、本発明の好適な実施形態を、添付の図面を参照して詳細に説明する。
【００２９】
図１は、本発明の実施形態に係るマルチレイヤ動画のレイヤ間予測を行う符号化装置を示すブロック図である。
【００３０】
図１を参照すると、本発明の実施形態に係るマルチレイヤ動画のレイヤ間予測を行う装置は、基準レイヤ用の符号化装置１００と、拡張レイヤ用の符号化装置２００と、を含んでよい。また、レイヤ間予測装置は、マルチプレキサ３２０と、補間ユニット３１０と、を含んでもよい。
【００３１】
符号化装置１００または２００の各々は、減算ユニット１１０または２１０と、変換ユニット１２０または２２０と、量子化ユニット１３０または２３０と、逆量子化ユニット１３１または２３１と、逆変換ユニット１２１または２２１と、エントロピー符号化ユニット１４０または２４０と、加算ユニット１５０または２５０と、ループ内フィルタユニット１６０または２６０と、フレームメモリ１７０または２７０と、イントラ予測ユニット１８０または２８０と、動き補償ユニット１９０または２９０と、を含む。
【００３２】
減算ユニット１１０または２１０は、イントラ予測またはインター予測によって生成された予測画像を、提供された入力画像である符号化対象画像（現在の画像）から減算し、次いで、現在画像と予測画像との間に残像を生成する。
【００３３】
変換ユニット１２０または２２０は、減算ユニット１１０または２１０により生成された残像を、空間領域から周波数領域に変換するように機能する。ここで、変換ユニット１２０または２２０は、空間軸上の画像信号を、周波数軸に変換するために、アダマール変換、離散コサイン変換、または離散サイン変換などの技術を用いて、残像を周波数領域に変換してよい。
【００３４】
量子化ユニット１３０または２３０は、変換ユニット１２０または２２０により提供される変換データ（周波数係数）に対して量子化を行う。すなわち、量子化ユニット１３０または２３０は、周波数係数を量子化ステップサイズで分けることにより、変換ユニット１２０または２２０によって変換された、いくつかのデータである周波数係数を概算し、これにより、量子化結果値を計算する。
【００３５】
エントロピー符号化ユニット１４０または２４０は、量子化ユニット１３０または２３０により計算された量子化結果値をエントロピー符号化することにより、ビットストリームを生成する。また、エントロピー符号化ユニット１４０または２４０は、コンテキスト適応可変長コード化（ＣＡＶＬＣ：Context-Adaptive Variable Length Coding）またはコンテキスト適応バイナリ算術コード化（ＣＡＢＡＣ：Context-Adaptive Binary Arithmetic Coding）技術を用いた量子化ユニット１３０または２３０により計算された量子化結果値をエントロピー符号化してもよく、また、量子化結果値に加えて、画像の復号化に必要な情報をエントロピー符号化してもよい。
【００３６】
逆量子化ユニット１３１または２３１は、量子化ユニット１３０または２３０により計算された量子化結果値を逆量子化する。すなわち、逆量子化ユニット１３１または２３１は、量子化結果値から、周波数領域内の値（周波数係数）を再構築する。
【００３７】
逆変換ユニット１２１または２２１は、逆量子化ユニット１３１または２３１により供給された周波数領域値（周波数係数）を、周波数領域から空間領域に変換することにより残像を再構築する。加算ユニット１５０または２５０は、逆変換ユニット１２１または２２１によって再構築された残像を、イントラ予測またはインター予測によって生成された予測画像に加算することにより、入力画像の再構築画像を生成し、次いで、再構築画像をフレームメモリ１７０または２７０に保存する。
【００３８】
フレームメモリ１７０は、基準レイヤの予測コード化によって生成される、基準レイヤ内の再構築ピクチャを保存してもよい。また、フレームメモリ２７０は、拡張レイヤの予測コード化によって生成される、拡張レイヤ内の再構築ピクチャを保存してよく、かつ、基準レイヤ内の再構築ピクチャまたは基準レイヤ内の再構築ピクチャの補間ピクチャを保存してもよい。
【００３９】
予測ユニットは、イントラ予測ユニット１８０または２８０と、動き補償ユニット１９０または２９０とを含んでよく、次いで、イントラ予測およびインター予測を行ってもよい。
【００４０】
イントラ予測ユニット１８０または２８０はイントラ予測を行い、動き補償ユニット１９０または２９０は、インター予測のための動きベクトルを補償してよい。
【００４１】
本発明の実施形態に係る予測ユニットは、拡張レイヤ内のピクチャまたは基準レイヤ内の再構築ピクチャを参照してレイヤ間予測を行って、拡張レイヤ内の現在のピクチャを符号化してよい。ここで、レイヤ間予測は、拡張レイヤを符号化または復号化する際に、基準レイヤ内の再構築ピクチャに基づいてイントラ予測またはインター予測を行うことを意味してよい。
【００４２】
まず、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間的位置に存在する場合に、予測ユニットは、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間（時間的位置）の再構築ピクチャに基づいてレイヤ間予測を行ってよい。
【００４３】
特に、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合に、予測ユニットは、拡張レイヤ内における現在のピクチャの前または後のピクチャに基づいて、レイヤ間予測を行ってよい。
【００４４】
また、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合に、予測ユニットは、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャに基づいてレイヤ間予測を行ってもよい。
【００４５】
さらに、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合に、予測ユニットは、拡張レイヤ内における現在のピクチャの前または後のピクチャと、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャと、に基づいてレイヤ間予測を行ってもよい。
【００４６】
再構築画像にフィルタリングを行うループ内フィルタユニット１６０または２６０は、非ブロック化フィルタ（ＤＦ：Deblocking Filter）と、サンプル適応オフセット（ＳＡＯ：Sample Adaptive Offset）フィルタと、適応ループフィルタ（ＡＬＦ：Adaptive Loop Filter）と、を含んでよい。
【００４７】
補間ユニット３１０は、基準レイヤ内の再構築ピクチャを補間する。すなわち、補間ユニット３１０は、拡張レイヤの空間分解能に従って、基準レイヤ内の再構築ピクチャを補間してもよい。
【００４８】
マルチプレキサ３２０は、基準レイヤおよび拡張レイヤから符号化ビットストリームを受信し、その符号化ビットストリームを出力する。
【００４９】
図２は、本発明の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法を示す概略図である。
【００５０】
図２を参照すると、拡張レイヤ内のピクチャは、ＩＥ０  ２０、ＩＥ１  ２１、ＩＥ２  ２２、ＩＥ３  ２３、ＩＥ４  ２４等により表されてよい。また、基準レイヤ内の再構築ピクチャは、ＩＢ０  ２５、ＩＢ０  ２６、ＩＢ０  ２７等により表されてよい。
【００５１】
基準レイヤ内の再構築ピクチャ、すなわちＩＢ０  ２５、ＩＢ２  ２６、およびＩＢ４  ２７は、拡張レイヤ内のピクチャ、すなわちＩＥ０  ２０、ＩＥ２  ２２、およびＩＥ４  ２４に対応する時間に存在する。しかし、基準レイヤ内の再構築ピクチャは、拡張レイヤ内のピクチャ、すなわちＩＥ１  ２１およびＩＥ３  ２３に対応する時間には存在しなくてもよい。
【００５２】
すなわち、基準レイヤ内の再構築ピクチャが、拡張レイヤの現在のピクチャに対応する時間に存在する場合に、拡張レイヤ内の現在のピクチャは、基準レイヤ内の対応する再構築ピクチャに基づいて符号化または復号化されてよい。ここで、現在のピクチャは、符号化または復号化される対象ピクチャを示してもよい。
【００５３】
例えば、拡張レイヤ内の現在のピクチャが、ＩＥ０  ２０、ＩＥ２  ２２またはＩＥ４  ２４である場合には、現在のピクチャＩＥ０  ２０、ＩＥ２  ２２またはＩＥ４  ２４は、基準レイヤ内の再構築ピクチャ、すなわちＩＢ０  ２５、ＩＢ２  ２６、またはＩＢ４  ２７をそれぞれ基準にして符号化または復号化されてよい。
【００５４】
しかし、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合には、拡張レイヤ内の現在のピクチャは、拡張レイヤ内における現在のピクチャの前または後のピクチャに基づいて符号化または復号化されてよい。
【００５５】
例えば、拡張レイヤ内の現在のピクチャが、ＩＥ１  ２１である場合には、現在のピクチャＩＥ１  ２１は、ＩＥ０  ２０またはＩＥ２  ２２に基づいて符号化または復号化されてよい。
【００５６】
また、拡張レイヤ内の現在のピクチャが、ＩＥ３  ２３である場合には、現在のピクチャＩＥ３  ２３は、ＩＥ２  ２２またはＩＥ４  ２４に基づいて符号化または復号化されてよい。
【００５７】
すなわち、本発明の実施形態によれば、拡張レイヤ内の現在のピクチャが、同じレイヤ（拡張レイヤ）内のピクチャに基づいて符号化または復号化されて、時間的スケーラビリティをサポートしてよい。
【００５８】
図３は、本発明の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法に基づいた基準ピクチャリストを示す図である。
【００５９】
図３を参照すると、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合に、拡張レイヤ内の現在のピクチャ用の基準リストは、拡張レイヤ内における現在のピクチャの前または後のピクチャを含んでよい。
【００６０】
例えば、拡張レイヤ内の現在のピクチャがＩＥ１  ２１である場合には、ピクチャＩＥ０  ２０またはＩＥ２  ２２が基準リストに含まれてよい。
【００６１】
図４は、本発明の別の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法を示す概略図である。
【００６２】
図４を参照すると、拡張レイヤ内のピクチャは、ＩＥ０  ４０、ＩＥ１  ４１、ＩＥ２  ４２、ＩＥ３  ４３、ＩＥ４  ４４等により表されてよい。また、拡張レイヤ内の再構築ピクチャは、ＩＢ０  ４５、ＩＢ２  ４６、ＩＢ４  ４７等により表されてよい。
【００６３】
基準レイヤ内の再構築ピクチャ、すなわちＩＢ０  ４５、ＩＢ２  ４６、およびＩＢ４  ４７は、拡張レイヤ内のピクチャ、すなわちＩＥ０  ４０、ＩＥ２  ４２、およびＩＥ４  ４４に対応する時間に存在する。しかし、基準レイヤ内の再構築ピクチャは、拡張レイヤ内のピクチャ、すなわちＩＥ１  ４１およびＩＥ３  ４３に対応する時間に存在しなくてもよい。
【００６４】
すなわち、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在する場合に、拡張レイヤ内の現在のピクチャは、基準レイヤ内の対応する再構築ピクチャに基づいて符号化または復号化されてよい。
【００６５】
例えば、拡張レイヤ内の現在のピクチャが、ＩＥ０  ４０、ＩＥ２  ４２またはＩＥ４  ４４である場合には、現在のピクチャＩＥ０  ４０、ＩＥ２  ４２またはＩＥ４  ４４は、基準レイヤ内の再構築ピクチャ、すなわちＩＢ０  ４５、ＩＢ２  ４６またはＩＢ４  ４７をそれぞれ基準にして符号化または復号化されてよい。
【００６６】
しかし、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合に、現在のピクチャは、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャに基づいて符号化または復号化されてよい。
【００６７】
例えば、拡張レイヤ内の現在のピクチャが、ＩＥ１  ４１である場合には、現在のピクチャＩＥ１  ４１は、ピクチャＩＢ０  ４５またはＩＢ２  ４６に基づいて符号化または復号化されてよい。
【００６８】
また、拡張レイヤ内の現在のピクチャが、ＩＥ３  ４３である場合には、現在のピクチャＩＥ３  ４３は、ピクチャＩＢ２  ４６またはＩＢ４  ４７に基づいて符号化または復号化されてよい。
【００６９】
すなわち、本発明の実施形態によれば、拡張レイヤ内の現在のピクチャが、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャに基づいて符号化または復号化されて、時間的スケーラビリティをサポートしてよい。
【００７０】
図５は、本発明の別の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法に基づいた基準ピクチャリストを示す図である。
【００７１】
図５を参照すると、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合に、拡張レイヤ内の現在のピクチャ用の基準リストは、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャを含んでよい。
【００７２】
例えば、拡張レイヤ内の現在のピクチャが、ＩＥ１  ４１である場合には、ピクチャＩＢ０  ４５またはＩＢ２  ４６は、基準リストに含まれてよい。
【００７３】
図６は、本発明のさらに別の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法を示す概略図である。
【００７４】
図６を参照すると、拡張レイヤ内のピクチャは、ＩＥ０  ６０、ＩＥ１  ６１、ＩＥ２  ６２、ＩＥ３  ６３、ＩＥ４  ６４等により表されてよい。また、拡張レイヤ内の再構築ピクチャは、ＩＢ０  ６５、ＩＢ２  ６６、ＩＢ４  ６７等により表されてよい。
【００７５】
基準レイヤ内の再構築ピクチャ、すなわちＩＢ０  ６５、ＩＢ２  ６６、およびＩＢ４  ６７は、拡張レイヤ内のピクチャ、すなわちＩＥ０  ６０、ＩＥ２  ６２、およびＩＥ４  ６４に対応する時間に存在する。しかし、基準レイヤ内の再構築ピクチャは、拡張レイヤ内のピクチャ、すなわちＩＥ１  ６１、およびＩＥ３  ６３に対応する時間に存在しなくてもよい。
【００７６】
すなわち、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在する場合に、拡張レイヤ内の現在のピクチャは、基準レイヤ内の再構築ピクチャに基づいて符号化または復号化されてよい。
【００７７】
例えば、拡張レイヤ内の現在のピクチャが、ＩＥ０  ６０、ＩＥ２  ６２またはＩＥ４  ６４である場合には、現在のピクチャＩＥ０  ６０、ＩＥ２  ６２またはＩＥ４  ６４は、基準レイヤ内の再構築ピクチャ、すなわちＩＢ０  ６５、ＩＢ２  ６６、またはＩＢ４  ６７をそれぞれ基準にして符号化または復号化されてよい。
【００７８】
しかし、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合に、現在のピクチャは、拡張レイヤ内における現在のピクチャの前または後のピクチャと、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャと、に基づいて符号化または復号化されてよい。
【００７９】
例えば、拡張レイヤ内の現在のピクチャが、ＩＥ１  ６１である場合には、ＩＥ１  ６１は、ピクチャＩＥ０  ６０またはＩＥ２  ６２と、ＩＢ０  ６５またはＩＢ２  ６６とに基づいて符号化または復号化されてよい。
【００８０】
また、拡張レイヤ内の現在のピクチャが、ＩＥ３  ６３である場合には、ＩＥ３  ６３は、ピクチャＩＥ２  ６２またはＩＥ４  ６４と、ＩＢ２  ６６またはＩＢ４  ６７とに基づいて符号化または復号化されてよい。
【００８１】
すなわち、本発明の実施形態によれば、拡張レイヤ内の現在のピクチャが、拡張レイヤ内における現在のピクチャの前または後のピクチャと、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャと、に基づいて符号化または復号化されて、時間的スケーラビリティをサポートしてよい。
【００８２】
図７は、本発明のさらに別の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法に基づいた基準ピクチャリストを示す図である。
【００８３】
図７を参照すると、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャが存在しない場合に、基準リストは、拡張レイヤ内における現在のピクチャの前または後のピクチャと、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャと、を含んでよい。
【００８４】
例えば、拡張レイヤ内の現在のピクチャが、ＩＥ１  ４１である場合には、ピクチャＩＥ０  ６０またはＩＥ２  ６２と、ピクチャＩＢ０  ６５またはＩＢ２  ６６とは、基準リストに含まれてよい。
【００８５】
図８は、本発明の実施形態に係る、マルチレイヤ動画のレイヤ間予測方法を示すフローチャートである。
【００８６】
図８を参照すると、基準レイヤ内の再構築ピクチャは、基準レイヤの予測符号化によって生成され、基準レイヤ内の再構築ピクチャが拡張レイヤ内の現在のピクチャに対応する時間に存在するかどうか判定して、拡張レイヤ内の現在のピクチャを符号化または復号化してよい。
【００８７】
また、レイヤ間予測は、拡張レイヤ内のピクチャまたは基準レイヤ内の再構築ピクチャに基づいて行われてもよい。
【００８８】
まず、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在する場合に、レイヤ間予測は、拡張レイヤ内の現在のピクチャに対応する時間に存在する基準レイヤ内の再構築ピクチャを用いて、拡張レイヤ内の現在のピクチャに対して行われてよい。
【００８９】
一方、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合には、レイヤ間予測は、拡張レイヤ内における現在のピクチャの前または後のピクチャに基づいて行われてよい。
【００９０】
また、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合に、レイヤ間予測は、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャに基づいて行われてよい。
【００９１】
さらに、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合に、レイヤ間予測は、拡張レイヤ内における現在のピクチャの前または後のピクチャと、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャと、に基づいて行われてもよい。
【００９２】
例えば、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在するかどうかを判定してよい（Ｓ８１０）。すなわち、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャの時間的位置と同じ時間的位置に存在するかどうか判定してよい。
【００９３】
基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在すると判定された場合に、レイヤ間予測は、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャを用いて行われてよい（Ｓ８２０）。
【００９４】
基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しないと判定された場合には、基準ピクチャとして、拡張レイヤ内における現在のピクチャの時間と異なる時間のピクチャを用いるかどうかを示す構文要素であるｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｅｎａｂｌｅ＿ｆｌａｇが復号化される。
【００９５】
ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｅｎａｂｌｅ＿ｆｌａｇ＝１を満たすかどうか判定してよい（Ｓ８３０）。ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｅｎａｂｌｅ＿ｆｌａｇ＝１を満たさない場合、イントラ予測は、拡張レイヤ内の現在のピクチャに対して行われてよい（Ｓ８４０）。
【００９６】
ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｅｎａｂｌｅ＿ｆｌａｇ＝１を満たす場合、構文要素ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｍｏｄｅの値に応じて、どのピクチャを用いてレイヤ間予測を行うか判定してよい。
【００９７】
ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｍｏｄｅの値が０か１かを、個別に判定してよい（Ｓ８５０，Ｓ８７０）。
【００９８】
ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｍｏｄｅ＝０を満たす場合、レイヤ間予測は、拡張レイヤ内における現在のピクチャの前または後のピクチャを参照して行われてよい（Ｓ８６０）。すなわち、イントラ予測またはインター予測が、同じレイヤの再構築ピクチャを用いて行われてよい。
【００９９】
ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｍｏｄｅ＝１を満たす場合、レイヤ間予測は、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャに基づいて行われてよい（Ｓ８８０）。
【０１００】
ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｍｏｄｅ＝１を満たさない場合（ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｍｏｄｅ＝２の場合）、レイヤ間予測は、拡張レイヤ内における現在のピクチャの前または後のピクチャと、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャと、に基づいて行われてよい（Ｓ８９０）。
【０１０１】
図９は、本発明の実施形態に係る、マルチレイヤ動画のレイヤ間予測に用いられる構文要素を示す図である。
【０１０２】
図９を参照すると、本発明の実施形態に係る構文要素である、ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｅｎａｂｌｅ＿ｆｌａｇを用いることにより、異なる時間のピクチャを基準ピクチャとして使用するかどうかを判定することが可能であり、かつｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｅｘｔ＿ｍｏｄｅを用いることにより、どのピクチャを基準ピクチャとして使用するかを判定することも可能である。
【０１０３】
図１０は、本発明の実施形態に係る、マルチレイヤ動画のレイヤ間予測を行う復号化装置を示すブロック図である。
【０１０４】
図１０を参照すると、本発明の実施形態に係る復号化装置は、基準レイヤ用の復号化装置４００と、拡張レイヤ用の復号化装置５００とを含む。さらに、復号化装置は、補間ユニット６１０を含む。
【０１０５】
復号化装置４００または５００の各々は、エントロピー復号化ユニット４１０または５１０と、逆量子化ユニット４２０または５２０と、逆変換ユニット４３０または５３０と、加算ユニット４４０または５４０と、ループ内フィルタユニット４５０または５５０と、フレームメモリ４６０または５６０と、イントラ予測ユニット４７０または５７０と、動き補償ユニット４８０または５８０と、を含む。復号化装置４００または５００の構成要素は、図１の復号化装置の構成要素にそれぞれ対応するものと理解してもよく、よって、その詳細な説明は省略する。
【０１０６】
予測ユニットは、イントラ予測ユニット４７０または５７０と、動き補償ユニット４８０または５８０と、を含んで、イントラ予測およびインター予測を行ってよい。
【０１０７】
本発明の実施形態に係る復号化装置の予測ユニットは、拡張レイヤ内のピクチャまたは基準レイヤ内の再構築ピクチャに基づいてレイヤ間予測を行って、拡張レイヤ内の現在のピクチャを符号化してよい。
【０１０８】
まず、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在する場合に、予測ユニットは、拡張レイヤ内の現在のピクチャに対応する時間の、基準レイヤ内の再構築ピクチャに基づいてレイヤ間予測を行ってよい。
【０１０９】
特に、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合に、予測ユニットは、拡張レイヤ内における現在のピクチャの前または後のピクチャに基づいてレイヤ間予測を行ってよい。
【０１１０】
また、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合に、予測ユニットは、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャに基づいて、レイヤ間予測を行ってもよい。
【０１１１】
さらに、基準レイヤ内の再構築ピクチャが、拡張レイヤ内の現在のピクチャに対応する時間に存在しない場合に、予測ユニットは、拡張レイヤ内における現在のピクチャの前または後のピクチャと、基準レイヤ内における、拡張レイヤ内の現在のピクチャに対応する時間の再構築ピクチャの前または後のピクチャと、に基づいてレイヤ間予測を行ってもよい。
【０１１２】
本発明の実施形態に係るマルチレイヤ動画のレイヤ間予測方法および装置は、拡張レイヤの符号化または復号化の際に、現在のピクチャと同じ時間的位置に、基準レイヤ内の再構築ピクチャが存在しない場合であっても、拡張レイヤ内のピクチャまたは基準レイヤ内のピクチャを適応的に利用することにより、レイヤ間予測を有効に行うことが可能であり、これにより、有効なレイヤ間予測によって、符号化効率を向上させる。
【０１１３】
また、本発明の実施形態に係る上述の符号化装置および復号化装置の個別の構成要素は、説明の便宜のため、それぞれの構成要素として別々に列記され、かつ含まれるものとして説明したが、それぞれの構成要素の少なくとも２つを、１つの構成要素に組み合わせるか、または１つの構成要素を複数の構成要素に分割して、単独または組み合わされたこれらの構成要素により機能が行われる方式を実施してもよい。個別の構成要素が組み合わされまたは分離される、それらの実施形態も、本発明の重要な特徴から逸脱することなく、本発明の範囲に含めてもよい。
【０１１４】
また、本発明に係る符号化装置および復号化装置は、コンピュータ読み取り可能な記憶媒体に保存してもよく、かつコンピュータ読み取り可能なプログラムまたはコードとして実施してもよい。コンピュータ読み取り可能な記憶媒体は、コンピュータシステムによって読み取り可能なデータが保存される、すべての種類の記録装置を含む。また、コンピュータ読み取り可能な記憶媒体は、ネットワーク上で接続されたコンピュータシステムにまたがって配布してもよく、コンピュータ読み取り可能なプログラムまたはコードを分布する方法で保存および実行してもよい。
【０１１５】
本発明は、本発明の好適な実施形態を参照して説明したが、添付される特許請求の範囲に述べられる本発明の趣旨および範囲から逸脱することなしに、様々な方法で、本発明を変更または修正可能であることを、当業者は理解するであろう。
【図１】
2015536119.tif 000003
【図２】
2015536119.tif 000004
【図３】
2015536119.tif 000005
【図４】
2015536119.tif 000006
【図５】
2015536119.tif 000007
【図６】
2015536119.tif 000008
【図７】
2015536119.tif 000009
【図８】
2015536119.tif 000010
【図９】
2015536119.tif 000011
【図１０】
2015536119.tif 000012
【国際調査報告】
2015536119.tif 000013
2015536119.tif 000014
2015536119.tif 000015
2015536119.tif 000016
2015536119.tif 000017
2015536119.tif 000018