(57)【要約】  レイヤーコーディングビデオの送受信方法及び装置を提供する。  本発明によれば、基本レイヤーの映像及び少なくとも１つの向上レイヤーの映像がそれぞれエンコーディングされ、上記基本レイヤーのエンコーディングされた映像及び上記少なくとも１つの向上レイヤーのエンコーディングされた映像がスライス単位で配列され、上記配列された映像が上記再配列された映像にヘッダーを付加することによりパケット化され、上記パケットがビットストリームとして送信される。
2013526795.tif 000002
【特許請求の範囲】
【請求項１】
１つの映像が複数のスライスに分割され、それぞれのスライスが基本レイヤー及び少なくとも１つの向上レイヤーを含むレイヤーコーディングビデオを送信する方法であって、
前記基本レイヤーの映像及び前記向上レイヤーの映像をそれぞれエンコーディングするステップと、
前記基本レイヤーのエンコーディングされた映像及び前記少なくとも１つの向上レイヤーを前記スライス単位で配列するステップと、
前記配列された映像にヘッダーを付加することにより前記配列された映像をパケット化するステップと、
前記パケット化された映像を送信するステップと
を有することを特徴とする方法。
【請求項２】
現在のチャネル状態に従い使用可能な帯域幅を推定するステップと、
前記配列された映像から所定のスライスの少なくとも１つの向上レイヤーの所定のデータを削除するステップとをさらに有することを特徴とする請求項１に記載の方法。
【請求項３】
前記パケット化するステップは、媒体アクセス制御（ＭＡＣ）レイヤーでのバッファの個数に従って前記配列された映像をパケット化することを特徴とする請求項１に記載の方法。
【請求項４】
所定のスライスの前記少なくとも１つの向上レイヤーの所定のデータは、チャネル状態に従って推定された使用可能な帯域幅に従って前記受信されたビットストリームで削除されることを特徴とする請求項１に記載の方法。
【請求項５】
１つの映像が複数のスライスに分割され、それぞれのスライスが基本レイヤー及び少なくとも１つの向上レイヤーを含むレイヤーコーディングビデオを受信する方法であって、
エンコーディングされたビットストリームを受信するステップと、
前記受信されたビットストリームを逆パケット化するステップと、
前記逆パケット化されたビットストリームをスライス単位でデコーディングするステップと、
前記デコーディングされたビットストリームを表示するステップと
を有することを特徴とする方法。
【請求項６】
１つの映像が複数のスライスに分割され、それぞれのスライスが基本レイヤー及び少なくとも１つの向上レイヤーを含むレイヤーコーディングビデオを送信する装置であって、
前記基本レイヤーの映像及び前記少なくとも１つの向上レイヤーの映像をそれぞれエンコーディングし、前記基本レイヤー及び前記少なくとも１つの向上レイヤーの前記エンコーディングされた映像を前記スライス単位で配列するエンコーダと、
前記配列された映像にヘッダーを付加することにより前記配列された映像をパケット化し、前記パケット化された映像を送信する送信部と
を有することを特徴とする装置。
【請求項７】
前記エンコーダは、前記基本レイヤー及び前記少なくとも１つの向上レイヤーの前記エンコーディングされた映像を前記スライス順序に配列することにより、同一のスライス内では前記基本レイヤーのビットストリームの後ろに前記少なくとも１つの向上レイヤーのビットストリームが配列されることを特徴とする請求項６に記載の装置。
【請求項８】
前記エンコーダは、前記ビットストリームを構成するそれぞれのデータにスライス番号及びレイヤー番号をパーシングすることを特徴とする請求項７に記載の装置。
【請求項９】
現在のチャネル状態に従い使用可能な帯域幅を推定する推定部をさらに有し、
前記エンコーダは、前記配列されたビットストリームで所定のスライスの前記少なくとも１つの向上レイヤーの所定のデータを削除することを特徴とする請求項６に記載の装置。
【請求項１０】
前記送信部は、媒体アクセス制御（ＭＡＣ）レイヤーでのバッファの個数に従って前記配列された映像をパケット化することを特徴とする請求項６に記載の装置。
【請求項１１】
１つの映像が複数のスライスに分割され、それぞれのスライスが基本レイヤー及び少なくとも１つの向上レイヤーを含むレイヤーコーディングビデオを受信する装置であって、
エンコーディングされたビットストリームを受信する受信部と、
前記受信されたビットストリームを逆パケット化する逆パケット化部と、
前記逆パケット化されたビットストリームをスライス単位でデコーディングし、前記デコーディングされたビットストリームを表示するデコーダと
を有することを特徴とする装置。
【請求項１２】
所定のスライスの前記少なくとも１つの向上レイヤーの所定のデータは、チャネル状態に従って推定された使用可能な帯域幅に従って前記受信されたビットストリームで削除されることを特徴とする請求項１１に記載の装置。
【請求項１３】
１つの映像が複数のスライスに分割され、それぞれのスライスが基本レイヤー及び少なくとも１つの向上レイヤーを含むレイヤービデオをエンコーディングする方法であって、
前記基本レイヤーの映像及び前記少なくとも１つの向上レイヤーの映像をそれぞれエンコーディングするステップと、
前記基本レイヤーの映像及び前記少なくとも１つの向上レイヤーの前記エンコーディングされた映像を前記スライス単位で配列するステップと
前記配列された映像を出力するステップと
を有することを特徴とする方法。
【請求項１４】
前記配列するステップは、前記基本レイヤー及び前記少なくとも１つの向上レイヤーの前記エンコーディングされた映像を前記スライス順序に配列することにより、同一のスライス内では前記基本レイヤーのビットストリームの後ろに前記少なくとも１つの向上レイヤーのビットストリームが配列されることを特徴とする請求項１又は請求項１３に記載の方法。
【請求項１５】
前記配列するステップは、前記ビットストリームを構成するそれぞれのデータにスライス番号及びレイヤー番号をパーシングするステップをさらに有することを特徴とする請求項１４に記載の方法。
【請求項１６】
１つの映像が複数のスライスに分割され、それぞれのスライスが基本レイヤー及び少なくとも１つの向上レイヤーを含むレイヤーコーディングビデオをデコーディングする方法であって、
エンコーディングされたビットストリームを受信するステップと、
前記受信されたビットストリームをスライス単位でデコーディングするステップと
を有することを特徴とする方法。
【請求項１７】
前記エンコーディングされたビットストリームは、前記スライス順序に配列されることにより同一のスライス内では前記基本レイヤーのビットストリームの後ろに前記少なくとも１つの向上レイヤーのビットストリームが配列されることを特徴とする請求項５又は請求項１６に記載の方法。
【請求項１８】
前記ビットストリームは、前記ビットストリームを構成するそれぞれのデータにスライス番号及びレイヤー番号を含むことを特徴とする請求項５又は請求項１６項に記載の方法。
【請求項１９】
１つの映像が複数のスライスに分割され、それぞれのスライスが基本レイヤー及び少なくとも１つの向上レイヤーを含むレイヤービデオをエンコーディングする装置であって、
前記基本レイヤーの映像及び前記少なくとも１つの向上レイヤーの映像をそれぞれエンコーディングするエンコーダと、
前記基本レイヤー及び前記少なくとも１つの向上レイヤーの前記エンコーディングされた映像を前記スライス単位で配列し、前記配列された映像を出力する配列部と
を有することを特徴とする装置。
【請求項２０】
前記配列部は、前記基本レイヤー及び前記少なくとも１つの向上レイヤーの前記エンコーディングされた映像を前記スライス順序に配列することにより、同一のスライス内では前記基本レイヤーのビットストリームの後ろに前記少なくとも１つの向上レイヤーのビットストリームが配列されることを特徴とする請求項１９に記載の装置。
【請求項２１】
１つの映像が複数のスライスに分割され、それぞれのスライスが基本レイヤー及び少なくとも１つの向上レイヤーを含むレイヤーコーディングビデオをデコーディングする装置であって、
エンコーディングされたビットストリームを受信する受信部と、
前記受信されたビットストリームをスライス単位でデコーディングするデコーダと
を有することを特徴とする装置。
【請求項２２】
前記エンコーディングされたビットストリームは、前記スライス順序に配列されることにより同一のスライス内では前記基本レイヤーのビットストリームの後ろに前記少なくとも１つの向上レイヤーのビットストリームが配列されることを特徴とする請求項１１又は請求項２１に記載の装置。
【請求項２３】
前記エンコーディングされたビットストリームを構成するそれぞれのデータは、スライス番号及びレイヤー番号を含むことを特徴とする請求項１１又は請求項２１に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオコーディング方法及び装置に関し、特に、レイヤービデオコーディング方式での映像のエンコーディング及びデコーディング方法及び装置に関する。
【背景技術】
【０００２】
ディジタルビデオ信号は、大容量のデータ処理を必要とする。このような大容量のディジタルビデオデータを限定された帯域幅又は容量の送信媒体で効率的に送信するためには、映像圧縮が必須である。このような大容量のビデオデータを圧縮するためには、様々なビデオコーダ及びデコーダ（ＣＯＤＥＣ）技術が開発されてきた。
【０００３】
大部分のビデオＣＯＤＥＣ技術は、一般的に、マクロブロック単位でビデオ信号を処理する。各マクロブロックは、処理のために複数のピクセルブロックに分割される。ビデオコーディングは、動き推定、動き補償、離散コサイン変換（ＤＣＴ）、量子化、エントロピーエンコーディングなどを含む。
【０００４】
無線ネットワーク技術、ビデオＣＯＤＥＣ技術、及びストリーミング技術の発展は、ビデオオンデマンド（以下、“ＶｏＤ”と称する）の応用範囲を画期的に広めている。インターネットプロトコル（ＩＰ）テレビジョン（ＩＰＴＶ）だけではなくスマートフォンを介して場所又は時間にかかわらずサービスを楽しむことをしばしば見ることができる。特に、無線ネットワーク技術の発展とともにワイファイ（wireless  fidelity：Ｗｉ−Ｆｉ）を普遍化させた。現在では、６０ＧＨｚ周波数帯域でマルチギガビット速度の無線通信を目標とする無線ギガビットアライアンス（ＷｉＧｉｇ）の標準化が進行中である。ＷｉＧｉｇは、無線パーソナルエリアネットワーク（Wireless  Personal  Area  Network：ＷＰＡＮ）の中の１つであり、数メートルの短い範囲内で数百ギガビットのデータトラフィックを必要とする分野に適用可能である。例えば、ＷｉＧｉｇは、ラップトップ又はゲーム機のようなセットトップのディスプレーとしてＴＶを活用するか又はスマートフォンに動映像を短時間にダウンロードするアプリケーションに活用してもよい。ＷｉＧｉｇは、セットトップとＴＶとの間でインターフェースすることができる。消費者は、さらに広い画面から臨場感を感じるために様々なマルチメディアソースをＴＶ画面上で視聴することを希望する。このようなサービスは、有線でない無線で容易にサービスされる場合にさらに魅力的なサービスであろう。
【０００５】
セットトップとＴＶとの間での活発な無線インターフェースのためには解決しなければならない問題点がある。有線チャネルとは異なり、無線チャネルの使用可能な帯域幅は、チャネル環境に基づいて可変である。また、セットトップとＴＶとの間のデータ送受信がリアルタイムで行われるので、受信器は、送信器が可変帯域幅を処理しない限り、すなわち、送信器が突然狭くなる使用可能な帯域幅で減少されたデータ量を送信しない限りデータ受信遅延を経験する。したがって、リアルタイムでデータを表示する特性に基づいて所定のパケットが処理されないので、ＴＶ画面上に出力される映像が壊れて表示されることもある。このような問題を解決するためにレイヤーコーディング方法を採択することができる。レイヤーコーディングにおいて、ビデオを時間的、空間的、又は信号対雑音比（ＳＮＲ）スケーラビリティを有する複数のレイヤーにエンコーディングすることにより実際の様々な送信環境及び端末に対応する。
【０００６】
レイヤーコーディング方式によれば、１回のコーディング動作を介して複数のレイヤーを含む１つのソースを生成する。ディジタルマルチメディアブロードキャスティング（ＤＭＢ）端末、スマートフォン、携帯用マルチメディアプレーヤー（ＰＭＰ）、及び高解像度ＴＶ（ＨＤＴＶ）のように、様々なサイズ及び解像度を有する映像データをこの１つのソースで同時にサポートすることができる。また、受信環境に従ってレイヤーを選択的に送信することにより、可変的なネットワーク環境に対応してユーザー経験を向上させることができる。例えば、受信環境の品質が低下する場合に、高解像度レイヤーの映像は、低解像度レイヤーの映像に転換されて再生される。したがって、映像の切れ現象を解消することができる。しかしながら、リアルタイム処理を要求するアプリケーションにおいて、ローレイテンシー（low-latency）をサポートする従来の具体的なレイヤーコーディング及びデコーディング方式が存在しない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、少なくとも上述した問題点及び／又は不都合に取り組み、少なくとも以下の便宜を提供することにある。すなわち、本発明の目的は、ローレイテンシー送信をサポートするためのレイヤービデオエンコーディング方法及び装置を提供することにある。
【０００８】
本発明の他の目的は、ローレイテンシー送信をサポートするためのレイヤービデオデコーディング方法及び装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記のような目的を達成するために、本発明の実施形態の一態様によれば、１つの映像が複数のスライスに分割され、それぞれのスライスが基本レイヤー及び少なくとも１つの向上レイヤーを含むレイヤーコーディングビデオを送信する方法を提供する。上記方法は、上記基本レイヤーの映像及び上記向上レイヤーの映像をそれぞれエンコーディングするステップと、上記基本レイヤーのエンコーディングされた映像及び上記少なくとも１つの向上レイヤーを上記スライス単位で配列するステップと、上記配列された映像にヘッダーを付加することにより上記配列された映像をパケット化するステップと、上記パケット化された映像を送信するステップとを有することを特徴とする。
【００１０】
本発明の実施形態の他の態様によれば、１つの映像が複数のスライスに分割され、それぞれのスライスが基本レイヤー及び少なくとも１つの向上レイヤーを含むレイヤーコーディングビデオを受信する方法を提供する。エンコーディングされたビットストリームを受信するステップと、上記受信されたビットストリームを逆パケット化するステップと、上記逆パケット化されたビットストリームをスライス単位でデコーディングするステップと、上記デコーディングされたビットストリームを表示するステップとを有することを特徴とする。
【００１１】
本発明の実施形態のさらに他の態様によれば、１つの映像が複数のスライスに分割され、それぞれのスライスが基本レイヤー及び少なくとも１つの向上レイヤーを含むレイヤーコーディングビデオを送信する装置を提供する。上記基本レイヤーの映像及び上記少なくとも１つの向上レイヤーの映像をそれぞれエンコーディングし、上記基本レイヤー及び上記少なくとも１つの向上レイヤーの上記エンコーディングされた映像を上記スライス単位で配列するエンコーダと、上記配列された映像にヘッダーを付加することにより上記配列された映像をパケット化し、上記パケット化された映像を送信する送信部とを有することを特徴とする。
【００１２】
本発明の実施形態のさらなる他の態様によれば、１つの映像が複数のスライスに分割され、それぞれのスライスが基本レイヤー及び少なくとも１つの向上レイヤーを含むレイヤーコーディングビデオを受信する装置を提供する。エンコーディングされたビットストリームを受信する受信部と、上記受信されたビットストリームを逆パケット化する逆パケット化部と、上記逆パケット化されたビットストリームをスライス単位でデコーディングし、上記デコーディングされたビットストリームを表示するデコーダとを有することを特徴とする。
【発明の効果】
【００１３】
本発明の実施形態の上述した及び他の様相、特徴、及び利点は、以下の添付図面が併用された後述の詳細な説明から、より一層明らかになるだろう。
【図面の簡単な説明】
【００１４】
【図１】レイヤービデオデータの一例を示す図である。
【図２】本発明の実施形態によるレイヤーエンコーディング装置の構成を示すブロック図である。
【図３】任意の無線チャネル環境によるレイヤーエンコーディング方法の適用例を示す図である。
【図４】ＷｉＧｉｇ標準で定義された機能ブロック図である。
【図５】本発明の実施形態によるレイヤーエンコーディング方法を用いてビットストリームをエンコーディングし送信するためのシステムの構成を示すブロック図である。
【図６】ビットストリームが３レイヤー構造を有し、１つの映像が４個のスライスに分割される時に基本レイヤーＣＯＤＥＣとしてＨ．２６４アドバンスドビデオコーディング（ＡＶＣ）を使用し、向上レイヤーＣＯＤＥＣとしてレイヤーエンコーディング方法を使用する場合におけるアプリケーションレイヤーから出力されるビットストリームを示す図である。
【図７】プロトコルアダプテーションレイヤー（ＰＡＬ）においてスライス単位で配列されたビットストリームを示す図である。
【図８】本発明の実施形態によるデータ送信動作を示すフローチャートである。
【図９】本発明の実施形態によるデータ受信動作を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態を、図面を参照しながら詳細に説明する。下記の説明において、明瞭性と簡潔性の観点から、本発明に関連した公知の機能や構成に関する具体的な説明が本発明の要旨を不明瞭にすると判断される場合には、その詳細な説明を省略する。また、後述する用語は、本発明の機能を考慮して定義されたものであって、ユーザー、運用者の意図、又は慣例によって変わり得る。したがって、上記用語は、本明細書の全体内容に基づいて定義されなければならない。
【００１６】
システム側面で必要な処理過程は、大きくエンコーディング、送信、受信、デコーディング、及びディスプレーに分けられる。所定の単位のマクロブロックがエンコーディングされるからデコーディングして表示されるまでかかる時間を待ち時間と定義する場合に、レイテンシーを減少させるためには各処理でかかる時間を最小化しなければならない。一般的に、データ映像を処理する時に順次処理を使用するピクチャレベルのエンコーディングを実行する。また、エンコーディングされたデータを送信するために、ＩＥＥＥ（Institute  of  Electrical  and  Electronics  Engineers）８０２．１１基盤の媒体アクセス制御（ＭＡＣ）レイヤー及び物理（ＰＨＹ）レイヤーでは、ビデオデータに割り当てられた１つのアクセスカテゴリー、すなわち、キューは、一般的に１つであるので複数のレイヤー間のビデオデータを１つのキューに積まなければならない。したがって、データをパケット化する時に基本レイヤーのビットストリームは、レイテンシーの観点で向上レイヤーのビットストリームと適切に混ぜ合わせられなければならない。
【００１７】
しかしながら、レイヤーコーディング方法を使用する場合に、ピクセルレベルコーディングは、向上レイヤーの個数だけレイテンシーが増加しても無関係である。その理由は、上位レイヤーと下位レイヤーとの間の依存性のためにエンコーディング及びデコーディングの間にデータを順次に処理しなければならないためである。すなわち、これは、上位レイヤーをエンコーディングするためには下位レイヤーに対するエンコーディングがまず完了しなければならないことを意味する。
【００１８】
一方、データの並列処理を通してレイヤーコーディングのレイテンシーを減少させることができる。レイヤー間のスライスレベルコーディングは、データを並列的に処理することができる。レイヤー間のスライスレベルコーディングだけでなくデータ送受信及びデータデコーディングは、パイプライン構造で実行しなければならない。
【００１９】
Ｈ．２６４スケーラブルビデオコーディング（scalable  video  Coding：ＳＶＣ）としてよく知られているレイヤーコーディング方式において、ネットワークアダプティブレイヤー（Network  Adaptive  Layer：ＮＡＬ）拡張ヘッダーの３バイト内には、スライス番号を示すdependency_idとレイヤー番号を示すquality_idとが含まれている。dependency_id及びquality_idのフィールドは、空間解像度（spatial  resolution）又はＣＧＳ（Coarse-Grain  Scalability）、及びＭＧＳ（Medium-Grain  Scalability）をそれぞれ示す変数である。これらは、アクセスユニット内のＮＡＬユニット間のデコーディング順序側面で制約をおいている。このような制約により、スライスレベルのコーディングにもかかわらず、順次処理でデータのデコーディングを実行しなければならないので、デコーディング過程において欠陥的なパイプライン構造は、レイテンシーを減少させることが難しい。
【００２０】
したがって、本発明の実施形態は、スライスレベルでレイヤー構造のビデオのエンコーディング及びデコーディングのための方法を提供する。
【００２１】
以下、本発明の実施形態によるレイヤー構造のビデオ処理技術で提案するエンコーディング／デコーディング方法について説明する。本実施形態は、例えば、ＳＭＰＴＥ（Society  of  Motion  Picture  and  Television  Engineers）により提案するＶＣ系列映像コーディング方法に適用可能である。ＶＣ系列の映像コーディング方法はもちろん、本実施形態は、レイヤー構造で映像を処理する各種映像コーディング技術又は処理技術に適用することができる。
【００２２】
図１は、レイヤー構造を有するビデオデータの一例を示す図である。
【００２３】
映像は、１つの基本レイヤー及びそれ以上の向上レイヤーを含み、各レイヤーのフレームは、並列処理のために２つ以上のスライスに分割される。各スライスは、複数の連続的なマクロブロックを含む。図１の例において、映像は、１個の基本レイヤー（base）及び２つの向上レイヤー（Ｅｎｈ１及びＥｎｈ２）を含む。各レイヤー内のフレームは、並列処理のために４個のスライスであるＳｌｉｃｅ  ＃１乃至Ｓｌｉｃｅ  ＃４に分割される。
【００２４】
図２は、本発明の実施形態によるレイヤーエンコーディング装置の構成を示すブロック図である。
【００２５】
図２を参照すると、エンコーダ２1０は、並列処理のパイプライン構造を保持するようにレイヤー間のスライスレベルコーディングをサポートしなければならない。パケット化部２２０は、ビデオデータに割り当て可能なＭＡＣ端の物理的バッファの個数に従って複数のレイヤーのエンコーディングされたデータをパケット化する。すなわち、パケット化部２２０でパケット化したビットストリームの個数は、ビデオデータに割り当て可能なＭＡＣ端の物理的バッファの個数と同一である。送信部２３０は、パケット化されたビットストリームを送信する。受信部２４０は、送信部２３０からパケット化されたビットストリームを受信する。逆パケット化部２５０は、受信されたデータからビデオデータを抽出し、このビデオデータを逆パケット化（de-packetization）する。デコーダ２６０は、スライスレベルコーディングされたデータをスライスレベルでコーディングされたデータのレイヤーに従って表現（layer  representation）する。この時に、レイテンシーを減少させるためにスライス単位でデータを表現する。スライス単位でレイヤーに従ってデータを表現することは、スライス単位で基本レイヤー及び向上レイヤーがデコーディングされ、デコーディングされたレイヤーが最上位レイヤーに従って表現されることを意味する。
【００２６】
本発明によると、スライス単位でデコーディングが可能であるので、使用可能な帯域幅がチャネル環境に従って変わる場合に受信部のサービス品質を高めることができる。以下では、本発明の実施形態によるエンコーディング及びデコーディング方法をＷｉＧｉｇ（Wireless  Gigabit  Alliance）標準に適用する実施形態について詳細に説明する。
【００２７】
図３は、任意の無線チャネル環境へのレイヤーエンコーディング方法の適用例を示す図である。
【００２８】
図３を参照すると、使用可能な帯域幅が良好なチャネル状態によりレイヤーを送信するのに十分である場合には、３個のレイヤーがすべて送信される。例えば、スライス＃１及びスライス＃４の場合には、３つのレイヤーが送信される。他方、無線チャネル状態がよくない場合には、使用可能な帯域幅が許容するレイヤーのみが送信される。したがって、図３において、スライス＃２の場合には２個のレイヤーが送信され、スライス＃３の場合には１つのレイヤーが送信される。
【００２９】
このように、異なるチャネル状況に従って異なる個数のレイヤーを送信するためには、レイヤーエンコーディング方法を実行するアプリケーションレイヤー、ＭＡＣレイヤー、及びＭＡＣレイヤーとアプリケーションレイヤーとの間で中継し、ＭＡＣレイヤーとアプリケーションレイヤーとの間で制御するプロトコルアダプテーションレイヤー（ＰＡＬ）を含むシステム側面で考慮しなければならない。
【００３０】
図４は、ＷｉＧｉｇ標準で定義された機能ブロック図である。ＷｉＧｉｇは、既存の無線フィデリティアライアンス（Wireless  Fidelity  Alliance：ＷＦＡ）とは異なる独立した標準化団体により、マルチギガビット無線サービスを提供することを目標にして標準化が進行中である。レイヤーエンコーディング方法で無線チャネル環境に従ってビットストリームを送信するためには、ＰＡＬは、付加の機能を必要とする。
【００３１】
図５は、本発明の実施形態によるレイヤーエンコーディング方法を用いてビットストリームをエンコーディングし送信するためのシステムの構成を示すブロック図である。
【００３２】
図５を参照すると、アプリケーションレイヤーにおいて、ビットストリームは、レイヤーエンコーディング方法で基本レイヤー及び向上レイヤーにエンコーディングされる。基本レイヤー及び向上レイヤーのコーディングされたビットストリームは、２つのバッファ５１０及び５１１にそれぞれバッファリングされる。同様に、ＰＡＬレイヤーにおいても、基本レイヤーのビットストリームは、基本レイヤーバッファ５２０にバッファリングされ、向上レイヤーのビットストリームは、向上レイヤーバッファ５２１にバッファリングされる。
【００３３】
ビットストリームを基本レイヤーと向上レイヤーとに区分する１つの理由は、基本レイヤーのコーデックと向上レイヤーのコーデックとが異なるので基本レイヤー及び向上レイヤーのビットストリームをともにパケット化することが難しいこともある。もう１つの理由は、基本レイヤー及び向上レイヤーの個々のパケット化が無線チャネル状態に従って向上レイヤーのデータを廃棄するのにかかる時間を短縮させることができる。
【００３４】
このアプリケーションレイヤーがデータをＰＡＬに送信する場合に、向上レイヤーのデータは、使用可能な帯域幅に従って部分的に廃棄される。このような目的のために、ＭＡＣレイヤー５６０は、使用可能な帯域幅を推定し、推定された使用可能な帯域幅をアプリケーションレイヤーにフィードバックしなければならない。使用可能な帯域幅の推定は、送信部で送信したパケットの個数を受信部で受信したパケットの個数と比較し、これにより、送信部と受信部との間のチャネル状態を推定することにより行われる。その他にも使用可能な帯域幅を推定する方法には様々な方法があり、これは、本発明の主要な要旨でないので、ここでは、使用可能な帯域幅を推定する様々な方法に関する具体的な説明を省略する。
【００３５】
また、アプリケーションレイヤーは、推定された使用可能な帯域幅に従ってＰＡＬに送信されるように向上レイヤーデータを決定し、向上レイヤーバッファ５２１内の残っている向上レイヤーデータを削除する。すなわち、アプリケーションレイヤーのビデオＣＯＤＥＣは、‘スターティングバイトプレフィックス（starting  bytes  prefix）’を含むパケット化されたビットストリームをパーシングすることにより廃棄される向上レイヤービットストリームを探索し、この探索された向上レイヤービットストリームをバッファで削除する。このような動作の後に、基本レイヤービットストリームは、ＰＡＬレイヤーの基本レイヤーバッファ５２０にバッファリングされ、向上レイヤービットストリームは、ＰＡＬレイヤーの向上レイヤーバッファ５２１にバッファリングされる。
【００３６】
２つ又はそれ以上のキューがサービスシステム内のＭＡＣレイヤーでのビデオデータのために割り当てられる場合に、１つのキューは、基本レイヤービットストリームに割り当てられ、他のキューは、向上レイヤービットストリームに割り当てられる。ＭＡＣレイヤーのキューにビットストリームを記憶するためには、ＰＡＬパケット化部５４０は、ＰＡＬヘッダーをビットストリームに付加することによりパケットを構成し、ＭＡＣパケット化部５５０は、ＭＡＣヘッダーをこれに付加することにより、ＰＡＬヘッダーでこのパケットをパケット化する。
【００３７】
一般的に、１つのキューは、ＭＡＣレイヤーで各サービスフローに割り当てられる。１つのキューのみがサービスシステムのＭＡＣレイヤー内のビデオデータのために割り当てられることにより、基本レイヤー及び向上レイヤーの２つのキューに分けられる場合に、ＰＡＬバッファ５３０は、基本レイヤーのビットストリームと向上レイヤーのビットストリームとを１つに結合する必要がある。具体的に、基本レイヤーのビットストリームをまず送り、向上レイヤーのビットストリームを後で送り、各ビットストリームは、ビットストリームのスライス番号及びレイヤー番号をパーシングすることによりＰＡＬバッファ５３０にバッファリングされる。
【００３８】
一方、ＷｉＧｉｇ標準では、ＰＡＬレイヤーでビットストリームをスライス単位で配列する動作を実行するが、ＰＡＬレイヤーが存在しない他のシステムは、エンコーダでビットストリームを配列した後にＭＡＣレイヤーに送信することができる。
【００３９】
図６は、ビットストリームが３レイヤー構造を有し、１つの映像が４個のスライスに分割される時に基本レイヤーＣＯＤＥＣとしてＨ．２６４アドバンスドビデオコーディング（ＡＶＣ）を使用し、向上レイヤーＣＯＤＥＣとしてレイヤーエンコーディング方法を使用する場合におけるアプリケーションレイヤーから出力されるビットストリームを示す図である。
【００４０】
基本レイヤーのビットストリームは、バイトストリームスタートコードプレフィックス、ネットワークアダプティブレイヤー（ＮＡＬ）ヘッダー、シーケンスパラメータセット（ＳＰＳ）及びピクチャパラメータセット（ＰＰＳ）として知られたヘッダー情報、及び各スライスの基本レイヤーデータの順序に順次に含む。
【００４１】
向上レイヤーのビットストリームは、バイトストリームスタートコードプレフィックス、サフィックスヘッダー、シーケンスヘッダー（ＳＨ）、ピクチャーヘッダー（ＰＨ）、及び各スライスの向上レイヤーデータの順序に順次に含む。レイヤーコーディングされたパケットのヘッダー情報である‘サフィックスバイト（suffix  byte）’は、Ｈ．２６４のＮＡＬバイトと類似して機能する。
【００４２】
この後に、推定された使用可能な帯域幅に従って向上レイヤーのデータのうちで、Ｓｌｉｃｅ  ＃２の２番目の向上レイヤーのデータ（Ｅｎｈ２  Ｓｌｉｃｅ  ＃２）及びＳｌｉｃｅ  ＃３の１番目及び２番目の向上レイヤーのデータ（Ｅｎｈ１  Ｓｌｉｃｅ  ＃３及びＥｎｈ２  Ｓｌｉｃｅ  ＃３）を廃棄し、残りの向上レイヤーのデータがＰＡＬに送信される。ＰＡＬは、基本レイヤーのデータ及び向上レイヤーのデータをスライス単位で配列し、配列された基本レイヤーのデータと向上レイヤーのデータとを合わせる。
【００４３】
図７は、ＰＡＬレイヤーでスライス単位で配列されたビットストリームを示す図である。
【００４４】
図７を参照すると、基本レイヤーのヘッダー情報であるＳＰＳ及びＰＰＳと１番目のスライスデータ（Ｓｌｉｃｅ  ＃１）の後ろには、１番目の向上レイヤーのヘッダー情報ＳＨ及びＰＨと１番目の向上レイヤーの１番目のスライスデータ（Ｅｎｈ１  Ｓｌｉｃｅ  ＃１）が配列され、その後ろには、２番目の向上レイヤーの１番目のスライスデータ（Ｅｎｈ２  Ｓｌｉｃｅ  ＃１）が配列される。Ｅｎｈ２  Ｓｌｉｃｅ  ＃１の後ろには、２番目のスライスの基本レイヤーデータ及び１番目の向上レイヤーデータ（Ｓｌｉｃｅ  ＃２及びＥｎｈ１  Ｓｌｉｃｅ  ＃２）が配列され、その後ろには、３番目のスライスの基本レイヤーデータ（Ｓｌｉｃｅ  ＃３）、及び４番目のスライスの基本レイヤーデータと１番目及び２番目の向上レイヤーデータ（Ｓｌｉｃｅ  ＃４、Ｅｎｈ１  Ｓｌｉｃｅ  ＃４及びＥｎｈ２  Ｓｌｉｃｅ  ＃４）とが順次に配列される。すなわち、Ｅｎｈ１  Ｓｌｉｃｅ  ＃２が１番目の向上レイヤーに属するとしても、２番目の向上レイヤーに属するＥｎｈ２  Ｓｌｉｃｅ  ＃１は、１番目の向上レイヤーに属するＥｎｈ１  Ｓｌｉｃｅ  ＃２を参照する必要がないので、Ｅｎｈ２  Ｓｌｉｃｅ  ＃１は、Ｅｎｈ１  Ｓｌｉｃｅ  ＃２の前に配列することができる。
【００４５】
このような順序に配列されたビットストリームを受信する場合に、受信部は、スライス単位でビットストリームをデコーディングすることにより、データ処理においてレイテンシーを減少させることができる。
【００４６】
図８は、本発明の実施形態によるデータ送信動作を示すフローチャートである。
【００４７】
図８を参照すると、ステップ８１０において、アプリケーションレイヤーは、マルチレイヤー映像をレイヤー別にエンコーディングし、ステップ８２０において、エンコーディングされたレイヤー別ビットストリームをスライス単位で配列する。すなわち、３個のレイヤーが定義され、１つの映像が４個のスライスに分割される場合に、１番目のスライスの基本レイヤーデータの後ろに１番目のスライスの１番目の向上レイヤーデータが配列され、その後ろに１番目のスライスの２番目の向上レイヤーデータが配列され、その後ろに２番目のスライスの基本レイヤーデータが配列される。このような方式で、最後のスライスの２番目の向上レイヤーデータまで配列される。
【００４８】
ＭＡＣレイヤーからチャネル状態に関するフィードバック情報を受信する場合には、アプリケーションレイヤーは、ステップ８３０において、チャネル状態に従って配列されたデータから対応するスライス又は複数のスライスの向上レイヤーデータを廃棄し、基本レイヤーデータ及び残りの向上レイヤーデータをＭＡＣレイヤーに送信する。
【００４９】
ステップ８４０において、ＭＡＣレイヤーは、ＭＡＣヘッダーを受信されたデータに付加することにより受信されたデータをパケット化し、このパケットをＰＨＹレイヤーに送信する。
【００５０】
図９は、本発明の実施形態によるデータ受信動作を示すフローチャートである。
【００５１】
図９を参照すると、ステップ９１０において、受信部は、スライス単位で配列されたデータを送信部から受信する。ステップ９２０において、受信部は、この受信されたデータからヘッダーを抽出した後に、受信されたデータを逆パケット化する。その後に、ステップ９３０において、逆パケット化されたデータをスライス単位でデコーディングし、このデコーディングされたデータを表示する。このような方式で、スライス単位でデコーディングされたデータを直接表示することができる。したがって、レイヤーレベルデコーディングに比べてレイテンシーを減少させることができる。
【００５２】
一方、本発明の実施形態によるエンコーディング及びデコーディング方法は、低いレイテンシー又は小さいバッファサイズを必要とするレイヤーコーディングアプリケーションに適用することができる。例えば、並列処理システムにおいて、向上レイヤーがｍ個であり、１つの映像がｎ個のスライスに分割される場合に、基本レイヤー及び向上レイヤーのエンコーディング時間が同一であると仮定すると、パイプライン構造でレイヤーコーディング方法を使用する場合のレイテンシーは、次に示す数式（１）と同一である。
【００５３】
Ｌａｔｅｎｃｙｐｒｏ＝（１＋ｍ／ｎ）＊（ｔｅｎｃ＋ｔｄｅｃ）    （１）
ここで、ｔｅｎｃは、エンコーディングにかかる時間であり、ｔｄｅｃは、デコーディングにかかる時間である。
【００５４】
レイヤーコーディングが数式（１）で説明するようにパイプライン構造で実行される場合に、レイテンシーは、映像内のスライス個数であるｎが大きくなるほど基本レイヤーのレイテンシーに減少される。すなわち、レイテンシーは、単一レイヤーＣＯＤＥＣのレイテンシーと同一である。
【００５５】
他方、パイプライン構造でない順次処理システムにおけるレイヤーコーディングの場合に、レイテンシーは、
Ｌａｔｅｎｃｙｃｏｎ＝（１＋ｍ）＊（ｔｅｎｃ＋ｔｄｅｃ）    （２）
数式（２）で説明するように、レイヤーコーディングが順次処理システムで実行される場合に、レイテンシーは、基本レイヤーのレイテンシーに加えて向上レイヤーの個数ｍに比例して増加する。
【００５６】
本発明の実施形態は、コンピュータ読み取り可能な記録媒体上でコンピュータ読み取り可能なコードとして実現することもできる。コンピュータ読み取り可能な記録媒体は、コンピュータシステムにより読出し可能なデータを記憶できる任意のデータ記憶装置である。
【００５７】
本発明の一実施形態は、エンコーディング及びデコーディング方法を実行するエンコーディング及びデコーディング装置で実行することができ、その装置は、すべての構成ユニットに接続されるバス、ディスプレー、バスに接続される少なくとも１つのプロセッサ及びメッセージを生成し、メッセージを受信し、命令を記憶するバスに接続されるメモリ、その装置の動作を制御し、命令を実行するプロセッサを含む。
【００５８】
コンピュータ読み取り可能な記録媒体の例としては、読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光学データ記憶装置を含む。また、コンピュータ読み取り可能な記録媒体は、コンピュータ読み取り可能なコードが配布される方式で記憶されて実行されるように、ネットワーク結合型コンピュータシステムを介して配布することができる。他の実施形態において、本発明は、ネットワークを介した送信のために搬送波のようなコンピュータ読み取り可能な送信メディアとして実現されることができる。
【００５９】
以上、本発明を具体的な実施形態を参照して詳細に説明してきたが、本発明の範囲及び趣旨を逸脱することなく様々な変更が可能であるということは、当業者には明らかであり、本発明の範囲は、上述の実施形態に限定されるべきではなく、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるべきである。
【符号の説明】
【００６０】
２１０  エンコーダ
２２０  パケット化部
２３０  送信部
２４０  受信部
２５０  逆パケット化部
２６０  デコーダ
５１０  アプリケーション（基本）バッファ
５１１  アプリケーション（向上）バッファ
５２０  ＰＡＬ（基本）バッファ
５２１  ＰＡＬ（向上）バッファ
５３０  ＰＡＬバッファ
５４０  ＰＡＬパケット化部
５５０  ＭＡＣパケット化部
５６０  ＭＡＣ使用可能な帯域幅推定部
【図１】
2013526795.tif 000003
【図２】
2013526795.tif 000004
【図３】
2013526795.tif 000005
【図４】
2013526795.tif 000006
【図５】
2013526795.tif 000007
【図６】
2013526795.tif 000008
【図７】
2013526795.tif 000009
【図８】
2013526795.tif 000010
【図９】
2013526795.tif 000011
【国際調査報告】
2013526795.tif 000012
2013526795.tif 000013