(57)【要約】  スケーラブルビデオ符号化（ＳＶＣ）での多重ＲＯＩ（関心領域）設定の方法および装置、ならびにＲＯＩ再構成の方法および装置を提供する。多重ＲＯＩ設定装置は、少なくとも１つまたは複数のＲＯＩを設定し、ＲＯＩ識別願号をそれぞれのＲＯＩに割り当てるＲＯＩ設定ユニットと、少なくとも１つまたは複数のスライスグループ識別番号を少なくとも１つまたは複数のＲＯＩ  ＩＤに割り当てるマッピングユニットと、ＲＯＩ関連情報、スライスグループ関連情報、ＲＯＩ  ＩＤの１つまたは複数のスライスグループ識別番号に対するマッピングに関するマッピング情報、およびスケーラビリティ情報を含むメッセージを生成するメッセージ生成ユニットとを含む。
2009510888.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つまたは複数のＲＯＩを設定し、マクロブロックを少なくとも１つのＲＯＩに割り当てられるパターンとして定義することによりＲＯＩ識別番号を前記それぞれのＲＯＩに割り当てるＲＯＩ設定ユニットと、
少なくとも１つまたは複数のスライスグループ識別番号を、前記少なくとも１つまたは複数のＲＯＩ識別番号に割り当てるマッピングユニットと、
ＲＯＩ関連情報、スライスグループ関連情報、前記１つまたは複数のスライスグループ識別番号への前記少なくとも１つまたは複数のＲＯＩ識別番号のマッピングに関するマッピング情報、およびスケーラビリティ情報を含むメッセージを生成するメッセージ生成ユニットと
を備えることを特徴とする多重関心領域（ＲＯＩ：region of interest）設定装置。
【請求項２】
複数のビットストリームから前記メッセージに基づいて、特定のスケーラビリティを伴う特定のＲＯＩを有するビットストリームを選択する選択ユニットをさらに備えることを特徴とする請求項１に記載の多重ＲＯＩ設定装置。
【請求項３】
前記ＲＯＩ間にオーバーラップ領域があると、前記マッピングユニットは、前記それぞれのスライスグループ識別番号を、前記オーバーラップ領域、および他の領域とオーバーラップしない前記ＲＯＩの領域に割り当てることを特徴とする請求項１に記載の多重ＲＯＩ設定装置。
【請求項４】
前記選択ユニットは、特定のＲＯＩ識別番号にマップされるスライスグループ識別番号に対応するスライスグループを、前記ビットストリームから前記メッセージ内の前記情報に基づいて検出し、検出されたスライスグループが存在しないＮＡＬユニットを除去し、特定のスケーラビリティより高いスケーラビリティを有するＮＡＬユニットを除去することを特徴とする請求項２に記載の多重ＲＯＩ設定装置。
【請求項５】
前記ＲＯＩ設定ユニットは、Ｈ．２６４多重スライスグループのＦＭＯ（flexible macroblock ordering）を使用することによって、前記マクロブロックを少なくとも１つまたは複数のＲＯＩとして設定することを特徴とする請求項１に記載の多重ＲＯＩ設定装置。
【請求項６】
前記メッセージは、Ｈ．２６４／ＡＶＣのＳＥＩ（supplemental enhancement information）メッセージであることを特徴とする請求項１に記載の多重ＲＯＩ設定装置。
【請求項７】
前記メッセージは、符号化されて、エンコーダのビットストリームに含まれることを特徴とする請求項１または請求項６に記載の多重ＲＯＩ設定装置。
【請求項８】
前記マクロブロックは、スケーラブルビデオストリームに含まれるフレームに含まれることを特徴とする請求項１に記載の多重ＲＯＩ設定装置。
【請求項９】
前記メッセージは、ＲＯＩの数、ＲＯＩ識別番号、スライスグループ識別番号、それぞれのスライスグループのサイズおよび位置、ならびに少なくとも１つまたは複数のスライスグループ識別番号への前記少なくとも１つまたは複数のＲＯＩ識別番号のマッピングに関するマッピング情報を含むことを特徴とする請求項１に記載の多重ＲＯＩ設定装置。
【請求項１０】
少なくとも１つまたは複数のスライスグループを少なくとも１つまたは複数の設定されたＲＯＩに割り当てるマッピングに関するマッピング情報、ＲＯＩ関連情報、スライスグループ関連情報、およびスケーラビリティ情報を含むメッセージを有するビットストリームを受信する受信ユニットと、
複数の前記ビットストリームから前記メッセージに基づいて、特定のスケーラビリティを有する特定のＲＯＩに対応するビットストリームを選択する選択ユニットと
を備えることを特徴とするＲＯＩ選択装置。
【請求項１１】
前記マッピング情報は、前記少なくとも１つまたは複数のＲＯＩへのＲＯＩ識別番号の割り当てに関する情報、および前記ＲＯＩ識別番号への前記少なくとも１つまたは複数のスライスグループを表すスライスグループ識別番号の割り当てに関する情報を含むことを特徴とする請求項１０に記載のＲＯＩ選択装置。
【請求項１２】
前記ＲＯＩ間にオーバーラップ領域があると、前記スライスグループ識別番号は、前記オーバーラップ領域、および他のＲＯＩとオーバーラップしない前記ＲＯＩの領域に割り当てられることを特徴とする請求項１１に記載のＲＯＩ選択装置。
【請求項１３】
前記選択ユニットは、
特定のＲＯＩ識別番号にマップされるスライスグループ識別番号に対応するスライスグループを、前記ビットストリームから前記メッセージ内の前記情報に基づいて検出する検出ユニットと、
検出されたスライスグループが存在しないＮＡＬユニット、および特定のスケーラビリティより高いスケーラビリティを有するＮＡＬユニットを除去する抽出ユニットと
を備えることを特徴とする請求項１１に記載のＲＯＩ選択装置。
【請求項１４】
前記マクロブロックは、Ｈ．２６４多重スライスグループのＦＭＯを使用することによって、少なくとも１つまたは複数のＲＯＩとして設定されることを特徴とする請求項１０に記載のＲＯＩ選択装置。
【請求項１５】
前記マクロブロックは、スケーラブルビデオストリームに含まれるフレーム内に含まれることを特徴とする請求項１０に記載のＲＯＩ選択装置。
【請求項１６】
前記メッセージは、Ｈ．２６４／ＡＶＣのＳＥＩメッセージであることを特徴とする請求項１０に記載のＲＯＩ選択装置。
【請求項１７】
少なくとも１つまたは複数のスライスグループを少なくとも１つまたは複数の設定されたＲＯＩに割り当てるマッピングに関するマッピング情報、ＲＯＩ関連情報、スライスグループ関連情報、およびスケーラビリティ情報を含むメッセージを有するビットストリームを受信する受信ユニットと、
複数の前記ビットストリームから前記メッセージに基づいて、特定のスケーラビリティを有する特定のＲＯＩに対応するビットストリームを選択する選択ユニットと、
前記選択されるビットストリームを復号化する復号化ユニットと
を備えることを特徴とする選択的ＲＯＩ再構成装置。
【請求項１８】
前記マッピング情報は、前記少なくとも１つまたは複数のＲＯＩへのＲＯＩ識別番号の割り当てに関する情報、および前記ＲＯＩ識別番号への前記少なくとも１つまたは複数のスライスグループを表すスライスグループ識別番号の割り当てに関する情報を含むことを特徴とする請求項１７に記載の選択的ＲＯＩ再構成装置。
【請求項１９】
前記ＲＯＩ間にオーバーラップ領域があると、前記スライスグループ識別番号は、前記オーバーラップ領域と、他のＲＯＩとオーバーラップしない前記ＲＯＩの領域に割り当てられることを特徴とする請求項１８に記載の選択的ＲＯＩ再構成装置。
【請求項２０】
前記選択ユニットは、
前記特定のＲＯＩ識別番号にマップされるスライスグループ識別番号に対応するスライスグループを、前記ビットストリームから前記メッセージ内の前記情報に基づいて検出する検出ユニットと、
検出されたスライスグループが存在しないＮＡＬユニット、および特定のスケーラビリティより高いスケーラビリティを有するＮＡＬユニットを除去する抽出ユニットと
を備えることを特徴とする請求歐１８に記載の選択的ＲＯＩ再構成装置。
【請求項２１】
前記マクロブロックは、Ｈ．２６４多重スライスグループのＦＭＯを使用することによって、少なくとも１つまたは複数のＲＯＩとして設定されることを特徴とする請求項１７に記載の選択的ＲＯＩ再構成装置。
【請求項２２】
前記マクロブロックは、スケーラブルビデオストリームに含まれるフレーム内に含まれることを特徴とする請求項１７に記載の選択的ＲＯＩ再構成装置。
【請求項２３】
前記メッセージは、Ｈ．２６４／ＡＶＣのＳＥＩメッセージであることを特徴とする請求項１７に記載の選択的ＲＯＩ再構成装置。
【請求項２４】
（ａ）少なくとも１つまたは複数のＲＯＩを設定して、ＲＯＩ識別番号をそれぞれのＲＯＩに割り当てることと、
（ｂ）少なくとも１つまたは複数のスライスグループ識別番号を、少なくとも１つまたは複数のＲＯＩ識別番号にマッピングすることと、
（ｃ）ＲＯＩ関連情報、スライスグループ関連情報、前記少なくとも１つまたは複数のスライスグループ識別番号への前記ＲＯＩ識別番号のマッピングに関するマッピング情報、およびスケーラビリティ情報を含むメッセージを生成することと
を含むことを特徴とする多重ＲＯＩ設定方法。
【請求項２５】
（ｄ）複数のビットストリームから前記メッセージに基づいて、特定のスケーラビリティを伴う特定のＲＯＩを有するビットストリームを選択することをさらに含むことを特徴とする請求項２４に記載の多重ＲＯＩ設定方法。
【請求項２６】
前記（ｂ）において、前記ＲＯＩ間にオーバーラップ領域があると、前記スライスグループ識別番号は、前記オーバーラップ領域、および他のＲＯＩとオーバーラップしない前記ＲＯＩの領域に割り当てられることを特徴とする請求項２４に記載の多重ＲＯＩ設定方法。
【請求項２７】
前記（ｄ）において、特定のＲＯＩ識別番号にマップされるスライスグループ識別番号に対応するスライスグループを、前記ビットストリームから前記メッセージ内の情報に基づいて検出し、検出されたスライスグループが存在しないＮＡＬユニットが除去され、特定のスケーラビリティより高いスケーラビリティを有するＮＡＬユニットが除去されることを特徴とする請求項２５に記載の多重ＲＯＩ設定方法。
【請求項２８】
前記（ａ）において、前記マクロブロックは、Ｈ．２６４多重スライスグループのＦＭＯを使用することによって、少なくとも１つまたは複数のＲＯＩとして設定されることを特徴とする請求項２４に記載の多重ＲＯＩ設定方法。
【請求項２９】
前記メッセージは、Ｈ．２６４／ＡＶＣのＳＥＩメッセージであることを特徴とする請求項２４に記載の多重ＲＯＩ設定方法。
【請求項３０】
前記メッセージは、符号化されて、エンコーダのビットストリームに含まれることを特徴とする請求項２４または請求項２９に記載の多重ＲＯＩ設定方法。
【請求項３１】
前記マクロブロックは、スケーラブルビデオストリームに含まれるフレーム内に含まれることを特徴とする請求項２４に記載の多重ＲＯＩ設定方法。
【請求項３２】
前記メッセージは、ＲＯＩの数、ＲＯＩ識別番号、スライスグループ識別番号、スライスグループのサイズおよび位置、少なくとも１つまたは複数のスライスグループ識別番号への前記ＲＯＩ識別番号のマッピングに関するマッピング情報を含むことを特徴とする請求項２４に記載の多重ＲＯＩ設定方法。
【請求項３３】
（ａ）少なくとも１つまたは複数のスライスグループを少なくとも１つまたは複数の設定されたＲＯＩに割り当てるマッピングに関するマッピング情報、ＲＯＩ関連情報、スライスグループ関連情報、およびスケーラビリティ情報を含むメッセージを有するビットストリームを受信することと、
（ｂ）複数の前記ビットストリームから前記メッセージに基づいて、特定のスケーラビリティを有する特定のＲＯＩに対応するビットストリームを選択することと
を含むことを特徴とするＲＯＩ選択方法。
【請求項３４】
前記マッピング情報は、前記少なくとも１つまたは複数のＲＯＩへのＲＯＩ識別番号の割り当てに関する情報、および前記ＲＯＩ識別番号への前記少なくとも１つまたは複数のスライスグループを表すスライスグループ識別番号の割り当てに関する情報を含むことを特徴とする請求項３３に記載のＲＯＩ選択方法。
【請求項３５】
前記ＲＯＩ間にオーバーラップ領域があると、前記スライスグループ識別番号は、前記オーバーラップ領域、他のＲＯＩと重複しない前記ＲＯＩの領域に割り当てられることを特徴とする請求項３４に記載のＲＯＩ選択方法。
【請求項３６】
前記（ｂ）は、
（ｂ１）特定のＲＯＩ識別番号にマップされるスライスグループ識別番号に対応するスライスグループを、前記ビットストリームから前記メッセージ内の前記情報に基づいて検出することと、
（ｂ２）前記検出されるスライスグループが存在しないＮＡＬユニット、および特定のスケーラビリティより高いスケーラビリティを有するＮＡＬユニットを除去することと
を含むことを特徴とする請求項３４に記載のＲＯＩ選択方法。
【請求項３７】
前記マクロブロックは、Ｈ．２６４多重スライスグループのＦＭＯを使用することによって、少なくとも１つまたは複数のＲＯＩとして設定されることを特徴とする請求項３３に記載のＲＯＩ選択方法。
【請求項３８】
前記マクロブロックは、前記スケーラブルビデオストリームに含まれるフレーム内に含まれることを特徴とする請求項３３に記載のＲＯＩ選択方法。
【請求項３９】
前記メッセージは、Ｈ．２６４／ＡＶＣのＳＥＩメッセージであることを特徴とする請求項３３に記載のＲＯＩ選択方法。
【請求項４０】
（ａ）少なくとも１つまたは複数のスライスグループを少なくとも１つまたは複数の設定されたＲＯＩに割り当てるマッピングに関するマッピング情報、ＲＯＩ関連情報、スライスグループ関連情報、およびスケーラビリティ情報を含むメッセージを有するビットストリームを受信することと、
（ｂ）複数の前記ビットストリームから前記メッセージに基づいて、特定のスケーラビリティを有する特定のＲＯＩに対応するビットストリームを選択するステップことと、
（ｃ）選択されたビットストリームを復号化することと
を含むことを特徴とする選択的ＲＯＩ再構成方法。
【請求項４１】
前記マッピング情報は、前記少なくとも１つまたは複数のＲＯＩへのＲＯＩ識別番号の割り当てに関する情報、および前記ＲＯＩ識別番号への前記少なくとも１つまたは複数のスライスグループを表すスライスグループ識別番号の割り当てに関する情報を含むことを特徴とする請求項４０に記載の選択的ＲＯＩ再構成方法。
【請求項４２】
前記ＲＯＩ間にオーバーラップ領域があると、前記スライスグループ識別番号は、前記オーバーラップ領域、および他のＲＯＩとオーバーラップしない前記ＲＯＩの領域に割り当てられることを特徴とする請求項４１に記載の選択的ＲＯＩ再構成方法。
【請求項４３】
前記（ｂ）は、
（ｂ１）特定のＲＯＩ識別番号にマップされるスライスグループ識別番号に対応するスライスグループを、前記ビットストリームから前記メッセージ内の前記情報に基づいて検出することと、
（ｂ２）検出されたスライスグループが存在しないＮＡＬユニット、および特定のスケーラビリティより高いスケーラビリティを有するＮＡＬユニットを除去することと
を含むことを特徴とする請求項４１に記載の選択的ＲＯＩ再構成方法。
【請求項４４】
前記マクロブロックは、Ｈ．２６４多重スライスグループのＦＭＯを使用することによって、少なくとも１つまたは複数のＲＯＩとして設定されることを特徴とする請求項４０に記載の選択的ＲＯＩ再構成方法。
【請求項４５】
前記マクロブロックは、スケーラブルビデオストリームに含まれるフレーム内に含まれることを特徴とする請求項４０に記載の選択的ＲＯＩ再構成方法。
【請求項４６】
前記メッセージは、Ｈ．２６４／ＡＶＣのＳＥＩメッセージであることを特徴とする請求項４０に記載の選択的ＲＯＩ再構成方法。
【請求項４７】
請求項２４から請求項２９、または請求項３１から請求項４６のいずれか１項に記載のコンピュータプログラムを具現化したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スケーラブルビデオ符号化（ＳＶＣ：scalable video coding）で多重関心領域（multiple ＲＯＩ：multiple region of interest）を符号化および復号化する新たな機能をサポートする方法に関し、より詳細には、ＳＶＣで多重ＲＯＩを定義し、ＳＶＣで提供されるスケーラビリティを有する多重ＲＯＩを単独で復号化する方法に関する。
【背景技術】
【０００２】
動画コーデックで実装されるＲＯＩの例として、Ｈ．２６３ベースの符号化およびＭＰＥＧ−４オブジェクトベースの符号化がある。特定の領域をＨ．２６３で単独で復号化する方法を提供するＩＳＤ（independent segment decoding）モードは、単独で復号化すべき領域をその符号化における１つの完全なイメージとして取り扱うという観点からすると、ＭＰＥＧ−４オブジェクトベースの復号化と同じである。しかし、ＩＳＤモードは、ＭＰＥＧ−４オブジェクトベースの復号化とは以下の点で異なる。
【０００３】
（１．Ｈ．２６３のＩＳＤモード）
Ｈ．２６３ベースの符号化では、イメージ内の特定の領域を単独で復号化する方法は、オプション（Ｈ．２６３のＡｎｎｅｘ  Ｒ）として提供される。特に、Ｈ．２６３ベースの符号化では、スケーラブル階層符号化を使用することによって、空間スケーラビリティ、時間スケーラビリティ、および品質スケーラビリティを提供することができる。
【０００４】
Ｈ．２６３では、品質スケーラビリティは、ＳＶＣのＣＧＳ（coarse grain scalability）に対応する方法を使用することによって提供され、時間スケーラビリティは、ＦＧＳ（fine grain scalability）に対応し可変フレーム（variable frame）をサポートする方法を使用することによって提供される。さらに、空間スケーラビリティの場合、スケーラブルビデオ復号化（ＳＶＤ：scalable video decoding）と同様に、解像度に関してコード化が実行され、低解像度のイメージを使用することによって階層間コード化が実行される。
【０００５】
（２．ＭＰＥＧ−４オブジェクトベースのコーダ）
ＭＰＥＧ−４オブジェクトベースのコード化では、任意の形状を有するオブジェクト領域は、ＶＯＰ（video object plane）によって定義される長方形の領域にコード化される。この方法によると、ＲＯＩと類似のイメージ内の特定の領域は、単独で復号化することができるようなやり方でコード化される。
【０００６】
Ｈ．２６４ベースの符号化に基づくＳＶＣは、Ｈ．２６３およびＭＰＥＧ−４より高いコード化効率を有し、ＳＶＣのコード化スキーマは、Ｈ．２６３およびＭＰＥＧ−４のコード化スキーマとは異なる。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、ＳＶＣに適したＲＯＩを表す方法を提供する。
【課題を解決するための手段】
【０００８】
本発明の一形態に従って、少なくとも１つまたは複数のＲＯＩを設定し、ＲＯＩ識別番号をそれぞれのＲＯＩに割り当てるＲＯＩ設定ユニットと、少なくとも１つまたは複数のスライスグループ識別番号を、少なくとも１つまたは複数のＲＯＩ識別番号に割り当てるマッピングユニットと、ＲＯＩ関連情報、スライスグループ関連情報、少なくとも１つまたは複数のスライスグループ識別番号へのＲＯＩ識別番号のマッピングに関するマッピング情報、およびスケーラビリティ情報を含むメッセージを生成するメッセージ生成ユニットとを備える、多重ＲＯＩ（関心領域）設定装置（multiple ROI setting apparatus）を提供する。
【０００９】
多重ＲＯＩ設定装置は、特定のスケーラビリティを伴う特定のＲＯＩを有する１つのビットストリームを、複数のビットストリームからメッセージに基づいて選択する選択ユニットをさらに備えることができる。
【００１０】
さらに、ＲＯＩ間でオーバーラップ領域があると、マッピングユニットは、スライスグループ識別番号のそれぞれを、オーバーラップ領域、および他のＲＯＩとオーバーラップしないＲＯＩの領域に割り当てることができる。
【００１１】
さらに、選択ユニットは、特定のＲＯＩ識別番号にマップされるスライスグループ識別番号に対応するスライスグループを、ビットストリームからメッセージ内の情報に基づいて検出することができ、検出されるスライスグループが存在しないＮＡＬユニットを除去し、特定のスケーラビリティより高いスケーラビリティを有するＮＡＬユニットを除去する。
【００１２】
本発明の別の態様に従って、少なくとも１つまたは複数のスライスグループを少なくとも１つまたは複数の設定されたＲＯＩに割り当てるマッピング情報、ＲＯＩ関連情報、スライスグループ関連情報、およびスケーラビリティ情報を含むメッセージを有するビットストリームを受信する受信ユニットと、特定のスケーラビリティを有する特定のＲＯＩに対応する１つのビットストリームを、複数のビットストリームからメッセージに基づいて選択する選択ユニットとを備える、ＲＯＩ選択装置を提供する。
【００１３】
マッピング情報は、少なくとも１つまたは複数のＲＯＩへのＲＯＩ識別番号の割り当てに関する情報と、ＲＯＩ識別番号への少なくとも１つまたは複数のスライスグループを表すスライスグループ識別番号の割り当てに関する情報とを含むことができる。
【００１４】
さらに、ＲＯＩ間でオーバーラップ領域があると、スライスグループ識別番号を、オーバーラップ領域、および他のＲＯＩとオーバーラップしないＲＯＩの領域に割り当てることができる。
【００１５】
本発明の別の態様に従って、少なくとも１つまたは複数のスライスグループを少なくとも１つまたは複数の設定されたＲＯＩに割り当てるマッピング情報、ＲＯＩ関連情報、スライスグループ関連情報、およびスケーラビリティ情報を含むメッセージを有するビットストリームを受信する受信ユニットと、特定のスケーラビリティを有する特定のＲＯＩに対応する１つのビットストリームを、複数のビットストリームからメッセージに基づいて選択する選択ユニットと、選択されたビットストリームを復号化する復号化ユニットとを備える、選択的ＲＯＩ再構成装置（selective ROI reconstructing apparatus）を提供する。
【００１６】
本発明の別の態様に従って、（ａ）少なくとも１つまたは複数のＲＯＩを設定し、ＲＯＩ識別番号をそれぞれのＲＯＩに割り当てることと、（ｂ）少なくとも１つまたは複数のスライスグループ識別番号を、少なくとも１つまたは複数のＲＯＩ識別番号にマッピングすることと、（ｃ）ＲＯＩ関連情報、スライスグループ関連情報、少なくとも１つまたは複数のスライスグループ識別番号へのＲＯＩ識別番号のマッピングに関するマッピング情報、およびスケーラビリティ情報を含むメッセージを生成することとを含む、多重ＲＯＩ（関心領域）設定方法（multiple ROI setting method）を提供する。
【００１７】
多重ＲＯＩ設定方法は、（ｄ）特定のスケーラビリティを伴う特定のＲＯＩを有する１つのビットストリームを、複数のビットストリームからメッセージに基づいて選択することをさらに含むことができる。
【００１８】
本発明の別の態様に従って、（ａ）少なくとも１つまたは複数のスライスグループを少なくとも１つまたは複数の設定されたＲＯＩに割り当てるマッピングに関するマッピング情報、ＲＯＩ関連情報、スライスグループ関連情報、およびスケーラビリティ情報を含むメッセージを有するビットストリームを受信することと、（ｂ）特定のスケーラビリティを有する特定のＲＯＩに対応する１つのビットストリームを、複数のビットストリームからメッセージに基づいて選択することとを含む、ＲＯＩ選択方法（ROI selecting method）を提供する。
【００１９】
本発明の別の態様に従って、（ａ）少なくとも１つまたは複数のスライスグループを少なくとも１つまたは複数の設定されたＲＯＩに割り当てるマッピングに関するマッピング情報、ＲＯＩ関連情報、スライスグループ関連情報、およびスケーラビリティ情報を含むメッセージを有するビットストリームを受信することと、（ｂ）特定のスケーラビリティを有する特定のＲＯＩに対応する１つのビットストリームを、複数のビットストリームからメッセージに基づいて選択することと、（ｃ）選択されたビットストリームを復号化することとを含む、選択的ＲＯＩ再構成方法（selective ROI reconstructing method）を提供する。
【発明を実施するための最良の形態】
【００２０】
近年ＳＶＣは、異機種環境（heterogeneous environment）でビデオ（video）を伝送するための重要な技術として使用されている。ＳＶＣでは、特定の部分を、ユーザー端末またはネットワークの状況に従って、符号化されたビットストリームから除去し、その結果、異なる空間的、時間的、および品質的特性を有するビットストリームを生成することができる。
【００２１】
本発明は、既存のＳＶＣの前述した特徴に加え、１つまたは複数のＲＯＩを有するスケーラブルビデオストリームで、特定のＲＯＩを有する新しいビットストリームを抽出する方法（method of extracting）を提供する。
【００２２】
この方法により、ユーザーは、解像度およびディスプレイサイズが制限される携帯電話またはＰＤＡなどの自己の装置にとって最高の解像度で、ビデオを見ることができる。
【００２３】
ネットワークまたは端末がサイズに関して制限されると、ビデオ内で重要な意味を有するＲＯＩのみが伝送され、その結果、ＱｏＳ（quality of server）を保証することができるビデオストリーミングサービスを提供することができる。ここで、その一例を、図１を参照して説明する。
【００２４】
図１は、本発明の一実施形態による、携帯電話またはＰＤＡの画面に表示される交通監視ウィンドウ（traffic monitoring window）を示す。
【００２５】
このような低解像度の携帯電話またはＰＤＡの場合、元のイメージの解像度が低くなるように処理されたものを受信する。しかし、本実施形態では、１１０または１２０として定義されるＲＯＩのみを受信して出力し、その結果、端末に適したＲＯＩを表示することができる。
【００２６】
（ＳＶＣでの多重ＲＯＩの実装）
１つまたは複数のＲＯＩを定義する場合、ＲＯＩを表すために２つの要因（factor）を考慮する。
【００２７】
１）スケーラブルビデオビットストリームにおいて、異なるスケーラビリティを有するために、１つまたは複数のＲＯＩを提供することがある。
【００２８】
２）オーバーラップ領域が２つのＲＯＩの間に存在することがあり、オーバーラップ領域は、符号化効率（encoding rate）を低下させることがある。本発明の実施形態では、独立したＲＯＩは、Ｈ．２６４／ＡＶＣに従ってフレキシブルなマクロブロックの順番（ＦＭＯ：flexible macroblock ordering）を使用することによって構成される。
【００２９】
（１．ＦＭＯを使用することによるＲＯＩの符号化および復号化）
ここで、本発明の一実施形態による、ＳＶＣでのＲＯＩの実装について説明することとする。本発明の実施形態では、ＲＯＩは、様々なスライスグループのタイプの中のタイプ２のスライスグループマップに従ってＦＭＯを使用することによって、スライスグループとして定義される。図２は、タイプ２のスライスグループマップで定義される４つのスライスグループを示す。前述のタイプは単に例示にすぎず、本発明はこれらの変形および変更を全て含むことを認識されたい。
【００３０】
図３は、１つのＲＯＩが存在する例を示す。
【００３１】
フレーム内のＲＯＩの外側に存在するマクロブロックは、別のスライスグループとして定義される。１つのＲＯＩのみが存在する場合、ＲＯＩ３１０はスライスグループ１となり、その背景はスライスグループ２となる。
【００３２】
フレーム内のマクロブロックはそれぞれ、自己が含まれるスライスグループのスライスグループＩＤに割り当てられる。マクロブロックはそれぞれ、１つのスライスグループＩＤに割り当てられる。ＳＶＣでは、フレームの符号化は、スライスグループのユニット内で行われる。
【００３３】
特定のスライスグループが符号化されると、この特定のスライスグループの同じスライスグループＩＤを有するフレーム内のマクロブロックのみが符号化される。この符号化では、ピクチャパラメータセットで、スライスグループの総数およびスライスグループＩＤが表わされ、それぞれのスライスグループの左上隅および右下隅にマクロブロックのアドレスが記録される。この情報は、スライス単位で実行される復号化に使用される。
【００３４】
（２．ＦＭＯを使用することによる多重ＲＯＩの実装）
図４は、オーバーラップ領域を有する２つのＲＯＩが存在する例を示す。
【００３５】
１つのフレーム内に１つのＲＯＩが存在する図３に示される場合とは異なり、多重ＲＯＩ（multiple ROI）の場合は、複数のＲＯＩが存在する。したがって、ＲＯＩ間のオーバーラップ領域を考慮する必要がある。
【００３６】
例えば、図４に示されるように、ＲＯＩ＿１  ４００、およびＲＯＩ＿２  ４４０を定義することができる。この場合、ＦＭＯを使用することによって、ＲＯＩ＿１  ４００、およびＲＯＩ＿２  ４４０を別個のスライスグループとして定義する。したがって、ＲＯＩ＿１  ４００およびＲＯＩ＿２  ４４０に含まれるオーバーラップ領域は、ＲＯＩ＿１  ４００またはＲＯＩ＿２  ４４０が含まれるスライスグループの１つに含まれることがある。
【００３７】
この場合、以下の問題がある。オーバーラップ領域４２０は、ＲＯＩ＿１  ４００およびＲＯＩ＿２  ４４０の中で低い方のスライスグループＩＤを有するスライスグループに含まれる。例えば、ＲＯＩ＿１  ４００のスライスグループＩＤが０であり、ＲＯＩ＿２  ４４０のスライスグループＩＤが１である場合、オーバーラップ領域内のマクロブロックは、ＲＯＩ＿１  ４００に含まれる。
【００３８】
結果として起こる符号化では、ＲＯＩ＿１  ４００は、元の領域４１０および４２０を維持するために符号化される。しかし、ＲＯＩ＿２  ４４０は、オーバーラップ領域を除く領域４３０のみがＲＯＩ＿２として割り当てられるように符号化される。このような状況では、ユーザーが、ＲＯＩ＿２  ４４０のみを符号化されたビットストリームから復号化すると、オーバーラップ領域を除くＲＯＩ＿２  ４４０の領域４３０のみが、デコーダで表示されるように復号化される。
【００３９】
この問題を解決するために、本発明の一実施形態に従って、ＲＯＩ＿１  ４００とＲＯＩ＿２  ４４０の間のオーバーラップ領域ＯＲ４２０が、１つの独立のスライスグループとして定義される。したがって、オーバーラップ領域４２０を、単独で符号化し、復号化することができる。しかし、ＦＭＯで定義される規則を満たすために、オーバーラップ領域のスライスグループＩＤは、ＲＯＩ＿１  ４００およびＲＯＩ＿２  ４４０のスライスグループＩＤより低いものである必要がある。
【００４０】
ユーザーがＲＯＩ＿１  ４００を表示したい場合、オーバーラップ領域４２０、およびオーバーラップ領域４２０を除くＲＯＩ＿１  ４００の領域４１０が符号化され、復号化される。ユーザーがＲＯＩ＿２  ４４０を表示したい場合、オーバーラップ領域４２０、およびオーバーラップ領域４２０を除くＲＯＩ＿２  ４４０の領域４３０が符号化され、復号化される。結果として、適切なビデオを表示することができる。
【００４１】
図５Ａは、図４に示されるＲＯＩを、ＦＭＯを使用することによって実装する例を示す。
【００４２】
一例として、元のビデオは、共通イメージフォーマット（ＣＩＦ：common image format）サイズであるが、ユーザーは、ＲＯＩ＿１  ５００をその元のサイズすなわちＣＩＦサイズで、ＲＯＩ＿２を、元のサイズ（解像度）の半分すなわち４分の１のＣＩＦ（ＱＣＩＦ：quarter CIF）サイズで表示したいことがある。この場合、ＲＯＩ＿１  ５００およびＲＯＩ＿２  ５４０を符号化するために、エンコーダは、全てのスケーラビリティ層（ＱＣＩＦ、ＣＩＦ、４ＣＩＦ）で符号化を実行する。より詳細には、エンコーダは、オーバーラップ領域を除くＲＯＩ＿１  ５００の領域ＲＯＩ＿１−ＯＲ  ５１０、オーバーラップ領域を除く領域ＲＯＩ＿２−ＯＲ  ５３０、およびオーバーラップ領域ＯＲ  ５２０を、３つの独立のスライスグループとして符号化する。
【００４３】
それぞれのスライスグループは、長方形の形である。ＲＯＩおよびオーバーラップ領域ＯＲを、タイプ２のスライスグループマップを使用することによって符号化することができる。本実施形態では、そのスケーラビリティは、２の整数倍で増減する。
【００４４】
一例として、図５Ａに示されるように、オーバーラップ領域ＯＲを考慮することによって復号化を実行するために、オーバーラップ領域ＯＲのスライスグループＩＤは、ＲＯＩ＿１  ５００およびＲＯＩ＿２  ５４０のスライスグループＩＤより低いものである必要がある。したがって、オーバーラップ領域ＯＲ、ＲＯＩ＿１、およびＲＯＩ＿２のスライスグループＩＤに、それぞれ０、１、２を割り当てることができる。
【００４５】
（３．ＲＯＩビットストリームを抽出するためのメタデータ）
図４および図５Ａに示されるように、オーバーラップ領域を有する多重ＲＯＩが、ＦＭＯを使用することによってビデオ内で定義されると、１つのＲＯＩを、１つまたは複数のスライスグループで構成することができる。したがって、特定のＲＯＩを有するビットストリームを抽出するために、スライスグループのＲＯＩそれぞれが含まれることを示す情報が必要である。
【００４６】
例えば、図４および図５Ａに示されるＲＯＩ（ＲＯＩ＿１およびＲＯＩ＿２）それぞれを有する２つのビットストリームを、元のビットストリームから抽出することができる。それぞれのＲＯＩを、復号化して、ユーザーの端末で表示することができる。この場合、ＲＯＩを単独でまたは同時に、１つのディスプレイユニットまたはいくつかのディスプレイユニット上に表示することができる。
【００４７】
本発明の一実施形態では、特定のＲＯＩを有するビットストリームを抽出するために、ＲＯＩ情報を表すメタデータを、ＳＥＩ（supplemental enhancement information）として定義して、スケーラブルビデオストリームに提供する。ＲＯＩ関連情報を含むＳＥＩメッセージは、ＲＯＩの位置およびサイズ、ならびにＲＯＩのスケーラビリティを含む。必要なメタデータは、ＳＥＩで表されるので、ＲＯＩの抽出に必要とされる情報を、ビットストリームエクストラクタまたはデコーダに伝送することができる。ＲＯＩを表すメタデータ構造の構造に含まれる主な情報は、以下である。  
＊ＲＯＩの数：ビットストリームに含まれるＲＯＩの数  
＊ＲＯＩ  ＩＤ：ＲＯＩ固有の値であって、ユーザーはその値を使用して特定のＲＯＩを選択することができる。
【００４８】
以下の情報は、対応する空間層（spatial layer）に使用される。  
＊スライスグループＩＤ：スライスグループ固有のＩＤ
＊スライスグループのサイズおよび位置：スライスグループのサイズおよび位置に関する情報であって、その情報を使用してＲＯＩのサイズおよび位置を、特定のスケーラビリティで認識することができる。  
＊ＲＯＩへのスライスグループのマッピング：スライスグループＩＤを特定のＲＯＩ  ＩＤにマッピングすることに関する情報。
【００４９】
現在のＳＶＣでは、ＲＯＩ関連情報を、３つのＳＥＩ、すなわち、スケーラブル情報のＳＥＩ、サブピクチャスケーラブル層情報のＳＥＩ、および動作制約（motion-constrained）スライスグループセットのＳＥＩを使用することによって表す。
【００５０】
図５Ｂは、ＲＯＩを含むＳＥＩメッセージのための操作を生成するＳＥＩメッセージを示す。
【００５１】
ピクチャパラメータセット（ＰＰＳ：picture parameter set）は、スライスグループに関する情報を含むＦＭＯ情報を使用することによって生成される。スライスグループに対応する層を、ＳＥＩの形式で記載する。このとき、ＲＯＩ  ＩＤを複数の層の中のＲＯＩ関連層にマッピングするのに使用される情報を含むＳＥＩが、生成される。次に、スライスグループＩＤにリンクされるｌａｙｅｒ＿ＩＤに関する情報を表すメタデータを含むＳＥＩが生成され、符号化すべきビットストリームに挿入される。
【００５２】
（４．ＲＯＩを有するビットストリームの抽出）
図６は、本発明の一実施形態による、ＲＯＩベースのビデオ通信、ビデオ符号化および復号化の操作を示す概略図である。
【００５３】
エンコーダ６１０では、入力ビデオデータは、ＳＶＣ  ＮＡＬ（Network Abstraction Layer：ネットワーク抽象化レイヤ）ユニットに符号化される（６１１）。ＳＥＩメッセージに含まれるＳＶＣビットストリーム内のＲＯＩ関連情報、およびスケーラビリティ情報も、ＳＥＩ  ＮＡＬユニットに符号化される（６１２）。伝送においては、符号化されたＳＥＩ  ＮＡＬユニットは、符号化されたビデオデータを包含するＳＶＣ  ＮＡＬユニットに先行する。
【００５４】
選択ユニット６２０では、エンコーダ６１０で符号化されたスケーラブルビデオビットストリームから選択された特定のＲＯＩを有するビットストリームが、抽出される。デコーダ６３０では、抽出されたＮＡＬユニットで構成されるビットストリームが、復号化される。ここで、選択ユニット６２０で実行される、ＲＯＩを有するビットストリームを抽出する方法を、図７および図８を参照して詳細に説明することとする。
【００５５】
図７は、本発明の一実施形態による、多重ＲＯＩ設定装置７００の構成を示す図である。多重ＲＯＩ設定装置７００は、ＳＶＣでの多重ＲＯＩの設定、設定されたＲＯＩの符号化、ＲＯＩを復号化するためのＳＥＩメッセージの生成を実行する。さらに、多重ＲＯＩ設定装置７００は、特定のＲＯＩが有するビットストリームのみを抽出する機能を実行することができる。
【００５６】
多重ＲＯＩ設定装置７００には、ＲＯＩ設定ユニット７１０、マッピングユニット７２０、およびメッセージ生成ユニット７３０が含まれる。多重ＲＯＩ設定装置７００は、選択ユニット７４０をさらに含むことができる。
【００５７】
ＲＯＩ設定ユニット７１０は、少なくとも１つまたは複数のＲＯＩを設定し、その結果、マクロブロックは、Ｈ．２６４多重スライスグループ（H.264 multiple slice group）のＦＭＯを使用することによって、少なくとも１つまたは複数のＲＯＩとして設定され、ＲＯＩ  ＩＤをＲＯＩに割り当てる。
【００５８】
マッピングユニット７２０は、少なくとも１つまたは複数のスライスグループＩＤを、少なくとも１つまたは複数のＲＯＩ  ＩＤに割り当てる。マッピングユニット７２０は、図３および図４に示される操作に従って、ＲＯＩ  ＩＤをスライスグループＩＤにマップする。
【００５９】
１つまたは複数のＲＯＩがビデオに存在するとき、ＩＤは、ＲＯＩを識別するために使用される。ＲＯＩは、重要な意味のある領域であるので、空間的な解像度に関係なく特定の空間領域を指定する方法が必要である。ＳＶＣでは、特定のスケーラビリティの特定のフレームレートを表すことができるスライスグループのみを、ｌａｙｅｒ＿ＩＤで指定することができる。ビットストリームエクストラクタでは、ＲＯＩ  ＩＤは、スケーラビリティおよびフレームレートに関係なく特定のＲＯＩを指定するように設定され、スライスグループＩＤ、特定のスケーラビリティの特定のフレームレートを表すように設定される。次いで、マッピングが実行される。
【００６０】
メッセージ生成ユニット７３０は、ＲＯＩ関連情報、スライスグループ関連情報、１つまたは複数のスライスグループＩＤへのＲＯＩ  ＩＤのマッピングに関するマッピング情報、およびスケーラビリティ情報を含むメッセージを生成する。メッセージは、Ｈ．２６４／ＡＶＣのＳＶＣのＳＥＩメッセージであり、エンコーダのビットストリームに含まれるように符号化される。ＳＥＩメッセージは、上記の（３．ＲＯＩビットストリームを抽出するためのメタデータ）のセクションで説明されているので、ＳＥＩメッセージについての詳細な説明は省略する。
【００６１】
選択ユニット７４０は、特定のスケーラビリティを伴う特定のＲＯＩを有するビットストリームを、元のビットストリームから、メッセージ生成ユニット７３０により生成されるＳＥＩメッセージに基づいて抽出する。ここで選択ユニット７４０を、図８を参照して詳細に説明することとする。
【００６２】
図８は、本発明の一実施形態によるＲＯＩ選択装置８００の構成を示す図である。
【００６３】
ＲＯＩ選択装置８００には、受信ユニット８１０、および選択ユニット８２０が含まれる。受信ユニット８１０は、（少なくとも１つまたは複数のスライスグループを、少なくとも１つまたは複数の設定されたＲＯＩに割り当てる）マッピングに関するマッピング情報、ＲＯＩ関連情報、スライスグループ関連情報、およびスケーラビリティ情報を含むメッセージを有するビットストリームを受信する。
【００６４】
選択ユニット８２０は、特定のスケーラビリティを伴う特定のＲＯＩを有するビットストリームを、入力スケーラブルビデオストリームから抽出することができる。選択ユニット８２０は、特定のスケーラビリティを有する特定のＲＯＩに対応する１つのビットストリームを複数のビットストリームからＳＥＩメッセージに基づいて抽出するように、元のビットストリーム内の１つのＲＯＩを抽出するために、ＳＥＩメッセージの解析を実行する。ＲＯＩに関する情報は、メタデータの形式でＳＥＩメッセージに含まれ、特定のＲＯＩを抽出するために必要とされる情報は、ＳＥＩメッセージに含まれる。
【００６５】
端末またはネットワークの制限、あるいはユーザー選択に従って、抽出されるべき外部または所定ＲＯＩのＲＯＩ  ＩＤとスケーラビリティとが入力され、スケーラビリティ層に対応する抽出されるべきスライスグループが、解析の対象であるＳＥＩメッセージ内のＲＯＩ  ＩＤとスライスグループＩＤとの間のマッピングに関するマッピング情報を使用することによって、識別される。
【００６６】
次いで、要求されたＲＯＩに含まれるスライスグループが、受信したＮＡＬユニットのいずれにも存在しない場合、対応するＮＡＬユニットは除去される。さらに、ＮＡＬユニットが、要求されたＲＯＩのスケーラビリティより高い解像度を有する場合、そのＮＡＬユニットは除去される。
【００６７】
選択ユニット８２０からのビットストリーム出力は、前述の操作で除去されないＮＡＬユニットで構成される。選択ユニット８２０により抽出されたＲＯＩを含むビットストリームも、スケーラブルビットストリームである。
【００６８】
図９Ａは、本発明の一実施形態による選択的ＲＯＩ再構成装置９００の構成を示す図である。
【００６９】
選択的ＲＯＩ再構成装置９００には、図８に関して説明した受信ユニット８１０および選択ユニット８２０と実質的に同一または類似である、受信ユニット９１０および選択ユニット９２０が含まれる。さらに、選択的ＲＯＩ再構成装置９００には、復号化ユニット９３０が含まれる。受信ユニット９１０および選択ユニット９２０は、図８に示される受信ユニットおよび選択ユニットと同一または類似であるので、これらの詳細な説明は省略する。
【００７０】
復号化ユニット９３０は、選択ユニット８２０または９２０によって抽出されたＲＯＩを有するビットストリームを復号化し、その結果、多重ＲＯＩを、最終的にＳＶＣで復号化することができる。
【００７１】
図９Ｂは、本発明の一実施形態による選択的ＲＯＩ再構成装置のＲＯＩ抽出操作を示す。
【００７２】
スライスグループの数および形状の情報を、ＰＰＳから取得する。次に、スライスグループを表す層のＲＯＩ  ＩＤ情報を、ＲＯＩ  ＩＤへのｌａｙｅｒ＿ＩＤのマッピングに関するマッピング情報を含むＳＥＩから取得する。次に、スライスグループＩＤとｌａｙｅｒ＿ＩＤの間の関係を表す情報を、スライスグループＩＤに関連づけられるｌａｙｅｒ＿ＩＤに関する情報を含むＳＥＩから取得し、その結果、抽出されるべきＲＯＩ  ＩＤに対応する入力ＲＯＩ＿ＩＤに関連付けられるスライスグループを、スライスグループＩＤを使用することによって識別することができる。結果として、関連ビットストリームを抽出することができる。
【００７３】
図１０Ａから図１０Ｃは、本発明の一実施形態によるＳＥＩメッセージのシンタックス(syntax）を示す。
【００７４】
スケーラビリティ情報ＳＥＩは、ビットストリームのスケーラビリティ情報を提供する。ビットストリームを構成する層は、そのスケーラビリティに従ってスケーラブル層に分類される。
【００７５】
スケーラブル層は、特定のスライスグループを示す。スケーラブル層の情報をスケーラビリティ情報ＳＥＩに記述することにより、ビットストリームの抽出に必要な情報を提供することができる。本発明の一実施形態では、ＲＯＩ  ＩＤが特定のＲＯＩのスケーラブル層に割り当てられることにより、特定のＲＯＩを有するビットストリームを抽出することができる。
【００７６】
ｓｕｂ＿ｐｉｃ＿ｌａｙｅｒ＿ｆｌａｇ値１で表されるスケーラブル層は、あるスライスグループがＲＯＩを表すスライスグループであることを示す。ｓｕｂ＿ｐｉｃ＿ｌａｙｅｒ＿ｆｌａｇ値が１である場合、ＲＯＩ  ＩＤが記録され、その結果、あるＲＯＩが特定のスライスグループのＲＯＩとなる。
【００７７】
図１１は、情報に関連するＲＯＩを包含する代替的なスケーラビリティ情報ＳＥＩを示す。ビットストリーム内にＲＯＩが存在する場合、ｒｏｉ＿ｆｌａｇをｓｕｂ＿ｐｉｃ＿ｌａｙｅｒ＿ｆｌａｇの代わりに信号として使用することができる。ｒｏｉ＿ｆｌａｇ値は、ＲＯＩがビットストリームに存在することを示すように、１に設定される。さらに、ＲＯＩの数−１の値が、ｎｕｍ＿ｒｏｉｓ＿ｍｉｎｕｓ＿１に設定される。ＲＯＩが定義されると、２つまたはそれ以上のスライスグループが１つのビデオに存在する。
【００７８】
この場合、ＲＯＩに対応する層がグループ化され、その結果、サブストリームを定義することができる。ＲＯＩに対応するサブストリームの数−１が、ｎｕｎ＿ｃｏｍｐｏｎｅｎｔ＿ｓｕｂｓｔｒｅａｍｓ＿ｍｉｎｕｓ＿１に設定される。ＩＤはサブストリームに割り当てられ、ｃｏｍｐｏｎｅｎｔ＿ｓｕｂｓｔｒｅａｍ＿ｉｄアレイに格納される。
【００７９】
サブストリームを構成するスケーラブル層に関する情報をさらに記述することにより、実際のスライスグループのスケーラビリティ情報を提供することができる。本発明の一実施形態では、ｒｏｉ＿ｆｌａｇ、サブストリーム、ｎｕｎ＿ｃｏｍｐｏｎｅｎｔ＿ｓｕｂｓｔｒｅａｍｓ＿ｍｉｎｕｓ＿１、およびｃｏｍｐｏｎｅｎｔ＿ｓｕｂｓｔｒｅａｍ＿ｉｄは、ＲＯＩ情報として格納される。
【００８０】
図１２は、ＳＶＣで多重ＲＯＩを実装するための操作を示すフローチャートである。
【００８１】
ＳＶＣでの多重ＲＯＩの実装は、次のように実行される。
【００８２】
少なくとも１つまたは複数のＲＯＩを、多重スライスグループを使用することによって設定し、ＲＯＩ  ＩＤを、ＲＯＩに割り当てる（操作  Ｓ１２１０およびＳ１２２０）。
【００８３】
次に、少なくとも１つまたは複数のスライスグループＩＤを、少なくとも１つまたは複数のＲＯＩ  ＩＤにマップする（操作  Ｓ１２３０）。ＲＯＩ間にオーバーラップ領域があると、スライスグループＩＤを、オーバーラップ領域、および他のＲＯＩとオーバーラップしないＲＯＩの領域に割り当てる（操作  Ｓ１２３０）。
【００８４】
スライスグループＩＤへのＲＯＩ  ＩＤのマッピングが完了した後、ＲＯＩ関連情報、スライスグループ関連情報、１つまたは複数のスライスグループＩＤへのＲＯＩ  ＩＤのマッピングに関するマッピング情報、およびスケーラビリティ情報を含むＳＥＩメッセージを生成する（操作  Ｓ１２４０）。
【００８５】
特定のスケーラビリティを伴う特定のＲＯＩを有する１つのビットストリームを、複数のビットストリームからＳＥＩメッセージに基づいて選択する（操作  Ｓ１２５０）。より詳細には、特定のＲＯＩ  ＩＤにマップされるスライスグループＩＤに対応するスライスグループを、ビットストリームからＳＥＩメッセージ内の情報に基づいて検出する。
【００８６】
検出されたスライスグループが存在しないＮＡＬユニットを除去し、特定のスケーラビリティより高いスケーラビリティを有するＮＡＬユニットを除去する。その後、残っているＮＡＬユニットは、ビットストリームとして抽出される。抽出されたビットストリームを復号化する（操作  Ｓ１２６０）。
【００８７】
本発明は、コンピュータ読み取り可能な記録媒体においてコンピュータ読み取り可能コードとして具現化することもできる。コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読み取ることができるデータを格納することができる任意のデータストレージデバイスである。コンピュータ読み取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データストレージデバイス、および搬送波（インターネットを介するデータ伝送など）が含まれる。コンピュータ読み取り可能な記録媒体を、コンピュータに結合されたネットワーク上に分散することができ、その結果、コンピュータ読み取り可能コードは、分散方式で格納され、実行される。
【００８８】
本発明を、特に例示的実施形態に関連して示し、説明してきたが、添付の特許請求の範囲により定義される本発明の精神および範囲から逸脱することなく、形態およびの詳細の様々な変更を行うことができることを、当業者であれば理解するであろう。
【図面の簡単な説明】
【００８９】
【図１】本発明の一実施形態による、携帯電話またはＰＤＡの画面に表示される交通監視ウィンドウを示す図である。
【図２】タイプ２のスライスグループマップで定義される４つのスライスグループを示す図である。
【図３】１つの関心領域（ＲＯＩ）が存在する一例を示す図である。
【図４】オーバーラップ領域を有する２つのＲＯＩが存在する一例を示す図である。
【図５Ａ】図４のＲＯＩを、ＦＭＯを使用することによって実装する一例を示す図である。
【図５Ｂ】本発明の一実施形態による、ＲＯＩを含むＳＥＩメッセージのためのＳＥＩメッセージ生成操作を示す図である。
【図６】本発明の一実施形態による、ＲＯＩベースのビデオ通信、ビデオ符号化および復号化操作を示す図である。
【図７】本発明の一実施形態による多重ＲＯＩ設定装置の構成を示す図である。
【図８】本発明の一実施形態によるＲＯＩ選択装置の構成を示す図である。
【図９Ａ】本発明の一実施形態による選択的ＲＯＩ再構成装置の構成を示す図である。
【図９Ｂ】本発明の一実施形態による、選択的ＲＯＩ再構成装置でのＲＯＩ抽出操作を示す図である。
【図１０Ａ】本発明の一実施形態によるＳＥＩメッセージのシンタックスを示す図である。
【図１０Ｂ】本発明の一実施形態によるＳＥＩメッセージのシンタックスを示す図である。
【図１０Ｃ】本発明の一実施形態によるＳＥＩメッセージのシンタックスを示す図である。
【図１１】本発明の一実施形態によるＳＥＩメッセージのシンタックスの例を示す図である。
【図１２】ＳＶＣで多重ＲＯＩを実装する操作を示すフローチャートである。
【図１】
2009510888.tif 000003
【図２】
2009510888.tif 000004
【図３】
2009510888.tif 000005
【図４】
2009510888.tif 000006
【図５Ａ】
2009510888.tif 000007
【図５Ｂ】
2009510888.tif 000008
【図６】
2009510888.tif 000009
【図７】
2009510888.tif 000010
【図８】
2009510888.tif 000011
【図９Ａ】
2009510888.tif 000012
【図９Ｂ】
2009510888.tif 000013
【図１０Ａ】
2009510888.tif 000014
【図１０Ｂ】
2009510888.tif 000015
【図１０Ｃ】
2009510888.tif 000016
【図１１】
2009510888.tif 000017
【図１２】
2009510888.tif 000018
【国際調査報告】
2009510888.tif 000019
2009510888.tif 000020