(57)【要約】  メディア記憶又はメディア伝送の目的のために、ビデオデータにランダムアクセス情報を付加する方法及び装置を提供し、従ってビデオストリームに効果的なストリーム操作を実行することができる。該情報は記述子の形態で、又はデータ構造としてメディア伝送フォーマットヘッダ又はメディア記憶フォーマットヘッダに付加される。【選択図】図１
2015536589.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータにランダムアクセス情報を付加することを含み、
前記ランダムアクセス情報に、ランダムアクセスポイント（ＲＡＰ）情報及びストリームアクセスポイント（ＳＡＰ）情報が含くまれるビデオデータ処理方法。
【請求項２】
前記付加の後、前記ビデオデータを記憶するか、又はネットワークで前記ビデオデータを伝送することをさらに含む請求項１に記載の方法。
【請求項３】
前記ＲＡＰ情報は、
クリーンランダムアクセス（ＣＲＡ）ピクチャであるＲＡＰタイプ１、
リンク切断アクセス（ＢＬＡ）ピクチャであるＲＡＰタイプ２、
関連する廃棄とタグ付けされた（ＴＦＤ）ピクチャなしのＢＬＡピクチャであるＲＡＰタイプ３、
リーディングピクチャなしのＢＬＡピクチャであるＲＡＰタイプ４、
リーディングピクチャなしの瞬時復号更新（ＩＤＲ）ピクチャであるＲＡＰタイプ５、
リーディングピクチャを有しうるＩＤＲピクチャであるＲＡＰタイプ６、のうちの１つ又は複数を含む請求項１に記載の方法。
【請求項４】
前記ＳＡＰ情報は、
該ポイントからすべてのピクチャを復号でき、且つ最初に復号されたピクチャは後に復号されたピクチャより低いプレゼンテーションタイムスタンプ（ＰＴＳ）を有するＳＡＰタイプ１、
該ポイントからすべてのピクチャを復号でき、且つ後に復号されたピクチャは最初に復号されたピクチャより低いＰＴＳを有するＳＡＰタイプ２、
該ポイントからすべてのピクチャを復号できなくなり、しかしながら最初のピクチャが復号可能であり、且つ復号不可能なピクチャは最初に復号されたピクチャより低いＰＴＳを有するＳＡＰタイプ３、のうちの１つ又は複数を含む請求項１に記載の方法。
【請求項５】
前記ランダムアクセス情報は、１つ又は複数のフラグで示される請求項１に記載の方法。
【請求項６】
前記ランダムアクセス情報は、前記ビデオデータに物理的に付加される請求項１に記載の方法。
【請求項７】
前記ランダムアクセス情報は、前記ビデオデータに仮想的に付加される請求項１に記載の方法。
【請求項８】
前記ビデオデータに前記ランダムアクセス情報を付加するステップは、
前記ランダムアクセス情報を分離ファイル又はデータ構造に含ませることと、
前記ランダムアクセス情報を前記ビデオデータに関連付けることとを含む請求項７に記載の方法。
【請求項９】
前記ランダムアクセス情報は、１つ又は複数のポインタを介して前記ビデオデータに関連付けられる請求項８に記載の方法。
【請求項１０】
前記ビデオデータに前記ランダムアクセス情報を付加するステップは、
前記ビデオデータが記憶される場合、前記ランダムアクセス情報をデータ構造に含ませること、又は
前記ビデオデータがネットワークで伝送される場合、前記ランダムアクセス情報をデータヘッダ又は記述子に含ませることを含む請求項１に記載の方法。
【請求項１１】
前記ビデオデータは、圧縮されたビデオストリームである請求項１に記載の方法。
【請求項１２】
ビデオデータにランダムアクセス情報を付加するように設定される付加モジュールを備え、
前記ランダムアクセス情報に、ランダムアクセスポイント（ＲＡＰ）情報及びストリームアクセスポイント（ＳＡＰ）情報が含まれるビデオデータ処理装置。
【請求項１３】
前記付加の後、前記ビデオデータを記憶するか、又はネットワークで前記ビデオデータを伝送するように設定されるメモリモジュールを更に備える請求項１２に記載の装置。
【請求項１４】
前記付加モジュールは、１つ又は複数のフラグで前記ランダムアクセス情報を示すように更に設定される請求項１２に記載の装置。
【請求項１５】
前記付加モジュールは、前記ランダムアクセス情報を前記ビデオデータに物理的に付加するように設定される請求項１２に記載の装置。
【請求項１６】
前記付加モジュールは、前記ビデオデータに前記ランダムアクセス情報を仮想的に付加するように設定される請求項１２に記載の装置。
【請求項１７】
前記付加モジュールは、
前記ランダムアクセス情報を分離ファイル又はデータ構造に含ませる、及び
前記ランダムアクセス情報を前記ビデオデータに関連付けるという方式で、前記ランダムアクセス情報を付加するように設定される請求項１６に記載の装置。
【請求項１８】
前記付加モジュールは、一つ又は複数のポインタで前記ランダムアクセス情報を前記ビデオデータに関連付けるように設定される請求項１７に記載の装置。
【請求項１９】
前記付加モジュールは、
前記ビデオデータが記憶される場合、前記ランダムアクセス情報をデータ構造に含ませる、又は
前記ビデオデータがネットワークで伝送される場合、前記ランダムアクセス情報をデータヘッダ又は記述子に含ませるという方式で、前記ランダムアクセス情報を付加するように設定される請求項１２に記載の装置。
【請求項２０】
ビデオデータ生成装置と、
請求項１２〜１９のいずれか一つに記載の装置とを備えるビデオデータ処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオコーディングに関し、具体的には、メディア伝送及び記憶を目的としたビデオデータのランダムアクセス情報のカプセル化に関する。
【背景技術】
【０００２】
現在、ビデオアプリケーションは急速に発展しつつあり、且つより高い解像度、より高いフレームレート及びより高い圧縮率の発展傾向のため、従来の主流であるビデオ圧縮規格Ｈ．２６４／ＭＰＥＧ−４アドバンスドビデオコーディング（ＡＶＣ）の限界が顕著になる。
【０００３】
このような状況に鑑みて、ＩＴＵ−Ｔビデオ符号化専門家グループ（ＶＣＥＧ）及びＩＳＯ／ＩＥＣ動画像符号化専門家グループ（ＭＰＥＧ）は、次時代のビデオ圧縮規格、すなわち、高効率ビデオコーディング（ＨＥＶＣ）規格を開発するため、映像符号化共同研究部会（ＪＣＴ−ＶＣ）として知られるパートナーシップで協力して作業をしている。
【０００４】
ＨＥＶＣの設計は、最新の最先端技術及びアルゴリズムの進捗を採用して、ブロードバンドネットワークへのビデオコンテンツのより幅広い使用、ブロードバンドネットワークへのビデオの移行、モバイルデバイスの多様化、カメラ及びディスプレイのますます高い解像度、及びますます増加する高ビデオ品質のための、絶え間ない要求を解決する。ＪＣＴ−ＶＣのプロジェクトの主な目標は、ＡＶＣにより要求されたビットレートに対して実質的に節約して（たとえば、半分を減少させる）、同じレベルのビデオ品質を達成することである。この段階では、ＨＥＶＣの能力の初期測定は、その性能が該プロジェクトに設定された目標を満たす又は超えることを示している。
【０００５】
これまでのところ、ＨＥＶＣテキスト仕様ドラフト７が発行されている。しかしながら、ＨＥＶＣ規格のコンテンツは、まだ修正、充実されている。ＨＥＶＣ規格の初版は、２０１３年１月に完成されると予想され、その時、調整テキストは、ＩＴＵ−Ｔ及びＩＳＯ／ＩＥＣにより公表される。
【０００６】
現在、ビデオストリームにおいてより効果的な操作を実行することを許可する技術が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、ビデオストリームにおいてより効果的な操作を実行できるビデオデータ処理方法、装置及びシステムを提供することである。
【課題を解決するための手段】
【０００８】
該目的を達成するために、本発明はビデオデータ処理方法を提供し、
ビデオデータにランダムアクセス情報を付加することを含み、
ランダムアクセス情報はランダムアクセスポイント（ＲＡＰ）情報及びストリームアクセスポイント（ＳＡＰ）情報を含む。
【０００９】
好ましくは、該方法は、付加されたビデオデータを記憶するか、又はネットワークで付加されたビデオデータを伝送することを更に含む。
【００１０】
好ましくは、ＲＡＰ情報は、以下に述べるＲＡＰタイプのうちの１つ又は複数を含む。
ＲＡＰタイプ１：クリーンランダムアクセス（ＣＲＡ；clean random access）ピクチャである。
ＲＡＰタイプ２：リンク切断アクセス（ＢＬＡ；broken link access）ピクチャである。
ＲＡＰタイプ３：関連する廃棄とタグ付けされた（ＴＦＤ；tagged for discard）ピクチャなしのＢＬＡピクチャである。
ＲＡＰタイプ４：リーディングピクチャなしのＢＬＡピクチャである。
ＲＡＰタイプ５：リーディングピクチャなしの瞬時復号更新（ＩＤＲ；instantaneous decoding refresh）ピクチャである。
ＲＡＰタイプ６：リーディングピクチャを有しうるＩＤＲピクチャである。
【００１１】
好ましくは、ＳＡＰ情報は、以下に述べるＳＡＰタイプのうちの１つ又は複数を含む。
ＳＡＰタイプ１：該ポイントからすべてのピクチャを復号でき、且つ最初に復号されたピクチャは後に復号されたピクチャより低いプレゼンテーションタイムスタンプ（ＰＴＳ；presentation time stamp）を有する。
ＳＡＰタイプ２：該ポイントからすべてのピクチャを復号でき、且つ後に復号されたピクチャは最初に復号されたピクチャより低いＰＴＳを有する。
ＳＡＰタイプ３：該ポイントからすべてのピクチャを復号できなくなり、しかしながら最初のピクチャが復号可能であり、且つ復号不可能なピクチャは最初に復号されたピクチャより低いＰＴＳを有する。
【００１２】
好ましくは、ランダムアクセス情報は、１つ又は複数のフラグで示される。
【００１３】
好ましくは、ランダムアクセス情報は、ビデオデータに物理的に付加される。
【００１４】
好ましくは、ランダムアクセス情報は、ビデオデータに仮想的に付加される。
【００１５】
好ましくは、ビデオデータにランダムアクセス情報を付加するステップは、
ランダムアクセス情報を分離ファイル又はデータ構造に含ませること、及び
ランダムアクセス情報をビデオデータに関連付けることを含む。
【００１６】
好ましくは、ランダムアクセス情報は、１つ又は複数のポインタを介してビデオデータに関連付けられる。
【００１７】
好ましくは、ビデオデータにランダムアクセス情報を付加するステップは、
ビデオデータを記憶する場合、ランダムアクセス情報をデータ構造に含ませること、又は
ビデオデータをネットワークで伝送する場合、ランダムアクセス情報をデータヘッダ又は記述子に含ませることを含む。
【００１８】
好ましくは、ビデオデータは圧縮されたビデオストリームである。
【００１９】
上記目的を達成するために、本発明はビデオデータ処理装置を更に提供しており、  
ビデオデータにランダムアクセス情報を付加するように設定される付加モジュールを備え、
ランダムアクセス情報はランダムアクセスポイント（ＲＡＰ）情報及びストリームアクセスポイント（ＳＡＰ）情報を含む。
【００２０】
好ましくは、装置は、付加されたビデオデータを記憶するか、又はネットワークで付加されたビデオデータを伝送するように設定されるメモリモジュールを更に備える。
【００２１】
好ましくは、付加モジュールは、１つ又は複数のフラグでランダムアクセス情報を示すように更に設定される。
【００２２】
好ましくは、付加モジュールは、ランダムアクセス情報を物理的にビデオデータに付加するように設定される。
【００２３】
好ましくは、付加モジュールは、ビデオデータに仮想的にランダムアクセス情報を付加するように設定される。
【００２４】
好ましくは、付加モジュールは、
ランダムアクセス情報を分離ファイル又はデータ構造に含ませる、及び
ランダムアクセス情報をビデオデータに関連付けるという方式で、ランダムアクセス情報を付加するように設定される。
【００２５】
好ましくは、付加モジュールは、１つ又は複数のポインタで、ランダムアクセス情報をビデオデータに関連付けるように設定される。
【００２６】
好ましくは、付加モジュールは、
ビデオデータを記憶する場合、ランダムアクセス情報をデータ構造に含ませる、又は
ビデオデータをネットワークで伝送する場合、ランダムアクセス情報をデータヘッダ又は記述子に含ませるという方式で、ランダムアクセス情報を付加するように設定される。
【００２７】
上記目的を達成するために、本発明はビデオデータ処理システムを更に提供しており、
ビデオデータ生成装置、及び
上記に定義された装置を備える。
【発明の効果】
【００２８】
本発明によるメディア伝送又はメディア記憶の目的のためのビデオデータ処理方法、装置及びシステムは、ビデオストリームに効果的なストリーム操作、例えば、トリックプレイ機能を実行することができる。
【図面の簡単な説明】
【００２９】
【図１】図１は、本発明の実施例による方法のフローチャートを示す図である。
【図２】図２は、本発明の別の実施例によるビデオデータ処理装置の構造を示す図である。
【図３】図３は、本発明の別の実施例によるシステムを示す図である。
【発明を実施するための形態】
【００３０】
ビデオストリームのランダムアクセスは、ストリームが開始する点と異なる点でビデオストリームの復号過程を開始する行為を指す。ビデオストリームのランダムアクセス性質の情報は、ビデオストリームでの操作実行を可能にする。このような操作は、トリックプレイ機能を含む。
【００３１】
図１は、本発明の実施例によるビデオデータのランダムアクセス情報を付加するための方法のフローチャートを示す。該方法は、以下のステップを含む。
ステップ１０：ビデオストリームとしてのビデオデータを生成する。好ましくは該ビデオストリームは圧縮されている。
ステップ２０：生成されたビデオデータにランダムアクセス情報を付加する。
ステップ３０：該ビデオデータを記憶するか、又はネットワークで該ビデオデータを伝送する。
【００３２】
圧縮されたビデオストリームのランダムアクセス情報は、ランダムアクセスポイント（ＲＡＰ）情報及びストリームアクセスポイント（ＳＡＰ）情報の２種類に分けられる。ＳＡＰ情報及びＲＡＰ情報を区別することは可能である。ＩＳＯ／ＭＰＥＧのＨＥＶＣビデオ圧縮規格には、いくつかのＳＡＰタイプ及びいくつかのＲＡＰタイプが存在する。本発明の実施例は、独立にＳＡＰタイプ及びＲＡＰタイプを識別する方法を提供する。例において、ＳＡＰタイプ及びＲＡＰタイプは、フラグで示してもよい。
【００３３】
以下は、ＨＥＶＣビデオ圧縮データにシグナリングを要求するＳＡＰタイプ及びＲＡＰタイプのより多くの細部に関する。
【００３４】
ＲＡＰタイプ１：ＣＲＡピクチャ、
ＲＡＰタイプ２：ＢＬＡピクチャ、
ＲＡＰタイプ３：関連するＴＦＤピクチャなしのＢＬＡピクチャ、
ＲＡＰタイプ４：リーディングピクチャなしのＢＬＡピクチャ、
ＲＡＰタイプ５：リーディングピクチャなしのＩＤＲピクチャ、
ＲＡＰタイプ６：ＩＤＲピクチャ（リーディングピクチャを有しうる）。
【００３５】
ＳＡＰタイプ１：
・該ポイントからすべてのピクチャを復号できる。
・最初に復号されたピクチャは、後で復号されたピクチャより低いＰＴＳを有する。
ＳＡＰタイプ２：
・該ポイントからすべてのピクチャを復号できる。
・後で復号されたピクチャは、最初に復号されたピクチャより低いＰＴＳを有する。
ＳＡＰタイプ３：
・該ポイントからすべてのピクチャを復号できなくなる。
・最初のピクチャは復号可能である。
・復号不可能なピクチャは、最初に復号されたピクチャより低いＰＴＳを有する。
【００３６】
以下の略語は上記リストに用いられる。
（１）ＲＡＰ：ランダムアクセスポイント。
（２）ＳＡＰ：ストリームアクセスポイント。
（３）ＣＲＡ：クリーンランダムアクセス（ＣＲＡ）ピクチャ。これはＲＡＰピクチャの１種であり、該種のＲＡＰピクチャに対して、それぞれのスライス（ｓｌｉｃｅ）は、ＣＲＡ＿ＮＵＴに等しいネットワークアブストラクションレイヤユニットタイプ（nal_unit_type）を有する。
（４）ＰＴＳ：プレゼンテーションタイムスタンプ。
（５）ＢＬＡ：リンク切断アクセス（ＢＬＡ）ピクチャ（ＢＬＡアクセスユニット:一つのアクセスユニットであり、該アクセスユニットにおいてコーディングするピクチャがＢＬＡピクチャである）。
（６）ＩＤＲ：瞬時復号更新（ＩＤＲ）ピクチャ：ＲＡＰピクチャの１種であり、該種のＲＡＰピクチャに対して、それぞれのスライスはＩＤＲ＿Ｗ＿ＬＰ又はＩＤＲ＿Ｎ＿ＬＰに等しいネットワークアブストラクションレイヤタイプを有する。
（７）ＴＦＤ：廃棄とタグ付け。
【００３７】
圧縮されたデータは、一般的にネットワークで伝送されるか、又は記憶される。どちらの場合も、関連するビデオペイロードのランダムアクセス性質の情報は、効果的なストリーム階層処理に寄与する。該情報は、圧縮されたビデオデータに物理的に付加されてもよい。或いは、このような情報は、仮想的に付加されてもよい。メディア伝送及び記憶のコンテキストにおいて、仮想付加の一例として、該例において、ランダムアクセス情報は分離ファイル又はデータ構造から取得されてもよく、且つ、該例においては、ランダムアクセス情報をビデオストリームに関連つけるためのポインタ又は類似のメカニズムが存在する。
【００３８】
ランダムアクセス情報を圧縮されたビデオデータに付加してメディア伝送フォーマット又はメディア記憶フォーマットにすることはカプセル化と呼ばれている。本発明の一つの実施例によって、メディア伝送の目的のためのランダムアクセス情報の付加はデータヘッダ又は記述子の形態であってもよく、メディア記憶の目的のためのランダムアクセス情報の付加はデータ構造の形態であってもよい。
【００３９】
本発明は、前記のランダムアクセス情報の付加操作を実行するための装置を更に提供する。図２に示す実施例によって、ビデオデータのランダムアクセス情報を付加するための装置は、生成されたビデオデータにランダムアクセス情報を付加するように設定される付加モジュールを備える。生成されたビデオデータは、圧縮されたビデオストリームであってもよい。装置は、メモリモジュールを更に備え、ランダムアクセス情報を付加した後、ビデオデータはメモリモジュールを介して記憶されるか又はネットワークで伝送される。
【００４０】
また、付加モジュールは、１つ又は複数のフラグで、ランダムアクセス情報を示すように更に設定されてもよい。付加モジュールは、ランダムアクセス情報を生成されたビデオデータに物理的に付加するか、又は情報を仮想的に付加するように設定されてもよい。メディア伝送及び記憶のコンテキストにおいて、一つの仮想付加の例として、ランダムアクセス情報を分離ファイル又はデータ構造に含ませ、且つポインタ又は類似のメカニズムでランダムアクセス情報をビデオストリームに関連つけることが挙げられる。付加モジュールは、メディア伝送の目的のために、データヘッダ又は記述子の形態でランダムアクセス情報を付加し、且つメディア記憶の目的のために、データ構造の形態でランダムアクセス情報を付加するように設定されてもよい。
【００４１】
図３に示す実施例によると、本発明は、ビデオデータ処理システムを更に提供しており、該システムは、ビデオデータ生成装置、及び上記に定義されたビデオデータ処理装置を備える。
【００４２】
当業者は、本発明における方法及び装置がハードウェア、ソフトウェア又はファームウェアで達成できる。たとえば、それらは汎用計算手段、又は計算手段が実行可能なプログラムで達成することができ、それにより記憶メディア又は集積回路に記憶することができる。
【００４３】
以上は、本発明の好適な実施例に過ぎず、本発明を制限するものではない。当業者にとって、本発明は各種の変更及び変形を有しうる。本発明の趣旨及び原則から逸脱しない場合、あらゆる変更、同等置換、改良等は、いずれも本発明の保護範囲内に属すべきである。
【産業上の利用可能性】
【００４４】
本発明によるメディア伝送又はメディア記憶用のビデオデータのランダムアクセス情報を付加する方法及び装置は、ビデオストリームに効果的なストリーム操作、例えば、トリックプレイ機能を実行することができる。本発明はビデオコーディング分野に適用できる。
【図１】
2015536589.tif 000003
【図２】
2015536589.tif 000004
【図３】
2015536589.tif 000005
【国際調査報告】
2015536589.tif 000006
2015536589.tif 000007