Source: https://patents.google.com/patent/JP2006505024A/en
Timestamp: 2019-03-23 19:26:31
Document Index: 574546076

Matched Legal Cases: ['Application No. 60', 'Application No. 60', 'Application No. 10', 'art 12', 'art 12', 'art 12', 'art 14', 'art 14', 'art 14', 'art 10']

JP2006505024A - Data processing method and apparatus - Google Patents
JP2006505024A
JP2006505024A JP2004505908A JP2004505908A JP2006505024A JP 2006505024 A JP2006505024 A JP 2006505024A JP 2004505908 A JP2004505908 A JP 2004505908A JP 2004505908 A JP2004505908 A JP 2004505908A JP 2006505024 A JP2006505024 A JP 2006505024A
JP2004505908A
ヴィシャラム、モハメド、ズバイル
ウォーカー、トビー
タバタバイ、アリ
2002-04-29 Priority to US37665102P priority Critical
2002-04-29 Priority to US37665202P priority
2003-02-21 Priority to US10/371,464 priority patent/US20030163477A1/en
2003-04-28 Priority to US10/425,685 priority patent/US20040006575A1/en
2003-04-29 Application filed by ソニー エレクトロニクス インク filed Critical ソニー エレクトロニクス インク
2003-04-29 Priority to PCT/US2003/013145 priority patent/WO2003098475A1/en
2006-02-09 Publication of JP2006505024A publication Critical patent/JP2006505024A/en
マルチメディアデータに関係する１つ以上の記述が特定され（図１）、マルチメディアデータに関連付けられる補足的拡張情報（ＳＥＩ）に含められる（図２４）。 One or more descriptions pertaining to multi-media data are identified (Figure 1), it is included in the Supplemental Enhancement Information associated with the multimedia data (SEI) (Figure 24). 記述を含むＳＥＩは、後に、復号システムに送信され、マルチメディアデータの復号処理において、任意に使用される（図２）。 SEI containing the description later, is transmitted to the decoding system, the decoding of the multimedia data, are optionally used (Figure 2).
この出願は、２００２年４月２９日に出願された米国特許仮出願番号６０／３７６，６５１号及び２００２年４月２９日に出願された米国特許仮出願番号６０／３７６，６５２号に関連し、これらに対する優先権を主張する。 This application is related to US Provisional Patent Application No. 60 / 376,652, filed in US Provisional Patent Application No. 60 / 376,651 Patent and April 29, 2002, which was filed on April 29, 2002 , claims priority to these. これらの文献は、引用により本願に援用される。 These documents are incorporated herein by reference. 更に、この出願は、２００３年２月２１日に出願された米国特許出願番号１０／３７１．４６４号に関連する。 Further, this application is related to U.S. Patent Application No. 10 / 371.464, filed Feb. 21, 2003.
本発明は、マルチメディアファイル形式のオーディオビジュアルコンテンツのストレージ及び検索に関し、詳しくは、ＩＳＯメディアファイル形式と互換性があるファイルフォーマットに関する。 The present invention relates to a storage and retrieval of audiovisual content in a multimedia file format and, more particularly, to ISO media file format and file formats are compatible.
著作権表示／許諾 Copyright / license
この明細書の開示内容の一部は、著作権保護の対象となるマテリアルを含む。 A portion of the disclosure of this patent document contains material which is subject to copyright protection. 著作権所有者は、この明細書が特許商標庁への特許出願であると認められる複製に対しては異議を唱えないが、この他のあらゆる全ての著作権を主張する。 The copyright owner has this specification is not objection to the facsimile reproduction deemed a patent application for Patent and Trademark Office records, but otherwise reserves all copyright rights whatsoever. 以下の表示は、後述するソフトウェア及びデータ、並びに添付の図面に適用される。 The following notice applies to later-described software and data as well as the appended drawings. ：著作権（ｃ）２００３：全ての著作権はソニーエレクトロニクスインク社に帰属する（Copyright (c) 2003, Sony Electronics, Inc., All Rights Reserved）。 : Copyright (c) 2003: All rights belong to Sony Electronics Inc. (Copyright (c) 2003, Sony Electronics, Inc., All Rights Reserved).
ネットワーク、マルチメディア、データベース及び他のデジタル容量に対する要求が急速に高まり、多くのマルチメディア符号化及びストレージ法が開発されている。 Network, multimedia, a request to the database and other digital capacity increases rapidly, many multimedia coding and storage methods have been developed. オーディオビジュアルのデータを符号化して、保存するためのよく知られているファイル形式の１つとして、アップルコンピーター社によって開発されたクイックタイムファイルフォーマットがある。 It encodes the audio-visual data, as one of the well known file formats for saving, there is a QuickTime file format developed by Apple Con Peter Corporation. クイックタイムファイルフォーマットは、国際標準化機構（International Organization for Standardization：以下、ＩＳＯという。）マルチメディアファイル形式ＩＳＯ／ＩＥＣ１４４９６−１２オーディオビジュアルオブジェクトの情報技術符号化−パート１２（Multimedia file format, ISO/IEC 14496-12, Information Technology-Coding of audio-visual objects-Part 12）の基礎技術として用いられた。 QuickTime file format, the International Organization for Standardization (International Organization for Standardization:. Below, ISO hereinafter) multimedia file format ISO / IEC14496-12 information technology coding of audio-visual objects - Part 12 (Multimedia file format, ISO / IEC 14496 -12, was used as a basic technology for Information technology-Coding of audio-visual objects-Part 12). ＩＳＯメディアファイルフォーマット（ＩＳＯファイルフォーマットとも呼ばれる。）は、次のような２つの標準ファイルフォーマットのためのテンプレートとして用いられる。 (Also known as an ISO file format.) ISO media file format is used as a template for two standard file formats such as:. （１）モーションピクチャエキスパートグループ（ＭＰＥＧ）によって開発されたＭＰ４と呼ばれる（ＩＳＯ／ＩＥＣ１４４９６−１４、情報技術、オーディオビジュアルオブジェクトの符号化、パート１４（ISO/IEC 14496-14, Information Technology--Coding of audio-visual objects--Part 14）：ＭＰ４ファイルフォーマット）ＭＰＥＧ−４ファイルフォーマット。 (1) it called MP4 developed by the motion picture experts group (MPEG) (ISO / IEC14496-14, Information Technology, coding of audiovisual objects, Part 14 (ISO / IEC 14496-14, Information Technology - Coding of audio-visual objects - Part 14): MP4 file format) MPEG-4 file format. （２）ジョイントフォトグラフィックエキスパートグループ（ＪＰＥＧ）によって開発されたＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ１５４４４−１）のためのファイルフォーマット。 (2) file format for JPEG2000 has been developed by the Joint Photographic Experts Group (JPEG) (ISO / IEC15444-1).
ＩＳＯメディアファイルフォーマットはボックス（アトム又はオブジェクトとも呼ばれる。）と呼ばれるオブジェクト指向構造によって構成される。 ISO media file format is constituted by an object-oriented structure called a box (., Also known as atoms or objects). ２つの重要なトップレベルのボックスは、メディアデータ又はメタデータを含んでいる。 Two important top-level box includes media data or metadata. ほとんどのボックスは、実際のメディアデータに関する、叙述的情報、構造的情報及び時間的情報を提供するメタデータの階層を記述する。 Most box, about the actual media data, descriptive information describes the hierarchy of metadata that provides structural information and temporal information. このボックスのコレクションは、ムービーボックスとして知られているボックスに含まれている。 Collection of this box is included in the box, which is known as a movie box. メディアデータ自体は、メディアデータボックス内に含まれていてもよく、外部に存在してもよい。 Media data itself may be contained in the media data box, it may be present outside. 特定のメディアデータに関して情報を提供するメタデータボックスの集団的な階層は、トラックと呼ばれる。 Collective hierarchy of the metadata box that provides information with respect to a particular media data is called a track.
主のメタデータは、ムービーオブジェクトである。 The main meta-data is a movie object. ムービーボックスは、時間的に表現されたメディアデータを記述するトラックボックスを含んでいる。 Movie box includes track box that describes the media data time representation. トラックのためのメディアデータには、様々な種類（例えば、ビデオデータ、オーディオデータ、バイナリ形式スクリーン表示（format screen representations：ＢＩＦＳ）等）がある。 The media data for the tracks, different types (e.g., video data, audio data, binary format screen display (format screen representations: BIFS), etc.) is. 各トラックは更にサンプル（アクセスユニット又はピクチャとも呼ばれる。）に分割される。 Each track is further divided into samples (also known as access units or pictures.). サンプルは、特定の時刻におけるメディアデータのユニットを表している。 Sample represents a unit of media data at a particular time. サンプルメタデータは、一組のサンプルボックスに含まれている。 Sample metadata is included in a set of sample boxes. 各トラックボックスは、各サンプルのための時間、バイトで表現される等を提供するボックスを含むサンプルテーブルボックスメタデータボックスを含んでいる。 Each track box, the time for each sample includes a sample table box metadata box containing a box offering the like in bytes. サンプルは、タイミング、位置及び他のメタデータ情報を表すことができる最も小さいデータ構成要素である。 Sample timing, the smallest data component that can represent the position and other metadata information. サンプルは、連続したサンプルの組を含むチャンクにグループ化できる。 Samples can be grouped into chunks including a set of consecutive samples. 各チャンクは、それぞれ異なるサイズを有していてもよく、異なるサイズのサンプルを含んでいてもよい。 Each chunk may have different sizes, respectively, may contain samples of different sizes.
近年、ＭＰＥＧの国際電気通信連合（ＩＴＵ）のビデオグループと画像符号化エキスパートグループ（ＶＣＥＧ）とは、ジョイントビデオチームとして（ＪＶＴ）、ＩＴＵ勧告Ｈ． Recently, the video group and the image coding Experts Group International Telecommunication Union MPEG (ITU) (VCEG), as Joint Video Team (JVT), ITU Recommendation H. ２６４又はＭＰＥＧ４パート１０、高度動画像符号化／復号標準（Advanced Video Codec：以下、ＡＶＣという。）又はＪＶＴコーデックと呼ばれる新しい画像符号化／復号（コーデック）標準を開発するために共同標準化作業を始めた。 264 or MPEG4 Part 10, Advanced video encoding / decoding standard (Advanced Video Codec:. Hereinafter, AVC hereinafter) or JVT started joint standardization work to develop new image coding / decoding (CODEC) standard called codecs It was. これらの用語及びＨ． These terms and H. ２６４や、ＪＶＴや、ＡＶＣ等の略語は、ここでは交換可能に用いる。 264 and, or JVT, abbreviations AVC, etc., here used interchangeably.
ＪＶＴコーデック設計では、画像符号化レイヤ（ＶＣＬ）とネットワーク抽象化レイヤ（ＮＡＬ）の２つの異なる概念的なレイヤを区別する。 The JVT codec design distinguished picture coding layer (VCL) and two different conceptual layers of a network abstraction layer (NAL). ＶＣＬは、動き補償や、係数の変換符号化や、エントロピ符号化等の符号化に関連するコーデックの部分を含んでいる。 VCL includes motion compensation and, and transform coding of coefficients, the portion of the codec related to the encoding of such entropy coding. ＶＣＬの出力はスライスであり、各スライスは、一連のマクロブロックと、関連するヘッダ情報とを含んでいる。 The output of the VCL is slices, each slice includes a series of macroblocks and associated header information. ＮＡＬは、ＶＣＬデータを伝送するために用いられたトランスポートレイヤの詳細からＶＣＬを抜き取る。 NAL is withdrawn VCL from the details of the transport layer used to transmit VCL data. ＶＣＬは、スライスより高いレベルの情報について、包括的な、伝送から独立した表現を定義する。 VCL, for a higher level of information than the slice, inclusive, defines a separate representation from transmission. ＮＡＬは、ビデオコーデック自体と、外部世界とのインタフェースを定義する。 NAL defines a video codec itself, the interface with the outside world. 内部的には、ＮＡＬは、ＮＡＬパケットを用いる。 Internally, NAL uses NAL packets. ＮＡＬパケットは、ペイロードのタイプを示すタイプフィールドと、ペイロード内のビットセットとを含んでいる。 NAL packet includes a type field indicating the type of payload, and a bit set in the payload. 単一のスライス内のデータは、更に異なるデータ部分に分割できる。 Data within a single slice can be further divided into different data portions.
多くの既存のビデオ符号化形式では、符号化されたストリームデータは、復号処理を制御するパラメータを含む様々な種類のヘッダを含んでいる。 In many existing video coding formats, stream data encoded includes various kinds of headers containing parameters that control the decoding process. 例えば、ＭＰＥＧ−２ビデオ規格は、シーケンスヘッダ、拡張されたグループオブピクチャ（group of pictures：以下、ＧＯＰという。）及びピクチャヘッダを、それらのアイテムに対応するビデオデータの前に設けている。 For example, MPEG-2 video standard, a sequence header, expanded group of pictures: a (group of pictures. Hereinafter referred GOP) and picture header is provided in front of the video data corresponding to those items. ＪＶＴでは、ＶＣＬデータを復号するために必要な情報は、パラメータセットにグループ化される。 In JVT, the information needed to decode VCL data is grouped into parameter sets. 各パラメータセットには、後にスライスからの参照情報として用いられる識別子が与えられている。 Each parameter set, an identifier to be used as reference information from the slice are given later. パラメータセットは、ストリーム内（帯域内）で送信する代わりに、ストリーム外（帯域外）で送信してもよい。 Parameter set, instead of transmitting in the stream (in-band) may be sent in the stream outside (band).
既存のファイルフォーマットは、符号化されたメディアデータに関連しているパラメータセットを保存する機能を有しておらず、また、パラメータセットを効率的に検索して、伝送できるように、効率的にメディアデータ（すなわち、サンプル又はサブサンプル）をパラメータセットにリンクするための機能も有していない。 Existing file format does not have the function of storing the parameter set associated with encoded media data, also searching for parameter set effectively, so that they can be transmitted efficiently media data (i.e., sample or sub-samples) nor a function for linking the parameter set.
ＩＳＯメディアファイルフォーマットにおいては、構文解析メディアデータを用いることなくアクセスできる最小単位は、サンプル、すなわちＡＶＣ全体である。 In ISO media file format, the smallest unit that can be accessed without using the parsing media data samples, i.e. an overall AVC. 多くの符号化フォーマットでは、サンプルは、更にサブサンプル（サンプルフラグメント又はアクセスユニットフラグメントとも呼ばれる。）と呼ばれるより小さい単位に分割できる。 In many coding format, the sample may be further divided into smaller units than called sub-sample (., Also known as sample fragments or access unit fragments). ＡＶＣでは、サブサンプルは、スライスに対応している。 In AVC, the sub-sample corresponds to a slice. しかしながら、既存のファイルフォーマットは、サンプルのサブパーツへのアクセスをサポートしていない。 However, the existing file format does not support access to the sample of sub-parts. ファイルに保存されたデータに基づき、ストリーミングのためのパケットを柔軟に生成する必要があるシステムでは、サブサンプルにアクセスできないと、ストリーミングのためのＪＶＴメディアデータを柔軟にパケット化することができない。 Based on the data stored in the file, in a system that needs to be flexibly generate packets for streaming, inaccessible to sub-samples can not be flexibly packetize the JVT media data for streaming.
既存のストレージフォーマットでは、メディアデータをストリーミングする際のネットワーク状態の変化に応じて、異なる帯域幅で保存されたストリーム間を切り換えることに関する制約がある。 In existing storage format, in response to changes in network conditions when streaming media data, there are constraints on switching between stream stored in different bandwidths. 典型的なストリーミングのシナリオにおける主要な要求の１つは、ネットワーク状態の変化に応じて圧縮データのビット伝送速度をスケーリングすることである。 One of the key requirements in a typical streaming scenario is to scale the bit rate of the compressed data in response to changing network conditions. これは、通常、異なる帯域幅及び代表的なネットワーク状態のための品質設定を有する複数のストリームを符号化し、１つ以上のファイルにこれらを保存することによって実現される。 This is usually a plurality of streams with quality settings for different bandwidths and representative network conditions encoding is realized by storing them in one or more files. サーバは、ネットワーク状態に応じて、予め符号化されたこれらのストリームを切り換えることができる。 Server, depending on network conditions, it is possible to switch these streams previously encoded. 既存のファイルフォーマットでは、ストリームの切換は、先行するサンプルに依存することなくサンプルを再構築できる場合にのみ可能である。 The existing file format, the switching of a stream is possible only if it can re-build the sample without depending on previous samples. このようなサンプルは、Ｉフレームと呼ばれる。 Such sample is called an I-frame. 現在、先のサンプルに依存して再構築されるサンプル（すなわち、複数のサンプルを参照して再構築されるＰフレーム又はＢフレーム）の場合、ストリームの切換はサポートされていない。 Currently, the sample to be reconstructed depending on the previous sample (i.e., P-frame or B-frame is reconstructed with reference to the plurality of samples), the switching of the streams is not supported.
ＡＶＣ規格は、ストリーム間の効率的な切換、ランダムアクセスと、エラー回復、及びこの他の特徴を提供する切換ピクチャ（switching picture）と呼ばれるツールを提供する（ＳＩピクチャ及びＳＰピクチャと呼ばれる）。 AVC standard, efficient switching between streams, (referred to as SI pictures and SP pictures) and random access, error recovery, and to provide a tool called switching picture (switching picture) that provides this other features. 切換ピクチャは、再構築される値が切り換えようとしているピクチャと正確に等しい特別な種類のピクチャである。 Switching picture is a picture exactly the same special kind of picture values ​​to be reconstructed You are attempting to switch. 切換ピクチャは、対応するピクチャを予測するために用いられた参照ピクチャとは異なる参照ピクチャを用いることができ、この結果、Ｉ−フレームを用いるより効率的に符号化を行うことができる。 Switching picture can use different reference pictures and the reference picture used to predict corresponding pictures, this result, it is possible to efficiently encode than using I- frame. ファイルに保存された切換ピクチャを効率的に利用するためには、どのセットのピクチャが同等であるか及びどのピクチャが予測に用いられるかを知る必要がある。 In order to utilize the switching pictures stored in the file efficiently, it is necessary to know whether and which picture pictures which set is equal is used for prediction. 既存のファイルフォーマットでは、この情報は提供されず、したがって、この情報は、符号化されたを解析することによって、抽出する必要がある（このような処理は非効率的で時間がかかる）。 The existing file format, this information is not provided, therefore, this information by analyzing the coded, it is necessary to extract (such processing takes inefficient and time).
したがって、新しいビデオコード化規格によって提供される新しい能力に対応し、既存のストレージ方法における制約をなくすようにストレージ方法を改善することが望まれる。 Thus, corresponding to the new capabilities offered by the new video coding standards, it is desirable to improve the storage method to eliminate limitations in existing storage method.
マルチメディアデータに関係する１つ以上の記述が特定され、マルチメディアデータに関連付けられる補足的拡張情報（supplemental enhancement information：ＳＥＩ）に含められる。 One or more descriptions pertaining to multi-media data are identified, supplemental enhancement information associated with the multimedia data: included in (supplemental enhancement information SEI). 記述を含むＳＥＩは、後に、復号システムに送信され、マルチメディアデータの復号処理において、任意に使用される。 SEI containing the description later, is transmitted to the decoding system, the decoding of the multimedia data, are optionally used.
以下、添付の図面を用いて、本発明の実施例を詳細に説明する。 Hereinafter, with reference to the accompanying drawings, an embodiment of the present invention in detail. 添付の図面においては、類似する要素には、類似する参照符号を付す。 In the accompanying drawings, similar elements are given the reference numerals similar. 添付の図面は、本発明を実現する特定の実施例を例示的に示している。 The accompanying drawings, which exemplifies the specific embodiments for implementing the present invention. これらの実施例については、当業者が本発明を実施することができるよう、詳細に説明するが、この他の実施例も可能であり、本発明の範囲から逸脱することなく、論理的、機械的、電気的、機能的及びこの他の変更を行うことができる。 For these examples, as those skilled in the art can implement the present invention will be described in detail, this other embodiment are possible, without departing from the scope of the present invention, logical, mechanical , electrical, may perform functions and the other changes. したがって、以下の詳細な説明は、限定的には解釈されず、本発明の範囲は、添付の請求の範囲によってのみ定義される。 The following detailed description is therefore, not to be taken in a limiting sense, the scope of the present invention is defined only by the appended claims.
概観 まず、本発明の動作の概観を説明するために、図１に符号化システム１００の一実施例を示す。 Overview First, in order to explain the overview of the operation of the present invention, showing an embodiment of an encoding system 100 in FIG. 符号化システム１００は、メディアエンコーダ１０４、メタデータ生成器１０６及びファイル作成器（file creator）１０８を備える。 Encoding system 100 includes a media encoder 104, a metadata generator 106 and a file creator (file creator) 108. メディアエンコーダ１０４は、例えば、ビデオデータ（例えば、自然映像（natural source video scene）と他の外部の映像オブジェクトから作成されたビデオオブジェクト）、音声データ（例えば、自然音声（natural source audio scene）及び他の外部のオーディオオブジェクトから作成された音声オブジェクト）、合成オブジェクト、又はこれらの任意の組合せ組合せを含むメディアデータを受け取る。 Media encoder 104, for example, video data (e.g., natural images (natural source video scene) and video objects created from other external video objects), audio data (e.g., natural speech (natural source audio scene) and other external audio objects created from the audio objects), the composite object, or receive media data including any combination thereof combining. メディアエンコーダ１０４は、様々な種類のメディアデータを処理するために、複数の別個のエンコーダを備えていてもよく、サブエンコーダを備えていてもよい。 Media encoder 104 in order to process various types of media data may comprise a plurality of separate encoder may be provided with a sub-encoder. メディアエンコーダ１０４は、メディアがデータを符号化して、メタデータ生成器１０６に渡す。 Media encoder 104 media encodes the data and passes it to the metadata generator 106. メタデータ生成器１０６は、メディアファイルフォーマットに基づいて、メディアデータに関する情報を提供するメタデータを生成する。 Metadata generator 106, based on the media file format, generates metadata that provides information about the media data. メディアファイルフォーマットは、ＩＳＯメディアファイルフォーマット（又は、これに由来するＭＰＥＧ−４、ＪＰＥＧ２０００等）、クイックタイム、又は他の任意のメディアファイルフォーマットに基づいていてもよく、幾つかの追加的データ構造を含んでいてもよい。 Media file format, ISO media file format (or, MPEG-4, JPEG2000, etc. derived therefrom), QuickTime, or other may be based on any media file format, the number of additional data structures it may comprise. 一実施例では、メディアデータ内においてサブサンプルに関係するメタデータを保存するための追加的データ構造を定義する。 In one embodiment, to define additional data structures for storing metadata pertaining to sub-samples in the media data. 他の実施例においては、従来ではメディアデータに保存されていた復号情報を含んでいる対応するパラメータセットにメディアデータの部分（例えば、サンプル又はサブサンプル）をリンクするメタデータを保存するための追加的データ構造を定義する。 In other embodiments, additional to store metadata that links portions of the media data (e.g., sample or sub-sample) to a corresponding parameter set contains decryption information that was stored in the media data in the conventional to define a data structure. 更に他の実施例ではメディアデータ内のサンプルの相互依存性に基づいて作成された、メタデータデータ内のサンプルの様々なグループに関係するメタデータを保存するための追加的データ構造を定義する。 In yet another embodiment which is created based on the interdependence of the sample in the media data, defining additional data structures for storing metadata relating to different groups of samples in the metadata data. 更に他の実施例では、メディアデータに関連している切換サンプルセット（switch sample set）に関係するメタデータを保存するための追加的データ構造を定義する。 In yet another embodiment, it defines the additional data structures for storing metadata pertaining to switch sample set (switch sample set) associated with the media data. 切換サンプルセットとは、同じ復号値を有するが、異なるサンプルに依存していてもよいサンプルの組を指す。 The switch sample set that have the same decoded value, refers to a set of good example be dependent on the different samples. 更に他の実施例では、使用されているファイルフォーマットにおいて、追加的データ構造の様々な組合せを定義する。 In yet another embodiment, the file format used to define various combinations of additional data structures. これらの追加的データ構造とその機能については、後に詳細に説明する。 And their function these additional data structure, will be described in detail later.
ファイル作成器１０８は、符号化されたメディアデータとメタデータを保存する。 File creator 108 stores the media data and metadata encoded. 一実施例では、符号化されたメディアデータと関係するメタデータ（例えば、サブサンプルメタデータ、パラメータセットメタデータ、グループサンプルメタデータ又は、切換サンプルメタデータ）は、同じファイルに保存される。 In one embodiment, the metadata (e.g., sub-sample metadata, the parameter set metadata, the group sample metadata or switch sample metadata) associated with encoded media data is stored in the same file. このファイルの構造は、メディアファイルフォーマットによって定義されている。 The structure of this file is defined by the media file format.
他の実施例においては全ての種類又は幾つか種類のメタデータは、メディアデータとは別個に保存される。 All types or some type of metadata in other embodiments is stored separately from the media data. 例えば、パラメータセットメタデータをメディアデータとは別個に保存してもよい。 For example, the parameter set metadata may be stored separately from the media data. 具体的には、ファイル作成器１０８は、符号化されたメディアデータのファイルを作成するメディアデータファイル作成器１１４と、メタデータのファイルを作成するメタデータファイル作成器１１２と、対応するメタデータとメディアデータを同期させるシンクロナイザ１１６とを備えていてもよい。 Specifically, file creator 108, a media data file creator 114 for creating a file of encoded media data, and metadata file creator 112 for creating a file of metadata and the corresponding metadata it may include a synchronizer 116 for synchronizing media data. メタデータを別個に保存する手法及びこれらのメタデータとメディアデータとの同期については、後により詳細に説明する。 Method to store metadata separately and for the synchronization between these metadata and media data will be described in more detail below.
一実施例において、メタデータファイル作成器１１２は、メディアデータから独立して保存されたメタデータとして、メディアデータに関連付けられた補足的拡張情報（supplemental enhancement information：以下、ＳＥＩという。）メッセージを保存する。 In one embodiment, the metadata file creator 112 as the metadata stored independently of the media data, supplemental enhancement information associated with the media data: store (supplemental enhancement information hereinafter referred SEI.) Message to. ＳＥＩデータがなくても、復号処理を行うことができるので、デコーダは、ＳＥＩデータを使用する必要はない。 Even without SEI data, it is possible to perform the decoding process, the decoder does not need to use the SEI data. 一実施例では、ＳＥＩメッセージは、メディアデータの記述を含ませるために使用される。 In one embodiment, SEI message is used to contain a description of media data. この記述は、ＭＰＥＧ−７規格に従って定義され、記述子と記述スキームから構成される。 This description is defined according to MPEG-7 standard, composed of descriptors and description schemes. 記述子は、オーディオビジュアルのコンテンツの特徴を表し、各特徴の表現の構文ととセマンティクスを定義する。 Descriptor represents characteristics of the content of audiovisual defines the syntax and the semantics of representation of each feature. 記述子の具体例としては、カラー記述子、テクスチャ記述子、動き記述子等がある。 Specific examples of the descriptor, a color descriptor, a texture descriptor, and the like motion descriptor. 記述スキーム（Description scheme：ＤＳ）は、それらのコンポーネントの間の関係の構造とセマンティクスを特定する。 Description scheme (Description scheme: DS) specifies the structure and semantics of the relationship between these components. これらのコンポーネントとは、記述子と記述スキームのいずれであってもよい。 And these components may be any of the descriptors and description schemes. この記述を用いることにより、メディアデータが復号された後のメディアデータの検索性と視覚的性能が向上する。 By using this description, improved searchability and visual performance of the media data after the media data is decoded. ＳＥＩメッセージのオプションの性質のため、デコーダがＳＩＥメッセージを使用するための特定の能力と特定の構成を備えていない場合、そのデコーダは、ＳＥＩメッセージの使用を強制されるわけではないので、ＳＥＩメッセージに記述を含めても、復号処理に悪い影響はない。 For optional nature of SEI message, if the decoder does not have a particular configuration and specific ability to use the SIE message, the decoder, since not be forced to use the SEI message, SEI message be included in the description to, there is no bad effect on the decoding process. ＳＥＩメッセージのメタデータとしての保存については、後により詳細に説明する。 For storage of the metadata SEI message will be described in more detail below. ファイル作成器１０８によって作成されたファイルは、チャンネル１１０を介して保存し又は伝送することができる。 File created by the file creator 108 may be stored or transmitted via a channel 110.
図２は、復号システム２００の一実施例を示している。 Figure 2 shows an embodiment of a decoding system 200. 復号システム２００は、メタデータ抽出器２０４、メディアデータストリームプロセッサ２０６、メディアデコーダ２１０、合成器（compositor）２１２及びレンダリング器（renderer）２１４を備える。 Decoding system 200 includes a metadata extractor 204, a media data stream processor 206, media decoder 210, the combiner (compositor) 212 and renderer (renderer) 214. 復号システム２００をクライアント機器内に設け、ローカルな再生に用いてもよい。 Provided decoding system 200 in the client device may be used for local playback. これに代えて、復号システム２００は、データのストリーミングに用いてもよく、ネットワーク（例えば、インターネット）２０８を介して互いに通信を行うサーバ機器及びクライアント機器を備えていてもよい。 Alternatively, the decoding system 200 may be used for streaming data, the network (e.g., Internet) 208 may include a server device and a client device communicate with each other through a. サーバ機器は、メタデータ抽出器２０４とメディアデータストリームプロセッサ２０６を備えていてもよい。 The server device may comprise a metadata extractor 204 and the media data stream processor 206. クライアント機器は、メディアデコーダ２１０、合成器２１２及びレンダリング器２１４を備えていてもよい。 The client device may comprise a media decoder 210, synthesizer 212 and a rendering unit 214.
メタデータ抽出器２０４は、データベース２１６に保存されている又は（例えば符号化システム１００から）ネットワークを介して受信したファイルからメタデータを抽出する機能を担う。 Metadata extractor 204 performs a function of extracting metadata from a file received via a network or stored (e.g., from the encoding system 100) in the database 216. このファイルは、抽出されるメタデータに関連しているメディアデータを含んでいてもよく、含んでいなくてもよい。 This file may contain media data associated with the metadata to be extracted may not include. ファイルから抽出されたメタデータは、上述した追加的データ構造の１つ以上を含んでいる。 Metadata extracted from the file includes one or more additional data structure described above.
抽出されたメタデータは、メディアデータストリームプロセッサ２０６に渡される。 Metadata extracted is passed to the media data stream processor 206. このメディアデータストリームプロセッサ２０６は、関連する符号化されたメディアデータも受け取る。 The media data stream processor 206 also receives media data associated encoded. メディアデータストリームプロセッサ２０６は、メタデータを用いて、メディアデータストリームを生成し、これをメディアデコーダ２１０に供給する。 Media data stream processor 206 uses metadata to generate a media data stream, and supplies it to the media decoder 210. 一実施例では、メディアデータストリームプロセッサ２０６は、（例えば、パケット化のために）サブサンプルに関係するメタデータを用いて、メディアデータ内のサブサンプルの位置を特定する。 In one embodiment, the media data stream processor 206 (e.g., for packetization) uses metadata pertaining to sub-sample, to identify the position of the sub-samples in the media data. 他の実施例においては、メディアデータストリームプロセッサ２０６は、パラメータセットに関係するメタデータを用いて、メディアデータの一部を対応するパラメータセットにリンクさせる。 In other embodiments, the media data stream processor 206 uses metadata pertaining to parameter set, to link a portion of the media data to the corresponding parameter set. 更に他の実施例では、メディアデータストリームプロセッサ２０６は、メタデータを用いて、所定のグループ内のサンプルにアクセスするために、メタデータ内のサンプルの様々なグループを定義する（例えば、スケーラビリティのために、伝送条件に応じて、他のサンプルが依存していないサンプルのグループを除外して伝送ビットレートを低減する）。 In yet another embodiment, the media data stream processor 206 uses the metadata to access samples in a given group, to define the different groups of samples within the metadata (e.g., for scalability to, to reduce the transmission bit rate, the other samples by excluding the group of samples that do not depend according to the transmission conditions). 更に他の実施例では、メディアデータストリームプロセッサ２０６は、切換サンプルセットを定義するメタデータを用いて、切り換えるべきサンプルであって、導出されるサンプルが依存するサンプルに依存しないサンプルと同じ復号値を有する切換サンプルを特定する（例えば、Ｐフレーム又はＢフレームにおいて、異なるビットレートを有するストリームへの切換を可能にする）。 In yet another embodiment, the media data stream processor 206 uses metadata that defines switch sample set, a sample to be switched, the same decoding value as the sample sample derived does not depend on the sample depends identifying a switch sample with (e.g., in a P frame or B frame, to allow switching to the stream with a different bit rate).
作成されたメディアデータストリームは、直接（例えば、ローカル再生のために）又はネットワーク２０８を介して（例えばデータのストリーミングのために）、メディアデコーダ２１０に供給され、復号される。 Media data streams are created, directly or via a network 208 (e.g., for local playback) (e.g. for data streaming), it is fed to the media decoder 210 and decoded. 合成器２１２は、メディアデコーダ２１０の出力を受け取ってシーンを合成（compose）し、合成されたシーンは、ユーザディスプレイ装置内のレンダリング器２１４によってレンダリングされる。 Synthesizer 212 synthesizes a scene (compose) receives the output of the media decoder 210, the synthesized scenes are rendered by the rendering unit 214 in the user display device.
以下に示す図３を参照した説明は、本発明の実施に適したコンピュータハードウェア及び他の操作コンポーネントに関する概要を明らかにするためのものであるが、これは、適用可能な環境を制限するものではない。 What the description given with reference to FIG. 3 described below, but is intended to clarify an overview of computer hardware and other operating components suitable for implementing the present invention, which is to limit the applicable environments is not. 図３は、図１に示すメタデータ生成器１０６及び／又はファイル作成器１０８、又は図２に示すメタデータ抽出器２０４及び／又はメディアデータストリームプロセッサ２０６の実現に好適なコンピュータシステムを示している。 Figure 3 illustrates a preferred computer system to implement the metadata generator 106 and / or the file creator 108, or metadata extractor 204 and / or media data stream processor 206 shown in FIG. 2 shown in FIG. 1 .
コンピュータシステム３４０は、それぞれがシステムバス３６５に接続されたプロセッサ３５０と、メモリ３５５と、入出力装置（input/output capability）３６０とを備える。 Computer system 340 includes a processor 350, each connected to the system bus 365, a memory 355, and input and output devices (input / output capability) 360. メモリ３５５は、プロセッサ３５０によって実行されることにより、ここに説明する処理を実現する命令を格納するよう構成されている。 Memory 355, by being executed by the processor 350, is configured to store instructions to implement the processing described herein. 入出力装置３６０は、プロセッサ３５０によってアクセス可能なあらゆる種類のストレージ装置を含む、様々な種類の、コンピュータにより読取可能な媒体を含んでいる。 Output device 360 ​​includes any type of storage device accessible by the processor 350, various types includes a computer readable medium. なお、「コンピュータにより読取可能な媒体」という用語は、デジタル信号がエンコードされた搬送波をも含むことは、当業者にとって明らかである。 Incidentally, the term "computer readable storage medium" means that the digital signal including the encoded carrier will be apparent to those skilled in the art. コンピュータシステム３４０は、メモリ３５５において実行されるオペレーティングシステムソフトウェアによって制御される。 Computer system 340 is controlled by an operating system software executing in memory 355. 入出力装置３６０及びこれに関連する媒体は、このオペレーティングシステムソフトウェアと、本発明に基づく処理とに関する命令と、アクセスユニットとを格納している。 Output device 360 ​​and media related thereto, are stored and the operating system software, the instructions for a process according to the present invention, an access unit. 図１及び図２に示すメタデータ生成器１０６、ファイル作成器１０８、メタデータ抽出器２０４及びメディアデータストリームプロセッサ２０６は、プロセッサ３５０に接続されたそれぞれ独立した要素であってもよく、プロセッサ３５０によって実行される、コンピュータにより実行可能な命令として実現してもよい。 Metadata generator 106 shown in FIGS. 1 and 2, file creator 108, the metadata extractor 204 and the media data stream processor 206 may be independent elements that are connected to the processor 350, the processor 350 is executed, it may be implemented as executable instructions by a computer. 一実施例においては、コンピュータシステム３４０は、インターネットサービスプロバイダ（Internet Service Provider：以下、ＩＳＰという。）の一部であってもよく、或いは、入出力装置３６０を介してＩＳＰに接続され、インターネットを介してアクセスユニットを送受信してもよい。 In one embodiment, the computer system 340, Internet Service Provider: may be part of (Internet Service Provider. Hereinafter referred ISP), or is connected to the ISP via the input device 360, the Internet You may receive an access unit through. なお、本発明は、インターネットアクセス及びインターネットウェブサイトに限定されるものではなく、直接接続されたコンピュータシステム及びプライベートネットワークに適用してもよいことは明らかである。 The present invention is not limited to Internet access and Internet web sites, it is clear that it may be applied directly connected computer systems and private networks.
なお、コンピュータシステム３４０は、異なるアーキテクチャを有する様々な可能なコンピュータシステムの一例に過ぎないことは明らかである。 The computer system 340, it is clear that only one example of many possible computer systems that have different architectures. 一般的なコンピュータシステムは、少なくともプロセッサと、メモリと、及びプロセッサとメモリを接続するバスとを備えている場合が多い。 Typical computer system includes at least a processor, memory, and in many cases and a bus for connecting the processor and memory. なお、本発明は、マルチプロセッサシステム、ミニコンピュータ、メインフレームコンピュータ等を含む、他のコンピュータシステム構成によっても実現できることは当業者にとって明らかである。 The present invention is a multiprocessor system, minicomputers, including mainframe computers and the like, can be practiced with other computer system configurations will be apparent to those skilled in the art. 更に、本発明は、通信ネットワークを介してリンクされたリモートの処理装置によってタスクが実行される分散型コンピュータシステム環境によっても実現することができる。 Furthermore, the present invention is by remote processing devices that are linked through a communications network may also be practiced in distributed computing environments where tasks are performed.
サブサンプルのアクセス可能性（Sub-Sample Accessibility） Subsample of accessibility (Sub-Sample Accessibility)
図４及び図５は、それぞれ符号化システム１００及び復号システム２００において実行されるサブサンプルメタデータの保存及び検索のための処理の具体例を示している。 4 and 5 show a specific example of the processes for storing and retrieving sub-sample metadata to be executed in the encoding system 100 and decoding system 200 respectively. この処理は、ハードウェア（例えば回路、専用ロジック等）、ソフトウェア（汎用コンピュータシステム又は専用マシン上で実行されるソフトウェア）又はこれらの両方の組合せを含む処理ロジックによって実行してもよい。 This processing hardware (e.g., circuitry, dedicated logic, etc.), software may be performed by (a general purpose computer system or software running on a dedicated machine), or processing logic that may comprise a combination of both. ソフトウェアによって実現できる処理については、これらのフローチャートを用いて本発明を説明することにより、当業者は、適切に構成されたコンピュータによってこの処理を実行するための命令を含むプログラムを開発することができる（コンピュータのプロセッサは、メモリを含むコンピュータにより読取可能な媒体から命令を読み出し、実行する）。 For software-implemented processes, by describing the present invention with reference to the flow charts, those skilled in the art will be able to develop such programs including instructions to carry out the processes on suitably configured computers (the processor of the computer reads an instruction from the computer readable storage medium containing a memory, executes). コンピュータにより実行可能な命令は、コンピュータプログラミング言語として書いてもよく、ファームウェアロジックとして実現してもよい。 Computer-executable instructions may be written as a computer programming language, it may be implemented as firmware logic. 一般的に認知されている規格に準拠するプログラミング言語で書いた場合、このような命令は、様々なオペレーティングシステムにインタフェースされ、様々な種類のハードウェアプラットホームで実行できる。 If written in a programming language conforming to a recognized standard, such instructions can be interfaced to a variety of operating systems can run on a variety of hardware platforms. 更に、本発明では、如何なる特定のプログラミング言語にも基づくことなく、本発明を説明する。 Further, in the present invention, without to any particular programming language, the present invention will be described. ここに開示する本発明の処理を実現するために、様々なプログラミング言語を用いてることができることは明らかである。 In order to realize the process of the present invention disclosed herein, it is apparent that it is possible that using a variety of programming languages. 更に、当分野においては、動作を行い又は結果を生じるものとして、ソフトウェアを様々な呼び方で呼ぶことがある（例えば、プログラム、手続き、プロセス、アプリケーション、モジュール、ロジック等）。 Further, in the art, as causing the performed or the result an operation may be referred software in a variety of call it (e.g., program, procedure, process, application, module, logic, etc.). これらの表現は、コンピュータによるソフトウェアの実行によって、コンピュータのプロセッサが動作を実行し又は結果を生じるということを単に簡略的に表現しているに過ぎない。 These expressions, the execution of the software by a computer, merely merely a shorthand way of saying that the processor of the computer produce or result executing the operation. また、本発明の範囲から逸脱することなく、図４及び図５に示す処理ステップを省略してもよく、他のステップを追加してもよく、更に、ここで説明する処理ステップの実行順序を変更してもよい。 Further, without departing from the scope of the present invention may omit the process steps shown in FIGS. 4 and 5, may be added other steps, further, the order of execution of the process steps described herein it may be changed.
図４は、符号化システム１００において、サブサンプルメタデータを作成する処理４００の一実施例を示すフローチャートである。 Figure 4 is the coding system 100, is a flow chart diagram of one embodiment of a method 400 for creating a sub-sample metadata. まず、処理４００は、処理ロジックが符号化されたメディアデータを含むファイルを受け取る（処理ブロック４０２）ことによって開始される。 First, process 400, processing logic begins by receiving a file containing the encoded media data (processing block 402). 次に、処理ロジックは、メディアデータ内のサブサンプルの境界を特定する情報を抽出する（処理ブロック４０４）。 Next, processing logic extracts information identifying a boundary between the sub-samples in the media data (processing block 404). 用いられているファイルフォーマットに応じて、時間的属性を与えることができるデータストリームの最小単位は、サンプル（ＩＳＯメディアファイルフォーマット又はクイックタイムにおいて定義されている）、アクセスユニット（ＭＰＥＧ−４において定義されている）又はピクチャ（ＪＶＴにおいて定義されている）等と呼ばれる。 Depending on the used file format, the smallest unit of data streams that can provide a temporal attribute (as defined in ISO media file format or Quicktime) samples, is defined in the access unit (MPEG-4 and are) or called picture (as defined in the JVT) or the like. サブサンプルは、サンプルのレベルより下位のデータストリームの連続する部分を表す。 Sub samples represent successive portions of the lower data stream from the level of the sample. サブサンプルの定義は、符号化フォーマットに依存するが、包括的に言えば、サブサンプルとは、単一のエンティティ又はサブユニットの組合せとして復号でき、サンプルの部分的な再構築を可能にする、サンプルの重要なサブユニットである。 Defining sub-sample depends on the coding format, speaking generically, a sub-sample can decode as a combination of a single entity or sub-unit, to enable partial reconstruction of the sample, it is an important sub-unit of the sample. また、サブサンプルは、アクセスユニットフラグメントとも呼ばれる。 Further, sub-sample is also referred to as access unit fragment. サブサンプルは、多くの場合、サンプルのデータストリームの部分（division）を表すので、各サブサンプルは、同じサンプル内の他のサブサンプルに対して依存関係をほとんど又は全く有していない。 Subsample often since they represent a part of the sample data stream (division), each sub-sample has little or no dependencies on other sub-samples within the same sample. 例えば、ＪＶＴでは、サブサンプルは、ＮＡＬパケットである。 For example, the JVT, a sub-sample is NAL packet. 同様に、ＭＰＥＧ−４ビデオでは、サブサンプルは、ビデオパケットである。 Similarly, in MPEG-4 video, sub-samples are video packets.
一実施例では、符号化システム１００は、上述のように、ＪＶＴにおいて定義されているネットワーク抽象化レイヤで動作する。 In one embodiment, the encoding system 100, as described above, operate in a Network Abstraction Layer as defined in JVT. ＪＶＴメディアデータストリームは、一連のＮＡＬパケットから構成され、各ＮＡＬパケット（また、ＮＡＬユニットと呼ばれる）は、ヘッダ部とペイロード部分を含んでいる。 JVT media data stream consists of a series of NAL packets, each NAL packet (also called NAL unit) includes a header portion and a payload portion. ある種のＮＡＬパケットは、各スライスについて符号化されたＶＣＬデータ又は１つのスライスの単一のデータ分割を格納するために用いられる。 Certain NAL packet is used to store a single data division coded VCL data or one slice for each slice. 更に、ＮＡＬパケットは、ＳＥＩメッセージを含む情報パケットであってもよい。 Furthermore, NAL packet may be an information packet containing the SEI message. ＪＶＴでは、サブサンプルは、ヘッダとペイロードの両方を有する完全なＮＡＬパケットであってもよい。 In JVT, a sub-sample can be a complete NAL packet with both header and payload.
処理ブロック４０６において、処理ロジックは、メディアデータ内のサブサンプルを定義するサブサンプルメタデータを作成する。 At processing block 406, processing logic creates a sub-sample metadata that defines sub-samples in the media data. 一実施例では、サブサンプルメタデータは、予め定義されたデータ構造の組（例えば、一組のボックス）として組織化される。 In one embodiment, the sub-sample metadata is organized as a predefined data structures set (e.g., a set of boxes). 予め定義されたデータ構造の組には、各サブサンプルのサイズに関する情報を含むデータ構造、各サンプルのサブサンプルの総数に関する情報を含むデータ構造、各サブサンプルを説明する情報（例えば、何がサブサンプルとして定義されているか）を含むデータ構造、各チャンク内のサブサンプルの総数に関する情報を含むデータ構造、各サブサンプルの優先順位に関する情報を含むデータ構造、又はサブサンプルに関係する任意のデータを含む他のデータ構造を含めることができる。 The set of predefined data structures, data structures containing information about the size of each sub-sample, data structures containing information about the total number of sub-samples of each sample, information describing each sub-sample (e.g., what is sub data structure including one) is defined as a sample data structure containing information about the total number of sub-samples in each chunk, data structures containing information about the priority of each sub-sample, or any data related to the sub-sample other data structures, including can contain.
次に、一実施例において、処理ロジックは、データの繰り返しシーケンス（repeated sequence of data）を含むデータ構造が存在するか否かを判定する（デシジョンボックス４０８）。 Next, in one embodiment, processing logic determines whether the data structure contains a repeated sequence of data (Repeated sequence of data) is present (decision box 408). この判定の結果が肯定的である場合、処理ロジックは、データの各繰り返しシーケンスをシーケンス出現への参照情報（a reference to a sequence occurrence）及び繰り返しシーケンスの出現回数を表す情報に変換する（処理ブロック４１０）。 If the result of this determination is affirmative, the processing logic converts the information representing the number of occurrences of the reference information (a reference to a sequence occurrence) and repeating sequence of each repeat sequence to the sequence appearance of data (processing block 410).
次に、処理ブロック４１２において、処理ロジックは、特定のメディアファイルフォーマット（例えば、ＪＶＴファイルフォーマット）を用いて、メディアデータに関連するファイルの中にサブサンプルメタデータを含める。 Next, at processing block 412, processing logic specific media file format (e.g., JVT file format) using, include sub-sample metadata into a file associated with media data. メディアファイルフォーマットにより、サブサンプルメタデータは、サンプルメタデータとともに保存してもよく（例えば、サンプルデータ構造を含むサンプルテーブルボックスにサブサンプルデータ構造を含むことができる）、サンプルメタデータとは別に保存してもよい。 The media file format, the sub-sample metadata may be stored with sample metadata (e.g., can include a sub-sample data structures in the sample table box containing sample data structures), kept separately from the sample metadata it may be.
図５は、復号システム２００においてサブサンプルメタデータを利用するための処理５００の一具体例のフローチャートである。 Figure 5 is a flow diagram of one embodiment of a process 500 for utilizing sub-sample metadata at the decoding system 200. まず、処理５００は、処理ロジックが符号化されたメディアデータに関連するファイルを受け取ることにより開始される（処理ブロック５０２）。 First, process 500, processing logic begins by receiving a file associated with encoded media data (processing block 502). ファイルは、データベース（ローカル又は外部の）、符号化システム１００又はネットワーク上の他の如何なる機器から供給してもよい。 File, database (local or external), may be supplied from any other device on the encoding system 100 or network. ファイルは、メディアデータ内のサブサンプルを定義するサブサンプルメタデータを含んでいる。 The file includes the sub-sample metadata that defines sub-samples in the media data.
次に、処理ロジックは、ファイルからサブサンプルメタデータを抽出する（処理ブロック５０４）。 Next, processing logic extracts the sub-sample metadata from the file (processing block 504). 上述のように、サブサンプルメタデータは、データ構造の組（例えば、一組のボックス）に保存してもよい。 As described above, the sub-sample metadata, the data structure set (e.g., a set of boxes) may be stored in.
更に、処理ブロック５０６において、処理ロジックは、抽出されたメタデータを用いて、（同じファイル又は異なるファイルに保存されている）符号化されたメディアデータのサブサンプルを特定し、メディアデコーダに供給するために、複数のサブサンプルを結合してパケットを生成し、これにより、ストリーミングのためのメディアデータの柔軟なパケット化が可能となる（例えば、エラー回復、スケーラビリティ等をサポートできる）。 Furthermore, at processing block 506, processing logic uses the extracted metadata to identify sub-samples of the media data (the same file or different files are stored) encoded, and supplies to the media decoder for, it generates a packet by combining the plurality of sub-samples, thereby, the flexible packets of the media data for streaming is enabled (e.g., error recovery, can support scalability, etc.).
以下、拡張ＩＳＯメディアファイルフォーマット（拡張ＭＰ４と呼ばれる）に基づいて、サブサンプルメタデータ構造の具体例について説明する。 Hereinafter, based on an extended ISO media file format (referred to as an extended MP4), illustrating a specific example of the sub-sample metadata structures. なお、他のメディアファイルフォーマットを拡張して、サブサンプルメタデータを保存するための同様のデータ構造を組み込むことができることは当業者にとって明らかである。 Note that extends another media file format, it can be incorporated similar data structures for storing sub-sample metadata will be apparent to those skilled in the art.
サブサンプルを含む拡張ＭＰ４メディアストリームモデルを図６に示す。 Extended MP4 media stream model including sub-samples are shown in FIG. プレゼンテーションデータ（例えば、同期されたオーディオ及びビデオを含むプレゼンテーション）は、ムービー６０２として表されている。 Presentation data (e.g., a presentation containing synchronized audio and video) is represented as a movie 602. ムービー６０２は、一組のトラック６０４を含む。 Movie 602 includes a set of tracks 604. 各トラック６０４は、メディアデータストリームを表している。 Each track 604 represents a media data stream. 各トラック６０４は、サンプル６０６に分割される。 Each track 604 is divided into the sample 606. 各サンプル６０６は、特定の時刻におけるメディアデータのユニットを表している。 Each sample 606 represents a unit of media data at a particular time. サンプル６０６は、更にサブサンプル６０８に分割される。 Sample 606 is further divided into sub-samples 608. ＪＶＴ規格では、サブサンプル６０８は、ＮＡＬパケット又は単一のピクチャのスライス、複数のデータ部分を含むスライスの１つのデータ部分、帯域内パラメータセット又はＳＥＩ情報パケット等のユニットを表すことができる。 In the JVT standard, sub-sample 608 may represent NAL packet or a single slice of the picture, one of the data portion of a slice including a plurality of data portions, a unit such as the parameter set or SEI information packet bandwidth. これに代えて、サブサンプル６０６は、例えば、メディアにおける空間的領域又は時間的領域を表すコードデータ等、サンプルにおける他の如何なる構造的要素を表していてもよい。 Alternatively, sub-sample 606, for example, code data or the like representing the spatial domain or time regions in the media, may represent any other structural elements in the sample. 一実施例においては、何らかの構造的基準又は意味的基準に基づく、符号化されたメディアデータの如何なる部分もサブサンプルとして扱うことができる。 In one embodiment, based on some structural criteria or semantic criteria, any portion of the encoded media data may also be handled as sub-sample.
トラック拡張ボックスは、トラックフラグメントにおけるサンプルを特定するためにムービーフラグメントが使用されている場合、各サンプルの所要時間とサイズに関する情報を提供し、各サンプルの劣化優先順位（degradation priority）及び他のサンプル情報を指定するために用いられる。 Track expansion box, when movie fragments to identify samples in the track fragment is used, provides information about the duration and size of each sample, degradation priority (degradation priority) of each sample and other sample It is used to specify information. 劣化優先順位とは、サンプルの重要度を定義し、すなわち、（例えば、伝送時の損失のため）そのサンプルが失われた場合、映像の品質にどのような影響があるかを示している。 The degradation priority defines the importance of the sample, i.e., it indicates how (for example, due to loss during transmission) if the sample has been lost, there is what effect the quality of the video. 一実施例においては、トラック拡張ボックスは、トラックフラグメントボックス内のサブサンプルのデフォルト情報を含むように拡張される。 In one embodiment, the track expansion box is extended to include the default information of the sub-samples in the track fragment box. この情報は、例えば、サブサンプル記述のサブサンプル記述への参照情報とを含むことができる。 This information can, for example, and a reference information to the sub-sample description of sub-sample description.
トラックは、複数のフラグメントに分割できる。 Tracks may be divided into multiple fragments. 各フラグメントは、０個以上の連続するサンプルのランを含むことができる。 Each fragment may contain a run of zero or more consecutive samples. トラックフラグメントランボックスは、トラックフラグメント内のサンプルを特定し、トラックフラグメントに保存されたサンプルに関するトラックフラグメントのそれぞれのサンプルの所要時間とサイズに関する情報及びこの他の情報を提供する。 Track Fragment Run Box identifies a sample of the track fragment, to provide a required time information and the other information about the size of each sample of the track fragment regarding the stored samples in the track fragment. トラックフラグメントヘッダボックスは、トラックフラグメントランボックスにおいて用いられるデフォルトデータ値を特定する。 Track fragment header box identifies the default data values ​​used in the track fragment run box. 一実施例では、トラックフラグメントランボックス及びトラックフラグメントヘッダボックスは、トラックフラグメント内のサブサンプルに関する情報を含むように拡張される。 In one embodiment, the track fragment run box and track fragment header box is expanded to include information about the sub-samples in the track fragment. トラックフラグメントランボックス内の拡張された情報としては、例えば、各サンプルのトラックフラグメントに保存されたサブサンプルの数、各サブサンプルのサイズ、サブサンプル記述への参照情報、一組のフラグ等を含めることができる。 The extended information in the track fragment run box, for example, include the number of samples of the sub-samples stored in the track fragment, the size of each sub-sample, references to sub-sample description, a set of flags be able to. 一組のフラグにより、トラックフラグメントがサンプルのチャンク又はサブサンプルにメディアデータを保存するか否か、サブサンプルデータがトラックフラグメントランボックスに存在しているか否か、各サブサンプルが、トラックフラグメントランボックス内にサイズデータ及び／又は記述参照情報データを有しているか否か等を示すことができる。 By a set of flags, whether tracks fragment store media data to a sample of chunks or sub-samples, whether sub-sample data is present in the track fragment run box, each sub-sample, the track fragment run box It may indicate whether such has a size data and / or description reference information data within. トラックフラグメントヘッダボックスの拡張情報は、例えば、各サブサンプルが、サイズデータ及び／又は記述参照データを提供しているか否かを示すフラグのデフォルト値等の情報を含むことができる。 Extended information track fragment header box, for example, each sub-sample, can include information for the default value or the like of a flag indicating whether to provide size data and / or description reference data.
サブサンプルメタデータを保存するためのデータ構造の具体例を図７Ａ〜図７Ｌに示す。 Specific examples of data structures for storing sub-sample metadata shown in FIG 7A~ Figure 7L.
図７Ａに示すように、ＩＳＯメディアファイルフォーマットによって定義されたサンプルメタデータボックスを含むサンプルテーブルボックス７００は、サブサンプルサイズボックス（sub-sample size box）７０２、サブサンプル記述関連付けボックス（sub-sample description association box）７０４、サブサンプル−サンプルボックス（sub-sample to sample box）７０６、サブサンプル記述ボックス（sub-sample description box）７０８等のサブサンプルアクセスボックスを含むように拡張される。 As shown in FIG. 7A, ISO sample table box 700 that contains sample metadata boxes defined by the media file format, the sub-sample size box (sub-sample size box) 702, sub-sample description association box (sub-sample description association box) 704, sub-sample - sample box (sub-sample to sample box) 706, is extended to include the sub-sample description box (sub-sample description box) 708 and the like of the sub-sample access box. 一実施例では、サブサンプルアクセスボックスは、サブサンプル−チャンク（sub-sample to chunk box）ボックス及び優先度ボックス（priority box）も含んでいる。 In one embodiment, the sub-sample access boxes, sub-sample - chunk (sub-sample to chunk box) box and priority box (priority box) which also include a. 一実施例では、サブサンプルアクセスボックスを用いるか否かは任意である。 In one embodiment, whether to use sub-sample access box is optional.
図７Ｂに示すように、サンプル７１０は、例えば、スライス７１２等のスライスと、データ部分（data partition）７１４等のデータ部分と、ＲＯＩ７１６等の重要な領域（regions of interest：ＲＯＩ）とに分割することができる。 As shown in FIG. 7B, the sample 710, for example, a slice such as slice 712, a data portion, such as the data portion (data partition) 714, critical areas such as ROI716: divided into (regions of interest ROI) and be able to. これらの各実施例は、サンプルをサブサンプルに分割する様々な例を表している。 Each of these embodiments represent various examples of dividing the sample into sub-samples. 単一のサンプル内の各サブサンプルは、互いに異なるサイズを有することができる。 Each sub-sample in a single sample may have different sizes from each other.
サブサンプルサイズボックス７１８は、サブサンプルサイズボックス７１８のバージョンを指定するバージョンフィールドと、デフォルトサブサンプルサイズを指定するサブサンプルサイズフィールドと、トラック内のサブサンプルの数を表すサブサンプルカウントフィールドと、各サブサンプルのサイズを指定するエントリサイズフィールドとを含んでいる。 Sub-sample size box 718 includes a version field that specifies the version of the sub-sample size box 718, a sub-sample size field specifying the default sub-sample size, the sub-sample count field representing the number of sub-samples within a track, each and an entry size field specifying the size of the sub-samples. サブサンプルサイズフィールドに０が設定されている場合、サブサンプルサイズテーブル７２０内に格納されているサブサンプルは異なるサイズを有する。 If 0 in the sub-sample size field is set, the sub-samples stored in the sub-sample size table 720 in have different sizes. サブサンプルサイズフィールドの値が０に設定されない場合、このフィールドは、サブサンプルサイズが一定であることを表し、サブサンプルサイズテーブル７２０が空であることを示す。 If the value of the sub-sample size field is not set to 0, this field indicates that the sub-sample size is constant, indicating that sub-sample size table 720 is empty. テーブル７２０は、サブサンプルサイズを表すための３２ビット固定長フィールド又は可変長フィールドを有していてもよい。 Table 720 may have a 32-bit fixed-length field or a variable-length field for representing the sub-sample size. フィールドが可変長である場合、サブサンプルテーブルは、サブサンプルサイズフィールドの長さをバイト単位で表現するフィールドを含んでいる。 If the field is a variable length, the sub-sample table contains a field representing the length of the sub-sample size field in bytes.
図７Ｃに示すように、サブサンプル−サンプルボックス７２２は、サブサンプル−サンプルボックス７２２のバージョンを特定するバージョンフィールドと、テーブル７２３内のエントリの数を示すエントリカウントフィールドとを含んでいる。 As shown in FIG. 7C, the sub-sample - sample box 722 subsamples - includes a version field that specifies the version of the sample box 722, and entry count field indicating the number of entries in the table 723. サブサンプル−サンプルテーブルにおける各エントリは、同数の１サンプルあたりのサブサンプルを共有するサンプルのラン（run）における第１のサンプルのインデクスを提供する第１のサンプルフィールドと、サンプルのランにおける各サンプルのサブサンプルの数を提供するサンプル毎サブサンプル（sub-samples-per-sample）フィールドとを含んでいる。 Sub-sample - each entry in the sample table, a first sample field that provides the index of the first sample in the sample run of the shared sub-samples per equal number of one sample (the run), each sample in the sample run of sample each sub sample that provides a number of sub-samples (sub-samples-per-sample) and a field.
テーブル７２３を用いることにより、ランに幾つのサンプルがあるかを算出し、この数と適切な１サンプル毎のサブサンプルの数とを乗算し、全てのランの結果を合計することによって、トラックのサブサンプルの総数を算出することができる。 By using the table 723, and calculates how to run a number of samples, is multiplied by the number of sub-samples per this number and the appropriate 1 samples, by summing the results of all of the run, the track it is possible to calculate the total number of sub-samples.
他の実施例では、サブサンプルは、サンプルではなくチャンクとしてグループ化する。 In other embodiments, sub-samples are grouped as chunks rather than sample. そして、サブサンプル−チャンクボックス（sub-sample to chunk box）を用いて、チャンク内のサブサンプルが特定される。 The sub-sample - using a chunk box (sub-sample to chunk box), sub-samples within a chunk is identified. サブサンプル−チャンクボックスは、同じ数のサブサンプルと、各チャンク内のサブサンプルの数と、サブサンプル記述のためのインデクスとを共有するチャンクのランにおける第１のチャンクのインデクスに情報を保存する。 Sub-sample - chunk box stores a sub-sample of the same number, the number of sub-samples in each chunk, the information on the index of the first chunk in the run of chunks that share the index for the sub-sample description . サブサンプル−チャンクボックスを用いて、特定のサブサンプル、チャンク内のサブサンプルの位置及びこのサブサンプルの記述を含むチャンクを検出することができる。 Sub-sample - using a chunk box, it is possible to detect a chunk containing the location and description of the sub-sample of a particular sub-sample, the sub-samples within a chunk. 一実施例において、サブサンプルがチャンクとしてグループ化される場合、サブサンプル−サンプルボックス７２２は、存在しない。 In one embodiment, if the sub-samples are grouped as chunks, sub-sample - sample box 722 is not present. 一方、サブサンプルがサンプルとしてグループ化される場合、サブサンプル−チャンクボックスは、存在しない。 On the other hand, if the sub-samples are grouped as samples, sub-sample - chunk box is absent.
上述のように、サブサンプルアクセスボックスは、各サブサンプルの劣化優先順位を指定する優先順位ボックスを含むことができる。 As described above, the sub-sample access box can include a priority box for specifying the degradation priority for each sub-sample. 劣化優先順位とは、サンプルの重要度を定義し、すなわち、（例えば、伝送時の損失のため）そのサンプルが失われた場合、復号されたメディアデータにどのような影響があるかを示している。 The degradation priority defines the importance of the sample, i.e., (e.g., due to loss during transmission) If the sample is lost, it indicates whether there is any effect on the decoded media data there. 優先順位ボックスのサイズは、サブサンプル−サンプルボックス７２２又はサブサンプル−チャンクボックスから判定さすることができるトラック内のサブサンプルの数によって定義される。 The size of the priority box, sub-sample - sample box 722 or sub-sample - is defined by the number of sub-samples in the track can be determined from the chunk box.
図７Ｄに示すように、サブサンプル記述関連付けボックス７２４は、サブサンプル記述関連付けボックス７２４のバージョンを指定するバージョンフィールドと、記述されるサブサンプルのタイプ（例えばＮＡＬパケット、関心領域）を示す記述タイプ識別子と、テーブル７２６内のエントリの数を提供するエントリカウントフィールドとを含んでいる。 As shown in FIG. 7D, the sub-sample description association box 724 includes a version field that specifies the version of the sub-sample description association box 724, description type identifier indicating sub-sample type (e.g. NAL packet, ROI) to be described the If, and an entry count field that provides the number of entries in the table 726. テーブル７２６内の各エントリは、サブサンプル記述ＩＤを示すサブサンプル記述タイプ識別子フィールドと、同じサブサンプル記述ＩＤを共有するサブサンプルのランにおける第１のサブサンプルへのインデクスを提供する第１のサブサンプルフィールドとを含んでいる。 Each entry in the table 726, a sub-sample description type identifier field indicating a sub-sample description ID, a first sub that provides the index of the first sub-samples in the run of the sub-samples that share the same sub-sample description ID and a sample field.
サブサンプル記述タイプ識別子は、サブサンプル記述ＩＤフィールドの使用を制御する。 Sub-sample description type identifier controls the use of the sub-sample description ID field. すなわち記述タイプ識別子において特定されたタイプに応じて、サブサンプル記述ＩＤフィールド自体が記述ＩＤ自体の中のサブサンプル記述を直接符号化する記述ＩＤを特定し、又は、サブサンプル記述ＩＤフィールドは、異なるテーブル（すなわち、後述するサブサンプル記述テーブル）へのインデクスとして機能できる。 That is, depending on the type specified in the description type identifier, sub-sample description ID field itself identifies the description ID that directly encodes the sub-sample description in description ID itself or sub-sample description ID field is different table (i.e., sub-sample description table described below) it can serve as an index to. 例えば、記述タイプ識別子がＪＶＴ記述を指示する場合、サブサンプル記述ＩＤフィールドは、ＪＶＴサブサンプルの特性を指定するコードを含むことができる。 For example, if the description type identifier indicates a JVT description, sub-sample description ID field may contain a code specifying the characteristics of JVT sub-samples. この場合、サブサンプル記述ＩＤフィールドは、サブサンプル内に予め定義されたデータ部分が存在することを表すビットマスクとして用いられる下位８ビットと、ＮＡＬパケットタイプを表すための、又は将来の拡張のための上位２４ビットとを含む３２ビットのフィールドであってもよい。 In this case, sub-sample description ID field, and the lower 8 bits used as a bitmask indicating that the predefined data portion in the sub-sample is present, to represent the NAL packet type, or for future expansion the upper 24 bits of it may be a 32-bit field containing a.
図７Ｅに示すように、サブサンプル記述ボックス７２８は、サブサンプル記述ボックス７２８のバージョンを指定するバージョンフィールドと、テーブル７３０内のエントリの数を示すエントリカウントフィールドと、サブサンプルの特性に関する情報を表すサブサンプル記述フィールドの記述タイプを示す記述タイプ識別子フィールドと、１つ以上のサブサンプル記述エントリ７３０を含むテーブルとを含む。 As shown in FIG. 7E, sub-sample description box 728, represents a version field that specifies the version of the sub-sample description box 728, an entry count field indicating the number of entries in the table 730, information about the characteristics of the sub-samples It includes a description type identifier field indicating a description type of sub-sample description field, and a table that includes one or more sub-sample description entry 730. サブサンプル記述タイプは、記述情報（descriptive information）が関係するタイプを特定し、サブサンプル記述関連付けテーブル７２４内の同じフィールドに対応している。 Sub-sample description type identifies the type description information (descriptive information) is concerned, it corresponds to the same field of the sub-sample description association in the table 724. テーブル７３０内の各エントリは、関連するサブサンプルの特性に関する情報を含むサブサンプル記述エントリを含んでいる。 Each entry in the table 730 includes a sub-sample description entry containing information about the characteristics of the associated sub-sample. 記述エントリの情報とフォーマットは、記述タイプフィールドに依存する。 Information and format of the description entry is dependent on the description type field. 例えば、そして、記述タイプがパラメータセットである場合、各記述エントリは、パラメータセットの値を含む。 For example, When description type is a parameter set, each description entry includes a value of the parameter set.
記述情報は、パラメータセット情報、ＲＯＩに関係する情報又はサブサンプルを特徴付けるために必要な他のあらゆる情報に関連付けることができる。 Description information may be associated parameter set information, to any other information necessary to characterize the information or sub-samples relating to ROI. パラメータセットについては、サブサンプル記述関連付けテーブル７２４は、各サブサンプルに関連するパラメータセットを示す。 For parameter set sub-sample description association table 724 shows a set of parameters associated with each sub-sample. このような場合、サブサンプル記述ＩＤは、パラメータセット識別子に対応している。 In this case, sub-sample description ID corresponds to the parameter set identifier. 同様に、サブサンプルは、以下のように異なる関心領域を表すことができる。 Similarly, the sub-samples can represent different regions of interest in the following manner. まず、サブサンプルを１つ以上の符号化されたマクロブロックとして定義し、次に、サブサンプル記述関連付けテーブルを用いて、ビデオフレーム又は画像の符号化されたミクロブロックの異なる領域への分割を表現する。 First, define a sub-sample as one or more coded macroblocks, then using a sub-sample description association table, representing the division into different areas of micro block coded video frame or image to. 例えば、２つのサブサンプル記述ＩＤ（例えば、サブサンプル記述ＩＤ１、２）によって、フレーム内の符号化されたマクロブロックを、それぞれ前景領域及び背景領域への割当を示す前景マクロブロックと背景マクロブロックに分割できる。 For example, two sub-sample description ID (e.g., sub-sample description ID1,2) by a coded macroblock in the frame, the foreground macroblock and background macroblock each indicate an assignment of the foreground and background regions It can be divided.
異なる種類のサブサンプルを図７Ｆに示す。 The different types of sub-samples are shown in Figure 7F. サブサンプルは、分割されていないスライス７３２、複数のデータに分割されたスライス７３４、スライス内のヘッダ７３６。１つのスライスの中央のデータ部分７３８、１つのスライスの最後のデータ部分７４０、ＳＥＩ情報パケット７４２等を表すことができる。 Subsample, slice 732 is not divided, sliced ​​734 is divided into a plurality of data, the last data portion of the central data portion 738,1 a slice header 736.1 a slice in the slice 740, SEI information packet it is possible to represent the 742 or the like. これらの各サブサンプルタイプは、図７Ｇに示す８ビットマスク７４４の特定の値に関連付けてもよい。 Each of these sub-samples type may be associated with a particular value of 8-bit mask 744 shown in FIG. 7G. ８ビットマスクは、上述のように、３２ビットのサブサンプル記述ＩＤフィールドの最下位８ビットを構成してもよい。 8-bit mask, as described above, may constitute the least significant 8 bits of the sub-sample description ID field 32 bits. 図７Ｈは、「ｊｖｔｄ」に等しい記述タイプ識別子を有するサブサンプル記述関連付けボックス７２４を示す。 Figure 7H shows a sub-sample description association box 724 having equal description type identifier "jvtd". テーブル７２６は、図７Ｇに示した値を格納する３２ビットのサブサンプル記述ＩＤフィールドを有している。 Table 726 includes a 32-bit sub-sample description ID field storing the values ​​shown in FIG. 7G.
図７Ｈ〜図７Ｋを用いて、サブサンプル記述関連付けテーブルにおけるデータの圧縮を説明する。 With reference to FIGS 7H~ Figure 7K, illustrating the compression of the data in the sub-sample description association table.
図７Ｉに示すように、圧縮されていないテーブル７２６は、シーケンス７４８を繰り返すサブサンプル記述ＩＤのシーケンス７５０を含んでいる。 As shown in FIG. 7I, the table 726 uncompressed includes a sequence 750 of sub-sample description ID repeating sequence 748. 圧縮されたテーブル７４６内では、繰り返しシーケンス７５０は、シーケンス７４８への参照情報と、このシーケンスが出現する回数を表す情報に圧縮されている。 The compressed table within 746 repeating sequence 750, and references to sequence 748, it is compressed in the information representing the number of times that this sequence appears.
図７Ｊに示す一実施例においては、サブサンプル記述ＩＤフィールドにおいて、最上位ビットをシーケンスフラグのラン７５４として用い、次の２３ビットを出現インデクス７５６として用い、これより下位のビットを出現長（occurrence length）７５８として用いることによって、シーケンス出現（sequence occurrence）を符号化することができる。 In one embodiment, shown in FIG. 7J, the sub-sample description ID field, with the most significant bit as the run 754 of the sequence flag, using the following 23-bit as the appearance index 756, appearing shorter than the lower bits which (occurrence by using as the length) 758, sequence emerge (sequence occurrence) may be encoded. シーケンスフラグのラン７５４に１が設定されている場合、これは、当該エントリが繰り返しシーケンスの出現を含んでいることを示している。 If the run 754 of the sequence flag 1 is set, this indicates that the entry is repeated includes the emergence of the sequence. シーケンスフラグのラン７５４に０が設定されている場合、このエントリは、サブサンプル記述ＩＤであることを示している。 If the run 754 of the sequence flag 0 is set, this entry indicates that the sub-sample description ID. 出現インデクス７５６は、シーケンスの第１の出現のサブサンプル記述関連付けボックス７２４内の指標であり、出現長７５８は、繰り返しシーケンス出現の長さを示す。 Appearance index 756 is an index of the first sub-sample description association box 724 of occurrence of the sequence, the appearance length 758 indicates the length of the repeated sequence occurrence.
図７Ｋに示す他の実施例においては、繰り返しシーケンス出現テーブル７６０は、繰り返しシーケンスの出現を表すために用いられる。 In another embodiment shown in FIG. 7K, repeated sequence occurrence table 760 is used to represent the occurrence of repetitive sequences. サブサンプル記述ＩＤフィールドの最上位ビットは、エントリがサブサンプル記述ＩＤであるか否かを示すシーケンスフラグ７６２のランとして、又は、サブサンプル記述関連付けボックス７２４の一部である繰り返しシーケンス出現テーブル７６０内のエントリのシーケンスインデクス７６４として用いられる。 The most significant bit of the sub-sample description ID field entry as a run of sequence flag 762 indicating whether the sub-sample description ID, or repeated sequence occurrence table 760 which is part of a sub-sample description association box 724 used as a sequence index 764 of the entry of. 繰り返しシーケンス出現テーブル７６０は、繰り返しシーケンスにおける最初のアイテムのサブサンプル記述関連付けボックス７２４におけるインデクスを特定するための出現インデックスフィールドと、繰り返しシーケンスの長さを指定するためのシーケンス長領域とを含んでいる。 Repeated sequence occurrence table 760 includes the appearance index field for identifying the index of the sub-sample description association box 724 of the first item in the repeating sequence, and a sequence length region for specifying the length of the repeated sequence .
パラメータセット ＪＶＴ等の所定のメディアフォーマットでは、メディアデータを適切に復号するために必要である基準制御値（critical control value）を含む「ヘッダ」情報が、符号化されたデータの残りの部分から分離され／切り離され、パラメータセット内に保存される。 In certain media formats, such as parameter set JVT, the "header" information that includes a reference control value is necessary to (critical control value) in order to properly decode the media data, separated from the rest of the encoded data is / are disconnected, it is stored in the parameter set. これにより、ストリームにおけるこれらの制御値を符号化されたデータに混在させるのではなく、一意的識別子等のメカニズムを用いて、符号化されたデータにより必要なパラメータセットを示すことができる。 Thus, these control values ​​in the stream rather than mixing in the encoded data, by using a mechanism such as a unique identifier may indicate the parameter sets needed by the coded data. この手法により、符号化されたデータから、より高レベルの符号化パラメータの伝送を分離することができる。 This approach can be from the encoded data, separates the more transmission of high-level coding parameters. また、同時に、制御値の共通の組をパラメータセットとして共有することによって、冗長度を低下させることができる。 At the same time, a common set of control values ​​by sharing a set of parameters, it is possible to lower the redundancy.
パラメータセットを用いる保存されたメディアストリームの効率的な送信をサポートするためには、送信側又はプレーヤは、パラメータセットを伝送し又はパラメータセットにアクセスする時刻及び場所を知るために、符号化されたデータを対応するパラメータに高速にリンクする必要がある。 To support efficient transmission of stored media streams using the parameter set, the sender or the player, in order to know the time and location access to the transmission or parameter sets a parameter set coded there is a need to link to the high-speed data to the corresponding parameter. 本発明の一実施例では、メディアデータのパラメータセットと対応する部分の間の関係を特定するデータをメディアファイルフォーマット内のパラメータセットメタデータとして格納することによりこの機能を実現する。 In one embodiment of the present invention, to achieve this feature by storing data specifying the relationship between the portions corresponding to the parameter set of media data as the parameter set metadata in a media file format.
図８及び図９は、それぞれ符号化システム１００及び復号システム２００によって実行されるパラメータセットメタデータの保存及び検索のための処理を示している。 8 and 9 illustrate processes for storing and retrieving parameter set metadata that are performed by the encoding system 100 and decoding system 200. この処理は、ハードウェア（例えば回路、専用ロジック等）、ソフトウェア（汎用コンピュータシステム又は専用マシン上で実行されるソフトウェア）又はこれらの両方の組合せを含む処理ロジックによって実行してもよい。 This processing hardware (e.g., circuitry, dedicated logic, etc.), software may be performed by (a general purpose computer system or software running on a dedicated machine), or processing logic that may comprise a combination of both.
図８は、符号化システム１００において、パラメータセットメタデータを作成するための処理８００の一実施例を示すフローチャートである。 8, the encoding system 100, is a flow chart diagram of one embodiment of a method 800 for creating parameter set metadata. まず、処理８００は、処理ロジックが符号化されたメディアデータに関連するファイルを受け取ることにより開始される（処理ブロック８０２）。 First, the process 800, processing logic begins by receiving a file associated with encoded media data (processing block 802). このファイルは、メディアデータの一部をどのように復号するかを指定する符号化パラメータの組を含んでいる。 This file includes a set of encoding parameters that specify how to decode portions of the media data. 次に、処理ロジックは、パラメータセットと呼ばれる符号化パラメータの組と、メディアデータの対応する部分と間の関係を調べ（処理ブロック８０４）、パラメータセットと、このパラメータセットとメディアデータ部分との関係を定義するパラメータセットメタデータを作成する（処理ブロック８０６）。 Next, processing logic examines the set of coding parameters called parameter set, the relationship between the corresponding portions of the media data (processing block 804), the relationship between the parameter sets, and the parameter set and the media data portion create a parameter set metadata that defines the (processing block 806). メディアデータ部分は、サンプル又はサブサンプルによって表してもよい。 Media data portion may be represented by the sample or subsamples.
一実施例では、パラメータセットメタデータは、一組の予め定義されたデータ構造（例えば、一組のボックス）に組織化される。 In one embodiment, the parameter set metadata is organized into a set of predefined data structures (e.g., a set of boxes). 予め定義されたデータ構造の組は、パラメータセットに関する記述的な情報を含むデータ構造と、サンプルとこれに対応するパラメータセットの間の関係を定義する情報を含むデータ構造とを含むことができる。 Set of predefined data structures may include a data structure containing descriptive information about the parameter sets, samples and a data structure containing information defining a relationship between the corresponding parameter sets. 一実施例においては、予め定義されたデータ構造の組は、サブサンプルとこれに対応するパラメータセットの間の関係を定義する情報を含むデータ構造を含んでいる。 In one embodiment, set of predefined data structures may include a data structure containing information that defines the relationship between the sub-samples and corresponding parameter sets. サブサンプル−パラメータセット関係情報（sub-sample to parameter set association information）を含むデータ構造は、サンプル−パラメータセット関係情報（sample to parameter set association information）を含むデータ構造に優先されてもよく、優先されなくてもよい。 Sub-sample - data structure containing the parameter set relationship information (sub-sample to parameter set association information), the sample - parameter set relationship information (sample to parameter set association information) may be preferentially in a data structure containing, precedence may or may not.
次に、一実施例では、処理ロジックは、データの繰り返しシーケンスを含むパラメータセットデータ構造が存在するか否かを判定する（デシジョンボックス８０８）。 Next, in one embodiment, processing logic determines whether any parameter set data structure contains a repeated sequence of data (decision box 808). この判定の結果が肯定的である場合、処理ロジックは、データの各繰り返しシーケンスをシーケンスの出現への参照情報及びシーケンスの出現回数を表す情報に変換する（処理ブロック８１０）。 If the result of this determination is affirmative, the processing logic converts each repeated sequence of data into a reference information and the number of occurrences of the sequence to the emergence of the sequence (processing block 810).
次に、処理ブロック８１２において、処理ロジックは、特定のメディアファイルフォーマット（例えば、ＪＶＴファイルフォーマット）を用いて、メディアデータに関連するファイル内にパラメータセットメタデータを含める。 Next, at processing block 812, processing logic specific media file format (e.g., JVT file format) using the Include parameter set metadata in a file associated with media data. メディアファイルフォーマットに応じて、パラメータセットメタデータは、トラックメタデータ及び／又はサンプルメタデータとともに保存してもよく（例えば、パラメータセットに関する記述的情報を含むデータ構造をトラックボックスに含めてもよく、関連付け情報を含むデータ構造をサンプルテーブルボックスに含めてもよい。）、トラックメタデータ及び／又はサンプルメタデータとは別に保存してもよい。 Depending on the media file format, the parameter set metadata may be stored with the track metadata and / or sample metadata (e.g., may include data structures containing descriptive information about the parameter set track box, data structure containing association information may be included in the sample table box.) may be stored separately from the track metadata and / or sample metadata.
図９は、復号システム２００においてパラメータセットメタデータを利用するための処理９００の一実施例を示すフローチャートであるである。 Figure 9 is the decoding system 200 is a flow diagram of one embodiment of a process 900 for utilizing parameter set metadata. まず、処理９００は、処理ロジックが符号化されたメディアデータに関連するファイルを受け取ることにより開始される（処理ブロック９０２）。 First, process 900, processing logic begins by receiving a file associated with encoded media data (processing block 902). ファイルは、データベース（ローカル又は外部のデータベース）、符号化システム１００又はネットワーク内の他の如何なる機器から受け取ってもよい。 File, database (local or external), may be received from any other device encoding system 100 or a network. ファイルは、メディアデータのためのパラメータセット及びこのメディアデータのパラメータセットと対応する部分（例えば、対応するサンプル又はサブサンプル）の間の関係を定義するパラメータセットメタデータを含んでいる。 The file includes the parameter set metadata that defines the relationship between the portions (e.g., corresponding samples or sub-sample) and the corresponding parameter sets and parameter set of media data for the media data.
次に、処理ロジックは、ファイルからパラメータセットメタデータを抽出する（処理ブロック９０４）。 Next, processing logic extracts the parameter set metadata from the file (processing block 904). 上述のように、パラメータセットメタデータは、一組のデータ構造（例えば、一組のボックス）に保存できる。 As described above, the parameter set metadata may be stored in a set of data structures (e.g., a set of boxes).
更に、処理ブロック９０６では、処理ロジックは、抽出されたメタデータを用いて、どのパラメータセットが特定のメディアデータ部分（例えば、サンプル又はサブサンプル）に関連するかを判定する。 Further, the processing block 906, processing logic uses the extracted metadata to determine which parameter set is specific media data portion (e.g., sample or sub-sample) related. この情報は、メディアデータ部分とこれに対応するパラメータセットの伝送時刻を制御するために用いることができる。 This information can be used to control the transmission time of media data portions and corresponding parameter sets. すなわち、特定のサンプル又はサブサンプルを復号するために用いるべきパラメータセットは、サンプル又はサブサンプルを含むパケットより先に、又はサンプル又はサブサンプルを含むパケットと共に送信する必要がある。 That is, the parameter set to be used to decode a particular sample or subsamples, before the packets containing samples or sub-samples, or has to be transmitted with the packets containing samples or sub-samples.
このように、パラメータセットメタデータを用いることにより、より信頼性が高いチャンネルを介して、パラメータセットを別個に送信することが可能となり、伝送エラー又はデータ損失によってメディアストリームの一部が欠落する可能性を低減することができる。 In this way, by using the parameter set metadata, through more channels reliability is high, it is possible to transmit the parameter sets separately, be part of the media stream are missing by transmission error or data loss it is possible to reduce the gender.
以下、拡張ＩＳＯメディアファイルフォーマット（拡張ＩＳＯと呼ばれる）について、例示的なパラメータセットメタデータ構造を用いて説明する。 Hereinafter, the extended ISO media file format (referred to as an extended ISO), is described with reference to exemplary parameter set metadata structures. 但し、パラメータセットメタデータを格納するための様々なデータ構造を組み込むように、この他のファイルフォーマットを拡張してもよいことは明らかである。 However, to incorporate various data structures for storing parameter set metadata, it is clear that may extend this other file formats.
パラメータセットメタデータを保存するための例示的なデータ構造を図１０Ａ〜図１０Ｅに示す。 Exemplary data structures for storing parameter set metadata shown in FIG 10A~ Figure 10E.
図１０Ａに示すように、ＩＳＯファイルフォーマットによって定義されているトラックメタデータボックスを含むトラックボックス１００２は、パラメータセット記述ボックス１００４を含むように拡張される。 As shown in FIG. 10A, track box 1002 that includes a track metadata boxes defined by the ISO file format is extended to include a parameter set description box 1004. 更に、ＩＳＯファイルフォーマットによって定義されているサンプルメタデータボックスを含むサンプルテーブルボックス１００６は、サンプル−パラメータセットボックス１００８を含むように拡張される。 Further, a sample table box 1006 that contains sample metadata boxes defined by the ISO file format, sample - is extended to include a parameter set box 1008. 一実施例においては、サンプルテーブルボックス１００６は、サブサンプル−パラメータセットボックスを含んでいてもよく、これは、後に詳細に説明するように、サンプル−パラメータセットボックス１００８へのサンプルに優先させることができる。 In one embodiment, a sample table box 1006, the sub-sample - may contain parameter sets box, which, as will be described later in detail, the sample - be used to override the sample to parameter set box 1008 it can.
一実施例では、パラメータセットメタデータボックス１００４、１００８は、必須要件である。 In one embodiment, the parameter set metadata boxes 1004 and 1008 is an essential requirement. 他の実施例においては、パラメータセット記述ボックス１００４のみが必須要件である。 In another embodiment, only the parameter set description box 1004 is an essential requirement. 更に他の実施例では、全てのパラメータセットメタデータボックスの全てが任意の要件である。 In yet another embodiment, all the all the parameter set metadata boxes is any requirement.
図１０Ｂに示すように、パラメータセット記述ボックス１０１０は、パラメータセット記述ボックス１０１０のバージョンを指定するバージョンフィールドと、テーブル１０１２内のエントリの数を示すパラメータセット記述カウントフィールドと、パラメータセット自体のためのエントリを含むパラメータセットエントリフィールドとを含んでいる。 As shown in FIG. 10B, the parameter set description box 1010 includes a version field that specifies the version of the parameter set description box 1010, a parameter set description count field indicating the number of entries in the table 1012, for the parameter set itself and a parameter set entry field that contains the entry.
パラメータセットは、サンプルレベル又はサブサンプルレベルから参照することができる。 Parameter sets can be referenced from the sample level or sub-sample levels. 図１０Ｃに示すように、サンプル−パラメータセットボックス１０１４は、サンプルレベルからパラメータセットへの参照情報を提供する。 As shown in FIG. 10C, the sample - parameter set box 1014 provides reference information from the sample level to the parameter set. サンプル−パラメータセットボックス１０１４は、サンプル−パラメータセットボックス１０１４のバージョンを指定するバージョンフィールドと、デフォルトパラメータセットＩＤを指定するデフォルトパラメータセットＩＤフィールドと、テーブル１０１６内のエントリの数を示すエントリカウントフィールドとを含んでいる。 Sample - parameter set box 1014, a sample - a version field that specifies the version of the parameter set box 1014, and default parameter set ID field that specifies the default parameter set ID, an entry count field indicating the number of entries in the table 1016 It contains. テーブル１０１６内の各エントリは、同じパラメータセットを共有するサンプルのランにおける第１のサンプルのインデクスを提供する第１のサンプルフィールドと、パラメータセット記述ボックス１０１０へのインデクスを指定するパラメータセットインデクスとを含んでいる。 Each entry in the table 1016, and the first sample field that provides the index of the first sample in the run of samples that share the same parameter set, a parameter set index specifying the index to the parameter set description box 1010 which comprise. デフォルトパラメータセットＩＤが０のときは、テーブル１０１６内に格納されているサンプルは、異なるパラメータセットを有する。 When default parameter set ID is 0, the sample stored in the table 1016, has a different set of parameters. デフォルトパラメータセットＩＤが１のときは、各サンプルに対して、一定のパラメータセットが１つのみ用いられる。 When default parameter set ID is 1, for each sample, a certain parameter set is used only one.
一実施例では、サブサンプル記述関係テーブルに関連して上述したように、テーブル１０１６内のデータは、各繰り返しシーケンスを最初のシーケンスへの参照情報と、このシーケンスが出現する回数を表す情報に変換することによって圧縮される。 In one embodiment, as described above in connection with the sub-sample description association table data in the table 1016, converts each repeated sequence and the reference information to the first sequence, the information representing the number of times that this sequence appears It is compressed by.
パラメータセットとサブサンプルの間の関係を定義することによって、サブサンプルレベルからパラメータセットを参照することができる。 By defining the relationship between parameter sets and sub-samples can refer to parameter set from the sub-sample level. 一実施例では、パラメータセットとサブサンプルの間の関係は、上述したサブサンプル記述関連付けボックスを用いて定義される。 In one embodiment, the relationship between parameter sets and sub-samples are defined with sub-sample description association box described above. 図１０Ｄは、パラメータセットを識別する記述タイプ識別子を有するサブサンプル記述関連付けボックス１０１８を示す。 Figure 10D shows a sub-sample description association box 1018 with the description type identifier referring to parameter sets. （例えば、記述タイプ識別子は、「ｐａｒｓ」に等しい）。 (For example, the description type identifier is equal to "pars"). テーブル１０２０内のサブサンプル記述ＩＤは、この記述タイプ識別子に基づき、パラメータセット記述ボックス１０１０内のインデクスを示す。 Sub-sample description ID in the table 1020, based on the description type identifier indicates the index of the parameter set description box 1010.
一実施例では、パラメータセットを識別する記述タイプ識別子を含むサブサンプル記述関連付けボックス１０１８が存在している場合、これは、サンプル−パラメータセットボックス１０１４に優先される。 In one embodiment, when the sub-sample description association box 1018 includes a description type identifier for identifying the parameter set is present, this is a sample - is preferentially in the parameter set box 1014.
パラメータセットは、パラメータセットが作成された時点と、パラメータセットがメディアデータの対応する部分を復号するために用いられる時点との間で変更してもよい。 Parameter set may be changed between the time used for decoding the time the parameter set is created, the corresponding portion of the parameter sets media data. このような変更が行われる場合、復号システム２００は、パラメータセットの変更を示すパラメータ更新パケットを受け取る。 If such changes are made, the decoding system 200 receives the parameter update packet indicating a change in parameter sets. パラメータセットメタデータは、更新前と更新後の両方のパラメータセットの状態を特定するデータを含んでいる。 Parameter set metadata includes data identifying the status of both sets of parameters before and after update.
図１０Ｅに示すように、パラメータセット記述ボックス１０１０は、時刻ｔ０において作成された初期パラメータセット１０２２のエントリと、時刻ｔ１において受け取られたパラメータ更新パケット１０２６に応じて作成された更新パラメータセット１０２４のエントリとを含んでいる。 As shown in FIG. 10E, the parameter set description box 1010, the entry of the initial parameter set 1022 created at time t0, entry of the updated parameter set 1024 created according to the parameter update packet 1026 received at time t1 it includes the door. サブサンプル記述関連付けボックス１０１８は、これらの２つのパラメータセットを対応するサブサンプルに関連付ける。 Sub-sample description association box 1018 associates these two parameter sets to the corresponding sub-samples.
サンプルグループ トラック内のサンプルは、メディアデータ内のハイレベルの構造を表すシーケンス（不連続であってもよい）に論理的にグループ化（区分）することができるが既存のファイルフォーマットは、このようにグループ化されたデータを表現及び保存する好適なメカニズムを有していない。 Sample Sample Group in track, logically grouped into sequence (may be discontinuous) representing the structure of a high level in the media data (classification) can be, but the existing file format, such It does not have a suitable mechanism to represent and store grouped data. 例えば、ＪＶＴ等の高度な符号化形式は、単一のトラック内のサンプルを、それらの相互依存性に基づいて複数のグループに組織化する。 For example, advanced encoding format such as JVT, the samples in a single track is organized into a plurality of groups based on their interdependencies. これらのグループ（ここでは、シーケンス又はサンプルグループとも呼ぶ。）を用いて、除外可能な一連のサンプルを特定することができ、ネットワーク状態によって必要とされた場合に、これにより、時間的なスケーラビリティをサポートすることができる。 These groups (also referred to herein as sequence or sample group.) Using, it is possible to identify a set of possible samples excluded, if it is required by the network state, thereby, the temporal scalability it is possible to support. ファイルフォーマットにおいて、サンプルグループを定義するメタデータを保存することにより、メディアの送信側は、上述した特徴を容易且つ効率的に実現することができる。 In the file format, by storing metadata that defines a sample group, the sender of the media, it is possible to realize the features mentioned above readily and efficiently.
サンプルグループの具体例としては、例えば、フレーム間の依存関係によって、それらのサンプルが他のサンプルに依存することなく復号できる組がある。 Specific examples of the sample group, for example, by dependencies between frames, there is a set that can be decoded without the samples depends on other samples. ＪＶＴでは、このようなサンプルグループは、拡張グループオブピクチャ（enhanced group of pictures：以下、拡張ＧＯＰという。）と呼ばれる。 In JVT, such a sample group, extended group of pictures is called a (enhanced group of pictures hereinafter referred to as the extended GOP.). 拡張ＧＯＰでは、サンプルは、サブシーケンスに分割できる。 Enhanced GOP, samples may be divided into sub-sequences. 各サブシーケンスは、互いに依存し、１つの単位として処理できる一組のサンプルを含んでいる。 Each subsequence includes a set of samples that depend on each other, it can be treated as a unit. 更に拡張ＧＯＰのサンプルは、より上位のレイヤのサンプルがより下位のレイヤのサンプルのみから予測され、これにより、他のサンプルを復号する能力に影響を与えることなく、最上位のレイヤのサンプルを除外できるように、複数のレイヤに階層的に構造化できる。 Further expansion GOP samples are predicted only from a sample of more lower layer sample of higher layers, thereby, without affecting the ability to decode the other samples, excluding samples uppermost layer as it can be hierarchically structured into a plurality of layers. 他の如何なるレイヤのサンプルにも依存しないサンプルを含んでいる最下位のレイヤは、ベースレイヤと呼ばれる。 Lowest layer that contains the sample that does not depend on the sample of any other layer is referred to as the base layer. ベースレイヤ以外の他の全てのレイヤは、エンハンスメントレイヤ（enhancement layer）と呼ばれる。 All other layers other than the base layer, called the enhancement layer (enhancement layer).
図１１は、サンプルが２つのレイヤ、ベースレイヤ１１０２及びエンハンスメントレイヤ１１０４、及び２つのサブシーケンス１１０６、１１０８に分割される例示的な拡張ＧＯＰを示している。 Figure 11 is a sample of two layers, shows an exemplary extension GOP that is divided into a base layer 1102 and an enhancement layer 1104, and the two sub-sequences 1106, 1108. ２つのサブシーケンス１１０６と１１０８は、互いに依存することなく破棄することができる。 And two sub-sequences 1106 1108 can be discarded without interdependent.
図１２及び図１３は、それぞれ符号化システム１００及び復号システム２００によって実行されるサンプルグループメタデータの保存及び検索のための処理を示している。 12 and 13 illustrate processes for storing and retrieving sample group metadata that are performed by the encoding system 100 and decoding system 200. この処理は、ハードウェア（例えば回路、専用ロジック等）、ソフトウェア（汎用コンピュータシステム又は専用マシン上で実行されるソフトウェア）又はこれらの両方の組合せを含む処理ロジックによって実行してもよい。 This processing hardware (e.g., circuitry, dedicated logic, etc.), software may be performed by (a general purpose computer system or software running on a dedicated machine), or processing logic that may comprise a combination of both.
図１２は、符号化システム１００においてサンプルグループメタデータを作成するための処理１２００の一実施例を示すフローチャートである。 Figure 12 is a flow diagram of one embodiment of a process 1200 for creating sample group metadata at the encoding system 100. まず、処理１２００は、処理ロジックが符号化されたメディアデータに関連するファイルを受け取ることにより開始される（処理ブロック１２０２）。 First, the process 1200, processing logic begins by receiving a file associated with encoded media data (processing block 1202). メディアデータのトラック内のサンプルは、ある種の相互依存性を有する。 Samples in the track of the media data has certain interdependencies. 例えば、トラックは、他の如何なるサンプルにも依存しないＩフレーム、先行する単一のサンプルに依存するＰフレーム及びＩフレーム、Ｐフレーム及びＢフレームのあらゆる組合せを含む先行する２つのサンプルに依存するＢフレームを含んでいてもよい。 For example, the track is dependent I-frames do not depend on any other samples, P-frames and I-frame depends on the single preceding samples, the two preceding samples including any combination of P and B frames B it may include a frame. トラックのサンプルは、それらの相互依存性に基づいて、サンプルグループ（例えば、拡張ＧＯＰ、レイヤ、サブシーケンス等）に論理的に結合できる。 Samples of the track on the basis of their interdependencies, sample group (e.g., extended GOP, layer, sub-sequences, etc.) logically coupled to.
次に、処理ロジックは、各トラック内のサンプルグループを特定するためにメディアデータを調べ（処理ブロック１２０４）、サンプルグループについて記述し、どのサンプルがどのサンプルグループに含まれているかを定義するサンプルグループメタデータを作成する（処理ブロック１２０６）。 Next, processing logic, the sample group examined media data (processing block 1204), describes the sample group, which defines which samples are included in which the sample group to identify sample groups in each track It creates metadata (processing block 1206). 一実施例では、サンプルグループメタデータは、一組の予め定義されたデータ構造（例えば、一組のボックス）に組織化される。 In one embodiment, the sample group metadata is organized into a set of predefined data structures (e.g., a set of boxes). 予め定義されたデータ構造の組は、各サンプルグループに関する記述的な情報を含むデータ構造と、各サンプルグループに含まれたサンプルを特定する情報を含むデータ構造と、サブシーケンスを記述する情報を含むデータ構造と、レイヤを記述する情報を含むデータ構造とを含むことができる。 The set of predefined data structures may include a data structure containing descriptive information about each sample group, and a data structure containing information identifying the samples contained in each sample group, the information describing the sub-sequence and data structures may include a data structure containing information describing the layer. 次に、一実施例では、処理ロジックは、データの繰り返しシーケンスを含むサンプルグループデータ構造が存在するか否かを判定する（デシジョンボックス１２０８）。 Next, in one embodiment, processing logic determines whether any sample group data structure contains a repeated sequence of data (decision box 1208). この判定の結果が肯定的である場合、処理ロジックは、データの各繰り返しシーケンスをシーケンスの出現への参照情報及びシーケンスの出現回数を表す情報に変換する（処理ブロック１２１０）。 If the result of this determination is affirmative, the processing logic converts each repeated sequence of data into a reference information and the number of occurrences of the sequence to the emergence of the sequence (processing block 1210).
次に、処理ブロック１２１２において、処理ロジックは、特定のメディアファイルフォーマット（例えば、ＪＶＴファイルフォーマット）を用いて、メディアデータに関連するファイル内にサンプルグループメタデータを含める。 Next, at processing block 1212, processing logic specific media file format (e.g., JVT file format) using, include sample group metadata in a file associated with media data. メディアファイルフォーマットに応じて、サンプルグループメタデータは、サンプルメタデータとともに保存してもよく（サンプルグループデータ構造をサンプルテーブルボックスに含めてもよい。）、サンプルメタデータとは別に保存してもよい。 Depending on the media file format, sample group metadata may be stored with sample metadata (sample group data structures may be included in the sample table box.) The sample metadata may be stored separately .
図１３は、復号システム２００においてサンプルグループメタデータを利用するための処理１３００の一実施例を示すフローチャートである。 Figure 13 is a flow chart diagram of one embodiment of a method 1300 for utilizing sample group metadata at the decoding system 200. まず、処理１３００は、処理ロジックが符号化されたメディアデータに関連するファイルを受け取ることにより開始される（処理ブロック１３０２）。 First, the processing 1300, processing logic begins by receiving a file associated with encoded media data (processing block 1302). ファイルは、データベース（ローカル又は外部のデータベース）、符号化システム１００又はネットワーク内の他の如何なる機器から受け取ってもよい。 File, database (local or external), may be received from any other device encoding system 100 or a network. ファイルは、メディアデータ内のサンプルグループを定義するサンプルグループメタデータを含んでいる。 The file includes a sample group metadata defining sample groups in the media data.
次に、処理ロジックは、ファイルからサンプルグループメタデータを抽出する（処理ブロック１３０４）。 Next, processing logic extracts the sample group metadata from the file (processing block 1304). 上述のように、サンプルグループメタデータは、一組のデータ構造（例えば、一組のボックス）に保存できる。 As described above, sample group metadata may be stored in a set of data structures (e.g., a set of boxes).
更に、処理ブロック１３０６では、処理ロジックは、抽出されたメタデータを用いて、他のサンプルを復号する能力に影響することなく除外でる一連のサンプルを特定する。 Further, the processing block 1306, processing logic uses the extracted metadata to identify a series of samples exiting excluded without affecting the ability to decode the other samples. 一実施例では、この情報を用いて、特定のサンプルグループにおけるサンプルにアクセスし、ネットワーク容量の変化に応じてどのサンプルを破棄することができるかを判定することができる。 In one embodiment, by using this information, it is possible to access the sample in a particular sample group to determine which sample may be discarded in response to changes in network capacity. 他の実施例では、サンプルグループメタデータは、トラック内のサンプルの一部だけが処理又はレンダリングされるように、サンプルをフィルタリングするために用いられる。 In another embodiment, the sample group metadata, so that only a portion of the sample in the track is processed or rendered, is used to filter the sample.
このように、サンプルグループメタデータにより、サンプルへの選択的なアクセスと、スケーラビリティが容易に実現される。 Thus, the sample group metadata, and selective access to the sample, the scalability can be easily realized.
以下、サンプルグループメタデータ構造の具体例について、拡張ＩＳＯメディアファイルフォーマット（拡張ＭＰ４とも呼ばれる。）に関連して説明する。 Hereinafter, a specific example of a sample group metadata structure will be described with reference to an extended ISO media file format (referred to as an extended MP4.). 但し、サンプルグループメタデータを格納するための様々なデータ構造を組み込むように、この他のファイルフォーマットを拡張してもよいことは明らかである。 However, to incorporate various data structures for storing sample group metadata, it is clear that may extend this other file formats.
サンプルグループメタデータを保存するための例示的なデータ構造を図１４Ａ〜図１４Ｅに示す。 Exemplary data structures for storing sample group metadata shown in FIG 14A~ Figure 14E.
図１４Ａに示すように、ＭＰ４によって定義されたサンプルメタデータボックスを含むサンプルテーブルボックス１４００は、サンプルグループボックス１４０２とサンプルグループ記述ボックス１４０４を含むように拡張される。 As shown in FIG. 14A, a sample table box 1400 that contains sample metadata boxes defined by MP4 is extended to include a sample group box 1402 and a sample group description box 1404. 一実施例では、サンプルグループメタデータボックス１４０２、１４０４は、任意の要素とする。 In one embodiment, the sample group metadata boxes 1402, 1404 and any element. 一実施例（図示せず）では、サンプルテーブルボックス１４００は、サブシーケンス記述エントリボックス及びレイヤ記述エントリボックス等の追加的な任意のサンプルグループメタデータボックスを含んでいる。 In one embodiment (not shown), a sample table box 1400 includes an additional optional sample group metadata boxes such as sub-sequence description entry box and the layer description entry box.
図１４Ｂに示すように、サンプルグループボックス１４０６は、特定のサンプルグループに含まれるサンプルの組を検出するために用いられる。 As shown in FIG. 14B, the sample group box 1406 is used to detect the set of samples contained in a particular sample group. サンプルグループボックス１４０６の複数のインスタンスが異なる種類のサンプルグループ（例えば、拡張ＧＯＰ、サブシーケンス、レイヤ、パラメータセット等）に対応できる。 Multiple instances of different types of sample group sample group boxes 1406 (e.g., extended GOP, subsequence layers, parameter sets, etc.) correspond to. サンプルグループボックス１４０６は、サンプルグループボックス１４０６のバージョンを特定するバージョンフィールドと、テーブル１４０８内のエントリの数を示すエントリカウントフィールドと、サンプルグループの種類を特定するサンプルグループ識別子フィールドと、同じサンプルグループに含まれているサンプルのランにおける第１のサンプルへのインデクスを提供する第１のサンプルフィールドと、サンプルグループ記述ボックスへのインデクスを指定するサンプルグループ記述インデクスとを含んでいる。 Sample group box 1406, a version field that specifies the version of the sample group box 1406, an entry count field indicating the number of entries in the table 1408, and the sample group identifier field to identify the type of the sample group, the same sample group first and sample field that provides the index of the first sample in the run of samples included, and a sample group description index specifying the index to a sample group description box.
図１４Ｃに示すように、サンプルグループ記述ボックス１４１０は、サンプルグループの特性に関する情報を提供する。 As shown in FIG. 14C, a sample group description box 1410 provides information about the characteristics of the sample group. サンプルグループ記述ボックス１４１０は、サンプルグループ記述ボックス１４１０のバージョンを特定するバージョンフィールドと、テーブル１４１２内のエントリの数を示すエントリカウントフィールドと、サンプルグループの種類を特定するサンプルグループ識別子フィールドと、サンプルグループ記述子を提供するサンプルグループ記述フィールドとを含んでいる。 Sample group description box 1410 contains a version field that identifies the version of the sample group description box 1410, an entry count field indicating the number of entries in the table 1412, and the sample group identifier field to identify the type of the sample group, sample group and a sample group description field to provide a descriptor.
図１４Ｄは、レイヤ（ｌａｙｒ）サンプルグループタイプに関するサンプルグループボックス１４１６の使用を説明する図である。 Figure 14D is a diagram illustrating the use of the sample group boxes 1416 about Layer (layr) sample group type. サンプル１〜１１は、サンプルの相互依存性に基づいて、３個のレイヤに分割される。 Samples 1 to 11, based on the interdependence of the sample is divided into three layers. レイヤ０（ベース層）では、サンプル（サンプル１、６、１１）は、相互に依存するのみであり、他の如何なるレイヤ内のサンプルにも依存しない。 In the layer 0 (base layer), a sample (Sample 1, 6, 11) is only dependent on one another, it does not depend on samples in any other layers. レイヤ１では、サンプル（サンプル２、５、７、１０）は、下位のレイヤ（すなわち、レイヤ０）内のサンプル及びこのレイヤ１内のサンプルに依存する。 In Layer 1, a sample (sample 2, 5, 7, 10), the lower layer (i.e., layer 0) depends on the sample and the sample in this layer 1 in. レイヤ２では、サンプル（サンプル３、４、８、９）は、下位のレイヤ（すなわち、レイヤ０及びレイヤ１）内のサンプル及びこのレイヤ２内のサンプルに依存する。 In Layer 2, the sample (sample 3,4,8,9), the lower layer (i.e., layer 0 and layer 1) depends on the sample in the sample and in the layer 2 in. したがって、レイヤ２のサンプルは、下位のレイヤ０及びレイヤ１からのサンプルを復号する能力に影響することなく除外することができる。 Thus, a sample of the layer 2 can be excluded without affecting the ability to decode samples from lower layers 0 and 1.
サンプルグループボックス１４１６におけるデータは、上述したようなサンプルとレイヤの間の関係を示す。 Data in the sample group box 1416 shows the relationship between the sample and the layers described above. ここに示すように、このデータは、繰り返しレイヤパターン１４１４を含んでいる。 As shown here, this data includes a repeating layer pattern 1414. この繰り返しレイヤパターン１４１４は、上述のように、各繰り返しレイヤパターン１４１４を最初のレイヤパターンへの参照情報と、このパターンが出現する回数を表す情報に変換することによって圧縮される。 The repeating layer pattern 1414, as described above, and reference information for each repetitive layer pattern 1414 to the first layer pattern is compressed by converting the information representing the number of times this pattern appears.
図１４Ｅは、サブシーケンス（ｓｓｅｑ）サンプルグループタイプに関するサンプルグループボックス１４１８の使用を説明する図である。 Figure 14E is a diagram illustrating the use of the sample group boxes 1418 relates subsequence (sseq) sample group type. サンプル１〜１１は、サンプルの相互依存性に基づいて、４個のサブシーケンスに分割される。 Samples 1 to 11, based on the interdependence of the sample is divided into four sub-sequences. レイヤ０におけるサブシーケンス０を除く各サブシーケンスは、他のサブシーケンスが依存しないサンプルを含んでいる。 Each subsequence except subsequence 0 at layer 0 includes samples other subsequence is independent. したがって、サブシーケンスにおけるサンプルは、必要に応じて、一括して除外できる。 Thus, the sample in the sub-sequence, if desired, can be excluded collectively.
サンプルグループボックス１４１８内のデータは、サンプルとサブシーケンスの間の関係を示している。 Data sample group box 1418 shows the relationship between the sample and the sub-sequence. このデータにより、対応するサブシーケンスの最初のサンプルにランダムアクセスすることができる。 This data can be randomly access the first sample of the corresponding sub-sequences.
一実施例では、サブシーケンス記述エントリボックスは、ＧＯＰ内のサンプルの各サブシーケンスについて説明するために使用されている。 In one embodiment, the sub-sequence description entry box is used to describe each sub-sequence of samples in the GOP. サブシーケンス記述エントリボックスは、サブシーケンス識別子データ、平均ビットレートデータ、平均フレームレートデータ、参照番号データ及び参照されたデータに関する情報を含むアレーに関係する依存関係情報を提供する。 Subsequence description entry box provides subsequence identifier data, the average bit rate data, the average frame rate data, dependency information relating to array containing information on the reference number data and reference data.
依存関係情報は、このエントリにおいて記述されるサブシーケンスへの参照情報として用いられるサブシーケンスを特定する。 Dependency information identifies the sub-sequence used as references to sub-sequences described in this entry. サブシーケンス識別子データは、このエントリにおいて記述するサブシーケンスの識別子を提供する。 Subsequence identifier data provides an identifier that describes sub-sequence in this entry. 平均ビットレートデータは、このサブシーケンスの平均ビットレートを示す情報（例えば、ビット又は秒によって表される）を含んでいる。 The average bit rate data includes information indicating the average bit rate of the sub-sequence (e.g., as represented by the bits or seconds). 一実施例においては、平均ビットレートは、ペイロードとペイロードヘッダを考慮に入れて算出される。 In one embodiment, the average bit rate is calculated taking into account the payload and payload header. 一実施例においては、平均ビットレートが未定義である場合、平均ビットレートは、０となる。 In one embodiment, if the average bit rate is undefined, the average bit rate becomes 0.
平均フレームレートデータは、エントリのサブシーケンスのフレームにおける平均フレームレートを示す情報を含んでいる。 Average frame rate data includes information indicating the average frame rate in the frame of the sub-sequence of entries. 一実施例においては、平均フレームレートが未定義である場合、平均フレームレートは、０となる。 In one embodiment, if the average frame rate is undefined, the average frame rate becomes 0.
参照番号データは、エントリのサブシーケンスにおける、直接参照されたサブシーケンスの数を示す情報を提供する。 Reference number data, in the sub-sequence of entries, providing information indicating the number of direct reference subsequence. 参照されたデータのアレーは、参照されたサブシーケンスに関する識別情報を提供する。 Array of referenced data provides identifying information about referenced subsequence.
一実施例においては、追加的な層記述エントリボックスを用いて、層情報を提供する。 In one embodiment, using additional layer description entry box, providing a layer information. 層記述エントリボックスは、層の数、層の平均ビットレート及び平均フレームレートに関する情報を提供する。 Layer description entry box provides information number of layers, for the average bit rate and the average frame rate of the layer. ベース層及び１以上の各エンハンスメント層については、層の数は、０となる。 The base layer and one or more respective enhancement layers, the number of layers becomes 0. 平均ビットレートが未定義である場合、平均ビットレートは、０となり、平均フレームレートが未定義である場合、平均フレームレートは、０となる。 If the average bit rate is undefined, the average bit rate, 0, if the average frame rate is undefined, the average frame rate becomes 0.
ストリーム切換 典型的なストリーミングのシナリオにおける主要な要求の１つは、ネットワーク状態の変化に応じて圧縮データのビット伝送速度をスケーリングすることである。 One of the key requirements of the stream switching typical streaming scenario is to scale the bit rate of the compressed data in response to changing network conditions. これを実現する最も単純な手法は、代表的なネットワーク状態に対応する異なるビットレート及び品質設定で複数のストリームを符号化することである。 The simplest approach to achieve this is to encode multiple streams at different bit rates and quality settings for representative network conditions. これにより、サーバは、ネットワーク状態に応じて、これらの予め符号化されたストリーム間を切り換えることができる。 Thus, the server in response to network conditions, it is possible to switch between these pre-encoded stream.
ＪＶＴ規格は、２つのピクチャのそれぞれが予測に同じフレームを用いることなく一方のピクチャを他方のピクチャと同様に再構築できる切換ピクチャと呼ばれる新しい種類のピクチャを提供する。 JVT standard, each of the two pictures to provide a new type of picture called switching picture capable reconstruct one picture as with the other picture without using the same frame to the prediction. 特に、ＪＶＴは、Ｉフレームと同様に、他の如何なるピクチャにも依存せずに符号化されるＳＩピクチャと、他のピクチャを参照して符号化されるＳＰピクチャの２つのタイプの切換ピクチャを提供する。 In particular, JVT, like I frames, and SI picture to be coded independently to any other picture, two types of switching picture SP picture to be coded with reference to other pictures provide. 切換ピクチャを用いることにより、伝送条件の変化に対応して、異なるビット伝送速度と品質設定を有するストリーム間で切換を行い、エラー回復及び早送り及び巻戻し等のトリックモードを実現することができる。 By using the switching picture, in response to a change in transmission conditions, performs switching between streams with different bit rates and quality settings, it is possible to realize a trick mode, such as a return error recovery and fast-forward and up.
ここで、ＪＶＴ切換ピクチャを有効に活用するためには、ストリーム切換、エラー回復、トリックモード及び他の特徴を実現する場合、プレーヤは、保存されたメディアデータのどのサンプルが代替的な表現を有するか及びこれらのサンプルの依存関係は如何なるものであるかを知る必要がある。 Here, in order to effectively utilize the JVT switching pictures, when implementing stream switching, error recovery, the trick mode and other features, the player which samples the stored media data has an alternative representation or and dependencies of these samples need to know whether any of those. 既存のファイルフォーマットは、このような機能を提供しない。 Existing file format, it does not provide such a function.
本発明の一実施例では、切換サンプルセットを定義することによってこの問題を解決する。 In one embodiment of the present invention solves this problem by defining a switch sample set. 切換サンプルセットは、復号値が同じであるが、異なる参照サンプルを用いることができるサンプルの組を表す。 Switch sample set is decoded value are the same, represent a set of samples that can be used different reference samples. 参照サンプルは、他のサンプルの値を予測するために用いられるサンプルである。 Reference sample is a sample used to predict the value of the other samples. 切換サンプルセットの各要素は、切換サンプルと呼ばれる。 Each element of a switch sample set is referred to as a switch sample. 図１５Ａは、切換サンプルセットを用いたビットストリーム切換を説明する図である。 Figure 15A is a diagram illustrating the bit stream switching using a switch sample set.
図１５Ａに示すように、ストリーム１及びストリーム２は、異なる品質及びビットレートパラメータを有する同じコンテンツの２つの符号化データ（encodings）を表している。 As shown in FIG. 15A, Stream 1 and Stream 2 represent two of the encoded data of the same content with different quality and bit rate parameters (encodings). サンプルＳ１２は、どちらのストリームにも出現せず、ストリーム１からストリーム２への切換（切換は、方向的性質を有する）を実現するために用いられるＳＰピクチャである。 Sample S12, also does not appear in either stream, switching from stream 1 to stream 2 (switching has a directional property) is a SP picture used to implement. サンプルのＳ１２、Ｓ２は、切換サンプルセットに含まれている。 Samples of S12, S2 is contained in a switch sample set. Ｓ１とＳ１２は、いずれもトラック１のサンプルＰ１２から予測され、Ｓ２は、トラック２のサンプルＰ２２から予測される。 S1 and S12, both are predicted from sample P12 of the track 1, S2 is predicted from sample P22 of the track 2. サンプルのＳ１２とＳ２は、異なる参照サンプルを用いるが、これらの復号値は同一である。 S12 and S2 of the sample, but use different reference samples, these decoded values ​​are identical. したがって、ストリーム１からストリーム２への（ストリーム１内のサンプルＳ１とストリーム２内のサンプルＳ２における）切換は、切換サンプルＳ１２を介して行うことができる。 Therefore, from the stream 1 to stream 2 (samples S1 and in the sample S2 in stream 2 in stream 1) switching can be performed via a switch sample S12.
図１６及び図１７は、それぞれ符号化システム１００及び復号システム２００によって実行される切換サンプルメタデータの保存及び検索のための処理を示している。 16 and 17 illustrate processes for storing and retrieving switch sample metadata that are performed by the encoding system 100 and decoding system 200. この処理は、ハードウェア（例えば回路、専用ロジック等）、ソフトウェア（汎用コンピュータシステム又は専用マシン上で実行されるソフトウェア）又はこれらの両方の組合せを含む処理ロジックによって実行してもよい。 This processing hardware (e.g., circuitry, dedicated logic, etc.), software may be performed by (a general purpose computer system or software running on a dedicated machine), or processing logic that may comprise a combination of both.
図１６は、符号化システム１００において、切換サンプルメタデータを作成するための処理１６００の一実施例を示すフローチャートである。 16, the encoding system 100, is a flow diagram of one embodiment of a process 1600 for creating switch sample metadata. まず、処理１６００は、処理ロジックが符号化されたメディアデータに関連するファイルを受け取ることにより開始される（処理ブロック１６０２）。 First, the process 1600, processing logic begins by receiving a file associated with encoded media data (processing block 1602). このファイルは、メディアデータに関する１以上の代替的な符号化データ（例えば、代表的なネットワーク状態に対応する異なる帯域幅及び品質設定を有する。）を含んでいる。 This file contains one or more alternative coded data relating to the media data (e.g., having a different bandwidth and quality settings for representative network conditions.). 代替的な符号化データは、１つ以上の切換ピクチャを含んでいる。 Alternative encoded data includes one or more switching picture. このようなピクチャは、代替的なメディアデータストリーム内に含めてもよく、エラー回復又はトリックモード等の特別な特徴を実現する個別のエンティティとして作成してもよい。 Such pictures may be included in alternative within the media data stream may be created as a separate entity to realize the special features, such as error recovery or trick mode. 本発明では、これらのトラック及び切換ピクチャを作成する手法を特に限定しないが、当業者にとって、様々な手法を用いることができることは明らかである。 In the present invention, but not limit the methods for creating these tracks and the switching picture in particular, to those skilled in the art, it is clear that it is possible to use various techniques. 例えば、代替的符号化データを含む各トラックの対の間に切換サンプルを周期的に（例えば、１秒毎に）挿入してもよい。 For example, an alternative coding data switch sample between each pair of tracks cyclically containing (e.g., every 1 second) may be inserted.
次に、処理ロジックは、異なる参照サンプルを用いて、同じ復号値が導出されるサンプルを含む切換サンプルセットを作成するためにファイルを調べ（処理ブロック１６０４）、メディアデータに関する切換サンプルセットを定義し、切換サンプルセット内のサンプルを記述する切換サンプルメタデータを作成する（処理ブロック１６０６）。 Next, processing logic uses the different reference samples, check the file in order to create a switch sample set that contains a sample of the same decoding value is derived (processing block 1604), defines a switch sample set for the media data , to create a switch sample metadata that describes the sample in the switch sample set (processing block 1606). 一実施例では、切換サンプルメタデータは、ネスト化されたテーブルの組を含むテーブルボックス等の予め定義されたデータ構造に組織化される。 In one embodiment, switch sample metadata is organized into a predefined data structure such as a table box containing a set of nested tables.
次に、一実施例において、処理ロジックは、切換サンプルメタデータ構造がデータの繰り返しシーケンスを含むか否かを判定する（デシジョンボックス１６０８）。 Next, in one embodiment, processing logic determines switch sample metadata structures whether containing repeating sequence of data (decision box 1608). この判定の結果が肯定的である場合、処理ロジックは、データの各繰り返しシーケンスをシーケンスの出現への参照情報及びシーケンスの出現回数を表す情報に変換する（処理ブロック１６１０）。 If the result of this determination is affirmative, the processing logic converts each repeated sequence of data into a reference information and the number of occurrences of the sequence to the emergence of the sequence (processing block 1610).
次に、処理ブロック１６１２において、処理ロジックは、特定のメディアファイルフォーマット（例えば、ＪＶＴファイルフォーマット）を用いて、メディアデータに関連するファイル内に切換サンプルメタデータを含める。 Next, at processing block 1612, processing logic specific media file format (e.g., JVT file format) using, including switch sample metadata into a file associated with media data. 一実施例においては、切換サンプルメタデータは、ストリーム切換のために指定された別のトラックに保存してもよい。 In one embodiment, switch sample metadata may be stored in a separate track designated for stream switching. 他の実施例においては、切換サンプルメタデータは、サンプルメタデータとともに保存される（例えば、シーケンスデータ構造は、サンプルテーブルボックスに含めてもよい）。 In another embodiment, the switch sample metadata is stored with sample metadata (e.g., sequence data structure, may be included in a sample table box).
図１７は、復号システム２００において切換サンプルメタデータを利用するための処理１７００の一実施例を示すフローチャートであるである。 Figure 17 is the decoding system 200 is a flow chart diagram of one embodiment of a method 1700 for utilizing switch sample metadata. まず、処理１７００は、処理ロジックが符号化されたメディアデータに関連するファイルを受け取ることにより開始される（処理ブロック１７０２）。 First, the process 1700, processing logic begins by receiving a file associated with encoded media data (processing block 1702). ファイルは、データベース（ローカル又は外部のデータベース）、符号化システム１００又はネットワーク内の他の如何なる機器から受け取ってもよい。 File, database (local or external), may be received from any other device encoding system 100 or a network. ファイルは、メディアデータに関連する切換サンプルセットを定義する切換サンプルメタデータを含んでいる。 The file includes switch sample metadata defining switch sample sets associated with the media data.
次に、処理ロジックは、ファイルからサンプルグループメタデータを抽出する（処理ブロック１７０４）。 Next, processing logic extracts the sample group metadata from the file (processing block 1704). 上述のように、切換サンプルメタデータは、例えば、ネスト化されたテーブルの組を含むテーブルボックス等のデータ構造に保存できる。 As described above, the switch sample metadata, for example, can be stored in a data structure such as a table box containing a set of nested tables.
更に処理ブロック１７０６において、処理ロジックは、抽出されたメタデータを用いて、特定のサンプルを含む切換サンプルセットを検出し、切換サンプルセットからの代替のサンプルを選択する。 In still processing block 1706, processing logic uses the extracted metadata to detect the switch sample set that contains a specific sample and select an alternative sample from the switch sample set. 初期サンプルと同じ復号値を有する代替のサンプルを用いて、ネットワーク状態の変化に応じて、異なる符号化処理が施された２つのビットストリームを切り換えてもよく、これにより、ビットストリーム内にランダムアクセスエントリポイントを提供でき、エラー回復が容易になる。 Using alternative sample having the same decoding value as the initial sample, in response to changing network conditions, it may be switched two bitstreams having different encoding processing is applied, thereby, a random access into the bitstream can provide an entry point, it is easy error recovery.
以下、切換サンプルメタデータ構造の具体例について、拡張ＩＳＯメディアファイルフォーマット（拡張ＭＰ４とも呼ばれる。）に関連して説明する。 Hereinafter, a specific example of the switch sample metadata structure will be described with reference to an extended ISO media file format (referred to as an extended MP4.). 但し、切換サンプルメタデータを格納するための様々なデータ構造を組み込むように、この他のファイルフォーマットを拡張してもよいことは明らかである。 However, to incorporate various data structures for storing switch sample metadata, it is clear that may extend this other file formats.
図１８は、切換サンプルメタデータを保存するための例示的なデータ構造を示している。 Figure 18 illustrates an exemplary data structure for storing switch sample metadata. 例示的なデータ構造は、一組のネスト化されたテーブルを含む切換サンプルテーブルボックスの形式を有している。 The exemplary data structure has the form of a switch sample table box containing a set of nested tables. テーブル１８０２内の各エントリは、１つの切換サンプルセットを特定する。 Each entry in the table 1802 identifies one switch sample set. 各切換サンプルセットは、再構築の結果が客観的に同じである（又は、知覚的に同じである）が、切換サンプルと同じ又は異なるトラック（ストリーム）内の異なる参照サンプルから予測される場合もある切換サンプルのグループからなる。 Each switch sample set, the result of reconstruction is objectively same (or perceptually the same) may have, it is predicted from different reference samples of the same or different track (stream) and switch sample consisting of a group of a certain switching sample. テーブル１８０２内の各エントリは、対応するテーブル１８０４にリンクされる。 Each entry in the table 1802 is linked to a corresponding table 1804. テーブル１８０４は、切換サンプルセットに含まれる各切換サンプルを特定する。 Table 1804 identifies each switch sample contained in a switch sample set. テーブル１８０４内の各エントリは、更に切換サンプルの位置（すなわち、そのトラックとサンプル番号）を定義する対応するテーブル１８０６にリンクされ、トラックは、切換サンプルによって用いられる参照サンプルと、切換サンプルによって用いられる参照サンプルの総数と、切換サンプルによって用いられる各切換サンプルとを含んでいる。 Each entry in the table 1804 is further linked to the corresponding table 1806 that defines the position of the switch sample (i.e., the track and sample number), track the reference samples used by the switch sample, used by the switch sample the total number of reference samples, and a respective switch sample used by the switch sample.
図１５Ａに示すように、一実施例では、切換サンプルメタデータは、同じコンテンツの異なる符号化が施されたされたバージョンを切り換えるために用いることができる。 As shown in FIG. 15A, in one embodiment, switch sample metadata may be used to switch between different encoding of the same content has been decorated version. ＭＰ４では、各代替的な符号化データは、別々のＭＰ４トラックとして保存され、トラックヘッダ内の「代替グループ（alternate group）」は、そのデータが特定のコンテンツを代替的な符号化データであることを示す。 It In MP4, each alternative encoded data is stored as a separate MP4 track, "Alternative group (alternate group)" is in the track header, the data is an alternative encoding data specific content It is shown.
図１５Ｂは、図１５Ａに示すサンプルＳ２、Ｓ１２からなる切換サンプルセット１５０２を定義するメタデータを含むテーブルを示している。 Figure 15B shows a table that includes metadata defining switch sample set 1502 consisting of a sample S2, S12 shown in FIG. 15A.
図１５Ｃは、２つのビットストリーム間の切替を行うポイントを決定するための処理１５１０の一実施例を示すフローチャートである。 Figure 15C is a flow diagram of one embodiment of a process 1510 for determining the point of switching between two bitstreams. ストリーム１からストリーム２への切換を行う場合、処理１５１０は、まず、切換サンプルメタデータを検索し、そしてストリーム１の参照トラックを有する切換サンプル及びストリーム２の切換サンプルトラックを有する切換サンプルを含む全ての切換サンプルセットを検出する（処理ブロック１５１２）。 When performing switching from stream 1 to stream 2, the process 1510 may first switch sample metadata searching, and all including the switch sample with the switch sample track switch sample and stream 2 having a reference track of stream 1 detecting a switch sample set (processing block 1512). 次に、検出された切換サンプルセットを評価し、ストリーム１の参考トラックを有する切換サンプルの全ての参照サンプルが利用可能である切換サンプルセットを選択する（処理ブロック１５１４）。 Next, to evaluate the detected switch sample set, all references samples of the switch sample selects a switch sample set is available with reference tracks of the stream 1 (processing block 1514). 例えばストリーム１の参照トラックを有する切換サンプルがＰフレームである場合、切換を行う前に、１つのサンプルが利用可能である必要がある。 For example, if switch sample with a reference track of stream 1 is P-frame, before performing the switching, it is necessary one sample is available. 更に、選択された切換サンプルセットにおけるサンプルは、切換ポイントを特定するために用いられる（処理ブロック１５１６）。 Further, the sample in the selected switch sample set is used to identify the switching point (processing block 1516). すなわちストリーム１の参照トラックを有する切換サンプルを介して、ストリーム１の参照トラックを有する切換サンプルの最も高い参照サンプル（highest reference sample）の直後及びストリーム２の切換サンプルトラックを有する切換サンプルの直後のサンプルが切換ポイントであるとみなされる。 That through the switch sample with a reference track of stream 1, a sample immediately after the switch sample with the switch sample track immediately and the stream 2 of the highest reference sample switch sample having a reference track of stream 1 (highest reference sample) There is considered to be switching point.
他の実施例においては、切換サンプルメタデータを用いて、図１９Ａ〜図１９Ｃに示すように、ビットストリームにおけるエントリポイントへのランダムアクセスを容易に行うことができる。 In another embodiment, using a switch sample metadata, as shown in FIG 19A~ Figure 19C, a random access to the entry points in the bit stream can be easily performed.
図１９Ａ及び図１９Ｂに示すように、切換サンプル１９０２は、サンプルＳ２、Ｓ１２を含む。 As shown in FIGS. 19A and 19B, a switch sample 1902 includes a sample S2, S12. Ｓ２は、Ｐ２２から予測され、通常のストリーム再生時に用いられるＰフレームである。 S2 is predicted from P22, a P frame used during normal stream playback. Ｓ１２は、（例えばスプライスのために）ランダムアクセスポイントとして用いられる。 S12, it is used as (for example for a splice) random access point. Ｓ１２が一旦復号されると、Ｐ２４の復号を含むストリーム再生は、Ｐ２４がＳ２の後に復号されているかのようにして続行される。 When S12 is once decoded, stream playback including decoding of P24 is, P24 is continued as if being decoded after S2.
図１９Ｃは、サンプルに関するランダムアクセスポイント（例えば、トラックＴにおけるサンプルＳ）を決定するための処理１９１０の一実施例を示すフローチャートである。 Figure 19C is a random access point for the sample (e.g., sample S in the track T) is a flow diagram of one embodiment of a process 1910 for determining. 処理１９１０は、切換サンプルメタデータを検索し、切換サンプルトラックＴを有する切換サンプルを含む全ての切換サンプルセットを検出することによって開始される（処理ブロック１９１２）。 Process 1910 retrieves the switch sample metadata is started by detecting all the switch sample set that contains the switch sample with the switch sample track T (processing block 1912). 次に、検出された切換サンプルセットを評価し、切換サンプルトラックＴを有する切換サンプルが、復号順序において、サンプルＳに先行する最も近いサンプルである切換サンプルセットを選択する（処理ブロック１５１４）。 Next, to evaluate the detected switch sample set, switch sample having a switch sample track T is, in decoding order, selecting a switch sample set that is closest sample preceding the sample S (processing block 1514). 更に選択された切換サンプルセットから、サンプルＳへのランダムアクセスポイントとして、切換サンプルトラックＴを有する切換サンプル以外の切換サンプル（サンプルＳＳ）を選択する（処理ブロック１９１６）。 Further from the selected switch sample set, as a random access point to the sample S, selects the switch sample other than switch sample having a switch sample track T (Sample SS) (processing block 1916). ストリーム再生時には、サンプルＳの代わりに（サンプルＳＳのためのエントリにおいて特定された全ての参照サンプルを復号することによって）サンプルＳＳが復号される。 During stream playback, in place of the sample S (by decoding all reference samples identified in the entry for sample SS) Sample SS is decoded.
更に別の実施例では図２０Ａ〜２０Ｃに示すように、切換サンプルメタデータを用いて、エラー回復を容易に行うことができる。 As further shown in FIG. 20A~20C in another embodiment, by using a switch sample metadata, it can be easily error recovery.
図２０Ａ及び図２０Ｂに示すように、切換サンプル２００２は、サンプルＳ２、Ｓ１２、Ｓ２２を含む。 As shown in FIGS. 20A and 20B, a switch sample 2002 includes a sample S2, S12, S22. サンプルＳ２は、サンプルＰ４から予測される。 Sample S2 is predicted from sample P4. サンプルＳ１２は、サンプルＳ１から予測される。 Sample S12, is predicted from the sample S1. サンプルのＰ２とＰ４の間にエラーが発生した場合、サンプルＳ２の代わりに切換サンプルＳ１２を復号できる。 If an error between P2 and P4 of the sample occurs, it can decode the switch sample S12 in place of the sample S2. これに続いて、ストリーミングは、通常通りサンプルＰ６から続行される。 Following this, the streaming is continued from the usual sample P6. また、エラーがサンプルＳ１に影響を与えた場合、同様に、サンプルＳ２の代わりに切換サンプルＳ２２を復号でき、これに続いて、ストリーミングは、通常通りサンプルＰ６から続行される。 Also, if an error affects the sample S1, likewise, it can decode switch sample S22 in place of the sample S2, following which, the streaming continues with the usual sample P6.
図２０Ｃは、サンプル（例えば、サンプルＳ）を送信する際のエラー回復を容易にするための処理２０１２の一実施例を示すフローチャートである。 Figure 20C is a sample (e.g., sample S) is a flow chart diagram of one embodiment of a method 2012 for facilitating error recovery when sending. 処理２０１２は、切換サンプルメタデータを検索し、サンプルＳに等しい切換サンプルを含む全ての切換サンプルセットを検出することによって開始される（処理ブロック２０１０）。 Process 2012 retrieves the switch sample metadata is started by detecting all the switch sample set that contains equal switch sample to the sample S (processing block 2010). 次に、検出された切換サンプルセットを評価し、サンプルＳに最も近く、参照サンプル値が正しいことが既知である（フィードバック又は他の情報源を介して）切換サンプルＳＳを有する切換サンプルを選択する（処理ブロック２０１４）。 Next, to evaluate the detected switch sample set, closest to the sample S, it is known that the reference sample value is correct (through feedback, or other sources) to select a switch sample having a switch sample SS (processing block 2014). そして、サンプルＳの代わりに切換サンプルＳＳを送信する（処理ブロック２０１６）。 Then, it transmits a switch sample SS in place of the sample S (processing block 2016).
パラメータセット及び補足的拡張情報の保存 上述のように、パラメータセットメタデータ等の幾つかのメタデータは、関連するメディアデータから独立して保存できる。 Parameter set and as storage aforementioned Supplemental Enhancement Information, a number of meta-data such as parameter set metadata may be stored independently of the associated media data. 図２１は、本発明の一実施例に基づいて、パラメータセットメタデータを別個に保存する手法を説明する図である。 Figure 21 is based on an embodiment of the present invention, it is a diagram for explaining a method of storing separately the parameter set metadata. 図２１に示すように、メディアデータは、ビデオトラック２１０２に保存され、パラメータセットメタデータは、独立したパラメータトラック２１０４に保存される。 As shown in FIG. 21, the media data is stored in the video track 2102, the parameter set metadata is stored in a separate parameter track 2104. このパラメータトラック２１０４には、メディアデータが保存されていないことを示すために、「非アクティブ（inactive）」のマークを付してもよい。 This parameter track 2104, to indicate that the media data is not stored, may be a mark of "inactive (: inactive)." タイミング情報２１０６は、ビデオトラック２１０２とパラメータトラック２１０４の間の同期に用いられる。 Timing information 2106 is used for synchronization between the video track 2102 and a parameter track 2104. 一実施例においては、タイミング情報は、ビデオトラック２１０２とパラメータセットトラック２１０４のそれぞれのサンプルテーブルボックス内に保存される。 In one embodiment, timing information is stored in each of the sample table box of the video track 2102 and the parameter set track 2104. 一実施例においては、各パラメータセットは、１個のパラメータセットサンプルによって表され、同期は、メディアサンプルのタイミング情報がパラメータセットサンプルのタイミング情報と等しい場合に実現される。 In one embodiment, each parameter set is represented by a single parameter set samples, synchronization, timing information of a media sample is achieved if equal to the timing information of the parameter set sample.
他の実施例においては、オブジェクト記述子（object descriptor：ＯＤ）メッセージを用いて、パラメータセットメタデータが含められる。 In other embodiments, object descriptors: with (object descriptor OD) message, the parameter set metadata is included. ＭＰＥＧ−４規格では、オブジェクト記述子は、単一のオブジェクト（メディアオブジェクト又はシーン記述）に関連するストリームの構成及びこの他の情報を提供する１つ以上のエレメンタリストリーム記述子を表す。 The MPEG-4 standard, the object descriptor represents one or more elementary streams descriptor that provides structure and this other information relevant streams to a single object (media object or scene description). オブジェクト記述子メッセージは、オブジェクト記述子ストリームを介して送信される。 Object descriptor message is transmitted through an object descriptor stream. 図２２に示すように、パラメータセットは、オブジェクト記述子メッセージ２２０４としてオブジェクト記述子ストリーム２２０２に含まれている。 As shown in FIG. 22, the parameter set is included in the object descriptor stream 2202 as an object descriptor message 2204. オブジェクト記述子ストリーム２２０２は、メディアデータを搬送するビデオエレメンタリストリームと同期する。 The object descriptor stream 2202 is synchronized with the video elementary streams carrying media data.
ＳＥＩの保存について、更に詳細に説明する。 About SEI of storage, it will be described in more detail.
一実施例においては、ＳＥＩデータは、メディアデータとともに、エレメンタリストリームに保存される。 In one embodiment, SEI data, along with the media data, is stored in the elementary stream. 図２３は、メディアデータと共にエレメンタリストリームデータ２３０２に直接埋め込まれているＳＥＩメッセージ２３０４を示す。 Figure 23 shows an SEI message 2304 embedded directly in the elementary stream data 2302 along with the media data.
他の実施例においてはＳＥＩメッセージは、サンプルとして独立したＳＥＩトラックに保存される。 SEI messages in other embodiments is stored in SEI track independent as a sample.
本発明の幾つかの実施例における、独立したトラックにおけるＳＥＩメッセージの保存の手法を図２４及び図２５に示す、 In some embodiments of the invention, it shows a technique for storage of SEI messages in separate tracks in FIGS. 24 and 25,
図２４に示す具体例では、メディアデータは、ビデオトラック２４０２に保存され、ＳＥＩメッセージは、サンプルとして、独立したＳＥＩトラック２４０４に保存される。 In the specific example shown in FIG. 24, the media data is stored in the video track 2402, SEI message, as a sample, is stored in the SEI track 2404 independent. タイミング情報２４０６は、ビデオトラック２４０２とＳＥＩトラック２４０４との間の同期に用いられる。 Timing information 2406 is used for synchronization between the video track 2402 and SEI track 2404.
図２５に示す具体例では、メディアデータは、ビデオトラック２５０２に保存され、ＳＥＩメッセージは、オブジェクトコンテンツ情報（object content information：以下、ＯＣＩという。）トラック２５０４に保存される。 In the specific example shown in FIG. 25, the media data is stored in the video track 2502, SEI message, the object content information: is saved (object content information hereinafter referred OCI.) In the track 2504. タイミング情報２５０６は、ビデオトラック２５０２とＯＣＩトラック２５０４の間の同期に用いられる。 Timing information 2506 is used for synchronization between the video track 2502 and OCI track 2504. ＭＰＥＧ−４規格では、ＯＣＩトラック２５０４は、シーンイベントに関する記述的なテキスト情報を提供するために共通に使用されるＯＣＩデータを保存するために用いられる。 The MPEG-4 standard, OCI track 2504 is used to store the OCI data commonly used to provide descriptive text information about the scene events. 各ＳＥＩメッセージは、オブジェクト記述子としてＯＣＩトラック２５０４に保存される。 Each SEI message is stored in OCI track 2504 as an object descriptor. 一実施例においては、多くの場合、ＯＣＩトラックに格納されているデータのタイプを指定するＯＣＩ記述子エレメントフィールドは、ＳＥＩメッセージを搬送するために使用される。 In one embodiment, often, OCI descriptor element field that specifies the type of data stored in the OCI track is used to carry an SEI message.
更に別の実施例では、ＳＥＩデータは、メディアデータから独立したメタデータとして保存される。 In yet another embodiment, SEI data is stored as a separate metadata from the media data. 図２６は、本発明の一実施例に従ってメタデータとして保存されたＳＥＩデータを示している。 Figure 26 shows the SEI data stored as metadata in accordance with an embodiment of the present invention.
図２６に示すように、ＩＳＯメディアファイルフォーマットによって定義されているユーザデータボックス２６０２は、ＳＥＩメッセージを保存するために使用されている。 As shown in FIG. 26, the user data box 2602 that is defined by the ISO media file format is used to store the SEI message. 具体的には、各ＳＥＩメッセージは、トラック又はムービーボックスに含まれているユーザデータボックス２６０２内のＳＥＩユーザデータボックス２６０４に保存される。 Specifically, each SEI message is stored in the SEI user data box 2604 in the user data box 2602 which are included in the track or movie box.
一実施例においては、ＳＥＩメッセージに含まれているメタデータは、メディアデータの記述を含んでいる。 In one embodiment, the metadata contained in the SEI message contains a description of media data. これらの記述は、ＭＰＥＧ−７規格よって定義されている記述子と記述スキームを表していてもよい。 These statements may represent a description scheme and descriptors defined by MPEG-7 standard. 一実施例においては、ＳＥＩメッセージは、ＸＭＬに基づく記述等のＸＭＬベースのデータの包含をサポートする。 In one embodiment, SEI message, supports the inclusion of data in the XML-based description, etc. based on XML. 更に、ＳＥＩメッセージは、異なる種類のエンハンス情報の登録をサポートする。 Furthermore, SEI message, supports registration of different types of enhancement information. 例えば、ＳＥＩメッセージは、新たな種類の登録を必要とすることなく、匿名のユーザデータをサポートできる。 For example, SEI messages, without the need for registration of a new type, can support user data anonymous. このようなデータは、特定の用途又は組織に限定して用いられることを意図するデータであってもよい。 Such data may be data that is intended to be used only for specific applications or tissues. 一実施例においては、ＳＥＩの存在は、ビットストリーム環境において、指定された開始コードによって示される。 In one embodiment, the presence of the SEI, the bit stream environment, indicated by the specified start code.
一実施例においては、ＳＥＩメッセージにおいて記述されている拡張された能力の一部又は全てを提供するデコーダの能力は、外部の手法（例えば、Ｈ．２４５又はＳＤＰ勧告）によって示される。 In one embodiment, the ability of a decoder to provide some or all of the expanded capabilities are described in SEI message is indicated by an external method (e.g., H.245 or SDP Recommendation). 拡張された能力を有さないデコーダでは、単に、ＳＥＩメッセージを削除してもよい。 At the decoder having no extended capabilities may simply delete the SEI message.
一実施例においては、後に詳細に説明するように、ＳＥＩメッセージのペイロードヘッダにおける指定されたフィールドを用いることにより、メディアデータ（例えば、画像符号化レイヤデータ）及びメディアデータの記述を含んでいるＳＥＩメッセージを同期させる。 In one embodiment, as will be described in detail later, SEI that by using the fields specified in the payload header of SEI message, the media data (e.g., image coding layer data) contain and description of media data to synchronize the message.
一実施例においては、ネットワークアダプテーション層は、基本的なトランスポートシステムにおける補足的拡張情報メッセージの伝送をサポートする。 In one embodiment, the network adaptation layer supports the transmission of supplemental enhancement information message in the underlying transport system. ネットワークアダプテーション層は、容認することができる帯域内（画像符号化層と同じトランスポートストリーム）又は帯域外のいずれによってＳＥＩメッセージをシグナリングしてもよい。 Network adaptation layer may signal the SEI message by either can in-band (picture coding layer and the same transport stream) or out-of-band be tolerated.
一実施例においては、ＭＰＥＧ−７メタデータのＳＥＩメッセージへの組込みは、ＭＰＥＧ−７メタデータのデリバリ層としてＳＥＩを用いることによって実現される。 In one embodiment, the integration into the MPEG-7 metadata SEI messages is achieved by using a SEI as delivery layer of MPEG-7 metadata. 詳しくは、ＳＥＩメッセージは、１つ以上の記述フラグメントを表すＭＰＥＧ−７システムアクセスユニット（フラグメント）をカプセル化する。 For more information, SEI message, encapsulates the MPEG-7 system access unit (fragment) representing one or more description fragment. ＭＰＥＧ−７アクセスユニットとメディアデータとの同期は、ＳＥＩメッセージのペイロードヘッダにおいて、指定されたフィールドを用いることによって実現される。 Synchronization with MPEG-7 access units and media data, the payload header of SEI messages is achieved by using the specified field.
他の実施例においては、ＭＰＥＧ−７メタデータのＳＥＩメッセージへの組込みは、テキスト符号化又はバイナリの符号化のいずれかに基づいて、記述ユニットによってＳＥＩメッセージを送信することによって実現される。 In other embodiments, incorporation of the MPEG-7 metadata SEI message, based on either the coding of text coding or binary, is realized by sending a SEI message from the description unit. 記述ユニットは、単一のＭＰＥＧ−７記述子であってもよく、記述スキームであってもよく、完全な記述からの部分的な情報を表すために用いることができる。 Description unit may be a single MPEG-7 descriptors may be a description scheme can be used to represent the partial information from the full description. スケーラブルなカラー記述子のためのＸＭＬ構文の具体例を以下に示す。 Specific examples of XML syntax for scalable color descriptor below.
記述子又は記述スキームインスタンスは、後に詳細に説明するように、ＳＥＩメッセージヘッダを介して、メディアデータの対応する部分（例えば、サブサンプル、サンプル、フラグメント等）に関連付けることができる。 Descriptors or description schemes instance, as will be described later in detail, via the SEI message header, a corresponding portion of media data (e.g., sub-sample, sample, fragment etc.) can be associated with. この実施例では、例えば、単一のフレームのためのバイナリ符号化又はテキスト符号化されたカラー記述子をＳＥＩメッセージとして送ることができる。 In this embodiment, for example, you can send binary encoding or text coded color descriptor for a single frame as a SEI message. ＳＥＩメッセージを用いることにより、画像符号化ストリームの潜在的な記述を提供できる。 By using the SEI message can provide a potential description of the image coding stream. 潜在的な記述とは、記述ユニットが潜在的に含まれている画像符号化ストリームの完全な記述である。 Potential and description, a complete description of the image coding stream description unit is included in potential. 潜在的な記述は、以下のような形式を有していてもよい。 Potential description may have the following form.
一実施例においては、記述のＳＥＩメッセージへの組込みをサポートするためにＳＥＩのフォーマットを改訂する。 In one embodiment, to revise the SEI format to support the integration into the description of the SEI message. 具体的には、ＳＥＩをＳＥＩメッセージのグループとして表す。 Specifically, representing the SEI as a group of SEI messages. 一実施例においては、ＳＥＩをデータのチャンクにカプセル化する。 In one embodiment, encapsulating the SEI into chunks of data. 各ＳＥＩチャンクは、１つ以上のＳＥＩメッセージを含むことができる。 Each SEI chunk may include one or more SEI messages. 各ＳＥＩメッセージは、ＳＥＩヘッダとＳＥＩペイロードを含む。 Each SEI message contains an SEI header and SEI payload. ＳＥＩヘッダは、バイト列において、ＳＥＩチャンクの最初のバイトから又は先のＳＥＩメッセージに続く最初の第１バイトから開始される。 SEI header, in bytes, starting from the first of the first byte following the first bytes or previous SEI message SEI chunk. ペイロードは、ＳＥＩヘッダの直後に続き、ＳＥＩヘッダに続くバイトから開始される。 The payload immediately follows the SEI header, starting from the byte following the SEI header.
ＳＥＩヘッダは、メッセージの種類、メディアデータ部分の任意の識別子（例えば、サブサンプル、サンプル、フラグメント）、ペイロード長に関する情報を含んでいる。 SEI header, message type, any identifier for the media data portion (e.g., sub-sample, sample, fragment) contains the information about the payload length. ＳＥＩヘッダの構文は、例えば、以下の通りである。 The syntax of the SEI header, for example, as follows.
ＭｅｓｓａｇｅＴｙｐｅフィールドは、ペイロードのメッセージの種類を示す。 MessageType field indicates the type of message of the payload. ＳＥＩメッセージタイプコードの具体例を以下の表１に示す。 Specific examples of the SEI message type code shown in Table 1 below.
ＰａｙｌｏａｄＬｅｎｇｔｈフィールドは、バイトで表現されるＳＥＩメッセージペイロードの長さを指定する。 PayloadLength field specifies the length of the SEI message payload in bytes. また、ＳＥＩヘッダは、このＳＥＩメッセージが特定のサンプルに関連付けられているか否かをを示すサンプル同期フラグと、このＳＥＩメッセージが特定のサブサンプルに関連付けられているか否かをを示すサブサンプル同期フラグと（サブサンプル同期フラグが設定されている場合、サンプル同期フラグも設定される）とを含んでいる。 Also, SEI header, sub-sample synchronization flag indicating a sample synchronization flag indicating whether this SEI message is associated with a particular sample, whether this SEI message is associated with a particular sub-sample (if sub-sample synchronization flag is set, also the sample synchronization flag is being set) and a. 更に、ＳＥＩペイロードは、このメッセージが関連付けられているサンプルを指定するオプションのサンプル識別子フィールドと、メッセージが関連付けられているサブサンプルを指定するオプションのサブサンプル識別子フィールドとを含んでいる。 Furthermore, SEI payload includes the sample identifier optional field that specifies the sample that this message is associated with, a sub-sample identifier field of options for specifying the sub-sample the message is associated with. サンプル識別子フィールドは、サンプル同期フラグが設定される場合にのみ存在する。 Sample identifier field is present only if the sample synchronization flag is set. 同様に、サブサンプル識別子フィールドは、サブサンプル同期フラグが設定される場合にのみ存在する。 Similarly, sub-sample identifier field is present only if the sub-sample synchronization flag is set. サンプル識別子とサブサンプル識別子フィールドにより、ＳＥＩメッセージをメディアデータに同期させることができる。 The sample identifier and sub-sample identifier field, it is possible to synchronize the SEI message to the media data.
一実施例においては、各ＳＥＩメッセージは、ＳＥＩメッセージ記述子によって送信される。 In one embodiment, each SEI message is sent by the SEI message descriptor. ＳＥＩ記述子は、１つ以上のＳＥＩメッセージを含むＳＥＩユニットにカプセル化される。 SEI descriptor is encapsulated into SEI unit comprising one or more SEI messages. ＳＥＩメッセージユニットの構文は、以下の通りである。 The syntax of the SEI message unit is as follows.
ＳＥＩメッセージ記述子の構文は、以下の通りである。 The syntax of the SEI message descriptor is as follows.
タイプフィールドは、ＳＥＩメッセージの種類を示す。 Type field indicates the type of SEI message. ＳＥＩメッセージの具体例を以下の表２に示す。 Specific examples of the SEI message is shown in Table 2 below.
以下、表２に示す様々な種類のＳＥＩメッセージについて、詳細に説明する。 Hereinafter, the various types of SEI message indicated in Table 2, will be described in detail.
ＳＥＩＸＭＬＤｅｓｃｒｉｐｔｏｒタイプは、例えば、完全なＸＭＬ文書又はより大きい文書からのＸＭＬフラグメントを含むことができるＸＭＬベースのデータをカプセル化する記述子を示す。 SEIXMLDescriptor type are, for example, shows a descriptor that encapsulates the data of the XML-based can contain XML fragments from complete XML document or larger document. ＳＥＩＸＭＬＤｅｓｃｒｉｐｔｏｒの構文は、以下の通りである。 The syntax of the SEIXMLDescriptor are as follows.
ＳＥＩＭｅｔａｄａｔａＤｅｓｃｒｉｐｔｏｒタイプは、メタデータを含む記述子を示す。 SEIMetadataDescriptor type indicates a descriptor comprising metadata. ＳＥＩＭｅｔａｄａｔａＤｅｓｃｒｉｐｔｏｒの構文は、以下の通りである。 The syntax of the SEIMetadataDescriptor are as follows.
ｍｅｔａｄａｔａＦｏｒｍａｔフィールドは、メタデータのフォーマットを特定する。 metadataFormat field specifies the format of the metadata. メタデータフォーマットの値の具体例を以下の表３に示す。 Specific examples of the values ​​of the metadata format in Table 3 below.
値０ｘ１０は、ＭＰＥＧ−７によって定義されているデータを示す。 The value 0x10 denotes the data defined by MPEG-7. ０ｘ４０〜０ｘＦＦまでの包括的な範囲に属する値は、独自のフォーマット（private format）の使用を示すために利用可能である。 Values ​​belonging to a comprehensive range up 0x40~0xFF are available to indicate the use of a proprietary format (private format).
ｍｅｔａｄａｔａＣｏｎｔｅｎｔフィールドは、ｍｅｔａｄａｔａＦｏｒｍａｔフィールドによって特定されたフォーマットによるメタデータの表現を含んでいる。 metadataContent field contains the representation of the meta data according to particular format by metadataFormat field.
ＳＥＩＭｅｔａｄａｔａＲｅｆＤｅｓｃｒｉｐｔｏｒタイプは、メタデータの位置を示すＵＲＬを指定する記述子を示す。 SEIMetadataRefDescriptor type indicates a descriptor that specifies the URL indicating the location of the metadata. ＳＥＩＭｅｔａｄａｔＲｅｆＤｅｓｃｒｉｐｔｏｒの構文は、以下の通りである。 The syntax of the SEIMetadatRefDescriptor are as follows.
ＵＲＬＳｔｒｉｎｇフィールドは、メタデータの位置を示すＵＴＦ−８符号化されたＵＲＬを含んでいる。 URLString field contains the UTF-8 encoded URL indicating the location of the metadata.
ＳＥＩＴｅｘｔＤｅｓｃｒｉｐｔｏｒタイプは、ビデオコンテンツを説明する又はビデオコンテンツに関係するテキストを含む記述子を示す。 SEITextDescriptor type indicates a descriptor that contains the text related to or video content describing the video content. ＳＥＩＴｅｘｔＤｅｓｃｒｉｐｔｏｒの構文は、以下の通りである。 The syntax of the SEITextDescriptor are as follows.
ｌａｎｇｕａｇｅＣｏｄｅフィールドは、これに続くテキストフィールドの言語に関する言語コードを含んでいる。 languageCode field contains the language code for the language of the text field following it. テキストフィールドは、ＵＴＦ−８符号化されたテキストデータを含んでいる。 Text field contains the UTF-8 encoded text data.
ＳＥＩＵＲＩＤｅｓｃｒｉｐｔｏｒタイプは、ビデオコンテンツに関連するユニフォームリソース識別子（uniform resource identifier：ＵＲＩ）を含む記述子を示す。 SEIURIDescriptor type uniform resource identifier associated with the video content (uniform resource identifier: URI) indicating a descriptor including. ＳＥＩＵＲＩＤｅｓｃｒｉｐｔｏｒの構文は、以下の通りである。 The syntax of the SEIURIDescriptor are as follows.
ｕｒｉＳｔｒｉｎｇフィールドは、ビデオコンテンツのＵＲＩを含んでいる。 uriString field contains the URI of the video content.
ＳＥＩＯＣＬＤｅｓｃｒｉｐｔｏｒタイプは、オブジェクトコンテンツ情報（Object Content Information：ＯＣＩ）記述子を表すＳＥＩメッセージを含む記述子を示す。 SEIOCLDescriptor type object content information: indicating the descriptor containing the SEI message indicating (Object Content Information OCI) descriptor. ＳＥＩＯＣＬＤｅｓｃｒｉｐｔｏｒの構文は、以下の通りである。 The syntax of the SEIOCLDescriptor are as follows.
ｏｃｉＤｅｓｃｒフィールドは、ＯＣＩ記述子を含んでいる。 ociDescr field contains an OCI descriptor.
ＳＥＩＳｔａｒｔＳｅｇｍｅｎｔＤｅｓｃｒｉｐｔｏｒタイプは、後に他のＳＥＩメッセージに参照されることができるセグメントの最初を示す記述子を示す。 SEIStartSegmentDescriptor type indicates descriptors initially indicating the segments that can be referenced in other SEI messages later. セグメントの開始は、このＳＥＩ記述子が適用されるあるレイヤ（例えば、サンプルのグループ、セグメント、サンプル又はサブサンプル）に関連付けられる。 Starting segment, certain layer (e.g., a group of samples, segment, sample or sub-sample) of the SEI descriptor is applied associated with. ＳＥＩＳｔａｒｔＳｅｇｍｅｎｔＤｅｃｒｉｐｔｏｒの構文は、以下の通りである。 The syntax of the SEIStartSegmentDecriptor are as follows.
ｓｅｇｍｅｎｔＩＤフィールドは、このセグメントを含むストリーム内における固有のバイナリ識別子（unique binary identifier）を示す。 segmentID field indicates a unique binary identifier in the stream containing the segment (unique binary identifier). この値を用いて、他のＳＥＩメッセージのセグメントを参照することができる。 Using this value, it is possible to refer to the segment of the other SEI messages.
ＳＥＩＥｎｄＳｅｇｍｅｎｔＤｅｃｒｉｐｔｏｒタイプは、セグメントの最後を示す記述子を示す。 SEIEndSegmentDecriptor type indicates a descriptor that indicates the last segment. これに先行して、同じｓｅｇｍｅｎｔＩＤ値を含むＳＥＩＳｔａｒｔＳｅｇｍｅｎｔメッセージが存在する必要がある。 Prior to this, it is necessary to present SEIStartSegment message containing the same segmentID value. ここで不一致が発生した場合、デコーダは、このメッセージを無視する必要がある。 If a mismatch occurs where the decoder is required to ignore this message. セグメントの最後は、このＳＥＩ記述子が適用されるあるレイヤ（例えば、サンプルのグループ、セグメント、サンプル又はサブサンプル）に関連付けられる。 The last segment, certain layer (e.g., a group of samples, segment, sample or sub-sample) of the SEI descriptor is applied associated with. ＳＥＩＥｎｄＳｅｇｍｅｎｔＤｅｃｒｉｐｔｏｒの構文は以下の通りである。 The syntax of the SEIEndSegmentDecriptor is as follows.
ｓｅｇｍｅｎｔＩＤフィールドは、このセグメントを含むストリーム内における固有のバイナリ識別子を示す。 segmentID field indicates a unique binary identifier in the stream containing the segment. この値を用いて、他のＳＥＩメッセージのセグメントを参照することができる。 Using this value, it is possible to refer to the segment of the other SEI messages.
オーディオビジュアルメタデータのストレージ及び検索について説明した。 It has been described storage and retrieval of audiovisual metadata. ここでは、特定の実施の形態を示したが、ここに示した特定の実施の形態に代えて、同じ目的を達成する如何なる構成を用いてもよいことは当業者にとって明らかである。 Here, although the specific embodiment, in place of the particular embodiment shown herein, it may use any configuration to achieve the same purpose will be apparent to those skilled in the art. したがって、本出願は、本発明のあらゆる適応例及び変形例を包含するものとする。 This application is therefore intended to cover any adaptations or variations of the present invention.
符号化システムの一実施例のブロック図である。 It is a block diagram of one embodiment of a coding system. 復号システムの一実施例のブロック図である。 It is a block diagram of an embodiment of a decoding system. 本発明の実現に好適なコンピュータ環境のブロック図である。 It is a block diagram of a suitable computer environment the realization of the present invention. 符号化システムにおいて、サブサンプルメタデータを保存するための処理に関するフローチャートである。 In the encoding system is a flowchart of processing for storing sub-sample metadata. 復号システムにおいて、サブサンプルメタデータを使用するための処理に関するフローチャートである。 In the decoding system, a flow chart of a method for utilizing sub-sample metadata. サブサンプルを有する拡張ＭＰ４メディアストリームモデルを説明する図である。 Is a diagram illustrating an extended MP4 media stream model with sub-samples. サブサンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing sub-sample metadata. サブサンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing sub-sample metadata. サブサンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing sub-sample metadata. サブサンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing sub-sample metadata. サブサンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing sub-sample metadata. サブサンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing sub-sample metadata. サブサンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing sub-sample metadata. サブサンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing sub-sample metadata. サブサンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing sub-sample metadata. サブサンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing sub-sample metadata. サブサンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing sub-sample metadata. 符号化システムにおいてパラメータセットメタデータを保存するための処理に関するフローチャートである。 It is a flowchart of processing for storing parameter set metadata at the encoding system. 復号システムにおいて、パラメータセットメタデータを利用するための処理に関するフローチャートである。 In the decoding system, a flowchart relating to processing for utilizing parameter set metadata. パラメータセットメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing parameter set metadata. パラメータセットメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing parameter set metadata. パラメータセットメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing parameter set metadata. パラメータセットメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing parameter set metadata. パラメータセットメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing parameter set metadata. 例示的な拡張グループオブピクチャ（ＧＯＰ）を示す図である。 It is a diagram illustrating an exemplary extended group of pictures (GOP). 符号化システムにおいて、シーケンスメタデータを保存するための処理に関するフローチャートである。 In the encoding system is a flowchart of processing for saving the sequence metadata. 復号システムにおいて、シーケンスメタデータを使用するための処理に関するフローチャートである。 In the decoding system, a flow chart of a method for utilizing the sequence metadata. シーケンスメタデータを保存するために例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing a sequence metadata. シーケンスメタデータを保存するために例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing a sequence metadata. シーケンスメタデータを保存するために例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing a sequence metadata. シーケンスメタデータを保存するために例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing a sequence metadata. シーケンスメタデータを保存するために例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing a sequence metadata. ビットストリーム切換のための切換サンプルセットの使用法を示す図である。 It is a diagram illustrating the use of a switch sample set for bit stream switching. ビットストリーム切換のための切換サンプルセットの使用法を示す図である。 It is a diagram illustrating the use of a switch sample set for bit stream switching. ２つのビットストリームの間の切換を行うポイントを判定するための処理の一実施例を示すフローチャートである。 It is a flow chart diagram of one embodiment of a method for determining the point for switching between two bit streams. 符号化システムにおいて、切換サンプルメタデータを保存するための処理に関するフローチャートである。 In the encoding system is a flowchart of processing for storing switch sample metadata. 復号システムにおいて、切換サンプルメタデータを使用するための処理に関するフローチャートである。 In the decoding system, a flow chart of a method for utilizing switch sample metadata. 切換サンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing switch sample metadata. ランダムアクセスエントリポイントを実現するための切換サンプルセットの使用法を示す図である。 It is a diagram illustrating the use of a switch sample set for implementing random access entry point. ランダムアクセスエントリポイントを実現するための切換サンプルセットの使用法を示す図である。 It is a diagram illustrating the use of a switch sample set for implementing random access entry point. サンプルのランダムアクセスポイントを判定するための処理の一実施例に関するフローチャートである。 It is a flowchart of one embodiment of a process for determining a random access point of the sample. エラー回復を実現するための切換サンプルセットの使用法を示す図である。 Is a diagram illustrating the use of a switch sample set for implementing the error recovery. エラー回復を実現するための切換サンプルセットの使用法を示す図である。 Is a diagram illustrating the use of a switch sample set for implementing the error recovery. サンプル送信時のエラー回復を実現するための処理の一実施例に関するフローチャートである。 It is a flowchart of one embodiment of a process for implementing error recovery during sample transmission. 本発明の幾つかの実施例に基づくパラメータセットメタデータの保存を説明する図である。 Is a diagram illustrating the storage of the parameter set metadata in accordance with some embodiments of the present invention. 本発明の幾つかの実施例に基づくパラメータセットメタデータの保存を説明する図である。 Is a diagram illustrating the storage of the parameter set metadata in accordance with some embodiments of the present invention. 本発明の幾つかの実施例に基づく補足的拡張情報（supplemental enhancement information：ＳＥＩ）の保存を説明する図である。 Supplemental Enhancement Information in accordance with some embodiments of the present invention: is a diagram illustrating the storage of the (supplemental enhancement information SEI). 本発明の幾つかの実施例に基づく補足的拡張情報（supplemental enhancement information：ＳＥＩ）の保存を説明する図である。 Supplemental Enhancement Information in accordance with some embodiments of the present invention: is a diagram illustrating the storage of the (supplemental enhancement information SEI). 本発明の幾つかの実施例に基づく補足的拡張情報（supplemental enhancement information：ＳＥＩ）の保存を説明する図である。 Supplemental Enhancement Information in accordance with some embodiments of the present invention: is a diagram illustrating the storage of the (supplemental enhancement information SEI). 本発明の幾つかの実施例に基づく補足的拡張情報（supplemental enhancement information：ＳＥＩ）の保存を説明する図である。 Supplemental Enhancement Information in accordance with some embodiments of the present invention: is a diagram illustrating the storage of the (supplemental enhancement information SEI).
マルチメディアデータの複数の部分の１つ以上のパラメータセットを定義するパラメータセットメタデータを特定するステップと、 Identifying a parameter set metadata that defines one or more parameter sets of a plurality of portions of the multimedia data,
マルチメディアデータを復号するために復号システムに送信されるパラメータセットメタデータをマルチメディアデータとは別に保存するステップとを有するデータ処理方法。 Data processing method and a step of storing separately from the multimedia data parameter set metadata that is sent to the decoding system for decoding multimedia data.
上記マルチメディアデータの複数の部分は、該マルチメディアデータ内のサンプルであることを特徴とする請求項１記載のデータ処理方法。 Said plurality of portions of multimedia data, the data processing method according to claim 1, characterized in that the samples within the multimedia data.
上記マルチメディアデータの複数の部分は、該マルチメディアデータの部分内のサブサンプルであることを特徴とする請求項１記載のデータ処理方法。 Said plurality of portions of multimedia data, the data processing method according to claim 1, characterized in that the sub-samples in the portion of the multimedia data.
上記マルチメディアデータは、ビデオトラックに保存され、 The multi-media data is stored in the video track,
上記パラメータセットメタデータは、パラメータトラックに保存されることを特徴とする請求項１記載のデータ処理方法。 The parameter set metadata is data processing method according to claim 1, characterized in that it is stored in the parameter tracks.
上記パラメータトラックを上記ビデオトラックと同期させるステップを更に有する請求項４記載のデータ処理方法。 The data processing method according to claim 4, further comprising the step of the parameter tracks synchronized with said video track.
上記パラメータトラックは、非アクティブであることを特徴とする請求項４記載のデータ処理方法。 The parameter tracks, data processing method according to claim 4, wherein the inactivity.
上記各パラメータセットは、パラメータセットサンプルとして、上記パラメータトラックに保存されることを特徴とする請求項４記載のデータ処理方法。 Each parameter set, a parameter set samples, the data processing method according to claim 4, characterized in that it is stored in said parameter track.
ビデオエレメンタリストリームを介して上記マルチメディアデータを送信するステップと、 And transmitting the multimedia data via a video elementary stream,
上記パラメータセットメタデータをオブジェクト記述子ストリームとして送信するステップとを更に有する請求項１記載のデータ処理方法。 The data processing method according to claim 1, further comprising the step of transmitting the parameter set metadata as objects descriptor stream.
上記各パラメータセットは、オブジェクト記述子メッセージとして、オブジェクト記述子ストリームを介して送信されることを特徴とする請求項８記載のデータ処理方法。 Each parameter set, as an object descriptor message, data processing method according to claim 8, wherein the transmitted through an object descriptor stream.
上記オブジェクト記述子ストリームを上記ビデオエレメンタリストリームに同期させるステップを更に有する請求項８記載のデータ処理方法。 The data processing method according to claim 8, further comprising the step of synchronizing the object descriptor stream into the video elementary stream.
復号システムにおいて、マルチメディアデータ及び独立したパラメータセットメタデータを受信するステップを更に有し、該独立したパラメータセットメタデータは、少なくともマルチメディアデータの一部を復号するために必要である１つ以上のパラメータセットのどれかを特定するために用いられることを特徴とする請求項１記載のデータ処理方法。 In the decoding system, further comprising the step of receiving the multimedia data and independent parameter set metadata, the parameter set metadata said independent, one or more is required to decode at least a portion of the multimedia data the data processing method according to claim 1, characterized in that it is used to identify any of the parameter set.
マルチメディアデータに関係する１つ以上の記述を特定するステップと、 Identifying one or more descriptions pertaining to multimedia data,
後に復号システムに送信され、上記マルチメディアデータの復号において任意に使用される補足的拡張情報（supplemental enhancement information：ＳＥＩ）に上記マルチメディアデータに関連する１つ以上の記述を含めるステップとを有するデータ処理方法。 After being sent to the decoding system, the supplemental enhancement information to be optionally used in the decoding of the multimedia data: data having one or more steps to include a description associated with the multimedia data (supplemental enhancement information SEI) Processing method.
上記ＳＥＩは、マルチメディアデータとは別にＳＥＩメタデータとして保存されることを特徴とする請求項１２記載のデータ処理方法。 The SEI is data processing method according to claim 12, wherein the the multimedia data are separately stored as SEI metadata.
上記ＳＥＩメタデータは、複数のＳＥＩメッセージを含んでいることを特徴とする請求項１３記載のデータ処理方法。 The SEI metadata, data processing method according to claim 13, characterized in that it comprises a plurality of SEI messages.
上記複数のＳＥＩメッセージのそれぞれは、ムービーボックスのトラックのボックスとして保存されることを特徴とする請求項１４記載のデータ処理方法。 It said each of the plurality of SEI message, the data processing method according to claim 14, wherein the stored as a track box of the movie box.
上記マルチメディアデータは、ビデオトラックに保存され、上記ＳＥＩメタデータは、ＳＥＩトラックに保存されることを特徴とする請求項１３記載のデータ処理方法。 The multimedia data is stored in the video track, the SEI metadata, data processing method according to claim 13, characterized in that it is stored in the SEI track.
上記ＳＥＩトラックをビデオトラックに同期させるステップを更に有する請求項１６記載のデータ処理方法。 The data processing method according to claim 16, further comprising the step of synchronizing the SEI track to the video track.
上記ＳＥＩトラックは、サンプル内に複数のＳＥＩメッセージを含んでいることを特徴とする請求項１７記載のデータ処理方法。 The SEI track, data processing method according to claim 17, characterized in that it comprises a plurality of SEI messages in the sample.
オブジェクトコンテンツ情報（object content information：ＯＣＩ）ストリームを介して、上記ＳＥＩメタデータを送信するステップとを更に有する請求項１３記載のデータ処理方法。 Object content information (object content information: OCI) through the stream data processing method of claim 13 further comprising the step of transmitting the SEI metadata.
上記複数のＳＥＩメッセージのそれぞれは、ＯＣＩ記述子として、ＯＣＩストリームを介して送信されることを特徴とする請求項１９記載のデータ処理方法。 It said each of the plurality of SEI message, as OCI descriptors, data processing method according to claim 19, wherein the sent through OCI stream.
上記１つ以上の記述のそれぞれは、記述子及び記述子スキームのいずれかであることを特徴とする請求項１２記載のデータ処理方法。 Each of the one or more descriptive data processing method according to claim 12, wherein a is any of descriptors and descriptor scheme.
上記複数のＳＥＩメッセージのそれぞれは、該複数のＳＥＩメッセージのそれぞれをマルチメディアデータの対応する部分に関連付けるデータを有するペイロードヘッダを含んでいることを特徴とする請求項１４記載のデータ処理方法。 It said each of the plurality of SEI message, the data processing method according to claim 14, wherein the includes a payload header having data associated with each of the plurality of SEI messages in the corresponding portion of multimedia data.
上記マルチメディアデータの対応する部分は、サンプル、サブサンプル、サンプルのグループのうちのいずれか１つであることを特徴とする請求項２２記載のデータ処理方法。 The corresponding portion of multimedia data samples, a sub-sample, data processing method according to claim 22, wherein a is any one of a group of samples.
上記１つ以上の記述をＳＥＩに含めるステップは、ＭＰＥＧ−７システムアクセスユニットを複数のＳＥＩメッセージの１つにカプセル化するステップを含むことを特徴とする請求項１２記載のデータ処理方法。 Step of including said one or more described SEI, the data processing method according to claim 12, comprising the step of encapsulating the MPEG-7 system access unit in one of a plurality of SEI messages.
上記１つ以上の記述のそれぞれを複数のＳＥＩメッセージの１つによって送信するステップを更に有する請求項１２記載のデータ処理方法。 The data processing method according to claim 12, further comprising the step of transmitting by one of a plurality of SEI message each of the one or more descriptions.
上記１つ以上の記述は、テキスト的に又はバイナリ的に符号化されることを特徴とする請求項２５記載のデータ処理方法。 The one or more descriptions, data processing method according to claim 25, wherein being textually or binary encoded.
マルチメディアデータを含む第１のファイルを作成するメディアファイル作成器と、 A media file creator that creates a first file including a multimedia data,
マルチメディアデータの複数の部分と１つ以上のパラメータセットを定義するパラメータセットメタデータを特定し、後に復号システムにおいて、マルチメディアデータを復号するときに使用される、パラメータセットメタデータを含む第２のファイルを作成するメタデータファイル作成器とを備えるデータ処理装置。 Identify the parameter set metadata defining a plurality of portions and one or more parameter sets of the multimedia data, after the decoding system, is used to decode the multimedia data, first includes parameter set metadata 2 a data processing apparatus and a metadata file creator for creating a file.
マルチメディアデータに関係する１つ以上の記述を特定し、後に復号システムに送信され、上記マルチメディアデータの復号において任意に使用される補足的拡張情報（supplemental enhancement information：ＳＥＩ）に上記マルチメディアデータに関連する１つ以上の記述を含めるメタデータ作成器とを備えるデータ処理装置。 Identify the multimedia data to one or more descriptions pertaining sent after the decoding system, supplemental enhancement information to be optionally used in the decoding of the multimedia data (supplemental enhancement information: SEI) in the multimedia data a data processing apparatus and a metadata generator including an associated one or more described.
マルチメディアデータの複数の部分の１つ以上のパラメータセットを定義するパラメータセットメタデータを特定する特定手段と、 Specifying means for specifying a parameter set metadata that defines one or more parameter sets of a plurality of portions of the multimedia data,
マルチメディアデータを復号するために復号システムに送信されるパラメータセットメタデータをマルチメディアデータとは別に保存する保存手段とを備えるデータ処理装置。 A data processing apparatus and a storage means for storing separately from the parameter set metadata that is sent to the decoding system for decoding multimedia data and multimedia data.
マルチメディアデータに関係する１つ以上の記述を特定する特定手段と、 Specifying means for specifying one or more descriptions pertaining to multimedia data,
後に復号システムに送信され、上記マルチメディアデータの復号において任意に使用される補足的拡張情報（supplemental enhancement information：ＳＥＩ）に上記マルチメディアデータに関連する１つ以上の記述を含める記述追加手段とを備えるデータ処理装置。 And one or more description additional means include a description associated with the multimedia data to: (SEI supplemental enhancement information) after being sent to the decoding system, the supplemental enhancement information to be optionally used in the decoding of the multimedia data data processing apparatus comprising.
上記メモリに接続され、一組の命令を実行する少なくとも１つのプロセッサとを備え、 Coupled to said memory, and at least one processor executes a set of instructions,
上記少なくとも１つのプロセッサは、上記一組の命令を実行することにより、 The at least one processor executes the set of instructions,
マルチメディアデータの複数の部分の１つ以上のパラメータセットを定義するパラメータセットメタデータを特定し、 Identify the parameter set metadata that defines one or more parameter sets of a plurality of portions of the multimedia data,
マルチメディアデータを復号するために復号システムに送信されるパラメータセットメタデータをマルチメディアデータとは別に保存するデータ処理システム。 Data processing system which separately store the parameter set metadata multimedia data to be transmitted to the decoding system for decoding multimedia data.
マルチメディアデータに関係する１つ以上の記述を特定し、 Identifying one or more descriptions pertaining to multimedia data,
後に復号システムに送信され、上記マルチメディアデータの復号において任意に使用される補足的拡張情報（supplemental enhancement information：ＳＥＩ）に上記マルチメディアデータに関連する１つ以上の記述を含めるデータ処理システム。 After being sent to the decoding system, the multimedia data of supplemental enhancement information to be optionally used in the decoding (supplemental enhancement information: SEI) in one or more data processing systems to include a description of the associated with the multimedia data.
プロセッサにより実行され、該プロセッサにデータ処理方法を実行させるコンピュータにより読取可能な媒体であって、該データ処理方法は、 Is executed by a processor, a computer readable storage medium for executing a data processing method to the processor, the data processing method,
マルチメディアデータを復号するために復号システムに送信されるパラメータセットメタデータをマルチメディアデータとは別に保存するステップとを有するコンピュータにより読取可能な媒体。 Computer readable storage medium, and a step of storing separately from the multimedia data parameter set metadata that is sent to the decoding system for decoding multimedia data.
後に復号システムに送信され、上記マルチメディアデータの復号において任意に使用される補足的拡張情報（supplemental enhancement information：ＳＥＩ）に上記マルチメディアデータに関連する１つ以上の記述を含めるステップとを有するコンピュータにより読取可能な媒体。 After being sent to the decoding system, the supplemental enhancement information to be optionally used in the decoding of the multimedia data: computer having one or more steps to include a description associated with the multimedia data (supplemental enhancement information SEI) readable medium.
JP2004505908A 2002-02-25 2003-04-29 Data processing method and apparatus Abandoned JP2006505024A (en)
US37665102P true 2002-04-29 2002-04-29
US37665202P true 2002-04-29 2002-04-29
US10/371,464 US20030163477A1 (en) 2002-02-25 2003-02-21 Method and apparatus for supporting advanced coding formats in media files
US10/425,685 US20040006575A1 (en) 2002-04-29 2003-04-28 Method and apparatus for supporting advanced coding formats in media files
JP2006505024A true JP2006505024A (en) 2006-02-09
ID=29554444
JP2004505908A Abandoned JP2006505024A (en) 2002-02-25 2003-04-29 Data processing method and apparatus
EP (1) EP1500002A1 (en)
JP (1) JP2006505024A (en)
KR (1) KR20040106414A (en)
CN (1) CN100419748C (en)
AU (1) AU2003237120B2 (en)
DE (1) DE10392598T5 (en)
GB (1) GB2403835B (en)
WO (1) WO2003098475A1 (en)
JP2008136211A (en) * 2006-11-27 2008-06-12 Thomson Licensing Encoding device, decoding device, recording device, and audio/video data transmission system
JP2009535969A (en) * 2006-05-03 2009-10-01 テレフオンアクチーボラゲット エル エム エリクソン（パブル） Methods and apparatus for reconstructing the media from media representation
JP2010509896A (en) * 2006-11-14 2010-03-25 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ System and method for channel switching
JP2010539834A (en) * 2007-09-19 2010-12-16 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン Apparatus and method for reading and storing a file having a media data container and a metadata container
JP2011501553A (en) * 2007-10-16 2011-01-06 サムスン エレクトロニクス カンパニー リミテッド Method and apparatus for encoding media content and metadata
JP2013051707A (en) * 2007-04-17 2013-03-14 Thomson Licensing Method to transmit video data in data stream and associated metadata
JP2014519789A (en) * 2011-06-14 2014-08-14 サムスン エレクトロニクス カンパニー リミテッド Method and apparatus for transmitting and receiving media content in a multimedia system
JP2015053703A (en) * 2010-07-20 2015-03-19 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ Providing sequence data sets for streaming video data
JP2015519807A (en) * 2012-04-25 2015-07-09 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ To identify the parameters set in the video file
AU2007230602B2 (en) 2006-03-27 2012-01-12 Vidyo, Inc. System and method for management of scalability information in scalable video and audio coding systems using control messages
AU2012202346B2 (en) * 2006-08-24 2014-07-24 Nokia Technologies Oy System and method for indicating track relationships in media files
WO2008046243A1 (en) * 2006-10-16 2008-04-24 Thomson Licensing Method and device for encoding a data stream, method and device for decoding a data stream, video indexing system and image retrieval system
WO2012030120A2 (en) * 2010-08-31 2012-03-08 ㈜휴맥스 Methods of transmitting and receiving a media information file for http streaming
US20150063466A1 (en) * 2012-04-06 2015-03-05 Sony Corporation Decoding device and decoding method, and encoding device and encoding method
CN105409235A (en) * 2013-07-19 2016-03-16 索尼公司 File generation device and method, and content reproduction device and method
US20190020915A1 (en) * 2017-07-13 2019-01-17 Qualcomm Incorporated Processing media data using file tracks for web content
GB2387287B (en) * 2002-04-05 2006-03-15 Snell & Wilcox Limited Video compression transcoding
2003-04-29 GB GB0424069A patent/GB2403835B/en not_active Expired - Fee Related
2003-04-29 AU AU2003237120A patent/AU2003237120B2/en not_active Ceased
2003-04-29 JP JP2004505908A patent/JP2006505024A/en not_active Abandoned
2003-04-29 WO PCT/US2003/013145 patent/WO2003098475A1/en active Application Filing
2003-04-29 KR KR10-2004-7017400A patent/KR20040106414A/en not_active Application Discontinuation
2003-04-29 DE DE2003192598 patent/DE10392598T5/en not_active Withdrawn
2003-04-29 CN CN 03815202 patent/CN100419748C/en not_active IP Right Cessation
2003-04-29 EP EP20030736502 patent/EP1500002A1/en not_active Withdrawn
JP2012135027A (en) * 2006-11-14 2012-07-12 Qualcomm Inc Systems and methods for channel switching
JP2017175623A (en) * 2010-07-20 2017-09-28 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ Providing sequence data sets for streaming video data
KR101918658B1 (en) 2011-06-14 2019-02-08 삼성전자주식회사 Method and apparatus for transmitting/receiving hybrid media content in a multimedia system
KR101863410B1 (en) 2011-06-14 2018-05-31 삼성전자주식회사 Method and apparatus for transmitting/receiving hybrid media content in a multimedia system
KR20040106414A (en) 2004-12-17
CN1666195A (en) 2005-09-07
EP1500002A1 (en) 2005-01-26
AU2003237120A1 (en) 2003-12-02
WO2003098475A1 (en) 2003-11-27
GB2403835A (en) 2005-01-12
CN100419748C (en) 2008-09-17
GB0424069D0 (en) 2004-12-01
GB2403835B (en) 2005-11-23
AU2003237120B2 (en) 2008-10-09
DE10392598T5 (en) 2005-05-19
US9369687B2 (en) 2016-06-14 Multimedia distribution system for multimedia files with interleaved media chunks of varying types
US20040120345A1 (en) 2004-06-24 Method and apparatus for processing a data series including processing priority data
2009-02-06 A762 Written abandonment of application