(57)【要約】【課題】本発明は、オリジナル素材データに付随するタイムコードが各ピクチャに対応するように記述された符号化ストリームを生成するものである。【解決手段】ビデオエンコーダ（１６）、オーディオエンコーダ（１７）およびＡＣ３エンコーダ（１８）は、それぞれ、オリジナル素材データに付随するタイムコードの情報を、ビデオエレメンタリストリーム、オーディオエレメンタリストリームおよびＡＣ３ストリームの各データ構造において復号再生の単位（ピクチャ、オーディオフレーム）毎に存在可能で且つ任意のデータを記録可能な領域に記録する。【選択図】図１
2008263601.tif 000002
【特許請求の範囲】
【請求項１】
素材データを符号化することによって得られる符号化ストリームを生成する符号化ストリーム生成装置において、
上記素材データに付随するタイムコードを、符号化ストリームのデータ構造において復号再生の単位毎に存在可能で且つ任意のデータを記録可能な領域に記録して、符号化ストリームを生成する符号化ストリーム生成手段を備えた
ことを特徴とする符号化ストリーム生成装置。
【請求項２】
上記符号化ストリーム生成手段は、上記タイムコードを、ビデオデータ用の符号化ストリームのデータ構造において、復号再生の単位としての１ピクチャ毎に存在可能で且つ任意のデータを記録可能なユーザデータ領域に記録する
ことを特徴とする請求項１に記載の符号化ストリーム生成装置。
【請求項３】
上記符号化ストリーム生成手段は、上記タイムコードを、オーディオデータ用の符号化ストリームのデータ構造において、復号再生の単位としての１フレーム毎に存在可能で且つ任意のデータを記録可能な補助領域に記録する
ことを特徴とする請求項１に記載の符号化ストリーム生成装置。
【請求項４】
上記符号化ストリーム生成手段は、上記タイムコードと任意の情報とを所定のフォーマットにして上記領域に記録する
ことを特徴とする請求項１に記載の符号化ストリーム生成装置。
【請求項５】
素材データを符号化することによって得られる符号化ストリームを生成する符号化ストリーム生成方法において、
素材データに付随するタイムコードを、符号化ストリームのデータ構造において復号再生の単位毎に存在可能で且つ任意のデータを記録可能な領域に記録して、符号化ストリームを生成する
ことを特徴とする符号化ストリーム生成方法。
【請求項６】
上記タイムコードを、ビデオデータ用の符号化ストリームのデータ構造において、復号再生の単位としての１ピクチャ毎に存在可能で且つ任意のデータを記録可能なユーザデータ領域に記録する
ことを特徴とする請求項５に記載の符号化ストリーム生成方法。
【請求項７】
上記タイムコードを、オーディオデータ用の符号化ストリームのデータ構造において、復号再生の単位としての１フレーム毎に存在可能で且つ任意のデータを記録可能な補助領域に記録する
ことを特徴とする請求項５に記載の符号化ストリーム生成方法。
【請求項８】
上記タイムコードと任意の情報とを所定のフォーマットにして上記領域に記録する
ことを特徴とする請求項５に記載の符号化ストリーム生成方法。
【請求項９】
符号化ストリームを生成する符号化ストリーム生成装置において、
ソースビデオデータを符号化することによって得られる複数のレイヤから成る階層構造の符号化ストリームであって、上記複数のレイヤのうちのピクチャレイヤに、上記ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化ストリーム生成手段を備えた
ことを特徴とする符号化ストリーム生成装置。
【請求項１０】
上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成される
ことを特徴とする請求項９に記載の符号化ストリーム生成装置。
【請求項１１】
上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
ことを特徴とする請求項１０に記載の符号化ストリーム生成装置。
【請求項１２】
上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
ことを特徴とする請求項９に記載の符号化ストリーム生成装置。
【請求項１３】
上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する符号化オーディオストリーム生成手段をさらに備えている
ことを特徴とする請求項９に記載の符号化ストリーム生成装置。
【請求項１４】
上記符号化オーディオストリームの補助データエリアには、上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
ことを特徴とする請求項１３に記載の符号化ストリーム生成装置。
【請求項１５】
上記タイムコードは、ＬＴＣ（Longitudinal Time Code / Linear Time Code）とＶＩＴＣ(Vertical lnterval Time Code)とを含む
ことを特徴とする請求項９に記載の符号化ストリーム生成装置。
【請求項１６】
符号化ストリームを生成する符号化ストリーム生成方法において、
ソースビデオデータを符号化することによって得られる複数のレイヤから成る階層構造の符号化ストリームであって、上記複数のレイヤのうちのピクチャレイヤに、上記ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する
ことを特徴とする符号化ストリーム生成方法。
【請求項１７】
上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成される
ことを特徴とする請求項１６に記載の符号化ストリーム生成方法。
【請求項１８】
上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
ことを特徴とする請求項１７に記載の符号化ストリーム生成方法。
【請求項１９】
上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
ことを特徴とする請求項１６に記載の符号化ストリーム生成方法。
【請求項２０】
さらに、上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する
ことを特徴とする請求項１６に記載の符号化ストリーム生成方法。
【請求項２１】
上記符号化オーディオストリームの補助データエリアには、上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
ことを特徴とする請求項２０に記載の符号化ストリーム生成方法。
【請求項２２】
上記タイムコードは、ＬＴＣ（Longitudinal Time Code / Linear Time Code）とＶＩＴＣ(Vertical Interval Time Code)とを含む
ことを特徴とする請求項１６に記載の符号化ストリーム生成方法。
【請求項２３】
符号化ストリームを生成する符号化ストリーム生成装置において、
ソースビデオデータをＭＰＥＧ規格に基づいて符号化することによって生成される符号化ストリームであって、上記符号化ストリームのピクチャレイヤのユーザデータエリアに、上記ソースビデオデータに付随しているタイムコードを示すデータエレメントが記述された符号化ストリームを生成する符号化ストリーム生成手段を備えた
ことを特徴とする符号化ストリーム生成装置。
【請求項２４】
上記符号化ストリームは、複数のレイヤから成る階層構造をなし、上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成される
ことを特徴とする請求項２３に記載の符号化ストリーム生成装置。
【請求項２５】
上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
ことを特徴とする請求項２４に記載の符号化ストリーム生成装置。
【請求項２６】
上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
ことを特徴とする請求項２３に記載の符号化ストリーム生成装置。
【請求項２７】
上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する符号化オーディオストリーム生成手段をさらに備えている
ことを特徴とする請求項２３に記載の符号化ストリーム生成装置。
【請求項２８】
上記符号化オーディオストリームの補助データエリアには、上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
ことを特徴とする請求項２７に記載の符号化ストリーム生成装置。
【請求項２９】
上記タイムコードは、ＬＴＣ（Longitudinal Time Code / Linear TimeCode）とＶＩＴＣ(Vertical Interval Time Code)とを含む
ことを特徴とする請求項２３に記載の符号化ストリーム生成装置。
【請求項３０】
符号化ストリームを生成する符号化ストリーム生成方法において、
ソースビデオデータをＭＰＥＧ規格に基づいて符号化することによって生成される符号化ストリームであって、上記符号化ストリームのピクチャレイヤのユーザデータエリアに、上記ソースビデオデータに付随しているタイムコードを示すデータエレメントが記述された符号化ストリームを生成する
ことを特徴とする符号化ストリーム生成方法。
【請求項３１】
上記符号化ストリームは、複数のレイヤから成る階層構造をなし、上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成される
ことを特徴とする請求項３０に記載の符号化ストリーム生成方法。
【請求項３２】
上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
ことを特徴とする請求項３１に記載の符号化ストリーム生成方法。
【請求項３３】
上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
ことを特徴とする請求項３０に記載の符号化ストリーム生成方法。
【請求項３４】
さらに、上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する
ことを特徴とする請求項３０に記載の符号化ストリーム生成方法。
【請求項３５】
上記符号化オーディオストリームの補助データエリアには、上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
ことを特徴とする請求項３４に記載の符号化ストリーム生成方法。
【請求項３６】
上記タイムコードは、ＬＴＣ（Longitudinal Time Code / Linear TimeCode）とＶＩＴＣ(Vertical Interval Time Code)とを含む
ことを特徴とする請求項３０に記載の符号化ストリーム生成方法。
【請求項３７】
ソースビデオデータを伝送するデータ伝送システムにおいて、
上記ソースビデオデータと上記ソースビデオデータに付随しているタイムコードとが関連付けられて記憶された記録媒体を備え、上記記録媒体から上記ソースビデオデータと上記ソースビデオデータに関連する上記タイムコードを出力するデータ供給手段と、
ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、上記複数のレイヤのうちのピクチャレイヤに、上記ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手段と、
上記符号化ストリームを伝送する伝送手段と、
上記伝送手段を介して伝送された符号化ストリームを復号化すると共に、上記符号化ストリームのシンタックスを解析することによって上記符号化ストリームのピクチャレイヤから上記タイムコードを抽出する復号化手段と、
上記復号化手段によって復号化された復号化データと上記復号化手段によって抽出されたタイムコード情報とを関連付けて記録媒体に記録することによって、上記データ供給手段の記録媒体と同じデータが記録された記録媒体を得るデータ記録手段と
を備えたことを特徴とするデータ伝送システム。
【請求項３８】
上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成される
ことを特徴とする請求項３７に記載のデータ伝送システム。
【請求項３９】
上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
ことを特徴とする請求項３８に記載のデータ伝送システム。
【請求項４０】
上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
ことを特徴とする請求項３７に記載のデータ伝送システム。
【請求項４１】
上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する符号化オーディオストリーム生成手段をさらに備えている
ことを特徴とする請求項３７に記載のデータ伝送システム。
【請求項４２】
上記符号化オーディオストリームの補助データエリアには、上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
ことを特徴とする請求項４１に記載のデータ伝送システム。
【請求項４３】
上記タイムコードは、ＬＴＣ（Longitudinal Time Code / Linear Time Code）とＶＩＴＣ(Vertical Interval Time Code)とを含む
ことを特徴とする請求項３７に記載のデータ伝送システム。
【請求項４４】
ソースビデオデータを伝送するデータ伝送方法において、
上記ソースビデオデータと上記ソースビデオデータに付随しているタイムコードとが関連付けられて記憶された記録媒体から、上記ソースビデオデータと上記ソースビデオデータに関連する上記タイムコードを出力するデータ供給手順と、
ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、上記複数のレイヤのうちのピクチャレイヤに、上記ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手順と、
上記符号化ストリームを伝送する伝送手順と、
上記伝送手順によって伝送された符号化ストリームを復号化すると共に、上記符号化ストリームのシンタックスを解析することによって上記符号化ストリームのピクチャレイヤから上記タイムコードを抽出する復号化手順と、
上記復号化手順によって復号化された復号化データと上記復号化手順によって抽出されたタイムコード情報とを関連付けて記録媒体に記録することによって、上記データ供給手順によって出力するデータが記録された記録媒体と同じデータが記録された記録媒体を得るデータ記録手順と
を含むことを特徴とするデータ伝送方法。
【請求項４５】
上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成される
ことを特徴とする請求項４４に記載のデータ伝送方法。
【請求項４６】
上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
ことを特徴とする請求項４５に記載のデータ伝送方法。
【請求項４７】
上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
ことを特徴とする請求項４４に記載のデータ伝送方法。
【請求項４８】
さらに、上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する
ことを特徴とする請求項４４に記載のデータ伝送方法。
【請求項４９】
上記符号化オーディオストリームの補助データエリアには、上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
ことを特徴とする請求項４８に記載のデータ伝送方法。
【請求項５０】
上記タイムコードは、ＬＴＣ（Longitudinal Time Code / Linear Time Code）とＶＩＴＣ(Vertical Interval Time Code)とを含む
ことを特徴とする請求項４４に記載のデータ伝送方法。
【請求項５１】
ソースビデオデータを編集する編集システムにおいて、
上記ソースビデオデータに対して設定された編集点に基づいて、編集リストを生成する手段と、
ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、上記複数のレイヤのうちのピクチャレイヤに、上記ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手段と、
上記符号化ストリームを伝送する伝送手段と、
上記伝送手段を介して伝送された符号化ストリームを復号化すると共に、上記符号化ストリームのシンタックスを解析することによって上記符号化ストリームのピクチャレイヤから上記タイムコードを抽出する復号化手段と、
上記符号化ストリームのシンタックスを解析することによって得られたタイムコードと上記編集リストとに基づいて、上記復号化手段によって復号化された復号化ソースビデオデータを編集する編集手段と
を備えたことを特徴とする編集システム。
【請求項５２】
上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成される
ことを特徴とする請求項５１に記載の編集システム。
【請求項５３】
上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
ことを特徴とする請求項５２に記載の編集システム。
【請求項５４】
上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
ことを特徴とする請求項５１に記載の編集システム。
【請求項５５】
上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する符号化オーディオストリーム生成手段をさらに備えている
ことを特徴とする請求項５１に記載の編集システム。
【請求項５６】
上記符号化オーディオストリームの補助データエリアには、上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
ことを特徴とする請求項５５に記載の編集システム。
【請求項５７】
上記タイムコードは、ＬＴＣ（Longitudinal Time Code / Linear Time Code）とＶＩＴＣ(Vertical Interval Time Code)とを含む
ことを特徴とする請求項５１に記載の編集システム。
【請求項５８】
ソースビデオデータを編集する編集方法において、
上記ソースビデオデータに対して設定された編集点に基づいて、編集リストを生成する手順と、
ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、上記複数のレイヤのうちのピクチャレイヤに、上記ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手順と、
上記符号化ストリームを伝送する伝送手順と、
上記伝送手順によって伝送された符号化ストリームを復号化すると共に、上記符号化ストリームのシンタックスを解析することによって上記符号化ストリームのピクチャレイヤから上記タイムコードを抽出する復号化手順と、
上記符号化ストリームのシンタックスを解析することによって得られたタイムコードと上記編集リストとに基づいて、上記復号化手順によって復号化された復号化ソースビデオデータを編集する編集手順と
を含むことを特徴とする編集方法。
【請求項５９】
上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成される
ことを特徴とする請求項５８に記載の編集方法。
【請求項６０】
上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
ことを特徴とする請求項５９に記載の編集方法。
【請求項６１】
上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
ことを特徴とする請求項５８に記載の編集方法。
【請求項６２】
さらに、上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する
ことを特徴とする請求項５８に記載の編集方法。
【請求項６３】
上記符号化オーディオストリームの補助データエリアには、
上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
ことを特徴とする請求項６２に記載の編集方法。
【請求項６４】
上記タイムコードは、ＬＴＣ（Longitudinal Time Code / Linear Time Code）とＶＩＴＣ(Vertical Interval Time Code)とを含む
ことを特徴とする請求項５８に記載の編集方法。
【請求項６５】
ソースビデオデータを符号化することによって得られた符号化ストリームを編集する編集システムにおいて、
上記ソースビデオデータに対して設定された編集点に基づいて、編集リストを生成する手段と、
上記ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、上記複数のレイヤのうちのピクチャレイヤに、上記ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手段と、
上記符号化ストリームのシンタックスを解析することによって得られたタイムコードと上記編集リストとに基づいて、上記符号化ストリームを編集するストリーム編集手段と
を備えたことを特徴とする編集システム。
【請求項６６】
上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成される
ことを特徴とする請求項６５に記載の編集システム。
【請求項６７】
上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
ことを特徴とする請求項６６に記載の編集システム。
【請求項６８】
上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
ことを特徴とする請求項６５に記載の編集システム。
【請求項６９】
上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する符号化オーディオストリーム生成手段をさらに備えている
ことを特徴とする請求項６５に記載の編集システム。
【請求項７０】
上記符号化オーディオストリームの補助データエリアには、上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
ことを特徴とする請求項６９に記載の編集システム。
【請求項７１】
上記タイムコードは、ＬＴＣ（Longitudinal Time Code/Linear Time Code）とＶＩＴＣ(Vertical Interval Time Code)とを含む
ことを特徴とする請求項６５に記載の編集システム。
【請求項７２】
ソースビデオデータを符号化することによって得られた符号化ストリームを編集する編集方法において、
上記ソースビデオデータに対して設定された編集点に基づいて、編集リストを生成する手順と、
上記ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、上記複数のレイヤのうちのピクチャレイヤに、上記ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手順と、
上記符号化ストリームのシンタックスを解析することによって得られたタイムコードと上記編集リストとに基づいて、上記符号化ストリームを編集するストリーム編集手順と
を含むことを特徴とする編集方法。
【請求項７３】
上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成されることを特徴とする請求項７２に記載の編集方法。
【請求項７４】
上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
ことを特徴とする請求項７３に記載の編集方法。
【請求項７５】
上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
ことを特徴とする請求項７２に記載の編集方法。
【請求項７６】
さらに、上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する
ことを特徴とする請求項７２に記載の編集方法。
【請求項７７】
上記符号化オーディオストリームの補助データエリアには、上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
ことを特徴とする請求項７６に記載の編集方法。
【請求項７８】
上記タイムコードは、ＬＴＣ（Longitudinal Time Code/Linear Time Code）とＶＩＴＣ(Vertical Interval Time Code)とを含む
ことを特徴とする請求項７２に記載の編集方法。
【請求項７９】
符号化ストリームを編集する編集システムにおいて、
ベースバンドのソースビデオデータを処理することによって設定された編集点に基づいて、編集リストを生成するベースバンドシステムと、
上記ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、上記複数のレイヤのうちのピクチャレイヤに、上記ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成し、上記符号化ストリームのシンタックスを解析することによって得られたタイムコードと上記ベースバンドシステムにおいて生成された編集リストとに基づいて、上記符号化ストリームをストリームレベルで編集する符号化システムと
を備えたことを特徴とする編集システム。
【請求項８０】
上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成される
ことを特徴とする請求項７９に記載の編集システム。
【請求項８１】
上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
ことを特徴とする請求項８０に記載の編集システム。
【請求項８２】
上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
ことを特徴とする請求項７９に記載の編集システム。
【請求項８３】
上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する符号化オーディオストリーム生成手段をさらに備えている
ことを特徴とする請求項７９に記載の編集システム。
【請求項８４】
上記符号化オーディオストリームの補助データエリアには、上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
ことを特徴とする請求項８３に記載の編集システム。
【請求項８５】
上記タイムコードは、ＬＴＣ（Longitudinal Time Code/Linear Time Code）とＶＩＴＣ(Vertical Interval Time Code)とを含む
ことを特徴とする請求項７９に記載の編集システム。
【請求項８６】
符号化ストリームを編集する編集方法において、
ベースバンドのソースビデオデータを処理することによって設定された編集点に基づいて、編集リストを生成する手順と、
上記ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、上記複数のレイヤのうちのピクチャレイヤに、上記ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成し、上記符号化ストリームのシンタックスを解析することによって得られたタイムコードと上記編集リストを生成する手順によって生成された編集リストとに基づいて、上記符号化ストリームをストリームレベルで編集する符号化手順と
を含むことを特徴とする編集方法。
【請求項８７】
上記符号化ストリームの複数のレイヤは、シーケンスレイヤ、ＧＯＰレイヤ、上記ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ及びブロックレイヤから構成される
ことを特徴とする請求項８６に記載の編集方法。
【請求項８８】
上記シーケンスレイヤには、sequence header() 関数によって定義されるデータエレメントと、sequence extention()関数によって定義されるデータエレメントと、extention and user data(0)によって定義されるデータエレメントとが記述され、
上記ＧＯＰレイヤには、groupof picture header() 関数によって定義されるデータエレメントと、extention and user data(1)によって定義されるデータエレメントとが記述され、
上記ピクチャレイヤには、pictureheader()関数によって定義されるデータエレメントと、picture coding extention()関数によって定義されるデータエレメントと、extention and user data(2)によって定義されるデータエレメントが記述され、
上記タイムコードは、上記extention and user data(2)関数によって示されるuser data() 関数によって示されるtime code() 関数によって定義されるデータエレメントである
ことを特徴とする請求項８７に記載の編集方法。
【請求項８９】
上記タイムコードは、上記ピクチャレイヤのユーザデータエリアに記述されるデータであって、上記符号化ストリームを解析する際に、上記ピクチャレイヤのユーザデータエリアに記述されたタイムコードを、上記符号化ストリームに含まれる特有のスタートコードと誤って判断しないように、上記ピクチャレイヤのユーザデータエリアに記述されるタイムコードには、所定ビット毎にマーカビットが挿入されている
ことを特徴とする請求項８６に記載の編集方法。
【請求項９０】
さらに、上記ソースビデオデータに対応するソースオーディオデータを符号化することによって得られる符号化オーディオストリームであって、上記符号化オーディオストリームの補助データエリアに、上記ソースオーディオデータの各フレームに付随しているタイムコードが記述された符号化オーディオストリームを生成する
ことを特徴とする請求項８６に記載の編集方法。
【請求項９１】
上記符号化オーディオストリームの補助データエリアには、上記ソースオーディオデータに対応するタイムコードに加え、上記ソースビデオデータのフレームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記述されている
ことを特徴とする請求項９０に記載の編集方法。
【請求項９２】
上記タイムコードは、ＬＴＣ（Longitudinal Time Code/Linear Time Code）とＶＩＴＣ(Vertical Interval Time Code)とを含む
ことを特徴とする請求項８６に記載の編集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオデータ及びオーディオデータ等の素材データを符号化する際に、各ピクチャ毎にタイムコードが付加された符号化ストリームを生成する符号化ストリーム生成装置及び方法、各ピクチャ毎にタイムコードが付加された符号化ストリームを伝送するデータ伝送システム及び方法、さらには、符号化ストリームに付加されたタイムコードを利用することによって素材データを編集する編集システム及び方法に関する。
【背景技術】
【０００２】
近年、ビデオデータやオーディオデータを圧縮符号化するＭＰＥＧ（Moving Picture Experts Group）規格に関する技術が飛躍的に発達し、ＭＰＥＧ規格によって圧縮符号化された放送素材を受信装置側に伝送するデジタル伝送システムや、ＭＰＥＧ（Moving Picture Experts Group）規格によって圧縮符号化したビデオデータやオーディオデータを、大容量のディジタルデータを記録可能な光ディスクであるＤＶＤ（ディジタル・ビデオ・ディスク）のような蓄積メディアを用いて記録したり、再生したりする記録再生システムが提案されている。
【０００３】
また、ビデオデータやオーディオデータやその他のプライベートデータ等を個別に符号化して得られる複数種類の符号化ストリーム（以下、ストリームともいう。）を、実際のアプリケーションに適用する場合には、各ストリームを統合して伝達する必要があり、このような場合に、デジタルデータ伝送システムが用いられている。具体的には、デジタルデータ伝送システムでは、複数種類のストリームを、ストリームの伝達媒体（蓄積メディアや伝送路）に適合するように時分割多重化（マルチプレックス）することによって、受信機側に伝送されるトランスポートストリームを生成する。一方、受信機側では、送信側から伝送されてきたトランスポートストリームを受信し、ビデオやオーディオ等の種類毎のストリームに分離（デマルチプレックス）し、個別に復号化するようになっている。
【０００４】
ところで、このような伝送システムにおいて扱われる素材データ（ビデオデータ及びオーディオデータ）には、一般に、タイムコードと呼ばれる時間情報が付随している。このタイムコードとは、ＳＭＰＴＥにおいて定義されている時間情報のことであって、“ Time And Control Data”のことである。具体的には、このタイムコードは、フレーム（FRAMES）、秒（SECONDS ）、分（MIMUTES ）、時（HOURS ）のデータから構成されている。
【０００５】
一方、デジタルデータ伝送システムでは、時間情報は、ＳＴＣ（System Time Clock ；基準となる時刻情報）、ＰＴＳ（Presentation Time Stamp ；再生出力の時刻管理情報）、ＤＴＳ（Decoding Time Stamp ；復号の時刻管理情報）、ＳＣＲ（System Clock Reference；時刻基準参照値）、ＰＣＲ（Program Clock Reference ；プログラム時刻基準参照値）という独自の時間概念に基づいて管理されている。つまり、ＭＰＥＧ規格に基づいて符号化された符号化ストリームは、上述したタイムコードとは全く異なる時間情報によって処理タイミングが管理されている。
【０００６】
つまり、ベースバンドビデオデータを取り扱い、処理するベースバンドシステムの分野では、ベースバンドビデオデータはタイムコードを使用して全ての処理タイミングが管理されている。一方、符号化ストリームを取り扱い、処理する符号化システムの分野では、符号化ストリームは前述したＳＴＣ、ＰＴＳ、ＤＴＳ及びＳＣＲ、ＰＣＲ等の独自の時間情報によって全ての処理タイミングが管理されている。
【０００７】
ところで、ＭＰＥＧ規格において符号化されたストリームは、シーケンスレイヤと、ＧＯＰ（Group Of Picture）レイヤと、ピクチャレイヤと、スライスレイヤと、マクロブロックレイヤと、ブロックレイヤとから構成されている。また、ＭＰＥＧ規格では、ＧＯＰレイヤのヘッダデータを記述するための group of picture header( ) という関数が定義されている。このgroup of picture header( )関数は、ＧＯＰレイヤのヘッダデータとして、３２ビットのgroup start code、２５ビットの time code、１ビットのclosed gop、及び１ビットのbroken link というデータを有している。このgroup start codeは、グループオブピクチャヘッダのスタートを示すためのデータであって、ＧＯＰの先頭ピクチャのシーケンスの先頭からの時間を示すタイムコードである。closed gopは、ＧＯＰ内の画像が他のＧＯＰから独立再生可能なことを示すフラグデータである。broken link は、編集などのためにＧＯＰ内の先頭のＢピクチャが正確に再生できないことを示すフラグデータである。
【０００８】
ＭＰＥＧ規格において定義されているgroupof picture header( )関数によって、ＧＯＰレイヤのヘッダデータとして記述されるtime code は、伝送されるプログラムのシーケンスの先頭からのタイムコードを示すデータであって、オリジナル素材に付与されているオリジナルタイムコードが使用されているわけではない。例えば、オリジナル素材の先頭フレームに対して外部装置から供給されたオリジナルタイムコード「01:30:00:00 」が付与されていたとしても、そのオリジナル素材の先頭フレームが符号化されると、符号化ストリームのＧＯＰレイヤのヘッダデータとして記述されるtime code は、「00:00:00:00 」となる。また、オリジナル素材の各フレームに付与されたオリジナルタイムコードが不連続なタイムコードであったとしても、符号化ストリームのＧＯＰレイヤのヘッダデータとして記述されるtime code は、シーケンシャルなタイムコードとなる。つまり、オリジナル素材に付与されたオリジナルタイムコードと、符号化ストリームのＧＯＰレイヤのヘッダデータとして記述されるタイムコードとは必ずしも一致しない。
【０００９】
また、ＭＰＥＧ規格のgroupof picture header( )関数によって記述されるtime code は、ＧＯＰレイヤのヘッダデータとして記述されるデータであるので、ＭＰＥＧ規格においては、タイムコードをＧＯＰ毎にしか記述することができない。つまり、ＭＰＥＧ規格においては、符号化ストリームのＧＯＰレイヤにタイムコードを記述することよってＧＯＰ毎にタイムコードを伝送することはできるが、各フレーム（各ピクチャ）毎にタイムコードを記述するようには定義されていないので、各ピクチャ毎にタイムコードを伝送することができない。
【００１０】
従って、ＭＰＥＧ規格の符号化ストリームには、タイムコード情報が各ピクチャ毎に付加されていないので、オリジナル素材をＭＰＥＧ規格に基づいて符号化して符号化ストリームとして受信装置側に伝送する場合において、オリジナル素材の各フレームに付与されていたオリジナルタイムコードを、受信装置側に伝送することができないという問題があった。
【００１１】
その結果、受信装置側において、オリジナル素材に対して付与されたオリジナルタイムコードを使用して編集したり、オリジナル素材とオリジナルタイムコードとが対応付けられて記録された記憶メディアと全く同じ記録メディアを作成するということが全く実現できなかった。
【００１２】
なお、以上の説明に関連するものとして、以下の先行技術文献が挙げられる（特許文献１〜４）。
【００１３】
【特許文献１】特開平８−７９７０３号公報
【特許文献２】特開平８−２０５０８２号公報
【特許文献３】特開平９−８７６３号公報
【特許文献４】特開平４−３３２９９１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
本発明はかかる問題点に鑑みてなされたもので、その目的は、オリジナル素材データに付随するタイムコードが各ピクチャ（各フレーム）に対応するように記述された符号化ストリームを生成する符号化ストリーム生成装置及び方法、ならびにタイムコードが各ピクチャ（各フレーム）に対応するように記述された符号化ストリームを伝送するデータ伝送システム及び方法を提供するものである。
【００１５】
また、本発明の他の目的は、オリジナル素材データに付随するタイムコードを、符号化ストリームと共に伝送することによって、受信側において、伝送されたタイムコードを使用した編集処理を可能にする編集システムおよび方法を提供するものである。
【課題を解決するための手段】
【００１６】
本発明の符号化ストリーム生成装置は、素材データを符号化することによって得られる符号化ストリームを生成する符号化ストリーム生成装置において、素材データに付随するタイムコードを、符号化ストリームのデータ構造において復号再生の単位毎に存在可能で且つ任意のデータを記録可能な領域に記録して、符号化ストリームを生成する符号化ストリーム生成手段を備えたものである。
【００１７】
本発明の符号化ストリーム生成方法は、素材データを符号化することによって得られる符号化ストリームを生成する符号化ストリーム生成方法において、素材データに付随するタイムコードを、符号化ストリームのデータ構造において復号再生の単位毎に存在可能で且つ任意のデータを記録可能な領域に記録して、符号化ストリームを生成するものである。
【００１８】
これらの符号化ストリーム生成装置または符号化ストリーム生成方法では、素材データに付随するタイムコードが、符号化ストリームのデータ構造において復号再生の単位毎に存在可能で且つ任意のデータを記録可能な領域に記録されて、符号化ストリームが生成される。
【００１９】
本発明の他の符号化ストリーム生成装置は、符号化ストリームを生成する符号化ストリーム生成装置において、ソースビデオデータを符号化することによって得られる複数のレイヤから成る階層構造の符号化ストリームであって、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化ストリーム生成手段を備えたものである。
【００２０】
本発明の他の符号化ストリーム生成方法は、符号化ストリームを生成する符号化ストリーム生成方法において、ソースビデオデータを符号化することによって得られる複数のレイヤから成る階層構造の符号化ストリームであって、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成するものである。
【００２１】
これらの符号化ストリーム生成装置または符号化ストリーム生成方法では、符号化ストリームの複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームが生成される。
【００２２】
本発明のさらに他の符号化ストリーム生成装置は、符号化ストリームを生成する符号化ストリーム生成装置において、ソースビデオデータをＭＰＥＧ規格に基づいて符号化することによって生成される符号化ストリームであって、符号化ストリームのピクチャレイヤのユーザデータエリアに、ソースビデオデータに付随しているタイムコードを示すデータエレメントが記述された符号化ストリームを生成する符号化ストリーム生成手段を備えたものである。
【００２３】
本発明のさらに他の符号化ストリーム生成方法は、符号化ストリームを生成する符号化ストリーム生成方法において、ソースビデオデータをＭＰＥＧ規格に基づいて符号化することによって生成される符号化ストリームであって、符号化ストリームのピクチャレイヤのユーザデータエリアに、ソースビデオデータに付随しているタイムコードを示すデータエレメントが記述された符号化ストリームを生成するものである。
【００２４】
これらの符号化ストリーム生成装置または符号化ストリーム生成方法では、符号化ストリームのピクチャレイヤのユーザデータエリアに、ソースビデオデータに付随しているタイムコードを示すデータエレメントが記述された符号化ストリームが生成される。
【００２５】
本発明のデータ伝送システムは、ソースビデオデータを伝送するデータ伝送システムにおいて、ソースビデオデータとソースビデオデータに付随しているタイムコードとが関連付けられて記憶された記録媒体を備え、記録媒体からソースビデオデータとソースビデオデータに関連するタイムコードを出力するデータ供給手段と、ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手段と、符号化ストリームを伝送する伝送手段と、伝送手段を介して伝送された符号化ストリームを復号化すると共に、符号化ストリームのシンタックスを解析することによって符号化ストリームのピクチャレイヤからタイムコードを抽出する復号化手段と、復号化手段によって復号化された復号化データと復号化手段によって抽出されたタイムコード情報とを関連付けて記録媒体に記録することによって、データ供給手段の記録媒体と同じデータが記録された記録媒体を得るデータ記録手段とを備えたものである。
【００２６】
本発明のデータ伝送方法は、ソースビデオデータを伝送するデータ伝送方法において、ソースビデオデータとソースビデオデータに付随しているタイムコードとが関連付けられて記憶された記録媒体から、ソースビデオデータとソースビデオデータに関連するタイムコードを出力するデータ供給手順と、ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手順と、符号化ストリームを伝送する伝送手順と、伝送手順によって伝送された符号化ストリームを復号化すると共に、符号化ストリームのシンタックスを解析することによって符号化ストリームのピクチャレイヤからタイムコードを抽出する復号化手順と、復号化手順によって復号化された復号化データと復号化手順によって抽出されたタイムコード情報とを関連付けて記録媒体に記録することによって、データ供給手順によって出力するデータが記録された記録媒体と同じデータが記録された記録媒体を得るデータ記録手順とを含むものである。
【００２７】
これらのデータ伝送システムまたはデータ伝送方法では、ソースビデオデータとソースビデオデータに付随しているタイムコードとが関連付けられて記憶された記録媒体から、ソースビデオデータとソースビデオデータに関連するタイムコードが出力され、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームが生成され、この符号化ストリームが伝送される。また、伝送された符号化ストリームが復号化されると共に、符号化ストリームのシンタックスを解析することによって符号化ストリームのピクチャレイヤからタイムコードが抽出され、復号化された復号化データと抽出されたタイムコード情報とを関連付けて記録媒体に記録することによって、データ供給側において出力するデータが記録された記録媒体と同じデータが記録された記録媒体が得られる。
【００２８】
本発明の編集システムは、ソースビデオデータを編集する編集システムにおいて、ソースビデオデータに対して設定された編集点に基づいて、編集リストを生成する手段と、ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手段と、符号化ストリームを伝送する伝送手段と、伝送手段を介して伝送された符号化ストリームを復号化すると共に、符号化ストリームのシンタックスを解析することによって符号化ストリームのピクチャレイヤからタイムコードを抽出する復号化手段と、符号化ストリームのシンタックスを解析することによって得られたタイムコードと編集リストとに基づいて、復号化手段によって復号化された復号化ソースビデオデータを編集する編集手段とを備えたものである。
【００２９】
本発明の編集方法は、ソースビデオデータを編集する編集方法において、ソースビデオデータに対して設定された編集点に基づいて、編集リストを生成する手順と、ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手順と、符号化ストリームを伝送する伝送手順と、伝送手順によって伝送された符号化ストリームを復号化すると共に、符号化ストリームのシンタックスを解析することによって符号化ストリームのピクチャレイヤからタイムコードを抽出する復号化手順と、符号化ストリームのシンタックスを解析することによって得られたタイムコードと編集リストとに基づいて、復号化手順によって復号化された復号化ソースビデオデータを編集する編集手順とを含むものである。
【００３０】
これらの編集システムまたは編集方法では、ソースビデオデータに対して設定された編集点に基づいて編集リストが生成され、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームが生成され、この符号化ストリームが伝送される。また、伝送された符号化ストリームが復号化されると共に、符号化ストリームのシンタックスを解析することによって符号化ストリームのピクチャレイヤからタイムコードが抽出され、この得られたタイムコードと編集リストとに基づいて、復号化された復号化ソースビデオデータが編集される。
【００３１】
本発明の他の編集システムは、ソースビデオデータを符号化することによって得られた符号化ストリームを編集する編集システムにおいて、ソースビデオデータに対して設定された編集点に基づいて、編集リストが生成する手段と、ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手段と、符号化ストリームのシンタックスを解析することによって得られたタイムコードと編集リストとに基づいて、符号化ストリームを編集するストリーム編集手段とを備えたものである。
【００３２】
本発明の他の編集方法は、ソースビデオデータを符号化することによって得られた符号化ストリームを編集する編集方法において、ソースビデオデータに対して設定された編集点に基づいて、編集リストを生成する手順と、ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成する符号化手順と、符号化ストリームのシンタックスを解析することによって得られたタイムコードと編集リストとに基づいて、符号化ストリームを編集するストリーム編集手順とを含むものである。
【００３３】
これらの編集システムまたは編集方法では、ソースビデオデータに対して設定された編集点に基づいて編集リストが生成され、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームが生成される。また、符号化ストリームのシンタックスを解析することによって得られたタイムコードと編集リストとに基づいて、符号化ストリームが編集される。
【００３４】
本発明のさらに他の編集システムは、符号化ストリームを編集する編集システムにおいて、ベースバンドのソースビデオデータを処理することによって設定された編集点に基づいて、編集リストを生成するベースバンドシステムと、ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成し、符号化ストリームのシンタックスを解析することによって得られたタイムコードとベースバンドシステムにおいて生成された編集リストとに基づいて、符号化ストリームをストリームレベルで編集する符号化システムとを備えたものである。
【００３５】
本発明のさらに他の編集方法は、符号化ストリームを編集する編集方法において、ベースバンドのソースビデオデータを処理することによって設定された編集点に基づいて、編集リストを生成する手順と、ソースビデオデータを符号化することによって生成される複数のレイヤから成る階層構造の符号化ストリームであって、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成し、符号化ストリームのシンタックスを解析することによって得られたタイムコードと編集リストを生成する手順によって生成された編集リストとに基づいて、符号化ストリームをストリームレベルで編集する符号化手順とを含むものである。
【００３６】
これらの編集システムまたは編集方法では、ベースバンドのソースビデオデータを処理することによって設定された編集点に基づいて編集リストが生成される。また、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームが生成され、符号化ストリームのシンタックスを解析することによって得られたタイムコードと生成された編集リストとに基づいて、符号化ストリームがストリームレベルで編集される。
【発明の効果】
【００３７】
本発明の符号化ストリーム生成装置または本発明の符号化ストリーム生成方法によれば、素材データに付随するタイムコードを、符号化ストリームのデータ構造において復号再生の単位毎に存在可能で且つ任意のデータを記録可能な領域に記録するようにしたので、素材データに付随するタイムコードを、復号単位毎の符号化ストリームに対応させて確実に伝達することができるという効果を奏する。
【００３８】
また、本発明の他の符号化ストリーム生成装置または本発明の他の符号化ストリーム生成方法によれば、符号化ストリームの複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードを記述した符号化ストリームを生成するようにしたので、オリジナル素材データに付随するタイムコードが各ピクチャに対応するように記述された符号化ストリームを生成することができるという効果を奏する。
【００３９】
また、本発明のさらに他の符号化ストリーム生成装置または本発明のさらに他の符号化ストリーム生成方法によれば、符号化ストリームのピクチャレイヤのユーザデータエリアに、ソースビデオデータに付随するタイムコードを示すデータエレメントが記述された符号化ストリームを生成するようにしたので、オリジナル素材データに付随するタイムコードが各ピクチャに対応するように記述された符号化ストリームを生成することができるという効果を奏する。
【００４０】
また、本発明のデータ伝送システムまたは本発明のデータ伝送方法によれば、送信側では、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成し、この符号化ストリームを伝送し、受信側では、伝送された符号化ストリームを復号化すると共に、符号化ストリームのシンタックスを解析することによって符号化ストリームのピクチャレイヤからタイムコードを抽出し、復号化された復号化データと抽出されたタイムコード情報とを関連付けて記録媒体に記録することによって、データ供給元の記録媒体と同じデータが記録された記録媒体を得るようにしたので、オリジナル素材データに付随するタイムコードが各ピクチャに対応するように記述された符号化ストリームを生成して伝送でき、且つ、受信側において、オリジナル素材データと、このオリジナル素材データの各フレームに付随するタイムコードとが記録された記録媒体を得ることができるという効果を奏する。
【００４１】
また、本発明の編集システムまたは本発明の編集方法によれば、送信側では、ソースビデオデータに対して設定された編集点に基づいて編集リストを生成し、複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成し、この符号化ストリームを伝送し、受信側では、伝送された符号化ストリームを復号化すると共に、符号化ストリームのシンタックスを解析することによって符号化ストリームのピクチャレイヤからタイムコードを抽出し、このタイムコードと編集リストとに基づいて、復号化ソースビデオデータを編集するようにしたので、ソースビデオデータの各フレームに付随しているタイムコードを使用して、送信側における編集処理と全く同じ編集処理を受信側において実現することができるという効果を奏する。
【００４２】
また、本発明の他の編集システムまたは本発明の他の編集方法によれば、ソースビデオデータに対して設定された編集点に基づいて編集リストを生成し、符号化ストリームの複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成し、符号化ストリームのシンタックスを解析することによって得られたタイムコードと編集リストとに基づいて、符号化ストリームを編集するようにしたので、ソースビデオデータの各フレームに付随しているタイムコードを使用して、符号化ストリームの編集を実現することができるという効果を奏する。
【００４３】
また、本発明のさらに他の編集システムまたは本発明のさらに他の編集方法によれば、ベースバンドのソースビデオデータを処理することによって設定された編集点に基づいて編集リストを生成し、ソースビデオデータを符号化することによって生成された複数のレイヤから成る階層構造の符号化ストリームの複数のレイヤのうちのピクチャレイヤに、ソースビデオデータの各フレームに付随しているタイムコードが記述された符号化ストリームを生成し、符号化ストリームのシンタックスを解析することによって得られたタイムコードと編集リストとに基づいて、符号化ストリームをストリームレベルで編集するようにしたので、符号化ストリームをストリームレベルで編集することができ、画質の劣化を防止することができるという効果を奏する。
【００４４】
なお、本発明のその他の目的、特徴及び利益は、次の説明を以て十分明白になるであろう。
【発明を実施するための最良の形態】
【００４５】
以下、本発明の一実施の形態に係る符号化ストリーム生成装置及び符号化ストリーム生成方法について、図面を参照して詳細に説明する。
【００４６】
図１は、本発明の一実施の形態に係る符号化ストリーム生成装置を含むデジタルデータ伝送システムの構成を示すブロック図である。この図１に開示されたデジタルデータ伝送システムは、送信システム１と受信システム２とその間の伝走路３とから構成されている。実際にこのデジタルデータ伝送システムが運用される場合には、この送信システム１と受信システム２は様々な形態が考えられ、例えば、送信システム１が取材現場に配置された中継車である場合には、受信システム２はメインまたは地方等の放送局であることが考えられる。また、送信システム１がメイン放送局である場合には、受信システム２は地方放送局であることが考えられる。以下に、送信システム１及び受信システム２について詳細に説明する。
【００４７】
送信システム１は、大きく分けて、ベースバンドビデオデータ及びベースバンドオーディオデータを処理し、取扱うためのベースバンドシステム１Ａと、符号化された符号化ストリームを取扱う符号化システム１Ｂとから構成される。尚、ここで説明したベースバンドビデオデータ及びベースバンドオーディオデータとは、圧縮符号化されていないデータのことである。
【００４８】
送信システム１のベースバンドシステム１Ａは、取材現場においてビデオカメラ等によって撮影されたオリジナルソース素材が記録されたテープを受取り、そのテープからオリジナルソース素材を再生したり、テープに情報を記録したりするためのＶＴＲ１２と、ランダムアクセス可能な記録媒体を有し、このランダムアクセス可能な記録媒体からオリジナルソース素材を再生したり、記録媒体に情報を記録したりするためのＡ／Ｖサーバ１３と、ＶＴＲ１２におけるテープ及びＡ／Ｖサーバ１３における記録媒体に記録されたオリジナルソース素材を使用して編集リストＥＤＬ（エディットディシジョンリスト）を生成する編集機１４と、ＶＴＲ１２から再生されたビデオデータＤV 及びオーディオデータＤA 、Ａ／Ｖサーバ１３から再生されたビデオデータＤV 及びオーディオデータＤA をルーティングして、所定のブロックに出力するためルータ１５とを備えている。
【００４９】
送信システム１の符号化システム１Ｂは、オリジナルソース素材として供給されたビデオデータＤV をＭＰＥＧビデオ規格に従ってエンコード（符号化）して、ビデオエレメンタリストリーム（ビデオＥＳ）を出力するビデオエンコーダ１６と、オリジナルソース素材として供給されたオーディオデータＤA をＭＰＥＧオーディオ規格に従ってエンコードして、オーディオエレメンタリストリーム（オーディオＥＳ）を出力するオーディオエンコーダ１７と、オリジナルソース素材として供給されたオーディオデータＤA をＡＣ３規格に従ってエンコードして、プライベートエレメンタリストリーム（プライベートＥＳ）を出力するＡＣ３エンコーダ１８と、ビデオエンコーダ１６、オーディオエンコーダ１７及びＡＣ３エンコーダから出力されたエレメンタリストリームをそれぞれパケット化し、パケッタイズドエレメンタリストリーム（ＰＥＳ）をそれぞれ出力するパケッタイザ１９、２０、２１と、このパケッタイザ１９、２０、２１からそれぞれ出力されたパケッタイズドエレメンタリストリームを多重化することによって、トランスポートストリーム（ＴＳ）を生成するトランスポートストリームマルチプレクサ（ＴＳＭＵＸ）１７とから構成される。
【００５０】
図１に示したデジタルデータ伝送システムは、更に、これらのベースバンドシステム１Ａ及び符号化システム１Ｂの各ブロックを制御及び管理するためのＣＰＵ１１を備えている。このＣＰＵ１１は、ＶＴＲ１２又はＡ／Ｖサーバ１３から再生されたビデオデータ及びオーディオデータの各フレームに対応付けられているタイムコードＴＣを受取り、このタイムコードＴＣを所定のフォーマットに変換して、ビデオエンコーダ１６、オーディオエンコーダ１７及びＡＣ３エンコーダに供給する。
【００５１】
また、図１に示した受信システム３は、符号化ストリームを処理し、取り扱う復号化システム３Ａと、復号化されたベースバンドビデオデータやベースバンドオーディオデータを処理し、取り扱うベースバンドシステム３Ｂとを備えている。
【００５２】
受信システム３の復号化システム３Ａは、伝送メディア２を介して送信システム１から伝送されたトランスポートストリームを受取り、ビデオパケッタイズドエレメンタリストリーム（ビデオＰＥＳ）とオーディオパケッタイズドエレメンタリストリーム（オーディオＰＥＳ）とプライベートパケッタイズドエレメンタリストリーム（プライベートＰＥＳ）とにデマルチプレクサするトランスポートストリームデマルチプレクサ（ＴＳＤＥＭＵＸ）３２と、このトランスポートストリームデマルチプレクサ３２より出力されるビデオパケッタイズドエレメンタリストリーム、オーディオパケッタイズドエレメンタリストリーム及びプライベートパケッタイズドエレメンタリストリームをそれぞれデパケット化し、ビデオエレメンタリストリーム（ビデオＥＳ）、オーディオエレメンタリストリーム（オーディオＥＳ）及びプライベートエレメンタリストリーム（プライベートＥＳ）を出力するデパケッタイザ３６、３７及び３８と、このデパケッタイザ３６より出力されたビデオエレメンタリストリームをデコード（復号化）してベースバンドのビデオデータＤV を出力するビデオデコーダ３６と、デパケッタイザ３４から出力されるオーディオエレメンタリストリームをデコードしてベースバンドのオーディオデータＤA を出力するオーディオデコーダ３７と、デパケッタイザ３５から出力されるプライベートエレメンタリストリームをデコードしてベースバンドのオーディオデータＤA を出力するＡＣ３デコーダ３８とを備えている。
【００５３】
また、受信システム３のベースバンドシステム３Ｂは、ビデオデコーダ３６から出力されたビデオデータＤV と、オーディオデコーダ３７から出力されたオーディオデータＤA と、ＡＣ３デコーダ３８から出力されたオーディオデータＤA とを受取り、所定の処理装置にルーティングするためのルータ３９と、ルータ３９から出力されたビデオデータＤV 及びオーディオデータＤA を受取り、テープ状の記録媒体に記録するＶＴＲ４０と、ルータ３９から出力されたビデオデータＤV 及びオーディオデータＤA を受取り、ランダムアクセス可能な記録媒体に記録するＡ／Ｖサーバ４１と、ＶＴＲ４０及びＡ／Ｖサーバ４１に格納されたビデオデータＤV 及びオーディオデータＤA を編集するための編集機４２とを備えている。また、ビデオデコータ３６、オーディオデコーダ３７及びＡＣ３デコーダ３８は、それぞれ、エレメンタリストリームのシンタックスを解析することによって、エレメンタリストリーム中に記述されているタイムコード情報を抽出する機能を有している。
【００５４】
さらに、受信システム３は、復号化システム３Ａ及びベースバンドシステム３Ｂ内の全てのブロックを制御及び管理するためのＣＰＵ４２を備えている。このＣＰＵ４２は、ビデオデコータ３６、オーディオデコーダ３７及びＡＣ３デコーダ３８から出力されたタイムコードデータＴＣを受取り、そのタイムコードＴＣを編集機４２に供給する。
【００５５】
次に、送信システム１と受信システム２の各回路について詳細に説明する。
【００５６】
ＶＴＲ１２及びＡ／Ｖサーバ１３には、オリジナルソース素材としてのベースバンドのビデオデータ及びオーディオデータが記録されている。さらに、そのＶＴＲ１２及びＡ／Ｖサーバ１３に記録されたビデオデータ及びオーディオデータは、各フレーム毎にオリジナルタイムコードと関連付けられている。つまり、ビデオデータ及びオーディオデータの各フレームには、それぞれタイムコードが付与されているということである。
【００５７】
タイムコードには、ＬＴＣ (Longitudinal Time Code / Linear Time Code ) とＶＩＴＣ (Vertical Interval Time Code)の２種類がある。ＬＴＣは、テープの長手方向に設けられたタイムコードトラックに記録されたタイムコードであって、ＶＩＴＣは、映像信号の垂直ブランキング期間に挿入されたタイムコードである。ＬＴＣにおいては、シャトル再生等のように再生ヘッドがテープに対して高速アクセスしている場合には、このＬＴＣからタイムコードを読み取ることができるが、スローやスチール再生等のように再生ヘッドがテープに対して超低速にアクセスしている場合には、このＬＴＣからタイムコードを読み取ることができなくなる。これに対して、ＶＩＴＣにおいては、再生ヘッドがテープに対して超低速にアクセスしている場合には、このＶＩＴＣからタイムコードを読み取ることができるが、再生ヘッドがテープに対して高速アクセスしている場合には、ＶＩＴＣからタイムコードを読み取ることができない。つまり、ＬＴＣ及びＶＩＴＣ共に一長一短があるため、通常は、全く同じタイムコードをＬＴＣ及びＶＩＴＣとしてテープ上に記録し、テープを再生する際にはＬＴＣ又はＶＩＴＣのいずれかによってタイムコードを読み取るようにしている。
【００５８】
本発明の実施例においては、ＶＴＲ１２及びＡ／Ｖサーバ１３では、共にＬＴＣとＶＩＴＣの２種類のタイムコードが所定のフォーマットで記録されており、ＶＴＲ１２及びＡ／Ｖサーバ１３からオリジナルビデオデータ及びオリジナルオーディオデータが再生される場合には、そのオリジナルビデオデータ及びオリジナルオーディオデータに対応したタイムコードＴＣが出力される。
【００５９】
編集機１４は、ＶＴＲ１２及びＡ／Ｖサーバ１３に記録されたオリジナルビデオデータ及びオリジナルオーディオデータにアクセスし、イン点やアウト点等の編集点をオリジナルビデオデータ及びオリジナルオーディオデータに対して設定する。このイン点は編集開始点を示すタイムコードからなり、アウト点は編集終了点を示すタイムコードからなる。編集オペレータが必要と思われる所望のシーンのみを選択するように、この編集機１４を操作して複数の編集点をオリジナルビデオデータ及びオリジナルオーディオデータに対して設定すると、その設定された編集点に従って編集リスト（ＥＤＬ）が生成される。この編集リストは、設定されたイン点のタイムコード及びアウト点のタイムコードに基づく単なるタイムコードのリストである。尚、Ａ／Ｖサーバ１３から出力されるビデオデータＤV 及びオーディオデータＤA は、この編集リストに従って編集されたビデオデータ及びオーディオデータでは無く、編集されていないオリジナルのビデオデータ及びオーディオデータである。本発明の実施例においては、この編集機１４によって生成された編集リストに従って、オリジナルビデオデータ及びオリジナルオーディオデータを編集し、編集されたビデオデータ及び編集されたオーディオデータを作成する編集処理は、受信システム３の編集機４２によって行われる。
【００６０】
ルータ１５は、ＶＴＲ１２及びＡ／Ｖサーバ１３から再生されたオリジナルビデオデータＤV 及びオリジナルオーディオデータＤA をルーティングして、所定のプロセッサに供給するための回路である。例えば、オリジナルビデオデータＤV は、ビデオエンコーダ１６に供給されるようにルーティングされ、オリジナルオーディオデータＤA は、オーディオエンコーダ１７又はＡＣ３エンコーダ１８に供給されるようにルーティングされる。
【００６１】
ビデオエンコーダ１６は、供給されたオリジナルビデオデータＤV をＭＰＥＧ規格に従って圧縮符号化することによって符号化ストリーム（又はビデオエレメンタリストリームとも言う）を生成する回路である。また、ビデオエンコーダ１６は、ＣＰＵ１１から、オリジナルビデオデータＤV に対応したオリジナルタイムコードＴＣを各フレーム毎に受取り、そのタイムコードＴＣを、符号化ストリームにおけるピクチャレイヤのユーザデータエリアに記述する。符号化ストリームのどの場所にこのタイムコードＴＣを記述するかについては詳しくは後述する。
【００６２】
オーディオエンコーダ１７は、供給されたオリジナルオーディオデータＤA をＭＰＥＧ規格に従って圧縮符号化することによって符号化オーディオストリーム（オーディオエレメンタリストリームとも言う）を生成する回路である。また、オーディオエンコーダ１７は、ＣＰＵ１１から、オリジナルオーディオデータＤA に対応したオリジナルタイムコードＴＣを各フレーム毎に受取り、そのタイムコードＴＣを、符号化ストリーム中に記述する。符号化ストリームのどの場所にこのオリジナルタイムコードを記述するかについては詳しくは後述する。
【００６３】
ＡＣ３エンコーダ１８は、供給されたオリジナルオーディオデータＤA をＡＣ３規格に従って圧縮符号化することによって符号化プライベートストリーム（プライベートエレメンタリストリームとも言う）を生成する回路である。また、ＡＣ３エンコーダ１８は、ＣＰＵ１１から、オリジナルオーディオデータＤA に対応したオリジナルタイムコードＴＣを各フレーム毎に受取り、そのタイムコードＴＣを、符号化ストリーム中に記述する。符号化ストリームのどの場所にこのオリジナルタイムコードを記述するかについては詳しくは後述する。
【００６４】
パケッタイザ１９、２０及び２１は、ビデオエンコーダ１６から出力されたビデオエレメンタリストリーム、オーディオエンコーダ１７から出力されたオーディオエレメンタリストリーム、及びＡＣ３エンコーダ１７から出力されたプライベートエレメンタリストリームをそれぞれ受取り、ＤＶＢ（デジタルビデオブロードキャスティング）において規格化されているパケッタイズドエレメンタリストリームの形態になるようにそれぞれパケット化する。パケッタイザ１９は、パケット化したビデオエレメンタリストリームを、ビデオパケタイズドエレメンタリストリームとしてトランスポートストリームマルチプレクサ２２に出力し、パケッタイザ２０は、パケット化したオーディオエレメンタリストリームを、オーディオパケタイズドエレメンタリストリームとしてトランスポートストリームマルチプレクサ２２に出力し、パケッタイザ２１は、パケット化したプライベートエレメンタリストリームを、プライベートパケタイズドエレメンタリストリームとしてトランスポートストリームマルチプレクサ２２に出力する。
【００６５】
トランスポートストリームマルチプレクサ２２は、ビデオパケッタイズドエレメンタリストリームとオーディオパケッタイズドエレメンタリストリームとプライベートパケッタイズドエレメンタリストリームをそれぞれトランスポートストリームパケットの単位に分解し、そのトランスポートストリームパケット単位に分解されたパケットをそれぞれ多重化することによってトランスポートストリームを生成する。
【００６６】
トランスポートストリームデマルチプレクサ３２は、伝送メディア２を介して伝送されたトランスポートストリームを、ビデオパケッタイズドエレメンタリストリームとオーディオパケッタイズドエレメンタリストリームとプライベートパケッタイズドエレメンタリストリームとに分離（デマルチプレクス）し、ビデオパケッタイズドエレメンタリストリームをデパケッタイザ３３に出力し、オーディオパケッタイズドエレメンタリストリームをオーディオデコーダ３７に出力し、プライベートパケッタイズドエレメンタリストリームをＡＣ３デコーダに出力する。
【００６７】
デパケッタイザ３３は、ビデオパケッタイズドエレメンタリストリームをデパケット化して、ビデオエレメンタリストリームをビデオデコーダ３６に出力し、デパケッタイザ３４は、オーディオパケッタイズドエレメンタリストリームをデパケット化して、オーディオエレメンタリストリームをオーディオデコーダ３７に出力し、デパケッタイザ２６は、プライベートパケッタイズドエレメンタリストリームをデパケット化して、プライベートエレメンタリストリームをＡＣ３デコーダ３８に出力する。
【００６８】
ビデオデコーダ３６は、まず、供給されたビデオエレメンタリストリームを復号化する前に、ビデオエレメンタリストリームのシンタックスを解析する。符号化ストリームのシンタックスを解析することによって、ストリームのピクチャレイヤやマクロブロックレイヤをデータエレメントとしてストリーム中に記述されたピクチャタイプ、予測モード、動きベクトル、量子化ステップ、及びＤＣＴモード等の符号化パラメータを、符号化ストリーム中から抽出する。このように符号化ストリームのシンタックスを解析する理由は、エンコーダにおける符号化処理に対応した復号化処理を行なう必要があるからである。本発明の実施例においては、このように符号化ストリームのシンタックスを解析する際に、ピクチャレイヤのユーザデータエリアにピクチャ毎に記述されているタイムコードを抽出する。ビデオデコーダ３６は、ストリームから抽出された各種の符号化パラメータに従って、符号化ストリームを復号化し、復号化されたビデオデータＤV をルータ３９に供給する。さらに、ビデオデコーダ３６は、符号化ストリーム中から抽出したフレーム毎のタイムコードＴＣをＣＰＵ３１に供給する。
【００６９】
オーディオデコーダ３７は、まず、供給されたオーディオエレメンタリストリームを復号化する前に、オーディオエレメンタリストリームのシンタックスを解析する。このように、符号化ストリームのシンタックスを解析することによって、ストリーム中に記述された符号化パラメータをストリーム中から抽出する。本発明の実施例においては、この符号化ストリームのシンタックスを解析する際に、符号化ストリーム中に記述されているタイムコード情報をフレーム毎に抽出する。オーディオデコーダ３６は、ストリームから抽出された符号化パラメータに従って、符号化オーディオストリームを復号化し、復号化されたオーディオデータＤA をルータ３９に供給する。さらに、オーディオデコーダ３７は、符号化ストリーム中から抽出したフレーム毎のタイムコードＴＣをＣＰＵ３１に供給する。
【００７０】
ＡＣ３デコーダ３８は、まず、供給されたプライベートエレメンタリストリームを復号化する前に、プライベートエレメンタリストリームのシンタックスを解析する。このように、符号化ストリームのシンタックスを解析することによって、ストリーム中に記述された符号化パラメータをストリーム中から抽出する。本発明の実施例においては、この符号化ストリームのシンタックスを解析する際に、符号化ストリーム中に記述されているタイムコード情報を抽出する。プライベートデコーダ３６は、ストリームから抽出された符号化パラメータに従って、符号化プライベートストリームを復号化し、復号化されたオーディオデータＤA をルータ３９に供給する。さらに、ＡＣ３デコーダ３８は、符号化ストリーム中から抽出したフレーム毎のタイムコードＴＣをＣＰＵ３１に供給する。
【００７１】
ビデオデコーダ３６、オーディオデコーダ３７及びＡＣ３デコーダ３８から出力されたベースバンドのビデオデータＤV 又はベースバンドのオーディオデータＤA は、ルータ３９を介してＶＴＲ４０又はＡ／Ｖサーバ４１に供給される。
【００７２】
ＣＰＵ３１は、ビデオデコーダ３６から出力されるビデオデータＤV の各フレームに対応したタイムコードＴＣを、ビデオデコーダ３６から受取り、オーディオデコーダ３７から出力されるオーディオデータＤA の各フレームに対応したタイムコードＴＣを、オーディオデコーダ３７から受取り、また、ＡＣ３デコーダ３８から出力されるオーディオデータＤA の各フレームに対応したタイムコードＴＣを、ＡＣ３デコーダ３８から受取る。さらに、ＣＰＵ３１は、ビデオデコーダ３６、オーディオデコーダ３７及びＡＣ３デコーダ３８から受取ったタイムコードＴＣに基づいて、ＶＴＲ４０又はＡ／Ｖサーバ４１に供給されるベースバンドのビデオデータＤV 及びベースバンドのオーディオデータＤA に対応したタイムコードＴＣを、ＶＴＲ４０及びＡ／Ｖサーバ４１に供給する。
【００７３】
ＶＴＲ４０又はＡ／Ｖサーバ４１は、ルータ３９から供給されたベースバンドのビデオデータＤV 及びベースバンドのオーディオデータＤA を記録媒体上に記録する際に、ＣＰＵ３１から供給されたタイムコードＴＣとビデオデータＤV 及びオーディオデータＤA の各フレームとを関連付けて記録する。例えば、ＶＴＲ４０において、ビデオデータＤV とオーディオデータＤA を、テープ上に記録する場合には、ＣＰＵ３１から供給されたタイムコードＴＣに含まれるＶＩＴＣを、ビデオデータＤV のブランキング区間に挿入して、それをテープ上の傾斜トラックに記録すると共に、ＣＰＵ３１から供給されたタイムコードＴＣに含まれるＬＴＣを、テープ上の長手トラックに記録する。
【００７４】
従って、ＶＴＲ４０及びＡ／Ｖサーバ４１の記録媒体には、送信システム１のＶＴＲ１２の記録媒体及びＡ／Ｖサ−バの記録媒体に記録されていたオリジナルビデオデータ、オリジナルオーディオ及びオリジナルタイムコードと、全く同じビデオデータ、オーディオ及びタイムコードが記録されることになる。
【００７５】
編集機４２は、送信システム１の編集機１４から電話回線等によって伝送された編集リストを受取り、その編集リストに従って、ＶＴＲ４０及びＡ／Ｖサーバ４２に記録されたビデオデータＤV 及びオーディオデータＤA を編集する。もちろん、送信システム１の編集機１４から供給される編集リストがなかったとしても、ＶＴＲ４０及びＡ／Ｖサーバ４１の記録媒体には、送信システム１のＶＴＲ１２の記録媒体及びＡ／Ｖサ−バの記録媒体に記録されていたオリジナルビデオデータ、オリジナルオーディオ及びオリジナルタイムコードと、全く同じビデオデータ、オーディオ及びタイムコードが記録されているので、そのタイムコードを使用して送信システム１の編集機１４における編集処理と同じ編集処理を行なうことができる。
【００７６】
以上のように、従来のＭＰＥＧを用いた伝送システムでは、伝送された符号化ストリームには各フレーム毎にタイムコードが重畳されていなかったので、符号化ストリームと共に受信側に各フレーム毎のタイムコードを伝送することはできなかったが、図１に示されたデジタルデータ伝送システムによれば、送信側においてオリジナル素材に付与されたオリジナルタイムコードを符号化ストリームにおいて各フレーム毎に重畳するようにしたので、受信側においてもオリジナル素材に付与されていたオリジナルタイムコードを再現できる。その結果、送信側においてオリジナル素材とそのオリジナル素材の各フレームに関連付けられたオリジナルタイムコードが記録された記録媒体と全く同じタイムコードが記録された記録媒体を受信側において作成することができる。
【００７７】
従って、受信側の記録媒体に記録されたオリジナルタイムコードを使用すれば、送信側の編集処理と全く同じ編集処理を受信側においても実現することができる。また、送信側の記録媒体と受信側の記録媒体とは全く同じ記録媒体であるので、送信側にいてオリジナル素材に対して生成された編集リストを使用すれば、受信側においては自動的に編集処理を実行することができる。
【００７８】
図２は、本発明の他の実施の形態に係るデジタルデータ処理システムの構成を示すブロック図である。図１において説明したデジタルデータ伝送システムと図２に開示されたデジタルデータ処理システムと異なる点は、図１のデジタル伝送システムでは、受信システム３側において、伝送された符号化ストリームをデコードした後、ベースバンドのビデオデータ及びベースバンドのオーディオデータを編集するようにしているのに対して、この図２に開示されたデジタルデータ処理システムでは、復号化されたベースバンドのビデオデータ及びオーディオデータを編集するのでは無く、符号化ストリームの状態で編集するようにしている点が異なる。
【００７９】
図２に示されたデジタルデータ処理システムは、ベースバンドビデオデータ及びベースバンドオーディオデータを処理し、取り扱うためのベースバンドシステム５０Ａと、符号化された符号化ストリームを取り扱う符号化システム５０Ｂとから構成される。
【００８０】
図２に示されたデジタルデータ処理システムにおけるベースバンドシステム５０Ａは、ランダムアクセス可能な記録媒体からベースバンドのオリジナル素材を再生するためのＡ／Ｖサーバ５２と、Ａ／Ｖサーバ５２の記録媒体に記録されたオリジナル素材を使用して編集リストＥＤＬを生成する編集機５３とを備えている。
【００８１】
また、図２に示されたデジタルデータ処理システムにおける符号化システム５０Ｂは、Ａ／Ｖサーバ５２から再生されたベースバンドのビデオデータＤV をＭＰＥＧ規格に基づいて符号化し、ビデオエレメンタリストリームを出力するビデオエンコーダ５４と、Ａ／Ｖサーバ５２から再生されたベースバンドのオーディオデータＤA をＭＰＥＧ規格に基づいて符号化し、オーディオエレメンタリストリームを出力するオーディオエンコーダ５５と、Ａ／Ｖサーバ５２から再生されたベースバンドのオーディオデータＤA をＡＣ３規格に基づいて符号化し、オーディオエレメンタリストリームを出力するＡＣ３エンコーダ５６と、ビデオエンコーダ５４、オーディオエンコーダ５５及びＡＣ３エンコーダ５６から出力されたエレメンタリストリームのシンタックスをそれぞれ解析し、エレメンタリストリーム中に記述されたタイムコード情報を抽出するストリーム解析部５７と、ビデオエンコーダ５４、オーディオエンコーダ５５及びＡＣ３エンコーダ５６から出力されたエレメンタリストリームを、それぞれランダムアクセス可能な記録媒体に記録するストリームサーバ５９とを有している。
【００８２】
さらに、図２に示されたデジタルデータ処理システムは、これらのベースバンドシステム５０Ａ及び符号化システム５０Ｂの各ブロックを制御及び管理するためのＣＰＵ５１を備えている。このＣＰＵ５１は、Ａ／Ｖサーバ５２から再生されたビデオデータ及びオーディオデータの各フレームに対応付けられているタイムコードＴＣを受取り、このタイムコードＴＣを所定のフォーマットに変換して、ビデオエンコーダ５４、オーディオエンコーダ５５及びＡＣ３エンコーダ５６に供給する。
【００８３】
Ａ／Ｖサーバ５２には、Ａ／Ｖサーバ１３と同じように、オリジナルソース素材としてのベースバンドのビデオデータ及びオーディオデータが記録されており、さらに、ビデオデータ及びオーディオデータは、各フレーム毎にオリジナルタイムコードと関連付けられて記録媒体に記録されている。また、Ａ／Ｖサーバ５２には、共にＬＴＣとＶＩＴＣの２種類のタイムコードが所定のフォーマットで記録されており、Ａ／Ｖサーバ５２からオリジナルビデオデータ及びオリジナルオーディオデータが再生される場合には、そのオリジナルビデオデータ及びオリジナルオーディオデータの各フレームに対応したオリジナルタイムコードＴＣが出力される。
【００８４】
編集機５３は、Ａ／Ｖサーバ５２に記録されたオリジナルビデオデータ及びオリジナルオーディオデータにアクセスし、イン点やアウト点から構成される編集点を、オリジナルビデオデータ及びオリジナルオーディオデータに対して設定する。編集オペレータがこの編集機１４を操作することによって、オリジナルビデオデータ及びオリジナルオーディオデータに対して、編集オペレータが必要と思われる所望のシーンのみを選択するように、複数のイン点及びアウト点によって定義される編集区間を設定すると、その設定したイン点及びアウト点に従って編集リスト（ＥＤＬ）が生成される。尚、Ａ／Ｖサーバ５２から出力されるビデオデータＤV 及びオーディオデータＤA は、この編集リストに従って編集されたビデオデータ及びオーディオデータでは無く、編集されていないオリジナルのビデオデータ及びオーディオデータである。本発明の実施例においては、この編集機５２によって生成された編集リストに従ってオリジナルビデオデータ及びオリジナルオーディオデータを実際に編集し、編集されたビデオデータ及び編集されたオーディオを生成する編集処理は、編集機５８によって行われる。
【００８５】
ビデオエンコーダ５４は、供給されたオリジナルビデオデータＤV をＭＰＥＧ規格に従って圧縮符号化することによって符号化ストリーム（ビデオエレメンタリストリームとも言う）を生成する回路である。また、ビデオエンコーダ５４は、ＣＰＵ５１から、オリジナルビデオデータＤV に対応したオリジナルタイムコードＴＣを各フレーム毎に受取り、そのタイムコードＴＣを、符号化ストリームのピクチャレイヤのデータエレメントとして記述する。符号化ストリームのどの場所にこのオリジナルタイムコードを記述するかについては詳しくは後述する。
【００８６】
オーディオエンコーダ５５は、供給されたオリジナルオーディオデータＤA をＭＰＥＧ規格に従って圧縮符号化することによって符号化オーディオストリーム（オーディオエレメンタリストリームとも言う）を生成する回路である。また、オーディオエンコーダ５５は、ＣＰＵ５１から、オリジナルオーディオデータＤA に対応したオリジナルタイムコードＴＣを各フレーム毎に受取り、そのタイムコードＴＣを、符号化ストリーム中に記述する。
【００８７】
ＡＣ３エンコーダ５６は、供給されたオリジナルオーディオデータＤA をＡＣ３規格に従って圧縮符号化することによって符号化プライベートストリーム（プライベートエレメンタリストリームとも言う）を生成する回路である。また、ＡＣ３エンコーダ５６は、ＣＰＵ５１から、オリジナルオーディオデータＤA に対応したオリジナルタイムコードＴＣを各フレーム毎に受取り、そのタイムコードＴＣを、符号化ストリーム中に各フレーム毎に記述する。
【００８８】
ストリーム解析部５７は、ビデオエンコーダ５４、オーディオエンコーダ５５及びＡＣ３エンコーダ５６からそれぞれ供給されたエレメンタリストリームのシンタックスを解析する。ストリーム解析部５７は、それぞれ供給されたエレメンタリストリームのシンタックスを解析することによって、ピクチャレイヤのユーザデータエリアに記述されているタイムコード情報をフレーム毎（ピクチャ毎）に抽出する。ストリーム解析部５７は、ストリームサーバ５９に供給されるエレメンタリストリームの各フレーム（ピクチャ）に対応するタイムコードＴＣを編集機５８に供給する。
【００８９】
編集機５８は、ストリームサーバ５９の記録再生タイミング及び記録媒体上におけるデータの記録アドレスを管理するための機能を有している。編集機５８は、ストリーム解析部５８によってエレメンタリストリームから抽出されたタイムコードＴＣを受取り、このタイムコードＴＣに対応した書込みアドレスを生成し、その書込みアドレスをストリームサーバ５９に供給する。すなわち、この編集機５８は、ストリームサーバ５９の記録媒体に記録された符号化ストリームと、そのフレームに付与されているタイムコードとを関連付けるためのテーブル状のメモリを有している。従って、このテーブルを参照することによって、所望のタイムコードに対応する符号化ストリームがストリームサーバ５９における記録媒体のどのアドレスに記憶されているのかを判断することができる。また、編集機５８は、ベースバンドシステム内の編集機５３から編集リストを受取り、上述したメモリ内の記録アドレスとこの編集リストに基づいて、ストリームサーバ５９の再生を制御する。具体的には、編集リストによって指定されたイン点とアウト点の区間のストリームをストリームサーバ５９から再生するようにストリームサーバの記録再生を制御する。従って、ストリームサーバ５９から出力された編集ストリームは、編集機５３において生成された編集リストに対応したストリームとなる。
【００９０】
以上のように、図２に示されたデジタルデータ処理システムによれば、ベースバンドシステム５０Ａにおいて生成した編集リストに従って、符号化ストリームをストリームの状態のまま編集することができる。例えば、図１に示されたデジタルデータ伝送システムのＡ／Ｖサーバ４１から出力された編集されたビデオデータ及び編集されたオーディオデータを含んだ編集プログラムはベースバンドデータであるので、この編集プログラムを他の伝送路に伝送する場合には、再びこの編集プログラムを符号化する必要がある。しかしながら、図２に示されたデジタルデータ処理システムによれば、ストリームサーバ５９から出力された編集ストリームは符号化ストリームの状態のままであるので、再度符号化処理すること無く、伝送媒体に伝送することができる。よって、図２に示されたデジタルデータ処理システムによれば、再符号化処理による画質劣化を防止することができるという効果を有している。
【００９１】
図３は、ビデオエンコーダ１６、５６の構成の一例を示すブロック図である。このビデオエンコーダ１６、５６は、ビデオエンコーダ内の全てのブロックを制御及び管理するためのエンコードコントローラ６０と、ベースバンドのビデオデータＤV を受取り、符号化する順番に従ってピクチャ（Ｉピクチャ（intra coded picture ），Ｐピクチャ（predictive coded picture），Ｂピクチャ（bidirectionally predictive coded picture））の順番を並べ替える画像並べ替え回路６１と、この画像並べ替え回路６１の出力データを入力し、フレーム構造かフィールド構造かを判別し、判別結果に応じた走査変換及び１６×１６画素のマクロブロック化を行う走査変換・マクロブロック化回路６２と、この走査変換・マクロブロック化回路６２の出力データに基づいて、動きベクトルを検出して、動きベクトルデータを出力する動き検出回路６３と、走査変換・マクロブロック化回路６２の出力データと予測画像データとの差分をとる減算回路６４と、この減算回路６４の出力データに対して、ＤＣＴ（離散コサイン変換）ブロック単位でＤＣＴを行い、ＤＣＴ係数を出力するＤＣＴ回路６５と、このＤＣＴ回路６５の出力データを量子化する量子化回路６６と、この量子化回路６６の出力データを可変長符号化する可変長符号化回路６７と、この可変長符号化回路６７の出力データを一旦保持し、ビデオエレメンタリストリーム（ＥＳ）として出力するバッファメモリ６８とを備えている。
【００９２】
ビデオエンコーダ１６、５４は、さらに、量子化回路６６の出力データを逆量子化する逆量子化回路６９と、この逆量子化回路６９の出力データに対して逆ＤＣＴを行う逆ＤＣＴ回路７０と、この逆ＤＣＴ回路７０の出力データと予測画像データとを加算して出力する加算回路７１と、この加算回路７１の出力データを保持し、動きベクトルに基づいて動き補償を行って予測画像データを減算回路６４及び加算回路７１に出力する動き補償回路７２と、可変長符号化回路６７からの発生ビット量データに基づいて、量子化回路６６における量子化特性を制御することによって目標符号量を制御するビットレートコントロール部４３とを備えている。
【００９３】
画像並べ替え回路６１は、ベースバンドのビデオデータＤV を受取り、エンコーダコントローラ６０の制御に従って、符号化する順番に従ってピクチャの順番の並べ替えを行なう。ピクチャの順番が並べ替えられたデータは、走査変換・マクロブロック化回路６２に供給される。走査変換・マクロブロック化回路６２は、供給されたデータの予測モードに基づいてフレーム／フィールド等の走査変換及びマクロブロック化が行われる。動き検出回路６３は、走査変換・マクロブロック化回路６２の出力データから動きベクトルを検出し、その検出した動きベクトルデータを出力する。
【００９４】
供給されたビデオデータをＩピクチャとして符号化する場合には、減算回路６４において予測画像データとの差分をとることなく、走査変換・マクロブロック化回路６２の出力データをそのままＤＣＴ回路６５に入力してＤＣＴを行い、量子化回路６６によってＤＣＴ係数を量子化し、可変長符号化回路６７に供給する。
【００９５】
供給されたビデオデータをＰピクチャとして符号化する場合には、動き補償回路７２によって、保持している過去のＩピクチャまたはＰピクチャに対応する画像データと動き検出回路６３からの動きベクトルとに基づいて予測画像データを生成し、予測画像データを減算回路６４及び加算回路７１に出力する。また、減算回路６４によって、走査変換・マクロブロック化回路６２の出力データと動き補償回路７２からの予測画像データとの差分をとり、ＤＣＴ回路６５によってＤＣＴを行い、量子化回路６６によってＤＣＴ係数を量子化し、その量子化されたデータを可変長符号化回路６７に供給する。
【００９６】
供給されたビデオデータをＢピクチャとして符号化する場合には、動き補償回路７２によって、保持している過去及び未来のＩピクチャまたはＰピクチャに対応する２つの画像データと動き検出回路６３からの２つの動きベクトルとに基づいて予測画像データを生成し、予測画像データを減算回路６４及び加算回路７１に出力する。また、減算回路６４によって、走査変換・マクロブロック化回路６２の出力データと動き補償回路７２からの予測画像データとの差分をとり、ＤＣＴ回路６５によってＤＣＴを行い、量子化回路６６によってＤＣＴ係数を量子化し、量子化されたデータを可変長符号化回路６７に供給する。
エンコードコントローラ６０は、ピクチャタイプ、予測モード、動きベクトル、量子化ステップ、及びＤＣＴモード等のＭＰＥＧ規格において定義されている各種の符号化パラメータを可変長符号化回路６７に供給すると共に、ＣＰＵ１１から供給されたタイムコードＴＣを可変長符号化回路６７に供給する。この符号化パラメータとは、シーケンスレイヤ、ＧＯＰレイヤ、ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ、及びブロックレイヤとして記述すべきデータエレメントのことである。
【００９７】
可変長符号化回路６７は、量子化回路６６において量子化されたデータを可変長符号化すると共に、その可変長符号化された符号化データとエンコードコントローラ６０から供給された各種の符号化パラメータとに従って、シーケンスレイヤ、ＧＯＰレイヤ、ピクチャレイヤ、マクロブロックレイヤに適切なデータ及びデータエレメントを記述することによって、符号化ストリームを生成する。この符号化ストリームを生成する際に、可変長符号化回路６７は、エンコードコントローラ６０から供給されるタイムコードＴＣを、ピクチャレイヤのユーザデータエリアに記述することによって、各ピクチャ毎にタイムコード情報が付加（重畳）された符号化ストリームを生成する。
【００９８】
以上のようにして、オリジナルビデオデータに付随するオリジナルタイムコードが各フレーム毎に付加された符号化ビデオエレメンタリストリームが生成される。
【００９９】
図４は、図１及び図２に示したオーディオエンコーダ１７、５５の構成の一例を示すブロック図である。このオーディオエンコーダ１７、５５は、ベースバンドのオーディオデータＤA を入力し、３２帯域のサブバンド信号に分割して出力するサブバンド分析フィルタバンク８１と、このサブバンド分析フィルタバンク８１の各出力信号を量子化する線形量子化器８２と、この線形量子化器８２の各出力信号に基づいて、符号化されたオーディオデータを生成すると共に、この符号化されたオーディオデータに、ＣＲＣ（巡回冗長チェック）のためのエラーチェックや、後述する符号化されたサイド情報や、ＣＰＵ１１からのタイムコードデータＴＣ等を付加して、所定のデータ構造のビットストリームを形成し、オーディオエレメンタリストリーム（ＥＳ）として出力するビットストリーム形成部８３とを備えている。
【０１００】
オーディオエンコーダ１７、５５は、更に、入力されるオーディオデータＤA を高速フーリエ変換（ＦＦＴ）するＦＦＴ部８４と、サブバンド分析フィルタバンク８１の各出力信号よりスケールファクタを抽出するスケールファクタ抽出部８５と、ＦＦＴ部８４の出力信号とスケールファクタ抽出部８５によって抽出されたスケールファクタとを用いて、心理聴覚分析のための心理聴覚モデルを形成する心理聴覚モデル形成部８６と、この心理聴覚モデル形成部８６によって形成された心理聴覚モデルに基づいて、動的にビット割り当てを行い、ビット割り当て情報を線形量子化器８２に与えて、線形量子化器８２における量子化特性を制御する動的ビット割当部８７と、スケールファクタ抽出部８５によって抽出されたスケールファクタ及び動的ビット割当部８７からのビット割り当て情報を、サイド情報として符号化し、符号化されたサイド情報をビットストリーム形成部８３に与えるサイド情報符号化部８８とを備えている。
【０１０１】
サブバンド分析フィルタバンク８１は、供給されたベースバンドのオーディオデータＤA を受取り、このオーディオデータＤA を３２帯域のサブバンド信号に分割し、このサブバンド信号を、線形量子化器８２に出力する。また、ＦＦＴ部８４は、供給されたベースバンドのオーディオデータＤA を受取り、オーディオデータＤA を高速フーリエ変換し、そのフーリエ変換された信号を心理聴覚モデル形成部８６に供給する。
【０１０２】
スケールファクタ抽出部８５は、サブバンド分析フィルタバンク８１の各出力信号からスケールファクタを抽出し、その抽出したスケースファクタ情報を心理聴覚モデル形成部８６に供給する。心理聴覚モデル形成部８６は、ＦＦＴ部８４からの出力信号とスケールファクタ抽出部８５によって抽出されたスケールファクタ情報とを用いて、心理聴覚分析のための心理聴覚モデルを形成する。
【０１０３】
動的ビット割当部８７は、この心理聴覚モデル形成部８６によって生成された心理聴覚モデルに基づいて、動的にビット割り当てが行われ、線形量子化器８２における量子化特性を制御するための制御信号を生成する。線形量子化器８２は、動的ビット割当部８７からの量子化特性制御信号によって量子化特性が制御される。この線形量子化器８２の出力信号は、ビットストリーム形成部８３に供給される。
【０１０４】
サイド情報符号化部８８は、スケールファクタ抽出部８５によって抽出されたスケールファクタ及び動的ビット割当部８７からのビット割り当て情報を、サイド情報として符号化し、ビットストリーム形成部８３に供給する。
【０１０５】
ビットストリーム形成部８３は、線形量子化器８２の各出力信号を使用して、符号化されたオーディオデータが生成されると共に、この符号化されたオーディオデータに、エラーチェックや、サイド情報符号化部８８によって符号化されたサイド情報を付加する。さらに、このビットストリーム形成部８３は、この符号化されたオーディオデータに、ＣＰＵ１１からのタイムコードデータＴＣ等を付加し、所定のデータ構造のビットストリームを形成する。このようにして、タイムコードが付加されたオーディオエレメンタリストリームが生成される。
【０１０６】
図５は、図１及び図２に示したＡＣ３エンコーダ１８、５９の構成の一例を示すブロック図である。このＡＣ３エンコーダ１８、５９は、ベースバンドのオーディオデータＤA を受取り、周波数領域に変換して、指数部と仮数部からなる周波数係数を出力する周波数領域変換部９１を備えている。周波数係数の指数部は、オーディオデータのスペクトラルエンベロープ（Spectralenvelope ）を示している。ＡＣ３エンコーダ１８、５９は、更に、周波数領域変換部９１より出力される周波数係数の指数部を符号化するスペクトラルエンベロープ符号化部９２と、周波数領域変換部９１より出力される周波数係数の仮数部を量子化する量子化部９３と、スペクトラルエンベロープ符号化部９２の出力データに基づいてビット割り当てを行い、ビット割り当て情報を量子化部９３に与えて、量子化部９３における量子化特性を制御するビット割当部９４と、スペクトラルエンベロープ符号化部９２の出力データ及び量子化部９３の出力データに、ＣＰＵ１１からのタイムコードデータＤTC等を付加して、これらによって、所定のデータ構造のビットストリームを形成し、プライベートエレメンタリストリーム（ＥＳ）として出力するビットストリーム形成部９５とを備えている。
【０１０７】
周波数領域変換部９１は、供給されたベースバンドのオーディオデータＤA を、周波数領域に変換すると共に、その周波数領域に変換されたデータを指数部と仮数部からなる周波数係数に分解し、周波数係数の仮数部を量子化部９３に出力し、周波数係数の指数部をスペクトラルエンベロープ符号化部９２に出力する。
【０１０８】
スペクトラルエンベロープ符号化部９２は、周波数領域変換部９１から供給された周波数係数の指数部を符号化し、その符号化されたデータを、ビット割当部９４とビットストリーム形成部９５とに出力する。
【０１０９】
量子化部９３は、周波数領域変換部９１から供給された周波数係数の仮数部を量子化し、その量子化したデータを、ビットストリーム形成部９５に出力する。
【０１１０】
ビット割当部９４は、スペクトラルエンベロープ符号化部９２の出力データに基づいてビット割り当てを行い、ビット割り当て情報を量子化部９３に与える。このビット割当部９４からのビット割り当て情報に基づいて量子化部９３における量子化特性が制御される。
【０１１１】
ビットストリーム形成部９５は、ＣＰＵ１１からタイムコードデータＴＣを受取り、スペクトラルエンベロープ符号化部９２の出力データ及び量子化部９３の出力データに、そのタイムコードデータＴＣを付加する。
【０１１２】
これらによって、所定のデータ構造のビットストリームが形成され、プライベートエレメンタリストリーム（ＥＳ）として出力される。このようにして、タイムコードが付加されたプライベートエレメンタリストリームが生成される。
【０１１３】
次に、ＭＰＥＧ規格に基づいて符号化された符号化ストリームに対してタイムコードを付加したときの符号化ストリームの構造について説明する。
【０１１４】
図６は、ＭＰＥＧのビデオストリームのシンタックスを表わした図である。ビデオエンコーダ１６、５４は、この図に示されたシンタックスに従った符号化ストリームを生成すると共に、ビデオデコーダ３６は、この図に示されたシンタックスに従って符号化ストリームを解析することによって、符号化ビットストリームから意味のある複数のデータ項目（データエレメント）を抽出する。図では、以下に説明するシンタックスのうち、関数や条件文は細活字で表わされ、データエレメントは、太活字で表されている。データ項目は、その名称、ビット長及びそのタイプ・伝送順序を示すニーモニック（Mnemonic）で記述されている。
【０１１５】
まず、この図６に示されているシンタックスにおいて使用されている関数について説明する。実際には、この図６に示されているシンタックスは、ビデオデコーダ側において伝送された符号化ストリームから所定の意味のあるデータを抽出するために使用されるシンタックスである。ビデオエンコーダ側において使用されるシンタックスは、図６に示されたシンタックスからif文やwhile文等の条件文を省略したシンタックスである。
【０１１６】
video sequesce()において最初に記述されているnext start code() 関数は、ビットストリーム中に記述されているスタートコードを探すための関数である。この図６に示されたシンタックスに従って生成された符号化ストリームには、まず最初に、sequence header() 関数とsequence extension()関数によって定義されたデータエレメントが記述されている。このsequence header() 関数は、ＭＰＥＧビットストリームのシーケンスレイヤのヘッダデータを定義するための関数であって、sequence extension()関数は、ＭＰＥＧビットストリームのシーケンスレイヤの拡張データを定義するための関数である。
【０１１７】
sequence extension()関数の次に配置されている do ｛｝while 構文は、while 文によって定義されている条件が真である間、do文の｛｝内の関数に基づいて記述されたデータエレメントが符号化データストリーム中に記述されていることを示す構文である。このwhile 文に使用されているnextbits()関数は、ビットストリーム中に記述されているビット又はビット列と、参照されるデータエレメントとを比較するための関数である。この図６に示されたシンタックスの例では、nextbits()関数は、ビットストリーム中のビット列とビデオシーケンスの終わりを示すsequence end code とを比較し、ビットストリーム中のビット列とsequence end code とが一致しないときに、このwhile 文の条件が真となる。従って、sequence extension()関数の次に配置されている do ｛｝while 構文は、ビットストリーム中に、ビデオシーケンスの終わりを示すsequence end code が現れない間、do文中の関数によって定義されたデータエレメントが符号化ビットストリーム中に記述されていることを示している。
【０１１８】
符号化ビットストリームにおいて、sequence extension()関数によって定義された各データエレメントの次には、extension and user data(0)関数によって定義されたデータエレメントが記述されている。このextension and user data(0)関数は、ＭＰＥＧビットストリームのシーケンスレイヤにおける拡張データとユーザデータを定義するための関数である。
【０１１９】
このextension and user data(0)関数の次に配置されている do ｛｝while 構文は、while 文によって定義されている条件が真である間、do文の｛｝内の関数に基づいて記述されたデータエレメントが、ビットストリームに記述されていることを示す関数である。このwhile 文において使用されているnextbits()関数は、ビットストリーム中に現れるビット又はビット列と、picture start code又はgroup start codeとの一致を判断するための関数であって、ビットストリーム中に現れるビット又はビット列と、picture start code又はgroup start codeとが一致する場合には、while 文によって定義された条件が真となる。よって、このdo｛｝while 構文は、符号化ビットストリーム中において、picture start code又はgroup start codeが現れた場合には、そのスタートコードの次に、do文中の関数によって定義されたデータエレメントのコードが記述されていることを示している。
【０１２０】
このdo文の最初に記述されているif文は、符号化ビットストリーム中にgroup  start code が現れた場合、という条件を示している。このif文による条件は真である場合には、符号化ビットストリーム中には、このgroup start codeの次にgroup of picture header() 関数及びextension and user data(1)関数によって定義されているデータエレメントが順に記述されている。
【０１２１】
このgroup of picture header() 関数は、ＭＰＥＧ符号化ビットストリームのＧＯＰレイヤのヘッダデータを定義するための関数であって、extension and user data(1)関数は、ＭＰＥＧ符号化ビットストリームのＧＯＰレイヤの拡張データ及びユーザデータを定義するための関数である。
【０１２２】
さらに、この符号化ビットストリームにおいて、groupof picture header() 関数及びextension and user data(1)関数によって定義されているデータエレメントの次には、picture header()関数とpicture coding extension()関数によって定義されたデータエレメントが記述されている。もちろん、先に説明したif文の条件が真とならない場合には、 group of picture header()関数及びextension and user data(1)関数によって定義されているデータエレメントは記述されていないので、 extension and user data(0) 関数によって定義されているデータエレメントの次に、pictureheader()関数、picture coding extension()関数及びextension and user data(2)関数によって定義されたデータエレメントが記述されている。
【０１２３】
このpicture header()関数は、ＭＰＥＧ符号化ビットストリームのピクチャレイヤのヘッダデータを定義するための関数であって、picture coding extension()関数は、ＭＰＥＧ符号化ビットストリームのピクチャレイヤの第１の拡張データを定義するための関数である。extension and user data(2)関数は、ＭＰＥＧ符号化ビットストリームのピクチャレイヤの拡張データ及びユーザデータを定義するための関数である。このextension and user data(2)関数によって定義されるユーザデータは、ピクチャレイヤに記述されているデータであって、各ピクチャ毎に記述することのできるデータであるので、本発明においては、このextension and user data(2)関数によって定義されるユーザデータとして、タイムコード情報を記述するようにしている。
【０１２４】
符号化ビットストリームにおいて、ピクチャレイヤのユーザデータの次には、picturedata()関数によって定義されるデータエレメントが記述されている。このpicture data()関数は、スライスレイヤ及びマクロブロックレイヤに関するデータエレメントを記述するための関数である。
【０１２５】
このpicture data()関数の次に記述されているwhile 文は、このwhile 文によって定義されている条件が真である間、次のif文の条件判断を行うための関数である。このwhile 文において使用されているnextbits()関数は、符号化ビットストリーム中に、picture start code又はgroup start codeが記述されているか否かを判断するための関数であって、ビットストリーム中にpicture start code又はgroup start codeが記述されている場合には、このwhile 文によって定義された条件が真となる。
【０１２６】
次のif文は、符号化ビットストリーム中にsequence end code が記述されているか否かを判断するための条件文であって、sequence end code が記述されていないのであれば、sequence header() 関数とsequence extension()関数とによって定義されたデータエレメントが記述されていることを示している。sequence end code は符号化ビデオストリームのシーケンスの終わりを示すコードであるので、符号化ストリームが終了しない限り、符号化ストリーム中にはsequence header() 関数とsequence extension()関数とによって定義されたデータエレメントが記述されている。
【０１２７】
このsequence header() 関数とsequence extension()関数によって記述されたデータエレメントは、ビデオストリームのシーケンスの先頭に記述されたsequence header() 関数とsequence extension()関数によって記述されたデータエレメントと全く同じである。このように同じデータをストリーム中に記述する理由は、ビットストリーム受信装置側でデータストリームの途中（例えばピクチャレイヤに対応するビットストリーム部分）から受信が開始された場合に、シーケンスレイヤのデータを受信できなくなり、ストリームをデコードできなくなることを防止するためである。
【０１２８】
この最後のsequence header() 関数とsequence extension()関数とによって定義されたデータエレメントの次、つまり、データストリームの最後には、シーケンスの終わりを示す３２ビットのsequence end code が記述されている。
【０１２９】
以下、sequence header() 関数、sequence extension()関数、extension and  user data(0) 関数、group of picture header() 関数及びextension and user data(1)関数について詳細に説明する。
【０１３０】
sequence header() 関数によって定義されたデータエレメントは、sequence header code、sequence header present flag、horizontal size value 、vertical size value 、aspect ratio information、frame rate code 、bit rate value、marker bit、VBV buffer size value 、constrained parameter flag、load intra quantizer matrix 、intra quantizer matrix、load non intra quantizer matrix 、及びnon intra quantizer matrix等である。
【０１３１】
sequence header codeは、シーケンスレイヤのスタート同期コードを表すデータである。sequence header present flagは、sequence header 内のデータが有効か無効かを示すデータである。 horizontal size valueは、画像の水平方向の画素数の下位12ビットから成るデータである。vertical size value は、画像の縦のライン数の下位12ビットからなるデータである。aspect ratio informationは、画素のアスペクト比（縦横比）または表示画面アスペクト比を表すデータである。frame rate code は、画像の表示周期を表すデータである。bit rate valueは、発生ビット量に対する制限のためのビット・レートの下位18ビット(400bsp 単位で切り上げる) データである。markerbitは、スタートコードエミュレーションを防止するために挿入されるビットデータである。VBV buffer size value は、発生符号量制御用の仮想バッファ（ビデオバッファベリファイヤー）の大きさを決める値の下位10ビットデータである。constrained parameter flagは、各パラメータが制限以内であることを示すデータである。load intra quantizer matrix は、イントラＭＢ用量子化マトリックス・データの存在を示すデータである。intraquantizer matrixは、イントラＭＢ用量子化マトリックスの値を示すデータである。load non intra quantizer matrix は、非イントラＭＢ用量子化マトリックス・データの存在を示すデータである。non intra quantizer matrixは、非イントラＭＢ用量子化マトリックスの値を表すデータである。
【０１３２】
sequence extension()関数によって定義されたデータエレメントとは、extension start code、extension start code identifier 、sequence extension present flag 、profile and level indication、progressive sequence、chroma format 、horizontal size extension 、vertical size extension 、bit rate extension、vbv buffer size extension 、low delay 、frame rate extension n、及び frame rate extension d 等のデータエレメントである。
【０１３３】
extension start codeは、エクステンションデータのスタート同期コードを表すデータである。extension start code identifier は、どの拡張データが送られるかを示すデータである。sequence extension present flag は、シーケンスエクステンション内のデータが有効であるか無効であるかを示すスデータである。profileand level indicationは、ビデオデータのプロファイルとレベルを指定するためのデータである。progressive sequenceは、ビデオデータが順次走査であることを示すデータである。chroma format は、ビデオデータの色差フォーマットを指定するためのデータである。horizontal size extension は、シーケンスヘッダのhorizntal size valueに加える上位２ビットのデータである。vertical size extension は、シーケンスヘッダのvertical size value に加える上位２ビットのデータである。bit rate extensionは、シーケンスヘッダのbit rate valueに加える上位１２ビットのデータである。vbv buffer size extension は、シーケンスヘッダのvbv buffer size value に加える上位８ビットのデータである。low delay は、Ｂピクチャを含まないことを示すデータである。frame  rate extension n は、シーケンスヘッダのframe rate code と組み合わせてフレームレートを得るためのデータである。frame rate extension dは、シーケンスヘッダのframe rate code と組み合わせてフレームレートを得るためのデータである。
【０１３４】
extension and user data(i)関数は、「ｉ」が2 以外のときは、extension data()関数によって定義されるデータエレメントは記述せずに、user data() 関数によって定義されるデータエレメントのみを記述する。よって、extension and user data(0)関数は、user data() 関数によって定義されるデータエレメントのみを記述する。
【０１３５】
group of picture header() 関数によって定義されたデータエレメントは、groupstart code、group of picture header present flag、time code 、closedgop、及びbroken link から構成される。
【０１３６】
group start codeは、ＧＯＰレイヤの開始同期コードを示すデータである。group of picture header present flagは、group of picture header 内のデータエレメントが有効であるか無効であるかを示すデータである。time code は、ＧＯＰの先頭ピクチャのシーケンスの先頭からの時間を示すタイムコードである。closedgopは、ＧＯＰ内の画像が他のＧＯＰから独立再生可能なことを示すフラグデータである。broken link は、編集などのためにＧＯＰ内の先頭のＢピクチャが正確に再生できないことを示すフラグデータである。
【０１３７】
extension and user data(1)関数は、extension and user data(0)関数と同じように、user data() 関数によって定義されるデータエレメントのみを記述するための関数である。
【０１３８】
次に、符号化ストリームのピクチャレイヤに関するデータエレメントを記述するためのpictureheader()関数、picture coding extension()関数、extensions and user data(2) 及びpicture data()について説明する。
【０１３９】
picture header()関数によって定義されたデータエレメントは、picture start code、temporal reference、picture coding type 、vbv delay 、full pel forward vector 、forwardf code、full pel backward vector、backward f code 、extra bit picture 、及びextra information picture である。
【０１４０】
具体的には、picturestart codeは、ピクチャレイヤの開始同期コードを表すデータである。temporal referenceは、ピクチャの表示順を示す番号でＧＯＰの先頭でリセットされるデータである。picture coding type は、ピクチャタイプを示すデータである。vbv delay は、ランダムアクセス時の仮想バッファの初期状態を示すデータである。full pel forward vector は、順方向動きベクトルの精度が整数単位か半画素単位かを示すデータである。forwardf codeは、順方向動きベクトル探索範囲を表すデータである。full pel backward vectorは、逆方向動きベクトルの精度が整数単位か半画素単位かを示すデータである。backward f code は、逆方向動きベクトル探索範囲を表すデータである。extra bit picture は、後続する追加情報の存在を示すフラグである。このextra bit picture が「１」の場合には、次にextra information picture が存在し、extrabit picture が「０」の場合には、これに続くデータが無いことを示している。extrainformation picture は、規格において予約された情報である。
【０１４１】
このpicture coding extension()関数によって定義されたデータエレメントとは、extension start code、extension start code identifier 、f code[0][0]、f code[0][1]、f code[1][0]、f code[1][1]、intradc precision、picture structure 、top field first 、frame predictive frame dct、concealment motion vectors、q scale type、intra vlc format、alternatescan、repeat first field、chroma 420 type 、progressive frame 、composite display flag、v axis、field sequence、sub carrier 、burstamplitude 、及びsub carrier phase から構成される。
【０１４２】
extension start codeは、ピクチャレイヤのエクステンションデータのスタートを示す開始コードである。extension start code identifier は、どの拡張データが送られるかを示すコードである。f code[0][0]は、フォワード方向の水平動きベクトル探索範囲を表すデータである。f code[0][1]は、フォワード方向の垂直動きベクトル探索範囲を表すデータである。f code[1][0]は、バックワード方向の水平動きベクトル探索範囲を表すデータである。f code[1][1]は、バックワード方向の垂直動きベクトル探索範囲を表すデータである。intra dc precisionは、ＤＣ係数の精度を表すデータである。picture structure は、フレームストラクチャかフィールドストラクチャかを示すデータである。フィールドストラクチャの場合は、上位フィールドか下位フィールドかも併せて示すデータである。top field first は、フレームストラクチャの場合、最初のフィールドが上位か下位かを示すデータである。framepredictive frame dctは、フレーム・ストラクチャの場合、フレーム・モードＤＣＴの予測がフレーム・モードだけであることを示すデータである。concealment motion vectorsは、イントラマクロブロックに伝送エラーを隠蔽するための動きベクトルがついていることを示すデータである。q scale typeは、線形量子化スケールを利用するか、非線形量子化スケールを利用するかを示すデータである。intra vlc formatは、イントラマクロブロックに、別の２次元ＶＬＣを使うかどうかを示すデータである。alternate scanは、ジグザグスキャンを使うか、オルタネート・スキャンを使うかの選択を表すデータである。repeat first fieldは、２：３プルダウンの際に使われるデータである。chroma 420 type は、信号フォーマットが４：２：０の場合には、次のprogressive frame と同じ値であり、そうでない場合は０を表すデータである。progressive frame は、このピクチャが、順次走査でできているかどうかを示すデータである。composite display flagは、ソース信号がコンポジット信号であったかどうかを示すデータである。v axisは、ソース信号が、ＰＡＬの場合に使われるデータである。field sequenceは、ソース信号が、ＰＡＬの場合に使われるデータである。sub carrier は、ソース信号が、ＰＡＬの場合に使われるデータである。burst amplitude は、ソース信号が、ＰＡＬの場合に使われるデータである。sub carrier phase は、ソース信号が、ＰＡＬの場合に使われるデータである。
【０１４３】
extension and user data(2)関数は、図７に示したように、符号化ビットストリーム中にエクステンションスタートコードextension start codeが存在する場合には、extension data()関数によって定義されるデータエレメントが記述されている。但し、ビットストリーム中にエクステンションスタートコードが存在しない場合には extension data() 関数によって定義されるデータエレメントはビットストリーム中には記述されていない。このextension data()関数によって定義されているデータエレメントの次には、ビットストリーム中にユーザデータスタートコードuser data start codeが存在する場合には、user data() 関数によって定義されるデータエレメントが記述されている。
user data() 関数は、図８に示されたように、user data start code、time code() 関数、user data 等のデータエレメントを記述するための関数である。
user data start codeは、ＭＰＥＧビットストリームのピクチャレイヤのユーザデータエリアの開始を示すためのスタートコードである。このuser data start codeの次に記述されているwhile 構文は、符号化ビットストリーム中に、２３個の‘０’とそれに続く‘１’から構成される２４ビットのデータが現れない限り真となる。この２３個の‘０’とそれに続く‘１’から構成される２４ビットのデータは、全てのスタートコードの先頭に付与されるデータであって、全てのスタートコードは、この２４ビットの後ろに設けられることによって、符号化ビットストリーム中において各スタートコードの位置を見つけることができる。
【０１４４】
time code() 関数は、タイムコードを記述するための関数である。具体的には、図９に示されるように、time code() 関数によって記述されるデータエレメントは、ピクチャレイヤのユーザデータエリアにおいてタイムコードが記述されている位置を認識するためのスタートコードを示すtime code start codeと、そのスタートコードに続くデータの識別コードを示すdata  IDと、そのデータ識別コードに対応するタイムコードデータ等である。
【０１４５】
本発明の特徴であるtime code() 関数においては、図１１（Ａ）及び図１１（Ｂ）に示されるように、このデータ識別コードdata ID がＶＩＴＣを示す識別コードであれば、その次には７２ビットのＶＩＴＣが記述され、また、このデータ識別コードdata ID がＶＩＴＣを示す識別コードであれば、その次には７２ビットのＬＴＣが記述されるようになっている。尚、このtime code() 関数によって記述されるデータエレメントについては、詳しくは後述する。
【０１４６】
picture data()関数によって定義されるデータエレメントは、slice() 関数によって定義されるデータエレメントである。但し、ビットストリーム中に、slice() 関数のスタートコードを示すslice start codeが存在しない場合には、このslice() 関数によって定義されるデータエレメントはビットストリーム中に記述されていない。
【０１４７】
slice() 関数は、スライスレイヤに関するデータエレメントを記述するための関数であって、具体的には、slice start code、slice quantiser scale code、intra slice flag、intra slice 、reserved bits 、extra bit slice 、extra  information slice、及びextra bit slice 等のデータエレメントと、macroblock()関数によって定義されるデータエレメントを記述するための関数である。
【０１４８】
slice start codeは、slice() 関数によって定義されるデータエレメントのスタートを示すスタートコードである。slice quantiser scale codeは、このスライスレイヤに存在するマクロブロックに対して設定された量子化ステップサイズを示すデータである。しかし、各マクロブロック毎に、quantiser scale codeが設定されている場合には、各マクロブロックに対して設定されたmacroblock quantiser scale code のデータが優先して使用される。intraslice flagは、ビットストリーム中にintra slice 及びreserved bits が存在するか否かを示すフラグである。intraslice は、スライスレイヤ中にノンイントラマクロブロックが存在するか否かを示すデータである。スライスレイヤにおけるマクロブロックのいずれかがノンイントラマクロブロックである場合には、intraslice は「０」となり、スライスレイヤにおけるマクロブロックの全てがノンイントラマクロブロックである場合には、intra slice は「１」となる。reserved bits は、７ビットのデータであって「０」の値を取る。extrabit slice は、符号化ストリームとして追加の情報が存在することを示すフラグであって、次にextrainformation slice が存在する場合には「１」に設定される。追加の情報が存在しない場合には「０」に設定される。
【０１４９】
macroblock()関数は、マクロブロックレイヤに関するデータエレメントを記述するための関数であって、具体的には、macroblock escape 、macroblock address increment、及びmacroblock quantiser scale code 等のデータエレメントと、macroblock modes()関数、及び macroblock vectors(s)関数によって定義されたデータエレメントを記述するための関数である。
【０１５０】
macroblock escape は、参照マクロブロックと前のマクロブロックとの水平方向の差が３４以上であるか否かを示す固定ビット列である。参照マクロブロックと前のマクロブロックとの水平方向の差が３４以上の場合には、macroblock address incrementの値に３３をプラスする。macroblock address incrementは、参照マクロブロックと前のマクロブロックとの水平方向の差を示すデータである。もし、このmacroblock address incrementの前にmacroblock escape が１つ存在するのであれば、このmacroblock address incrementの値に３３をプラスした値が、実際の参照マクロブロックと前のマクロブロックとの水平方向の差分を示すデータとなる。macroblock quantiser scale code は、各マクロブロック毎に設定された量子化ステップサイズである。各スライスレイヤには、スライスレイヤの量子化ステップサイズを示すslicequantiser scale codeが設定されているが、参照マクロブロックに対してmacroblock quantiser scale code が設定されている場合には、この量子化ステップサイズを選択する。
【０１５１】
次に、図６から図９によって説明したシンタックスによって生成されるストリームの構造を、図１０を参照してよりわかりやすく説明する。
【０１５２】
図１０は、ＭＰＥＧ符号化ストリームのデータ構造を示す説明図である。この図に示したように、ビデオエレメンタリストリームのデータ構造は、少なくともシーケンスレイヤ、ＧＯＰレイヤ及びピクチャレイヤを含んでいる。
【０１５３】
シーケンスレイヤは、next start code() 関数１０１、sequence header() 関数１０２、extention start code１０３、sequence extention()関数１０４、extention and user data(0)関数１０５によって定義されるデータエレメントから構成されている。ＧＯＰレイヤは、group start code１０６、group of pictures header()関数１０７、extention and user data(1)関数１０８によって定義されるデータエレメントから構成されている。ピクチャレイヤは、picture header()関数１０９、picture coding extention()関数１１０、extention and user data(2)関数１１１、picture data()関数１１２によって定義されるデータエレメントを含んでいる。ビデオシーケンスの最後には、sequence end code １１３が記述されている。
【０１５４】
extention and user data(2)関数１１１は、既に図７において説明したシンタックスからも理解できるように、user data start code１１４、user data() 関数１１５、next start code １１６によって定義されるデータエレメントを含んでいる。
【０１５５】
user data() 関数１１５は、既に図８において説明したシンタックスからも理解できるように、time code() 関数１１７とuser data １１８によって定義されるデータエレメントを含んでいる。
【０１５６】
次に、図１１（Ａ）、図１１（Ｂ）を参照して、time code() 関数によって記述されるデータエレメントについて詳細に説明する。
図１１（Ａ）は、time code() 関数によって、ピクチャレイヤのユーザエリアにＶＩＴＣ、ＬＴＣ及びアンシラリデータが記述されている例を示している図である。図１１（Ｂ）は、この７２ビットのＶＩＴＣ又はＬＴＣの詳細なデータ構造を示している図である。
【０１５７】
図１１（Ａ）に示されるように、３２ビットのtime code start codeの次には、このユーザデータエリアに記録されるデータの識別コードdata ID が記述されている。この識別コードdata ID は、図１２のように予め設定されており、例えば、data ID が‘03’を示すデータであれば、その次の７２ビットにはＶＩＴＣが記述され、data ID が‘04’を示すデータであれば、その次の７２ビットにはＬＴＣが記述されるようになっている。
【０１５８】
図１１（Ｂ）において、第１ビット目の‘ＣＦ’は、カラーフレームを表わし、次の第２ビット目の‘ＤＦ’はドロップフレームを表わしている。次の３ビット目から８ビット目までの６ビットは、タイムコードの‘フレーム’の部分を表わし、９ビット目は、フェイズコレクションを表わし、１０ビット目から１６ビット目までの７ビットは、タイムコードの‘秒’の部分を表わしている。１７ビット目、３４ビット目、５１ビット目及び６８ビット目の‘１’は、前述したように０が２３個連続しないようにするためのマーカービットであって、このように所定間隔でマーカービットを挿入することによって、スタートコードエミュレーションを防止することができる。
【０１５９】
１８ビット目、２６ビット目及び２７ビット目の‘ＢＧ’は、バイナリグループを表わし、１９ビット目から２５ビット目の７ビットは、タイムコードの‘分’の部分を表わし、２８ビット目から３３ビット目の６ビットは、タイムコードの‘時’の部分を表わしている。
【０１６０】
３５ビット目から５０ビット目の１６ビット及び、５２ビット目から６７ビット目までの１６日とは、ユーザの任意のユーザデータを記述することはできるようにリザーブされている。尚、最後の４ビットは、バイト整列（Byte Array）するためのスタッフビットである。
【０１６１】
次に、ＭＰＥＧ規格に基づいて符号化された符号化ストリームに対してタイムコードを付加する方法について説明する。
【０１６２】
ビデオエレメンタリストリームでは、符号化の都合上、ピクチャが並べ替えられている。そのため、ビデオエレメンタリストリームに対するタイムコードの付加の方法には、次の２通りが考えられる。なお、以下の説明では、ＩピクチャまたはＰピクチャの現れる周期（Ｍ）を３とする。
【０１６３】
図１３は、ビデオエレメンタリストリームに対するタイムコードの付加の第１の方法を説明するための説明図である。図１３において、（ａ）は、ビデオエンコーダ１６の入力ビデオデータにおけるピクチャタイプを表している。符号ＩはＩピクチャ、ＰはＰピクチャ、ＢはＢピクチャを表し、付随する数字は各ピクチャタイプ毎のピクチャの順番を表している。また、（ｂ）は、各ピクチャに付随するタイムコードを簡略化して表したものである。第１の方法は、ビデオエレメンタリストリームに対するタイムコードの付加の際には、ピクチャの並べ替えを考慮せずにタイムコードを付加し、再生時にタイムコードを付け替える方法である。より具体的に説明すると、図１におけるＣＰＵ１１は、タイムコードを取得したら、ユーザデータ１１５へのタイムコードの記録までのディレイを考慮して、そのままタイムコードを記録する。この第１の方法によってタイムコードを付加した場合におけるビデオデコーダ３６の入力時のピクチャタイプとタイムコードとを図１３（ｃ），（ｄ）に示す。第１の方法によってタイムコードを付加した場合には、ビデオデコーダ３６では、ＩピクチャまたはＰピクチャが来たら、それに付随して入力されたタイムコードを、次の最初のＢピクチャに付け、そのＢピクチャに付随して入力されたタイムコードを、更に次の２番目のＢピクチャに付ける。そして、２番目のＢピクチャに付随して入力されたタイムコードを、ＩピクチャまたはＰピクチャに付ける。この場合のビデオデコーダ２３の出力ビデオデータにおけるピクチャタイプとタイムコードとを図１３（ｅ），（ｆ）に示す。
【０１６４】
図１４は、ビデオエレメンタリストリームに対するタイムコードの付加の第２の方法を説明するための説明図である。図１４において、（ａ）は、ビデオエンコーダ１６の入力ビデオデータにおけるピクチャタイプを表し、（ｂ）は、各ピクチャに付随するタイムコードを簡略化して表したものである。第２の方法は、ビデオエレメンタリストリームに対するタイムコードの付加の際に、ピクチャの並べ替えを考慮してタイムコードを付加し、再生時にはタイムコードの付け替えを行わない方法である。より具体的に説明すると、図１におけるＣＰＵ１１は、タイムコードを取得したら、ユーザデータ１１５へのタイムコードの記録までのディレイを考慮して、ピクチャの並べ替え前後においてピクチャとタイムコードとの対応関係が一致するように、ピクチャの並べ替えに合わせてタイムコードを並べ替えて記録する。この第２の方法によってタイムコードを付加した場合におけるビデオデコーダ２３の入力時のピクチャタイプとタイムコードとを図１４（ｃ），（ｄ）に示す。第２の方法によってタイムコードを付加した場合には、ビデオデコーダ３６では、ピクチャの並べ替えと同様にタイムコードを並べ替えて、各ピクチャにタイムコードを対応させる。この場合のビデオデコーダ３６の出力ビデオデータにおけるピクチャタイプとタイムコードとを図１４（ｅ），（ｆ）に示す。
【０１６５】
次に、タイムコードをオーディオエレメンタリストリームに付加する方法について説明する。
【０１６６】
図１５は、ＭＰＥＧオーディオ規格によるオーディオエレメンタリストリームのデータ構造を示す説明図である。この図に示したように、オーディオエレメンタリストリームは、先頭から順に、ヘッダ（header）１２１、エラーチェック（error check ）１２２、オーディオデータ（audio data）１２３、アンシラリデータ（ancillary data）１２４によって定義されるデータエレメントから構成される。
【０１６７】
アンシラリデータ１２４の領域は、図１５に示したオーディオストリームのデータ構造において復号再生の単位としての１フレーム（オーディオフレーム）毎に存在可能で且つ任意のデータを記録可能な領域である。
【０１６８】
オーディオ符号化ストリームでは、ビデオストリームと異なり、ビットレートによって１フレームの大きさが決まっている。１フレームのデータ量は、例えば３８４×ビットレート÷サンプリング周波数である。アンシラリデータ１２４の領域のデータ量は、１フレームのデータ量から、ヘッダ１２１、エラーチェック１２２およびオーディオデータ１２３の各領域で実際に使用されるデータ量を引いたデータ量となる。
【０１６９】
本実施の形態では、図１５に示したオーディオエレメンタリストリームのアンシラリデータ１２４の領域に、タイムコードを記録する。アンシラリデータ１２４におけるタイムコードの記述方法は、図１１（Ａ）及び図１１（Ｂ）において説明したユーザデータエリアにおけるタイムコードの記述の仕方と同じである。オーディオ符号化ストリームのアンシラリデータ１２４の領域には、ＶＩＴＣやＬＴＣ等のタイムコードの他に、必ず１６ビットのaudiophase （オーディオ位相情報）が記述される。アンシラリデータ１２４において、time code start codeの後に、data ID がオーディオ位相情報を示す識別コードであれば、その次の２バイトにはAudio phase が記述されている。このオーディオ位相情報は、オーディオフレームがビデオストリームにおけるフレーム（以下、ビデオフレームという。）とは同期していないため、オーディオフレームとビデオフレームとの位相差を示すためのデータである。
【０１７０】
図１６（Ａ）及び図１６（Ｂ）は、ビデオフレームとオーディオフレームとの位相差を説明するための説明図である。この図において、図１６（Ａ）は、ビデオフレームを表し（１ブロックが１ビデオフレームを表している。）、図中の数字は、各ビデオフレームに対応するタイムコードを表している。また、図１６（Ｂ）は、オーディオフレームを表し（１ブロックが１オーディオフレームを表している。）、図中の数字は、各オーディオフレームに対応して記録されるタイムコードを表している。図１６（Ａ）、図１６（Ｂ）から分かるように、オーディオフレームは、ビデオフレームとは同期していない。そこで、本実施の形態では、各オーディオフレームに記録されるタイムコードと実際のオーディオフレームの開始点との時間のずれを位相差（図１６（Ｂ）では符号Ａ〜Ｆで表している。）とし、各オーディオフレーム毎の位相差をオーディオ位相情報としてタイムコードと共に符号化ストリーム中に記述するようにしている。なお、このオーディオ位相情報は、オーディオデータのサンプル数で表される。
【０１７１】
次に、タイムコードをプライベートエレメンタリストリームであるＡＣ３ストリームに付加する方法について説明する。図１７は、ＡＣ３規格によるＡＣ３ストリームのデータ構造を示す説明図である。この図に示したように、ＡＣ３ストリームのデータ構造は、先頭から順に、シンク情報（syncinfo）１３１、ビットストリーム情報（ＢＳＩ）１３２、オーディオブロック（audblk）１３３、補助データ（auxdata ）１３４、エラーチェック（errorcheck）１３５の各領域を有している。
【０１７２】
補助データ１３４の領域は、図１７に示したＡＣ３ストリームのデータ構造において復号再生の単位としての１フレーム（シンクフレーム（syncframe））毎に存在可能で且つ任意のデータを記録可能な領域である。補助データ１３４の領域のデータ量は、１フレームのデータ量から、補助データ１３４の領域を除く領域で実際に使用されるデータ量を引いたデータ量となる。
【０１７３】
本実施の形態では、図１７に示したＡＣ３ストリームのデータ構造における補助データ１３４の領域に、タイムコード（ユーザビットを含む）を記録する。補助データ１３４におけるタイムコードの記述方法は、オーディオ符号化ストリームのアンシラリデータ１２４におけるタイムコードの記述方法と全く同じである。
【０１７４】
以上説明したように、本実施の形態では、ストリームのデータ構造において復号再生の単位毎に存在可能で且つ任意のデータを記録可能な領域にタイムコードを記録するようにしている。具体的には、ビデオエレメンタリストリームに対しては、ユーザデータ１１５の領域にタイムコードを記録し、オーディオストリームに対しては、アンシラリデータ１２４の領域にタイムコードを記録し、ＡＣ３ストリームに対しては補助データ１３４の領域にタイムコードを記録するようにしている。これにより、本実施の形態によれば、素材データに付随するタイムコードを、復号再生の単位毎のストリームに対応させて確実に伝達することができる。
【０１７５】
また、本実施の形態によれば、ビデオストリーム、オーディオストリームおよびＡＣ３ストリームにそれぞれタイムコードを付加するようにしたので、受信システム３側で、各ストリームを分離した後でも、いずれのストリームでもタイムコードの情報が欠落することがない。このことは、各ストリームを例えばハードディスク等に蓄積して、各ストリームを再利用する（例えば、加工して使用する）ような場合でも、時間情報が失われないので、非常に有益である。
【０１７６】
さらに、本実施の形態によれば、ユーザビットを含むタイムコードを、ビデオストリーム、オーディオストリームおよびＡＣ３ストリームに、それぞれ記録することができるので、ユーザビットとして記録された任意の情報も、各ストリームに対応させて確実に伝達することができる。
【０１７７】
なお、本発明は、上記実施の形態に限定されず、例えば、タイムコードの情報を、ビデオエレメンタリストリーム、オーディオエレメンタリストリームおよびプライベートエレメンタリストリーム（ＡＣ３ストリーム）に付加する際のフォーマットは、実施の形態に示したフォーマットに限らず、適宜に設定可能である。
【０１７８】
以上の説明に基づき、本発明の種々の態様や変形例を実施可能であることは明らかである。従って、上記のクレームの均等の範囲において、上記の詳細な説明における態様以外の態様で本発明を実施することが可能である。
【図面の簡単な説明】
【０１７９】
【図１】本発明の一実施の形態に係る符号化ストリーム生成装置を含むデジタルデータ伝送システムの構成の一例を示すブロック図である。
【図２】本発明の一実施の形態に係る符号化ストリーム生成装置を含むデジタルデータ処理システムの構成の一例を示すブロック図である。
【図３】図１及び図２におけるビデオエンコーダの構成の一例を示すブロック図である。
【図４】図１及び図２におけるオーディオエンコーダの構成の一例を示すブロック図である。
【図５】図１及び図２におけるＡＣ３エンコーダの構成の一例を示すブロック図である。
【図６】ＭＰＥＧ規格に基づく符号化ストリームのシンタックスを示す図である。
【図７】ＭＰＥＧ規格に基づく符符号化ストリームのシンタックスを示す図である。
【図８】ＭＰＥＧ規格に基づく符符号化ストリームのシンタックスを示す図である。
【図９】ＭＰＥＧ規格に基づく符符号化ストリームのシンタックスを示す図である。
【図１０】ＭＰＥＧ規格による符号化ビデオストリームのデータ構造をよりわかりやすく説明するための図である。
【図１１】ピクチャレイヤのユーザデータエリアに記述されるタイムコード情報のデータ構造を示す図である。
【図１２】ピクチャレイヤのユーザデータエリアに記述される情報のデータ識別コードを示す図である。
【図１３】符号化ストリームにタイムコードを付加する第１の方法を説明するための説明図である。
【図１４】符号化ストリームにタイムコードを付加する第２の方法を説明するための説明図である。
【図１５】ＭＰＥＧ規格によるオーディオエレメンタリストリームのデータ構造を示す説明図である。
【図１６】ビデオフレームとオーディオフレームとの位相差を説明するための説明図である。
【図１７】ＡＣ３規格によるＡＣ３ストリームのデータ構造を示す説明図である。
【符号の説明】
【０１８０】
１…送信システム、１Ａ…ベースバンドシステム、１Ｂ…符号化システム、１１…ＣＰＵ、２…伝送路、３…受信システム、３Ａ…復号化システム、３Ｂ…ベースバンドシステム、３１…ＣＰＵ、５０Ａ…ベースバンドシステム、５０Ｂ…符号化システム、５１…ＣＰＵ。
【図１】
2008263601.tif 000003
【図２】
2008263601.tif 000004
【図３】
2008263601.tif 000005
【図４】
2008263601.tif 000006
【図５】
2008263601.tif 000007
【図６】
2008263601.tif 000008
【図７】
2008263601.tif 000009
【図８】
2008263601.tif 000010
【図９】
2008263601.tif 000011
【図１０】
2008263601.tif 000012
【図１１】
2008263601.tif 000013
【図１２】
2008263601.tif 000014
【図１３】
2008263601.tif 000015
【図１４】
2008263601.tif 000016
【図１５】
2008263601.tif 000017
【図１６】
2008263601.tif 000018
【図１７】
2008263601.tif 000019
【手続補正書】
【提出日】平成20年4月25日(2008.4.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオデータを符号化するデータ処理装置において、
上記ビデオデータから、上記ビデオデータにフレーム毎に付与されたタイムコード情報を取得するビデオ取得手段と、
上記ビデオデータを符号化処理してビデオストリームを生成するビデオ符号化手段と、
上記ビデオ取得手段により取得されたタイムコード情報を、上記ビデオ符号化手段より生成されたビデオストリームにピクチャ毎に記述するように、上記ビデオ符号化手段の符号化処理を制御するビデオ制御手段と
を備えたデータ処理装置。
【請求項２】
上記ビデオ制御手段は、上記ビデオ取得手段により取得されたタイムコード情報を、上記ビデオストリームのユーザデータエリアに記述する
請求項１に記載のデータ処理装置。
【請求項３】
上記ビデオ符号化手段は、ＭＰＥＧ規格に従って符号化する
請求項１に記載のデータ処理装置。
【請求項４】
上記ビデオ制御手段は、上記タイムコード情報を、extention_and_user_data(2)関数によって示されるuser data()関数によって示されるtime_code()関数によって定義されるデータエレメントとして記述するように、上記ビデオ符号化手段の符号化処理を制御する
請求項３に記載のデータ処理装置。
【請求項５】
上記ビデオ制御手段は、上記タイムコード情報に、所定ビット毎にマーカビットを挿入するように、上記ビデオ符号化手段の符号化処理を制御する
請求項３に記載のデータ処理装置。
【請求項６】
上記タイムコードは、ＬＴＣ（Longitudinal Time Code / Linear Time Code）又はＶＩＴＣ(Vertical lnterval Time Code)を含む
請求項３に記載のデータ処理装置。
【請求項７】
ビデオデータを符号化するデータ処理方法において、
上記ビデオデータから、上記ビデオデータにフレーム毎に付与されたタイムコード情報を取得するビデオ取得手順と、
上記ビデオデータを符号化処理してビデオストリームを生成するビデオ符号化手順と、
上記ビデオ取得手順により取得されたタイムコード情報を、上記ビデオ符号化手順より生成されたビデオストリームにピクチャ毎に記述するように、上記ビデオ符号化手順の符号化処理を制御するビデオ制御手順と
を含むデータ処理方法。
【請求項８】
オーディオデータを符号化するデータ処理装置において、
上記オーディオデータから、上記オーディオデータにフレーム毎に付与されたタイムコード情報を取得するオーディオ取得手段と、
上記オーディオデータを符号化処理してオーディオストリームを生成するオーディオ符号化手段と、
上記オーディオ取得手段により取得されたタイムコード情報を、上記オーディオ符号化手段より生成されたオーディオストリームにフレーム毎に記述するように、上記オーディオ符号化手段の符号化処理を制御するオーディオ制御手段と
を備えたデータ処理装置。
【請求項９】
上記オーディオ制御手段は、上記オーディオ取得手段により取得されたタイムコード情報を、上記オーディオストリームの補助データエリアに記述する
請求項８に記載のデータ処理装置。
【請求項１０】
上記オーディオ制御手段は、上記オーディオデータに対応するビデオデータのフレームと上記オーディオデータのフレームとの位相差を示す位相情報を記述するように、上記オーディオ符号化手段の符号化処理を制御する
請求項８に記載のデータ処理装置。
【請求項１１】
上記オーディオ符号化手段は、ＭＰＥＧ規格に従って符号化する
請求項８に記載のデータ処理装置。
【請求項１２】
オーディオデータを符号化するデータ処理方法において、
上記オーディオデータから、上記オーディオデータにフレーム毎に付与されたタイムコード情報を取得するオーディオ取得手順と、
上記オーディオデータを符号化処理してオーディオストリームを生成するオーディオ符号化手順と、
上記オーディオ取得手順により取得されたタイムコード情報を、上記オーディオ符号化手順より生成されたオーディオストリームにフレーム毎に記述するように、上記オーディオ符号化手順の符号化処理を制御するオーディオ制御手順と
を含むデータ処理方法。
【請求項１３】
ビデオデータを編集する編集システムにおいて、
上記ビデオデータを符号化処理することによって生成されると共に上記ビデオデータの各フレームに付随しているタイムコード情報が復号再生の単位毎に記述されたビデオストリームを復号化処理すると共に、上記ビデオストリームのシンタックスを解析することによって上記ビデオストリームから上記タイムコード情報を抽出するビデオ復号化手段と、
上記ビデオストリームのシンタックスを解析することによって得られたタイムコード情報と、上記ビデオデータに対して設定された編集点に基づいて生成された編集リストとに基づいて、上記ビデオ復号化手段によって復号化された復号化ビデオデータを編集する編集手段と
を備えた編集システム。
【請求項１４】
ビデオデータを編集する編集方法において、
上記ビデオデータを符号化処理することによって生成されると共に上記ビデオデータの各フレームに付随しているタイムコード情報が復号再生の単位毎に記述されたビデオストリームを復号化処理すると共に、上記ビデオストリームのシンタックスを解析することによって上記ビデオストリームから上記タイムコード情報を抽出するビデオ復号化手順と、
上記ビデオストリームのシンタックスを解析することによって得られたタイムコード情報と、上記ビデオデータに対して設定された編集点に基づいて生成された編集リストとに基づいて、上記ビデオ復号化手順によって復号化された復号化ビデオデータを編集する編集手順と
を含む編集方法。
【請求項１５】
ビデオデータを符号化処理することによって得られたビデオストリームを編集する編集システムにおいて、
上記ビデオデータに対して設定された編集点に基づいて、編集リストを生成する手段と、
上記ビデオデータを符号化処理することによって生成されると共に上記ビデオデータの各フレームに付随しているタイムコード情報が復号再生の単位毎に記述されたビデオストリームを生成するビデオ符号化手段と、
上記ビデオストリームのシンタックスを解析することによって得られたタイムコード情報と上記編集リストとに基づいて、上記ビデオストリームを編集するストリーム編集手段と
を備えた編集システム。
【請求項１６】
ビデオデータを符号化処理することによって得られたビデオストリームを編集する編集方法において、
上記ビデオデータに対して設定された編集点に基づいて、編集リストを生成する手順と、
上記ビデオデータを符号化処理することによって生成されると共に上記ビデオデータの各フレームに付随しているタイムコード情報が復号再生の単位毎に記述されたビデオストリームを生成するビデオ符号化手順と、
上記ビデオストリームのシンタックスを解析することによって得られたタイムコード情報と上記編集リストとに基づいて、上記ビデオストリームを編集するストリーム編集手順と
を含む編集方法。
【請求項１７】
ビデオストリームを編集する編集システムにおいて、
ベースバンドのビデオデータを処理することによって設定された編集点に基づいて、編集リストを生成するベースバンドシステムと、
上記ビデオデータを符号化処理することによって生成されると共に上記ビデオデータの各フレームに付随しているタイムコード情報が復号再生の単位毎に記述されたビデオストリームを生成し、上記ビデオストリームのシンタックスを解析することによって得られたタイムコード情報と上記ベースバンドシステムにおいて生成された編集リストとに基づいて、上記ビデオストリームをストリームレベルで編集するビデオ符号化システムと
を備えた編集システム。
【請求項１８】
ビデオストリームを編集する編集方法において、
ベースバンドのビデオデータを処理することによって設定された編集点に基づいて、編集リストを生成する手順と、
上記ビデオデータを符号化処理することによって生成されると共に上記ビデオデータの各フレームに付随しているタイムコード情報が復号再生の単位毎に記述されたビデオストリームを生成し、上記ビデオストリームのシンタックスを解析することによって得られたタイムコード情報と上記編集リストを生成する手順によって生成された編集リストとに基づいて、上記ビデオストリームをストリームレベルで編集するビデオ符号化手順と
を含む編集方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、ビデオデータ及びオーディオデータ等の素材データを符号化する際に、各ピクチャ毎にタイムコードが付加された符号化ストリームを生成するデータ処理装置及び方法、さらには、符号化ストリームに付加されたタイムコードを利用することによって素材データを編集する編集システム及び方法に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明はかかる問題点に鑑みてなされたもので、その目的は、オリジナル素材データに付随するタイムコードが各ピクチャ（各フレーム）に対応するように記述された符号化ストリームを生成するデータ処理装置及び方法を提供するものである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
本発明の第１のデータ処理装置は、ビデオデータを符号化するデータ処理装置において、ビデオデータから、このビデオデータにフレーム毎に付与されたタイムコード情報を取得するビデオ取得手段と、ビデオデータを符号化処理してビデオストリームを生成するビデオ符号化手段と、ビデオ取得手段により取得されたタイムコード情報を、ビデオ符号化手段より生成されたビデオストリームにピクチャ毎に記述するように、ビデオ符号化手段の符号化処理を制御するビデオ制御手段とを備えたものである。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
本発明の第１のデータ処理方法は、ビデオデータを符号化するデータ処理方法において、ビデオデータから、このビデオデータにフレーム毎に付与されたタイムコード情報を取得するビデオ取得手順と、ビデオデータを符号化処理してビデオストリームを生成するビデオ符号化手順と、ビデオ取得手順により取得されたタイムコード情報を、ビデオ符号化手順より生成されたビデオストリームにピクチャ毎に記述するように、ビデオ符号化手順の符号化処理を制御するビデオ制御手順とを含むようにしたものである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
本発明の第１のデータ処理装置および本発明の第１のデータ処理方法では、ビデオデータからこのビデオデータにフレーム毎に付与されたタイムコード情報が取得され、ビデオデータを符号化処理してビデオストリームが生成され、取得されたタイムコード情報が生成されたビデオストリームにピクチャ毎に記述されるように、符号化処理が制御される。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
本発明の第２のデータ処理装置は、オーディオデータを符号化するデータ処理装置において、オーディオデータから、このオーディオデータにフレーム毎に付与されたタイムコード情報を取得するオーディオ取得手段と、オーディオデータを符号化処理してオーディオストリームを生成するオーディオ符号化手段と、オーディオ取得手段により取得されたタイムコード情報を、オーディオ符号化手段より生成されたオーディオストリームにフレーム毎に記述するように、オーディオ符号化手段の符号化処理を制御するオーディオ制御手段とを備えたものである。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
本発明の第２のデータ処理方法は、オーディオデータを符号化するデータ処理方法において、オーディオデータから、このオーディオデータにフレーム毎に付与されたタイムコード情報を取得するオーディオ取得手順と、オーディオデータを符号化処理してオーディオストリームを生成するオーディオ符号化手順と、オーディオ取得手順により取得されたタイムコード情報を、オーディオ符号化手順より生成されたオーディオストリームにフレーム毎に記述するように、オーディオ符号化手順の符号化処理を制御するオーディオ制御手順とを含むようにしたものである。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
本発明の第２のデータ処理装置および本発明の第２のデータ処理方法では、オーディオデータからこのオーディオデータにフレーム毎に付与されたタイムコード情報が取得され、オーディオデータを符号化処理してオーディオストリームが生成され、取得されたタイムコード情報が生成されたオーディオストリームにフレーム毎に記述されるように、符号化処理が制御される。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】削除
【補正の内容】
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】削除
【補正の内容】
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】削除
【補正の内容】
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】削除
【補正の内容】
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】削除
【補正の内容】
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
本発明の第１の編集システムは、ビデオデータを編集する編集システムにおいて、ビデオデータを符号化処理することによって生成されると共にビデオデータの各フレームに付随しているタイムコード情報が復号再生の単位毎に記述されたビデオストリームを復号化処理すると共に、ビデオストリームのシンタックスを解析することによってビデオストリームからタイムコード情報を抽出するビデオ復号化手段と、ビデオストリームのシンタックスを解析することによって得られたタイムコード情報と、ビデオデータに対して設定された編集点に基づいて生成された編集リストとに基づいて、ビデオ復号化手段によって復号化された復号化ビデオデータを編集する編集手段とを備えたものである。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
本発明の第１の編集方法は、ビデオデータを編集する編集方法において、ビデオデータを符号化処理することによって生成されると共にビデオデータの各フレームに付随しているタイムコード情報が復号再生の単位毎に記述されたビデオストリームを復号化処理すると共に、ビデオストリームのシンタックスを解析することによってビデオストリームからタイムコード情報を抽出するビデオ復号化手順と、ビデオストリームのシンタックスを解析することによって得られたタイムコード情報と、ビデオデータに対して設定された編集点に基づいて生成された編集リストとに基づいて、ビデオ復号化手順によって復号化された復号化ビデオデータを編集する編集手順とを含むようにしたものである。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
本発明の第１の編集システムおよび本発明の第１の編集方法では、ビデオデータを符号化処理することによって生成されると共にビデオデータの各フレームに付随しているタイムコード情報が復号再生の単位毎に記述されたビデオストリームが復号化処理されると共に、ビデオストリームのシンタックスを解析することによって、ビデオストリームからタイムコード情報が抽出される。また、ビデオストリームのシンタックスを解析することによって得られたタイムコード情報と、ビデオデータに対して設定された編集点に基づいて生成された編集リストとに基づいて、復号化された復号化ビデオデータが編集される。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
本発明の第２の編集システムは、ビデオデータを符号化処理することによって得られたビデオストリームを編集する編集システムにおいて、ビデオデータに対して設定された編集点に基づいて、編集リストを生成する手段と、ビデオデータを符号化処理することによって生成されると共にビデオデータの各フレームに付随しているタイムコード情報が復号再生の単位毎に記述されたビデオストリームを生成するビデオ符号化手段と、ビデオストリームのシンタックスを解析することによって得られたタイムコード情報と編集リストとに基づいて、ビデオストリームを編集するストリーム編集手段とを備えたものである。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
本発明の第２の編集方法は、ビデオデータを符号化処理することによって得られたビデオストリームを編集する編集方法において、ビデオデータに対して設定された編集点に基づいて、編集リストを生成する手順と、ビデオデータを符号化処理することによって生成されると共にビデオデータの各フレームに付随しているタイムコード情報が復号再生の単位毎に記述されたビデオストリームを生成するビデオ符号化手順と、ビデオストリームのシンタックスを解析することによって得られたタイムコード情報と編集リストとに基づいて、ビデオストリームを編集するストリーム編集手順とを含むようにしたものである。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
本発明の第２の編集システムおよび本発明の第２の編集方法では、ビデオデータに対して設定された編集点に基づいて編集リストが生成され、ビデオデータを符号化処理することによって生成されると共にビデオデータの各フレームに付随しているタイムコード情報が復号再生の単位毎に記述されたビデオストリームが生成され、ビデオストリームのシンタックスを解析することによって得られたタイムコード情報と編集リストとに基づいて、ビデオストリームが編集される。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
本発明の第３の編集システムは、ビデオストリームを編集する編集システムにおいて、ベースバンドのビデオデータを処理することによって設定された編集点に基づいて、編集リストを生成するベースバンドシステムと、ビデオデータを符号化処理することによって生成されると共にビデオデータの各フレームに付随しているタイムコード情報が復号再生の単位毎に記述されたビデオストリームを生成し、ビデオストリームのシンタックスを解析することによって得られたタイムコード情報とベースバンドシステムにおいて生成された編集リストとに基づいて、ビデオストリームをストリームレベルで編集するビデオ符号化システムとを備えたものである。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
本発明の第３の編集方法は、ビデオストリームを編集する編集方法において、ベースバンドのビデオデータを処理することによって設定された編集点に基づいて、編集リストを生成する手順と、ビデオデータを符号化処理することによって生成されると共にビデオデータの各フレームに付随しているタイムコード情報が復号再生の単位毎に記述されたビデオストリームを生成し、ビデオストリームのシンタックスを解析することによって得られたタイムコード情報と編集リストを生成する手順によって生成された編集リストとに基づいて、ビデオストリームをストリームレベルで編集するビデオ符号化手順とを含むようにしたものである。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
本発明の第３の編集システムおよび本発明の第３の編集方法では、ベースバンドのビデオデータを処理することによって設定された編集点に基づいて、編集リストが生成される。また、ビデオデータを符号化処理することによって生成されると共にビデオデータの各フレームに付随しているタイムコード情報が復号再生の単位毎に記述されたビデオストリームが生成され、ビデオストリームのシンタックスを解析することによって得られたタイムコード情報と生成された編集リストとに基づいて、ビデオストリームがストリームレベルで編集される。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
本発明の第１のデータ処理装置または本発明の第１のデータ処理方法によれば、ビデオデータからこのビデオデータにフレーム毎に付与されたタイムコード情報を取得し、ビデオデータを符号化処理してビデオストリームを生成し、取得されたタイムコード情報を生成されたビデオストリームにピクチャ毎に記述するように符号化処理を制御するようにしたので、素材データに付随するタイムコード情報を、復号単位毎のビデオストリームに対応させて確実に伝達することができるという効果を奏する。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
また、本発明の第２のデータ処理装置または本発明の第２のデータ処理方法によれば、オーディオデータからこのオーディオデータにフレーム毎に付与されたタイムコード情報を取得し、オーディオデータを符号化処理してオーディオストリームを生成し、取得されたタイムコード情報を生成されたオーディオストリームにフレーム毎に記述するように符号化処理を制御するようにしたので、素材データに付随するタイムコード情報を、復号単位毎のオーディオストリームに対応させて確実に伝達することができるという効果を奏する。
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】削除
【補正の内容】
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】削除
【補正の内容】
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
また、本発明の第１の編集システムまたは本発明の第１の編集方法によれば、ビデオデータを符号化処理することによって生成されると共にビデオデータの各フレームに付随しているタイムコード情報が復号再生の単位毎に記述されたビデオストリームを復号化処理すると共に、ビデオストリームのシンタックスを解析することによってビデオストリームからタイムコード情報を抽出し、ビデオストリームのシンタックスを解析することによって得られたタイムコード情報と、ビデオデータに対して設定された編集点に基づいて生成された編集リストとに基づいて、復号化された復号化ビデオデータを編集するようにしたので、ビデオデータの各フレームに付随しているタイムコード情報を使用して、送信側における編集処理と全く同じ編集処理を受信側において実現することができるという効果を奏する。
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
また、本発明の第２の編集システムまたは本発明の第２の編集方法によれば、ビデオデータに対して設定された編集点に基づいて編集リストを生成し、ビデオデータを符号化処理することによって生成されると共にビデオデータの各フレームに付随しているタイムコード情報が復号再生の単位毎に記述されたビデオストリームを生成し、ビデオストリームのシンタックスを解析することによって得られたタイムコード情報と編集リストとに基づいて、ビデオストリームを編集するようにしたので、ビデオデータの各フレームに付随しているタイムコード情報を使用して、ビデオストリームの編集を実現することができるという効果を奏する。
【手続補正３２】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
また、本発明の第３の編集システムまたは本発明の第３の編集方法によれば、ベースバンドのビデオデータを処理することによって設定された編集点に基づいて編集リストを生成し、ビデオデータを符号化処理することによって生成されると共にビデオデータの各フレームに付随しているタイムコード情報が復号再生の単位毎に記述されたビデオストリームを生成し、ビデオストリームのシンタックスを解析することによって得られたタイムコード情報と生成された編集リストとに基づいて、ビデオストリームをストリームレベルで編集するようにしたので、ビデオストリームをストリームレベルで編集することができ、画質の劣化を防止することができるという効果を奏する。