(57)【特許請求の範囲】
【請求項１】
画像符号を含むコンテンツデータに付加情報を挿入する付加情報挿入装置において、
前記コンテンツデータ中の前記画像符号の第１のビット数を該第１のビット数よりも少ない第２のビット数に削減することにより空き領域を生成する空き領域生成手段と、
前記空き領域に前記付加情報を挿入する付加情報挿入手段と、
を備え、
前記空き領域生成手段は、前記画像符号により表される動画像の空間を分割した領域であって、前記画像符号により表される前記動画像の符号化ブロックを複数含むものであるスライス領域毎に該スライス領域に属する前記空き領域を生成し、
前記付加情報挿入手段は、各スライス領域に属する前記空き領域毎に前記付加情報を挿入することを特徴とする付加情報挿入装置。
【請求項２】
請求項１に記載の付加情報挿入装置において、
前記付加情報挿入手段は、
各スライス領域を検出する手段と、
各スライス領域に含まれる前記画像符号が占める領域を検出する手段と、
各スライス領域のうちの前記画像符号が占める領域以外の領域を前記空き領域として検出する手段と、
を備えることを特徴とする付加情報挿入装置。
【請求項３】
請求項１に記載の付加情報挿入装置において、
前記コンテンツデータは、ＭＰＥＧ(Motion Picture Experts Group)データであり、前記スライス領域はＭＰＥＧ規格で定義されたスライス領域であることを特徴とする付加情報挿入装置。
【請求項４】
画像符号を含むコンテンツデータに付加情報を挿入する付加情報挿入装置において、
前記コンテンツデータ中の前記画像符号の第１のビット数を該第１のビット数よりも少ない第２のビット数に削減することにより空き領域を生成する空き領域生成手段と、
前記空き領域に前記付加情報を挿入する付加情報挿入手段と、
を備え、
前記空き領域生成手段は、前記画像符号により表される動画像の空間を分割した領域であって、前記画像符号により表される前記動画像の符号化ブロックを複数含むものであるスライス領域毎に該スライス領域のサイズを減らすと共に該スライス領域に属しない前記空き領域を生成し、
前記付加情報挿入手段は、前記スライス領域に属しない前記空き領域に前記付加情報を挿入することを特徴とする付加情報挿入装置。
【請求項５】
請求項４に記載の付加情報挿入装置において、
サイズが減らされた複数の前記スライス領域の相互間隔を詰めることにより、前記スライス領域に属しない前記空き領域を複数個繋げる手段を更に備え、
前記付加情報挿入手段は、複数個繋がった前記空き領域に前記付加情報を挿入することを特徴とする付加情報挿入装置。
【請求項６】
請求項４に記載の付加情報挿入装置において、
前記コンテンツデータは、ＭＰＥＧ(Motion Picture Experts Group)データであり、前記スライス領域は、ＭＰＥＧ規格で定義されたスライス領域であり、前記スライス領域に属しない前記空き領域は、前記ＭＰＥＧ規格で定義された１のスタートコードプレフィックスと前記ＭＰＥＧ規格で定義されたユーザデータスタートコードの組と次のスタートコードプレフィックスに挟まれたユーザデータ領域を構成することを特徴とする付加情報挿入装置。
【請求項７】
請求項４に記載の付加情報挿入装置において、
前記コンテンツデータは、ＭＰＥＧ(Motion Picture Experts Group)データであり、前記スライス領域は、ＭＰＥＧ規格で定義されたスライス領域であり、前記スライス領域に属しない前記空き領域は、前記ＭＰＥＧ規格で定義されたＰＥＳ(Packetized Elementary Stream)を構成することを特徴とする付加情報挿入装置。
【請求項８】
請求項１又は４に記載の付加情報挿入装置において、
前記コンテンツデータは、音声符号を含むことを特徴とする付加情報挿入装置。
【請求項９】
請求項１又は４に記載の付加情報挿入装置において、
前記空き領域生成手段は、前記画像符号により表される動画像の符号化ブロック毎に前記画像符号のビット数を削減することを特徴とする付加情報挿入装置。
【請求項１０】
請求項１乃至９のいずれか１項に記載の付加情報挿入装置において、
前記付加情報は、複数の前記空き領域に分散して挿入されることを特徴とする付加情報挿入装置。
【請求項１１】
請求項１乃至９に記載の付加情報挿入装置において、
前記付加情報は、該付加情報の種類を示す情報、該付加情報のサイズを示す情報及び付加情報本体を含むことを特徴とする付加情報挿入装置。
【請求項１２】
請求項１乃至１１のいずれか１項に記載の付加情報挿入装置において、
前記付加情報は、ＵＲＬ(Uniform Resource Locator)を含むことを特徴とする付加情報挿入装置。
【請求項１３】
請求項１乃至１１のいずれか１項に記載の付加情報挿入装置において、
前記付加情報は、コンテンツデータ再生装置を制御するために参照される参照情報を含むことを特徴とする付加情報挿入装置。
【請求項１４】
請求項１乃至１１のいずれか１項に記載の付加情報挿入装置において、
前記付加情報は、ストリーミングサーバを制御するために参照される参照情報を含むことを特徴とする付加情報挿入装置。
【請求項１５】
請求項１乃至１１のいずれか１項に記載の付加情報挿入装置において、
前記付加情報は、画像情報であることを特徴とする付加情報挿入装置。
【請求項１６】
画像符号及び付加情報を含むコンテンツデータから前記付加情報を抽出する付加情報抽出装置において、
前記付加情報は、前記画像符号により表される動画像の空間を分割した領域であって、前記画像符号により表される前記動画像の符号化ブロックを複数含むものであるスライス領域に含まれ、
当該付加情報抽出装置は、
前記スライス領域を検出する手段と、
前記スライス領域に含まれる前記画像符号が占める領域を検出する手段と、
前記スライス領域に含まれるが前記画像符号が占める領域以外の領域である付加情報領域を検出する手段と、
前記付加情報領域に挿入されている前記付加情報を抽出する手段と、
を備えることを特徴とする付加情報抽出装置。
【請求項１７】
請求項１６に記載の付加情報抽出装置において、
前記コンテンツデータは、音声符号を含むことを特徴とする付加情報抽出装置。
【請求項１８】
請求項１６又は１７に記載の付加情報抽出装置において、
前記コンテンツデータはＭＰＥＧ(Motion Picture Experts Group)データであり、前記スライス領域はＭＰＥＧ規格で定義されたスライス領域であることを特徴とする付加情報抽出装置。
【請求項１９】
請求項１６乃至１８のいずれか１項に記載の付加情報抽出装置において、
前記付加情報は、複数の前記付加情報領域に分散して挿入されており、
当該付加情報抽出装置は、
分散されて複数の前記付加情報領域に挿入されている付加情報を連結する連結手段を備えることを特徴とする付加情報抽出装置。
【請求項２０】
請求項１６乃至１９のいずれか１項に記載の付加情報抽出装置を備える装置において、
前記付加情報は、ＵＲＬ(Uniform Resource Locator)を含み、
当該装置は、前記ＵＲＬにより示されるリソースにアクセスする手段を備えることを特徴とする装置。
【請求項２１】
請求項１６乃至１９のいずれか１項に記載の付加情報抽出装置を備えるコンテンツデータ再生装置において、
前記付加情報は、当該コンテンツデータ再生装置を制御するために参照される参照情報を含み、
当該再生装置は、前記参照情報とユーザから入力された情報に応じて動作する手段を備えることを特徴とするコンテンツ再生装置。
【請求項２２】
請求項１６乃至１９のいずれか１項に記載の付加情報抽出装置を備えるストリーミングクライアントにおいて、
前記付加情報は、ストリーミングサーバを制御するための制御情報を生成するために参照される参照情報を含み、
当該ストリーミングクライアントは、前記参照情報とユーザから入力された情報に基づいて前記制御情報を生成する手段と、
前記制御情報を前記ストリーミングサーバに送信する手段と、
を備えることを特徴とするストリーミングクライアント。
【請求項２３】
画像符号を含むコンテンツデータに付加情報を挿入する付加情報挿入方法において、
前記コンテンツデータ中の前記画像符号の第１のビット数を該第１のビット数よりも少ない第２のビット数に削減することにより空き領域を生成する空き領域生成ステップと、
前記空き領域に前記付加情報を挿入する付加情報挿入ステップと、
を備え、
前記空き領域生成手段は、前記画像符号により表される動画像の空間を分割した領域であって、前記画像符号により表される前記動画像の符号化ブロックを複数含むものであるスライス領域毎に該スライス領域に属する前記空き領域を生成し、
前記付加情報挿入手段は、各スライス領域に属する前記空き領域毎に前記付加情報を挿入することを特徴とする付加情報挿入方法。
【請求項２４】
請求項２３に記載の付加情報挿入方法において、
前記付加情報挿入手段は、
各スライス領域を検出するステップと、
各スライス領域に含まれる前記画像符号が占める領域を検出するステップと、
各スライス領域のうちの前記画像符号が占める領域以外の領域を前記空き領域として検出するステップと、
を備えることを特徴とする付加情報挿入方法。
【請求項２５】
請求項２３に記載の付加情報挿入方法において、
前記コンテンツデータは、ＭＰＥＧ(Motion Picture Experts Group)データであり、前記スライス領域はＭＰＥＧ規格で定義されたスライス領域であることを特徴とする付加情報挿入方法。
【請求項２６】
画像符号を含むコンテンツデータに付加情報を挿入する付加情報挿入方法において、
前記コンテンツデータ中の前記画像符号の第１のビット数を該第１のビット数よりも少ない第２のビット数に削減することにより空き領域を生成する空き領域生成手段と、
前記空き領域に前記付加情報を挿入する付加情報挿入手段と、
を備えることを特徴とする付加情報挿入方法。
前記空き領域生成手段は、前記画像符号により表される動画像の空間を分割した領域であって、前記画像符号により表される前記動画像の符号化ブロックを複数含むものであるスライス領域毎に該スライス領域のサイズを減らすと共に該スライス領域に属しない前記空き領域を生成し、
前記付加情報挿入手段は、前記スライス領域に属しない前記空き領域に前記付加情報を挿入することを特徴とする付加情報挿入方法。
【請求項２７】
請求項２６に記載の付加情報挿入方法において、
サイズが減らされた複数の前記スライス領域の相互間隔を詰めることにより、前記スライス領域に属しない前記空き領域を複数個繋げる手段を更に備え、
前記付加情報挿入手段は、複数個繋がった前記空き領域に前記付加情報を挿入することを特徴とする付加情報挿入方法。
【請求項２８】
請求項２６に記載の付加情報挿入方法において、
前記コンテンツデータは、ＭＰＥＧ(Motion Picture Experts Group)データであり、前記スライス領域は、ＭＰＥＧ規格で定義されたスライス領域であり、前記スライス領域に属しない前記空き領域は、前記ＭＰＥＧ規格で定義された１のスタートコードプレフィックスと前記ＭＰＥＧ規格で定義されたユーザデータスタートコードの組と次のスタートコードプレフィックスに挟まれたユーザデータ領域を構成することを特徴とする付加情報挿入方法。
【請求項２９】
請求項２６に記載の付加情報挿入方法において、
前記コンテンツデータは、ＭＰＥＧ(Motion Picture Experts Group)データであり、前記スライス領域は、ＭＰＥＧ規格で定義されたスライス領域であり、前記スライス領域に属しない前記空き領域は、前記ＭＰＥＧ規格で定義されたＰＥＳ(Packetized Elementary Stream)を構成することを特徴とする付加情報挿入方法。
【請求項３０】
請求項２３又は２６に記載の付加情報挿入方法において、
前記コンテンツデータは、音声符号を含むことを特徴とする付加情報挿入方法。
【請求項３１】
請求項２３又は２６に記載の付加情報挿入方法において、
前記空き領域生成手段は、前記画像符号により表される動画像の符号化ブロック毎に前記画像符号のビット数を削減することを特徴とする付加情報挿入方法。
【請求項３２】
請求項２３乃至３１のいずれか１項に記載の付加情報挿入方法において、
前記付加情報は、複数の前記空き領域に分散して挿入されることを特徴とする付加情報挿入方法。
【請求項３３】
請求項２３乃至３１に記載の付加情報挿入方法において、
前記付加情報は、該付加情報の種類を示す情報、該付加情報のサイズを示す情報及び付加情報本体を含むことを特徴とする付加情報挿入方法。
【請求項３４】
請求項２３乃至３３のいずれか１項に記載の付加情報挿入方法において、
前記付加情報は、ＵＲＬ(Uniform Resource Locator)を含むことを特徴とする付加情報挿入方法。
【請求項３５】
請求項２３乃至３３のいずれか１項に記載の付加情報挿入方法において、
前記付加情報は、コンテンツデータ再生方法を制御するために参照される参照情報を含むことを特徴とする付加情報挿入方法。
【請求項３６】
請求項２３乃至３３のいずれか１項に記載の付加情報挿入方法において、
前記付加情報は、ストリーミングサーバを制御するために参照される参照情報を含むことを特徴とする付加情報挿入方法。
【請求項３７】
請求項２３乃至３３のいずれか１項に記載の付加情報挿入方法において、
前記付加情報は、画像情報であることを特徴とする付加情報挿入方法。
【請求項３８】
画像符号及び付加情報を含むコンテンツデータから前記付加情報を抽出する付加情報抽出方法において、
前記付加情報は、前記画像符号により表される動画像の空間を分割した領域であって、前記画像符号により表される前記動画像の符号化ブロックを複数含むものであるスライス領域に含まれ、
当該付加情報抽出方法は、
前記スライス領域を検出するステップと、
前記スライス領域に含まれる前記画像符号が占める領域を検出するステップと、
前記スライス領域に含まれるが前記画像符号が占める領域以外の領域である付加情報領域を検出するステップと、
前記付加情報領域に挿入されている前記付加情報を抽出するステップと、
を備えることを特徴とする付加情報抽出方法。
【請求項３９】
請求項３８に記載の付加情報抽出方法において、
前記コンテンツデータは、音声符号を含むことを特徴とする付加情報抽出方法。
【請求項４０】
請求項３８又は３９に記載の付加情報抽出方法において、
前記コンテンツデータはＭＰＥＧ(Motion Picture Experts Group)データであり、前記スライス領域はＭＰＥＧ規格で定義されたスライス領域であることを特徴とする付加情報抽出方法。
【請求項４１】
請求項３８乃至４０のいずれか１項に記載の付加情報抽出方法において、
前記付加情報は、複数の前記付加情報領域に分散して挿入されており、
当該付加情報抽出方法は、
分散されて複数の前記付加情報領域に挿入されている付加情報を連結する連結手段を備えることを特徴とする付加情報抽出方法。
【請求項４２】
請求項３８乃至４１のいずれか１項に記載の付加情報抽出方法を備える方法において、
前記付加情報は、ＵＲＬ(Uniform Resource Locator)を含み、
当該方法は、前記ＵＲＬにより示されるリソースにアクセスするステップを備えることを特徴とする方法。
【請求項４３】
請求項３８乃至４１のいずれか１項に記載の付加情報抽出方法を備えるコンテンツデータ再生方法において、
前記付加情報は、当該コンテンツデータ再生方法を制御するために参照される参照情報を含み、
当該再生方法は、前記参照情報とユーザから入力された情報に応じて動作するステップを備えることを特徴とするコンテンツ再生方法。
【請求項４４】
請求項３８乃至４１のいずれか１項に記載の付加情報抽出方法を備えるストリーミングクライアント側ストリーミング方法において、
前記付加情報は、ストリーミングサーバを制御するための制御情報を生成するために参照される参照情報を含み、
当該ストリーミングクライアントは、前記参照情報とユーザから入力された情報に基づいて前記制御情報を生成する手段と、
前記制御情報を前記ストリーミングサーバに送信する手段と、
を備えることを特徴とするストリーミングクライアント側ストリーミング方法。
【請求項４５】
請求項２３乃至４４の何れか１項に記載の方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像符号を含むコンテンツデータに付加情報を挿入する付加情報挿入装置及び画像符号及び付加情報を含むコンテンツデータから付加情報を抽出する付加情報抽出装置に関する。
【０００２】
【従来の技術】
近年、ＭＰＥＧ(Motion Picture Experts Group)方式は、動画像及び音声を蓄積又は伝送する方式として普及してきており、例えば、ＣＤ−Ｒ(Compact Disc-Recordable)、ＤＶＤ(Digital Versatile Disc)、ハードディスク等のデジタル蓄積メディア(Digital Storage Medium)の記録フォーマットとして使用され、また、デジタルテレビ放送の符号化方式としても使用されている。また、ＭＰＥＧ方式は動画像及び音声のストリーミングの符号化方式としても使用されている。
【０００３】
ＭＰＥＧ方式では、ＭＰＥＧ信号にユーザデータを挿入する方式として、次に示す２種類の方式が規定されている。第１の方式は、プログラムストリーム（ＰＳ）中にユーザデータを含むＰＳパケットを挿入する方式であり、第２の方式は、ＰＥＳ(Packet Elementary Stream)になる前のビデオストリーム中にユーザデータ領域を挿入する方式である。
【０００４】
第１の方式を図２９を参照して次に説明する。プログラムストリームの各パケット（ＰＳパケット）は、プログラムストリームシステムヘッダ（ＢＢＨの値をとる。）とそれに続く複数のパックより構成される。各パックは、ＰＳパックヘッダ（ＢＡＨの値をとる。）及びＰＳシステムヘッダ（ＢＢＨの値をとる。）とそれに続く可変個数のＰＥＳ、ＰＳプログラムマップテーブル又はＰＳディレクトリより構成される。各ＰＥＳ内のエレメンタリストリームは、ビデオエレメンタリストリーム、オーディオエレメンタリストリーム又はユーザデータ（プライベートデータ）等である。トリックモード制御情報は、各ＰＥＳのコンディショナルコーディングに含まれる。
【０００５】
第２の方式を図３０を参照して次に説明する。ユーザデータは、ビデオストリーム中のシーケンス層のデータであって、あるスタートコードプレフィックス（２３個以上の「０」とそれに続く１個の「１」より成る。）とユーザデータスタートコード(user_data_start_code)の値（Ｂ２Ｈ）をとるスタートコードＩＤの組から次のスタートコードプレフィックスの間のユーザデータ領域に存在する。ユーザデータ中のデータは、スタートコードプレフィックスと同一のシーケンスを含んではいけない。
【０００６】
特開平２０００−１９７０１８号には、番組送信装置において、送信すべきＭＰＥＧ２のトランスポートストリームに（１）ＵＲＬ(Uniform Resource Locator)、メールアドレス及び番組タイトル等を記述したユーザデータ（プライベートデータ）、（２）そのユーザデータと映像データと音声データを関連付ける情報を記述したプログラムマップテーブル並びに（３）そのプログラムマップテーブルを伝送しているトランスポートパケットのＰＩＤを記述したプログラムアソシエーションテーブルを挿入し、受信装置において、これらのデータ及びテーブルを参照して、番組内容に関連したＵＲＬ、メールアドレス及び番組タイトルに対応したそれぞれのボタンを画面上に表示し、ＵＲＬに対応するボタンがユーザにより押されたならば、そのＵＲＬのホームページを表示し、メールアドレスに対応するボタンがユーザにより押されたならば、そのメールアドレス宛にメールを送るためのメーラを起動し、番組タイトルに対応したボタンがユーザにより押されたならば、その番組タイトルを表示する従来技術が開示されている。この従来技術は、第１の方式と比較すると、ストリームがプログラムストリームであるか又はトランスポートストリームであるかの点において相違があるが、ユーザ（プライベート）データ専用の領域にユーザデータを挿入するものである点において、第１の方式と同一である。
【０００７】
また、特開平１０−２１０４２８号公報には、番組送信装置において、送信すべきＭＰＥＧ２のビットストリーム中のユーザデータ領域に番組識別情報を挿入し、番組受信装置において、受信したビットストリーム中のユーザデータ領域から番組識別情報を抽出し、抽出された番組識別情報に記述されている放送番組及び番組とユーザが番組受信装置に入力しておいた放送時間と番組が一致したときに番組を録画する従来技術が開示されている。この従来技術は、上記第２の方式を用いたものである。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記の第１の方式及び第２の方式によれば、ユーザデータをコンテンツデータに挿入すると、挿入のために追加されたユーザデータパケット又はユーザデータ領域の分だけコンテンツデータのサイズが増えてしまう。従って、コンテンツデータをデジタル蓄積メディアに記録する場合には、デジタル蓄積メディアの記録容量が圧迫され、同一の伝送レートでコンテンツデータを伝送する場合には、伝送時間が長くなり、同一の伝送時間でコンテンツデータを伝送する場合には、伝送レートが高くなり通信容量を圧迫する。また、デジタル蓄積メディアに既に目一杯コンテンツデータが記録されている場合には、ユーザデータを追加することが不可能となる。
【０００９】
また、上記の第１の方式及び第２の方式によれば、映像データと音声データの同期がリップ(lip)同期の許容範囲を超えてずれる場合が起きる。
【００１０】
本発明は上記の問題点に鑑みてなされたものであり、コンテンツデータのサイズを増やさずにユーザデータ等の付加情報をコンテンツデータに挿入することを可能とする付加情報挿入装置及びこの付加情報挿入装置が挿入した付加情報をコンテンツデータから抽出する付加情報抽出装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の第１の観点によれば、画像符号を含むコンテンツデータに付加情報を挿入する付加情報挿入方法において、前記コンテンツデータ中の前記画像符号の第１のビット数を該第１のビット数よりも少ない第２のビット数に削減することにより空き領域を生成する空き領域生成手段と、前記空き領域に前記付加情報を挿入する付加情報挿入手段と、を備え、前記空き領域生成手段は、前記画像符号により表される動画像の空間を分割した領域であって、前記画像符号により表される前記動画像の符号化ブロックを複数含むものであるスライス領域毎に該スライス領域に属する前記空き領域を生成し、前記付加情報挿入手段は、各スライス領域に属する前記空き領域毎に前記付加情報を挿入することを特徴とする付加情報挿入装置が提供される。
本発明の第１の観点による付加情報挿入装置において、前記付加情報挿入手段は、各スライス領域を検出する手段と、各スライス領域に含まれる前記画像符号が占める領域を検出する手段と、各スライス領域のうちの前記画像符号が占める領域以外の領域を前記空き領域として検出する手段と、を備えるようにしてもよい。
本発明の第１の観点による付加情報挿入装置において、前記コンテンツデータは、ＭＰＥＧ(Motion Picture Experts Group)データであり、前記スライス領域はＭＰＥＧ規格で定義されたスライス領域であるようにしてもよい。
本発明の第２の観点によれば、画像符号を含むコンテンツデータに付加情報を挿入する付加情報挿入装置において、前記コンテンツデータ中の前記画像符号の第１のビット数を該第１のビット数よりも少ない第２のビット数に削減することにより空き領域を生成する空き領域生成手段と、前記空き領域に前記付加情報を挿入する付加情報挿入手段と、を備え、前記空き領域生成手段は、前記画像符号により表される動画像の空間を分割した領域であって、前記画像符号により表される前記動画像の符号化ブロックを複数含むものであるスライス領域毎に該スライス領域のサイズを減らすと共に該スライス領域に属しない前記空き領域を生成し、前記付加情報挿入手段は、前記スライス領域に属しない前記空き領域に前記付加情報を挿入することを特徴とする付加情報挿入装置が提供される。
本発明の第２の観点による付加情報挿入装置において、サイズが減らされた複数の前記スライス領域の相互間隔を詰めることにより、前記スライス領域に属しない前記空き領域を複数個繋げる手段を更に備え、前記付加情報挿入手段は、複数個繋がった前記空き領域に前記付加情報を挿入するようにしてもよい。
本発明の第２の観点による付加情報挿入装置において、前記コンテンツデータは、ＭＰＥＧ(Motion Picture Experts Group)データであり、前記スライス領域は、ＭＰＥＧ規格で定義されたスライス領域であり、前記スライス領域に属しない前記空き領域は、前記ＭＰＥＧ規格で定義された１のスタートコードプレフィックスと前記ＭＰＥＧ規格で定義されたユーザデータスタートコードの組と次のスタートコードプレフィックスに挟まれたユーザデータ領域を構成するようにしてもよい。
本発明の第２の観点による付加情報挿入装置において、前記コンテンツデータは、ＭＰＥＧ(Motion Picture Experts Group)データであり、前記スライス領域は、ＭＰＥＧ規格で定義されたスライス領域であり、前記スライス領域に属しない前記空き領域は、前記ＭＰＥＧ規格で定義されたＰＥＳ(Packetized Elementary Stream)を構成するようにしてもよい。
本発明の第１又は第２の観点による付加情報挿入装置において、前記コンテンツデータは、音声符号を含むようにしてもよい。
本発明の第１又は第２の観点による付加情報挿入装置において、前記空き領域生成手段は、前記画像符号により表される動画像の符号化ブロック毎に前記画像符号のビット数を削減するようにしてもよい。
本発明の第１又は第２の観点による付加情報挿入装置において、前記付加情報は、複数の前記空き領域に分散して挿入されるようにしてもよい。
本発明の第１又は第２の観点による付加情報挿入装置において、前記付加情報は、該付加情報の種類を示す情報、該付加情報のサイズを示す情報及び付加情報本体を含むようにしてもよい。
本発明の第１又は第２の観点による付加情報挿入装置において、前記付加情報は、ＵＲＬ(Uniform Resource Locator)を含むようにしてもよい。
本発明の第１又は第２の観点による付加情報挿入装置において、前記付加情報は、コンテンツデータ再生装置を制御するために参照される参照情報を含むようにしてもよい。
本発明の第１又は第２の観点による付加情報挿入装置において、前記付加情報は、ストリーミングサーバを制御するために参照される参照情報を含むようにしてもよい。
本発明の第１又は第２の観点による付加情報挿入装置において、前記付加情報は、画像情報であるようにしてもよい。
本発明の第３の観点によれば、画像符号及び付加情報を含むコンテンツデータから前記付加情報を抽出する付加情報抽出装置において、前記付加情報は、前記画像符号により表される動画像の空間を分割した領域であって、前記画像符号により表される前記動画像の符号化ブロックを複数含むものであるスライス領域に含まれ、当該付加情報抽出装置は、前記スライス領域を検出する手段と、前記スライス領域に含まれる前記画像符号が占める領域を検出する手段と、前記スライス領域に含まれるが前記画像符号が占める領域以外の領域である付加情報領域を検出する手段と、前記付加情報領域に挿入されている前記付加情報を抽出する手段と、を備えることを特徴とする付加情報抽出装置が提供される。
本発明の第３の観点による付加情報抽出装置において、前記コンテンツデータは、音声符号を含むようにしてもよい。
本発明の第３の観点による付加情報抽出装置において、前記コンテンツデータはＭＰＥＧ(Motion Picture Experts Group)データであり、前記スライス領域はＭＰＥＧ規格で定義されたスライス領域であるようにしてもよい。
本発明の第３の観点による付加情報抽出装置において、前記付加情報は、複数の前記付加情報領域に分散して挿入されており、当該付加情報抽出装置は、分散されて複数の前記付加情報領域に挿入されている付加情報を連結する連結手段を備えるようにしてもよい。
本発明の第３の観点による付加情報抽出装置を備える装置において、前記付加情報は、ＵＲＬ(Uniform Resource Locator)を含み、当該装置は、前記ＵＲＬにより示されるリソースにアクセスする手段を備えるようにしてもよい。
本発明の第３の観点による付加情報抽出装置を備えるコンテンツデータ再生装置において、前記付加情報は、当該コンテンツデータ再生装置を制御するために参照される参照情報を含み、当該再生装置は、前記参照情報とユーザから入力された情報に応じて動作する手段を備えるようにしてもよい。
本発明の第４の観点によれば、本発明の第３の観点による付加情報抽出装置を備えるストリーミングクライアントにおいて、前記付加情報は、ストリーミングサーバを制御するための制御情報を生成するために参照される参照情報を含み、当該ストリーミングクライアントは、前記参照情報とユーザから入力された情報に基づいて前記制御情報を生成する手段と、前記制御情報を前記ストリーミングサーバに送信する手段と、を備えることを特徴とするストリーミングクライアントが提供される。
【００３４】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について詳細に説明する。
【００３５】
［実施形態１］
［１］付加情報挿入装置
図１は本発明の実施形態１による付加情報挿入装置１０１Ａの構成を示すブロック図である。図１を参照すると、付加情報挿入装置１０１Ａは、挿入前プログラムストリーム１５１Ａに付加情報１５９を挿入して、付加情報１５９が挿入されたプログラムストリームを挿入後プログラムストリーム１５１Ｃとして出力する。挿入前プログラムストリーム１５１Ａは、ＭＰＥＧ２で規格化されているビットストリームである。挿入後プログラムストリーム１５１Ｃのサイズは、挿入前プログラムストリーム１５１Ａのサイズを超えない。挿入前プログラムストリーム１５１Ａは、挿入前プログラムストリームファイル１３１から読み出され、付加情報１５９は付加情報ファイル１３２から読み出され、挿入後プログラムストリームは挿入後プログラムストリームファイル１３３に書き込まれるが、これらはインターネット等のネットワークを通して送受信されても良い。また、付加情報挿入装置１０１Ａは、ビデオＰＥＳ検出部１１１、スライス検出部１１２、空き領域生成部１１３、付加情報挿入部１１４、挿入割合計算部１１５、符号量制御部１１６及び付加情報バッファ１１７を備える。
【００３６】
次に、付加情報挿入装置１０１Ａの各部の構成及び動作について説明する。
【００３７】
ビデオＰＥＳ検出部１１１は、挿入前プログラムストリーム１５１Ａを入力して、挿入前プログラムストリーム１５１Ａ中のビデオＰＥＳを検出し、挿入前プログラムストリーム１５１Ａ及び挿入前プログラムストリーム１５１Ａの各バイトがビデオＰＥＳに属しているか否かを示す図２に示すようなビデオＰＥＳイネーブル信号１５２を出力する。各ＰＥＳのヘッダには、スタートコードプレフィックスとＰＥＳの種類を表すＰＥＳスタートコードＩＤが順に記述されているので、スタートコードプレフィックスを検出すると共にそれに続くＰＥＳスタートコードＩＤの値を調べることによりビデオＰＥＳを検出することができる。なお、ビデオＰＥＳのＰＥＳスタートコードＩＤの値は、Ｅ０Ｈ〜ＥＦＨの値をとる。
【００３８】
スライス検出部１１２は、ビデオＰＥＳ検出部１１１から出力された挿入前プログラムストリーム１５１Ａ及びビデオＰＥＳイネーブル信号１５２を入力して、ビデオＰＥＳ中のビデオスタートコード及びスライスを検出して、挿入前プログラムストリーム１５１Ａ、挿入前プログラムストリームのどのバイトがビデオスタートコードであるかを示す図２に示すようなビデオスタートコード検出信号１５３及び挿入前プログラムストリームの各バイトがスライスに属しているか否かを示す図２に示すようなスライスイネーブル信号１５４を出力する。ビデオＰＥＳのペイロードを繋げたものはビデオストリームであるが、ビデオストリームは、スタートコードプレフィックス及びビデオスタートコードＩＤの組により区切られている。スタートコードプレフィックスを検出すると共にそれに続くビデオスタートコードＩＤの値を調べることによりスライスを検出することができる。なお、スライスのビデオスタートコードＩＤの値は０１Ｈ〜ＡＦＨの値をとる。
【００３９】
挿入割合計算部１１５は、挿入前プログラムストリーム１５１ＡのビデオＰＥＳの総サイズＳ１と付加情報１５９のサイズＳ２を計測し、これらのサイズより、コンテンツデータ中に付加情報を挿入する割合の目標値である目標挿入割合を次式
目標挿入割合＝Ｓ２／Ｓ１
により計算し、その目標挿入割合を示す挿入割合指示信号１５７を符号量制御部１１６に出力する。
【００４０】
符号量制御部１１６は、空き領域生成部１１３から入力する画像符号イネーブル信号１５５がアクティブである時間Ｔ１と空き領域生成削減部１１３から入力する付加情報イネーブル信号がアクティブである時間Ｔ２より、
計測挿入割合＝Ｔ２／（Ｔ１＋Ｔ２）
を計算し、計測挿入割合が目標挿入割合になるように、計数変更信号１５８を逐次調整して空き領域生成部１１３に出力する。
【００４１】
空き領域生成部１１３は、符号量制御部１１６から入力する計数変更信号１５８に基づいてスライス中の画像符号の総ビット数を削減する。係数変更信号１５８が画像符号の削減ビット数を増やすように指示しているときには、画像符号の削減ビット数を増やし、係数変更信号が画像符号の削減ビット数を減らすように指示しているときには、画像符号の削減ビット数を減らす。空き領域生成部１１３は、削減後の画像符号をスライス毎にスライスの前方に詰めて、各スライスの末尾に空き領域を設ける。空き領域生成部１１３は、画像符号がこのように削減されてスライスの前方に詰められたプログラムストリームを中間プログラムストリーム１５１Ｂとして付加情報挿入部１１４に出力する。また、空き領域生成部１１３は、中間プログラムストリーム１５１Ｂ中の各バイトに画像符号があるか否かを示す図２に示すような画像符号イネーブル信号１５５を符号量制御部１１６に出力し、中間プログラムストリーム１５１Ｂ中の各バイトが付加情報を挿入することが可能な空き領域であるか否かを示す図２に示すような付加情報イネーブル信号１５６を符号量制御部１１６及び付加情報挿入部１１４に出力する。
【００４２】
付加情報バッファ１１７は、付加情報１５９を一時的に記憶し、付加情報挿入部１１４から入力する付加情報イネーブル信号がアクティブである時に、一時記憶した付加情報１５９を付加情報挿入部１１４に出力する。付加情報バッファ１１７は、例えば、ＦＩＦＯ(First-In First-Out)で構成される。
【００４３】
付加情報挿入部１１４は、空き領域生成部１１３から出力された中間プログラムストリーム１５１Ｂ及び付加情報イネーブル信号１５６並びに付加情報バッファ１１７から出力された付加情報１５９を入力し、中間プログラムストリーム１５１Ｂ中の付加情報イネーブル信号１５６により空き領域であることが示されるバイトに付加情報１５９を挿入し、挿入後のプログラムストリームを挿入後プログラムストリーム１５１Ｃとして出力する。挿入後プログラムストリーム１５１Ｃ中のスライスの構造は、図２の１５１Ｃ−Ｓに示すようになる。
【００４４】
次に、空き領域生成部１１３のより詳細な構成及び動作について図３を参照して説明する。
【００４５】
図３を参照すると、空き領域生成部１１３は、可変長復号器１２１、ＤＣＴ係数変更部１２２、マルチプレクサ１２３、可変長符号器１２４及び論理積ゲート１２５を備える。
【００４６】
可変長復号器１２１は、挿入前プログラムストリーム１５１Ａ、スライスイネーブル信号及びビデオスタートコード検出信号１５４を入力し、可変長符号を復号して、各ＤＣＴブロックのＤＣＴ係数等のデータをＤＣＴ係数変更部１２２及びマルチプレクサ１２３に出力する。可変長符号の復号は、ＤＣＴ係数の２次元ハフマン符号の復号その他復号を含む。
【００４７】
ＤＣＴ係数変更部１２２は、入力した各ＤＣＴブロックのＤＣＴ係数を、再符号化したときにＤＣＴブロック当たりの符号量が少なくなるように、変更する。変更の方法としては、例えば、各ＤＣＴブロックのＤＣＴ係数のうちの所定数個のみのＤＣＴ係数を残して、他のＤＣＴ係数の振幅をゼロにする方法を用いる。すなわち、ＤＣＴ係数変更部１２２は、この方法を用いることにより、入力したＤＣＴ係数の全て又は一部の振幅をゼロにして、これによりＤＣＴブロックあたりの符号量を削減する。
【００４８】
例えば、図４に示すように、周波数領域を領域Ａと領域Ｂに分割し、領域ＡのＤＣＴ係数はそのまま残し、領域Ｂの係数はゼロにする。図５に示すようなジグザグスキャンをして、非ゼロのＤＣＴ係数とそれに先行するゼロのランレングスを２次元ハフマン符号化をしたときには、ジグザグスキャンのうちの最初のＤＣＴ係数ｆ（０、０）から高々ＤＣＴ係数ｆ（５、５）までのみが符号化されるようになる。このようなＤＣＴ係数の操作をすることにより、例えば、図６の左に示すＤＣＴ係数ｆ（ｉ、ｊ）は、図６の右に示すＤＣＴ係数Ｆ（ｉ、ｊ）に変化する。図６において、７の振幅を有するｆ（４、３）、１２の振幅を有するｆ（４、５）及び６の振幅を有するｆ（６、４）は、それぞれ、０の振幅を有するＦ（４、３）、ゼロの振幅を有するＦ（４、５）及びゼロの振幅を有するＦ（６、４）に変化するが、他のｆ（ｉ、ｊ）は変化しない。
【００４９】
２次元ハフマン符号化についてより詳しく説明すると、２次元分布するＤＣＴ係数は、図５に示すようなジグザグスキャンにより１次元のＤＣＴ係数に並べられる。すなわち、ＤＣＴ係数は、ｆ（０、０）、ｆ（０、１）、ｆ（１、０）、ｆ（２、０）、ｆ（１、１）、ｆ（０、２）、．．、．ｆ（７、７）の順に一次元的に並べられる。そしてこれらのＤＣＴ係数は、非ゼロのＤＣＴ係数の振幅(レベル)とこのように並べられたときに非ゼロのＤＣＴ係数に先行するゼロのＤＣＴ係数の連続個数（ゼロランレングス）をペアとして符号化される。レベルとゼロランレングスの各ペアには発生頻度に応じた長さの可変長符号が割り当てられる。各ペアのレベルとゼロランレングスの組み合わせと可変長符号の長さの関係は、図７及び図８に示すようになる。図７は、非イントラブロック及びintra_vlc_format=0のイントラブロックについてのものであり、図８は、intra_vlc_format=1のイントラブロックについてのものである。ただし、図７及び図８はレベルとゼロランレングスの全ての組み合わせのうち一部についてのみレベルとゼロランレングスの組み合わせと可変長符号の長さの関係を示している。
【００５０】
図６に示すブロックがintra_vlc_format=1のイントラブロックであるとした場合、このような符号化を２次元低域通過フィルタをかける前のｆ（ｉ、ｊ）に対して行うと、図６の左側の２次元マトリックスにおいて、例えば、ＤＣＴ係数ｆ（２、０）の振幅(レベル)は２であり、対応するゼロランレングスは図５のジグザグスキャンによりゼロをカウントすると２であり、対応する符号長は図８の可変長符号長の表においてレベル２とゼロランレングス２における値である８となる。
【００５１】
他のＤＣＴ係数の振幅に対応するゼロランレングスと符号長も、図６の左側のマトリックスの下に示すように求められる。従って、ＥＯＢ(End OF Block)を除いたブロック当たりの符号長は１４８ビットとなる。
【００５２】
一方、図６に示すブロックがintra_vlc_format=1のイントラブロックであるとした場合、このような符号化を図４のマスクをかけた後のＤＣＴ係数Ｆ（ｉ、ｊ）に対して行うと、図６の右側の２次元マトリックスの下に示すような符号長が求められ、ＥＯＢを除いたブロック当たりの符号長は７６ビットとなる。
【００５３】
従って、intra_vlc_format=1のイントラブロックの場合には、図６に示すように、各非ゼロＤＣＴ係数とそれに先行するゼロラングレングスを図５に示すジグザグスキャンに沿って２次元ハフマン符号化したときのＤＣＴブロックあたりの符号量は、上記のＤＣＴ係数の操作をかける前では１４８ビットであるが、その後では７６ビットに削減される。
【００５４】
ＤＣＴ係数変更部１１２は、係数変更信号１５８の値に応じて、振幅をゼロにしないで不変とするＤＣＴ係数の数を調整し、これによって、各ＤＣＴブロックあたりの符号量の削減の割合を調整する。
【００５５】
マルチプレクサ１２３は、ＤＣＴ係数変更部１２２が出力する変更後のＤＣＴ係数及び可変長復号器１２１が出力するデータのうちＤＣＴ係数を除いたデータをマルチプレクスして、マルチプレクスされたデータを可変長符号器１２４に出力する。
【００５６】
可変長符号器１２４は、マルチプレクサが出力するマルチプレクスされたデータを可変長符号化して、可変長符号を中間プログラムストリーム１５１Ｂとして付加情報挿入部１１４へ出力する。この可変長符号化は、ＤＣＴ係数の２次元ハフマン符号化その他符号化を含む。また、可変長符号器１２４は、スライス内の画像データを符号化して得た可変長符号をスライスの前方に詰めて出力し、スライス内で前方に詰められた可変長符号がある部分に対してアクティブとなる画像符号イネーブル信号１５５を符号量制御部１１６及び論理積ゲート１２５に出力する。
【００５７】
論理積ゲート１２５は、スライスイネーブル信号１５４と画像符号イネーブル信号１１５の反転信号との論理積をとり、この論理積を付加情報イネーブル信号１５６として符号量制御部１１６及び付加情報挿入部１１４に出力する。付加情報イネーブル信号１５６は、スライス内で可変長符号が前方に詰められることにより生じた空き領域でアクティブとなる信号である。
【００５８】
次に、付加情報挿入部１１４のより詳細な構成及び動作について図９を参照して説明する。
【００５９】
図９を参照すると、付加情報挿入部１１４は、論理積ゲート１３１、１３２及び論理和ゲート１３３を備えたマルチプレクサの構成をとる。論理積ゲート１３１の第１の入力端子には、付加情報イネーブル信号１５６が入力され、論理積ゲート１３２の第１の入力端子（反転入力端子）には、付加情報イネーブル信号１５６が入力される。付加情報イネーブル信号１５６は、そのまま付加情報読出信号１７１として付加情報バッファ１１７に出力されるので、付加情報イネーブル信号１５６がアクティブであるときには、論理積ゲート１３１の第２の入力端子には、有効な付加情報１５９が入力される。また、付加情報イネーブル信号１５６が非アクティブであるときには、論理積ゲート１３２の第２の入力端子には、有効な中間プログラムストリーム１５１Ｂが入力される。従って、論理和ゲート１３３が出力する挿入後プログラムストリーム１５１Ｃは、付加情報イネーブル信号１５６がアクティブであるときには、有効な付加情報１５９であり、付加情報イネーブル信号１５６が非アクティブであるときには、有効な中間プログラムストリーム１５１Ｂである。
【００６０】
従って、挿入後プログラムストリーム１５１Ｃの構造は、図２の１５１に示すようなものとなり、挿入後プログラムストリーム１５１ＣのＰＥＳの構造は、図２の１５１−ＰＥＳに示すようなものとなり、挿入後プログラムストリーム１５１ＣのＰＥＳのスライスの構造は、図２の１５１Ｃ−Ｓに示すようなものとなる。
【００６１】
次に、各スライスの末部に挿入された付加情報のフォーマットについて図１０を参照して説明する。
【００６２】
図１０を参照すると、付加情報１５９は、１又は複数のセクションより構成される。各セクションは、同期信号、セクションタイプＩＤ、セクションサイズ、付加情報内容及びＥＣＣ(Error Check Code)より構成される。同期信号は所定のビットパターンであり、セクションタイプＩＤはセクションが何の内容（例えば、ＵＲＬ(Uniform Resource Locator)、コンテンツデータ再生装置を制御するために参照される参照情報、ストリーミングサーバを制御するために参照される参照情報、画像情報）を表すかを示すＩＤであり、セクションサイズは、セクションの大きさを示し、付加情報内容は、セクションタイプＩＤで特定された種類の情報自体であり、ＥＣＣはエラー検出又はエラー訂正するためのコードである。
【００６３】
付加情報１５９は、各スライスの末尾にある空き領域と等しいサイズのフラグメントに分割されて、その空き領域に挿入される。図１０では、一般にセクションの先頭がフラグメントの先頭に同期していない例を示しているが、同期するようにフラグメントを構成しても良い。
【００６４】
なお、付加情報挿入装置１０１Ａは、プログラム動作するＣＰＵ並びにコンピュータのメインメモリ及び外部記憶装置により実現しても良い。
【００６５】
［２］付加情報抽出装置
図１１は本発明の実施形態１による付加情報抽出装置２０１Ａの構成を示すブロック図である。図１１を参照すると、付加情報抽出装置２０１Ａは、挿入後プログラムストリーム１５１Ｃから付加情報１５９を抽出して、付加情報１５９を出力する。なお、動画像及び音声の復号・再生のための部分を付加情報抽出装置が含んでいても良い。また、付加情報抽出装置２０１Ｂは、抽出された付加情報１５９を基に外部出力信号２６３を生成し、出力しても良い。更に、付加情報抽出装置２０１Ｂは、外部出力信号２６３を生成する際に、付加情報１５９のみならず、外部入力信号２６２を基にしてもよい。
【００６６】
付加情報抽出装置２０１Ａは、ビデオＰＥＳ検出部２１１、スライス検出部２１２、付加情報抽出部２１３、付加情報バッファ２１４、付加情報完成判定部２１５及びアクション部２１６を備える。
【００６７】
次に、付加情報抽出装置２０１Ａの各部の構成及び動作について説明する。
【００６８】
ビデオＰＥＳ検出部２１１は、ビデオＰＥＳ検出部１１１と同様な構成をとり、挿入後プログラムストリーム１５１Ｃを入力して、挿入後プログラムストリーム１５１Ｃ中のビデオＰＥＳを検出し、挿入後プログラムストリーム１５１Ｃ及び挿入後プログラムストリーム１５１Ｃの各バイトがビデオＰＥＳに属しているか否かを示す図２に示すようなビデオＰＥＳイネーブル信号２５２を出力する。
【００６９】
スライス検出部２１２は、スライス検出部１１２と同様な構成をとり、ビデオＰＥＳ検出部２１１から出力された挿入後プログラムストリーム１５１Ｃ及びビデオＰＥＳイネーブル信号２５２を入力して、ビデオＰＥＳ中のビデオスタートコード及びスライスを検出して、挿入後プログラムストリーム１５１Ｃ、挿入後プログラムストリームのどのバイトがビデオスタートコードであるかを示す図２に示すようなビデオスタートコード検出信号２５３及び挿入後プログラムストリームの各バイトがスライスに属しているか否かを示す図２に示すようなスライスイネーブル信号２５４を出力する。
【００７０】
図１２を参照すると、付加情報抽出部２１３は、可変長復号器２２１及びＲＳフリップフロップ２２３を備える。また、可変長復号器２２１は、画像符号末部検出部２２２を備える。付加情報抽出部２１３は、挿入後プログラムストリーム１５１Ｃ、ビデオスタートコード検出信号２５３及びスライスイネーブル信号２５４を入力し、入力した挿入後プログラムストリーム１５１Ｃと同一の挿入後プログラムストリーム１５１Ｃ、挿入後プログラムストリーム１５１Ｃ中の画像符号を復号して得られる復号信号２４２及び各スライス内で削減後の可変長符号が前方に詰められることにより生じた空き領域に挿入された付加情報があることを示す図２に示す付加情報イネーブル信号２５６を出力する。可変長復号器２２１は、挿入後プログラムストリーム１５１Ｃ、ビデオスタートコード検出信号２５３及びスライスイネーブル信号２５４を入力し、スライスの前方にある可変長符号を復号し、スライスの前方にある可変長符号の部分（図２に示す画像符号イネーブル信号１５５がアクティブである部分）では画像の復号信号２４２を出力する。また、可変長復号器２２１に含まれる画像符号末部検出部２２２は、スライス内の画像符号の末部を検出し、その検出信号を画像符号末部検出信号２７１として出力する。ＲＳフリップフロップ２２３は、ビデオスタートコード検出信号２５３をリセット信号として入力し、画像符号末部検出信号２７１をセット信号として入力し、これらの信号によりリセット又はセットされる信号を付加情報領域の有無を示す付加情報イネーブル信号２５６として出力する。図１３に、ビデオスタートコード検出信号２５３、スライスイネーブル信号２５４、画像符号末部検出信号２７１及び付加情報イネーブル信号２５６の時間関係を示す。図１３から明らかなように、付加情報イネーブル信号２５６は、各スライスのうちの画像符号部の末部からそのスライスの末部までアクティブである。また、付加情報イネーブル信号２５６は、スライスでない部分では、常に非アクティブのままである。従って、付加情報イネーブル信号２５６は、各スライスのうちの付加情報が含まれている末部のみでアクティブである。
【００７１】
図１１に戻り、付加情報バッファ２１４は、挿入後プログラムストリーム１５１Ｃ及び付加情報イネーブル信号２５６を入力し、挿入後プログラムストリーム１５１Ｃ中の付加情報のみを選択して、内蔵するメモリに一時記憶する。付加情報バッファ２１４は、内蔵メモリの連続したアドレスに各セクションを一時記憶する。このようにして付加情報のセクションは相互に内蔵メモリで連結される。また、付加情報バッファ２１４は、一時記憶された付加情報１５９を付加情報ファイル１３２に書き込んでも良い。
【００７２】
付加情報完成判定部２１５は、付加情報バッファ２１４に各セクションの全てのバイトが一時記憶されたか否かを、セクションのヘッダ部に記述されているセクションサイズと実際に付加情報バッファ２１４に一時記憶された付加情報のサイズとを比較することにより、判断する。又は、付加情報完成判定部２１５は、付加情報が画像情報である場合には、画像情報が画像中の全ての領域について揃ったか否かをみることにより、付加情報バッファ２１４に各セクションの全てのバイトが一時記憶されたか否かを判断しても良い。更に、付加情報完成判定部２１５は、全てのセクションの付加情報が付加情報バッファ２１４に一時記憶されたか否かを判断しても良い。このように、付加情報が完成したか否かを判定するための方法及び判定の対象の範囲は様々であり、付加情報抽出装置の応用方法に応じて適宜切り替える。
【００７３】
アクション部２１６は、付加情報バッファ２１４又は付加情報ファイル１３２から入力した付加情報１５９に基づいて何らかのアクションを行い、その結果を外部出力信号２６３として出力する。また、アクション部２１６は、アクションを行う際に、付加情報１５９のみならず外部入力信号２６２に基づいてもよい。
【００７４】
次に、アクション部２１６の行うアクションの例について説明する。
【００７５】
（１）インターネットとの連携
各セクションに、ＵＲＬを記述しておく。ＵＲＬ(Uniform Rosource Locator)は、ＲＦＣ１７３８で定義されている。例えば、ＵＲＬとしてｈｔｔｐ及びＷＷＷ(World Wide Web)サーバが公開している所定のホームページのアドレスを記述しておく。アクション部２１６は、付加情報の各セクションからＵＲＬを逐次抽出して、抽出されたＵＲＬを外部出力信号２６３としてインターネットに接続されているテレビ又はコンピュータに出力し、テレビ画面又はコンピュータ画面に表示させる。ユーザが必要に応じてＵＲＬをクリックすると、テレビ又はコンピュータは、ＷＷＷブラウザを起動し、起動されたブラウザによりホームページにアクセスする。また、例えば、ＵＲＬとしてｍａｉｌｔｏ及びメールアドレスを記述しておく。アクション部２１６は、付加情報の各セクションからＵＲＬを逐次抽出して、抽出されたＵＲＬを外部出力信号２６３としてインターネットに接続されたテレビ又はコンピュータに出力し、テレビ画面又はコンピュータ画面に表示させる。ユーザが必要に応じてＵＲＬをクリックすると、テレビ又はコンピュータは、メイラーを起動する。ユーザは、このメイラーを用いて電子メールを送信する。
【００７６】
（２）画像表示
例えば、１枚の静止画又は短い動画を用意し、その画像のフレームを複数のブロックに分割し、各ブロックの画像符号を各セクションに記述しておく。付加情報完成判定部２１５は、全てのブロックの画像符号が揃ったときのみに付加情報完成信号２６１をアクティブにする。アクション部２１６は、付加情報完成信号２６１がアクティブになったときに初めて付加情報バッファ２１４又は付加情報ファイル１３２から付加情報を入力し、入力した付加情報中の画像符号を復号して１枚の画像の信号を得て、その画像信号を外部出力信号２６３としてテレビ又はコンピュータに出力する。こうすることにより、ユーザが、１つの番組又は１つのコンテンツを始めから最後まで中抜きしないで視聴したときにのみ、プレゼントの案内の画面を表示することができるようになる。
【００７７】
（３）特殊再生
付加情報を多数の細かいセクションに区切り、各セクションにコンテンツの各カットの内容を記述しておく。また、各セクションをコンテンツの各カットに同期させる。これは、コンテンツを複数のシーケンスに分割し、シーケンス毎に各セクションの付加情報を挿入することにより可能となる。コンテンツの内容を、例えば、コンテンツのカット毎の出演者（映画であれば俳優又は女優、スポーツであればスポーツ選手）の氏名とする。一方で、アクション部２１６は、スロー再生又はフリーズ再生を希望する出演者の氏名を外部入力信号２６２としてユーザから入力しておく。そして、アクション部２１６は、カット毎に出演者の氏名を付加情報１５９として付加情報バッファ２１４から入力し、外部入力信号２６２として入力した出演者の氏名と付加情報として入力した出演者の氏名が一致したカットをスロー再生又はフリーズ再生するように、ＤＶＤプレイヤ等のコンテンツデータ再生装置に特殊再生指示信号を外部出力信号２６３として出力する。また、挿入後プログラムストリーム１５１Ｃをインターネット等のネットワークを介してストリーミングサーバからダウンロードしつつ再生するストリーミングを付加情報抽出装置２０１Ａを含む再生装置（ストリーミングクライアント）が行っている場合には、外部入力信号２６２として入力した出演者の氏名と付加情報として入力した出演者の氏名が一致したカットをスロー再生又はフリーズ再生するように、ネットワークを介してストリーミングサーバに特殊再生指示信号を外部出力信号２６３として出力する。
【００７８】
（４）関連情報
（３）と同様に、付加情報を細かい多数のセクションに区切り、各セクションにコンテンツの各カットに関連した情報を記述しておく。また、各セクションをコンテンツのカットに同期させる。コンテンツに関連した情報を各カットに関連した小容量の画像、音声等にしておき、各カットでこのような関連した情報を副画面や副音声出力系列から出力するようにする。
【００７９】
なお、付加情報抽出装置２０１Ａは、プログラム動作するＣＰＵ並びにコンピュータのメインメモリ及び外部記憶装置により実現しても良い。
【００８０】
実施形態１によれば、付加情報を挿入しても映像データと音声データの同期がリップ(lip)同期の許容範囲を超えてずれる場合が全く起きない。
【００８１】
［実施形態２］
図２に示すように、実施形態１では、スライスのサイズを変更しないで、削減された画像符号を各スライスの先頭部に詰めて入れて、各スライスの末部に発生した空き領域に付加情報を挿入した。これに対し、実施形態２では、図１４に示すように、各スライスの画像符号を削減すると共に、スライスに空き領域が発生しないように、スライスのサイズも小さくする。そして、スライスのサイズを小さくすることによって生じたビデオストリーム中の空き領域に新たなユーザデータ領域を設け、その新たなユーザデータ領域に付加情報を挿入する。
【００８２】
第２の従来方式で説明したように、ユーザデータ領域の先頭には、スタートコードプレフィックスとユーザデータスタートコードの値（Ｂ２Ｈ）をとるスタートコードを付加しなければならないので、実施形態２では、このために付加情報バッファ１１７を図１５に示すような構成とする。Ｄタイプフリップフロップ２５２、２５３、２５４及び２５５並びに論理積ゲート２５６、２５７、２５８及び２５９は、レジスタ２６１、２６２、２６３、２６４及び２６５のアウトプットイネーブル（ＯＥ）制御信号を発生する。また、レジスタ２６５のアウトプットイネーブル制御信号は、ＦＩＦＯ２５１のリードイネーブル（ＲＥＮ）信号としても使用される。付加情報バッファ１１７からは、付加情報読出信号１７１が非アクティブ（ＬＯＷ）からアクティブ（ＨＩＧＨ）に変化すると、レジスタ２６１、２６２、２６３及び２６４の内部に記憶されているデータ００Ｈ、００Ｈ、０１Ｈ、Ｂ２Ｈよりなるバイト列が順に出力され、それに続いてＦＩＦＯ２５１に一時記憶されていた付加情報のバイト列が出力される。なお、００Ｈ、００Ｈ、０１Ｈのバイト列はスタートコードプレフィックスを示す。
【００８３】
なお、実施形態２では、計測挿入割合の計算式を
計測挿入割合＝（Ｔ２−ｎ×ΔＴ）／（Ｔ１＋Ｔ２）
ただし、
ｎは、挿入されたユーザデータ領域の数、ΔＴは、ユーザデータ領域の１ヘッダ当たりの時間
とする。
【００８４】
実施形態２の付加情報挿入装置が出力する挿入後プログラムストリーム１５１Ｃは、特殊なフォーマットを有しないので、これを従来のＭＰＥＧデコーダでデコードして、付加情報を抽出することができる。
【００８５】
［実施形態３］
実施形態２では、付加情報を挿入するための新たなユーザデータ領域が小さい場合には、スタートコードプレフィックスとスタートコードは重いオーバーヘッドとなる。そこで、実施形態３では、この問題を解決するために、図１６に示すように、短くなったスライスを詰めて、スライスに属しない空き領域を複数個繋げて、繋げられた空き領域を付加情報を挿入するためのユーザデータ領域としても良い。図１６の例では、３つのスライスを詰めて、３つの空き領域を繋いでいる。つまり、スライス１、ユーザデータ２、スライス２、スライス３を詰めて、スライス３とスライス４の間に付加情報１を入れたユーザデータ領域を挿入し、スライス４、スライス５、スライス６、ユーザデータ３を詰めて、ユーザデータ３とスライス７の間に付加情報２を入れたユーザデータ領域を挿入している。
【００８６】
実施形態３による付加情報挿入装置１０１Ｂの構成を図１７に示す。図１７を実施形態１による付加情報挿入装置１０１Ａ（図１）と比較すると明らかなように、付加情報挿入装置１０１Ｂは、付加情報挿入装置１０１Ａと基本的な構成は同一である。ただし、付加情報挿入装置１０１Ａと比較して、付加情報挿入装置１０１Ｂでは、ビデオＰＥＳイネーブル信号１５２がビデオＰＥＳ検出部１１１からスライス検出部１１２及び空き領域生成部１１３を介して付加情報挿入部１１４に入力され、スライススタートコード検出信号１７２がスライス検出部１１２から空き領域生成部１１３を介して付加情報挿入部１１４に入力される。これに伴い、空き領域生成部１１３が図３に示すものから図１８に示すものに変更されている。また、付加情報挿入装置１０１Ｂの付加情報バッファ１１７は、図１５に示す実施形態２のものと同一である。更に、付加情報挿入部１１４は、図１９に示すような構成をとる。
【００８７】
図１８を参照すると、付加情報挿入装置１０１Ｂの空き領域生成部１１３は、付加情報挿入装置１０１Ａの空き領域生成部１１３（図３）と比較すると、ＦＩＦＯ１２６が追加されている。ＦＩＦＯ１２６は、付加情報挿入部１１４に出力するビデオＰＥＳイネーブル信号１５２及びスライススタートコード検出信号１７２が、付加情報挿入部１１４に出力する中間プログラムストリームと同期がとれるように、スライス検出部１１２から入力したビデオＰＥＳイネーブル信号１５２及びスライススタートコード検出信号１７２を遅延させる。
【００８８】
図１９を参照すると、付加情報挿入装置１０１Ｂの付加情報挿入部１１４は、論理積ゲート１８１、スライスカウンタ１８２、立ち上がり検出回路１８３、付加情報アップカウンタ１８４、ラッチ１８５、ビデオＰＥＳ主情報ＦＩＦＯ１８６、比較器１８７、立ち上がり検出回路１８８、付加情報ダウンカウンタ１８９、立ち上がり検出回路１９０、ＲＳフリップフロップ回路１９１、マルチプレクサ１９２、ビデオＰＥＳ主情報／付加情報ＦＩＦＯ１９３、中間プログラムストリームＦＩＦＯ１９４及びマルチプレクサ１９５を備える。
【００８９】
論理積ゲート１８１は、図１９に示すように、ビデオＰＥＳイネーブル信号１５２と付加情報イネーブル信号の反転信号の論理積をとり、その論理積をビデオＰＥＳ主情報ＦＩＦＯ１８６のライトイネーブル（ＷＥＮ）信号として出力する。従って、ビデオＰＥＳ主情報ＦＩＦＯ１８６には、ビデオＰＥＳ以外のＰＥＳのデータ及びサイズを小さくする前のスライス中の末尾の空き領域のデータは書き込まれず、ビデオＰＥＳのうちの空き領域以外の部分のデータが書き込まれる。従って、ビデオＰＥＳ主情報ＦＩＦＯ１８６には、ビデオＰＥＳのデータのうちのスライスの先頭部の有効な画像符号及びスライス以外の部分（ユーザデータ領域等）のデータの全てが書き込まれる。
【００９０】
スライスカウンタ１８２は、Ｎの剰余のカウンタである。すなわち、スライスカウンタ１８２は、スライスをカウントして、スライスのカウント値をＮで割った余りの値を出力する。図１９の例では、Ｎの値を３としており、スライスカウンタ１８２の出力Ｑの値は、スライスを検出するたびに、０〜２の値を循環的に更新される。つまり、スライスカウンタ１８２の出力Ｑの値は、０〜２の値のシーケンスを繰り返す。また、スライスカウンタ１８２は、スライスカウンタ１８２の出力Ｑの値がＮ−１であるときにアクティブとなるキャリーアウト（ＣＯ）信号を出力する。Ｎの値が３である場合には、キャリーアウト信号はＮの値が２であるときにアクティブとなる。
【００９１】
立ち上がり検出回路１８３は、スライスカウンタ１８２からのキャリーアウト信号が非アクティブからアクティブに変化したときにアクティブとなる信号を出力し、この信号は付加情報アップカウンタ１８４のリセット（ＲＳＴ）信号及びラッチ１８５のゲート信号として用いられる。
【００９２】
付加情報アップカウンタ１８４は、Ｎ個のスライスに属する空き領域の総バイト数をカウントするカウンタである。
【００９３】
ラッチ１８５は、付加情報アップカウンタ１８４がカウントしたＮ個のスライスに属する空き領域の総バイト数をラッチする。図２０は、Ｎの値が３であり、スライス１に属する空き領域のバイト数がＣ１、スライス２に属する空き領域のバイト数がＣ２、スライス３に属する空き領域のバイト数がＣ３である場合に、ラッチ１８５の出力Ｑの値が、スライス４の開始時からＣ１＋Ｃ２＋Ｃ３になることを示している。この例では、Ｃ１＋Ｃ２＋Ｃ３の値が、新たに挿入するユーザデータ領域のバイト数で表したサイズである。
【００９４】
ビデオＰＥＳ主情報ＦＩＦＯ１８６には、既に説明したようにビデオＰＥＳのデータのうちのスライスの先頭部の有効な画像符号及びスライス以外の部分（ユーザデータ領域等）のデータの全てが書き込まれる。更に、ビデオＰＥＳ主情報ＦＩＦＯ１８６には、スライスカウンタ１８２のカウント値及びラッチ１８５がラッチしている値がクロック毎に書き込まれる。
【００９５】
ビデオＰＥＳ主情報ＦＩＦＯ１８６からは、これに書き込まれたデータがリードイネーブル（ＲＥＮ）信号に従って、断続的に読み出される。このリードイーネーブル信号は、ＲＳフリップフロップ１９１の出力Ｑであり、付加情報を含むデータ領域を挿入するべきタイミングで非アクティブとなり、その他のタイミングではアクティブとなる。このリードイネーブル信号は、ビデオＰＥＳ主情報ＦＩＦＯ１８６から読み出されたスライスカウンタ１８２のカウント値及びラッチ１８５がラッチしていた値を基に、比較器１８７、立ち上がり検出回路１８８、付加情報ダウンカウンタ１８９、立ち上がり検出回路１９０及びＲＳフリップフロップ１９１が生成する。
【００９６】
図２１に、ビデオＰＥＳ主情報ＦＩＦＯ１８６からのデータの読出のタイミング、立ち上がり検出回路１８８の出力信号の波形、立ち上がり検出回路１９０の出力信号の波形及びマルチプレクサ１９１の出力のデータを示す。立ち上がり検出回路１８８の出力は、ビデオＰＥＳ主情報ＦＩＦＯ１８６から読み出されたスライスカウンタ１８２のカウント値を基に、比較器１８７及び立ち上がり検出回路１８８により生成される。具体的には、立ち上がり検出回路１８８の出力は、ビデオＰＥＳ主情報ＦＩＦＯ１８６から読み出されたスライスカウンタ１８２のカウント値がＮ−１（図２０の例ではＮ−１＝３−１＝２）になったときに１クロックだけアクティブとなる。立ち上がり検出回路１９０の出力は、ビデオＰＥＳ主情報ＦＩＦＯ１８６から読み出されたラッチ１８５がラッチしていた値を基に、付加情報ダウンカウンタ１８９及び立ち上がり検出回路１９０により生成される。具体的には、付加情報ダウンカウンタ１８９には、立ち上がり検出回路１８８が出力する信号がアクティブとなったときに、ラッチ１８５がラッチしていた値（図２０の例では、Ｃ１＋Ｃ２＋Ｃ３又はＣ４＋Ｃ５＋Ｃ６）がロードされ、それから付加情報ダウンカウンタ１８９はカウントダウンを始める。付加情報ダウンカウンタ１８９はカウント値Ｑが０になったときに信号（Ｑ＝０）をアクティブ（ＨＩＧＨ）にしてカウントを停止する。立ち上がり検出回路１９０の出力は、信号（Ｑ＝０）が非アクティブからアクティブになったときに１クロックだけアクティブとなる。ＲＳフリップフロップ１９１の出力Ｑは、立ち上がり検出回路１８８の出力パルスによりリセットされ、立ち上がり検出回路１９０の出力パルスによりセットされる。この出力ＱがビデオＰＥＳ主情報バッファのリードイネーブル（ＲＥＮ）信号及びマルチプレクサ１９２の制御信号として用いられる。また、出力Ｑの相補信号／Ｑが付加情報読出信号１７１として用いられる。
【００９７】
従って、マルチプレクサ１９２からは、図２１に示すようなスライスやユーザデータに付加情報が挿入されたデータが出力される。なお、マルチプレクサ１９２から出力される付加情報の先頭部には、図１５に示す回路により、スタートコードプレフィックス及びユーザデータスタートコードの値（Ｂ２Ｈ）をとるスタートコードが付されていて、これらのコードと付加情報がユーザデータ領域を構成する。マルチプレクサ１９２の出力は、ビデオＰＥＳ主情報／付加情報ＦＩＦＯ１９３に書き込まれる。
【００９８】
中間プログラムストリームＦＩＦＯ１９４は、中間プログラムストリーム１５１Ｂ及びビデオＰＥＳイネーブル信号１５２を所定時間遅延させて出力する。中間プログラムストリームＦＩＦＯ１９４から読み出されたビデオＰＥＳイネーブル信号１５２は、ビデオＰＥＳ主情報／付加情報ＦＩＦＯ１９３のリードイネーブル（ＲＥＮ）信号及びマルチプレクサ１９５の制御信号として用いられるので、図２２に示すように、マルチプレクサ１９５からは、ビデオＰＥＳの期間では、ビデオＰＥＳ主情報／付加情報ＦＩＦＯ１９３から読み出されたビデオＰＥＳが出力され、ビデオＰＥＳ以外のＰＥＳ（例えば、ユーザデータＰＥＳ及びオーディオＰＥＳ）の期間では、中間プログラムストリームＦＩＦＯ１９４から読み出されたビデオＰＥＳ以外のＰＥＳが出力される。
【００９９】
なお、図１９に示す付加情報挿入部１１４の回路は、あくまで付加情報挿入部１１４の構成例であり、他の構成をとってもよいことはいうまでもない。また、図１９に示す付加情報挿入部１１４の回路では、数クロックの遅延調整回路は省略している。
【０１００】
また、実施形態３では、実施形態２と同様に、計測挿入割合の計算式を
計測挿入割合＝（Ｔ２−ｎ×ΔＴ）／（Ｔ１＋Ｔ２）
ただし、
ｎは、挿入されたユーザデータ領域の数、ΔＴは、ユーザデータ領域の１ヘッダ当たりの時間
とする。
【０１０１】
また、実施形態３の付加情報挿入装置が出力する挿入後プログラムストリーム１５１Ｃは、特殊なフォーマットを有しないので、これを従来のＭＰＥＧデコーダでデコードして、付加情報を抽出することができる。
【０１０２】
また、付加情報挿入装置１０１Ｂは、付加情報挿入部１１４を含め、プログラム動作するＣＰＵ並びにコンピュータのメインメモリ及び外部記憶装置により実現しても良い。
【０１０３】
［実施形態４］
実施形態１では、図２に示すように、スライスのサイズは変更しないで、削減された画像符号を各スライスの先頭部に詰めて入れて、各スライスの末部に発生した空き領域に付加情報を挿入した。これに対し、実施形態４では、図２３に示すように、各スライスの画像符号を削減すると共に、スライスに空き領域が発生しないように、スライスのサイズも小さくする。そして、スライスのサイズを小さくすることによって各ビデオＰＥＳに生じた空き領域に新たなユーザデータデータＰＥＳを設け、その新たなユーザデータＰＥＳに付加情報を挿入する。つまり、サイズが小さくなった各ビデオＰＥＳの末尾に付加情報を有するユーザデータＰＥＳが追加される。
【０１０４】
実施形態４による付加情報挿入装置１０１Ｃの構成を図２４に示す。図２４を実施形態１による付加情報挿入装置１０１Ａ（図１）と比較すると明らかなように、付加情報挿入装置１０１Ｃは、付加情報挿入装置１０１Ａと基本的な構成は同一である。ただし、付加情報挿入装置１０１Ａと比較して、付加情報挿入装置１０１Ｂでは、ビデオＰＥＳイネーブル信号１５２及びビデオＰＥＳスタートコード検出信号１７３がビデオＰＥＳ検出部１１１からスライス検出部１１２及び空き領域生成部１１３を介して付加情報挿入部１１４に入力され、ビデオＰＥＳイネーブル信号１５２及びスライススタートコード検出信号１７２がスライス検出部１１２から空き領域生成部１１３を介して付加情報挿入部１１４に入力され、これに伴い、空き領域生成部１１３が図３に示すものから図１８に示すものに変更されている。また、付加情報バッファ１１７は、図２５に示すような構成をとり、付加情報挿入部１１４は、図２６に示すような構成をとる。
【０１０５】
ユーザデータＰＥＳの先頭には、スタートコードプレフィックスとユーザデータＰＥＳの値（ＢＤＨ、ＢＦＨ等）をとるスタートコードを付加しなければならないので、実施形態４では、このために付加情報バッファ１１７を図２５に示すような構成をとる。図２５の付加情報バッファ１１７は、図１５に示す実施形態２のものと同様な構成をとるが、レジスタ２６４が保持する値が、実施形態２ではＢ２Ｈであるのに対し、実施形態４ではＢＤＨ、ＢＦＨ等である。
【０１０６】
図２６に示す実施形態４の付加情報挿入部１１４は、図１９に示す実施形態３の付加情報挿入部１１４と類似している。図１９に示す実施形態３の付加情報挿入部１１４と比較して、図２６に示す実施形態４の付加情報挿入部１１４が構成上異なる点は、以下の通りである。スライスカウンタ１８２、立ち上がり検出回路１８３、比較器１８７が削除された。ビデオＰＥＳ主情報ＦＩＦＯ１８６がビデオＰＥＳＦＩＦＯ３８６に名称変更され、ビデオＰＥＳ主情報／付加情報ＦＩＦＯ１９３がビデオＰＥＳ／ユーザＰＥＳＦＩＦＯ３９３に名称変更された。付加情報アップカウンタ１８４のリセット信号及びラッチ１８５のゲート信号がビデオＰＥＳスタートコード検出信号１７３に変更された。ビデオＰＥＳＦＩＦＯ３８６が第２のデータ（ＤＩＮ２及びＤＯＵＴ２）として記憶する信号がビデオＰＥＳスタートコード検出信号に変更された。付加情報ダウンカウンタ１８９のロード信号及びＲＳフリップフロップのリセット信号がビデオＰＥＳＦＩＦＯ３８６から読み出されるビデオＰＥＳスタートコード検出信号に変更された。
【０１０７】
図２６に示す実施形態４の付加情報挿入部１１４の動作は、図１９に示す実施形態３の付加情報挿入部１１４の動作と類似しているので詳細な説明は省略する。簡単に説明すると、各ビデオＰＥＳにおいて、空き領域が削除されたビデオＰＥＳのデータがビデオＰＥＳＦＩＦＯ３８６から連続して読み出されると、続いてユーザデータＰＥＳのデータが付加情報１５９として入力され、これらがマルチプレクサ１９２でマルチプレクスされる。従って、マルチプレクサ１９２の出力は、符号削減後のビデオＰＥＳとユーザデータＰＥＳがマルチプレクスされたデータである。これが、マルチプレクサ１９５で他のＰＥＳとマルチプレクスされ、挿入後プログラムストリーム１５１Ｃが付加情報挿入部１１４から出力される。
【０１０８】
なお、図２６に示す付加情報挿入部１１４の回路は、あくまで付加情報挿入部１１４の構成例であり、他の構成をとってもよいことはいうまでもない。また、図２６に示す付加情報挿入部１１４の回路では、数クロックの遅延調整回路は省略している。
【０１０９】
また、実施形態４では、計測挿入割合の計算式を
計測挿入割合＝（Ｔ２−ｎ×ΔＴ）／（Ｔ１＋Ｔ２）
ただし、
ｎは、挿入されたユーザデータＰＥＳの数、ΔＴは、ユーザデータＰＥＳの１ヘッダ当たりの時間
とする。
【０１１０】
また、実施形態４の付加情報挿入装置が出力する挿入後プログラムストリーム１５１Ｃは、特殊なフォーマットを有しないので、これを従来のＭＰＥＧデコーダでデコードして、付加情報を抽出することができる。
【０１１１】
また、付加情報挿入装置１０１Ｃは、付加情報挿入部１１４を含め、プログラム動作するＣＰＵ並びにコンピュータのメインメモリ及び外部記憶装置により実現しても良い。
【０１１２】
［実施形態５］
実施形態４では、付加情報を挿入するための新たなユーザデータＰＥＳが小さい場合には、スタートコードプレフィックスとスタートコードは重いオーバーヘッドとなる。そこで、実施形態５では、この問題を解決するために、図２７に示すように、短くなったビデオＰＥＳを詰めて、その結果生じた空き領域を複数個繋げて、繋げられた空き領域を付加情報を挿入するためのユーザデータＰＥＳとしても良い。図２７の例では、３つのビデオＰＥＳを詰めて、３つの空き領域を繋いでいる。つまり、ビデオＰＥＳ１’、ビデオＰＥＳ２’及びビデオＰＥＳ３’を詰めて、ビデオＰＥＳ３’とビデオＰＥＳ４’の間に付加情報を含んだユーザデータＰＥＳを挿入している。
【０１１３】
実施形態５による付加情報挿入装置１０１Ｃの基本的な構成は、図２４に示す実施形態４のものと同様である。
【０１１４】
実施形態５による付加情報バッファ１１７の構成は図２５に示す実施形態４と同一である。
【０１１５】
図２８に示す実施形態５の付加情報挿入部１１４は、図１９に示す実施形態３の付加情報挿入部１１４と類似している。図１９に示す実施形態３の付加情報挿入部１１４と比較して、図２８に示す実施形態５の付加情報挿入部１１４が構成上異なる点は、以下の通りである。スライスカウンタ１８２がビデオＰＥＳカウンタ３８２に名称変更され、ビデオＰＥＳ主情報ＦＩＦＯ１８６がビデオＰＥＳＦＩＦＯ３８６に名称変更され、ビデオＰＥＳ主情報／付加情報ＦＩＦＯ１９３がビデオＰＥＳ／ユーザＰＥＳＦＩＦＯ３９３に名称変更された。ビデオＰＥＳカウンタ３８２のイネーブル信号がビデオＰＥＳスタートコード検出信号１７３に変更された。
【０１１６】
図２８に示す実施形態５の付加情報挿入部１１４の動作は、図１９に示す実施形態３の付加情報挿入部１１４の動作と類似しているので詳細な説明は省略する。簡単に説明すると、Ｎ個のビデオＰＥＳについて、空き領域が削除されたデータが連続してビデオＰＥＳＦＩＦＯ３８６から読み出されると、続いてユーザデータＰＥＳのデータが付加情報１５９として入力され、これらがマルチプレクサ１９２でマルチプレクスされる。従って、マルチプレクサ１９２の出力は、符号削減後のビデオＰＥＳとユーザデータＰＥＳがマルチプレクスされたデータである。これが、マルチプレクサ１９５で他のＰＥＳとマルチプレクスされ、挿入後プログラムストリーム１５１Ｃが付加情報挿入部１１４から出力される。
【０１１７】
なお、図２８に示す付加情報挿入部１１４の回路は、あくまで付加情報挿入部１１４の構成例であり、他の構成をとってもよいことはいうまでもない。また、図２８に示す付加情報挿入部１１４の回路では、数クロックの遅延調整回路は省略している。
【０１１８】
また、実施形態５では、実施形態４と同様に、計測挿入割合の計算式を
計測挿入割合＝（Ｔ２−ｎ×ΔＴ）／（Ｔ１＋Ｔ２）
ただし、
ｎは、挿入されたユーザデータＰＥＳの数、ΔＴは、ユーザデータＰＥＳの１ヘッダ当たりの時間
とする。
【０１１９】
また、実施形態５の付加情報挿入装置が出力する挿入後プログラムストリーム１５１Ｃは、特殊なフォーマットを有しないので、これを従来のＭＰＥＧデコーダでデコードして、付加情報を抽出することができる。
【０１２０】
また、付加情報挿入装置１０１Ｃは、付加情報挿入部１１４を含め、プログラム動作するＣＰＵ並びにコンピュータのメインメモリ及び外部記憶装置により実現しても良い。
【０１２１】
なお、上記の何れの実施形態においても、ＭＰＥＧ信号としてプログラムストリームを扱ったが、本発明は、トランスポートストリームにも適用できることはいうまでもない。
【０１２２】
【発明の効果】
以上説明したように、本発明によれば、コンテンツデータのサイズを増やさないでコンテンツデータに付加情報を挿入することができるので、コンテンツデータを蓄積するデジタル蓄積メディアの容量を圧迫することがなく、コンテンツデータを伝送する伝送路の伝送容量を圧迫することがなくなる。
【図面の簡単な説明】
【図１】本発明の実施形態１による付加情報挿入装置の構成を示すブロック図である。
【図２】本発明の実施形態１による付加情報挿入装置で生成される主要な信号及びデータを示すタイミング図である。
【図３】本発明の実施形態１による付加情報挿入装置の空き領域生成部の構成を示すブロック図である。
【図４】本発明の実施形態１による付加情報挿入装置のＤＣＴ係数変更部が行う符号量削減方法を説明するための図である。
【図５】ＤＣＴ係数を２次元可変長符号化するときに用いるジグザグスキャンの例を示す図である。
【図６】本発明の実施形態１による付加情報挿入装置のＤＣＴ係数変更部がＤＣＴ係数に対して符号量削減方法を行う前のＤＣＴ係数と行った後のＤＣＴ係数を比較する図である。
【図７】ＭＰＥＧ規格による２次元可変長符号の符号長を示す第１の図表である。
【図８】ＭＰＥＧ規格による２次元可変長符号の符号長を示す第２の図表である。
【図９】本発明の実施形態１による付加情報挿入装置の付加情報挿入部の構成を示すブロック図である。
【図１０】本発明の実施形態１による付加情報挿入装置がコンテンツデータの挿入する付加情報のフォーマット例を示す図である。
【図１１】本発明の実施形態１による付加情報抽出装置の構成を示すブロック図である。
【図１２】本発明の実施形態１による付加情報抽出装置の付加情報抽出部の構成を示すブロック図である。
【図１３】本発明の実施形態１による付加情報抽出装置の付加情報抽出部が入出力する信号の波形を示すタイミング図である。
【図１４】本発明の実施形態２による付加情報挿入装置が生成する挿入後プログラムストリームのフォーマットを示す図である。
【図１５】本発明の実施形態２による付加情報挿入装置の付加情報バッファの構成を示す回路図である。
【図１６】本発明の実施形態３による付加情報挿入装置が生成する挿入後プログラムストリームのフォーマットを示す図である。
【図１７】本発明の実施形態３による付加情報挿入装置の構成を示すブロック図である。
【図１８】本発明の実施形態３による付加情報挿入装置の空き領域生成部１１３の構成を示すブロック図である。
【図１９】本発明の実施形態３による付加情報挿入装置の付加情報挿入部の構成を示す回路図である。
【図２０】本発明の実施形態３による付加情報挿入装置の付加情報挿入部の動作を説明するための第１のタイミング図である。
【図２１】本発明の実施形態３による付加情報挿入装置の付加情報挿入部の動作を説明するための第２のタイミング図である。
【図２２】本発明の実施形態３による付加情報挿入装置の付加情報挿入部の動作を説明するための第３のタイミング図である。
【図２３】本発明の実施形態４による付加情報挿入装置が生成する挿入後プログラムストリームのフォーマットを示す図である。
【図２４】本発明の実施形態４による付加情報挿入装置の構成を示すブロック図である。
【図２５】本発明の実施形態４による付加情報挿入装置の付加情報バッファの構成を示す回路図である。
【図２６】本発明の実施形態４による付加情報挿入装置の付加情報挿入部の構成を示す回路図である。
【図２７】本発明の実施形態５による付加情報挿入装置が生成する挿入後プログラムストリームのフォーマットを示す図である。
【図２８】本発明の実施形態５による付加情報挿入装置の付加情報挿入部の構成を示す回路図である。
【図２９】ＭＰＥＧ規格によるプログラムストリームのフォーマットを示す図である。
【図３０】ＭＰＥＧ規格によるビデオストリーム中のユーザデータ領域のフォーマットを示す図である。
【符号の説明】
１０１Ａ、１０１Ｂ、１０１Ｃ  付加情報挿入装置
１１１  ビデオＰＥＳ検出部
１１２  スライス検出部
１１３  空き領域生成部
１１４  付加情報挿入部
１１５  挿入割合計算部
１１６  符号量制御部
１１７  付加情報バッファ
２０１Ａ  付加情報抽出装置
２１１  ビデオＰＥＳ検出部
２１２  スライス検出部
２１３  付加情報抽出部
２１４  付加情報バッファ
２１５  付加情報完成判定部
２１６  アクション部
【図１】
0003787836.tif 000002
【図２】
0003787836.tif 000003
【図３】
0003787836.tif 000004
【図４】
0003787836.tif 000005
【図５】
0003787836.tif 000006
【図６】
0003787836.tif 000007
【図７】
0003787836.tif 000008
【図８】
0003787836.tif 000009
【図９】
0003787836.tif 000010
【図１０】
0003787836.tif 000011
【図１１】
0003787836.tif 000012
【図１２】
0003787836.tif 000013
【図１３】
0003787836.tif 000014
【図１４】
0003787836.tif 000015
【図１５】
0003787836.tif 000016
【図１６】
0003787836.tif 000017
【図１７】
0003787836.tif 000018
【図１８】
0003787836.tif 000019
【図１９】
0003787836.tif 000020
【図２０】
0003787836.tif 000021
【図２１】
0003787836.tif 000022
【図２２】
0003787836.tif 000023
【図２３】
0003787836.tif 000024
【図２４】
0003787836.tif 000025
【図２５】
0003787836.tif 000026
【図２６】
0003787836.tif 000027
【図２７】
0003787836.tif 000028
【図２８】
0003787836.tif 000029
【図２９】
0003787836.tif 000030
【図３０】
0003787836.tif 000031