(57)【特許請求の範囲】
【請求項１】
符号化ビットストリームを特殊再生出力に変換して伝送路へ送出するようにした伝送装置において、
フレーム内符号化ピクチャと、順方向予測符号化ピクチャと、両方向予測符号化ピクチャとが含まれる符号化ビットストリームを蓄積する蓄積手段と、
指定された特殊再生動作と対応する出力モードで符号化ビットストリームを出力するように制御する出力制御手段と、
上記符号化ビットストリームに関して、ピクチャを表示する順序を規定する制御データを書き換える書き換え手段と、
所定のピクチャを複写したピクチャを生成するピクチャ生成手段と、
上記制御データが書き換えられたピクチャと上記生成されたピクチャとを上記出力制御手段の制御にしたがって出力する出力手段と
からなり、
上記特殊再生としてサーチ画再生を行う場合には、複数のＧＯＰ毎の先頭のフレーム内符号化ピクチャの後に、複数枚の複写したピクチャを繰り返すことによって形成された符号化ビットストリームを出力し、
上記特殊再生として早送り再生を行う場合には、ＧＯＰ毎の先頭のフレーム内符号化ピクチャの後に、１または複数枚の複写したピクチャを繰り返すことによって形成された符号化ビットストリームを出力し、
上記特殊再生としてスロー再生を行う場合には、ＧＯＰ内の間隔ｍで繰り返して現れるフレーム内符号化ピクチャおよび順方向予測符号化ピクチャの後に、上記ｍより多い数の複写したピクチャを繰り返すことによって形成された符号化ビットストリームを出力し、
上記特殊再生としてスチル再生を行う場合には、フレーム内符号化ピクチャおよび複数枚の複写したピクチャからなるＧＯＰ構造を繰り返すことによって形成された符号化ビットストリームを出力する
ようにした画像情報の伝送装置。
【請求項２】
請求項１において、
上記所定のピクチャがフレーム内符号化ピクチャまたは順方向予測符号化ピクチャであるとき、複写したピクチャは、スライスの両端のマクロブロック以外がスキップされる構造を有するスキップＰピクチャとして出力されることを特徴とする伝送装置。
【請求項３】
請求項１において、
上記書き換え手段は、出力されるピクチャは、さらに、ピクチャヘッダ内の復号器の仮想入力バッファの蓄積量を示すデータを無効とすることを特徴とする伝送装置。
【請求項４】
上記スロー再生を行う場合に、ＧＯＰ内の間隔ｍで繰り返して現れるフレーム内符号化ピクチャおよび順方向予測符号化ピクチャの後に、上記ｍより多い数の複写したピクチャを繰り返すことによって符号化ビットストリームを形成することに代えて、符号化ビットストリーム中の全てのピクチャのそれぞれに続けて、複写したピクチャを表示するように、符号化ビットストリームを形成するようにした請求項１に記載の伝送装置。
【請求項５】
上記早送り再生を行う場合に、ＧＯＰ毎の先頭のフレーム内符号化ピクチャの後に、１または複数枚の複写したピクチャを繰り返すことによって符号化ビットストリームを形成することに代えて、上記ＧＯＰ毎の先頭のフレーム内符号化ピクチャおよび順方向予測符号化ピクチャの後に、複写したピクチャを繰り返すことによって符号化ビットストリームを形成するようにした請求項１に記載の伝送装置。
【請求項６】
上記スチル再生を行う場合に、フレーム内符号化ピクチャおよび複数の複写したピクチャからなるＧＯＰ構造を繰り返すことによって符号化ビットストリームを形成することに代えて、順方向予測符号化ピクチャおよび複数の複写したピクチャからなるＧＯＰ構造を繰り返すことによって符号化ビットストリームを形成するようにした請求項１に記載の伝送装置。
【請求項７】
上記スチル再生を行う場合に、フレーム内符号化ピクチャおよび複数の複写したピクチャからなるＧＯＰ構造を繰り返すことによって符号化ビットストリームを形成することに代えて、両方向予測符号化ピクチャおよび複数の複写したピクチャからなるＧＯＰ構造を繰り返すことによって符号化ビットストリームを形成するようにした請求項１に記載の伝送装置。
【請求項８】
フレーム内符号化ピクチャと、順方向予測符号化ピクチャと、両方向予測符号化ピクチャとが含まれる符号化ビットストリームを蓄積する蓄積手段と、
指定された特殊再生動作と対応する出力モードで符号化ビットストリームを出力するように制御する出力制御手段と、
上記符号化ビットストリームに関して、ピクチャを表示する順序を規定する制御データを書き換える書き換え手段と、
所定のピクチャを複写したピクチャを生成するピクチャ生成手段と、
上記制御データが書き換えられたピクチャと上記生成されたピクチャとを上記出力制御手段の制御にしたがって特殊再生出力データとして出力する出力手段と、
上記出力手段と接続されたディジタルインターフェースと、
上記ディジタルインターフェースを介して受け取った特殊再生出力データを記録または表示する機器とからなり、
上記特殊再生としてサーチ画再生を行う場合には、複数のＧＯＰ毎の先頭のフレーム内符号化ピクチャの後に、複数枚の複写したピクチャを繰り返すことによって形成された符号化ビットストリームを出力し、
上記特殊再生として早送り再生を行う場合には、ＧＯＰ毎の先頭のフレーム内符号化ピクチャの後に、１または複数枚の複写したピクチャを繰り返すことによって形成された符号化ビットストリームを出力し、
上記特殊再生としてスロー再生を行う場合には、ＧＯＰ内の間隔ｍで繰り返して現れるフレーム内符号化ピクチャおよび順方向予測符号化ピクチャの後に、上記ｍより多い数の複写したピクチャを繰り返すことによって形成された符号化ビットストリームを出力し、
上記特殊再生としてスチル再生を行う場合には、フレーム内符号化ピクチャおよび複数枚の複写したピクチャからなるＧＯＰ構造を繰り返すことによって形成された符号化ビットストリームを出力する
ようにした画像情報の伝送システム。
【請求項９】
符号化ビットストリームを特殊再生出力に変換して伝送路へ送出するようにした画像情報の伝送方法において、
フレーム内符号化ピクチャと、順方向予測符号化ピクチャと、両方向予測符号化ピクチャとが含まれる符号化ビットストリームを蓄積する蓄積ステップと、
指定された特殊再生動作と対応する出力モードで符号化ビットストリームを出力するように制御する出力制御ステップと、
上記符号化ビットストリームに関して、ピクチャを表示する順序を規定する制御データを書き換える書き換えステップと、
所定のピクチャを複写したピクチャを生成するピクチャ生成ステップと、
上記制御データが書き換えられたピクチャと上記生成されたピクチャとを上記出力制御にしたがって出力する出力ステップとからなり、
上記特殊再生としてサーチ画再生を行う場合には、複数のＧＯＰ毎の先頭のフレーム内符号化ピクチャの後に、複数枚の複写したピクチャを繰り返すことによって形成された符号化ビットストリームを出力し、
上記特殊再生として早送り再生を行う場合には、ＧＯＰ毎の先頭のフレーム内符号化ピクチャの後に、１または複数枚の複写したピクチャを繰り返すことによって形成された符号化ビットストリームを出力し、
上記特殊再生としてスロー再生を行う場合には、ＧＯＰ内の間隔ｍで繰り返して現れるフレーム内符号化ピクチャおよび順方向予測符号化ピクチャの後に、上記ｍより多い数の複写したピクチャを繰り返すことによって形成された符号化ビットストリームを出力し、
上記特殊再生としてスチル再生を行う場合には、フレーム内符号化ピクチャおよび複数枚の複写したピクチャからなるＧＯＰ構造を繰り返すことによって形成された符号化ビットストリームを出力する
ようにした画像情報の伝送方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、記録媒体に記録されたＭＰＥＧ(Moving Picture Experts Group) ビデオ信号を再記録するのに適用される画像情報の伝送装置、伝送システムおよび伝送方法に関する。
【０００２】
【従来の技術】
ディスク等の記録媒体に記録されたＭＰＥＧビデオ信号をもとに、特殊再生画像をモニタに表示する場合、ＭＰＥＧデコーダによって復号したディジタルビデオ信号を一旦メモリに蓄え、表示するフレームを選別（すなわち、表示の有無の決定）をしたり、同じフレームを表示する回数を調節するようになされる。
【０００３】
また、IEEE(Institute of Electrical and Electronics Engineers)1394 等のディジタルインターフェイスを介して特殊再生のＭＰＥＧビットストリームを出力し、外部の記録装置によって記録したり、外部の再生装置によって復号し、表示することも可能である。この場合、従来では、送信側で行なわれるスチル、ＦＦ、ＦＲ、スロー再生等の情報をISO(International Organization for Standardization)/IEC(International Electrotechnical Commission)13818-1 システムストリームのヘッダ情報で送ることによって実現できることになっている。ここで、ＦＦは、順方向の早送り再生を表し、ＦＲは、逆方向の早送り再生を表している。具体的には、ＰＥＳ(Packetized Eiementary Stream)パケットのヘッダ情報内のＤＳＭ_trick_mode フィールド(DSM:Digital Storage Media) にスチル、ＦＦ、ＦＲ、スロー再生などの情報を記述する。このようにして作成したシステムストリームを送信側から受信側へディジタルインターフェイスを介して伝送する。
【０００４】
【発明が解決しようとする課題】
ＰＥＳパケットのヘッダ情報のＤＳＭ_trick_mode に対応しているデコーダは、現実にはほとんど存在していない。このため、既存のデコーダに対して特殊再生のＭＰＥＧストリームを既存デコーダでデコードできる形でディジタルインターフェイスへ出力する方法が求められていた。
【０００５】
したがって、この発明の目的は、特殊再生のストリームを既存のデコーダによって再生することが可能な形態で、出力することができる画像情報の伝送装置、伝送システムおよび伝送方法を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１の発明は、符号化ビットストリームを特殊再生出力に変換して伝送路へ送出するようにした伝送装置において、
フレーム内符号化ピクチャと、順方向予測符号化ピクチャと、両方向予測符号化ピクチャとが含まれる符号化ビットストリームを蓄積する蓄積手段と、
指定された特殊再生動作と対応する出力モードで符号化ビットストリームを出力するように制御する出力制御手段と、
符号化ビットストリームに関して、ピクチャを表示する順序を規定する制御データを書き換える書き換え手段と、
所定のピクチャを複写したピクチャを生成するピクチャ生成手段と、
制御データが書き換えられたピクチャと生成されたピクチャとを出力制御手段の制御にしたがって出力する出力手段と
からなり、
特殊再生としてサーチ画再生を行う場合には、複数のＧＯＰ毎の先頭のフレーム内符号化ピクチャの後に、複数枚の複写したピクチャを繰り返すことによって形成された符号化ビットストリームを出力し、
特殊再生として早送り再生を行う場合には、ＧＯＰ毎の先頭のフレーム内符号化ピクチャの後に、１または複数枚の複写したピクチャを繰り返すことによって形成された符号化ビットストリームを出力し、
特殊再生としてスロー再生を行う場合には、ＧＯＰ内の間隔ｍで繰り返して現れるフレーム内符号化ピクチャおよび順方向予測符号化ピクチャの後に、ｍより多い数の複写したピクチャを繰り返すことによって形成された符号化ビットストリームを出力し、
特殊再生としてスチル再生を行う場合には、フレーム内符号化ピクチャおよび複数枚の複写したピクチャからなるＧＯＰ構造を繰り返すことによって形成された符号化ビットストリームを出力する
ようにした画像情報の伝送装置である。
【０００７】
請求項８の発明は、フレーム内符号化ピクチャと、順方向予測符号化ピクチャと、両方向予測符号化ピクチャとが含まれる符号化ビットストリームを蓄積する蓄積手段と、
指定された特殊再生動作と対応する出力モードで符号化ビットストリームを出力するように制御する出力制御手段と、
符号化ビットストリームに関して、ピクチャを表示する順序を規定する制御データを書き換える書き換え手段と、
所定のピクチャを複写したピクチャを生成するピクチャ生成手段と、
制御データが書き換えられたピクチャと生成されたピクチャとを出力制御手段の制御にしたがって特殊再生出力データとして出力する出力手段と、
出力手段と接続されたディジタルインターフェースと、
ディジタルインターフェースを介して受け取った特殊再生出力データを記録または表示する機器とからなり、
特殊再生としてサーチ画再生を行う場合には、複数のＧＯＰ毎の先頭のフレーム内符号化ピクチャの後に、複数枚の複写したピクチャを繰り返すことによって形成された符号化ビットストリームを出力し、
特殊再生として早送り再生を行う場合には、ＧＯＰ毎の先頭のフレーム内符号化ピクチャの後に、１または複数枚の複写したピクチャを繰り返すことによって形成された符号化ビットストリームを出力し、
特殊再生としてスロー再生を行う場合には、ＧＯＰ内の間隔ｍで繰り返して現れるフレーム内符号化ピクチャおよび順方向予測符号化ピクチャの後に、ｍより多い数の複写したピクチャを繰り返すことによって形成された符号化ビットストリームを出力し、
特殊再生としてスチル再生を行う場合には、フレーム内符号化ピクチャおよび複数枚の複写したピクチャからなるＧＯＰ構造を繰り返すことによって形成された符号化ビットストリームを出力する
ようにした画像情報の伝送システムである。
【０００８】
請求項９の発明は、符号化ビットストリームを特殊再生出力に変換して伝送路へ送出するようにした画像情報の伝送方法において、
フレーム内符号化ピクチャと、順方向予測符号化ピクチャと、両方向予測符号化ピクチャとが含まれる符号化ビットストリームを蓄積する蓄積ステップと、
指定された特殊再生動作と対応する出力モードで符号化ビットストリームを出力するように制御する出力制御ステップと、
符号化ビットストリームに関して、ピクチャを表示する順序を規定する制御データを書き換える書き換えステップと、
所定のピクチャを複写したピクチャを生成するピクチャ生成ステップと、
制御データが書き換えられたピクチャと生成されたピクチャとを出力制御にしたがって出力する出力ステップとからなり、
特殊再生としてサーチ画再生を行う場合には、複数のＧＯＰ毎の先頭のフレーム内符号化ピクチャの後に、複数枚の複写したピクチャを繰り返すことによって形成された符号化ビットストリームを出力し、
特殊再生として早送り再生を行う場合には、ＧＯＰ毎の先頭のフレーム内符号化ピクチャの後に、１または複数枚の複写したピクチャを繰り返すことによって形成された符号化ビットストリームを出力し、
特殊再生としてスロー再生を行う場合には、ＧＯＰ内の間隔ｍで繰り返して現れるフレーム内符号化ピクチャおよび順方向予測符号化ピクチャの後に、ｍより多い数の複写したピクチャを繰り返すことによって形成された符号化ビットストリームを出力し、
特殊再生としてスチル再生を行う場合には、フレーム内符号化ピクチャおよび複数枚の複写したピクチャからなるＧＯＰ構造を繰り返すことによって形成された符号化ビットストリームを出力する
ようにした画像情報の伝送方法である。
【０００９】
以上のような発明によれば、符号化ビットストリームに対する処理によって特殊再生出力としての出力符号化ビットストリームを生成することでき、また、出力符号化ビットストリームを既存のデコーダで復号することが可能となる。
【００１０】
【発明の実施の形態】
この発明の一実施形態について、以下、図面を参照して説明する。一実施形態は、ＭＰＥＧ規格上正しく、ＩＥＥＥ１３９４等のディジタルインターフェイスを介して出力して外部の既存のデコーダで再生が可能な特殊再生のＭＰＥＧストリームを作成するようにしたものである。なお、ＩＥＥＥ１３９４上のＭＰＥＧストリームの形式は、トランスポートストリーム（以後ＴＳと表記する）とする。
【００１１】
図１は、一実施形態における記録再生装置の構成を全体的に示す。図示しないセットトップボックスからの衛星放送のビデオ信号、ディジタルＶＴＲからのＭＰＥＧ形式でエンコードされたビデオ信号等の符号化ビットストリームは、一旦まず、メモリ１１に蓄積する。メモリ１１は、半導体メモリのみならず、ハードディスクや光記録ディスクなどの記録媒体を総称するものである。また、メモリ１１に蓄積されるＭＰＥＧビデオ信号はＴＳやプログラムストリーム（以後ＰＳと表記する）の形で多重化されている状態と、多重化されないエレメンタリーストリーム（以後ＥＳ）の状態のいずれでも良い。衛星放送の場合のビデオ信号は、例えば一つの番組のデータである。
【００１２】
メモリ１１に蓄積された信号を取り出す際、信号が多重化されていた場合は、デマルチプレクサ（図１では、ＤＥＭＵＸと表記する。）１２によって、ＥＳに変換する。ＥＳはデコーダ１３で復号されてデジタルビデオ信号となり、モニタ１４に表示される。ＩＥＥＥ１３９４上のストリームは、ＴＳ形式なので、メモリ１１にＴＳ形式で記録されていたＭＰＥＧストリームをＩＥＥＥ１３９４インターフェイスで出力する場合には、直接ＩＥＥＥ１３９４へ出力できる。ＴＳ以外の方式で記録されていた場合には、ＥＳにしたものをＴＳマルチプレクサ（図１では、ＴＳＭＵＸと表記する。）１７で多重化する。ＴＳマルチプレクサ１７の出力がＩＥＥＥ１３９４に対して出力される。
【００１３】
特殊再生のＭＰＥＧストリームをＩＥＥＥ１３９４に対して出力する場合、出力制御部１６において、ＦＦ、ＦＲ、スロー再生などの出力モードを決め、出力モードの情報を解析・書換部１５に供給する。例えばユーザのキー操作等によって出力モードが指定される。解析・書換部１５は、ピクチャ（フレーム）単位で、ストリームを読み込み、ピクチャヘッダを解析し、出力制御部１６からのモード情報にしたがった出力モードを実現するために、後述する処理を行なう。
【００１４】
ここで、ＭＰＥＧで規定されているピクチャの種類について説明する。Ｉピクチャ(Intra-coded picture：イントラ符号化画像) は、符号化されるときその画像１枚の中だけで閉じた情報を使用するものである。従って、復号時には、Ｉピクチャ自身の情報のみで復号できる。Ｐピクチャ(Predictive-coded picture ：順方向予測符号化画像）は、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャを使用するものである。動き補償された予測画像との差を符号化するか、差分を取らずに符号化するか、効率の良い方をマクロブロック単位で選択する。Ｂピクチャ(Bidirectionally predictive-coded picture ：両方向予測符号化画像）は、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャ、時間的に後ろの既に復号されたＩピクチャまたはＰピクチャ、並びにこの両方から作られた補間画像の３種類を使用する。この３種類のそれぞれの動き補償後の差分の符号化と、イントラ符号化の中で、最も効率の良いものをマクロブロック単位で選択する。
【００１５】
従って、マクロブロックタイプとしては、フレーム内符号化(Intra) マクロブロックと、過去から未来を予測する順方向(Forward) フレーム間予測マクロブロックと、未来から過去を予測する逆方向(Backward)フレーム間予測マクロブロックと、前後両方向から予測する両方向マクロブロックとがある。Ｉピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Ｐピクチャ内には、フレーム内符号化マクロブロックと順方向フレーム間予測マクロブロックとが含まれる。Ｂピクチャ内には、上述した４種類の全てのタイプのマクロブロックが含まれる。
【００１６】
さらに、これらのマクロブロックのタイプに入らないマクロブロックとしてスキップト・マクロブロック（ＳＢ）がある。ＳＢは、Ｐピクチャでは、ノンＭＣ（単純フレーム間予測）で、符号化不要（Not Coded ：ＤＣＴ係数を持たない）マクロブロックである。
【００１７】
解析・書換部１５は、ピクチャ（フレーム）単位で、ストリームをバッファに読み込み、ピクチャヘッダを解析し、出力制御部１６からのモード情報にしたがった出力モードを実現するために必要とされる以下のような処理を行なう。
【００１８】
読み込んだピクチャを出力しない場合はバッファをクリアする。例えばＩピクチャ以外のピクチャを出力しないような処理がなされる。
【００１９】
スロー再生などで同一のピクチャを複数回表示するようなストリームを生成する場合、スキップＰピクチャ（Ｐｓで表す）、コピーＢピクチャ（Ｂｃで表す）を利用する。スキップＰピクチャは、スキップＰピクチャ発生部１８で生成されたもので、その詳細な説明については後述する。コピーＢピクチャについての説明も後述する。表示したいピクチャがＩまたはＰピクチャである場合は、スキップＰピクチャを元のピクチャに続けて表示できるように出力する。また、表示したいピクチャがＢピクチャである場合は、コピーＢピクチャを元のピクチャに続けて表示できるように出力する。
【００２０】
すなわち、Ｉピクチャを繰り返して表示する場合、ＩＩＩＩ・・・と出力するのではなく、ＩＰｓＰｓＰｓ・・・と出力する。Ｐピクチャを繰り返して表示する場合、ＰＰＰＰ・・・と出力するのではなく、ＰＰｓＰｓＰｓ・・・と出力する。Ｂピクチャを繰り返して表示する場合、ＢＢＢＢ・・・と出力するのではなく、ＢＢｃＢｃＢｃ・・・と出力する。但し、ＭＰＥＧでは、ビットストリーム内のピクチャの順番と実際に表示されるピクチャの順番とが異なる点を考慮して出力するピクチャの順番が決められる。
【００２１】
ピクチャを出力する場合、ＭＰＥＧ規格に適合したビットストリームにするために、二つの処理を行なう。まず、ピクチャヘッダ内のtemporal_referenceの値を正しいものに書き換える。temporal_referenceは、ＧＯＰ(Group Of Picture)内のピクチャの表示順序を表すもので、書き換えずに出力すると、ＭＰＥＧ規格に違反してしまう。
【００２２】
次に、ピクチャヘッダ内のvbv_delay （復号器の仮想入力バッファの蓄積量）の値を０ｘＦＦＦＦに書き換える。この値は、vbv_delay の無効を表すコードである。書換を行なう理由は、特殊再生時には、ピクチャの順番が元のものと変わっているので、元のvbv_delay の値のままでは、誤ったものとなるためである。
【００２３】
解析・書換部１５からの出力がＩＥＥＥ１３９４インターフェースに流れる前にＴＳマルチプレクサ１７でＴＳ形式に多重化される。扱っているストリームが元々メモリ１１にＴＳ形式で記録されていたものである場合、デマルチプレクサ１２でＥＳに変換する際に得ることができる多重化の情報（ＰＩＤ（パケットＩＤ）、service_id等）をできるだけ利用してＴＳ多重化を行なうことが望ましい。そのために、デマルチプレクサ１２で保存した多重化情報がＴＳマルチプレクサ１７に対して渡される。
【００２４】
ＩＥＥＥ１３９４インターフェースには、記録装置１９およびＭＰＥＧデコーダ内蔵のモニタ装置２０が接続されている。記録装置１９は、ＩＥＥＥ１３９４上の信号を記録する。モニタ装置２０は、ＩＥＥＥ１３９４インターフェースからの信号を受け取るＴＳデマルチプレクサ２１と、ＴＳデマルチプレクサ２１に接続されたＭＰＥＧデコーダ２２と、ＭＰＥＧデコーダ２２からのビデオおよび／またはオーディオ信号を再生するモニタ２３とから構成されている。モニタ装置２０によって、ＩＥＥＥ１３９４インターフェースを介された信号を再生することができる。
【００２５】
次に、特殊再生ＭＰＥＧストリームに用いるピクチャについて説明する。最初にスキップＰピクチャについて説明する。スキップＰピクチャは、図２に示す構造を持ったＰピクチャである。図２の一つのブロックがマクロブロック（適宜、ＭＢと表記する）を示している。スライスの両端のマクロブロックはＭＰＥＧの規定により省略できないため、macroblock_type をＭＣ,NotCoded （ＭＢアドレス情報と(0,0) の動きベクトルを伝送し、ＤＣＴ係数を伝送しないＭＢ）としたマクロブロックにし、他は全てスキップドマクロブロック（適宜、ＳＢと表記する）とする。このスキップＰピクチャを受け取ったデコーダは直前のＩまたはＰピクチャをデコードしたものと全く同じディジタルビデオ信号を出力する。
【００２６】
スキップＰピクチャは図１のスキップＰピクチャ発生部１８において生成されるが、スキップＰピクチャ発生部１８では、あらかじめＲＯＭなどに保存しておいたスキップＰピクチャを読み出しても良いし、ビットストリーム中のシーケンスヘッダを解析して画枠を調べ、その画枠にあったスキップＰピクチャを生成して利用しても良い。
【００２７】
次に、コピーＢピクチャについて説明する。コピーＢピクチャは、直前のＢピクチャの複製である。複製したＢピクチャを複数回送ることによって、外部の再生装置において同じ画像を何度も表示することができる。
【００２８】
以下、特殊再生ビットストリーム生成のいくつかの具体例について説明する。最初にサーチ画について説明する。図３は、元のストリームとサーチ画のストリームとを示す。１つ以上のＧＯＰごとに先頭のＩピクチャを出力し、その後に、スキップＰピクチャＰｓを必要な数だけ繰り返し出力する。図３は、１０個のＧＯＰごとに先頭のＩピクチャを出力し、その後にスキップＰピクチャを１４回出力した例で、ｎ（元のストリームのＧＯＰ内のピクチャ数）＝１５の場合、５秒（１０ＧＯＰ）おきに１枚のピクチャを取り出し、０．５秒間ずつ表示するというサーチ画を実現している。
【００２９】
何らかの方法でメモリ上のＧＯＰの先頭アドレスがわかっている場合には、逆方向にＩピクチャを見つけて出力し、その後でスキップＰピクチャを必要な数出力することによって、逆方向サーチ画のビットストリームも生成することができる。
【００３０】
図４はｘ個のＧＯＰ毎の１枚のＩピクチャをｙ回のフレームずつ表示させるための出力を行うフローチャートである。最初のステップＳ１において、１ＧＯＰの先頭にあるＩピクチャを出力する。次に、スキップＰピクチャＰｓを（ｙ− 1）回出力する。図３の例では、ｙ−１＝１４である。
【００３１】
ステップＳ３では、ＧＯＰを（ｘ−１）回読みとばす。図３の例では、ｘ−１＝９である。ステップＳ４では、ビットストリームが終了したか否かが決定される。終了していない場合には、ステップＳ１、Ｓ２およびＳ３が繰り返される。ストリームの終了が決定されると、処理が終了する。
【００３２】
次に、ＦＦおよびＦＲの処理について説明する。図５Ａは、元のストリームとＦＦのストリームとを示し、図５Ｂは、元のストリームとＦＲのストリームとを示す。ＦＦ、ＦＲでは、ＧＯＰ毎にＩピクチャを出力し、その後にスキップＰピクチャＰs を必要な数だけ繰り返し出力する。スキップＰピクチャを繰り返す回数によってＥＦ, ＦＲの速度を決めることができる。ただし、出力するＩピクチャの間隔が短いほどビットレートが高くなってしまうためにデコーダの処理速度やディジタルインターフェイスで使用できるビットレートに対する考慮が必要である。
【００３３】
図５Ａは、ＧＯＰ毎のＩピクチャを3 フレームずつ表示する場合の例で、ｎ＝１５の場合は５倍速表示のＦＦに対応する。図５Ｂに示すように、Ｉピクチャを抜き出す順番を逆にすれば、ＦＲになる。
【００３４】
図６は毎ＧＯＰのＩピクチャをｙ回のフレームずつ表示させるための出力を行う処理を示すフローチャートである。最初のステップＳ１１において、１ＧＯＰの先頭にあるＩピクチャを出力する。次に、スキップＰピクチャＰｓを（ｙ− 1）回出力する。ステップＳ１３では、ビットストリームが終了したか否かが決定される。終了していない場合には、ステップＳ１１およびＳ１２が繰り返される。ストリームの終了が決定されると、処理が終了する。
【００３５】
ＦＦについては、Ｉピクチャ以外にＰピクチャも出力し、それぞれのピクチャの後に必要な数のスキップＰピクチャを出力することによって、Ｉピクチャのみを表示する場合に比べてより滑らかなＦＦ表示を実現することができる。図７はｎ＝１５, ｍ＝３のＧＯＰ構造をもつストリームを元に、ＩピクチャおよびＰピクチャを２回ずつ表示する場合の例で、１．５倍速再生になる。スキップＰピクチャを１枚も出力しない場合、ｍ＝３では３倍速になる。ｍは、ＩまたはＰピクチャの現れる周期である。また、使用するＰピクチャの数を制限すれば、さらに高速のＦＦも可能である。この場合、使用するＰピクチャはＩピクチャに近い順に何枚目まで表示するかという選択ができる。途中のＰピクチャをのぞいた場合、ＧＯＰ内のそのＰピクチャ以降のＰピクチャを出力することはできない。
【００３６】
図８は毎ＧＯＰのＩピクチャおよびｘ枚目までもＰピクチャをｙ回のフレームずつ表示させるための出力を行うフローチャートである。最初のステップＳ２１において、１枚のピクチャをバッファに読み込む。読み込まれたピクチャタイプがＩまたはＰかどうかがステップＳ２２において決定される。ＩまたはＰでないときには、ステップＳ２７（ビットストリームが終了か否かの決定）に移る。
【００３７】
ピクチャタイプがＩまたはＰであると決定されると、ステップＳ２３において、ピクチャが出力されると共に、出力ピクチャ数のカウントが増加される。そして、ステップＳ２４で、スキップＰピクチャＰｓが（ｙ− 1）回出力される。
【００３８】
ステップＳ２５では、出力ピクチャ数のカウントがｘより大きいか否かが決定される。ｘに出力ピクチャ数が達していない時には、ステップＳ２７において、ビットストリームが終了したか否かが決定される。終了していない場合には、ステップＳ２１に処理が戻る。ストリームの終了が決定されると、処理が終了する。若し、ステップＳ２５において、出力ピクチャ数がｘ以上となると、ステップＳ２６において、出力ピクチャ数のカウント値をリセットし、次のＧＯＰの先頭まで読みとばす。そして、ステップＳ２７に処理が移る。
【００３９】
次に、スロー再生の処理について説明する。スロー再生については、２つの方法が可能である。第１の方法では、図５Ａを参照して説明したＦＦ処理において、ＩピクチャおよびＰピクチャを用いる場合に、それぞれのピクチャの後に出力するスキップＰピクチャの枚数をｍより大きくする。スキップＰピクチャ挿入後のＩ, Ｐピクチャの間隔をｘとするとｍ/ ｘ倍速を実現することができる。ただし、この方法でスロー再生を行った場合では、Ｂピクチャを表示しないことになる。図９は、ｍ＝３のビットストリームを元に、ｘ＝５（スキップＰピクチャを４枚ずつ挿入）のストリームを出力した場合で、3/5 倍速のスロー再生を行なう例を示している。
【００４０】
図１０は、ＩピクチャおよびＰピクチャをｙ回のフレームずつ表示させるための出力を行う処理を示すフローチャートである。最初のステップＳ３１において、ピクチャを１枚バッファに読み込む。読み込まれたピクチャタイプがＩまたはＰかどうかがステップＳ３２において決定される。ＩまたはＰでないときには、ステップＳ３４（ビットストリームが終了か否かの決定）に移る。
【００４１】
ＩまたはＰピクチャの場合には、ステップＳ３３において、スキップＰピクチャＰｓを（ｙ− 1）回出力する。ステップＳ３４では、ビットストリームが終了したか否かが決定される。終了していない場合には、ステップＳ３１に処理が戻る。ストリームの終了が決定されると、処理が終了する。
【００４２】
次に、スロー再生の第２の方法について説明する。第２の方法は、全てのピクチャを複数回表示することによってスロー再生を実現するものである。第２の方法では、ＩおよびＰピクチャは、それぞれ続けてスキップＰピクチャを表示するようになされる。また、Ｂピクチャは、続けて複製したＢピクチャを表示するようになされる。このように、１つのピクチャを複数回表示することによって、スロー再生を実現する。
【００４３】
図１１は、すべてのピクチャを２回ずつ表示することによって１／２倍速を実現した例である。したがって、元の１５枚のピクチャが３０枚のピクチャへ変換される。希望する表示順になるように、ビットストリーム中のピクチャの順番を考慮する必要がある。表示は、書き換えられたtemporal_referenceで示される順番でなされる。
【００４４】
図１２は全てのピクチャをｙ回のフレームずつ表示させるための出力を行う処理を示すフローチャートである。最初のステップＳ４１において、ピクチャを１枚バッファに読み込む。読み込まれたピクチャタイプがＩまたはＰかどうかがステップＳ４２において決定される。ＩまたはＰピクチャの場合には、ステップＳ４３において、スキップＰピクチャＰｓを（ｙ− 1）回出力する。次のステップＳ４４において、メモリ内のピクチャを出力する。ステップＳ４５では、ビットストリームが終了したか否かが決定される。終了していない場合には、ステップＳ４１に処理が戻る。ストリームの終了が決定されると、処理が終了する。
【００４５】
ステップＳ４２において、ピクチャタイプがＩまたはＰでないと決定されると、ステップＳ４６において、メモリ内のピクチャが出力される。そして、ステップＳ４７において、コピーＢピクチャＢｃを（ｙ− 1）回出力する。そして、ステップＳ４５のビットストリームが終了したか否かを決定する処理に移る。
【００４６】
次に、スチル再生の処理について説明する。スチル再生については、３つの方法が可能である。第１の方法は、Ｉピクチャでスチルする場合、Ｉピクチャを出力した後に一定数のスキップＰピクチャが入ったＧＯＰ構造を繰り返し出力する。図１３はＩピクチャの後にスキップＰピクチャが１４枚続くＧＯＰ構造を繰り返し送る例である。出力をＧＯＰ構造にする理由は、出力先で再記録する場合のランダムアクセス性や編集のしやすさを考慮したためである。
【００４７】
第２の方法は、Ｐピクチャでスチルするものである。この場合では、Ｐピクチャの後にスキップＰピクチャを送り続ける。第３の方法は、Ｂピクチャでスチルするものである。この場合では、Ｂピクチャの後に同じＢピクチャを送り続ける。このように、ＰピクチャおよびＢピクチャでスチルし、ＧＯＰ構造をもったスチル画を出力する場合は、再エンコードを行うなどのＰピクチャやＢピクチャをＩピクチャに変換する処理が必要となる。
【００４８】
なお、上述した説明では、ＭＰＥＧを符号化の例として説明したが、ＭＰＥＧに限らず、フレーム内符号化ピクチャと予測符号化ピクチャとが混在する符号化ストリームに対してこの発明を適用することができる。
【００４９】
【発明の効果】
この発明によれば、既存のデコーダによって復号可能な形態で、特殊再生のディジタルデータをディジタルインターフェースに対して出力することができる。具体的には、サーチ、ＦＦ、ＦＲ、スロー再生、スチル再生のビットストリームを出力することができる。
【図面の簡単な説明】
【図１】この発明の一実施形態の構成を示すブロック図である。
【図２】スキップＰピクチャの説明に用いる略線図である。
【図３】この発明の一実施形態におけるサーチ画ストリームの説明に用いる略線図である。
【図４】この発明の一実施形態におけるサーチ画ストリームの出力処理の説明に用いるフローチャートである。
【図５】この発明の一実施形態におけるＦＦ、ＦＲストリームの説明に用いる略線図である。
【図６】この発明の一実施形態におけるＦＦ、ＦＲストリームの出力処理の説明に用いるフローチャートである。
【図７】この発明の一実施形態におけるＩピクチャおよびＰピクチャを用いたＦＦストリームの説明に用いる略線図である。
【図８】この発明の一実施形態におけるＩピクチャおよびＰピクチャを用いたＦＦストリームの出力処理の説明に用いるフローチャートである。
【図９】この発明の一実施形態におけるＩピクチャおよびＰピクチャを用いたスロ−再生ストリームの説明に用いる略線図である。
【図１０】この発明の一実施形態におけるＩピクチャおよびＰピクチャを用いたスロ−再生ストリームの出力処理の説明に用いるフローチャートである。
【図１１】この発明の一実施形態における全てのピクチャを用いたスロ−再生ストリームの説明に用いる略線図である。
【図１２】この発明の一実施形態における全てのピクチャを用いたスロ−再生ストリームの出力処理の説明に用いるフローチャートである。
【図１３】この発明の一実施形態におけるＩピクチャを用いたスチル再生ストリームの説明に用いる略線図である。
【符号の説明】
１１・・・メモリ、１２・・・デマルチプレクサ、１５・・・解析・書換部、１６・・・出力制御部、２０・・・ＭＰＥＧデコーダ内蔵のモニタ装置
【図１】
0004337248.tif 000002
【図２】
0004337248.tif 000003
【図３】
0004337248.tif 000004
【図４】
0004337248.tif 000005
【図５】
0004337248.tif 000006
【図６】
0004337248.tif 000007
【図７】
0004337248.tif 000008
【図８】
0004337248.tif 000009
【図９】
0004337248.tif 000010
【図１０】
0004337248.tif 000011
【図１１】
0004337248.tif 000012
【図１２】
0004337248.tif 000013
【図１３】
0004337248.tif 000014