(57)【特許請求の範囲】
【請求項１】
再生されたデジタルデータ列を処理する画像処理装置であって、
字幕のオブジェクトが多重化されたデジタルデータ列の記録及び再生を行う記録再生手段と、
前記記録再生手段による再生時に、再生されるデジタルデータ列の中に、記録した時点において意味のある情報を示した特定の字幕オブジェクトが含まれるか否かを判定する判定手段と、
前記特定の字幕オブジェクトの再生形態を指定する指定手段と、
前記判定手段により前記特定の字幕オブジェクトが含まれると判定されると、前記特定の字幕オブジェクトの再生形態を前記指定手段により指定された再生形態に変更する画像処理手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記画像処理手段は、前記特定の字幕オブジェクトを非表示にすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段は、前記特定の字幕オブジェクトを、当該特定の字幕オブジェクトに対応するアイコンに置き換えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
ユーザからの指示を入力する指示入力手段を更に有し、
前記画像処理手段は、前記指示入力手段によって前記アイコンが指定されたことに応じて、前記特定の字幕オブジェクトを出力する再生形態に戻すことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
キャラクタ発生手段を更に有し、
前記画像処理手段は、前記特定の字幕オブジェクトと、前記キャラクタ発生手段により発生された、前記特定の字幕オブジェクトが記録された時の時刻情報を示すキャラクタとを出力する再生形態に変更することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
音声発生手段を更に有し、
前記画像処理手段によって前記特定の字幕オブジェクトの再生形態を変更した際に、前記音声発生手段は警告音を出力することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記判定手段は、前記デジタルデータ列に多重化された、前記特定の字幕オブジェクトの存在を示すオブジェクトのコード情報に基づいて前記判定を行うことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
複数種類のデータが多重化された状態のデジタルデータ列を再生処理する画像処理装置であって、
字幕データが多重化されたデジタルデータ列の記録及び再生を行う記録再生手段と、
前記前記記録再生手段による再生時に、再生されるデジタルデータ列の中に、記録した時点において意味のある情報を示した特定の字幕データが含まれるか否かを判定する判定手段と、
前記デジタルデータ列から各データを分離する分離手段と、
前記判定手段により前記特定の字幕データが含まれると判定されると、前記分離手段により分離された各データのうち、前記特定の字幕データにより表わされる表示情報の形態を変化させて再生する再生処理手段と、
を有することを特徴とする画像処理装置。
【請求項９】
複数種類のデータが多重化された状態のデジタルデータ列を再生処理する画像処理装置であって、
緊急ニュースに係る表示データが含まれている可能性のあるデジタルデータ列の記録及び再生を行う記録再生手段と、
前記記録再生手段による再生時に、再生されるデジタルデータ列の中に、前記緊急ニュースに係る表示データが含まれるか否かを判定する判定手段と、
前記デジタルデータ列から各データを分離する分離手段と、
前記判定手段により前記緊急ニュースに係る表示データが含まれると判定されると、前記分離手段により分離された各データのうち、前記緊急ニュースに係る表示データにより表わされる表示情報の形態を変化させて再生する再生処理手段と、
を有することを特徴とする画像処理装置。
【請求項１０】
複数種類のデータが多重化された状態のデジタルデータ列を再生処理する画像処理装置であって、
速報的に付加された表示データが含まれている可能性のあるデジタルデータ列の記録及び再生を行う記録再生手段と、
前記記録再生手段による再生時に、再生されるデジタルデータの中に、前記速報的に付加された表示データが含まれるか否かを判定する判定手段と、
前記デジタルデータ列から各データを分離する分離手段と、
前記判定手段により前記速報的に付加された表示データが含まれると判定されると、前記分離手段により分離された各データのうち、前記速報的に付加された表示データにより表わされる表示情報の形態を変化させて再生する再生処理手段と、
を有することを特徴とする画像処理装置。
【請求項１１】
再生されたデジタルデータ列を処理する画像処理方法であって、
字幕のオブジェクトが多重化されたデジタルデータ列の記録及び再生を行う記録再生工程と、
前記記録再生工程での再生時に、再生されるデジタルデータ列の中に、記録した時点において意味のある情報を示した特定の字幕オブジェクトが含まれるか否かを判定する判定工程と、
前記特定の字幕オブジェクトの再生形態を指定する指定工程と、
前記判定工程で前記特定の字幕オブジェクトが含まれると判定されると、前記特定の字幕オブジェクトの再生形態を前記指定工程で指定された再生形態に変更する画像処理工程と、
を有することを特徴とする画像処理方法。
【請求項１２】
複数種類のデータが多重化された状態のデジタルデータ列を再生処理する再生方法であって、
字幕データが多重化されたデジタルデータ列の記録及び再生を行う記録再生工程と、
前記記録再生工程での再生時に、再生されるデジタルデータ列の中に、記録した時点において意味のある情報を示した特定の字幕データが含まれるか否かを判定する判定工程と、
前記デジタルデータ列から各データを分離する分離工程と、
前記判定工程で前記特定の字幕データが含まれると判定されると、前記分離された各データのうち、前記特定の字幕データにより表わされる表示情報の形態を変化させて再生する再生処理工程と、
を有することを特徴とする再生方法。
【請求項１３】
複数種類のデータが多重化された状態のデジタルデータ列を再生処理する再生方法であって、
緊急ニュースに係る表示データが含まれている可能性のあるデジタルデータ列の記録及び再生を行う記録再生工程と、
前記記録再生工程での再生時に、再生されるデジタルデータ列の中に、前記緊急ニュースに係る表示データが含まれるか否かを判定する判定工程と、
前記デジタルデータ列から各データを分離する分離工程と、
前記判定工程で前記緊急ニュースに係る表示データが含まれると判定されると、前記分離された各データのうち、前記緊急ニュースに係る表示データにより表わされる表示情報の形態を変化させて再生する再生処理工程と、
を有することを特徴とする再生方法。
【請求項１４】
複数種類のデータが多重化された状態のデジタルデータ列を再生処理する再生方法であって、
速報的に付加された表示データが含まれている可能性のあるデジタルデータ列の記録及び再生を行う記録再生工程と、
前記記録再生工程での再生時に、再生されるデジタルデータ列の中に、前記速報的に付加された表示データが含まれるか否かを判定する判定工程と、
前記デジタルデータ列から各データを分離する分離工程と、
前記判定工程で前記速報的に付加された表示データが含まれると判定されると、前記分離された各データのうち、前記速報的に付加された表示データにより表わされる表示情報の形態を変化させて再生する再生処理工程と、
を有することを特徴とする再生方法。
【請求項１５】
デジタルデータ列の再生処理をコンピュータに実行させるためのプログラムであって、
字幕のオブジェクトが多重化されたデジタルデータ列の記録及び再生を行う記録再生工程と、
前記記録再生工程での再生時に、再生されるデジタルデータ列の中に、記録した時点において意味のある情報を示した特定の字幕オブジェクトが含まれるか否かを判定する判定工程と、
前記特定の字幕オブジェクトの再生形態を指定する指定工程と、
前記判定工程で前記特定の字幕オブジェクトが含まれると判定されると、前記特定の字幕オブジェクトの再生形態を前記指定工程で指定された再生形態に変更する画像処理工程と、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１６】
複数種類のデータが多重化された状態のデジタルデータ列の再生処理をコンピュータに実行させるためのプログラムであって、
字幕データが多重化されたデジタルデータ列の記録及び再生を行う記録再生工程と、
前記記録再生工程での再生時に、再生されるデジタルデータ列の中に、記録した時点において意味のある情報を示した特定の字幕データが含まれるか否かを判定する判定工程と、
前記デジタルデータ列から各データを分離する分離工程と、
前記判定工程で前記特定の字幕データが含まれると判定されると、前記分離された各データのうち、前記特定の字幕データにより表わされる表示情報の形態を変化させて再生する再生処理工程と、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１７】
複数種類のデータが多重化された状態のデジタルデータ列の再生処理をコンピュータに実行させるためのプログラムであって、
緊急ニュースに係る表示データが含まれている可能性のあるデジタルデータ列の記録及び再生を行う記録再生工程と、
前記記録再生工程での再生時に、再生されるデジタルデータ列の中に、前記緊急ニュースに係る表示データが含まれるか否かを判定する判定工程と、
前記デジタルデータ列から各データを分離する分離工程と、
前記判定工程で前記緊急ニュースに係る表示データが含まれると判定されると、前記分離された各データのうち、前記緊急ニュースに係る表示データにより表わされる表示情報の形態を変化させて再生する再生処理工程と、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１８】
複数種類のデータが多重化された状態のデジタルデータ列の再生処理をコンピュータに実行させるためのプログラムであって、
速報的に付加された表示データが含まれている可能性のあるデジタルデータ列の記録及び再生を行う記録再生工程と、
前記記録再生工程での再生時に、再生されるデジタルデータ列の中に、前記速報的に付加された表示データが含まれるか否かを判定する判定工程と、
前記デジタルデータ列から各データを分離する分離工程と、
前記判定工程で前記速報的に付加された表示データが含まれると判定されると、前記分離された各データのうち、前記速報的に付加された表示データにより表わされる表示情報の形態を変化させて再生する再生処理工程と、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１９】
請求項１５乃至１８のいずれか１項に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルテレビ放送の録画再生及び表示する際に好適な画像処理方法及び装置に関するもので、そのようなデジタルテレビ放送を受信して録画する録画再生装置や、そのような録画機能を備えたテレビジョン受像機、テレビジョン表示装置等にも適用可能である。
【０００２】
【従来の技術】
近年、衛星やケーブル放送を用いたデジタルテレビ放送が普及してきている。このようなデジタルテレビ放送の実現により、画質や音声の品質向上、圧縮技術を利用することによる番組の種類や量の増大、インタラクティブサービスなどを利用した新しいサービスの提供、受信形態の進化等、多くの効果が期待されている。
【０００３】
図８は、従来の衛星放送を用いたデジタル放送受信装置８、及びその表示装置６、録画再生装置７の接続例を示す図である。
【０００４】
まず、衛星放送によって送信された情報をアンテナ１で受信する。この受信したテレビ情報は受信装置８においてチューナ２で選局され復調される。その後、不図示の誤り訂正処理や、必要であれば課金対応やデスクランブル処理等がなされる。次に、ＴＶ情報として多重されている各種データを多重信号分離回路３でそれぞれ分離する。こうして分離されたテレビ情報は、画像情報、音声情報、その他の付加データとなる。更に、これら分離された各データのそれぞれを復号回路４で復号する。こうして復号された各データのうち、画像情報と音声情報とをＤ／Ａ変換回路５でアナログ信号に変換する。こうして変換されたアナログ信号を基に、外部に接続された表示装置であるＴＶ６において、映像及び音声が出力される。また付加データは、番組サブデータとしての役割を果たすために、各種機能に関与するデータを含んでいる。
【０００５】
更に、この衛星放送を受信して録画再生装置（ＤＶＤ／ＶＴＲ）７に録画するときは、チューナ２の出力を録画再生装置７に出力することにより行なう。この録画再生装置７の一例としては、録画再生可能なＤＶＤ（デジタル・ビデオ・ディスク）やデジタルＶＴＲである。ここで、受信装置８と録画再生装置７との間はデータバス等で接続されている。この録画再生装置７における記録方式はデジタル記録方式であり、ビットストリーム記録される。
【０００６】
【発明が解決しようとする課題】
従来からある地上波放送、及び上述した衛星放送によるデジタルテレビ放送を加えても、テレビ番組を家庭のテレビに表示する方法は、基本的に放送局から送信されてくる画像をそのまま表示するのが一般的である。また同様に、テレビ放送を録画したＶＴＲを再生する際も、その録画時のデータをそのまま再生するように設計されている。
【０００７】
即ち、個々のユーザがテレビ放送の表示、又はＶＴＲの録画再生表示等において、状況に応じて、より効果的に、その録画された映像の表示形態を変化させて表示することは、従来の技術では大変困難である。また、録画された映像の表示形態を変えることは、デジタルテレビ放送がより多チャンネル化、多プログラム化していく過程で、より効果的な表示方法の一つと考えられるが、この機能の実現は未だなされていない。
【０００８】
例を挙げると、表示に関する課題として、例えば録画したテレビ情報を録画再生装置で再生する際に、その録画時には重要であった"地震ニュース情報"等の臨時ニュースなどのテロップ表示は、再生時には意味のない場合が多いが、その様な表示は、録画時のまま表示されているのが現状である。
【０００９】
本発明は上記従来例に鑑みてなされたもので、録画された映像の再生時、記録した時点において意味のある情報を示した特定の字幕や緊急ニュースや速報的に付加された表示データの表示形態を変更して表示できるようにした画像処理方法及び装置と再生方法とプログラム及び記憶媒体を提供することを目的とする。
【００１０】
また本発明の目的は、録画された映像の記録時には意味があったが、その再生時には意味のない映像を非表示にしたり、或いは必要に応じて他の表示形態に変更して表示できる画像処理方法及び装置と再生方法とプログラム及び記憶媒体を提供することにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するために本発明の画像処理装置は以下のような構成を備える。即ち、
再生されたデジタルデータ列を処理する画像処理装置であって、
字幕のオブジェクトが多重化されたデジタルデータ列の記録及び再生を行う記録再生手段と、
前記記録再生手段による再生時に、再生されるデジタルデータ列の中に、記録した時点において意味のある情報を示した特定の字幕オブジェクトが含まれるか否かを判定する判定手段と、
前記特定の字幕オブジェクトの再生形態を指定する指定手段と、
前記判定手段により前記特定の字幕オブジェクトが含まれると判定されると、前記特定の字幕オブジェクトの再生形態を前記指定手段により指定された再生形態に変更する画像処理手段と、を有することを特徴とする。
【００１２】
上記目的を達成するために本発明の画像処理方法は以下のような工程を備える。即ち、
再生されたデジタルデータ列を処理する画像処理方法であって、
字幕のオブジェクトが多重化されたデジタルデータ列の記録及び再生を行う記録再生工程と、
前記記録再生工程での再生時に、再生されるデジタルデータ列の中に、記録した時点において意味のある情報を示した特定の字幕オブジェクトが含まれるか否かを判定する判定工程と、
前記特定の字幕オブジェクトの再生形態を指定する指定工程と、
前記判定工程で前記特定の字幕オブジェクトが含まれると判定されると、前記特定の字幕オブジェクトの再生形態を前記指定工程で指定された再生形態に変更する画像処理工程と、を有することを特徴とする。
【００１３】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。本実施の形態では、ＭＰＥＧ−４符号化方式で符号化されたデジタルテレビ放送の信号を受信して録画及び再生する場合で説明する。
【００１４】
ＭＰＥＧ−４の詳細な説明は後述するが、本実施の形態では、ＭＰＥＧ−４符号化の特徴でもあるオブジェクトの概念を用いることによって、画像中の各オブジェクト単位での出力制御、表示制御を可能にし、ＭＰＥＧ−４テレビ放送を録画再生する装置、または表示する装置で、所定のオブジェクト属性データを有する画像データについて、オリジナルとは表示形態を変えて出力することができる。
【００１５】
ここでいうオブジェクトとは、背景や話者、ＣＧ等のテロップ画像、音声などでそれぞれ構成され、ＭＰＥＧ−４では、それぞれのオブジェクト単位に符号化／復号化し、各オブジェクトを組み合せることで１つのシーンを表現する仕組みになっている。
【００１６】
まず最初にＭＰＥＧ−４に関する技術を分野ごとに分けて詳細に説明する。
【００１７】
＜規格の全体構成＞
ＭＰＥＧ４規格は、大きく４項目から成る。このうちの３項目は、ＭＰＥＧ２と類似しており、ビジュアルパート、オーディオパート、システムパートである。
（１）ビジュアルパート
自然画、合成画、動画、静止画などを扱うオブジェクト符号化方式が規格として定められている。伝送路誤りの訂正や修復に適した符号化方式、同期再生機能、階層符号化が含まれている。表現上、『ビデオ』は自然画像を意味し、『ビジュアル』は合成画像までを含める。
（２）オーディオパート
自然音、合成音、効果音などを対象にしたオブジェクト符号化方式が規格として定められている。ビジュアルパートやオーディオパートでは、複数の符号化方式を規定し、各々のオブジェクトの特徴に適した圧縮方式を適宜選択することで、符号化効率を高める工夫をしている。
（３）システムパート
符号化された映像オブジェクトや音声オブジェクトの多重化処理と、その逆の分離処理を規定している。更に、バッファメモリや時間軸制御と再調整機能もこのパートに含まれる。
【００１８】
上記パート（１）、（２）で符号化した映像オブジェクトや音声オブジェクトは、シーンの中のオブジェクトの位置や出現時刻、消滅時刻などを記したシーン構成情報と共に、システムパートの多重化ストリームに統合される。
【００１９】
このＭＰＥＧ４符号化データを受信して復号する際には、受信したビットストリームから、各々のオブジェクトを分離及び復号化し、シーン構成情報に基づきシーンを再構成する。
【００２０】
＜オブジェクトの符号化＞
ＭＰＥＧ２ではフレームあるいはフィールドを単位としていたが、コンテンツの再利用や編集を実現するために、ＭＰＥＧ４では映像データやオーディオデータをオブジェクト（物体）として扱う。
【００２１】
オブジェクトには、以下のような種類がある。
【００２２】
・音声
・自然画像（背景映像：２次元固定映像）
・自然画像（主被写体映像：背景なし）
・合成画像
・文字情報
図１７は、これらオブジェクトを同時に入力して符号化処理をシステムの構成例を示すブロック図である。
【００２３】
図において、音声オブジェクト符号化器５００１、自然画像オブジェクト符号化器５００２、合成画像オブジェクト符号化器５００３、文字オブジェクト符号化器５００４にて、各々符号化処理される。これと同時に、上記の各オブジェクトのシーン内での関連を、シーン構成情報として、シーン記述情報符号化器５００５にて、符号化し、前記各符号化オブジェクト情報とともに、データ多重化器５００６にて、ＭＰＥＧ４ビットストリームへとエンコード処理される。
【００２４】
このように符号化側では、このような複数のビジュアルオブジェクトやオーディオオブジェクトの組み合せを定義して、一つのシーン（画面）を表現する。
【００２５】
ビジュアルオブジェクトに関しては、自然画像と、コンピュータグラフィックスなどの合成画像とを組み合せたシーンも構成できる。
【００２６】
上記のような構成を採ることで、例えば、テキスト音声合成の機能を使って、被写体映像とその音声の同期再生が可能になる。こうして符号化された情報は、ビットストリーム状態で送信及び受信、或は記録再生される。
【００２７】
一方、こうして符号化された情報のデコード処理では、上述の符号化処理の逆処理を行なう。まずデータ分離器５００７にて、ＭＰＥＧ４ビットストリームを各オブジェクト毎に分離して分配する。それを受けて音声、自然画像、合成画像、文字等の各オブジェクトは、復号器５００８〜５０１１にてオブジェクトデータへ復号される。また、シーン記述情報も同時に、復号器５０１２にて復号され、これらの復号情報を用いて、シーン合成器５０１３にて、元のシーンを再合成する。
【００２８】
また、この符号化データを復号する復号部側では、シーンのビジュアルオブジェクトの位置やオーディオオブジェクトの順番などの部分的変更が可能である。オブジェクト位置は、ドラッグ操作により変更でき、言語の変更などは、ユーザがオーディオオブジェクトを変更することで可能になる。
【００２９】
ここでは複数のオブジェクトを自由に組み合せてシーンを合成するために、次の４項目を規定している。
（１）オブジェクト符号化
ビジュアルオブジェクトやオーディオオブジェクト、及びそれらを組み合せたＡＶ（オーディオビジュアル）オブジェクトを符号化対象とする。
（２）シーン合成
ビジュアルオブジェクトやオーディオオブジェクト、ＡＶオブジェクトを所望のシーンに構成するためのシーン構成情報と合成方式を規定するために、ＶＲＭＬ(Virtual Realty Modeling Language)をモディファイした言語を用いる。
（３）多重化と同期
各オブジェクトを多重同期したストリーム（エレメンタリ・ストリーム）の形式などを決める。このストリームをネットワークに流したり、録画装置に格納するときのサービス品質ＱＯＳ(Quality Of Service)も設定可能である。このＱＯＳパラメータには、最大伝送速度、誤り率、伝送方式などの伝送路条件や、復号化能力などが設けられている。
（４）ユーザの操作（インタラクション）
ビジュアルオブジェクトやオーディオオブジェクトをユーザ端末側で合成する方式を定義する。
【００３０】
ＭＰＥＧ４のユーザ端末では、ネットワークや録画再生装置から送られてくるデータを、エレメンタリストリームに分離して、各オブジェクトごとに復号化する。
【００３１】
これら複数の符号化されたデータから、同時に送られてきたシーン構成情報を基にしてシーンを再構成する。
【００３２】
図１８は、ユーザの操作（編集）を考慮に入れたシステム構成例を示すブロック図である。また図１９及び図２０は、ビデオオブジェクトに関するＶＯＰ処理回路ブロックを示す図で、図１９はエンコーダ側のブロック図を、図２０はデコーダ側のブロック図を示す。
【００３３】
＜ＶＯＰ(Video Object Plane)＞
ＭＰＥＧ４における映像の符号化は、対象となる映像オブジェクトを、形状(Shape)と、その絵柄(Texture)に分けてそれぞれ符号化する。この映像データの単位をＶＯＰという。
【００３４】
図２１は、ＶＯＰの符号化及び復号化処理の全体構成を示すブロック図である。例えば、画像が人物と背景の２つのオブジェクトから構成されている場合、各フレームを２つのＶＯＰに分割して符号化する。
【００３５】
各ＶＯＰを構成する情報は、図２２（ａ）に示すように、オブジェクトの形状情報、動き情報、テキスチャ情報となる。一方、復号器では、ビットストリームをＶＯＰ毎に分離し、個別に復号した後、これらを合成して画像を表示する。
【００３６】
このようにＶＯＰ構造の導入により、処理対象の画像が複数の映像オブジェクトから構成されている場合、これを複数のＶＯＰに分割し、個別に符号化／復号化することができる。なお、ＶＯＰ数が"１"で、オブジェクト形状が矩形の場合は、図２２（ｂ）に示すように、従来からのフレーム単位の符号化となる。
【００３７】
ＶＯＰには三種類の予測方式があり、面内符号化（Ｉ−ＶＯＰ）、前方向予測（Ｐ−ＶＯＰ）、双方向予測（Ｂ−ＶＯＰ）がある。この予測単位は、１６×１６画素のマクロブロックで行なう。
【００３８】
双方向予測ＶＯＰ（Ｂ−ＶＯＰ）は、ＭＰＥＧ１、ＭＰＥＧ２のＢピクチャと同じく、過去のＶＯＰと未来のＶＯＰから両方向予測するＶＯＰである。そして、マクロブロック単位に直接符号化／前方符号化／後方符号化／双方符号化の４種類のモードを選択可能としている。
【００３９】
双方向予測符号化は、ＭＢ又はブロック単位でモード切り替え可能で、Ｐ−ＶＯＰの動きベクトルのスケーリングで双方向予測する。
【００４０】
＜形状(Shape)符号化＞
オブジェクト（物体）単位で画像を扱うためには、物体の形状が符号化及び復号化の際に既知でなければならない。また、後ろにある物体が透けて見えるガラスのような物体を表現するためには、物体がどれだけの透明度を有するかの情報が必要となる。この物体の形状及び物体の透明度の情報を合わせて形状情報と呼ぶ。その形状情報の符号化を形状符号化と呼ぶ。
【００４１】
＜サイズ変換処理＞
２値形状符号化は、画素毎に物体の内側か外側かの境界を符号化していく手法であるため、符号化すべき画素数が少ないほど発生符号量も少なくて済む。しかし、符号化すべきマクロブロックサイズを小さくすることは、元の形状符号化が劣化して受信側に伝送されることになる。よって、サイズ変換で元の情報がどの程度劣化するかを測定し、所定の閾値以下のサイズ変換誤差が得られる限りは、できるだけ小さなサイズを選択する。具体的なサイズの変換比率としては、原寸大、縦横１／２倍、縦横１／４倍の３種類が挙げられる。
【００４２】
各ＶＯＰの形状情報は、８ビットのα値として与えられ、次のように定義される。
【００４３】
α＝０        ：該当ＶＯＰの外側
α＝１〜２５４：他のＶＯＰと半透明状態で表示
α＝２５５    ：該当ＶＯＰのみの表示領域
２値形状符号化は、α値が"０"或は"２５５"のみを取る場合であり、該当ＶＯＰの内側と外側のみで形状が表現される。多値形状符号化は、α値が"０"から"２５５"までの全ての値を取りうる場合であり、複数のＶＯＰ同士が半透明で重なる状態を表現することができる。
【００４４】
テキスチャ符号化と同様に、１６×１６画素のブロック単位に１画素精度の動き補償予測をする。オブジェクト全体を面内符号化する場合は、形状情報の予測はしない。動きベクトルは、隣接するブロックから予測した動きベクトルの差分を用いる。こうして求めた動きベクトルの差分値は、符号化してからビットストリームに多重化する。ＭＰＥＧ４では、動き補償予測したブロック単位の形状情報を、２値形状符号化する。
【００４５】
＜フェザーリング＞
その他、２値形状の場合でも、境界部は滑らかに不透明から透明に変えたい場合、フェザーリング（境界形状のスムーズ化）を使う。このフェザーリングは、境界値を線形に補間する線形フェザーリングモードと、フィルタを使うフェザーリングフィルタモードがある。一定に不透明な多値形状には、定アルファモードがあり、フェザーリングと組み合わせが可能である。
【００４６】
＜テキスチャ符号化＞
オブジェクトの輝度成分や色差成分の符号化を行なうもので、フィールド／フレーム単位のＤＣＴ、量子化、予測符号化、可変長符号化の順に処理する。ＤＣＴは８×８画素のブロックを処理単位とするが、オブジェクト境界がブロック内にある場合に、オブジェクトの平均値でオブジェクト外の画素を補填する。その後、４タップの２次元フィルタを掛けることで、ＤＣＴ変換係数に大きな擬似ピークが出る現象を防ぐ。
【００４７】
量子化は、ＩＴＵ−Ｔ勧告Ｈ．２６３の量子化器、或はＭＰＥＧ２の量子化器のいずれかを使う。ＭＰＥＧ２量子化器を使えば、直流成分の非線形量子化やＡＣ成分の周波数重み付けが可能になる。量子化後の面内符号化係数は、可変長符号化する前にブロック間で予測符号化し、冗長成分を削除する。特にＭＰＥＧ４では直流成分と交流成分の両方に対して予測符号化する。
【００４８】
テキスチャ符号化のＡＣ／ＤＣ予測符号化は、隣接するブロック間で対応する量子化係数の差分（勾配）を調べ、小さい方を予測に使う。直流係数ｘを符号化する場合、｜ａ−ｂ｜＜｜ｂ−ｃ｜ならｃを、｜ａ−ｂ｜≧｜ｂ−ｃ｜ならａを、それぞれ予測に使う。
【００４９】
交流係数Ｘを予測する場合、直流係数ｘと同様にして予測値を選んだ後、各ブロックの量子化スケール値（ＱＰ）で正規化する。
【００５０】
直流成分の予測符号化は、隣接するブロック間で上下に隣接するブロックの直流成分の差（垂直勾配）と、左右に隣接するブロックの直流成分の差（水平勾配）を調べ、勾配の少ない方向のブロックの直流成分との差分を予測誤差として符号化する。
【００５１】
交流成分の予測符号化は、直流成分の予測符号化に合わせて、隣接ブロックの対応する係数値を用いる。但し、量子化パラメータの値がブロック間で異なっている可能性があるので、正規化（量子化ステップスケーリング）してから差分をとる。予測の有無はマクロブロック単位に選択できる。
【００５２】
その後、交流成分は、ジグザグスキャンしてから、３次元（Last，Run，Level）可変長符号化する。ここで、Ｌａｓｔは０以外の係数の終わりを示す１ビットの値、Ｒｕｎは０の継続長、Ｌｅｖｅｌは非ゼロ係数の値である。
【００５３】
面内符号化した直流成分の可変長符号化には、直流成分用可変長符号化テーブル又は交流成分用可変長テーブルのいずれかを使う。
【００５４】
＜動き補償＞
ＭＰＥＧ−４では任意の形状のビデオオブジェクトプレーン（Video Object Plane：ＶＯＰ）を符号化することができる。ＶＯＰには、予測の種類によって面内符号化（Ｉ−ＶＯＰ）、前方向予測符号化（Ｐ−ＶＯＰ）、双方向予測符号化（Ｂ−ＶＯＰ）があり、予測単位は１６ライン×１６画素、又は８ライン×８画素のマクロブロックを使う。従って、ＶＯＰの境界上に跨るマクロブロックも存在することになる。このＶＯＰ境界の予測効率を改善するために、境界上のマクロブロックに対してはパディング（補填）とポリゴンマッチング（オブジェクト部分のみのマッチング）を行なう。
【００５５】
＜ウェーブレット符号化＞
ウェーブレット変換とは、１つの孤立波関数を拡大／縮小／平行移動して得られる複数の関数を変換基底とする変換方式である。このウェーブレット変換を用いた静止画像の符号化モード(Texture Coding Mode)は、特にＣＧ画像と自然画像の合成を扱うとき、高解像度から低解像度までの様々な空間解像度を備えた高画質の符号化方式として適している。
【００５６】
このウェーブレット符号化の効果として、画像をブロック単位に分割せず一括して符号化できるため、低ビットレートでもブロック歪みが発生しないとか、モスキート雑音も減少できるという効果がある。このように、ＭＰＥＧ−４の静止画符号化モードでは、低解像度かつ低画質の画像から高解像度かつ高画質までの幅広いスケーラビリティ、処理の複雑性、符号化効率のトレードオフをアプリケーションに応じて選択できる構成となっている。
【００５７】
＜階層符号化（スケーラビリティ）＞
スケーラビリティを実現するために、図２３（ａ）（ｂ）のようなシンタックスの階層構造を構成する。
【００５８】
階層符号化は、例えばベースレイヤを下位レイヤ、補強レイヤを上位レイヤとし、補強レイヤにてベースレイヤの画質を向上する「差分情報」を符号化することによって実現される。
【００５９】
空間スケーラビリティの場合、ベースレイヤは低解像度の動画像、ベースレイヤ＋補強レイヤは高解像度の動画像を表す。
【００６０】
更に、画像全体の画質を階層的に向上させる他に、画像中の物体領域のみの画質を向上させる機能がある。例えば、時間スケーラビリティの場合、ベースレイヤは画像全体を低いフレームレートで符号化したもの、補強レイヤは、画像内の特定オブジェクトのフレームレートを向上させるデータを符号化したものとなる。
【００６１】
［時間スケーラビリティ（図２３（ａ））］
時間スケーラビリティはフレーム速度を階層化する。補強レイヤのオブジェクトのフレーム速度を早くすることができる。階層化の有無はオブジェクト単位で設定できる。補強レイヤのタイプは２つで、タイプ１は、ベースレイヤのオブジェクトの一部で構成する。タイプ２は、ベースレイヤと同じオブジェクトで構成する。
【００６２】
［空間スケーラビリティ（図２３（ｂ））］
空間スケーラビリティは、空間解像度を階層化する。ベースレイヤは、任意のサイズのダウンサンプリングが可能である。ベースレイヤは、補強レイヤの予測に使う。
【００６３】
＜スプライト符号化＞
スプライトとは、３次元空間における画中の背景などのように、オブジェクト全体が統一的な移動、回転、変形等で表現できる平面的なオブジェクトのことであり、この平面的オブジェクトを符号化する手法をスプライト符号化と呼ぶ。
【００６４】
このスプライト符号化の区別は４種あり、静的／動的と、オンライン／オフラインで分かれる。詳しく説明すると、オブジェクトのデータを予め復号化器に送り、グローバル動き係数だけをリアルタイムに伝送することで実現する構成で、テンプレートの直接変換で得る手法の静的スプライト、時間的に前のスプライトから予測符号化して得る手法の動的スプライト、事前に面内符号化（Ｉ−ＶＯＰ）として符号化され、復号器側に伝送する手法のオフラインスプライト、符号化中に符号化器と復号化器で同時に作成する手法のオンラインスプライトで構成される。
【００６５】
スプライト符号化に関して検討されている技術として、スタティックスプライト(Static Sprite)符号化、ダイナミックスプライト(Dynamic Sprite)符号化、グローバル動き補償などの、方式（ツール）がある。
【００６６】
［スタティックスプライト符号化］
スタティックスプライト符号化は、ビデオクリップ全体の背景（スプライト）を予め符号化しておき、背景の一部を幾何変換することによって画像を表現する方法である。この切り出した一部の画像は、平行移動、拡大、縮小、回転等様々な変形を表現することができる。これについて図２４（ｂ）に図示したように、画像の移動・回転・拡大・変形等、３次元空間での視点移動などを表現することをワープと呼ぶ。図２４（ａ）はワープの種類を示す図で、これらワープの種類には、遠近法変換、アフィン変換、等方拡大（ａ）／回転（θ）／移動（ｃ，ｆ）、平行移動の手法があり、それぞれが図２４（ａ）に示す各式で表され、係数によって移動、回転、拡大、変形等を表せる。また、スプライトの生成は符号化開始前にオフラインで行われる。
【００６７】
このように、背景画像の一部領域を切り取り、この領域をワープして表現することでスタティックスプライト符号化が実現される。
【００６８】
図２５は、スプライト画像の一例を示す図である。
【００６９】
図２５では、全体の背景画像内の囲まれた一部の領域をワープすることになる。具体的には、例えばこの背景には、テニス試合における観客席等の背景画像と、ワープ部にはプレーヤ等の動きのある部分を含んだ画像が入ることになる。また、スタティックスプライト符号化では、幾何変換パラメータのみを符号化して予測誤差を符号化しない。
【００７０】
［ダイナミックスプライト符号化］
スタティックスプライト符号化方式では、符号化前にスプライトを生成しておくのに対し、このダイナミックスプライト符号化方式では、符号化しながらオンラインにスプライトを更新することができる。また、予測誤差を符号化するという点でスタテッィクスプライト符号化とは異なっている。
【００７１】
［グローバル動き補償（ＧＭＣ）］
このグローバル動き補償とは、オブジェクト全体の動きを、ブロックに分割することなく１つの動きベクトルで表して動き補償する技術であり、剛体の動き補償などに適している。参照画像が、スプライトの代わりに直前の復号画像となる点、予測誤差を符号化する点では、スタティックスプライト符号化と同様である。但し、スプライトを格納するためメモリを必要としないこと、形状情報が不要であることにおいて、スタティックスプライト符号化、及びダイナミックスプライト符号化とは異なる。これは画面全体の動きや、ズームを含む画像などにおいて効果がある。
【００７２】
＜シーン構造記述情報＞
シーン構成情報であり、各オブジェクト合成するための情報である。ＭＰＥＧ４では、各オブジェクトをシーンに合成するための構成情報を伝送する。個別に符号化された各オブジェクトを受信した場合に、このシーン構成情報を使用することにより、送信側が意図した通りのシーンに合成できる。
【００７３】
このシーン構成情報には、オブジェクトの表示時間や表示位置などがある。これらがツリー状のノード情報として記述されている。各ノードは、親ノードに対する時間軸上の相対時刻情報と相対空間座標位置情報をもつ。
【００７４】
このシーン構成情報を記述する言語には、ＶＲＭＬを修正したＢＩＦＳ(Binary Format for Scenes)と、Ｊａｖａを用いたＡＡＶＳ(Adaptive Audio-Visual Session Format)がある。ＢＩＦＳは、ＭＰＥＧ４のシーン構成情報を２値で記述する形式。ＡＡＶＳはＪａｖａをベースとしており、自由度が大きく、ＢＩＦＳを補う位置付けにある。
【００７５】
このシーン記述情報の構成例を、図２６に示す。
【００７６】
＜シーン記述＞
シーン記述は、ＢＩＦＳ(Binary Format for Scenes)により行われる。ここでは、ＶＲＭＬとＢＩＦＳ共通の概念であるシーングラフとノードを中心に説明する。
【００７７】
ノードは光源、形状、材質、色、座標などの属性や座標変換を伴う下位ノードのグループ化を指定する。オブジェクト指向の考えを取り入れ、３次元空間中の各物体の配置や見え方は、シーングラフと呼ばれる木(tree)を頂点のノードから辿り、上位ノードの属性を継承することにより決定される。葉にあたるノードに、メディアオブジェクト、例えば、ＭＰＥＧ４ビデオのビットストリームを、同期をとって割当てれば、他のグラフィックスとともに動画を３次元空間内に合成して出力できる。
【００７８】
また、ＶＲＭＬとの差異は、下記の通りである。
【００７９】
ＭＰＥＧ４システムでは
(1) ＭＰＥＧ４ビデオＶＯＰ符号化の２次元オーバーラップ関係記述とＭＰＥＧ４オーディオの合成記述
(2) 連続メディアストリームの同期処理
(3) オブジェクトの動的振る舞い表現（例えばスプライト）
(4) 伝送形式（バイナリー）を標準化
(5) セッション中にシーン記述を動的に変更
をＢＩＦＳでサポートする。
【００８０】
ＶＲＭＬのノードのうち、Extrusion、Script、Proto、ExtemProtoなどがサポートされていない以外は、ＶＲＭＬノードのほぼ全てがＢＩＦＳでサポートされている。
【００８１】
またＢＩＦＳで新たに加えられたＭＰＥＧ４特別ノードには、以下のものがある。
(1) ２Ｄ／３Ｄ合成のためのノード
(2) ２Ｄグラフィックスやテクストのためのノード
(3) アニメーションノード
(4) オーディオノード
特筆すべきは、ＶＲＭＬでは背景など特殊なノードを除き２Ｄ合成はサポートされていなかったが、ＢＩＦＳでは、テキストやグラフィックオーバーレイ、更にＭＰＥＧ４ビデオＶＯＰ符号化を画素を単位として扱えるよう記述が拡張されている。
【００８２】
アニメーションノードには、３Ｄメッシュで構成された顔などＭＰＥＧ４のＣＧ画像のための特別なノードが規定されている。シーングラフ中のノードの置き換え、消去、追加、属性変更が動的に行なえるメッセージ(BIFS Update)があり、セッションの途中で画面上に新たな動画像を表示したり、ボタンを追加することが可能になる。ＢＩＦＳは、ＶＲＭＬの予約語、ノード識別子、属性値をほぼ一対一にバイナリデータに置き換えることにより実現できる。
【００８３】
＜ＭＰＥＧ−４オーディオ＞
図２７は、ＭＰＥＧ−４オーディオの符号化方式の種類を示す図である。
【００８４】
オーディオ及び音声の符号化には、パラメトリック符号化、ＣＥＬＰ符号化、時間／周波数変換符号化が含まれる。更に、ＳＮＨＣオーディオの機能も取り入れ、ＳＡ（Structured Audio：構造化オーディオ）符号化と、ＴＴＳ（Text to Speech：テキスト音声合成）符号化が含まれる。ＳＡはＭＩＤＩを含む合成楽音の構造的記述言語であり、ＴＴＳは外部のテキスト音声合成装置にイントネーションや音韻情報などを送るプロトコルである。
【００８５】
図２８は、オーディオ符号化方式の構成を示すブロック図である。
【００８６】
図において、前処理部２０１で入力音声信号を前処理し、信号分割部２０２でパラメトリック符号化器２０４、ＣＥＬＰ符号化器２０５、時間／周波数符号化器２０６の３つの符号化器を使い分けるように、信号の帯域に応じて信号分割し、それぞれ適した符号化器に入力する。また信号分析制御部２０３では、入力オーディオ信号を分析し、そのオーディオ信号に応じた、各符号化器への分類のための制御情報等を発生させる。続いて、それぞれ別の符号化器である、パラメトリック符号化コア２０４、ＣＥＬＰ符号化コア２０５、時間／周波数変換符号化コア２０６では、各符号化方式に基づいた符号化処理がなされる。これら３種の符号化方式についてはこの後説明する。こうして符号化されたオーディオデータのうち、パラメトリック符号化コア２０４、ＣＥＬＰ符号化コア２０５の出力は小ステップ強化回路２０７に入力され、また時間／周波数変換符号化コア２０６の出力及び小ステップ強化回路２０７の出力は大ステップ強化回路２０８に入力される。小ステップ強化回路２０７及び大ステップ強化回路２０８とは、各符号化コアの符号化処理で発生する歪を減少させるための回路である。こうして、大ステップ強化回路２０８から出力されたオーディオデータは、符号化された音声ビットストリームとなる。以上が図２８に示す音声符号化方式の構成の説明である。
【００８７】
次に、図２７を参照しながら、各符号化方式について説明する。
【００８８】
＜パラメトリック符号化＞
音声信号、楽音信号を周波数や、振幅、ピッチ等のパラメータで表現し、それを符号化する。音声信号用の調波ベクトル駆動符号化（ＨＶＸＣ：Harmonic Vector Excitation Coding）符号化と、楽音信号用の個別スペクトル（ＩＬ：Individual Line）符号化が含まれる。
【００８９】
＜ＨＶＸＣ符号化＞
主として２ｋビット／秒〜４ｋビット／秒の音声符号化を目的としており、音声信号を有声音と無声音に分類し、有声音は線形予測係数（ＬＰＣ：Linear Prediction Coefficient）の残差信号の調波（ハーモニック）構造をベクトル量子化する。無声音については、予測残差をそのままベクトル駆動符号化(vector excitation coding)する。
【００９０】
＜ＩＬ符号化＞
６ｋビット／秒〜１６ｋビット／秒の楽音の符号化を目的としており、信号を線スペクトルでモデル化して符号化するものである。
【００９１】
＜ＣＥＬＰ符号化(Code Excited Linear Prediction Cording)＞
入力音声信号をスペクトル包絡情報と音源情報（予測誤差）に分離して符号化する方式である。スペクトル包絡情報は、入力音声信号から線形予測分析によって算出される線形予測係数によって表される。
【００９２】
ＭＰＥＧ４のＣＥＬＰ符号化には、帯域幅４ｋＨｚの狭帯域ＣＥＬＰと帯域幅８ｋＨｚの広帯域CELPがあり、狭帯域（ＮＢ：Narrow Band）ＣＥＬＰは、３．８５ｋビット／秒〜１２．２ｋビット／秒、広帯域（ＷＢ：Wide Band）ＣＥＬＰは１３．７ｋビット／秒〜２４ｋビット／秒の間においてビットレートの選択が可能である。
【００９３】
＜時間／周波数変換符号化＞
高音質を目指す符号化方式である。ＡＡＣ（Advanced Audio Coding）に準拠する方式、及びＴｗｉｎＶＱ（Transform-domain Weighted Interleave Vector Quantization：変換領域重み付けインターリーブベクトル量子化）がこれに含まれる。
【００９４】
この時間／周波数変換符号化構成には聴覚心理モデルが組み込まれ、聴覚マスキング効果を利用しながら適応量子化するしくみになっている。
【００９５】
＜ＡＡＣ準拠方式＞
オーディオ信号をＤＣＴ等で周波数変換し、聴覚マスキング効果を利用しながら適応量子化するしくみである。適応ビットレートは２４ｋビット／秒〜６４ｋビット／秒までである。
【００９６】
＜ＴｗｉｎＶＱ方式］＞
オーディオ信号を線形予測分析したスペクトル包絡を用いて、オーディオ信号のＭＤＣＴ係数を平坦化する。インタリーブを施した後、２つの符号長を用いてベクトル量子化するしくみである。適応ビットレートは、６ｋビット／秒〜４０ｋビット／秒までである。
【００９７】
＜システム構成＞
ＭＰＥＧ４のシステム・パートでは、多重化、分離、合成（コンポジション）を定義する。以下、図２９を用いて説明する。
【００９８】
多重化では、まず映像符号化器やオーディオ符号化器からの出力となる各オブジェクトや、その時空間配置を記述したシーン構成情報などのエレメンタリストリームごとに、アクセスユニットレイヤでパケット化する。このアクセスユニットレイヤでは、アクセスユニット単位に同期を取るためのタイムスタンプや参照クロックなどをヘッダとして付加する。パケット化したストリームは、次にFlexMuxレイヤで、表示や誤り耐性の単位で多重化されTransMuxレイヤに送られる。
【００９９】
TransMuxレイヤでは、誤り耐性の必要度に応じて誤り訂正符号が保護サブレイヤで付加される。最後に、多重サブレイヤ(Mux Sub Layer)で１本のTransMuxストリームとして伝送路に送り出される。このTransMuxレイヤは、ＭＰＥＧ４では定義せず、インターネットのプロトコルであるＵＤＰ／ＩＰ(user datagram protocol／internet protocol)やＭＰＥＧ２のトランスポートストリーム（ＴＳ）、ＡＴＭ(asynchronous transfer mode)のＡＡＬ２(ATM adaptaion layer 2)、電話回線利用のテレビ電話用多重化方式（ＩＴＵ−Ｔ勧告Ｈ．２２３）、デジタル・オーディオ放送などの既存のネットワークプロトコルが利用可能である。
【０１００】
システムレイヤのオーバーヘッドを軽くし、従来のトランスポートストリームに容易に埋め込めるように、アクセスユニットレイヤやFlexMuxレイヤをバイパスすることも可能である。
【０１０１】
復号化側では、各オブジェクトの同期を取るために、デマルチプレクス（分離）の後段にバッファ（ＤＢ：Decoding Buffer）を設け、各オブジェクトの到着時刻や復号化時間のずれを吸収する。合成の前にもバッファ（ＣＢ：Composition Buffer）を設けて表示時間を調整する。
【０１０２】
＜ビデオストリームの基本構造＞
図３０は、ＭＰＥＧ−４のストリーム構造のレイヤを示す図である。
【０１０３】
ここでは各階層をクラスと呼び、各クラスにはヘッダが付く。このヘッダとは、start code，end code，ＩＤ，形状，サイズ他，各種符号化情報である。
【０１０４】
＜ビデオストリーム＞
ビデオのストリームは複数のセッションで構成される。ここで、セッションとは、一連の完結したシーケンスのことである。
［ＶＳ］セッションは、複数のオブジェクトで構成される。［ＶＯ］は、ビデオオブジェクト、［ＶＯＬ］オブジェクトは、複数のレイヤを含んだオブジェクト単位のシーケンス、［ＧＯＶ］オブジェクトは、複数のレイヤで構成される。［ＶＯＰ］オブジェクトレイヤは、複数のプレーンで構成される。また、（プレーン：フレーム毎のオブジェクト）は、誤り耐性を有したビットストリーム構造である。
【０１０５】
ＭＰＥＧ４では、移動体通信（無線通信）等に対応すべく、符号化方式自体が伝送誤りに対して耐性を有している。しかし今までの標準方式では、誤り訂正は主にシステム側で行っていた。一方、ＰＨＳ等のネットワークでは誤り率が非常に高く、システム側でも訂正しきれない誤りがビデオ符号化部分に漏れ込んでくることが予想される。
【０１０６】
このことを考慮してＭＰＥＧ４では、システム側で訂正しきれなかった各種のエラーパターンを想定し、このような環境の下でも可能な限り誤りの伝播が抑制されるような誤り耐性符号化方式とした。
【０１０７】
ここでは、画像符号化に関する誤り耐性の具体的な手法と、そのためのビットストリーム構造を説明する。
（１）Reversible VLC （ＲＶＬＣ）と双方向復号（図３１（ａ）（ｂ））
図３１（ａ）は、通常のＶＬＣによる片方向の復号処理を説明する図で、復号の途中で誤りの混入が確認されると、その時点で復号処理を中断している。
【０１０８】
これに対し図３１（ｂ）は、双方向の復号処理を説明する図で、復号の途中で誤りの混入が確認された場合はそこで復号処理を一旦停止し、次の同期信号の検出を行なう。次の同期信号が検出できた段階で、今度はそこから逆向きにビットストリームの復号処理を行なう。これにより、新たな付加情報なしに、復号のスタートポイントが増加していることになり、誤り発生時に復号できる情報量を従来よりも増やすことが可能となる。このような順方向と同時に逆方向からも復号可能な可変長符号により"双方向復号"が実現できる。
（２）重要情報の複数回伝送（図３２（ａ）（ｂ））
重要情報を複数回伝送することが可能な構成を導入し、誤り耐性を強化することができる。例えば、各ＶＯＰを正しいタイミングで表示するためにはタイムスタンプが必要であり、この情報は最初のビデオパケットに含まれている。仮に誤りによって、このビデオパケットが消失しても、前記構造により次のビデオパケットからは復号が再開できるが、このビデオパケットにはタイムスタンプがないため、結局、表示タイミングがわからないことになる。そのため、各ビデオパケットにＨＥＣ(Header Extension Code)というフラグを立てて、この後にタイムスタンプ等の重要情報を付加できる構造を導入した。このＨＥＣフラグの後には、タイムスタンプとＶＯＰの符号化モードタイプが付加できる構造になっている。
【０１０９】
同期はずれが生じた場合には次の同期回復マーカ（ＲＭ）から復号を開始するが、各ビデオパケットにはそのために必要な情報（そのパケットに含まれる最初のＭＢ（マクロブロック）の番号と、そのＭＢに対する量子化スケール値）がＲＭの直後に配置されている（図３２（ａ）参照）。その後にＨＥＣフラグが挿入され、ＨＥＣ＝１の場合には、ＴＲ及びＶＣＴがその直後に付加される。これらＨＥＣ情報により、仮に先頭のビデオパケットが復号できずに廃棄されても、ＨＥＣ＝１と設定したビデオパケット以降の復号及び表示が正しく行われることになる。ここでＨＥＣを"１"にするか否かは符号化側で自由に設定できる。
（３）データ・パーティショニング
エンコーダ側では、ＭＢ単位の符号化処理を操り返してビットストリームを構成しているため、途中に誤りが混入すると、それ以降のＭＢデータは復号できないことになる。
【０１１０】
一方、複数のＭＢ情報をまとめて幾つかのグループに分類し、それぞれをビットストリーム内に配置する場合を考える。各グループの境目にマーカ情報を組み込めば、仮にビットストリームに誤りが混入されて、それ以降のデータが復号できない場合でも、そのグループの最後にあるマーカで同期を取り直して、次のグループのデータを正しく復号することが可能になる。
【０１１１】
以上の考えに基づき、ビデオパケット単位に、動きベクトルとテキスチャ情報（ＤＣＴ係数等）とにグループ分けするデータパーティショニング手法(Data Partitioning)が採用されている。また、グループの境目には、モーション・マーカ(Motion Marker)を配置している。これにより、仮に動きベクトル情報の途中に誤りが混入していても、ＭＭの後にくるＤＣＴ係数は正しく復号できるため、誤り混入以前の動きベクトルに対応するＭＢデータは、ＤＣＴ係数と共に正確に再生できる。またTexture（テクスチャ情報）部分に誤りが混入された場合でも、動きベクトルが正しく復号されていれば、その動きベクトル情報と復号済みの前フレーム情報とを用いて、ある程度、正確な画像が補間再生（コンシールメント）できる。
（４）可変長間隔同期方式
ここでは、可変長パケットで構成されている同期回復手法を説明する。先頭に同期信号を含んだＭＢ群は"ビデオパケット"と呼ばれ、その中に何個のＭＢを含めるかは符号化側で自由に設定することができる。可変長符号（ＶＬＣ：Variable Length Code）を使用しているビットストリームに誤りが混入された場合、それ以降の符号の同期が取れなくなり、復号不可能な状態になる。このような場合でも、次の同期回復マーカを検出することにより、その後の情報を正しく復号することが可能となる。
【０１１２】
＜バイトアラインメント＞
情報の多重化がバイトの整数倍単位で行われるというシステムとの整合性をとり、ビットストリームはバイトアラインメント(Byte Alignment)構造となっている。
【０１１３】
バイトアラインメントを実現するために、各ビデオパケットの最後にスタッフビットが挿入される。更に、このスタッフビットは、ビデオパケット内のエラーチェック符号としても使用される。
【０１１４】
スタッフビットは"０１１１１"のように、最初の１ビットのみが"０"で、それ以外が全て"１"である符号で構成されている。つまり、ビデオパケット内の最後のＭＢまで正しく復号されれば、その次に来る符号は必ず"０"であり、その後にスタッフビットの長さより１ビットだけ少ない数の"１"が連続しているはずである。
【０１１５】
もし、このルールに反したビットパターンが検出された場合は、それ以前の復号が正しく行われていなかったことになり、ビットストリームに誤りが混入していたことが検出できる。
【０１１６】
以上がＭＰＥＧ−４の技術に関する説明である。なお、上記した説明は、日経エレクトロニクス１９９７．９．２２号ｐ．１４７〜ｐ．１６８「国際標準規格ＭＰＥＧ４の概要決まる」、社団法人 映像情報メディア学会テキスト１９９７．１０．２「見えてきたＭＰＥＧ４の全貌」、日本工業技術センター１９９７．２．３セミナー資料「ＭＰＥＧ４の最新標準化動向と画像圧縮技術に、明記されている。
【０１１７】
続いて、本発明の実施の形態に係るシステムの具体的な説明を行なう。
【０１１８】
図１は、本実施の形態に係る受信再生システムの概略構成を示すブロック図である。この受信再生システムは、テレビ放送等の放送を受信して表示装置に表示するとともに、ビデオレコーダ等の録画再生装置により再生された映像や音声などを表示装置１３に出力して表示することができる。
【０１１９】
図１において、１１はＭＰＥＧ−４符号化方式のデジタルテレビ放送を受信するテレビ放送受信装置である。１２は映像や音声等を記録及び再生する録画再生装置で、例えばビデオレコーダやＤＶＤ等の記録媒体に受信したテレビ情報を録画したり、或いは記録媒体に記録されている映像や音声などを再生するプレーヤ等に相当している。１３は表示装置で、映像信号や音声信号を入力して、それらを再生出力する。テレビ放送受信装置１１は、セットトップボックス（ＳＴＢ）等の受信チューナ機器であり、録画再生装置１２はＤＶＤ、ハードディスク（ＨＤ）等を用いたホームサーバ又はデジタルＶＴＲ等である。また表示装置１３としては、テレビジョン（ＴＶ）やディスプレイ等が代表的な製品形態である。このテレビ放送受信装置１１で受信したテレビ放送データを、表示装置１３で表示する、または録画再生装置１２で録画したり、それから再生した映像や音声を表示装置１３に表示するのが基本的な動作である。
【０１２０】
図２は、本実施の形態に係るテレビ放送受信装置１１の構成を示すブロック図である。
【０１２１】
衛星アンテナ１４、或いはケーブルを介してケーブル放送端末１５から受信したデジタルテレビ放送データは、それぞれチューナ１６、チューナ１７により選局され、受信のための調整が行なわれる。こうして衛星テレビ放送、もしくはケーブルテレビ放送から受信されたテレビデータの内の一方がデータ選択器１８により選択され、復調回路１９で復調され、誤り訂正回路２０で誤り訂正処理がなされる。
【０１２２】
インターフェース部（Ｉ／Ｆ）２１は、テレビデータ、及び必要なコマンドデータ等を、表示装置１３等の外部装置と送受信するための通信手段である。このインターフェース部（Ｉ／Ｆ）２１は、デジタル通信の代表的インターフェースであるＩＥＥＥ１３９４シリアルバス等を採用し、デジタル通信に必要なデータ送受信処理回路、ケーブル（バス）を接続するコネクタ等を備えている。２２はシステムコントローラで、このテレビ放送受信装置１１の各部を制御している。２３は指示入力部で、スイッチ等の入力手段を備え、ここで入力された指示入力は、システムコントローラ２２に入力される。
【０１２３】
次に、図３を参照して録画再生装置１２の構成を説明する。図３は本実施の形態に係る録画再生装置１２の構成を示すブロック図である。
【０１２４】
テレビデータやコマンドデータ、及び再生ＡＶデータの入出力は、インターフェース部（Ｉ／Ｆ）３３を介して行われ、このインターフェース部３３は、テレビ放送受信装置１１及び表示装置１３とデータ通信が可能な、互換性を備えたものである。
【０１２５】
テレビ放送の録画時は、テレビ放送受信装置１１から送られたテレビデータを、インターフェース部（Ｉ／Ｆ）３３を介して入力し、記録処理回路３４で記録形態に適した形式のデータに変換してディスク等の記録媒体３５に送られる。この記録処理回路３４は、誤り訂正符号などの付加データの追加や、必要に応じて圧縮方式（フォーマット）の変換等のデータ処理を実施する。こうして記録のためのデータ処理が施されたテレビデータは、不図示の記録ヘッドから記録媒体３５に記録される。
【０１２６】
次に、この記録媒体３５に記録された映像データの再生時には、記録媒体３５に記録されているビデオデータ（記録したテレビデータを含む）を不図示の再生ヘッドで再生する。こうして再生されたビデオデータに、再生処理回路３６において、記録処理とは逆の処理でデータの復元や誤り訂正が施される。
【０１２７】
次に、このようにして再生処理されたビデオデータから、多重データ分離回路３７により、多重されているデータが分離され、それぞれデコーダ３８で、ＭＰＥＧ−４の符号化方式に基づいた復号化方式で復号される。尚、ＭＰＥＧ−４の符号化、及びその復号化方法については既に説明した通りである。
【０１２８】
ここでの手順は、まず多重データ分離回路３７において、多重されている各種データを画像データ、音声データ、その他のシステムデータに分離する。次に、これら分離された各データのそれぞれをデコーダ３８で復号して、表示／音声出力制御部３９で、その表示出力及び音声出力を制御する。この表示／音声出力制御部３９は、オブジェクト生成／制御部４０を用いて、本実施の形態に係る特徴である所定のオブジェクトの属性判別を行い、所定の画像オブジェクトについて、その再生形態を変化させる再生制御を行なう。尚、これらデコーダ３８、表示／音声出力制御部３９、オブジェクト生成／制御部４０の各部については詳細な説明は後述する。
【０１２９】
オブジェクト生成／制御部４０で制御された後の、最終的な表示／音声出力制御部３９の出力は、再生ＡＶデータとして、インターフェース部（Ｉ／Ｆ）３３を介して表示装置１３に伝送される。システムコントローラ４２は、記録媒体３５の回転制御や記録／再生動作を制御するサーボ制御部４１や、表示／音声出力制御部３９、オブジェクト生成／制御部４０を始めとして、各部の動作制御を行なう。また他機器からこの録画再生装置１２にコマンドが送信された場合には、インターフェース部（Ｉ／Ｆ）３３に入力されたコマンドをシステムコントローラ４２に伝送する。このシステムコントローラ４２では、そのコマンドに応じた動作制御を行なう。また、ユーザにより入力されるコマンドは、指示入力部４３を介してシステムコントローラ４２に入力される。
【０１３０】
ここで、ＭＰＥＧ−４デジタルテレビ放送のビットストリームの構成について説明する。
【０１３１】
図９は、ＭＰＥＧ−４ビットストリームの構成を示した図である。
【０１３２】
図において、オブジェクト１から５（５１〜５５）までのデータスペースに、番組内容、及び展開に応じてオブジェクトの種類は異なるが、自然画像オブジェクトや音声オブジェクト、コンピュータ・グラフィック（以下ＣＧ）等の合成画像オブジェクトなどが入っている。この合成画像オブジェクトの一例としては、ニュース番組の場合には、例えば背景オブジェクト（スプライト）、人物画像、その他の自然画像オブジェクト、緊急ニュース速報や、お天気画像といった画像オブジェクトがあり、更には、音声オブジェクトなどが該当する。加えて、ビットストリームには、システムデータとして、シーン記述情報５６や追加データ５７が多重される。更に、この追加データ５７には、時間情報５８やオブジェクト情報５９、およびその他の情報６０が含まれる。また、オブジェクト情報５９は、オブジェクト１〜５（５１〜５５）に該当する各オブジェクトのそれぞれに、その属するジャンルを示すジャンルコード６１、オブジェクトの詳細を示すオブジェクトコード６２、及び放送局の判別のための放送局コード６３とが含まれている。
【０１３３】
本実施の形態では、このオブジェクト情報５９に含まれるジャンルコード６１、オブジェクトコード６２、及び放送局コード６３とから、各オブジェクトの属性を判別し、所定の属性を有するオブジェクトに対して、再生時に他のオブジェクトに変更するための処理を行なう。この場合の所定の属性として、例えば緊急ニュース速報の画像（テロップ）のオブジェクトを例に挙げて説明する。
【０１３４】
図１０は、各放送局毎に、各ジャンルコードと、それに対応するオブジェクト情報を説明する図である。ここでは、各オブジェクト情報の構成をイメージ的に示し、各放送局ごとに対応させたコード構成の例で示している。図９で説明したオブジェクト情報５９の構成は、具体的には図１０に示した様に分類して表される。
【０１３５】
ジャンルコード６１は、例えば、「ニュース」、「プロ野球」、「映画」等の番組のジャンルを示すコードである。またオブジェクトコード６２は、「ニュース」の場合では、「背景画像」、「人物画像」、「天気予報画像」等である。同様に、「プロ野球」の場合では、「背景画像」、「カウント表示画像」、「選手の人物画像」等であり、またジャンルが「映画」の場合には、「背景」、その他と、６２０で地震速報等の「緊急ニュース画像」が送られていることを示している。このようにジャンルコード６１とオブジェクトコード６２とを組み合わせた構成が、各放送局を表わす放送局コード６３毎に分かれて存在している。
【０１３６】
各放送局では、オブジェクト情報として各オブジェクトを識別するこれらのコードを、各局共通又は局固有のコードを用いてユーザに提供している。そして、放送局側と、ユーザ側の機器とが同一のコードを相互理解できるように設定されている。
【０１３７】
次に図３を参照して説明した録画再生装置１２におけるデコーダ３８、表示／音声出力制御部３９、オブジェクト生成／制御部４０の各部の動作を詳細に述べることで、オブジェクトの再生について具体的に説明する。
【０１３８】
図５は、図３の録画再生装置１２の構成の内、オブジェクトの再生とオブジェクトの形態の変更処理に係る部位の構成を示すブロック図である。尚、図５に示された符号のうち図３と共通する回路や部位は同じ番号で示し、それらの説明を省略する。
【０１３９】
図５において、再生処理回路３６により、記録媒体３５から再生されて処理されたビデオデータを多重データ分離回路３７で分離し、デコーダ３８に含まれる音声復号回路６４、画像復号回路６５、システムデータ復号回路６６において、それぞれ対応するデータを復号する。
【０１４０】
音声データは音声復号回路６４で復号され、ステレオオーディオデータ（Ａ（Ｌ）、Ａ（Ｒ））となって、表示／音声出力制御部３９の音声出力制御部７０に送られ、音量や音場定位の調整、主／副音声など音声多重への対応、及び音声オブジェクトの追加や変更等が行なわれる。
【０１４１】
また画像データは、画像データ中の各画像オブジェクトに夫々対応させて復号処理を行なうために、複数かつ同様の復号部からなる画像復号回路６５で復号される。これら画像復号回路６５で復号された各オブジェクトに対応する画像データは、オブジェクトの数相当の画像データ（ｖ（１）〜ｖ（ｎ））となって、表示／音声出力制御部３９の表示出力制御部６９に送られ、表示に関する様々な処理や制御が施される。
【０１４２】
所定の属性を有すオブジェクトに対して、その再生形態を変更する処理は表示／音声出力制御部３９の各部で行なわれる。この再生形態の変更例として、所定のオブジェクト属性として緊急ニュースのテロップ等の画像オブジェクトを再生したときは、そのオブジェクトに対して次の▲１▼〜▲４▼のいずれかで追加処理を実行する。
▲１▼内部で発生させたキャラクタ画像によるアイコンオブジェクトと置き換える。
▲２▼オリジナルの緊急ニュースの画像オブジェクトを再生する。
（更に▲２▼に加えて、それが録画された時の時刻情報を付加して表示する）
▲３▼再生形態の変更とともに、音声オブジェクトを用いて警告音で知らせる。
▲４▼無表示にする。
【０１４３】
また、随時自由に再生形態を選ぶこともできる。
【０１４４】
このように必要に応じて再生形態を変更したオブジェクトを含め、再生した画像オブジェクト及び音声オブジェクトは、ＡＶデータとしてインターフェース部（Ｉ／Ｆ）３３で混合されて伝送される。
【０１４５】
また、システムデータ（シーン記述データや追加データを含む）については、まずデコーダ３８のシステムデータ復号回路６６でデータが復号される。ここで復号されたシステムデータの中から、時刻を判別するために必要な時間情報が、時間情報検出部６７により検出される。具体的には、デコード時にシステムデータの追加データに含まれる時間情報（クロックデータ）から検出される。こうして検出した時間情報は、システムコントローラ４２に入力され、録画時刻判定の基準として用いることができる。
【０１４６】
また、このシステムデータ復号回路６６で復号されたシステムデータの内、シーン記述に関するデータはシーン記述データ変換回路６８に入力される。その他のシステムデータ及び追加データは、システムコントローラ４２に各種コマンドとして入力され、オブジェクト情報はここに含まれる。
【０１４７】
また、シーン記述データ変換回路６８の出力は、音声出力制御部７０及び表示出力制御部６９に供給されてシーンの基本形態の出力に用いられ、またシステムコントローラ４２に送られる。
【０１４８】
オブジェクト生成／制御部４０は、その構成として、所定の属性を有するオブジェクトに対して再生形態の変換命令を下すオブジェクト制御部７１、音声オブジェクトを生成するための手段である音源７４、アイコン等の画像オブジェクトを生成するためのキャラクタ発生部７２と、その元データを保持するメモリ（ＲＯＭ）７３とを含んでいる。ここでオブジェクト制御部７１は、システムコントローラ４２からの指示により所定の属性を有すオブジェクトを識別して、設定されている内容に応じて、その表示形態の変更制御を行う。また、その生成した画像及び音声オブジェクトを再生データへ挿入するように制御し、更には再生形態の変更タイミング調整を行う。
【０１４９】
その手順としては、システムコントローラ４２から伝達されたオブジェクト情報を基に、属性情報に基づいて"緊急ニュース"等を対象にしたオブジェクトコードを識別する。この識別に応じて、音声／表示出力制御部３９の各部へ、そのオブジェクトに対する画像の再生形態の変更命令を送出する。この際、再生形態を変更する際に用いるアイコン画像オブジェクトは、メモリ（ＲＯＭ）７３に記憶された元データを使ってキャラクタ発生部７２にて生成したものであり、このアイコン画像オブジェクトは表示出力制御部６９へ送出される。また警告音に用いる音声オブジェクトは、音源７４で生成したものを音声出力制御部７０に送出することにより得られる。
【０１５０】
なお、再生したオブジェクトを無表示にする処理は、オブジェクト制御部７１の制御により、当該オブジェクトのみを表示しない制御によって実現される。
【０１５１】
また、本発明の実施の形態に係る機能の一つとして、オリジナルの表示形態である"緊急ニュース"等の画像を再生する際、それが発生した時点の時刻表示を再生画像に合成して表示することもできる。その場合、メモリ７３に記憶された元データを用いて、時間情報検出部６７の出力から得た記録時の時刻情報に基づいて、その時刻表示オブジェクトをキャラクタ発生部７２で生成し、それを画像オブジェクトの一つとして再生データに挿入して合成する。
【０１５２】
図１１は、上述したオブジェクト制御部７１における、所定の属性の画像データの再生形態を変更するための選択手段の機能を説明する図である。
【０１５３】
図において、２０１は選択部（スイッチ）を示し、ここでは例えば「緊急ニュース」をそのまま表示するか、他のアイコンに切替えて表示するか、或いは無表示にするかを選択できる。スイッチ２０２は、例えば「緊急ニュース」に警告音を付加するかどうかを決定している。合成部２０３は、選択部２０１で選択された映像と、スイッチ２０２を通して入力される警告音との合成を行う。これら各部の機能は、図５の表示出力制御部６９及び音声出力制御部７０により実施され、また選択部２０１の切り替え命令と、生成したオブジェクトを挿入するか否かはオブジェクト制御部７１により制御される。
【０１５４】
即ち、再生時において、オブジェクト制御部７１は再生データ中に"緊急ニュース"等を対象にしたオブジェクトコードを識別すると、音声／表示出力制御部３９の各部へ当該オブジェクトに対する再生形態の変更命令を送出する。その際の当該オブジェクトの再生パターンは、例えば図１１に記したように、▲１▼装置内で生成した画像オブジェクト「アイコン」を画面左上等の定められた表示位置（Ｘ0，Ｙ0）に表示する。又は▲２▼オリジナルの画像オブジェクト（緊急情報のテロップ）」再生して本来の表示位置（Ｘ，Ｙ）に表示する。或いは▲３▼当該オブジェクトのみを無表示にする、の３通りのうちのいずれかを選択できる。
【０１５５】
また、オリジナルの画像オブジェクトをそのまま表示するときは、録画時刻を示す画像オブジェクトを、その時の時刻情報を基にキャラクタ発生部７２で生成し画像に多重して付加表示することができる。
【０１５６】
またオブジェクト制御部７１では、初期設定として、所定の属性のオブジェクトを検出すると、そのオブジェクトをアイコンで表示するとしておく設定が望ましい。また、ユーザの好みに応じて、好きなタイミングで選択部２０１を操作することで、その設定を前述した３通りのうちから任意に選択できる構成をとるのが望ましい。
【０１５７】
更に、画像オブジェクトの変更があったことをユーザに警告するために有効な警告音の音声オブジェクトを追加することもできる。これは音源７４で生成した音声オブジェクトを、スイッチ２０２をオンすることによって、合成器２０３を介して出力ＡＶデータに合成させることができる。
【０１５８】
次に、テレビ放送受信装置１１及び録画再生装置１２から出力されるＡＶデータに基づいて映像や音声を表示する表示装置１３について説明する。
【０１５９】
図４は、本実施の形態に係る表示装置１３の構成を示すブロック図である。
【０１６０】
図において、この表示装置１３は、バスを介してインターフェース（Ｉ／Ｆ）部２４からＡＶデータを入力する。この入力したＡＶデータのうち音声データは音声制御部２５において、画像データの表示に同期したタイミングで出力され、Ｄ／Ａコンバータ２７でアナログ信号に変換された後、ステレオスピーカ２９から出力される。また画像データは、表示制御部２６で表示タイミング、表示形態の調整がなされた後、Ｄ／Ａコンバータ２８でアナログ信号に変換され、ＣＲＴ３０に表示される。システムコントローラ３１は各部の制御を行い、ユーザからの指示入力は指示入力部３２から受け付けられる。このユーザから受けた指示入力に従って、外部装置に対して関連するコマンドを伝送する際は、システムコントローラ３１は、インターフェース（Ｉ／Ｆ）部２４を介して外部装置にコマンドデータを出力することができる。
【０１６１】
なお、この表示装置１３は、図４に示した形態のものに限らず、例えば液晶ディスプレイ（ＬＣＤ）等であってもなんら問題はない。
【０１６２】
続いて、本発明の実施の形態に係る動作説明と、その表示形態の一例を図１２及び図１３を参照して説明する。
【０１６３】
図１２（ａ）は、アニメのオンエア画像の一画面を示し、録画再生装置１２に記録されている本来のテレビ画像である。このアニメのオンエア画像１０１に"緊急ニュース"の一例として、噴火を告げるテロップの画像オブジェクト１００が追加して表示されている。
【０１６４】
図１２（ｂ）は、本実施の形態に係る再生画像の一例であり、▲１▼として、図１２（ａ）に示したアニメの録画画像を再生するときに、緊急ニュースをアイコン１０３で表示した例を示している。この再生画像１０２において、再生形態変化の対象である"緊急ニュース"のテロップの画像オブジェクトをアイコン（画像オブジェクト）１０３で置き換えて表示している。
【０１６５】
図１２（ｃ）は、図１２（ｂ）の表示形態において、アニメを再生中に、再生画像１０２に表示したアイコン１０３をマウスカーソル１０４で指定して、アイコンの詳細内容（緊急ニュースの内容）を表示させるべく命令をしている動作を示す図である。このように、マウスカーソル１０４を、マウス等の指示入力手段によって操作し、アイコン１０３をクリックすることで命令が実行される。
【０１６６】
図１２（ｄ）は、図１２（ｃ）で指示された命令の応答として、再生パターンの再生の形態を、前述の▲２▼で説明したように、オリジナル画像に戻した表示に変換したときの例を示している。この場合、再生画像１０２に"緊急ニュース"のオリジナルの画像オブジェクト１００が再生されて表示されている。また、付加表示情報として、そのオリジナル画像が録画されたときの時刻を知らせる時刻表示オブジェクト１１０も表示可能である。
【０１６７】
このように、特定の属性を有する画像オブジェクトをアイコンに代えて表示する再生パターン▲１▼と、オリジナルのままで表示する再生パターン▲２▼とを、簡単な操作で変更指示できる。
【０１６８】
続いて、図１３（ａ）は、映画番組案内のオンエア中に、そのオンエア画像１０５に"緊急ニュース"として地震を告げるテロップの画像オブジェクト１０６が表示され、そのまま録画再生装置１２に録画されたテレビ画像の一例を示す図である。
【０１６９】
図１３（ｂ）は、図１３（ａ）の録画画像を再生する際に、再生画像１０７において、既に説明した再生パターン▲１▼に対応して、"緊急ニュース"のテロップ画像オブジェクト１０６をアイコン１０８に置き換えて再生表示した例を示す図である。ここでは、"緊急ニュース"をアイコン１０８に、その表示形態を変えたシーンにおいて、再生パターン▲３▼として音声オブジェクトを挿入して警告音（サウンド）１０９を鳴らして、ユーザへの注意を促している。
【０１７０】
図１３（ｃ）は、再生パターン▲４▼として、再生画像１０７において、アイコンも表示せず、"緊急ニュース"のテロップ画像オブジェクトを無表示にして再生したときの例を示す図である。
【０１７１】
このように、音声オブジェクトの追加によって警告音で知らせる再生パターン▲３▼と、再生形態の変換の対象となる画像オブジェクトを完全に無表示にする再生パターン▲４▼とも、先に説明した再生パターン▲１▼及び▲２▼と同様に、自由に設定することが可能である。
【０１７２】
図１４は、本発明の実施の形態１に係る録画再生装置における画像の再生処理を説明するフローチャートである。
【０１７３】
前述した録画再生装置１２の再生モードにおいて、録画画像の再生動作が指示されると（ステップＳ１０１）、ステップＳ１０２で、記録媒体３５から再生されたビデオデータをデコーダ３８でデコード（復号）する。そしてステップＳ１０３に進み、そのビデオデータを構成する画像オブジェクトについて、オブジェクト情報を解析して、各種オブジェクトコードを基に属性を調べる。そしてステップＳ１０４に進み、その解析結果に基づいて、その画像オブジェクトに"緊急ニュース"のコードから成る属性の画像オブジェクトがあるか否かを判別する。なお、ここでは"緊急ニュース"の属性が、再生形態を変更する対象のオブジェクトとして予め設定されている場合を示す。
【０１７４】
このステップＳ１０４で、再生データ中に"緊急ニュース"の属性を有す画像オブジェクトがない場合はステップＳ１１０に進み、再生データをそのままＡＶデータとして出力する。
【０１７５】
一方、ステップＳ１０４で、再生データ中に"緊急ニュース"の属性を有す画像オブジェクトがある場合はステップＳ１０５に進み、再生形態の変更を行なう際の設定値（上述の再生パターンを特定する値）を読み出す。ここで設定値が"１"であればステップＳ１０６に進み、その"緊急ニュース"画像オブジェクトの出力を、例えば前述の図１２（ｂ）に示すように、所定のアイコンに変更して出力する（再生パターン▲１▼）。またステップＳ１０５で、その設定値が"０"であればステップＳ１０７に進み、例えば前述の図１２（ｄ）に示すように、その"緊急ニュース"の画像オブジェクトをオリジナルのまま再生し、更にステップＳ１０８で、そのオンエア時の時刻を表す"時刻表示"の画像オブジェクトを付加して表示する（再生パターン▲２▼）。またステップＳ１０５で、設定値が"２"であればステップＳ１０９に進み、その"緊急ニュース"の画像オブジェクトを無表示にする。このときはアイコンも表示しない（再生パターン▲４▼）。
【０１７６】
以上３通りの設定値のいずれかが設定されることによって、その"緊急ニュース"の画像オブジェクトは、その再生形態が変更され、再生された他のデータとともにＡＶデータとして表示出力される（ステップＳ１１０）。
【０１７７】
次にステップＳ１１１に進み、例えば前述の図１２（ｃ）で示すように、マウスカーソル１０４を用いて、その設定値の変更が指示されたかどうかを調べ、指示された場合はステップＳ１１２に進み、その設定指示に従って、新たに設定された設定値に変更する。尚、この設定値は、例えば録画再生装置１２の指示入力部４３から入力されてもよい。このようにして、所定の属性を有する画像オブジェクトの表示・再生形態を容易に変更できる。こうして設定値が変更された後は再びステップＳ１０４において、"緊急ニュース"画像オブジェクトがあったかどうかが判断され、あればステップＳ１０５に進み、その新たに設定された設定値に従って再生形態が変更される。
【０１７８】
また、設定値の変更が必要でない時は、ユーザ命令、又はシステムの要因によって再生モードが終了となるまでステップＳ１０１よりの動作を繰り返し実行し、ステップＳ１１３で再生終了となると、その動作を停止して、この再生処理が終了する。
【０１７９】
尚、本実施の形態１では、再生形態の変更の対象として、所定の属性を有するオブジェクトを"緊急ニュース"（テロップ）の画像オブジェクトを例にして説明したが、本発明はこれに限定されるものではなく、例えば"選挙速報"や"天気予報画像"などの各種テロップ、又は"映画の字幕"などといった、ユーザが再生形態の変更を適用したい画像又は音声などの、全てのオブジェクトを対象に実現可能である。
【０１８０】
また、本実施の形態に係る録画再生装置１２からの画像及び音声データの出力先は、上記に説明した表示装置１３のみに限らず、他の録画再生装置へ、即ちダビングの場合にも適用できる。
【０１８１】
以上説明したように本実施の形態１によれば、録画画像の再生時に、所定の属性の画像オブジェクトのみの再生形態を変更することができるので、ユーザにとって不要な画像を消したり、或いは別の画像データ表示できるので、ユーザに対して、より親切で視覚効果の高いビデオ再生機能を提供できる。
【０１８２】
［実施の形態２］
次に、本発明の実施の形態２について説明する。この実施の形態２では、再生形態の変更機能を適用した表示装置７５について説明する。
【０１８３】
図６は、本発明の実施の形態２に係るＭＰＥＧ−４のビデオデータを録画再生する録画再生装置７５の構成を示すブロック図である。この録画再生装置７５は、前述の図３で説明した録画再生装置１２に含まれるオブジェクト生成／制御部４０を備えていない点が、前述の録画再生装置１２と異なっている。尚、この図６において、図３で説明した各部と共通する部分については同一符号を付して、その説明を省略する。
【０１８４】
この録画再生装置７５は、再生時、ＭＰＥＧ−４のビデオデータをデコードして得たＡＶデータ、及びデコード時に検出したオブジェクト情報を含んだサブデータをインターフェース部（Ｉ／Ｆ）３３からバスを介して外部機器へ出力する。
【０１８５】
図７は、この実施の形態２に係る録画再生装置７５に対応するＭＰＥＧ−４のオブジェクトの再生に対応した表示装置７６の構成を示すブロック図である。この表示装置７６は、図６の録画再生装置７５、又は図２のテレビ放送受信装置１１からテレビデータを受信して表示することが可能である。
【０１８６】
この表示装置７６は、前述の図４で説明した表示装置１３に追加機能として、表示形態及び音声出力形態を総括して「再生形態」と定義した上で、その再生形態を、所定のオブジェクトに対して変更せしめる機能を具備するものである。この図７において、前述の図４で示す部分と共通する部分は同じ符号で示し、その説明を省略する。
【０１８７】
表示装置７６は、図６の録画再生装置７５、又はテレビ放送受信装置１１から出力されたＡＶデータ及びサブデータをインターフェース部（Ｉ／Ｆ）２４を介して入力し、サブデータからＡＶデータに附随する時間情報を時間情報検出部７７で検出し、またオブジェクト情報をオブジェクト情報検出部７８でそれぞれ検出する。また、入力したオーディオデータは音声制御部２５により処理されてＤ／Ａコンバータ２７に送られて再生される。また画像データは、表示制御部２６で処理されて表示制御される。
【０１８８】
ここで、入力した画像又はオーディオデータを構成するオブジェクトの内、所定の属性を有するオブジェクトに対して、その再生形態を変更する処理は表示制御部２６及び音声出力制御部２５の各部で行なわれる。この再生形態の変更例として、所定のオブジェクト属性を有する画像オブジェクトを受信したときは、そのオブジェクトに対して、次の▲１▼〜▲４▼の内のいずれかで追加処理を実行する。
▲１▼内部で発生させたキャラクタ画像による"アイコン"オブジェクトと置き換える。
▲２▼オリジナルのオブジェクトを再現する。
（更に▲２▼に加えてデータに付随する時刻情報を基に"時刻表示"の画像オブジェクトを付加して表示する）
▲３▼再生形態の変更とともに、音声オブジェクトを用いて警告音で知らせる。
▲４▼無表示にする。
【０１８９】
また、随時自由に再生形態を選ぶこともできる。
【０１９０】
時刻を判別するために必要な時間情報は、時間情報検出部７７を用いて、サブデータ中に含まれる時間情報から検出する。こうして検出された時間情報はシステムコントローラ３１に入力されて、"時刻表示"画像オブジェクト生成に用いられる。
【０１９１】
オブジェクト制御部７９は、再生形態を変える対象として予め設定されているオブジェクトに対して、再生（即ち、表示及び／または音声出力）形態の変更命令を発行し、音声オブジェクトを生成するための手段である音源８２、アイコン等画像オブジェクトを生成するためのキャラクタ発生部８０と、その元データを保持するメモリ（ＲＯＭ）８１とを具備して、制御している。
【０１９２】
オブジェクト制御部７９は、オブジェクト情報からオブジェクトの属性の識別と、その表示制御、及び生成した画像及び音声オブジェクトを再生データに挿入するように制御し、また再生形態の変更タイミング調整を行う。その手順としては、オブジェクト情報検出部７８で検出され、システムコントローラ３１から伝達されたオブジェクト情報を基に、その再生形態を変えるべき所定の属性を有するオブジェクトコードを識別すると、音声制御部２５及び表示制御部２６の各部へ、そのオブジェクトに対する再生形態の変更命令を送出する。
【０１９３】
更に、その再生形態を変更する際に用いられるアイコン画像オブジェクトは、メモリ（ＲＯＭ）８１の元データを使ってキャラクタ発生部８０にて生成したものを表示制御部２６に送出する。また、警告音に用いる音声オブジェクトは、音源８２で生成したものを音声制御部７０へと送出する。
【０１９４】
なお、再生したオブジェクトの無表示処理は、そのオブジェクトのみを表示しない制御によって処理する。
【０１９５】
これら再生形態の制御は、図１３を用いて実施の形態１で説明したものと同様である。
【０１９６】
また、時刻表示を再生画像に合成して表示する場合は、メモリ８１の元データを用いて、時間情報検出部７７の出力から得た時刻情報に基づいて、その時刻表示オブジェクトをキャラクタ発生部８０で生成し、それを画像オブジェクトの一つとして、再生データに挿入して合成する。
【０１９７】
このように、必要に応じて再生形態を変更したオブジェクト含め、画像オブジェクトからなる画像データはＣＲＴ３０に出力されて表示され、また音声オブジェクトからなるオーディオデータは、スピーカ２９から出力される。
【０１９８】
このようにして表示装置において非表示処理、オブジェクト置換処理がなされた入力画像の表示形態は、前述の実施の形態１で例示したのと同様に、図１２（ａ）乃至（ｄ）及び図１３（ａ）乃至（ｃ）に示すように、自在な表示が可能である。
【０１９９】
次に、本発明の実施の形態２に係る表示装置における表示モードに応じた再生形態の制御について図１５のフローチャートを参照して説明する。
【０２００】
まずステップＳ２０１で、表示装置７６は、表示モードにおいて、入力されたＡＶデータを受信し、ステップＳ２０２で、これをデコードする。その後ステップＳ２０３に進み、画像データを構成する画像オブジェクトについては、そのオブジェクト情報を解析して、各種オブジェクトコードを基に、その属性を調べる。そしてステップＳ２０４で、解析結果の中に、例えば、"緊急ニュース"や"映画字幕"などの、予め設定された属性の画像オブジェクトがあるかどうかを調べる。
【０２０１】
ステップＳ２０４で、入力データ中に該当する属性のオブジェクトがない場合はステップＳ２０９に進み、そのままの形態で出力する。一方、ステップＳ２０４で、入力データ中に該当する属性を有すオブジェクトがある場合はステップＳ２０５に進み、再生形態の変更を行なう際の設定値を読み出す。
【０２０２】
ここで設定値が"１"であればステップＳ２０６に進み、その画像オブジェクトを生成したアイコンに変更して出力する（再生パターン▲１▼）。また設定値が"０"であればステップＳ２０７に進み、その画像オブジェクトをオリジナルのまま出力する（再生パターン▲２▼）。またステップＳ２０５で、その設定値が"２"であればステップＳ２０８に進み、その画像オブジェクトの出力を無表示にする。このときはアイコンも表示しない（再生パターン▲４▼）。
【０２０３】
以上、３通りの設定値のいずれかによって、その画像オブジェクトの再生形態が変更されて、他の表示データ及び／或いは音声データとともに出力される（ステップＳ２０９）。
【０２０４】
ここで、この設定値は任意に変更できるが、ステップＳ２１０で、前述のステップＳ１１１と同様に、この設定値を変更指示が入力されたかどうかを判定し、指示された時はステップＳ２１１に進み、指示入力部３２から入力される新たな設定値を設定することにより簡単に変更できる。こうして設定値が変更された後は、再びステップＳ２０４において、その再生形態を変える画像オブジェクトがあった場合はステップＳ２０５に進み、変更された最新の設定値に基づいて、その指定された属性を有する画像オブジェの表示形態が変更される。
【０２０５】
尚、ステップＳ２１０で、設定値の変更が必要でないときはステップＳ２１２に進み、表示モードが続く限りステップＳ２０１よりの動作を繰り返し実行し、ステップＳ２１２で表示終了となるまで、前述の動作を実行する。
【０２０６】
以上説明したように本実施の形態２によれば、表示装置における表示形態及び音声出力形態を再生形態として、その再生形態の変更を"緊急ニュース"や"映画字幕"等の画像オブジェクトを対象に設定して容易に実現できる。
【０２０７】
尚、本実施の形態２では、"緊急ニュース"や"映画字幕"といった画像オブジェクトを例にして説明したが、本発明はこれに限定されるものではなく、ユーザが再生形態の変更を適用したい画像又は音声など、全てのオブジェクトを対象にすることが可能である。
【０２０８】
これにより、画像を表示する際に不要と判断するオブジェクトのみを隠すことができるので、ユーザに対してより適切に、かつ視覚効果の高い表示が可能になる。
【０２０９】
＜その他の実施形態＞
その他の実施形態として、これまで説明してきた本実施の形態の前提となるＭＰＥＧ−４符号化方式のテレビ放送データ（ビデオデータ）を、ＭＰＥＧ−２符号化方式のテレビ放送データ（ビデオデータ）の一部に組み込んだ上で実現する実施の形態について説明する。
【０２１０】
図１６は、本実施の形態に係るＭＰＥＧ−２符号化方式のデジタルテレビ放送で用いられる、ＭＰＥＧ−２データストリームの伝送形式であるＭＰＥＧ−２トランスポートストリームのデータ構造を示す図である。
【０２１１】
このＭＰＥＧ−２トランスポートストリームは、固定長のトランスポートパケットによって多重及び分離される。このトランスポートパケットのデータ構造は、図１６に示したように階層的に表され、それぞれ図示した項目を含む。順に説明すると、８ビットの同期信号（sync）、パケット内のビットエラーの有無を示す誤り表示（エラーインジケータ）、このパケットのペイロードから新たなユニットが始まることを示すユニット開始表示、このパケットの重要度を示すプライオリティ（パケット優先度）、個別ストリームの属性を示す識別情報ＰＩＤ(Packet Identification)、スクランブルの有無とその種別を示すスクランブル制御、このパケットのアダプテーションフィールドの有無及びペイロードの有無を示すアダプテーションフィールド制御、同じＰＩＤをもつパケットが途中で一部棄却されたかどうかを検出するための情報である巡回カウンタ、付加情報やスタッフィングバイトをオプションで入れることができるアダプテーションフィールド、及びペイロード（情報）で構成されている。更に、このアダプテーションフィールドは、フィールド長、及びその他の個別ストリームに関する各種項目と、オプショナルフィールド、スタッフィングバイト（無効データ・バイト）が入り、本実施の形態では、付加データの一つとしてＭＰＥＧ−４のビットストリームをこのフィールドに多重している。以上が、ＭＰＥＧ−２テレビ放送のトランスポートパケットの構成の説明である。
【０２１２】
ここで、上記説明したトランスポートストリームを用いたＭＰＥＧ−２方式のテレビ放送において、ＭＰＥＧ−２のシステムデータに付加データとして多重したＭＰＥＧ−４ビットストリームに、所望の画像オブジェクト及び時間情報やオブジェクト情報等のシステムデータを組み込んだ場合を考えて、本実施の形態に係る所定オブジェクトの再生形態の変更機能を実現する。
【０２１３】
このとき図１６に示したように、微小なデータ量のＣＧ等からなる画像オブジェクト（図１６のオブジェクトＡ，Ｂ，Ｃ）、各オブジェクトのシーン記述情報（BIFS）、システムデータとして時間情報及び画像オブジェクト情報を識別するためのオブジェクト情報などをＭＰＥＧ−４ビットストリームとして、ＭＰＥＧ−２のシステムデータの、上記アダプテーションフィールドの所定領域に多重させて送信することで実現する。またＭＰＥＧ−４データを多重した領域の前（又は前後）には、ＭＰＥＧ−４データの存在を示すＩＤを付加しておき、これをデータ識別に用いる。
【０２１４】
ＭＰＥＧ−２の一部に組み込まれた前記ＣＧ等の画像データについては、前述の実施の形態１及び２で説明した通常のＭＰＥＧ−４画像データの如く、オブジェクトの再生形態の変更も可能として構成される。
【０２１５】
この場合は、ＭＰＥＧ−２のビットストリームからＭＰＥＧ−４の存在を示すＩＤを識別し、ＭＰＥＧ−４データを個別に抽出できさえすれば、そこから画像オブジェクト、オブジェクト情報、時間情報をそれぞれ抽出できるので、特定オブジェクトの再生形態の変更も、実施の形態１又は２の構成を基に容易に実現可能であり、この方法や動作については、既に説明したものと同様である。
【０２１６】
このように構成することで、ＭＰＥＧ−４テレビ放送に限らず、ＭＰＥＧ−４データを組み込んだＭＰＥＧ−２テレビ放送、又はビデオデータにおいても本発明の実施の形態を適用できる。
【０２１７】
また、ＭＰＥＧ−２とＭＰＥＧ−４とでは、共通化できる符号／復号化回路も多数あるので、システムの効率化に加え、回路構成も複雑な構成を必要とせずに効果的に実現できるメリットもある。もちろん、ソフトデコーダの場合でも、システムの効率化が図れることは言うまでもない。
【０２１８】
上記の如く構成することによって、本実施の形態に係る所定オブジェクトの再生形態を変更する機能は、ＭＰＥＧ−２をベースにしたテレビ放送システムであっても、テロップ画像等からなるＭＰＥＧ−４オブジェクトを多重した場合でも容易に適応できる。
【０２１９】
［他の実施形態］
なお本発明は、複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０２２０】
また本発明の目的は、前述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０２２１】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０２２２】
以上説明したように本実施の形態によれば、録画した時点（過去）においては価値があったが、再生している現時点では特に意味を持たない画像オブジェクトの表示に際して、その画像オブジェクトのみの再生形態を容易に変更することができる。これにより、テレビ放送を録画して再生する場合に、新たな機能を追加することができる。
【０２２３】
また本実施の形態によれば、上記の如く構成した装置やシステムによって、ユーザに対して、より親切で視覚効果の高いビデオ表示が可能になり、ユーザインターフェースの質を大きく向上できる。
【０２２４】
また本実施の形態によれば、ＭＰＥＧ−２符号化方式でのテレビ放送システムに、ＭＰＥＧ−４のビットストリームを組み込むことが可能であり、既存のシステムを活用する点でも有効である。
【０２２５】
またデジタルテレビ放送においては、パーソナルコンピュータ（ＰＣ）との融合も容易になり、現在ＰＣデスクトップ上で行っているようなレイアウト設定などを、テレビ画像に関してもカスタマイズにできるので、テレビ放送とＰＣとの親和性も良くなり、またデジタル複合製品の分野において市場拡大の効果が期待できる。
【０２２６】
尚、上述の実施の形態では、受信装置、録画再生装置及び表示装置で構成される受信再生システムの場合で説明したが本発明はこれに限定されるものでなく、これら装置が一体的に一つの装置として構成された録画機能付きテレビジョン受像機等のような装置にも適用できる。
【０２２７】
【発明の効果】
以上説明したように本発明によれば、録画された映像の再生時、記録した時点において意味のある情報を示した特定の字幕や緊急ニュースや速報的に付加された表示データの表示形態を変更して表示できる。
【０２２８】
また本発明によれば、録画された映像の記録時には意味があったが、その再生時には意味のない映像を非表示にしたり、或いは必要に応じて他の表示形態に変更して表示できるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るテレビ受信再生システムの構成を示すブロック図である。
【図２】本実施の形態に係るデジタルテレビ放送受信装置の構成を示すブロック図である。
【図３】本実施の形態１に係る録画再生装置の構成を示すブロック図である。
【図４】本実施の形態１に係る表示装置の構成を示すブロック図である。
【図５】図３の録画再生装置の構成を詳細に示すブロック図である。
【図６】本発明の実施の形態２に係る録画再生装置の構成を示すブロック図である。
【図７】本実施の形態２に係る表示装置の構成を示すブロック図である。
【図８】従来のデジタルテレビ放送受信システムの構成を示すブロック図である。
【図９】ＭＰＥＧ−４データのビットストリームの構成を説明するための図である。
【図１０】本実施の形態に係るオブジェクト情報の構成を説明する概念図である。
【図１１】図５のオブジェクト制御部における再生形態の変更を説明するための図である。
【図１２】本発明の実施の形態１に係る再生表示例を説明する図である。
【図１３】本発明の実施の形態１に係る再生表示・出力例を説明する図である。
【図１４】本発明の実施の形態１に係る再生処理の手順を説明するフローチャートである。
【図１５】本発明の実施の形態２に係る再生処理の手順を説明するフローチャートである。
【図１６】ＭＰＥＧ−２データのトランスポートストリームのデータ構成を説明するための図である。
【図１７】ＭＰＥＧ−４の全体構成を説明する図である。
【図１８】ＭＰＥＧ−４のコードを受信して復号・表示するシステム構成例を示すブロック図である。
【図１９】ビデオオブジェクトに関するＶＯＰ処理回路ブロックの内、エンコーダを示すブロック図である。
【図２０】ビデオオブジェクトに関するＶＯＰ処理回路ブロックの内、デコーダを示すブロック図である。
【図２１】ＶＯＰの符号化及び復号化処理の全体構成を示すブロック図である。
【図２２】ビデオ符号化器の構成を示すブロック図で、（ａ）はオブジェクト単位の符号化の場合を示し、（ｂ）はフレーム単位の符号化の場合を示す図である。
【図２３】階層符号化を説明する図で、（ａ）は時間スケラービリティの場合を示し、（ｂ）は空間スケラービリティの場合を示す。
【図２４】画像の移動・回転・拡大・変形等、３次元空間での視点移動などを表現するワープを説明する図で、（ａ）はワープの種類を示し、（ｂ）はワープの概念図である。
【図２５】スプライト画像の一例を示す図である。
【図２６】シーン記述情報の構成を説明する図である。
【図２７】ＭＰＥＧ−４オーディオの符号化方式の種類を示す図である。
【図２８】ＭＰＥＧ−４オーディオ符号化方式の構成を示すブロック図である。
【図２９】ＭＰＥＧ４のシステム構造を説明する図である。
【図３０】ＭＰＥＧ−４のストリーム構造のレイヤを示す図である。
【図３１】通常のＶＬＣによる片方向復号（ａ）と、逆方向復号（ｂ）とを説明する図である。
【図３２】符号化データにおける誤り耐性の手法を説明する図である。
【図１】
0004343411.tif 000002
【図２】
0004343411.tif 000003
【図３】
0004343411.tif 000004
【図４】
0004343411.tif 000005
【図５】
0004343411.tif 000006
【図６】
0004343411.tif 000007
【図７】
0004343411.tif 000008
【図８】
0004343411.tif 000009
【図９】
0004343411.tif 000010
【図１０】
0004343411.tif 000011
【図１１】
0004343411.tif 000012
【図１２】
0004343411.tif 000013
【図１３】
0004343411.tif 000014
【図１４】
0004343411.tif 000015
【図１５】
0004343411.tif 000016
【図１６】
0004343411.tif 000017
【図１７】
0004343411.tif 000018
【図１８】
0004343411.tif 000019
【図１９】
0004343411.tif 000020
【図２０】
0004343411.tif 000021
【図２１】
0004343411.tif 000022
【図２２】
0004343411.tif 000023
【図２３】
0004343411.tif 000024
【図２４】
0004343411.tif 000025
【図２５】
0004343411.tif 000026
【図２６】
0004343411.tif 000027
【図２７】
0004343411.tif 000028
【図２８】
0004343411.tif 000029
【図２９】
0004343411.tif 000030
【図３０】
0004343411.tif 000031
【図３１】
0004343411.tif 000032
【図３２】
0004343411.tif 000033