(57)【特許請求の範囲】
【請求項１】
ディジタルテレビ放送を受信し、画像および/またはサウンドの再生が可能な放送受信装置であって、
画像、サウンド、および付随するシステムデータから構成されるテレビ放送情報を受信する受信手段と、
前記システムデータに基づき受信画像およびサウンドを再生する再生手段と、
前記受信画像が所定のオブジェクト単位に分割されたデータ形態を有する場合、ユーザによって指定されたオブジェクトに対して、前記システムデータによって既定される基本レイアウトを前記ユーザの操作に応じて変更することで、前記指定されたオブジェクトの再生形態を設定する設定手段と、
前記設定手段によって設定された前記指定されたオブジェクトの再生形態を示すレイアウト設定情報を、前記システムデータによって識別される放送番組に対応付けて記憶する記憶手段とを有し、
前記再生手段は、前記受信手段で受信中の放送番組が、前記記憶手段に前記レイアウト設定情報の記憶された放送番組と一致する場合に、該記憶手段から該受信中の放送番組に対応するレイアウト設定情報を読み出して、該対応するレイアウト設定情報を受信中の画像に含まれる前記指定されたオブジェクトに適用することを特徴とする放送受信装置。
【請求項２】
前記記憶手段は、前記放送番組毎に、それぞれ複数のオブジェクトの再生形態を示すレイアウト設定情報を記憶することを特徴とする請求項1に記載された放送受信装置。
【請求項３】
前記記憶手段は、前記システムデータに含まれるシーン記述情報を前記ユーザの操作に従って補正した情報を前記レイアウト設定情報として記憶することを特徴とする請求項1に記載された放送受信装置。
【請求項４】
前記再生形態には、オブジェクトの表示/非表示の設定、表示位置の移動および表示サイズの変更の少なくとも一つが含まれることを特徴とする請求項1乃至3の何れか1項に記載された放送受信装置。
【請求項５】
前記ディジタルテレビ放送とは、MPEG4方式で符号化された画像およびサウンドデータを放送するものであることを特徴とする請求項1乃至4の何れか1項に記載された放送受信装置。
【請求項６】
前記ディジタルテレビ放送とは、MPEG4方式およびMPEG2方式で符号化された複数の画像およびサウンドデータを放送するものであって、
前記設定手段は、前記MPEG2方式で符号化された画像をオブジェクトとして処理し、前記ユーザの操作に応じて前記MPEG2方式で符号化された画像の再生形態を設定可能であることを特徴とする請求項1乃至4の何れか１項に記載された放送受信装置。
【請求項７】
前記システムデータに含まれるコマンドに従って表示画像を生成し、前記システムデータによって既定される位置に前記表示画像を表示させるキャラクタ発生手段をさらに有し、
前記設定手段は、前記キャラクタ発生手段で生成される表示画像について、前記ユーザの操作に応じて再生形態を設定可能であることを特徴とする請求項1乃至4の何れか１項に記載された放送受信装置。
【請求項８】
ディジタルテレビ放送を受信し、画像および/またはサウンドを再生する放送受信方法であって、
画像、サウンド、および付随するシステムデータから構成されるテレビ放送情報を受信し、
前記システムデータに基づき受信画像およびサウンドを再生する際に、前記受信画像が所定のオブジェクト単位に分割されたデータ形態を有する場合、ユーザによって指定されたオブジェクトに対して、前記システムデータによって既定される基本レイアウトを前記ユーザの操作に応じて変更することで、前記指定されたオブジェクトの再生形態の設定し、前記指定されたオブジェクトの再生形態を示すレイアウト設定情報を、前記システムデータによって識別される放送番組に対応付けて記憶し、
前記再生をさらに行う際に、受信中の放送番組が、前記レイアウト設定情報の記憶された放送番組と一致する場合に、該受信中の放送番組に対応するレイアウト設定情報を読み出して、該対応するレイアウト設定情報を受信中の画像に含まれる前記指定されたオブジェクトに適用することを特徴とする放送受信方法。
【請求項９】
放送受信装置を制御して、請求項8に記載された放送受信を実行するコンピュータプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は放送受信装置およびその方法に関し、例えば、ディジタルテレビ放送を受信し、画像およびサウンドの再生が可能な放送受信装置およびその方法に関するものである。
【０００２】
【従来の技術】
近年、衛星放送やケーブル放送を用いたディジタルテレビ放送が開始された。ディジタル放送の実現により、画像や音声を含むサウンドの品質向上、圧縮技術を利用した番組の種類や量の増大、インタラクティブサービスなど新しいサービスの提供、受信形態の進化など多くの効果が期待される。
【０００３】
図1は衛星放送を用いたディジタル放送受信機10の構成例を示すブロック図である。
【０００４】
まず、放送衛星によって送信されたテレビ(TV)情報がアンテナ1で受信される。受信されたTV情報はチューナ2で選局され復調される。その後、図示しないが、誤り訂正処理、必要であれば課金処理やデスクランブル処理などが行われる。次に、TV情報として多重化されている各種データを多重信号分離回路3で分離する。TV情報は画像情報、サウンド情報およびその他の付加データに分離される。分離された各データは復号回路4で復号される。こうして復号された各データのうち画像情報とサウンド情報はD/A変換回路5でアナログ化され、テレビジョン受像機(TV)6で再生される。一方、付加データは、番組サブデータとしての役割をもち各種機能に関与する。
【０００５】
さらに、受信されたTV情報の記録再生にはVTR7が利用される。受信機10とVTR7との間はIEEE1394などのディジタルインタフェイスで接続されている。このVTR7は、ディジタル記録方式の記録形態を備え、例えばD-VHS方式などによりTV情報をビットストリーム記録する。なお、D-VHS方式のビットストリーム記録に限らず、その他の民生用ディジタル記録方式であるDVフォーマットや、各種ディスク媒体を用いたディジタル記録装置などでもディジタルテレビ放送のTV情報を記録することが可能である。ただし、フォーマット変換が必要になる場合がある。
【０００６】
【発明が解決しようとする課題】
地上波放送およびディジタルテレビ放送におけるテレビ番組を家庭のテレビジョンで再生する場合、放送局から送られてくる映像をそのまま表示するのが普通である。言い換えれば、効果的に表示形態（レイアウト）を変化させる行為、例えば、必要に応じて映像中の物体を表示させたりさせなかったり、物体のサイズを変えたりすることは行われていない。このような表示形態を効果的に変化させる機能は、ディジタルテレビ放送の発展に伴う多チャンネル化および多プログラム化の過程で、効果的な表示方法の新機能を追加していくという観点から是非必要なものの一つと考えられる。
【０００７】
本発明は、上述の問題を解決するためのものであり、ディジタルテレビ放送における画像および/またはサウンドの新たな再生機能を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【０００９】
本発明にかかる放送受信装置は、ディジタルテレビ放送を受信し、画像および/またはサウンドの再生が可能な放送受信装置であって、画像、サウンド、および付随するシステムデータから構成されるテレビ放送情報を受信する受信手段と、前記システムデータに基づき受信画像およびサウンドを再生する再生手段と、前記受信画像が所定のオブジェクト単位に分割されたデータ形態を有する場合、ユーザによって指定されたオブジェクトに対して、前記システムデータによって既定される基本レイアウトを前記ユーザの操作に応じて変更することで、前記指定されたオブジェクトの再生形態を設定する設定手段と、前記設定手段によって設定された前記指定されたオブジェクトの再生形態を示すレイアウト設定情報を、前記システムデータによって識別される放送番組に対応付けて記憶する記憶手段とを有し、前記再生手段は、前記受信手段で受信中の放送番組が、前記記憶手段に前記レイアウト設定情報の記憶された放送番組と一致する場合に、該記憶手段から該受信中の放送番組に対応するレイアウト設定情報を読み出して、該対応するレイアウト設定情報を受信中の画像に含まれる前記指定されたオブジェクトに適用することを特徴とする。
【００１１】
本発明にかかる放送受信方法は、ディジタルテレビ放送を受信し、画像および/またはサウンドを再生する放送受信方法であって、画像、サウンド、および付随するシステムデータから構成されるテレビ放送情報を受信し、前記システムデータに基づき受信画像およびサウンドを再生する際に、前記受信画像が所定のオブジェクト単位に分割されたデータ形態を有する場合、ユーザによって指定されたオブジェクトに対して、前記システムデータによって既定される基本レイアウトを前記ユーザの操作に応じて変更することで、前記指定されたオブジェクトの再生形態の設定し、前記指定されたオブジェクトの再生形態を示すレイアウト設定情報を、前記システムデータによって識別される放送番組に対応付けて記憶し、前記再生をさらに行う際に、受信中の放送番組が、前記レイアウト設定情報の記憶された放送番組と一致する場合に、該受信中の放送番組に対応するレイアウト設定情報を読み出して、該対応するレイアウト設定情報を受信中の画像に含まれる前記指定されたオブジェクトに適用することを特徴とする。
【００１３】
【発明の実施の形態】
［概要］
本実施形態は、MPEG4符号化の特徴でもあるオブジェクトの概念を用いることによって、オブジェクト単位での画像の移動や変形を可能にする。オブジェクトとは、背景画像、話者およびその音声などであり、MPEG4符号化はそれぞれのオブジェクトを符号化/復号して、各オブジェクトを組み合わせることで一つのシーンを表現する。
【００１４】
本実施形態の具体的な表示機能は、MPEG4を用いた放送システムにおいて、リアルタイム画像情報の表示に関して、表示する画像をオブジェクト単位で操作することが可能である。さらに、上記の各オブジェクトに対して、所定サイズからの拡大/縮小、所定位置からの移動が可能である。また、テレビ放送はテレビ情報としての番組と、各番組ごとに定められた固有のID情報を含み、ID情報毎に任意に設定される再生（表示）形態を設定および更新することができる。
【００１５】
このように、本実施形態によれば、ディジタルテレビ放送を視聴するユーザは、各オブジェクトを好みの配置およびサイズにする任意のレイアウトを設定することができ、ユーザに対する視覚的効果およびユーザンタフェイスの質を向上することができる。
【００１６】
以下では、本発明にかかる一実施形態の受信装置として、MPEG4符号化方式を用いるディジタルテレビ放送を受信する受信装置の構成例を説明するが、まずMPEG4に関する技術を分野ごとに分けて詳細に説明する。
【００１７】
【ＭＰＥＧ４の概要】
［規格の全体構成］
MPEG4規格は大きな四つの項目からなる。このうち三つの項目はMPEG2と類似していて、ビジュアルパート、オーディオパートおよびシステムパートである。
【００１８】
●ビジュアルパート
自然画、合成画、動画および静止画などを扱うオブジェクト符号化方式が規格として定められている。また、伝送路誤りの訂正や修復に適した符号化方式、同期再生機能および階層符号化が含まれている。表現上『ビデオ』は自然画像を意味し、『ビジュアル』は合成画像まで含む。
【００１９】
●オーディオパート
自然音、合成音および効果音などを対象にしたオブジェクト符号化方式が規格として定められている。ビデオパートやオーディオパートでは複数の符号化方式を規定し、それぞれのオブジェクトの特徴に適した圧縮方式を適宜選択することで、符号化効率を高める工夫がされている。
【００２０】
●システムパート
符号化された映像オブジェクトやサウンドオブジェクトの多重化処理と、その逆の分離処理を規定する。さらにバッファメモリや時間軸制御と再調整機能もこのパートに含まれる。上記のビジュアルパートおよびオーディオパートで符号化された映像オブジェクトやサウンドオブジェクトは、シーンのなかのオブジェクトの位置や出現時刻および消滅時刻などを記したシーン構成情報とともにシステムパートの多重化ストリームに統合される。復号処理としては、受信したビットストリームから、それぞれのオブジェクトを分離/復号し、シーン構成情報に基づきシーンを再構成する。
【００２１】
［オブジェクトの符号化］
MPEG2ではフレームあるいはフィールドを単位として符号化するが、コンテンツの再利用や編集を実現するために、MPEG4では映像データやオーディオデータをオブジェクト（物体）として扱う。オブジェクトには以下のような種類がある。
サウンド
自然画像（背景映像: 二次元固定映像）
自然画像（主被写体映像: 背景なし）
合成画像
文字画像
【００２２】
これらを同時に入力し符号化処理する場合のシステム構成例を図2に示す。サウンドオブジェクト符号化器5001、自然画像オブジェクト符号化器5002、合成画像オブジェクト符号化器5003および文字オブジェクト符号化器5004により、オブジェクトはそれぞれ符号化処理される。この符号化と略同時に、シーン内における各オブジェクトの関連を示すシーン構成情報を、シーン記述情報符号化器5005により符号化する。符号化されたオブジェクト情報およびシーン記述情報は、データ多重化器5006によりMPEG4ビットストリームへエンコード処理される。
【００２３】
このようにエンコード側では、複数のビジュアルオブジェクトやオーディオオブジェクトの組み合わせを定義して、一つのシーン（画面）を表現する。ビジュアルオブジェクトに関しては、自然画像とコンピュータグラフィクスなどの合成画像とを組み合わせたシーンも構成できる。また、上記のような構成をとることで、例えば、テキスト音声合成の機能を使って、被写体映像とその音声との同期再生が可能になる。なお、前記のビットストリーム状態で送受信または記録再生が行われる。
【００２４】
デコード処理は、先のエンコード処理の逆処理である。データ分離器5007により、MPEG4ビットストリームを各オブジェクトに分離し分配する。分離されたサウンド、自然画像、合成画像および文字などのオブジェクトは、対応する復号器5008から5011によりオブジェクトデータへ復号される。また、シーン記述情報も略同時に復号器5012により復号される。これらの復号情報を用いて、シーン合成器5013は、元のシーンを合成する。
【００２５】
デコード側では、シーンに含まれるビジュアルオブジェクトの位置や、オーディオオブジェクトの順番など、部分的な変更が可能である。オブジェクト位置はドラッグにより変更でき、言語の変更などはユーザがオーディオオブジェクトを変更することで可能になる。
【００２６】
複数のオブジェクトを自由に組み合わせてシーンを合成するために、次の四つの項目が規定されている。
【００２７】
●オブジェクト符号化
ビジュアルオブジェクトおよびオーディオオブジェクト、並びに、それらを組み合わせたAV（オーディオビジュアル）オブジェクトを符号化対象とする。
【００２８】
●シーン合成
ビジュアルオブジェクト、オーディオオブジェクトおよびAVオブジェクトを所望するシーンに構成するためのシーン構成情報と合成方式とを規定するために、Virtual Reality Modeling Language(VRML)をモディファイした言語を用いる。
【００２９】
●多重化と同期
各オブジェクトを多重同期したストリーム（エレメンタリストリーム）の形式などを定める。このストリームをネットワークに流したり、記録装置に格納するときのサービス品質QOS(Quality of Service)も設定可能である。QOSパラメータには、最大伝送速度、誤り率および伝送方式などの伝送路条件や復号能力などが設けられている。
【００３０】
●ユーザの操作（インタラクション）
ビジュアルオブジェクトやオーディオオブジェクトを、ユーザ端末側で合成する方式を定義する。MPEG4のユーザ端末は、ネットワークや記録装置から送られてくるデータを、エレメンタリストリームに分離して、各オブジェクトごとに復号する。複数の符号化されたデータから、同時に送られてきたシーン構成情報を基にしてシーンを再構成する。
【００３１】
ユーザ操作（編集）を考慮に入れたシステムの構成例を図3に示す。また、ビデオオブジェクトに関するVOP処理回路のエンコーダ側のブロック図を図4に、デコーダ側のブロック図を図5に示す。
【００３２】
［VOP(Video Object Plane)］
MPEG4における映像の符号化は、対象の映像オブジェクトを形状(Shape)とその絵柄(Texture)に分けてそれぞれ符号化する。この映像データの単位をVOPという。図6はVOPの符号化および復号の全体構成を示すブロック図である。
【００３３】
例えば、画像が人物と背景の二つのオブジェクトから構成されている場合、各フレームを二つのVOPに分割して符号化する。各VOPを構成する情報は、図7Aに示されるように、オブジェクトの形状情報、動き情報およびテキスチャ情報である。一方、復号器は、ビットストリームをVOP毎に分離し個別に復号した後、これらを合成して画像を形成する。
【００３４】
このように、VOP構造の導入により、処理対象の画像が複数の映像オブジェクトから構成されている場合、これを複数のVOPに分割し、個別に符号化/復号することができる。なお、VOPの数が1で、オブジェクト形状が矩形の場合は、図7Bに示すように、従来からのフレーム単位の符号化になる。
【００３５】
VOPには三種類の予測方式、面内符号化(I-VOP)、前方向予測(P-VOP)および双方向予測(B-VOP)がある。予測単位は16×16画素のマクロブロック(MB)である。
【００３６】
双方向予測B-VOPは、MPEG1およびMPEG2のBピクチャと同じく、過去のVOPおよび未来のVOPの両方向からVOPを予測する方式である。そして、マクロブロック単位に直接符号化/前方符号化/後方符号化/双方符号化の四種類のモードが選択可能である。そしてこのモードは、MBまたはブロック単位に切り替えることが可能である。P-VOPの動きベクトルのスケーリングで双方向予測する。
【００３７】
［形状(Shape)符号化］
オブジェクト（物体）単位で画像を扱うためには、物体の形状が符号化および復号の際に既知でなければならない。また、後方にある物体が透けて見えるガラスのような物体を表現するためには、物体の透明度を表す情報が必要になる。この物体の形状および物体の透明度の情報を合わせて形状情報と呼ぶ。そして、形状情報の符号化を形状符号化と呼ぶ。
【００３８】
［サイズ変換処理］
二値形状符号化は、画素毎に物体の外側にあるのか内側にあるのかを判定して、境界画素を符号化する手法である。従って、符号化すべき画素数が少ないほど発生符号量も少なくて済む。しかし、符号化すべきマクロブロックサイズを小さくすることは、元の形状符号が劣化して受信側に伝送されることになる。従って、サイズ変換により元の情報がどの程度劣化するかを測定し、所定のしきい値以下のサイズ変換誤差が得られる限りは、できるだけ小さなマクロブロックサイズを選択する。具体的なサイズ変換比率としては、原寸大、縦横1/2倍、縦横1/4倍の三種類が挙げられる。
【００３９】
各VOPの形状情報は、8ビットのα値として与えられ、次のように定義される。
α = 0:      該当VOPの外側
α = 1〜254: 他のVOPと半透明状態で表示
α = 255:    該当VOPのみの表示領域
【００４０】
二値形状符号化は、α値が0あるいは255をとる場合であり、該当VOPの内側と外側のみで形状が表現される。多値形状符号化は、α値が0から255のすべての値を取り得る場合で、複数のVOP同士が半透明で重畳された状態を表現することができる。
【００４１】
テキスチャ符号化と同様に16×16画素のブロック単位に一画素精度の動き補償予測をする。オブジェクト全体を面内符号化する場合は形状情報の予測はしない。動きベクトルは、隣接するブロックから予測した動きベクトルの差分を用いる。求めた動きベクトルの差分値は、符号化してからビットストリームに多重化する。MPEG4では、動き補償予測したブロック単位の形状情報を二値形状符号化する。
【００４２】
●フェザーリング
その他、二値形状の場合でも、境界部を不透明から透明に滑らかに変化させたい場合はフェザーリング（境界形状のスムージング）を使う。フェザーリングは、境界値を線形に補間する線形フェザーリングモードと、フィルタを使うフェザーリングフィルタモードがある。不透明度が一定な多値形状には、定アルファモードがあり、フェザーリングと組み合わせが可能である。
【００４３】
［テキスチャ符号化］
オブジェクトの輝度成分や色差成分の符号化を行うもので、フィールド/フレーム単位のDCT(Discrete Cosine Tranfer)、量子化、予測符号化および可変長符号化の順に処理する。
【００４４】
DCTは8×8画素のブロックを処理単位とするが、オブジェクト境界がブロック内にある場合は、オブジェクトの平均値でオブジェクト外の画素を補填する。その後、4タップの二次元フィルタ処理を施すことで、DCT係数に大きな擬似ピークが発生する現象を防ぐ。
【００４５】
量子化はITU-T勧告H.263の量子化器あるいはMPEG2の量子化器の何れかを使う。MPEG2量子化器を使えば、直流成分の非線形量子化やAC成分の周波数重み付けが可能になる。
【００４６】
量子化後の面内符号化係数は、可変長符号化する前にブロック間で予測符号化し冗長成分を削除する。とくに、MPEG4では直流成分と交流成分の両方に対して予測符号化する。
【００４７】
テキスチャ符号化のAC/DC予測符号化は、図8に示すように、注目ブロックに隣接するブロック間で対応する量子化係数の差分（勾配）を調べ、小さい方の量子化係数を予測に使う。例えば、注目ブロックの直流係数xを予測する場合、対応する隣接ブロックの直流係数がa、bおよびcならば次のようになる。
|a - b| <  |b - c| ならば直流係数cを予測に使う
|a - b| ≧ |b - c| ならば直流係数aを予測に使う
【００４８】
注目ブロックの交流係数Xを予測する場合も、上記と同様に予測に使う係数を選んだ後、各ブロックの量子化スケール値QPで正規化する。
【００４９】
直流成分の予測符号化は、隣接するブロック間で上下に隣接するブロックの直流成分の差（垂直勾配）と、左右に隣接するブロックの直流成分の差（水平勾配）を調べ、勾配の少ない方向のブロックの直流成分との差分を予測誤差として符号化する。
【００５０】
交流成分の予測符号化は、直流成分の予測符号化に合わせて、隣接ブロックの対応する係数を用いる。ただし、量子化パラメータの値がブロック間で異なっている可能性があるので、正規化（量子化ステップスケーリング）してから差分をとる。予測の有無はマクロブロック単位に選択できる。
【００５１】
その後、交流成分は、ジグザグスキャンされ、三次元(Last、RunおよびLevel)可変長符号化される。ここで、Lastはゼロ以外の係数の終りを示す1ビットの値、Runはゼロの継続長、Levelは非ゼロ係数の値である。
【００５２】
面内符号化された直流成分の可変長符号化には、直流成分用可変長符号化テーブルまたは交流成分用可変長テーブルの何れかを使う。
【００５３】
［動き補償］
MPEG4では任意の形状のビデオオブジェクトプレーン(VOP)を符号化することができる。VOPには、前述したように、予測の種類によって面内符号化(I-VOP)、前方向予測符号化(P-VOP)および双方向予測符号化(B-VOP)があり、予測単位は16ライン×16画素または8ライン×8画素のマクロブロックを使う。従って、VOPの境界上に跨るマクロブロックも存在することになる。このVOP境界の予測効率を改善するために、境界上のマクロブロックに対してはパディング（補填）およびポリゴンマッチング（オブジェクト部分のみのマッチング）を行う。
【００５４】
［ウェーブレット符号化］
ウェーブレット(wavelet)変換は、一つの孤立波関数を拡大/縮小/平行移動して得られる複数の関数を変換基底とする変換方式である。このウェーブレット変換を用いた静止画像の符号化モード(Texture Coding Mode)は、とくにコンピュータグラフィックス(CG)画像と自然画像とが合成された画像を扱う場合に、高解像度から低解像度までの様々な空間解像度を備えた高画質の符号化方式として適している。ウェーブレット符号化は、画像をブロック分割せず一括して符号化することができるため、低ビットレートでもブロック歪みが発生せず、モスキート雑音も減少できる。このように、MPEG4の静止画像符号化モードは、低解像度かつ低画質の画像から高解像度かつ高画質の画像までの幅広いスケーラビリティ、処理の複雑性および符号化効率のトレードオフの関係をアプリケーションに応じて調整できる。
【００５５】
［階層符号化（スケーラビリティ）］
スケーラビリティを実現するために、図9Aおよび9Bに示すようなシンタックスの階層構造を構成する。階層符号化は、例えばベースレイヤを下位レイヤ、補強レイヤを上位レイヤとし、補強レイヤにおいてベースレイヤの画質を向上する「差分情報」を符号化することによって実現される。空間スケーラビリティの場合、ベースレイヤは低解像度の動画像を、「ベースレイヤ+補強レイヤ」で高解像度の動画像を表す。
【００５６】
さらに、画像全体の画質を階層的に向上させるほかに、画像中の物体領域のみ画質を向上させる機能がある。例えば、時間スケーラビリティの場合、ベースレイヤは画像全体を低いフレームレートで符号化したもの、補強レイヤは画像内の特定オブジェクトのフレームレートを向上させるデータを符号化したものになる。
【００５７】
●時間スケーラビリティ
図9Aに示す時間スケーラビリティは、フレーム速度を階層化し、補強レイヤのオブジェクトのフレーム速度を速くすることができる。階層化の有無はオブジェクト単位で設定できる。補強レイヤのタイプは二つで、タイプ1はベースレイヤのオブジェクトの一部で構成する。タイプ2はベースレイヤと同じオブジェクトで構成する。
【００５８】
●空間スケーラビリティ
図9Bに示す空間スケーラビリティは空間解像度を階層化する。ベースレイヤは、任意のサイズのダウンサンプリングが可能で、補強レイヤの予測に使用される。
【００５９】
［スプライト符号化］
スプライトとは、三次元空間画像における背景画像などのように、オブジェクト全体が統一的に移動、回転、変形などを表現できる平面的なオブジェクトのことである。この平面的オブジェクトを符号化する手法をスプライト符号化と呼ぶ。
【００６０】
スプライト符号化は四種、静的/動的およびオンライン/オフラインに区別される。詳しく説明すると、オブジェクトデータを予め復号器に送り、グローバル動き係数だけをリアルタイムに伝送する構成であって、テンプレートオブジェクトの直接変換で得られる静的スプライト。時間的に前のスプライトからの予測符号化により得られる動的スプライト。事前に面内符号化(I-VOP)により符号化され、復号器側に伝送されるオフラインスプライト。符号化中に符号化器および復号器で同時に作成されるオンラインスプライトがある。
【００６１】
スプライト符号化に関して検討されている技術には、スタティックスプライト(Static Sprite)符号化、ダイナミックスプライト(Dynamic Sprite)符号化、グローバル動き補償などがある。
【００６２】
●スタティックスプライト符号化
スタティックスプライト符号化は、ビデオクリップ全体の背景（スプライト）を予め符号化しておき、背景の一部を幾何変換することによって画像を表現する方法である。切り出された一部の画像は、平行移動、拡大/縮小、回転など様々な変形を表現することができる。これについて図10Aに示すように、画像の移動、回転、拡大/縮小、変形などにより三次元空間における視点移動を表現することをワープと呼ぶ。
【００６３】
ワープの種類には遠近法変換、アフィン変換、等方拡大(a)/回転(θ)/移動(c, f)および平行移動があり、図10Bの各式で表される。図10Bに示す式の係数によって移動、回転、拡大/縮小、変形などが表される。また、スプライトの生成は符号化開始前にオフラインで行われる。
【００６４】
このように、背景画像の一部領域を切り取り、この領域をワープして表現することでスタティックスプライト符号化は実現される。図11に示すスプライト（背景）画像に含まれる一部領域がワープされることになる。例えば、背景画像はテニスの試合における観客席などの画像であり、ワープされる領域はテニスプレーヤなどの動きのあるオブジェクトを含んだ画像である。また、スタティックスプライト符号化においては、幾何変換パラメータのみを符号化して、予測誤差を符号化しない。
【００６５】
●ダイナミックスプライト符号化
スタティックスプライト符号化では符号化前にスプライトが生成される。これに対して、ダイナミックスプライト符号化では、符号化しながらオンラインにスプライトを更新することができる。また、予測誤差を符号化するという点でスタティックスプライト符号化とは異なる。
【００６６】
●グローバル動き補償(GMC)
グローバル動き補償とは、オブジェクト全体の動きを、ブロックに分割することなく、一つの動きベクトルで表して動き補償する技術であり、剛体の動き補償などに適している。参照画像が、スプライトの代わりに直前の復号画像になる点、予測誤差を符号化する点では、スタティックスプライト符号化と同様である。ただし、スプライトを格納するためのメモリを必要としないこと、形状情報が不要であることは、スタティックスプライト符号化およびダイナミックスプライト符号化とは異なる。画面全体の動きや、ズームを含む画像などにおいて効果がある。
【００６７】
［シーン構造記述情報］
シーン構成情報によりオブジェクトは合成される。MPEG4では、各オブジェクトをシーンに合成するための構成情報を伝送する。個別に符号化された各オブジェクトを受信したときに、シーン構成情報を使えば、送信側が意図したとおりのシーンに合成できる。
【００６８】
シーン構成情報には、オブジェクトの表示時間や表示位置などが含まれ、これらがツリー状のノード情報として記述されている。各ノードは、親ノードに対する時間軸上の相対時刻情報と相対空間座標位置情報をもつ。シーン構成情報を記述する言語には、VRMLを修正したBIFS(Binary Format for Scenes)とJava(TM)を用いたAAVS(Adaptive Audio-Visual Session Format)がある。BIFSは、MPEG4のシーン構成情報を二値で記述する形式。AAVSはJava(TM)をベースとし、自由度が大きくBIFSを補う位置付けにある。図12はシーン記述情報の構成例を示す図である。
【００６９】
［シーン記述］
シーン記述はBIFSによって行われる。ここでは、VRMLとBIFS共通の概念であるシーングラフとノードを中心に説明する。
【００７０】
ノードは光源、形状、材質、色および座標などの属性や、座標変換を伴う下位ノードのグループ化を指定する。オブジェクト指向の考えを取り入れ、三次元空間中の各物体の配置やみえ方は、シーングラフと呼ばれる木を、頂点のノードから辿り、上位ノードの属性を継承することにより決定される。葉にあたるノードにメディアオブジェクト、例えば、MPEG4ビデオのビットストリームを同期をとって割当てれば、他のグラフィクスと伴に動画を三次元空間内に合成して表示することができる。
【００７１】
また、VRMLとの差異は下記のとおりである。MPEG4システムでは次をBIFSでサポートする。
(1)MPEG4ビデオVOP符号化の二次元オーバラップ関係記述と、MPEG4オーディオの合成記述
(2)連続メディアストリームの同期処理
(3)オブジェクトの動的振る舞い表現（例えばスプライト）
(4)伝送形式（バイナリ）を標準化
(5)セッション中にシーン記述を動的に変更
【００７２】
VRMLのノードのうちExtrusion、Script、ProtoおよびExtemProtoなどがサポートされていない以外は、VRMLノードのほぼすべてがBIFSでサポートされている。BIFSで新たに加えられたMPEG4特別ノードには、以下のものがある。
(1)2D/3D合成のためのノード
(2)2Dグラフィクスやテクストのためのノード
(3)アニメーションノード
(4)オーディオノード
【００７３】
特筆すべきは、VRMLでは背景など特殊なノードを除き2D合成はサポートされていなかったが、BIFSでは、テキストやグラフィックオーバレイ、さらにMPEG4ビデオVOP符号化を画素単位で扱えるように記述が拡張されている。
【００７４】
アニメーションノードには、3Dメッシュで構成された顔などMPEG4のCG画像のための特別なノードが規定されている。シーングラフ中のノードの置き換え、消去、追加および属性変更が動的に行えるメッセージ(BIFS Update)があり、セッションの途中で画面上に新たな動画像を表示したり、ボタンを追加することが可能になる。BIFSは、VRMLの予約語、ノード識別子および属性値をほぼ一対一にバイナリデータに置き換えることにより実現できる。
【００７５】
［MPEG4オーディオ］
図13にMPEG4オーディオの符号化方式の種類を示す。オーディオおよびサウンドの符号化には、パラメトリック符号化、CELP(Code Excited Linear Prediction)符号化、時間/周波数変換符号化が含まれる。さらに、SNHC(Synthetic Natural Hybrid Coding)オーディオの機能も取り入れ、SA（Structured Audio: 構造化オーディオ）符号化とTTS（Text to Speech: テキストサウンド合成）符号化が含まれる。SAはMIDI(Music Instrument Degital Interface)を含む合成楽音の構造的記述言語であり、TTSは外部のテキスト音声合成装置にイントネーションや音韻情報などを送るプロトコルである。
【００７６】
図14にオーディオ符号化方式の構成を示す。図14において、入力サウンド信号を前処理(201)し、パラメトリック符号化(204)、CELP符号化(205)および時間/周波数符号化(206)の三つの符号化を使い分けるように、帯域に応じて信号分割(202)し、それぞれに適した符号化器へ入力する。また、信号分析制御(203)により、入力オーディオ信号が分析され、入力オーディオ信号を各符号化器へ割り当てるための制御情報などが発生される。
【００７７】
続いて、それぞれ別の符号化器であるパラメトリック符号化コア(204)、CELP符号化コア(205)、時間/周波数変換符号化コア(206)は、各符号化方式に基づいた符号化処理を実行する。これら三種の符号化方式については後述する。パラメトリック符号化およびCELP符号化されたオーディオデータは、小ステップ強化(207)され、時間/周波数変換符号化および小ステップ強化されたオーディオデータは、大ステップ強化(208)される。なお、小ステップ強化(207)および大ステップ強化(208)は、各符号化処理で発生する歪を減少させるためのツールである。こうして、大ステップ強化されたオーディオデータは、符号化されたサウンドビットストリームになる。
【００７８】
以上が図75のサウンド符号化方式の構成の説明であるが、次に、図13を参照しながら各符号化方式について説明する。
【００７９】
●パラメトリック符号化
音声信号や楽音信号を含むサウンド信号を周波数、振幅およびピッチなどのパラメータで表現し、それを符号化する。音声信号用の調波ベクトル駆動符号化(HVXC: Harmonic Vector Excitation Coding)と、楽音信号用の個別スペクトル(IL: Individual Line)符号化が含まれる。
【００８０】
HVXC符号化は、主として2k〜4kbpsの音声符号化を目的とし、音声信号を有声音と無声音に分類し、有声音は線形予測係数(LPC: Linear Prediction Coefficient)の残差信号の調波（ハーモニック）構造をベクトル量子化する。無声音については、予測残差をそのままベクトル駆動符号化(vector excitation coding)する。
【００８１】
IL符号化は、6k〜16kbpsの楽音の符号化を目的としており、信号を線スペクトルでモデル化して符号化するものである。
【００８２】
●CELP符号化
入力サウンド信号をスペクトル包絡情報と音源情報（予測誤差）とに分離して符号化する方式である。スペクトル包絡情報は、入力サウンド信号から線形予測分析によって算出される線形予測係数によって表される。MPEG4のCELP符号化には帯域幅4kHzの狭帯域CELPと、帯域幅8kHzの広帯域CELPがあり、狭帯域(NB: Narrow  Band) CELPは3.85〜12.2kbps、広帯域(WB: Wide Band) CELPは13.7k〜24kbpsの間においてビットレートの選択が可能である。
【００８３】
●時間/周波数変換符号化
高音質を目指す符号化方式である。AAC(Advanced Audio Coding)に準拠する方式、およびTwinVQ（Transform-domain Weighted Interleave Vector Quantization: 変換領域重み付けインタリーブベクトル量子化）がこれに含まれる。この時間/周波数変換符号化には聴覚心理モデルが組み込まれ、聴覚マスキング効果を利用しながら適応量子化する仕組みになっている。
【００８４】
AAC準拠方式は、オーディオ信号をDCTなどで周波数変換し、聴覚マスキング効果を利用しながら適応量子化する仕組みである。適応ビットレートは24k〜64kbpsである。
【００８５】
TwinVQ方式は、オーディオ信号を線形予測分析したスペクトル包絡を用いて、オーディオ信号のMDCT係数を平坦化する。インタリーブを施した後、二つの符号長を用いてベクトル量子化する仕組みである。適応ビットレートは6k〜40kbpsである。
【００８６】
［システム構造］
MPEG4のシステムパートでは、多重化、分離および合成（コンポジション）を定義する。以下、図15を用いてシステム構造を説明する。
【００８７】
多重化においては、映像符号化器やオーディオ符号化器からの出力である各オブジェクトや、各オブジェクトの時空間配置を記述したシーン構成情報などのエレメンタリストリームごとに、アクセスユニットレイヤでパケット化される。アクセスユニットレイヤでは、アクセスユニット単位に同期を取るためのタイムスタンプや参照クロックなどがヘッダとして付加される。パケット化されたストリームは、次に、FlexMuxレイヤで表示や誤り耐性の単位で多重化され、TransMuxレイヤへ送られる。
【００８８】
TransMuxレイヤでは、誤り耐性の必要度に応じて誤り訂正符号が保護サブレイヤで付加される。最後に、多重サブレイヤ(Mux Sub Layer)で一本のTransMuxストリームとして伝送路に送り出される。TransMuxレイヤは、MPEG4では定義されず、インターネットのプロトコルであるUDP/IP(User Datagram Protocol/Internet Protocol)やMPEG2のトランスポートストリーム(TS)、ATM(Asynchronous Transfer Mode)のAAL2(ATM Adaptation layer2)、電話回線利用のテレビ電話用多重化方式（ITU-T勧告H.223）、および、ディジタルオーディオ放送などの既存のネットワークプロトコルが利用可能である。
【００８９】
システムレイヤのオーバヘッドを軽くし、従来のトランスポートストリームに容易に埋め込めるように、アクセスユニットレイヤやFlexMuxレイヤをバイパスすることも可能である。
【００９０】
復号側では、各オブジェクトの同期を取るために、デマルチプレクス（分離）の後段にバッファ(DB: Decoding Buffer)を設け、各オブジェクトの到達時刻や復号時間のずれを吸収する。合成の前にもバッファ(CB: Composition Buffer)を設けて表示タイミングを調整する。
【００９１】
［ビデオストリームの基本構造］
図16にレイヤ構造を示す。各階層をクラスと呼び、各クラスにはヘッダが付く。ヘッダとはstart code、end code、ID、形状およびサイズほかの各種符号情報である。
【００９２】
●ビデオストリーム
ビデオストリームは複数のセッションで構成される。セッションとは、一連の完結したシーケンスのことである。
VS: セッションは複数のオブジェクトで構成される
VO: ビデオオブジェクト
VOL: オブジェクトは複数のレイヤを含むオブジェクト単位のシーケンス
GOV: オブジェクトは複数のレイヤで構成される
VOP: オブジェクトレイヤは複数のプレーンで構成される
ただし、プレーンはフレーム毎のオブジェクト
【００９３】
［誤り耐性を有するビットストリーム構造］
MPEG4は、移動体通信（無線通信）などに対応すべく、符号化方式自体が伝送誤りに対する耐性を有している。既存の標準方式における誤り訂正は主にシステム側で行っているが、PHS(Personal Handy phone System)などのネットワークでは誤り率が非常に高く、システム側では訂正しきれない誤りがビデオ符号化部分に漏れ込んでくることが予想される。これを考慮して、MPEG4は、システム側で訂正しきれなかった各種のエラーパターンを想定し、このような環境の下でも可能な限り誤りの伝播が抑制されるような誤り耐性符号化方式とされている。ここでは、画像符号化に関する誤り耐性の具体的な手法と、そのためのビットストリーム構造を説明する。
【００９４】
●Reversible VLC(RVLC)と双方向復号
図17に示すように、復号途中で誤りの混入が確認された場合、そこで復号処理を一旦停止し、次の同期信号の検出を行う。次の同期信号が検出できた段階で、今度はそこから逆向きにビットストリームの復号処理を行う。新たな付加情報なしに、復号のスタートポイントが増加していることになり、誤り発生時に復号できる情報量を従来よりも増やすことが可能になる。このような順方向と同時に逆方向からも復号可能な可変長符号により「双方向復号」が実現される。
【００９５】
●重要情報の複数回伝送
図18に示すように、重要情報を複数回伝送することが可能な構成を導入し、誤り耐性を強化する。例えば、各VOPを正しいタイミングで表示するためにはタイムスタンプが必要であり、この情報は最初のビデオパケットに含まれている。仮に、誤りによってこのビデオパケットが消失しても、前記の双方向復号構造により次のビデオパケットから復号が再開できるが、このビデオパケットにはタイムスタンプがないため、結局、表示タイミングがわからないことになる。そのため各ビデオパケットにHEC(Header Extension Code)というフラグを立て、この後にタイムスタンプなどの重要情報を付加できる構造が導入された。HECフラグの後には、タイムスタンプとVOPの符号化モードタイプとが付加できる。
【００９６】
同期はずれが生じた場合は、次の同期回復マーカ(RM)から復号が開始されるが、各ビデオパケットにはそのために必要な情報、そのパケットに含まれる最初のMBの番号およびそのMBに対する量子化ステップサイズがRM直後に配置されている。その後にHECフラグが挿入され、HEC=‘1’の場合にはTRおよびVCTがその直後に付加される。これらHEC情報により、仮に、先頭のビデオパケットが復号できずに廃棄されても、HEC=‘1’と設定したビデオパケット以降の復号および表示は正しく行われることになる。なお、HECを‘1’にするか否かは符号化側で自由に設定できる。
【００９７】
●データパーティショニング
符号化側では、MB単位の符号化処理を繰り返してビットストリームを構成するため、途中に誤りが混入すると、それ以降のMBデータは復号できない。一方、複数のMB情報をまとめて幾つかのグループに分類し、それぞれをビットストリーム内に配置し、各グループの境目にマーカ情報を組み込めば、仮にビットストリームに誤りが混入してそれ以降のデータが復号できない場合でも、そのグループの最後にあるマーカで同期を取り直して、次のグループのデータを正しく復号することが可能になる。
【００９８】
以上の考えに基づき、ビデオパケット単位に、動きベクトルとテクスチャ情報（DCT係数など）とにグループ分けするデータパーティショニング手法(Data Partitioning)が採用されている。また、グループの境目にはモーションマーカ(MM: Motion Marker)が配置される。
【００９９】
仮に、動きベクトル情報の途中に誤りが混入していても、MMの後にくるDCT係数は正しく復号できるため、誤り混入以前の動きベクトルに対応するMBデータはDCT係数とともに正確に再生できる。またTexture部分に誤りが混入した場合でも、動きベクトルが正しく復号されていれば、その動きベクトル情報と復号済みの前フレーム情報とを用いて、ある程度正確な画像が補間再生（コンシールメント）できる。
【０１００】
●可変長間隔同期方式
ここでは、可変長パケットで構成されている同期回復手法を説明する。先頭に同期信号を含んだMB群は「ビデオパケット」と呼ばれ、その中に何個のMBを含めるかは符号化側で自由に設定することができる。可変長符号(VLC: Variable Length Code)を使用するビットストリームに誤りが混入した場合、それ以降の符号の同期が取れなくなり、復号不可能な状態になる。このような場合でも、次の同期回復マーカを検出することにより、その後の情報を正しく復号することが可能になる。
【０１０１】
［バイトアライメント］
システムとの整合性をとるために、情報の多重化はバイトの整数倍単位で行われる。ビットストリームは、バイトアラインメント(Byte alignment)構造となっている。バイトアラインメントを行うために、各ビデオパケットの最後にスタッフビットが挿入される。さらにこのスタッフビットは、ビデオパケット内のエラーチェック符号としても使用される。
【０１０２】
スタッフビットは‘01111’のように、最初の1ビットが‘0’で、それ以外のビットがすべて‘1’であるような符号で構成されている。つまりビデオパケット内の最後のMBまで正しく復号されれば、その次に来る符号は必ず‘0’であり、その後にはスタッフビットの長さより1ビット分だけ短い‘1’の連続があるはずである。もし、このルールに反したパターンが検出された場合、それ以前の復号が正しく行われていないことになり、ビットストリームに誤りが混入していたことが検出できる。
【０１０３】
以上、「国際標準規格MPEG4の概要決まる」（日経エレクトロニス 1997.9.22号 p.147-168）、「見えてきたMPEG4の全貌」（社団法人映像情報メディア学会テキスト 1997.10.2）、「MPEG4の最新標準化動向と画像圧縮技術」（日本工業技術センター セミナー資料 1997.2.3）などを参考にして、MPEG4の技術に関して説明した。
【０１０４】
【第１実施形態】
［構成］
以下、本発明にかかる一実施形態のテレビ放送受信装置を図面を参照して詳細に説明する。図19は本発明にかかる実施形態のテレビ放送受信装置の構成例を示すブロック図である。
【０１０５】
ディジタルテレビ放送の信号は、その放送形態に応じて、衛星放送のときは衛星アンテナ21およびチューナ23により、ケーブル放送のときはケーブル22を介してチューナ24により、選局され受信される。こうして衛星放送もしくはケーブル放送から受信されたテレビ情報は、データ選択器43により一方のデータ列が選択され、復調回路25で復調され、誤り訂正回路26で誤り訂正される。
【０１０６】
続いて、テレビ情報は、多重信号分離回路27により多重されている各データ、つまり画像データ、サウンドデータおよびその他のシステムデータ（追加データ）に分離される。このうち、サウンドデータは、サウンド復号回路28で復号され、ステレオオーディオデータA(L),A(R)になり、サウンド制御部30により音量や音場定位の調整および主/副音声などサウンド多重への対応が処理された後、出力するサウンドが選択され、ディジタル-アナログコンバータ(D/A)29によりアナログ信号に変換されて、スピーカ31により再生される。
【０１０７】
一方、画像データは、画像データ中の各オブジェクトにそれぞれに対応して復号処理を行う複数の復号器からなる画像復号回路32で復号される。この復号方式は、既に説明したMPEG4の画像復号方式に基づくオブジェクト単位の復号である。復号された画像データは、オブジェクトの数に相当する画像v(1)からv(i)になり、表示制御部34により表示に基づく様々な処理が施される。
【０１０８】
表示制御部34が行う表示制御とは、各オブジェクトを表示するか否か、各オブジェクトの拡大/縮小、どこに表示するかなどを行う。さらに、表示制御は、オブジェクトとキャラクタ発生回路40で発生されたキャラクタ画像（時間表示やインデックスタイトルなど）との合成などの各種表示処理も行う。これらの表示制御は、各オブジェクトの配置情報、すなわちシーン記述データ変換回路39からのシーン記述情報に基づき、システムコントローラ38の制御に応じて行われるものである。
【０１０９】
形成された表示画像は、D/A33でアナログ化されCRT35に表示されるか、もしくは、ディジタル信号のまま液晶ディスプレイ(LCD)44などに送られて表示される。
【０１１０】
他方、システムデータ（追加データを含む）はシステムデータ復号回路36で復号される。復号されたシステムデータの中からは、ID検出部37により番組に付加された番組IDが検出される。検出された番組IDは、システムコントローラ38へ入力され、番組判別のための専用コマンドになる。また、復号されたシステムデータの中から、シーン記述に関するデータがシーン記述データ変換部39に入力される。その他のシステムデータ（時間データはここに含まれる）は、システムコントローラ38に各種コマンドとして入力される。なお、追加データには、番組のタイトルインデックスなど、ドキュメントなども含まれていてもよい。
【０１１１】
シーン記述データ変換部39で構成されたシーン記述データを用いて、表示制御部34における各オブジェクトのレイアウトの設定や、サウンド制御部30における音量や音場定位などの設定が行われる。また、システムコントローラ38の制御に基づき、シーン記述データ変換部39を調整し、表示制御部34を制御することで、基本レイアウトとは異なり、ユーザが所望する各オブジェクトの任意レイアウト設定を行うことができる。このレイアウト設定方法については後述する。
【０１１２】
また、オブジェクトとしては扱われていない表示画像、例えば時間表示画面やタイトルインデックスなどを生成するときは、キャラクタ発生回路40が用いられる。システムコントローラ38の制御により、追加データに含まれる時間データもしくは受信機内部で生成された時間情報などから、キャラクタデータが保存されているROMなどのメモリ42を用いて、時間表示キャラクタが生成される。タイトルインデックスも同様である。ここで生成された画像は、表示制御部34において合成などが行われる。
【０１１３】
また、ユーザは指示入力部45を介して各種コマンドを入力することができる。ユーザの指示入力に基づき、レイアウト設定変更されるオブジェクトの位置や、サイズなどが調整され、所望のレイアウトで表示される。すなわち、レイアウトの補正や、新規設定値の入力は指示入力部45から行われる。指示入力値に応じてシステムコントローラ38は、所望の出力（表示、再生）形態が得られるように各部の動作を適切に制御する。
【０１１４】
［レイアウトの設定］
ここで、具体的なレイアウトの設定方法を説明する。図20はレイアウト設定する際の位置データの設定方法を説明する図、図21はレイアウト設定する際のイメージと指示の入力方法とを説明する図である。
【０１１５】
オブジェクトの位置設定には二つ方法がある。第一の方法はシーン記述データで規定される基本レイアウトを位置補正（シフト）する方法であり、第二の方法はユーザが任意の場所にオブジェクトの位置を新規に設定する方法である。両者は、ユーザの操作に応じて、図20に示すセレクタ302で選択可能である。
【０１１６】
まず、第一の方法であるシフトする方法について説明する。オブジェクトとして画像データが入力され、そのオブジェクトの基本位置はシーン記述データで指定される位置データ(X0,Y0)で表される。ユーザがオブジェクトのシフトを望む場合、加算器301により補正量(ΔX,ΔY)が位置データ(X0,Y0)に加算され、新たな位置データ(X',Y')がオブジェクトのレイアウト設定データになる。第二の方法である新規設定する方法について説明する。基本位置データに関係なく、全く新たにオブジェクトの位置(X,Y)を設定し、これを基本位置データに代わる位置データ(X',Y')にする。このようにしてオブジェクトの移動が実現される。
【０１１７】
また、システムコントローラ38は、表示制御部34を制御して、オブジェクトを表示画面に合成するかしないかによりオブジェクトの表示のオン/オフを、画素の拡大/間引き処理により拡大/縮小などの処理を実現する。このときの制御データは、レイアウト設定データとして保持される。
【０１１８】
サウンドデータに関してシステムコントローラ38は、シーン記述データ変換部39を制御することで、サウンド用シーン記述データを調整、変更し、所望のオーディオ出力が得られるようにする。これをサウンドレイアウトと呼び、このときの制御データをサウンド用レイアウト設定データと呼ぶ。
【０１１９】
図21は、上述した位置の設定方法を図示する図である。CRTなどの表示装置303において、操作対象の基本位置(X0,Y0)にあるオブジェクト306は、シフト位置307までシフトする場合、そのときのシフト量を基本位置データに加えた最終的な位置データであるレイアウト設定データ(X',Y')は(X0+ΔX,Y0+ΔY)になる。また、ユーザが任意に新規設定位置308へオブジェクトを配置する場合、そのレイアウト設定データ(X',Y')は(X,Y)になる。
【０１２０】
また、図21には指示入力部45に含まれるポインティングデバイスの一例としてマウス304およびリモートコントローラ305を示す。マウス304を使ったり、リモートコントローラ305の方向入力キー（十字キー、ジョイスティックおよびジョイパッドなどでもよい）を使うことによって、自由なオブジェクトの移動を容易に操作することが可能である。なお、オブジェクトを移動する位置および新たに設定する位置は、画面の四隅や中央などプリセットされた幾つかの位置から選ぶような構成をとることもできる。
【０１２１】
テレビ放送データの中には、番組IDが含まれている。この番組IDを利用することで、各番組毎に、設定されたレイアウトを番組IDと対応付けてデータ化し、レイアウト設定データとして記憶しておくことができる。この記憶場所は、EEPROMなどの不揮発性メモリ41が利用される。システムコントローラ38は、テレビ放送データからメモリ41に記憶されている番組IDが検出されると、その番組IDに対応するレイアウト設定データを基に、シーン記述データ変換部39および表示制御部34を制御し、ユーザにより設定されたレイアウトで画像表示およびサウンド再生を行う。
【０１２２】
続いて、レイアウト設定データについて説明する。基本的には、シーン記述データから得られるオブジェクト配置情報を基にして、オブジェクト配置情報に加え、ユーザがレイアウト設定したときのオブジェクトのシフト量や変更情報（例えば表示オン/オフや新規位置）をデータ化して、レイアウト設定データとして記憶すればよい。シーン記述データについては図12を用いて既に説明したが、各シーンを構成するオブジェクトをツリー型に配列し、それぞれのオブジェクトが表示されるべき時間や、表示されるべき位置を指定するための情報である。
【０１２３】
また、その他のレイアウト設定データの構成として、図22に示すように、そのオブジェクトを表示するか否かを示すオン/オフデータ、表示位置をXおよびY軸で二次元表現したときの表示位置データ、並びに、大きさを示すデータを保持することによって、レイアウト設定データとして活用することができる。
【０１２４】
図23は本実施形態による映像の表示形態例を示す図である。
【０１２５】
放送局から送られてくる映像をそのまま通常表示すると図23に示す基本画像106になる。この場合、基本画像106は、オブジェクトとして全体画像（背景: スプライト）101、現場中継画像102、時間表示画像103、天気予報画像104およびサウンドオブジェクトからなる。図23の表示例では、時間表示画像103も、オブジェクトとして画像データ中に含まれている。
【０１２６】
図24は一般的なMPEG4ビットストリームの構成を示す図である。図23の表示例に含まれる各オブジェクトが図24のオブジェクト1から4までのデータベースに組み込まれている。オブジェクト1からオブジェクト5はそれぞれ全体画像101、現場中継画像102、時間表示画像103、天気予報画像104およびサウンドデータに対応し、さらに、システムデータとしてシーン記述情報および番組IDなどを含む追加データが多重化され、ビットストリームを構成する。
【０１２７】
本実施形態を用いることで、図23の設定例107に示すように、全体画像101を縮小し、中継画像102を拡大し、時間表示画像103および天気予報画像104を移動することができる。また、設定例108に示すように、時間表示画像103を拡大することができる。このような設定が番組ID毎に自由に設定でき、表示設定された後は、対応する番組IDが検出されると、記憶されている設定情報がメモリ41から読み出され、その番組の映像が設定された形態で表示される。
【０１２８】
［動作手順］
図25は本実施形態のテレビ放送受信装置の動作手順例を説明するフローチャートである。
【０１２９】
まず、テレビ情報が受信され（ステップS1）、テレビ情報に付加された追加データから番組IDが検出される（ステップS2）。番組IDは、放送局により番組毎に異なるIDが付加され、その他の追加データとともに各テレビ情報に多重化されたものである。検出された番組IDを基に、その番組IDに対応するレイアウト設定データが保存されているか否かが判断される（ステップS3）。
【０１３０】
レイアウト設定データが保存された番組の場合、メモリ41から該当するレイアウト設定データが読み出され（ステップS4）、保存されたレイアウト設定データに基づく映像の表示を行ってよいか否かをユーザに確認し（ステップS5）、許可された場合は設定されたレイアウトにより番組の映像を表示する（ステップS6）。
【０１３１】
また、レイアウト設定データが保存されてない番組の場合、および、保存されたレイアウト設定データに基づく映像の表示が拒否された場合は、その番組に対して新規にレイアウト設定を行うか否かが判断される（ステップS7）。新規にレイアウト設定しないとき、または、する必要がないときは、放送局から送られてくるままの基本レイアウトで番組の映像が表示される（ステップS8）。
【０１３２】
また、新規にレイアウトを設定する場合は、レイアウト設定モードへ移行し（ステップS9）、テレビ情報中の画像データを構成する各オブジェクトからレイアウトを調整したいオブジェクトまたはオーディオの出力形式などが選択され（ステップS10）、選択されたオブジェクトの移動、拡大/縮小、表示のオン/オフまたはその他のレイアウトに関係する調整、あるいは、オーディオの音量または音場定位などの出力形式の調整が、ユーザにより行われる（ステップS11）。
【０１３３】
選択オブジェクトに対する調整が終了した後、レイアウト設定を終了するか否かがユーザにより判断され（ステップS12）、他のオブジェクトについても調整を行う場合はステップS10へ戻り、オブジェクトの選択および調整が繰り返される。設定を終了するならば、設定モードの終了とともに、番組IDと対応付けてレイアウト設定データがメモリ41に記憶される（ステップS13）。そして、新規に設定されたレイアウトにより番組の映像が表示される（ステップS6）。
【０１３４】
本実施形態のテレビ放送受信装置は、テレビ番組の映像を上記の手順で表示し、新たな番組IDが検出されるごとに、図25に示す手順を繰り返す。
【０１３５】
このように、本実施形態によれば、ディジタルテレビ放送を視聴するユーザは、各オブジェクトの配置やサイズおよびオーディオの音量や音場定位などを調整（オン/オフを含む）することができ、番組の映像表示に任意のレイアウトを設定することができる。従って、ユーザの好みに応じた映像表示およびサウンド再生が可能になり、視覚的および聴覚的ユーザインタフェイスの質的向上を期待することができ、ユーザに対してより自由度のあるテレビ番組表示が可能になる。
【０１３６】
また、番組に付加されているID毎にレイアウトを設定し、そのレイアウト設定データをIDに対応させて記憶することで、一度レイアウトを設定した後は、番組のIDに対応するレイアウト設定を認識することで自動的に設定済みのレイアウトにより番組の映像を表示することができ、テレビ放送の表示に新しい機能を追加する上で非常に効果的である。
【０１３７】
【第２実施形態】
以下、本発明にかかる第2実施形態のテレビ放送受信装置を説明する。なお、本実施形態において、第1実施形態と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【０１３８】
第2実施形態は、MPEG4以外の符号化方式で符号化された画像をMPEG4の一つのオブジェクトとして利用、代用したテレビ放送において、オブジェクトの移動および拡大/縮小など、ユーザによるレイアウト設定により自由度のあるテレビ番組の映像表示を行うものである。
【０１３９】
ここでは、自然画像符号化方式にMPEG2を用いた例を説明する。つまり、MPEG2で符号化された画像（以下「MPEG2画像」と呼ぶ場合がある）がMPEG4のビットストリームに多重化されて伝送され、これを受信して表示するテレビ放送受信装置に関する説明を行う。なお、第2実施形態におけるレイアウトの設定方法は、第1実施形態で説明したものと同様であり、テレビ放送受信装置の基本構成および動作は図19により説明したものと同様である。ただし、第2実施形態におけるテレビ放送の復号方法に関係して、図19に示すサウンド復号回路28、画像復号回路32およびシステムデータ復号回路36の細部が異なるので、これらを図26および図27を用いて説明する。
【０１４０】
図26は、送信側である放送局において、MPEG4によるテレビ放送を送信するためのシステムに搭載される符号化部である。データ多重化器5006は、図2で説明したサウンド、自然画像、合成画像、文字およびシーン記述情報の各オブジェクトの符号化器5001〜5005からの出力をMPEG4のビットストリームに多重化するとともに、MPEG2方式の業務用放送機器や中継システムまたはDVD(Digital Video Disc)の再生などにより抽出されるMPEG2ビットストリーム61を、MPEG4のビットストリームへ多重化する。
【０１４１】
図27はMPEG4ビットストリームを復号する側、つまりテレビ放送受信装置に搭載される復号部の構成例である。図27に示される復号部は、第2実施形態のテレビ放送受信装置を構成する復号系およびそれに関連する回路であるサウンド復号回路28、画像復号回路32、システムデータ復号回路36およびシーン記述データ変換部39などに含まれる。
【０１４２】
受信されたMPEG4ビットストリームは、復号前にデータ分離器5007によりそれぞれのデータに分離される。分離された各データのうちMPEG4のオブジェクトであるサウンド、自然画像、合成画像、文字およびシーン記述情報は、各オブジェクトに対応する復号部5008〜5012において復号される。また、MPEG4のオブジェクトとともに多重化されたMPEG2のデータは、MPEG4のオブジェクトの復号器とは別に設けられた専用のMPEG2デコーダ62で復号される。なお、MPEG2デコーダ62は、MPEG4の画像復号回路32の一部を利用した構成であってもよい。
【０１４３】
こうして復号されたサウンド、画像およびシステムデータであるシーン記述データからテレビ番組の映像を表示するための情報が構成され、各オブジェクトおよびMPEG2データがシーン合成部5013でテレビ出力すべき形態に合成され、シーン情報として出力される。
【０１４４】
続いて、第1実施形態で説明したレイアウトの設定方法を用いて、MPEG2画像を含むMPEG4のテレビ放送の映像を表示する場合の説明を図23を用いて行う。第2実施形態では、図23に示す現場中継画像102がMPEG2画像であるとする。すなわち、MPEG2画像を含むMPEG4のテレビ放送の映像表示例である。このときのMPEG4のビットストリーム例を図28に示す。
【０１４５】
図28に示すMPEG4のビットストリームには、MPEG2のデータストリームである現場中継画像102のデータがオブジェクト2として多重化されている。MPEG2のデータストリームは、一般的にオーディオ、ビデオおよびシステムデータ（MPEG2付加情報）の三種のデータから構成される。オブジェクト2には、伝送に関する所定のタイミング調整に従い、所定量毎のセグメントに分けられたMPEG2データストリームがそれぞれ多重化される。MPEG2とMPEG4とでは、下位レベルで共通化可能な符号化/復号回路もあるので、必要であれば共通化して、符号化/復号に関する無駄を避けた処理を行う。
【０１４６】
このように、MPEG2方式で符号化された画像やサウンドデータを含むMPEG4方式のTV放送であっても、第1実施形態で説明したようなレイアウト設定が可能になる。
【０１４７】
また、図23に示す時間表示画像103に関しては、テレビ放送受信装置により生成される時間表示であってもよい。この場合、放送局などの送信側から送られてくる時間表示の基になる時間データや、テレビ放送受信装置内のクロック信号などを利用して、時間表示画像103をキャラクタ発生部40で生成すればよい。時間データは追加データに含まれ、この時間データを用いて時間表示画像103が生成される。さらに、追加データにテレビ放送受信装置内のクロックを用いた時間表示を指示する時間表示コマンドが存在する場合、または、システムコントローラ38により独自に時間表示命令が発行された場合などは、内部クロックから時間表示画像103が生成される。なお、実際に時間表示画像103を生成する、つまりキャラクタ発生動作の役割を担うのはキャラクタ発生部40およびキャラクタのデータが格納されたメモリ42であり、画像の合成は表示制御部34が行い、システムコントローラ38はそれらを制御することで時間表示画像103を生成させ表示させる。
【０１４８】
なお、MPEG2データストリームのサブコード内に一情報として含まれるタイムスタンプを利用しても同様の動作を実現できる。
【０１４９】
さらに、図23に示す天気予報画像104など比較的単純な画像はCGを用いて表示することが可能であるので、これらも送信側は何を表示するかを示すコマンドだけを送信することにより、受信側でキャラクタおよびCGを生成するための動作を行い、天気予報画像などを発生し、適切に表示することもできる。このようにすれば、伝送（通信）にかかる負荷を削減することができ伝送効率の向上を望める。
【０１５０】
勿論、本実施形態によれば、キャラクタおよびCG発生動作で生成される表示画像も、その他のオブジェクトと同様に扱えるようにして、自由なレイアウト設定を可能にすることができる。
【０１５１】
表示画像のレイアウト設定については、第1実施形態において図20および図21を用いて説明したのと同様に、基本的にはシーン記述情報から得られるオブジェクト配置情報をベースにして、ユーザによりレイアウト変更されたオブジェクトの移動（シフト）量や変更点をデータ化して、オブジェクトのサイズの調整や、音量、音場定位などが設定されたときの、その位置データや各部の制御データをレイアウト設定データとして記憶する。
【０１５２】
また、レイアウト設定データの構成は図22で説明したが、時間表示画像103の表示をより詳細に設定する場合の時間データおよびその設定データの構成例を図29に示す。
【０１５３】
図29に示す時間データは、表示内容を（ダミー）、年、月、日、時、分、秒および表示フレーム（番号）に分類したそれぞれに対して表示/非表示を示すオン/オフフラグを有する。これにより、どの画像にどのような時間情報を表示するかを詳細に設定することができる。さらに、表示位置をXおよびY軸で二次元表現するときの表示位置データ、および、サイズを示すデータを保持することによって、レイアウト設定データとして活用することができる。また、追加として、時間などの文字情報の表示に関しては、文字オプションとして、フォント、スタイル、色およびアラインなど、追加すべき固有のデータを有してもよい。
【０１５４】
第2実施形態は、MPEG2画像が多重化されたMPEG4のテレビ放送であるから、MPEG2コンテンツ、例えば現場中継などに用いる画像中継システムなどとの複合する場合に、MPEG2装置の出力を、複雑なデータ変換を介さずに、MPEG4の放送システムに流用でき、MPEG2とMPEG4との親和性から扱いも容易である。なお、中継画像などに限らず、代表的なMPEG2映像装置であるDVDを用いた資料映像表示などの多重画像出力例や、または他のMPEG2装置を用いた場合にも、勿論利用可能である。
【０１５５】
また、MPEG2とMPEG4とでは、共通化できる符号化/復号回路も多数あるので、システムの効率化に加え、回路構成も複雑な構成を必要とせずに効果的である。勿論、ソフトウェアデコーダの場合でもシステムの効率化は図れる。第2実施形態においては、MPEG4のオブジェクトの一つとして、MPEG2のデータストリームを組み込む構成を説明したが、MPEG2のシステムデータに付加データとしてレイアウト情報を組み込んでも同様の効果が得られる。
【０１５６】
さらに、本実施形態によれば、第1実施形態の効果に加えて、MPEG2で符号化されたテレビ情報を、MPEG4テレビシステムにも流用できるようにしたので、従来あるコンテンツをそのまま使え、かつMPEG2をわざわざMPEG4にデータ変換する必要もないので、扱いが容易であり非常に効果的である。
【０１５７】
このように、ディジタルテレビ放送において、パーソナルコンピュータ(PC)との融合も容易になり、現在、PCのデスクトップ上で行っているようなレイアウト設定などを、テレビ映像に対してもカスタマイズできるので、テレビ放送とPCとの相性もよくなり、また、ディジタル複合製品の分野において市場拡大の効果が期待できる。
【０１５８】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１５９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１６０】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１６１】
【発明の効果】
以上説明したように、本発明によれば、ディジタルテレビ放送における画像および/またはサウンドの新たな再生機能を提供することができる。
【図面の簡単な説明】
【図１】衛星放送を用いたディジタル放送受信機の構成例を示すブロック図、
【図２】複数種類のオブジェクトを同時に入力し符号化処理する構成例を示すブロック図、
【図３】ユーザ操作（編集）を考慮に入れたシステムの構成例示す図、
【図４】ビデオオブジェクトに関するVOP処理回路のエンコーダ側のブロック図、
【図５】ビデオオブジェクトに関するVOP処理回路のデコーダ側のブロック図、
【図６】  VOPの符号化および復号の全体構成を示すブロック図、
【図７Ａ】  VOPを構成する情報を示す図、
【図７Ｂ】  VOPを構成する情報を示す図、
【図８】テキスチャ符号化のAC/DC予測符号化を説明するための図、
【図９Ａ】スケーラビリティを実現するためのシンタックスの階層構造を説明するための図、
【図９Ｂ】スケーラビリティを実現するためのシンタックスの階層構造を説明するための図、
【図１０Ａ】ワープを説明する図、
【図１０Ｂ】ワープの種類を説明する図、
【図１１】ワープを説明する図、
【図１２】シーン記述情報の構成例を示す図、
【図１３】  MPEG4オーディオの符号化方式の種類を示す図、
【図１４】オーディオ符号化方式の構成を示す図、
【図１５】  MPEG4のシステム構造を説明する図、
【図１６】  MPEG4のレイヤ構造を説明する図、
【図１７】双方向復号を説明する図、
【図１８】重要情報の複数回伝送を説明する図、
【図１９】本発明にかかる実施形態のテレビ放送受信装置の構成例を示すブロック図、
【図２０】レイアウト設定する際の位置データの設定方法を説明する図、
【図２１】レイアウト設定する際のイメージと指示の入力方法とを説明する図、
【図２２】レイアウト設定データの構成を説明する図、
【図２３】本実施形態による映像の表示形態例を示す図、
【図２４】一般的なMPEG4ビットストリームの構成を示す図、
【図２５】本実施形態のテレビ放送受信装置の動作手順例を説明するフローチャート、
【図２６】  MPEG4によるテレビ放送を送信するためのシステムに搭載される符号化部の構成例を示すブロック図、
【図２７】テレビ放送受信装置に搭載される復号部の構成例を示すブロック図、
【図２８】  MPEG2画像を含むMPEG4のビットストリーム例を示す図、
【図２９】時間表示画像の表示をより詳細に設定する場合の時間データおよびその設定データの構成例を示す図である。
【図１】
0004306850.tif 000002
【図２】
0004306850.tif 000003
【図３】
0004306850.tif 000004
【図４】
0004306850.tif 000005
【図５】
0004306850.tif 000006
【図６】
0004306850.tif 000007
【図７Ａ】
0004306850.tif 000008
【図７Ｂ】
0004306850.tif 000009
【図８】
0004306850.tif 000010
【図９Ａ】
0004306850.tif 000011
【図９Ｂ】
0004306850.tif 000012
【図１０Ａ】
0004306850.tif 000013
【図１０Ｂ】
0004306850.tif 000014
【図１１】
0004306850.tif 000015
【図１２】
0004306850.tif 000016
【図１３】
0004306850.tif 000017
【図１４】
0004306850.tif 000018
【図１５】
0004306850.tif 000019
【図１６】
0004306850.tif 000020
【図１７】
0004306850.tif 000021
【図１８】
0004306850.tif 000022
【図１９】
0004306850.tif 000023
【図２０】
0004306850.tif 000024
【図２１】
0004306850.tif 000025
【図２２】
0004306850.tif 000026
【図２３】
0004306850.tif 000027
【図２４】
0004306850.tif 000028
【図２５】
0004306850.tif 000029
【図２６】
0004306850.tif 000030
【図２７】
0004306850.tif 000031
【図２８】
0004306850.tif 000032
【図２９】
0004306850.tif 000033