(57)【特許請求の範囲】
【請求項１】
画像信号を、端末が復号可能な符号化方法で符号化した符号化データを伝送するデータ伝送装置において、
上記符号化データが復号表示される際にシーンを構成する画像信号に対して表示面積又は表示位置を割り当てるシーン記述データを生成するシーン記述処理手段と、
上記符号化データが復号表示される際の表示の優先度を示す表示優先度に応じて、表示優先度の高い順に、シーンを構成する画像信号に対して、当該シーン内に広い表示領域面積又は優先順位の高い表示位置を割り当てるように、上記シーン記述処理手段を制御する制御手段と、
上記符号化データと上記シーン記述処理手段により生成されたシーン記述データとを伝送する伝送手段とを有し、
上記制御手段は、上記端末が復号可能な符号化方法で符号化した符号化データが符号化パラメータに応じて符号化されている場合に、上記符号化パラメータに応じて上記優先度を設定する
データ伝送装置。
【請求項２】
上記伝送手段は、上記符号化データを伝送する際の優先度を示す伝送優先度情報を伝送する請求項１記載のデータ伝送装置。
【請求項３】
上記符号化データのビットレートが低いほど上記伝送優先度を高く設定する請求項２記載のデータ伝送装置。
【請求項４】
上記制御手段は、上記符号化データの符号化フォーマットに応じて上記優先度を設定する請求項１記載のデータ伝送装置。
【請求項５】
上記制御手段は、上記画像信号に対するユーザの嗜好に応じて上記優先度を設定する請求項１記載のデータ伝送装置。
【請求項６】
上記制御手段は、上記画像信号の画枠が大きいほど優先度を高く設定する請求項１記載のデータ伝送装置。
【請求項７】
伝送候補となる画像信号毎に上記優先度を保持する保持手段を有する請求項１記載のデータ伝送装置。
【請求項８】
画像信号を、端末が復号可能な符号化方法で符号化した符号化データを伝送するデータ伝送方法において、
上記符号化データが復号表示される際の表示の優先度を示す表示優先度の高い順に、シーンを構成する画像信号に対して、当該シーン内に広い表示領域面積又は優先順位の高い表示位置を割り当てるシーン記述データを生成し、
上記符号化データと上記生成されたシーン記述データとを伝送し、
上記優先度は、上記端末が復号可能な符号化方法で符号化した符号化データが符号化パラメータに応じて符号化されている場合に、上記符号化パラメータに応じて設定される
データ伝送方法。
【請求項９】
伝送或いは再生されたデータを処理するデータ処理装置において、
上記伝送或いは再生されたデータは、画像信号を、上記データ処理装置が復号可能な符号化方法で符号化した符号化データと、上記符号化データが復号表示される際の表示の優先度を示す表示優先度の高い順に、シーンを構成する画像信号に対して、当該シーン内に広い表示領域面積又は優先順位の高い表示位置を割り当てるシーン記述データとを含み、
上記符号化データから画像信号を復号する復号手段と、
上記復号された画像信号を用い、上記符号化データと共に伝送或いは再生されたシーン記述データに記述された表示優先度の高い順に、上記画像信号に対して広い表示領域面積及び／又は優先順位の高い表示位置を割り当てたシーンを構成するシーン構成手段とを有し、
上記優先度は、上記符号化データが符号化パラメータに応じて符号化されている場合に、上記符号化パラメータに応じて設定される
データ処理装置。
【請求項１０】
伝送或いは再生されたデータをデータ処理装置が処理するデータ処理方法において、
上記伝送或いは再生されたデータは、画像信号を、上記データ処理装置が復号可能な符号化方法で符号化した符号化データと、上記符号化データが復号表示される際の表示の優先度を示す表示優先度の高い順に、シーンを構成する画像信号に対して、当該シーン内に広い表示領域面積又は優先順位の高い表示位置を割り当てるシーン記述データを含み、
上記符号化データから画像信号を復号し、
上記復号された画像信号を用い、上記データと共に伝送或いは再生されたシーン記述データに記述された表示優先度の高い順に、上記画像信号に対して広い表示領域面積及び／又は優先順位の高い表示位置を割り当てたシーンを構成し、
上記優先度は、上記符号化データが符号化パラメータに応じて符号化されている場合に、上記符号化パラメータに応じて設定される
データ処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、静止画像信号、動画像信号、音声信号、テキストデータやグラフィックデータなどからなるマルチメディアデータを用いてシーンを構成するためのシーン記述データをネットワーク或いは記録媒体を用いて配信し、受信端末において受信し、復号或いは再生して表示するような場合に好適なデータ伝送システムに用いられるデータ伝送装置及び方法、データ処理装置及び方法に関する。
【０００２】
【従来の技術】
動画像信号や音声信号等を伝送媒体を介して送信し、受信端末において受信し、復号して表示するような従来のデータ配信システムの構成を図１５に示す。なお、以下の説明において、ＩＳＯ／ＩＥＣ１３８１８（いわゆるＭＰＥＧ２）等に準拠して符号化された動画像信号、音声信号等をＥＳ（Elementary Stream）と呼ぶこととする。
【０００３】
図１５において、サーバ１００のＥＳ処理部１０３は、記憶部１０４に予め記憶されているＥＳを選択するか、若しくは、図示されていないベースバンドの画像や音声信号を入力とし、符号化を行う。なお、ＥＳは複数であっても良い。サーバ１００の送信制御部１０５は、必要ならば複数のＥＳを多重化し、伝送媒体１０７へ信号を伝送する際の伝送プロトコルに応じた伝送符号化を行い、受信端末１０８へ送信する。
【０００４】
受信端末１０８の受信制御部１０９は、伝送媒体１０７を通じて伝送されてきた信号に対して、その伝送プロトコルに応じた復号を行い、必要ならば多重化されているＥＳを分離し、それぞれのＥＳに対応するＥＳ復号部１１２へ渡す。ＥＳ復号部１１２は、ＥＳを復号して動画像信号や音声信号等を復元し、テレビジョンモニタやスピーカなどを備えた表示放音部１１３へ送る。これにより、テレビジョンモニタには画像が表示され、スピーカからは音声が出力される。
【０００５】
なお、当該サーバ１００は、放送における放送局の送信システムや、インターネットにおけるインターネットサーバやホームサーバなどである。また、受信端末１０８は、放送された信号の受信装置やパーソナルコンピュータ等である。
【０００６】
ここで、ＥＳを伝送する伝送路（伝送媒体１０７）の伝送可能帯域やトラフィックの混雑状態が変化する場合、伝送するデータに遅延や損失が生じてしまうという問題がある。
【０００７】
この問題に対処するために、当該図１５のデータ配信システムでは、以下のようなことを行う。
【０００８】
サーバ１００（例えば送信制御部１０５）では、伝送路へ送出するデータのパケット毎に通し番号（符号化した通し番号）を付加し、一方、受信端末１０８の受信制御部１０９では、伝送路から受け取ったパケット毎に付加されている通し番号（符号化された通し番号）の欠落を監視することにより、データの損失（データ損失割合）を検出する。或いは、サーバ１００（例えば送信制御部１０５）では、伝送路へ送出するデータに時刻情報（符号化した時刻情報）を付加し、一方、受信端末１０８の受信制御部１０９では、伝送路から受け取ったデータに付加されている時刻情報（符号化された時刻情報）を監視し、その時刻情報により伝送遅延を検出する。受信端末１０８の受信制御部１０９は、このようにして伝送路のデータ損失割合、或いは伝送遅延等を検出すると、その検出情報をサーバ１００の伝送状態検出部１０６へ送信（報告）する。
【０００９】
サーバ１００の伝送状態検出部１０６では、受信端末１０８の受信制御部１０９から送られてきた伝送路のデータ損失割合、或いは伝送遅延等の情報により、伝送路の伝送可能帯域やトラフィックの混雑状態を検出する。すなわち、伝送状態検出部１０６は、データ損失が高ければ伝送路が混雑していると判断し、或いは、伝送遅延が増加したならば伝送路が混雑していると判断する。また、帯域予約型の伝送路が使用されている場合、伝送状態検出部１０６は、サーバ１００が利用可能な空き帯域幅（伝送可能帯域）を直接知ることが出来る。なお、伝送帯域については、気象条件などに左右される電波などの伝送媒体が用いられた場合、気象条件などに応じてユーザが予め設定する場合もある。当該伝送状態検出部１０６での伝送状態の検出情報は、変換制御部１０１へ送られる。
【００１０】
変換制御部１０１は、伝送路の伝送可能帯域やトラフィックの混雑状態の検出情報を元に、ＥＳ処理部１０３において例えばビットレートの異なるＥＳが選択的に切り替えられるような制御を行ったり、或いは、ＥＳ処理部１０３にてＩＳＯ／ＩＥＣ１３８１８（いわゆるＭＰＥＧ２）等の符号化が行われる場合にはその符号化ビットレートを調整するなどの制御を行う。すなわち、例えば伝送路が混雑していると検出された場合に、ＥＳ処理部１０３からビットレートの低いＥＳを出力するようなことを行えば、データの遅延を回避することが可能となる。
【００１１】
また例えば、サーバ１００に不特定多数の受信端末１０８が接続されていて、それら受信端末１０８の仕様が予め統一されておらず、様々な処理能力を持つ受信端末１０８に向けて当該サーバ１００からＥＳを送信するようなシステム構成の場合、これら受信端末１０８には伝送要求処理部１１０が設けられる。当該伝送要求処理部１１０は、自己の受信端末１０８の処理能力に応じたＥＳを要求するための伝送要求信号を発生し、その伝送要求信号が受信制御部１０９からサーバ１００へ送信される。この伝送要求信号には、自己の受信端末１０８の能力を表す信号も含まれる。当該伝送要求処理部１１０からサーバ１００へ渡される、自己の受信端末１０８の能力を表す信号としては、例えばメモリサイズ、表示部の解像度、演算能力、バッファサイズ、復号可能なＥＳの符号化フォーマット、復号可能なＥＳの数、復号可能なＥＳのビットレートなどを挙げることができる。上記の伝送要求信号を受け取ったサーバ１００の変換制御部１０１は、受信端末１０８の性能に適合するようなＥＳが送信されことになるように、ＥＳ処理部１０３を制御する。なお、ＥＳ処理部１０３が受信端末１０８の性能に適合するようにＥＳを変換する際の画像信号変換処理については、例えば、本件出願人により既に提案がなされている画像信号変換処理方法がある。
【００１２】
次に、従来のテレビジョン放送では、基本的に１つのシーン（場面）が画像（静止画像のみ、若しくは動画像のみ）と音声とから構成されており、このため、従来の受信装置（テレビジョン受像機）の表示画面上には画像（静止画像、若しくは動画像）のみが表示され、スピーカからは音声のみが出力される。
【００１３】
一方、近年は、静止画像信号、動画像信号、音声信号、テキストデータやグラフィックデータなどの様々な信号からなるマルチメディアデータを用いて１つのシーンを構成するようなことも考えられている。なお、それらマルチメディアデータを用いてシーンの構成を記述する方法としては、いわゆるインターネットのホームページ等で用いられているＨＴＭＬ（HyperText Markup Language）、ＩＳＯ／ＩＥＣ１４４９６−１に規定されたシーン記述方式であるＭＰＥＧ−４  ＢＩＦＳ（Binary Format for the Scene）、ＩＳＯ／ＩＥＣ１４７７２に規定されたＶＲＭＬ（Virtual Reality Modeling Language）、Ｊａｖａ（商標）などがある。以下、シーンの構成を記述したデータをシーン記述と呼ぶことにする。なお、ＨＴＭＬにおけるテキストデータのように、ＥＳがシーン記述中に含まれることもある。当該ＨＴＭＬは、Ｗ３Ｃ（World Wide Web cinsortium）により公開されている勧告（Recommendation）文書中で規定されている。
【００１４】
上記シーン記述に従ってシーンを構成して表示等することは、図１５に示した従来のデータ配信システムでも可能である。
【００１５】
但し、従来のデータ配信システムは、例えば前述したように伝送路の伝送可能帯域やトラフィックの混雑状態変化、受信端末の性能に応じてＥＳのビットレートが調整されている場合であっても、同一のシーン記述によるシーン構成で復号及び表示等を行うようになされている。すなわち、従来のデータ配信システムは、ＥＳ処理部１０３によってＥＳが変換されるか否かに関わらず、同一のシーン構成で復号及び表示等が行われている。
【００１６】
【発明が解決しようとする課題】
上述したように、従来のデータ配信システムによれば、例えばＥＳを伝送する伝送路の状態（伝送可能帯域やトラフィックの混雑状態等）や受信端末１０８の処理能力が充分でない場合には、伝送されるデータの遅延や損失を回避するために、伝送路の状態や受信端末１０８からの要求に応じてＥＳのビットレートを調整すること、すなわち例えば、ＥＳ処理部１０３においてビットレートの異なる複数のＥＳの内から特定のビットレートのＥＳを選択することや、ＥＳ処理部１０３にてＩＳＯ／ＩＥＣ１３８１８（いわゆるＭＰＥＧ２）等の符号化が行われる場合にはその符号化ビットレートを調整するなどの制御が行われている。しかしながら、従来のデータ配信システムでは、複数のＥＳの内から特定のＥＳを選択する際の判断基準や、符号化ビットレートを調整する際の判断基準が存在していないため、伝送路の状態や受信端末の処理能力に対して最適なＥＳが得られないという問題がある。
【００１７】
また、インターネットなどのように、伝送容量が一定ではなく、時間や経路により伝送帯域が変化するような伝送路へシーン記述データを配信する場合、或いは、不特定多数の受信端末が接続されていて、受信端末の仕様が予め定められておらず、様々な処理能力を持つ受信端末へ向けてシーン記述データを配信する場合、従来のデータ配信システムでは、それら伝送路や受信端末に対して最適なシーン構成を予め知ることは困難である。加えて、受信端末における復号部がソフトウェアによって構成されていたり、その復号部のソフトウェアと復号以外の処理ソフトウェアがＣＰＵやメモリを共有しているような場合、復号部の処理能力が動的に変化するようなことも起こり得るが、従来のデータ配信システムでは、そのような場合に対して最適なシーン記述を予め知ることができない。したがって、従来のデータ配信システムでは、伝送路の状態や受信端末からの要求に応じてＥＳを変換したり、複数のＥＳ中から一部のＥＳを選択して送信するような場合、受信端末１０８において、サーバ１００から送信されるＥＳに対して最適なシーン構成で表示等を行うことができない。また、図示は省略しているが、図１５のように伝送媒体１０７を介して配信されたデータを復号・表示等するのではなく、例えば記録媒体若しくは記録装置に記録されたＥＳを読み出し、復号して表示するような復号表示端末の場合であっても上述同様に、当該復号表示端末の処理能力に応じた最適なシーン構成で表示するようなことはできない。
【００１８】
そこで、本発明はこのような実情に鑑みてなされたものであり、伝送路の状態や受信端末の処理能力に対して、最適なＥＳと最適なシーン構成を得ることができ、また、受信端末の復号部の処理能力が動的に変化するような場合でも最適なシーン記述を予め知ることができ、さらに、受信端末において送信されてきたＥＳに対して最適なシーン構成で表示等を行うことが可能で、記録媒体や記録装置から読み出したＥＳを復号して表示するような復号表示端末の場合であっても、当該復号表示端末の処理能力に応じた最適なシーン構成で表示することが可能な、データ伝送装置及び方法、データ処理装置及び方法を提供することを目的とする。
【００１９】
【課題を解決するための手段】
本発明のデータ伝送システムは、１以上の信号からなるデータを伝送する伝送装置と上記伝送されたデータを受信する受信装置とを有するデータ伝送システムであり、上記伝送装置は、伝送路の状態及び／又は受信装置の要求に応じて、所定の優先度を元に伝送する１以上の信号を決定する決定手段を備えることにより、上述した課題を解決する。
【００２０】
また、本発明のデータ伝送システムは、１以上の信号からなるデータを伝送する伝送装置と上記伝送されたデータを受信する受信装置とを有するデータ伝送システムであり、上記伝送装置は、表示に関する優先度情報を上記伝送するデータに含めて伝送し、上記受信装置は、上記表示に関する優先度の高い順に、上記１以上の信号に対して広い表示領域面積及び／又は優先順位の高い表示位置を割り当てたシーンを構成するシーン構成手段を有することにより、上述した課題を解決する。
【００２１】
また、本発明のデータ伝送システムは、１以上の信号からなるデータを伝送する伝送装置と上記伝送されたデータを受信する受信装置とを有するデータ伝送システムであり、上記受信装置は、上記伝送装置から伝送された１以上の信号を用い、所定の優先度に応じてシーンを構成するシーン構成手段を有することにより、上述した課題を解決する。
【００２２】
次に、本発明のデータ伝送方法は、１以上の信号からなるデータを伝送し、上記伝送されたデータを受信する、データ伝送方法であり、伝送路の状態及び／又は受信装置の要求に応じて、所定の優先度を元に伝送する１以上の信号を決定することにより、上述した課題を解決する。
【００２３】
また、本発明のデータ伝送方法は、１以上の信号からなるデータを伝送し、上記伝送されたデータを受信する、データ伝送方法であり、表示に関する優先度情報を上記伝送するデータに含めて伝送し、上記表示に関する優先度の高い順に、上記１以上の信号に対して広い表示領域面積及び／又は優先順位の高い表示位置を割り当てたシーンを構成することにより、上述した課題を解決する。
【００２４】
また、本発明のデータ伝送方法は、１以上の信号からなるデータを伝送し、上記伝送されたデータを受信する、データ伝送方法であり、上記伝送された１以上の信号を用い、所定の優先度に応じてシーンを構成することにより、上述した課題を解決する。
【００２５】
次に、本発明のデータ伝送装置は、１以上の信号からなるデータを伝送するデータ伝送装置であり、伝送路の状態及び／又は受信側の要求に応じて、所定の優先度を元に伝送する１以上の信号を決定する決定手段を備えることにより、上述した課題を解決する。
【００２６】
また、本発明のデータ伝送装置は、画像信号を、端末が復号可能な符号化方法で符号化した符号化データを伝送するデータ伝送装置であり、上記符号化データが復号表示される際にシーンを構成する画像信号に対して表示面積又は表示位置を割り当てるシーン記述データを生成するシーン記述処理手段と、上記符号化データが復号表示される際の表示の優先度を示す表示優先度に応じて、表示優先度の高い順に、シーンを構成する画像信号に対して、当該シーン内に広い表示領域面積又は優先順位の高い表示位置を割り当てるように、上記シーン記述処理手段を制御する制御手段と、上記符号化データと上記シーン記述処理手段により生成されたシーン記述データとを伝送する伝送手段とを有し、上記制御手段は、上記端末が復号可能な符号化方法で符号化した符号化データが符号化パラメータに応じて符号化されている場合に、上記符号化パラメータに応じて上記優先度を設定することにより、上述した課題を解決する。
【００２７】
次に、本発明のデータ伝送方法は、１以上の信号からなるデータを伝送するデータ伝送方法であり、伝送路の状態及び／又は受信側の要求に応じて、所定の優先度を元に伝送する１以上の信号を決定することにより、上述した課題を解決する。
【００２８】
また、本発明のデータ伝送方法は、画像信号を、端末が復号可能な符号化方法で符号化した符号化データを伝送するデータ伝送方法であり、上記符号化データが復号表示される際の表示の優先度を示す表示優先度の高い順に、シーンを構成する画像信号に対して、当該シーン内に広い表示領域面積又は優先順位の高い表示位置を割り当てるシーン記述データを生成し、上記符号化データと上記生成されたシーン記述データとを伝送し、上記優先度は、上記端末が復号可能な符号化方法で符号化した符号化データが符号化パラメータに応じて符号化されている場合に、上記符号化パラメータに応じて設定されることにより、上述した課題を解決する。
【００２９】
次に、本発明のデータ処理装置は、伝送或いは再生されたデータを処理するデータ処理装置であり、上記伝送或いは再生されたデータは、画像信号を、上記データ処理装置が復号可能な符号化方法で符号化した符号化データと、上記符号化データが復号表示される際の表示の優先度を示す表示優先度の高い順に、シーンを構成する画像信号に対して、当該シーン内に広い表示領域面積又は優先順位の高い表示位置を割り当てるシーン記述データとを含み、上記符号化データから画像信号を復号する復号手段と、上記復号された画像信号を用い、上記符号化データと共に伝送或いは再生されたシーン記述データに記述された表示優先度の高い順に、上記画像信号に対して広い表示領域面積及び／又は優先順位の高い表示位置を割り当てたシーンを構成するシーン構成手段とを有し、上記優先度は、上記符号化データが符号化パラメータに応じて符号化されている場合に、上記符号化パラメータに応じて設定されることにより、上述した課題を解決する。
【００３０】
また、本発明のデータ処理装置は、伝送或いは再生された１以上の信号からなるデータを処理するデータ処理装置であり、上記１以上の信号を用い、所定の優先度に応じてシーンを構成するシーン構成手段を有することにより、上述した課題を解決する。
【００３１】
次に、本発明のデータ処理方法は、伝送或いは再生されたデータをデータ処理装置が処理するデータ処理方法であり、上記伝送或いは再生されたデータは、画像信号を、上記データ処理装置が復号可能な符号化方法で符号化した符号化データと、上記符号化データが復号表示される際の表示の優先度を示す表示優先度の高い順に、シーンを構成する画像信号に対して、当該シーン内に広い表示領域面積又は優先順位の高い表示位置を割り当てるシーン記述データを含み、上記符号化データから画像信号を復号し、上記復号された画像信号を用い、上記データと共に伝送或いは再生されたシーン記述データに記述された表示優先度の高い順に、上記画像信号に対して広い表示領域面積及び／又は優先順位の高い表示位置を割り当てたシーンを構成し、上記優先度は、上記符号化データが符号化パラメータに応じて符号化されている場合に、上記符号化パラメータに応じて設定されることにより、上述した課題を解決する。
【００３２】
また、本発明のデータ処理方法は、伝送或いは再生された１以上の信号からなるデータを処理するデータ処理方法であり、上記１以上の信号を用い、所定の優先度に応じてシーンを構成することにより、上述した課題を解決する。
【００３３】
次に、本発明の記録媒体は、１以上の信号からなるデータと共に、上記１以上の信号の表示に関する優先度情報を記録してなることにより、上述した課題を解決する。
【００３４】
すなわち、本発明によれば、伝送装置は伝送する１以上の信号（例えばＥＳ）毎に伝送優先度情報を保持し、送信する際の伝送路の状態若しくは受信装置からの要求に応じて、伝送優先度の高い順に送信可能なＥＳを決定することにより、複数存在するＥＳの内から重要なＥＳを優先して送信することを可能とする。ここで、伝送装置は、ＥＳ毎に表示優先度を保持し、送信するＥＳの内で表示優先度の高い順に広い表示領域を割り当てるシーン記述を決定することにより、ＥＳの内で重要度の高い順にシーン中の広い表示領域で表示されるようなシーン記述を生成することを可能とする。また、伝送装置は、伝送路の状態もしくは受信装置からの要求に応じてＥＳの変換を行った場合に、表示優先度も変換することにより、ＥＳの変換に応じた重要度に基づいたシーン記述の生成を可能とする。また、本発明によれば、伝送装置からシーン記述を受信装置へ送信しない場合、受信したＥＳに対応付けられている表示優先度の高い順に広い表示領域を割り当てたシーン構成で表示することにより、シーン記述を送信すること無しに受信端末側でＥＳの優先度に応じた表示を可能とする。また、本発明では、受信装置の処理性能、ＥＳのビットレート、ユーザの嗜好情報、ＥＳ自体の表示枠（画枠）などに基づいてＥＳに対応付ける伝送優先度及び表示優先度を決定する。さらに、本発明によれば、記録媒体若しくは記憶装置に記録されたＥＳを読み出し、復号して表示する場合においても、表示優先度に基づいたシーン構成で表示することにより、ＥＳの優先度及び復号表示端末の処理能力に応じて最適なシーンで表示することを可能としている。
【００３５】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００３６】
図１には、本発明の第１の実施の形態としてのデータ配信システムの構成例を示す。前述の図１５に示した従来のデータ配信システムと比較すると、この図１に示す本実施の形態のデータ配信システムは、サーバ１０がシーン記述処理部２を備え、また、受信端末２０には上記シーン記述処理部２からのシーン記述を復号（シーン記述を解読してシーンを構成する処理）を行うシーン記述復号部２３を備えている。なお、シーン記述処理部２におけるシーン記述処理の詳細については後述する。
【００３７】
図１において、サーバ１０のＥＳ処理部３は、記憶部４に予め記憶されているＥＳを選択するか、若しくは、図示されていないベースバンドの画像や音声信号を入力とし、符号化を行ってＥＳを生成する。なお、ＥＳは複数であっても良い。サーバ１０の送信制御部５は、必要ならば複数のＥＳを多重化し、伝送媒体７へ信号を伝送する際の伝送プロトコルに応じた伝送符号化を行い、受信端末２０へ送信する。
【００３８】
受信端末２０の受信制御部２１は、伝送媒体７を通じて伝送されてきた信号に対して、その伝送プロトコルに応じた復号を行い、ＥＳ復号部２４へ渡す。また、ＥＳが多重化されている場合、受信制御部２１は、それらＥＳを分離し、それら分離したＥＳを、それぞれのＥＳに対応したＥＳ復号部２４へ渡す。ＥＳ復号部２４は、ＥＳを復号して画像信号や音声信号を復元する。このＥＳ復号部２４から出力された画像信号や音声信号は、シーン記述復号部２３に送られる。シーン記述復号部２３では、後述するシーン記述処理部２からのシーン記述に従って、それら画像信号や音声信号からシーンを構成し、そのシーンの信号がテレビジョンモニタやスピーカなどを備えた表示放音部２５へ送られる。これにより、テレビジョンモニタには当該シーンの画像が表示され、スピーカからは当該シーンの音声が出力される。
【００３９】
なお、当該サーバ１０は、放送における放送局の送信システムや、インターネットにおけるインターネットサーバやホームサーバなどである。受信端末２０は、放送された信号の受信装置やパーソナルコンピュータ等である。したがって、伝送媒体７は、それら放送システムにおける専用の伝送路であったり、インターネットにおける高速通信回線等であったりする。
【００４０】
また、本実施の形態のデータ配信システムは、ＥＳを伝送する伝送路（伝送媒体７）の伝送可能帯域やトラフィックの混雑状態が変化する場合に、伝送するデータに遅延や損失が生じてしまうという問題に対処するために、以下のようなことを行う。
【００４１】
サーバ１０（例えば送信制御部５）では、伝送路へ送出するデータのパケット毎に通し番号（符号化した通し番号）を付加し、一方、受信端末２０の受信制御部２１では、伝送路から受け取ったパケット毎に付加されている通し番号（符号化された通し番号）の欠落を監視することにより、データの損失（データ損失割合）を検出する。或いは、サーバ１０（例えば送信制御部５）では、伝送路へ送出するデータに時刻情報（符号化した時刻情報）を付加し、一方、受信端末２０の受信制御部２１では、伝送路から受け取ったデータに付加されている時刻情報（符号化された時刻情報）を監視し、その時刻情報により伝送遅延を検出する。
受信端末２０の受信制御部２１は、このようにして伝送路のデータ損失割合、或いは伝送遅延等を検出すると、その検出情報をサーバ１０の伝送状態検出部６へ送信（報告）する。
【００４２】
サーバ１０の伝送状態検出部６では、受信端末２０の受信制御部２１から送られてきた伝送路のデータ損失割合、或いは伝送遅延等の情報により、伝送路の伝送可能帯域やトラフィックの混雑状態を検出する。すなわち、伝送状態検出部６は、データ損失が高ければ伝送路が混雑していると判断し、或いは、伝送遅延が増加したならば伝送路が混雑していると判断する。また、帯域予約型の伝送路が使用されている場合、伝送状態検出部６は、サーバ１０が利用可能な空き帯域幅（伝送可能帯域）を直接知ることが出来る。なお、伝送帯域については、気象条件などに左右される電波などの伝送媒体が用いられた場合、気象条件などに応じてユーザが予め設定する場合もある。当該伝送状態検出部６での伝送状態の検出情報は、変換制御部１へ送られる。
【００４３】
変換制御部１は、伝送路の伝送可能帯域やトラフィックの混雑状態の検出情報を元に、ＥＳ処理部３において例えばビットレートの異なるＥＳが選択的に切り替えられるような制御を行ったり、或いは、ＥＳ処理部３にてＩＳＯ／ＩＥＣ１３８１８（いわゆるＭＰＥＧ２）等の符号化が行われる場合にはその符号化ビットレートを調整するなどの制御を行う。すなわち、例えば伝送路が混雑していると検出された場合に、ＥＳ処理部３からビットレートの低いＥＳを出力するようなことを行えば、データの遅延を回避することが可能となる。
【００４４】
また例えば、サーバ１０に不特定多数の受信端末２０が接続されていて、それら受信端末２０の仕様が予め統一されておらず、様々な処理能力を持つ受信端末２０に向けて当該サーバ１０からＥＳを送信するようなシステム構成の場合、これら受信端末２０には伝送要求処理部２２が設けられる。当該伝送要求処理部２２は、自己の受信端末２０の処理能力に応じたＥＳを要求するための伝送要求信号を発生し、その伝送要求信号が受信制御部２１からサーバ１０へ送信される。
この伝送要求信号には、自己の受信端末２０の能力を表す信号も含まれる。当該伝送要求処理部２２からサーバ１０へ渡される、自己の受信端末２０の能力を表す信号としては、例えばメモリサイズ、表示部の解像度、演算能力、バッファサイズ、復号可能なＥＳの符号化フォーマット、復号可能なＥＳの数、復号可能なＥＳのビットレートなどを挙げることができる。上記の伝送要求信号を受け取ったサーバ１０の変換制御部１は、受信端末２０の性能に適合するようなＥＳが送信されことになるように、ＥＳ処理部３を制御する。なお、ＥＳ処理部３が受信端末２０の性能に適合するようにＥＳを変換する際の画像信号変換処理については、例えば、本件出願人により既に提案がなされている画像信号変換処理方法がある。
【００４５】
ここまでの構成及び動作は、図１５の例と同じであるが、本実施の形態のデータ配信システムの場合、サーバ１０の変換制御部１は、伝送状態検出部６により検出された伝送路の状態に応じて、ＥＳ処理部３だけでなくシーン記述処理部２もコントロールする。また、サーバ１０の変換制御部１は、受信端末２０が自己の復号，表示性能に応じたシーン記述を要求する受信端末である場合には、その受信端末２０の伝送要求処理部２２から送られてきた当該受信端末自身の能力を表す信号に応じて、ＥＳ処理部２およびシーン記述処理部３をコントロールする。なお、変換制御部１とシーン記述処理部２、ＥＳ処理部３は、一体の構成であっても良い。
【００４６】
以下、変換制御部１の制御の元で、本実施の形態のＥＳ処理部３が、複数のＥＳの内から送信する特定のＥＳを選択する際の選択方法について説明する。
【００４７】
本実施の形態のサーバ１０は、上記複数のＥＳの各ＥＳ毎に、伝送時の優先度を表す伝送優先度情報を保持しており、ＥＳを送信する際の伝送路の状態若しくは受信端末２０からの要求に応じて、上記伝送優先度の高い順に送信可能なＥＳを決定する。すなわち、本実施の形態のサーバ１０の変換制御部１は、ＥＳを送信する際の伝送路の状態若しくは受信端末２０からの要求に応じて、上記伝送優先度の高い順に送信可能なＥＳが送信されるように、ＥＳ処理部３をコントロールする。なおここでは、例えば変換制御部１が伝送優先度情報を保持しているとして説明するが、記憶部４に記憶させておいても良い。
【００４８】
図２には、例えばＥＳａ、ＥＳｂ、ＥＳｃの３つのＥＳが存在する場合の各ＥＳの伝送優先度の一例を示している。すなわち、図２の例では、ＥＳａの伝送優先度が「３０」、ＥＳｂの伝送優先度が「２０」、ＥＳｃの伝送優先度が「１０」となされている。それら伝送優先度は、値が小さいほど、伝送時の優先度が高いとする。また、図２中のＲａはＥＳａを伝送する際の伝送ビットレートであり、ＲｂはＥＳｂを伝送する際の伝送ビットレートであり、ＲｃはＥＳｃを伝送する際の伝送ビットレートである。
【００４９】
ここで、伝送路の状態や受信端末２０からの要求により、送信可能なビットレートＲが定まった場合、変換制御部１は、伝送優先度が高い順に、上記伝送可能なビットレートＲを超えない範囲でＥＳが選択されて送信されるように、ＥＳ処理部３をコントロールする。
【００５０】
すなわち例えば、伝送可能なビットレートＲと、各ＥＳの伝送ビットレートとの関係が式（１）で表されるとき、変換制御部１は、最も伝送優先度が高いＥＳｃのみを選択して送信するように、ＥＳ処理部３をコントロールする。
【００５１】
Ｒｃ≦Ｒ＜（Ｒｃ＋Ｒｂ）                      (1)
また例えば、伝送可能なビットレートＲと、各ＥＳの伝送ビットレートとの関係が式（２）で表されるとき、変換制御部１は、最も伝送優先度が高いＥＳｃと次に（２番目に）伝送優先度が高いＥＳｂを選択して送信するように、ＥＳ処理部３をコントロールする。
【００５２】
（Ｒｃ＋Ｒｂ）≦Ｒ＜（Ｒｃ＋Ｒｂ＋Ｒａ）      (2)
また例えば、伝送可能なビットレートＲと、各ＥＳの伝送ビットレートとの関係が式（３）で表されるとき、変換制御部１は、全てのＥＳを選択して送信するように、ＥＳ処理部３をコントロールする。
【００５３】
（Ｒｃ＋Ｒｂ＋Ｒａ）≦Ｒ                      (3)
このように、本実施の形態のデータ配信システムによれば、サーバ１０（変換制御部１）がＥＳ毎に伝送優先度情報を保持し、ＥＳを送信する際の伝送路の状態や受信端末２０からの要求に応じて、その伝送優先度の高い順に送信可能なＥＳを決定することにより、複数存在するＥＳの内から重要なＥＳを優先して伝送することが可能となっている。
【００５４】
次に、変換制御部１の制御の元で、本実施の形態のシーン記述処理部２において行われるシーン記述処理について、以下に説明する。
【００５５】
本実施の形態のサーバ１０は、上記複数のＥＳの各ＥＳ毎に、受信端末２０にて復号表示される際の優先度を表す表示優先度情報を保持しており、送信するＥＳの内で上記表示優先度の高い順に表示領域を割り当てるシーン記述を出力する。すなわち、本実施の形態のサーバ１０の変換制御部１は、送信するＥＳの内で上記表示優先度の高い順に表示領域を割り当てるシーン記述が出力されるように、シーン記述処理部２をコントロールする。なおここでは、例えば変換制御部１が表示優先度情報を保持しているとして説明するが、記憶部４に記憶させておいても良い。
【００５６】
前記図２には、例えばＥＳａ、ＥＳｂ、ＥＳｃの３つのＥＳが存在する場合の各ＥＳの表示優先度の一例をも示している。すなわち、図２の例では、ＥＳａの表示優先度が「１０」、ＥＳｂの表示優先度が「２０」、ＥＳｃの表示優先度が「３０」となされている。それら表示優先度は、値が小さいほど、表示時の優先度が高いとする。
【００５７】
ここで、表示優先度を、受信端末２０において表示されるシーン中の例えば表示領域面積に反映させた場合、変換制御部１は、上記表示優先度が高いほど広い表示領域を割り当てたシーン記述が出力されるように、シーン記述処理部２をコントロールする。
【００５８】
すなわち、例えば図２のＥＳａ、ＥＳｂ、ＥＳｃの３つのＥＳ全てを送信することが決定されている場合、変換制御部１は、図３に示すように、表示優先度の最も高いＥＳａに対しては他のＥＳｂ、ＥＳｃよりも広い表示領域が割り当てられるようなシーン記述が出力されるように、シーン記述処理部２をコントロールする。
【００５９】
また例えば、例えば図２のＥＳｂ、ＥＳｃの２つのＥＳを送信することが決定されている場合、変換制御部１は、図４に示すように、表示優先度の高いＥＳｂに対してはＥＳｃよりも広い表示領域が割り当てられるようなシーン記述が出力されるように、シーン記述処理部２をコントロールする。
【００６０】
さらに例えば、例えば図２のＥＳｃのみを送信することが決定されている場合、変換制御部１は、図５に示すように、当該ＥＳｃに対しては全画面の表示領域を割り当てられるようなシーン記述が出力されるように、シーン記述処理部２をコントロールする。
【００６１】
なお、動画像や静止画像のように、ＥＳ自体が画枠（表示枠）を持っており、表示領域の縦横比を変更したくないＥＳについては、画枠の縦横比を保存するシーン記述を出力しても良い。但し、このように画枠の縦横比を保存するようにした場合、画枠の縦横比が保持されるＥＳとそれ以外のＥＳの表示領域面積の関係は、必ずしも表示優先度と対応しないこともあり得る。すなわち、図３及び図４には、ＥＳａおよびＥＳｂの画枠の縦横比を保存している場合の表示例を挙げており、特に図３の例の場合はＥＳｂの画枠の縦横比が保存されているため、表示優先度の低いＥＳｃよりも表示領域面積が狭くなっている。また、図６には、図３に示したシーン構成を記述したシーン記述の一例を、ＨＴＭＬ形式で示す。図６の例では、ＥＳａ及びＥＳｂが静止画像であり、ＥＳｃがテキストとなっている。なお、テキストの内容については省略している。
【００６２】
上述の説明では、表示優先度を表示領域面積に反映させた例を挙げているが、例えば、表示優先度を受信端末２０において表示されるシーン中の表示位置に反映させることも可能である。このように、表示優先度を表示位置に反映させる場合は、変換制御部１は、表示優先度に応じて、予め定めた表示位置へＥＳが割り当てられるようなシーン記述が出力されるように、シーン記述処理部２をコントロールする。図３から図５に示したシーンの例では、画面中の上方ほど表示優先度が高く、且つ、左側ほど表示優先度が高いとして表示位置を割り当てた例を示している。
【００６３】
もちろん、表示優先度に基づいて、上述した表示領域面積と表示位置の両方を決定することも可能である。このように、表示優先度に基づいて、表示領域面積及び表示位置を決定することにより、ＥＳの内で重要度の高い順にシーン中の広い表示領域で且つ優先される表示位置へ表示するシーン記述を生成することが可能となる。
【００６４】
なお、本発明実施の形態のシーン記述処理部２における上述したようなシーン記述処理は、例えば、予め記憶部４に用意されている複数のシーン記述の中から、上記ＥＳの表示優先度に応じたシーン記述を選択的に読み出して送出する処理、若しくは、記憶部４から読み出されたシーン記述を入力とし、ＥＳの表示優先度に応じたシーン記述へ変換して出力する処理、或いは、ＥＳの表示優先度に応じて、送信時にシーン記述データを生成若しくは符号化して出力するようなことにより実現できる。
【００６５】
上述の説明では、予め設定された優先度に基づいて、ＥＳの選択やシーン記述の変換を行う例を挙げているが、当該ＥＳの変換に伴って優先度を変更することも可能である。なお、ＥＳの変換に伴って優先度を変更する場合、当該優先度の変更は、例えばＥＳ処理部３にて行う。
【００６６】
図７には、ＥＳａのビットレートをＲａ'になるよう変換したことに伴い、ＥＳ処理部３により変換された伝送優先度及び表示優先度の一例を示す。なお、図７は、ＥＳａのビットレートを図２の例のビットレートＲａよりも低いビットレートＲａとした場合を例に挙げており、当該ビットレートを低くしたことに伴って、伝送優先度を例えば高く変換（図２では「３０」であったものを図７では「１５」に変換）している。また、ビットレートを低くしたことによって生じると予想される画質の劣化に対応するために、ＥＳａの表示優先度については低く変換（図２では「１０」であったものを図７では「２５」に変換）している。
【００６７】
この図７の例において、例えばＥＳａ、ＥＳｂ、ＥＳｃの３つのＥＳ全てを送信することが決定されている場合、図８に示すように、表示優先度の最も高いＥＳｂに対しては、他のＥＳａ、ＥＳｃよりも広い表示領域で且つ優先的な表示位置が割り当てられることになる。
【００６８】
この例によれば、サーバ１０側において伝送路の状態若しくは受信端末２０からの要求に応じてＥＳの変換を行った場合に、表示優先度も変換することにより、ＥＳの変換に応じた重要度に基づいたシーン記述の生成が可能となる。もちろん、ＥＳ処理部３によるＥＳの変換が行われた時に優先度を変更することは、必ずしも必要ではなく、前述したように予め設定された優先度のみ用いるようにしてもよいことは言うまでもない。
【００６９】
さらに、上記伝送優先度や表示優先度は、予め設定した値をサーバ１０が保持しておく場合の他に、例えば、ＥＳのビットレートや画枠等の符号化パラメータに応じて設定することができる。
【００７０】
例えば図９に示すように、ＥＳのビットレートＲと表示優先度の関係Ｐｄ（Ｒ）を保持しておくことにより、表示優先度をＥＳのビットレートに応じて設定することができる。すなわち、図９の例では、一般にＥＳのビットレートが高いほど画質が良好であるであることを利用して、ＥＳのビットレートが高いほど表示優先度を高くすることにより、ビットレートが高いＥＳほどシーン中において広い表示領域若しくは優先的な表示位置を割り当てることが可能となる。
【００７１】
また、図１０に示すように、ＥＳのビットレートＲと伝送優先度の関係Ｐｓ（Ｒ）を保持しておくことにより、伝送優先度をＥＳのビットレートに応じて設定することもできる。すなわち例えば、ビットレートが高いほど伝送コストが高くなると考えられるため、図１０の例のように、ＥＳのビットレートが高いほど伝送優先度を低く割り当てることにより、伝送コストの低い（ビットレートの低い）ＥＳを優先して送信することが可能となる。
【００７２】
また、画像データのように、ＥＳ自体が明示的な画枠を持っている場合は、その画枠に応じて伝送優先度や表示優先度を設定することも可能である。例えば、図１１に示すように、ＥＳの画枠領域Ｓと表示優先度の関係Ｐｄ（Ｓ）を保持しておくことにより、表示優先度を画枠に応じて設定することができる。なお、画枠領域とは、ＥＳ自体の画枠の面積であり、例えば画素数で表される。この図１１の例によれば、ＥＳの画枠が大きいほど表示優先度を高くすることにより、ＥＳ自体の画枠が大きいほどシーン中において広い表示領域若しくは優先的な表示位置を割り当てることが可能となる。
【００７３】
同様に、図１２には、ＥＳの画枠領域Ｓと伝送優先度の関係Ｐｓ（Ｓ）の例を示しており、この画枠領域Ｓと伝送優先度の関係Ｐｓ（Ｓ）を保持しておくことにより、伝送優先度をＥＳの画枠に応じて設定することが出来るようになる。すなわち、一般に画枠が大きいほど伝送コストが高いと考えられるため、図１２の例のように、画枠が大きいほど伝送優先度を低く割り当てることにより、伝送コストが低くなると考えられるＥＳを優先して送信するようなことが可能となる。
【００７４】
上述したように、ＥＳのビットレートや画枠などの符号化パラメータに応じて表示優先度や伝送優先度を設定する方法は、ＥＳ処理部３がＥＳの変換に伴って表示優先度や伝送優先度を変更する際にも使用できる。例えば、ＥＳ処理部３がビットレートＲａのＥＳをビットレートＲａ’へ変換したならば、図９に示すように表示優先度をＰｄ（Ｒａ’）に変更し、また、図１０に示すように伝送優先度をＰｓ（Ｒａ’）へ変更することが出来る。
【００７５】
また、伝送優先度や表示優先度は、動画像や静止画像、テキスト等のＥＳの種類や、ＥＳの符号化フォーマット毎に割り当てても良い。例えばテキストには常に最高の伝送優先度を割り当てるとすれば、伝送路の状態や受信端末からの要求によって伝送可能なビットレートが制限される場合でも、テキストデータは常に優先して送信することが可能となる。また、動画像ＥＳには常に最高の表示優先度を割り当てるとすれば、動画像が送信される場合にはいつでも、動画像は広い表示領域で表示させることが可能となる。
【００７６】
また、伝送優先度や表示優先度は、ユーザの嗜好に基づいて決定することもできる。すなわち、サーバ１０が、ユーザが好む動画像や静止画像、テキスト等のＥＳの種類や、ＥＳの符号化フォーマット、ＥＳの符号化パラメータ等の嗜好情報を保持しておくことにより、ユーザが好むＥＳの種類、符号化フォーマット、符号化パラメータを持つＥＳに高い伝送優先度や表示優先度を割り当てることができる。これにより、伝送路の状態や受信端末からの要求に応じて伝送可能なビットレートが制限される場合でも、ユーザの嗜好に合ったＥＳを優先的に送信し、広い表示領域で表示させることが可能となる。
【００７７】
さらに、伝送優先度と表示優先度は、上述したような複数の評価基準を組み合わせて決定しても構わない。また、伝送優先度と表示優先度は共通としても構わない。ただし、伝送優先度と表示優先度を別個にすることにより、例えば同様の意味内容を表す動画像のＥＳとテキストのＥＳが存在する場合に、伝送可能なビットレートが細い伝送路の場合であっても、テキスト情報は優先して伝送され、動画像ＥＳが伝送可能な帯域がある場合には、送信される動画像ＥＳが広い表示領域で表示される、といった処理が可能となる。
【００７８】
上述した本発明の第１の実施の形態によれば、サーバ１０がＥＳ毎に伝送優先度情報を保持し、送信する際の伝送路の状態若しくは受信端末２０からの要求に応じて、伝送優先度の高い順に送信可能なＥＳを決定することにより、重要なＥＳを優先して送信することが可能となっている。また、第１の実施の形態によれば、サーバ１０がＥＳ毎に表示優先度を保持し、送信するＥＳの表示優先度に基づいたシーン記述を決定することにより、ＥＳの内で重要度を反映したシーンで表示されるようなシーン記述を生成することが可能となっている。さらに、第１の実施の形態によれば、サーバ１０において、ＥＳの変換を行った場合に、表示優先度も変換することにより、ＥＳの変換に応じた重要度に基づいたシーン記述の生成が可能となっている。
【００７９】
次に、本発明の第２の実施の形態のデータ配信システムの構成を図１３に示す。なお、図１３において、図１と同様な構成要素にはそれぞれ同じ指示符号を付して、それらの詳細な説明を省略する。
【００８０】
この第２の実施の形態のデータ配信システムのサーバ３０は、シーン記述処理部を備えておらず、シーン記述を受信端末４０へ送信しない構成となっている。
また、当該データ配信システムのサーバ３０は、ＥＳとＥＳの表示優先度情報を送信する構成となっている。したがって、第２の実施の形態のデータ配信システムのサーバ３０は、シーン記述を送信しないこと、及び、表示優先度情報を送信すること以外は、図１のデータ配信システムのサーバ１０と同様である。また、当該第２の実施の形態のデータ配信システムの受信端末４０は、シーン記述を受信して復号する代わりに、シーン構成部４３を備え、当該シーン構成部４３が表示優先度に基づいてシーンを構成して表示等するようになされている。
【００８１】
ここで、シーン構成部４３が構成するシーンは、第１の実施の形態においてサーバ１０のシーン記述処理部２が出力するシーン記述により表されるシーンと同等である。したがって、表示優先度に基づくシーンの構成方法は、第１の実施の形態で説明したシーン記述処理方法と同一である。
【００８２】
この第２の実施の形態においては、シーン記述データを送信しないため、サーバ３０の構成が図１のサーバ１０に比べて簡易になり、シーン記述データ分の伝送容量を節約することができる。
【００８３】
また、第２の実施の形態によれば、受信端末４０においてシーンを構成するようになされているため、受信端末４０の処理能力に応じたシーン構成が可能となる利点がある。すなわち、シーン構成部４３において、受信端末４０の処理能力を超えない範囲で表示優先度の高いＥＳから順にシーンに取り込み、一方、受信端末４０の処理能力を超える場合にＥＳをシーンに取り込まないようにすれば、当該受信端末４０の処理能力に応じたシーン構成が可能となる。特に、受信端末４０のＥＳ復号部２４やシーン構成部４３がソフトウェアによって構成されていたり、それらソフトウェアが復号以外の処理ソフトウェアとＣＰＵやメモリを共有しているような場合には、ＥＳ復号部２４及びシーン構成部４３の処理能力が動的に変化することになるが、本実施の形態のように、シーン構成部４３にて当該受信端末４０の処理能力に応じた最適なシーン構成を行うことで、受信端末４０の処理能力に応じたシーンを動的に構成することが可能となる。
【００８４】
次に、本発明の第３の実施の形態のデータ配信システムについて説明する。なお、第３の実施の形態のデータ配信システムの構成は、図１３と同様の構成となされるが、当該第３の実施の形態の場合は、表示優先度をサーバ３０から受信端末４０へ送信しないことにする。
【００８５】
この第３の実施の形態のデータ配信システムの受信端末４０が備えるシーン構成部４３は、表示優先度を受信する代わりに、予め保持している表示優先度を用いてシーンを構成するか、若しくは表示優先度を設定してシーンを構成する。表示優先度の設定方法は、前述の第１の実施の形態のサーバ１０における表示優先度の設定方法と同一である。
【００８６】
このように、表示優先度を受信端末４０側で設定する第３の実施の形態によれば、サーバ３０は表示優先度の処理が不要となり、したがって簡易な構成とする事が出来る。また、この第３の実施の形態の場合、表示優先度およびシーン記述を送信しないため、それらの伝送容量を節約することが出来る。さらに、第３の実施の形態によれば、受信端末４０においてシーンを構成するようになされているため、受信端末４０の処理能力に応じたシーン構成が可能となる利点がある。
加えて、複数の受信端末４０が接続されているようなデータ配信システムでは、受信端末４０毎に異なる設定でシーンを構成して表示することが可能となる。
【００８７】
上述した本発明の第２、第３の実施の形態によれば、サーバ３０からシーン記述を受信端末４０へ送信しないデータ配信システムにおいて、表示優先度を送信するか若しくは受信端末４０において表示優先度を設定することにより、シーン記述を送信すること無しに受信端末４０側でＥＳの表示優先度に応じた表示が可能となっている。
【００８８】
次に、本発明の第４の実施の形態について説明する。図１４には、第４の実施の形態のデータ復号表示端末の構成例を示す。なお、図１４において、図１３と同様に動作する構成要素については図１３のものと同じ指示符号を付してそれらの説明を省略する。
【００８９】
この第４の実施の形態は、前述した第１〜第３の実施の形態の例とは異なり、伝送媒体を介してデータが配信されるのではなく、データ復号表示端末５０において、例えば記録媒体５５に記録されたデータ、或いは記憶部５８に記憶されたデータを、データ読込部５７により読み込み、ＥＳ復号部２４へ渡すようになされている。
【００９０】
また、記録媒体５５や記憶部５８にはＥＳと共にＥＳの表示優先度情報が記録されており、データ読込部５７は表示優先度情報も読み込み、シーン構成部４３へ渡す。シーン構成部４３は、第２の実施の形態のものと同一であり、表示優先度に基づいてシーンを構成する。
【００９１】
この第４の実施の形態においては、シーン記述データを記録媒体５５や記憶部５８に記録しないようになされているため、シーン記述データ分の記録容量を節約することができる。
【００９２】
また、第４の実施の形態によれば、データ復号表示端末５０にてシーンを構成するために、データ復号表示端末５０の処理能力に応じたシーン構成が可能となる利点がある。すなわち、前述の第２の実施の形態の場合と同様に、シーン構成部４３において、データ復号表示端末５０の処理能力を超えない範囲で表示優先度の高いＥＳから順にシーンに取り込み、一方、端末５０の処理能力を超える場合にＥＳをシーンに取り込まないようにすれば、当該データ復号表示端末５０の処理能力に応じたシーン構成が可能となる。特に、データ復号表示端末５０のＥＳ復号部２４やシーン構成部４３がソフトウェアによって構成されていたり、それらソフトウェアが復号以外の処理ソフトウェアとＣＰＵやメモリを共有しているような場合には、ＥＳ復号部２４及びシーン構成部４３の処理能力が動的に変化することになるが、本実施の形態のように、シーン構成部４３にて当該端末５０の処理能力に応じた最適なシーン構成を行うことで、端末５０の処理能力に応じたシーンを動的に構成することが可能となる。
【００９３】
次に、本発明の第５の実施の形態について説明する。なお、第５の実施の形態のデータ復号表示端末の構成は、図１４と同様の構成となされるが、当該第５の実施の形態の場合は、表示優先度を記録媒体５５や記憶部５８に記録しないこととする。
【００９４】
この第５の実施の形態のデータ復号表示端末５０が備えるシーン構成部４３は、前記第３の実施の形態のものと同様に、表示優先度を用いる代わりに、予め保持している表示優先度を用いてシーンを構成するか、若しくは表示優先度を設定してシーンを構成する。表示優先度の設定方法は、前述の第１の実施の形態のサーバ１０における表示優先度の設定方法と同一である。
【００９５】
このように、表示優先度をデータ復号表示端末５０側で設定する第５の実施の形態によれば、記録媒体５５や記憶部５８にＥＳを記憶する際に、予め表示優先度を設定しておく必要が無い。また、この第５の実施の形態の場合、表示優先度およびシーン記述を記録媒体５５や記憶部５８に記録しないため、それらの記憶容量を節約することが出来る。さらに、第５の実施の形態によれば、データ復号表示端末５０においてシーンを構成するようになされているため、当該端末５０の処理能力に応じたシーン構成が可能となる利点がある。加えて、複数の端末５０において同一のデータを復号及び表示等するような場合には、データ復号表示端末５０毎に異なる設定でシーンを構成して表示することが可能となる。
【００９６】
上述した本発明の第４、第５の実施の形態によれば、記録媒体５５や記憶部５８に記録されたＥＳを読み出し、復号して表示するデータ復号表示端末５０においても、ＥＳと共に記録されている表示優先度を読み出すか、若しくは、データ復号表示端末５０において表示優先度を設定し、表示優先度に基づいたシーン構成で表示することにより、ＥＳの優先度及びデータ復号表示端末５０の処理能力に応じて最適なシーン構成で表示することが可能となっている。
【００９７】
以上説明したように、本発明の第１〜第４の実施の形態において、受信端末若しくはデータ復号表示端末の処理性能、ＥＳのビットレート、ユーザの嗜好情報、ＥＳ自体の画枠などに基づいて、ＥＳの優先度を設定することにより、予めＥＳ毎の表示優先度及び伝送優先度を固定して割り当てていなくとも、ＥＳの優先度を設定することが可能となっている。
【００９８】
なお、上述の説明では、シーン記述の例としてＨＴＭＬを例に挙げているが、本発明はこれに限定されるものではなく、ＭＰＥＧ−４  ＢＩＦＳやＶＲＭＬ、Ｊａｖａ（商標）など、あらゆるシーン記述方法に対しても適用可能である。
【００９９】
また、上述した本発明実施の形態は、ハードウェア構成によっても、また、ソフトウェアによっても実現可能である。
【０１００】
【発明の効果】
本発明によれば、１以上の信号からなるデータを伝送し、当該伝送されたデータを受信するような場合に、伝送側において、伝送路の状態及び／又は受信側の要求に応じて、所定の優先度を元に伝送する１以上の信号を決定して伝送すること、或いは送信時に表示に関する優先度情報を伝送するデータに含めて伝送し、受信側において、その優先度の高い順に１以上の信号に対して広い表示領域面積及び／又は優先順位の高い表示位置を割り当てたシーンを構成すること、或いは、受信側において、伝送された１以上の信号を用い、所定の優先度に応じてシーンを構成することにより、伝送路の状態や受信側の処理能力に対して、最適な信号と最適なシーン構成を得ることができ、また、受信側の復号部の処理能力が動的に変化するような場合でも最適なシーン記述を予め知ることができ、さらに、受信側において送信されてきた信号に対して最適なシーン構成で表示等を行うことが可能で、記録媒体から読み出した信号を復号して表示するような場合であっても、その復号表示装置の処理能力に応じた最適なシーン構成で表示することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のデータ配信システムの概略構成を示すブロック図である。
【図２】伝送優先度、表示優先度、ビットレートと３つのＥＳとの関係説明に用いる図である。
【図３】図２の３つのＥＳ全てが伝送されて、表示優先度に応じたシーン構成がなされた場合の表示例を示す図である。
【図４】図２のＥＳｂとＥＳｃの３つのＥＳが伝送されて、表示優先度に応じたシーン構成がなされた場合の表示例を示す図である。
【図５】図２のＥＳｃのみが伝送されて、表示優先度に応じたシーン構成がなされた場合の表示例を示す図である。
【図６】図３に示したシーン構成を記述したシーン記述の一例をＨＴＭＬ形式で表した図である。
【図７】ＥＳａのビットレートをＲａ'に変換したことに伴って変換された伝送優先度及び表示優先度の一例を示す図である。
【図８】図７の３つのＥＳ全てが伝送されて、表示優先度に応じたシーン構成がなされた場合の表示例を示す図である。
【図９】ＥＳのビットレートＲと表示優先度の関係Ｐｄ（Ｒ）を示す図である。
【図１０】ＥＳのビットレートＲと伝送優先度の関係Ｐｓ（Ｒ）を示す図である。
【図１１】ＥＳの画枠領域Ｓと表示優先度の関係Ｐｄ（Ｓ）を示す図である。
【図１２】ＥＳの画枠領域Ｓと伝送優先度の関係Ｐｓ（Ｓ）を示す図である。
【図１３】本発明の第２、第３の実施の形態のデータ配信システムの概略構成を示すブロック図である。
【図１４】本発明の第４、第５の実施の形態のデータ配信システムの概略構成を示すブロック図である。
【図１５】従来のデータ配信システムの概略構成を示すブロック図である。
【符号の説明】
１  変換制御部、  ２  シーン記述処理部、  ３  ＥＳ処理部、  ４  記憶部、  ５  送信制御部、  ６  伝送状態検出部、  ７  伝送媒体、  １０，３０  サーバ、  ２０，４０  受信端末、  ２１  受信制御部、  ２２  伝送要求処理部、  ２３  シーン記述復号部、  ２４  ＥＳ復号部、  ２５  表示放音部、  ４３  シーン構成部、  ５０  データ復号表示端末、  ５５  記録媒体、  ５８記憶部、  ５７  データ読込部
【図１】
0004552290.tif 000002
【図２】
0004552290.tif 000003
【図３】
0004552290.tif 000004
【図４】
0004552290.tif 000005
【図５】
0004552290.tif 000006
【図６】
0004552290.tif 000007
【図７】
0004552290.tif 000008
【図８】
0004552290.tif 000009
【図９】
0004552290.tif 000010
【図１０】
0004552290.tif 000011
【図１１】
0004552290.tif 000012
【図１２】
0004552290.tif 000013
【図１３】
0004552290.tif 000014
【図１４】
0004552290.tif 000015
【図１５】
0004552290.tif 000016