(57)【特許請求の範囲】
【請求項１】
所定の符号化単位毎に符号化したデータを送信側から受信側に伝送する際のデータ処理方法において、
上記受信側から供給された特殊再生指定信号を受信するステップと、
上記受信した特殊再生指定信号に基づいて、出力するデータのビットレート調整に応じて上記受信側での特殊再生に使用するデータの出力時の符号化単位を選択するステップと、
上記選択した符号化単位の再生に関連する時間情報を上記特殊再生に応じて変換するステップと、
上記出力するデータのビットレート調整に応じて、上記特殊再生に使用するデータの出力時の表示領域が記述されたシーン記述データを変更するステップと、
上記変換後の時間情報、上記変更後のシーン記述データ及び上記特殊再生に使用するデータを上記受信側に出力するステップと
を有するデータ処理方法。
【請求項２】
上記シーン記述データを変更するステップでは、上記受信側の復号能力及び表示能力を示す復号端末情報と、上記シーン記述データの伝送に使用する伝送媒体の伝送容量を表す階層化情報とに基づいて、上記シーン記述データを変更する請求項１記載のデータ処理方法。
【請求項３】
上記シーン記述データは、複数のエレメンタリーストリームで構成されたシーンの表示領域を記述したデータである請求項１記載のデータ処理方法。
【請求項４】
上記符号化単位の再生に関連する時間情報は、上記受信側にて上記符号化単位を再現する際の再現開始時刻、再現時間、再現終了時刻、復号時刻、データ到着時刻の何れか若しくは組み合わせを含む請求項１記載のデータ処理方法。
【請求項５】
上記特殊再生の再生速度に応じて、上記通常再生に使用するデータの上記符号化単位の再生に関連する時間情報を変換する請求項１記載のデータ処理方法。
【請求項６】
上記特殊再生として、時間的に非連続な符号化単位へ再生位置を移動させるジャンプ再生を行うときには、上記ジャンプ再生の開始時刻と終了時刻中に相当する符号化単位の出力を停止する請求項１記載のデータ処理方法。
【請求項７】
上記特殊再生の開始時刻をまたいで再現される符号化単位の再現終了時刻を、上記特殊再生の開始時刻となるよう上記時間情報を変更する請求項１記載のデータ処理方法。
【請求項８】
上記特殊再生の終了時刻をまたいで再現される符号化単位の再現開始時刻を、上記特殊再生の終了時刻となるよう上記時間情報を変更する請求項１記載のデータ処理方法。
【請求項９】
上記特殊再生として、時間的に非連続な符号化単位へ再生位置を移動させるジャンプ再生を行うとき、上記ジャンプ再生の開始時刻若しくは終了時刻をまたいで再現される符号化単位の出力を停止する請求項６記載のデータ処理方法。
【請求項１０】
上記符号化単位を選択する際に、上記データが符号化単位間の予測を用いずに符号化されている符号化単位を優先的に選択する請求項２記載のデータ処理方法。
【請求項１１】
所定の符号化単位毎に符号化したデータを受信側に伝送するデータ処理装置において、
上記受信側から供給された特殊再生指定信号に基づいて、出力するデータのビットレート調整に応じて上記受信側での特殊再生に使用するデータの出力時の符号化単位を選択し、該選択した符号化単位の再生に関連する時間情報を上記特殊再生に応じて変換するデータ変換手段と、
上記特殊再生指定信号に基づいて、上記出力するデータのビットレート調整に応じて、上記特殊再生に使用するデータの出力時の表示領域が記述されたシーン記述データを変更するフィルタ手段と、
上記データ変換手段により変換した時間情報、上記フィルタ手段により変更したシーン記述データ及び上記特殊再生に使用するデータを上記受信側に出力する送信手段と
を備えるデータ処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、静止画像や動画像等のビデオデータ、オーディオデータ、テキストデータやグラフィックデータなどから成るマルチメディアデータと共に、それらマルチメディアデータを用いてシーンを構成するためのシーン記述データをネットワークを用いて配信し、その配信されたマルチメディアデータ及びシーン記述データを復号端末において受信し、当該復号端末にて復号して表示するようなデータ配信システムにおいて特殊再生を行う場合に用いて最適な、データ処理方法及び装置に関する。
【０００２】
【従来の技術】
静止画像や動画像の画像信号を圧縮して蓄積したビデオデータ等を、伝送媒体を介して配信し、復号端末において受信し、復号して表示するような従来のデータ配信システムの構成例を図３９に示す。なお、図３９では、説明を簡略化するためにビデオデータの経路のみについて説明している。また、以下の説明では、ビデオデータを例えばＩＳＯ（Internatioal Organization for Standardization）／ＩＥＣ（International Electrotechnical Comission）１３８１８−１（いわゆるＭＰＥＧ２ Systems）で規定されているトランスポートストリーム（Transport stream、以下、単にＴＳとする）へパケット化して配信する場合を例に挙げている。
【０００３】
図３９において、サーバ２００は、ビデオデータを記憶する記憶部２０９を備えている。上記記憶部２０９から読み出されたビデオデータは、多重化部２０４にてＴＳへパケット化され、さらに送信部２０５にて配信データ２１１となされて伝送媒体２１０へ出力され、例えば復号端末２１２へ配信される。このとき、上記ＴＳの配信データ２１１は、伝送媒体２１０で使用されるプロトコルを使用して伝送されることになる。例えばＩＳＯ／ＩＥＣ１３８１８−１の規定を満たすＴＳは、ＩＥＣ６１８８３の「Digital Interface for consumer audio/video equipment」に定められた方法で、例えばＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４規格の伝送媒体を使用して伝送することが可能である。なお、多重化部２０４と送信部２０５は一体の構成であっても構わない。
【０００４】
復号端末２１２では、受信部２１３により上記配信データ２１１を受信し、分離部２１４に送る。分離部２１４では、上記ＴＳのパケットからビデオデータを分離し、復号部２１５に送る。復号部２１５では、符号化されているビデオデータを復号する。この復号されたビデオデータは、例えば図示していない表示装置等に送られ、ビデオ画像として表示されることになる。
【０００５】
このようなデータ配信システムにおいて、例えば早送り再生やコマ送り再生、一時停止などの特殊再生表示を行う場合には、例えばユーザによる端末フロントパネル或いはリモートコントローラ等の操作に応じた特殊再生指定信号（早送り再生やコマ送り再生などの指示信号）２０６が、当該復号端末２１２の特殊再生制御部２１６へ入力されることになる。このときの復号端末２１２の特殊再生制御部２１６は、特殊再生指定信号２０６にて指定された種類の特殊再生用のビデオデータをサーバ２００に対して要求するための特殊再生要求信号２２０を発生し、その特殊再生要求信号２２０を前記伝送媒体２１０を介してサーバ２００の特殊再生制御部２０１へ送信する。
【０００６】
この特殊再生要求信号２２０を受け取ったサーバ２００の特殊再生制御部２０１は、その要求に応じたコントロール信号２０２ａ，２０２ｂを発生し、それぞれ対応する多重化部２０４と送信部２０５へ送る。多重化部２０４は、コントロール信号２０２ｂによる特殊再生制御部２０１の制御の元で、記憶部２０９から、上記ユーザが指定した種類の特殊再生を復号端末２１２にて可能とするための特殊再生用のビデオデータを読み出す。また、多重化部２０４では、その当該特殊再生用のビデオデータをＴＳへパケット化し、送信部２０５へ送る。送信部２０５は、コントロール信号２０２ａによる特殊再生制御部２０１の制御の元で、その特殊再生用のビデオデータのパケットを配信データ２１１として復号端末２１２に配信する。
【０００７】
当該特殊再生用のビデオデータからなる配信データ２１１が供給されたときの復号端末２１２では、上記特殊再生指定信号２０６に応じた特殊再生制御を行うためのコントロール信号２１７ａ，２１７ｂが上記特殊再生制御部２１６から出力され、それぞれ対応する受信部２１３と復号部２１５へ送られる。受信部２１３は、このコントロール信号２１７ｂによる特殊再生制御部２１６の制御の元で、上記特殊再生用のビデオデータからなる配信データ２１１を受信し、分離部２１４へ送る。分離部２１４では、上記ＴＳのパケットから上記特殊再生用のビデオデータを分離し、復号部２１５へ送る。復号部２１５では、コントロール信号２１７ａによる特殊再生制御部２１６の制御の元で、特殊再生用のビデオデータの復号を行う。これにより、図示しない表示装置等には、早送り再生やコマ送り再生などの特殊再生表示がなされることになる。
【０００８】
なお、ＩＳＯ／ＩＥＣ１３８１８−２に規定されているビデオフレームの符号化方法には、フレーム内データのみから符号化するＩピクチャ（Intra-coded picture：イントラ符号化画像）と、フレーム間の予測を利用して符号化するＢピクチャ（Bidirectionally predictive-coded picture：両方向予測符号化画像）およびＰピクチャ（Predictive-coded picture：前方予測符号化画像）があり、前述の図３９に示したデータ配信システムでは、上記記憶部２０９から読み出される上記特殊再生用のビデオデータとして、上記ビデオフレーム間の予測処理を使用しないＩピクチャが用いられている。すなわち、通常再生用のビデオデータ中にはランダムアクセスを可能にするために定期的にＩピクチャが含まれおり、そのＩピクチャを抽出して特殊再生用のビデオデータを構成している。このように、図３９に示した従来のデータ配信システムでは、復号端末２１２において例えば早送り等の特殊再生が行われる場合、ＩＳＯ／ＩＥＣ１３８１８−２のＩピクチャのみからなるビデオデータのような特殊再生用のビデオデータを、サーバ２００から復号端末２１２へ配信するようになされている。
【０００９】
その一方で、上述したデータ配信システムのように、例えばＩＳＯ／ＩＥＣ１３８１８−２（いわゆるＭＰＥＧ２ video）に準拠した圧縮ビデオデータを配信する場合、当該ＩＳＯ／ＩＥＣ１３８１８−２に規定される圧縮ビデオデータは、デコーダバッファをオーバーフローおよびアンダーフローしないように符号化されていなければならない。なお、デコーダバッファとは、復号部２１５が備える図示しない入力バッファに相当するものである。このＩＳＯ／ＩＥＣ１３８１８−２に規定されているバッファのサイズを超えてデータを入力すると、上記デコーダバッファはオーバーフローとなり、一方、復号すべき時刻において復号に必要なデータが到着していなければアンダーフローとなる。
【００１０】
しかしながら、上述の特殊再生用のビデオデータのように、Ｉピクチャのみからなるビデオデータはデータ量が多くなり、デコーダバッファをオーバーフローもしくはアンダーフローさせてしまうことがある。このため、従来のデータ配信システムでは、デコーダバッファをオーバーフロー若しくはアンダーフローさせることなく、且つ特殊再生をも可能とするような、通常再生用とは異なる特殊再生用の特別なデータを予め用意しておき、復号端末において特殊再生を行う際に、その特殊再生用の特別なデータを配信する必要がある。また、復号端末側においても、その特殊再生用の特別なデータに対応した、通常の特殊再生処理とは異なる特別な特殊再生処理が行えるような、特別な端末が必要となっている。
【００１１】
すなわち、従来のデータ配信システムによれば、デコーダバッファをオーバーフローもしくはアンダーフローさせることなく、特殊再生を実現するために、上述したＩピクチャのみからなる特殊再生用のビデオデータとは異なる特殊再生用の特別なデータを予め用意し、特殊再生時にその特別なデータを配信しなければならない。同じく、復号端末は、その特殊再生用の特別なデータに対応可能な特別な各復号部２１５を備えた端末が必要となり、また、特殊再生制御部２１６では、受信部２１３、分離部２１４、復号部２１５を、特殊再生用データ処理のためのコントロールが必要となっている。
【００１２】
このようなことから、本件出願人は、特許願２０００−１７８９９９号や特許願２０００−１７９０００号により、サーバにおいて、記憶部から読み出された通常再生用ビデオデータを用い、ユーザから指定された種類の特殊再生を行った結果のデータをＩＳＯ／ＩＥＣ１３８１８−２の規定を満足するビデオデータへ変換し、その変換後のビデオデータを復号端末へ配信することにより、前述したような特殊再生用の特別な配信データを使用及び予め用意する必要が無く、また、その特殊再生用の特別な配信データに対応可能な特別な復号端末を必要としない簡易な構成とする技術について提案している。
【００１３】
図４０には、通常再生用のビデオデータを用いて特殊再生を行った結果のデータを、例えばＩＳＯ／ＩＥＣ１３８１８−２の規定を満足するビデオデータへ変換して出力することを実現する、データ配信システムの概略構成を示す。なお、この図４０の例では、例えばビデオデータ等をＩＳＯ（Internatioal Organization for Standardization）／ＩＥＣ（International Electrotechnical Comission）１３８１８−１（いわゆるＭＰＥＧ２ Systems）で規定されているトランスポートストリーム（Transport stream：ＴＳ）へパケット化して配信する場合を挙げている。
【００１４】
図４０において、サーバ２２０は、静止画像や動画像等のビデオデータ、オーディオデータ、テキストデータ、グラフィックデータ等のマルチメディアデータを記憶する記憶部２２９を備えている。上記記憶部２２９からは例えばビデオデータが読み出され、そのビデオデータは例えば後述するデータ変換部２２３を介して多重化部２２４へ送られる。多重化部２２４では、データ変換部２２３から出力されたデータをＴＳへパケット化する。このＴＳパケットは、さらに送信部２２５にて配信データ２３１となされて伝送媒体２３０へ出力され、例えば復号端末２３２へ配信される。このとき、上記ＴＳの配信データ２３１は、伝送媒体２３０で使用されるプロトコルを使用して伝送されることになる。例えばＩＳＯ／ＩＥＣ１３８１８−１の規定を満たすＴＳは、ＩＥＣ６１８８３の「Digital Interface for consumer audio/video equipment」に定められた方法で、例えばＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４規格の伝送媒体を使用して伝送することが可能である。
【００１５】
復号端末２３２では、受信部２３３により上記配信データ２３１を受信し、分離部２３４に送る。分離部２３４では、上記ＴＳのパケットからビデオデータを分離し、復号部２３５に送る。復号部２３５では、供給されたデータを復号、すなわち符号化されているビデオデータを復号する。この復号されたビデオデータは、例えば図示していない表示装置等に送られ、ビデオ画像として表示されることになる。
【００１６】
このデータ配信システムの復号端末２３２において、特殊再生表示が行われる場合は、例えば、復号端末２３２のユーザによる操作に応じた特殊再生指定信号２２６が、当該復号端末２３２内の図示しない伝送媒体インターフェイス部などから伝送媒体２３０を介してサーバ２２０へ送信される。この特殊再生指定信号２２６は、例えば早送り再生や巻き戻し再生、コマ送り再生などの特殊再生の種類と、記憶部２２９に格納されているビデオデータ等の指定を含む信号である。なお、サーバ２２０と復号端末２３２が例えば家庭用ネットワークのように近距離にて接続され、ユーザがサーバ２２０のフロントパネルやリモートコントローラ等を操作可能な環境である場合には、当該サーバ２２０のフロントパネルやリモートコントローラ等をユーザが操作することにより、サーバ２２０に対して直接に特殊再生指定信号２２６を入力することも可能である。
【００１７】
サーバ２２０へ入力された特殊再生指定信号２２６は、当該サーバ２２０内に設けられている特殊再生制御部２２１へ入力する。この特殊再生制御部２２１は、特殊再生指定信号２２６に応じて、特殊再生の種類、ビデオデータの指定を含む特殊再生制御用のコントロール信号２２２を発生し、データ変換部２２３へ送る。
【００１８】
データ変換部２２３は、コントロール信号２２２による特殊再生制御部２２１の制御の元で、記憶部２２９からビデオデータを読み出す。さらに、データ変換部２２３は、記憶部２２９から読み出したビデオデータを用い、コントロール信号２２２にて指定される種類の特殊再生を行った結果のデータを、例えばＩＳＯ／ＩＥＣ１３８１８−２の規定を満足するビデオデータへ変換して出力する。すなわち、このときデータ変換部２２３は、復号端末２３２の復号部２３５において通常再生時と同様に復号を行った時に、早送り再生や巻き戻し再生、コマ送り再生等の特殊再生（ユーザにより指定された特殊再生）が実現されるビデオデータへ、記憶部２２９から読み出したビデオデータを変換する。
【００１９】
ここで、図４１及び図４２を用いて、上記データ変換部２２３におけるデータ変換処理について簡単に説明する。
【００２０】
図４１には、ＭＰＥＧ２ videoで符号化されている通常再生用のビデオデータ（記憶部２２９から読み出されたビデオデータ）を、上記データ変換部２２３において、特殊再生処理の一例としての早送り再生を実現し且つＩＳＯ／ＩＥＣ１３８１８−２の規定を満足するビデオデータへ変換する際の、データ変換処理の概略を示す。なお、図中のＩはＩピクチャ、ＰはＰピクチャ、ＢはＢピクチャを表している。また、ＭＰＥＧ２ videoの規定では、ピクチャ間の予測を使用して符号化を行う関係上、符号化順（データがビットストリーム中に符号化される順番）と実際の表示順が異なる場合があるため、図４１では符号化順と表示順を併記して示している。図４１の（ａ）には、通常再生用ビデオデータの符号化順を示し、図４１の（ｂ）には、通常再生用ビデオデータを復号して表示する際の表示順を示している。図４１の（ｃ）には、通常再生区間ＵＳの次に早送り再生区間ＦＳへ移行し、その後通常再生区間ＵＳへ戻されるような特殊再生のための変換処理が行われる場合の符号化順を示し、図４１の（ｄ）には、図４１の（ｃ）のような特殊再生のための変換処理が行われる場合の表示順を示している。
【００２１】
データ変換部２２３では、特殊再生が行われる早送り再生区間ＦＳについて、図中Ｅk、Ｅm、Ｅnに示すように、図４１の（ａ）の通常再生用ビデオデータ中のＩピクチャ（Ｉk、Ｉm、Ｉn）を抜き出して使用し、さらに、デコーダバッファを破綻させないために、それらＩピクチャの間にリピートピクチャＢRを挿入するようなデータ変換処理を行う。なお、上記リピートピクチャＢRとは、予測元画像を繰り返すピクチャであり、復号の際にはＢピクチャとして扱われるピクチャである。また、リピートピクチャＢRの挿入は、早送り再生の速度を調節する効果もある。
【００２２】
図４２には、図４１と同様に、ＭＰＥＧ２ videoで符号化されている通常再生用のビデオデータ（記憶部２２９から読み出されたビデオデータ）を、上記データ変換部２２３において、特殊再生処理の一例としての巻き戻し再生を実現し且つＩＳＯ／ＩＥＣ１３８１８−２の規定を満足するビデオデータへ変換する際の、データ変換処理の概略を示す。図４２の（ａ）には、通常再生用ビデオデータの符号化順を示し、図４２の（ｂ）には、通常再生用ビデオデータを復号して表示する際の表示順を示している。図４２の（ｃ）には、通常再生区間ＵＳの次に巻き戻し再生区間ＢＳへ移行し、その後通常再生区間ＵＳに戻されるような特殊再生のための変換処理が行われる場合の符号化順を示し、図４２の（ｄ）には、図４２の（ｃ）のような特殊再生のための変換処理が行われる場合の表示順を示している。
【００２３】
データ変換部２２３では、特殊再生が行われる巻き戻し再生区間ＢＳについて、図中Ｅk、Ｅm、Ｅnに示すように、図４２の（ａ）の通常再生用ビデオデータ中のＩピクチャ（Ｉk、Ｉm、Ｉn）を抜き出し且つそれらの順序を入れ替え、さらにデコーダバッファを破綻させないために、それらＩピクチャの間にリピートピクチャＢRを挿入するようなデータ変換処理を行う。
【００２４】
このように、データ変換部２２３にて変換処理された特殊再生用のビデオデータは、前述同様に多重化部２２４以降の構成を介して復号端末２３２へ配信されることになる。
【００２５】
【発明が解決しようとする課題】
ところで、従来のテレビジョン放送では、１つの画像信号を画像表示装置の画面上に表示し、１つの音声信号のみがスピーカから出力されるようになされているが、近年は、静止画や動画等のビデオデータ、オーディオデータ、テキストデータやグラフィックデータなどから成るマルチメディアデータを用いて１つのシーンを構成するようなことも考えられている。なお、それらマルチメディアデータを用いてシーンの構成を記述する方法としては、いわゆるインターネットのホームページ等で用いられているＨＴＭＬ（HyperText Markup Language）、ＩＳＯ／ＩＥＣ１４４９６−１に規定されたシーン記述方式であるＭＰＥＧ４  ＢＩＦＳ（Binary Format for the Scene）、ＩＳＯ／ＩＥＣ１４７７２に規定されたＶＲＭＬ（Virtual Reality Modeling Language）、Ｊａｖａ（商標）などがある。以下、シーンの構成を記述したデータをシーン記述と呼ぶことにする。
【００２６】
ＶＲＭＬおよびＭＰＥＧ４  ＢＩＦＳを用いたシーン記述の例を、図４３を用いて説明する。なお、図４３にはシーン記述の内容が示されている。ＶＲＭＬでは、図４３のようなテキストデータによりシーン記述が行われ、ＭＰＥＧ４  ＢＩＦＳではこのテキストデータをバイナリに符号化したものによりシーン記述が行われる。
【００２７】
ＶＲＭＬおよびＭＰＥＧ４  ＢＩＦＳのシーン記述は、ノードと呼ばれる基本的な記述単位により表現され、図４３の例ではノードを太線斜体文字にて表している。ノードは、表示される物体や物体同士の結合関係等を記述する単位であり、ノードの特性や属性を示すためにフィールドと呼ばれるデータを含んでいる。例えば、図４３中のTransformノードは、三次元の座標変換を指定可能なノードであり、そのノード中のtranslationフィールドにて座標原点の平行移動量が指定されている。また、フィールドには他のノードを指定可能なフィールドも存在する。例えば図４３中のTransformノードは、Transformノードにより座標変換される子ノード群を示すChildrenフィールドがあり、このChildrenフィールドにより例えばShapeノード等がグルーピングされている。表示する物体をシーン中に配置するには、物体を表すノードを、属性を表すノードと共にグループ化し、さらに、配置位置を示すノードによってそれらノードをグループ化する。例えば、図４３中のShapeノードが表している物体は、その親ノードであるTransformノードによって指定された平行移動を適用されて、シーン中に配置されることになる。
【００２８】
前記ビデオデータやオーディオデータなどは、上記シーン記述により空間的および時間的に配置されて表示される。例えば、図４３中のMovieTextureノードは、３というＩＤで指定される動画像を、立方体の表面に貼り付けて表示することを指定している。
【００２９】
【発明が解決しようとする課題】
上述のように、近年は、ビデオデータ、オーディオデータ、テキストデータやグラフィックデータなどから成るマルチメディアデータを用いて１つのシーンを構成するようなことが考えられているが、従来のデータ配信システムでは、特殊再生中にはビデオデータのみしか復号および表示等されない。
【００３０】
このため、例えばビデオデータ、オーディオデータ、テキストデータやグラフィックデータなどから成るマルチメディアデータを配信するようにしたとしても、特殊再生中にはビデオデータのみしか復号および表示等されず、例えばオーディオデータや字幕用テキスト等のビデオ以外のデータを含むデータが配信されたとしても、従来のデータ配信システムでは、特殊再生中にそれらビデオ以外のデータの復号及び表示等は行われない。
【００３１】
このようなことから、早送り再生や巻き戻し再生等の特殊再生中にも、オーディオデータや字幕用テキストデータなどのビデオデータ以外のデータの復号及び表示等を可能とすることが望まれている。
【００３２】
また、現在のところ、上述のようなシーンを構成するためのシーン記述データを、特殊再生中にも配信し、復号等するための手法及び手段は実現されていない。このため、従来のデータ配信システムでは、例えば上述のマルチメディアデータを用いて１つのシーンを構成し、そのマルチメディアデータを配信するようにしたとしても、特殊再生中にはシーンの構成が行えず、その結果、例えば特殊再生の開始時及び終了時に表示されるシーンが不連続となってしまうような問題が発生する。
【００３３】
このようなことから、上記シーン記述データを、特殊再生中にも配信し、復号等するための手法及び手段の実現が望まれている。
【００３４】
さらに、特殊再生中にも上述のマルチメディアデータとシーン記述データを配信し、復号し、表示等することを実現する上では、それらのデータ間の同期関係を保持して表示等がなされるようにする必要があり、また、伝送ビットレートなどの評価基準（デコーダバッファを破綻させない等の基準）を満たすデータとして配信する必要もある。
【００３５】
そこで、本発明はこのような実情に鑑みてなされたものであり、特殊再生を行う場合において、ビデオ以外のデータの復号及び表示等を可能とし、また、シーン記述データを配信、復号等するための手法及び手段を実現し、さらに、データ間の同期関係を保持し、伝送ビットレートなどの評価基準を満たすデータとして配信することを可能とする、データ処理方法及び装置を提供することを目的とする。
【００３６】
【課題を解決するための手段】
本発明のデータ処理方法は、所定の符号化単位毎に符号化したデータを送信側から受信側に伝送する際のデータ処理方法において、上記受信側から供給された特殊再生指定信号を受信するステップと、上記受信した特殊再生指定信号に基づいて、出力するデータのビットレート調整に応じて上記受信側での特殊再生に使用するデータの出力時の符号化単位を選択するステップと、上記選択した符号化単位の再生に関連する時間情報を上記特殊再生に応じて変換するステップと、上記出力するデータのビットレート調整に応じて、上記特殊再生に使用するデータの出力時の表示領域が記述されたシーン記述データを変更するステップと、上記変換後の時間情報、上記変更後のシーン記述データ及び上記特殊再生に使用するデータを上記受信側に出力するステップとを有することにより、上述した課題を解決する。
【００３７】
また、本発明のデータ処理装置は、所定の符号化単位毎に符号化したデータを受信側に伝送するデータ処理装置において、上記受信側から供給された特殊再生指定信号に基づいて、出力するデータのビットレート調整に応じて上記受信側での特殊再生に使用するデータの出力時の符号化単位を選択し、該選択した符号化単位の再生に関連する時間情報を上記特殊再生に応じて変換するデータ変換手段と、上記特殊再生指定信号に基づいて、上記出力するデータのビットレート調整に応じて、上記特殊再生に使用するデータの出力時の表示領域が記述されたシーン記述データを変更するフィルタ手段と、上記データ変換手段により変換した時間情報、上記フィルタ手段により変更したシーン記述データ及び上記特殊再生に使用するデータを上記受信側に出力する送信手段とを備えることにより、上述した課題を解決する。
【００４０】
すなわち、本発明によれば、例えば通常再生用データの表示単位の表示時刻および表示時間もしくは表示終了時刻を、特殊再生に応じて算出して書き換えることにより特殊再生用データへ変換することで、復号端末において特殊再生中もデータ間の同期関係を保存して表示することを可能とする。また、本発明によれば、例えばビットレートなどの評価基準を満たすように、通常再生用データ中の表示単位を選択して配信することにより、特殊再生中であってもビットレートなどの評価基準を満たすデータの配信を可能とする。また、本発明によれば、ビットレートなどの評価基準を満たすように、通常再生用データ中の表示単位を変換して出力することにより、特殊再生中であってもビットレートなどの評価基準を満たすデータの配信を可能とする。
【００４１】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００４２】
静止画像や動画像等のビデオデータ、オーディオデータ、テキストデータやグラフィックデータなどのマルチメディアデータ、及び、シーン記述データ等を、伝送媒体を介して配信し、復号端末において受信し、復号して表示するような、本発明実施の形態のデータ配信システムの構成例を図１に示す。なお、以下の説明では、例えばビデオデータ等をＩＳＯ（Internatioal Organization for Standardization）／ＩＥＣ（International Electrotechnical Comission）１３８１８−１（いわゆるＭＰＥＧ２ Systems）で規定されているトランスポートストリーム（Transport stream：ＴＳ）へパケット化して配信する場合を例に挙げている。
【００４３】
図１において、サーバ１０は、静止画像や動画像等のビデオデータ、オーディオデータ、テキストデータ、グラフィックデータ等のマルチメディアデータ、及びシーン記述データ等を記憶する記憶部９を備えている。上記記憶部９から読み出されたデータは、例えば後述するデータ変換部７を介して多重化部４へ送られる。多重化部４では、データ変換部７から出力されたデータをＴＳへパケット化する。このＴＳパケットは、さらに送信部５にて配信データ２２となされて伝送媒体２１へ出力され、例えば復号端末１２へ配信される。このとき、上記ＴＳの配信データ２２は、伝送媒体２１で使用されるプロトコルを使用して伝送されることになる。例えばＩＳＯ／ＩＥＣ１３８１８−１の規定を満たすＴＳは、ＩＥＣ６１８８３の「Digital Interface for consumer audio/video equipment」に定められた方法で、例えばＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４規格の伝送媒体を使用して伝送することが可能である。なお、多重化部４と送信部５は一体の構成であっても構わない。
【００４４】
復号端末１２では、受信部１３により上記配信データ２２を受信し、分離部１４に送る。分離部１４では、上記ＴＳのパケットからデータを分離し、複数の復号部１５1〜１５nのうちそれぞれ対応する復号部に送る。復号部１５1〜１５nでは、それぞれ供給されたデータを復号、すなわち符号化されているデータを復号する。
【００４５】
シーンの構成を記述したシーン記述データが配信されている場合、シーン合成部１６では、上記復号部１５1〜１５nより復号されたデータを上記シーン記述データに従って合成する。当該シーン合成部１６によりシーン合成された合成データは、例えば図示していない表示装置やスピーカ等に送られ、シーン画像及び音声として表示・放音等されることになる。なお、復号端末１２は複数接続されていても良い。
【００４６】
また、このデータ配信システムの復号端末１２において、特殊再生表示が行われる場合は、例えば、復号端末１２のユーザによる操作に応じた特殊再生指定信号６が、当該復号端末１２内の図示しない伝送媒体インターフェイス部などから伝送媒体２１を介してサーバ１０へ送信される。この特殊再生指定信号６は、例えば早送り再生や巻き戻し再生、コマ送り再生、スロー再生などの特殊再生の種類と、記憶部９に格納されているデータの指定を含む信号である。なお、サーバ１０と復号端末１２が例えば家庭用ネットワークのように近距離にて接続され、ユーザがサーバ１０のフロントパネルやリモートコントローラ等を操作可能な環境である場合には、当該サーバ１０のフロントパネルやリモートコントローラ等をユーザが操作することにより、サーバ１０に対して直接に特殊再生指定信号６を入力することも可能である。
【００４７】
サーバ１０へ入力された特殊再生指定信号６は、当該サーバ１０内に設けられている特殊再生制御部１へ入力する。この特殊再生制御部１は、特殊再生指定信号６に応じて、特殊再生の種類、データの指定を含む特殊再生制御用のコントロール信号２を発生し、データ変換部７へ送る。なお、データ変換部７は、配信するデータの数に応じて任意個存在してよい。
【００４８】
データ変換部７は、コントロール信号２による特殊再生制御部１の制御の元で、記憶部９からデータを読み出し、そのデータを、コントロール信号２にて指定される種類の特殊再生を実現する特殊再生用データへ変換する。
【００４９】
以下、本発明実施の形態のデータ配信システムにおけるデータ変換部７の詳細な構成及び動作について説明する。
【００５０】
図２には、本発明の第１の実施の形態にかかるデータ変換部７を備えたデータ配信システムのサーバ１０の詳細な構成を示す。なお、データ変換部７以外の各構成要素の動作は前述同様であるため、それらの詳細な説明は省略する。
【００５１】
この図２において、第１の実施の形態のデータ変換部７は、上記特殊再生制御部１からのコントロール信号２の制御の元で上記記憶部９からデータを読み出す読み出し部１７と、出力データ中に符号化される時刻情報を特殊再生に応じて書き換える時間情報書き換え部１９とを備える。なお、データ変換部７が複数在る場合、データ変換部７中の読み出し部１７は、全てのデータ変換部７で共通の構成としても良い。
【００５２】
上記読み出し部１７は、上記特殊再生制御部１からのコントロール信号２により指定される通常再生用のデータを、上記記憶部９から読み出し、時間情報書き換え部１９へ送る。
【００５３】
時間情報書き換え部１６は、上記読み出し部１７により記憶部９から読み出された通常再生用データの時間情報を、上記特殊再生に応じて変換がなされた後のデータの時間情報へ変換し、出力されるデータ中に符号化する。なお、上記データの時間情報とは、データ到着時間、表示開始時刻、表示終了時刻、表示時間もしくは復号時刻等である。なお、オーディオデータの場合、これら各時間情報は、実際には放音に関する時間であるが、画像の表示と音声の放音は関連しているため、上述のように表示開始時刻、表示終了時刻、表示時間等の表現を用いている。以下の説明でも同様である。当該第１の実施の形態では、この時間情報書き換え部１６により時間情報の書き換えがなされたデータが、前記多重化部４へ送られる。
【００５４】
図３を用いて、データ変換部７の時間情報書き換え部１９における時間情報の変換処理について説明する。なお、図３の例では、早送り再生を実現する場合の時間情報の変換処理例を示している。
【００５５】
図３の（ａ）は、上記記憶部９から読み出された通常再生用データについて、上記時間情報書き換え部１６による特殊再生のための時間情報変換処理を行わない場合（すなわち復号端末１２にて通常再生が行われる場合）のデータの表示タイミングを表している。なお、ＭＰＥＧ２ video等の一部の符号化方法では、実際の表示順番と符号化順番（データがビットストリーム中に符号化される順番）とが異なる場合があるが、図３の例では説明を分かり易くするため表示順番に合わせて示している。図３中のＡＵ３０，ＡＵ３１，ＡＵ３２等はそれぞれデータの１表示単位を表し、ビデオデータの場合にはピクチャに相当する。データの符号化は通常、この表示単位毎に行われる。この表示単位すなわち符号化単位を、以下ＡＵ（アクセスユニット）と呼ぶ。１ＡＵは、表示開始時間Ｔｓから表示を開始し、表示時間ΔＴ後の表示終了時刻Ｔｅにおいて表示を終了する。なお、１ＡＵの表示時間Δは、一般に符号化方法によって異なる。
【００５６】
一方、図３の（ｂ）は、上記記憶部９から読み出された通常再生用データについて、上記時間情報書き換え部１６による特殊再生（この場合は早送り再生）のための時間情報変換処理を行った場合、つまり復号端末１２にて特殊再生が行われる場合の変換済みデータの表示タイミングを表している。すなわち、この図３の（ｂ）には、通常再生区間内のＡＵ３０’の途中から早送り再生区間（特殊再生区間）となり、ＡＵ３１’は早送り再生区間、当該ＡＵ３１’の後のＡＵ３２’は通常再生区間となるような場合の表示タイミングを表している。
【００５７】
ここで、特殊再生として図３の例のように早送り再生が行われた場合、上記特殊再生のための変換処理がなされていないときの時間ｔ（以下、変換前の時間ｔとする）上の時刻Ｔと、当該特殊再生のための変換処理がなされたときの時間ｔ’（以下、変換後の出力の時間ｔ’とする）上の時刻Ｔ’との関係は、当該特殊再生を行う度に変化することになる。
【００５８】
このため、本発明実施の形態のデータ変換部７（時間情報書き換え部１９）では、上記変換後の出力の時間ｔ’上の時刻Ｔ'を、当該変換後の出力の時間ｔ’上の特殊再生開始時刻Ｔｏ’と、上記変換前の時間ｔ上における特殊再生開始時刻Ｔｏ（特殊再生開始時刻Ｔｏ’に対応する変換前の時間ｔ上の開始時刻）とを用いて、式（１）のように算出する。
Ｔ’＝Ｔｏ’+ （Ｔ−Ｔｏ）／ｎ        (1)
ただし、式（１）中のｎは特殊再生中の再生速度を表し、倍速再生ならばｎの値は２であり、巻き戻し再生では負の値とする。
【００５９】
一方、通常再生中は、上記変換後の出力の時間ｔ’上の時刻Ｔ’を、当該変換後の出力の時間ｔ’上の特殊再生終了時刻Ｔｉ’と、上記変換前の時間ｔ上における特殊再生終了時刻Ｔｉ（特殊再生開始時刻Ｔｉ’に対応する変換前の時間ｔ上の終了時刻）とを用いて、式（２）のように算出する。
Ｔ’＝Ｔｉ’＋（Ｔ−Ｔｉ）            (2)
また、通常再生中は、その直前の特殊再生終了時刻は変わらないため、次の特殊再生開始時における特殊再生開始時刻は、式（２）を用いて、式（３）のように求められる。
Ｔｏ’＝Ｔｉ’＋（Ｔｏ−Ｔｉ）        (3)
上記の式（２）〜（３）に基づいて、上記データ変換部７は、通常再生中も特殊再生中も、変換後の出力の時間ｔ’上におけるＡＵの表示開始時刻Ｔs’および表示終了時刻Ｔｅ’を、変換前の時間ｔ上でのＡＵの表示開始時刻Ｔｓおよび表示終了時刻Ｔｅに基づいて算出することが可能となる。また、表示時間ΔＴ’は、変換前の時間ｔ上での表示時間ΔＴを１／ｎ倍（ｎは再生速度）するか、もしくは上記表示終了時刻Ｔｅ’から表示時刻Ｔｓ’を減算することにより算出する。
【００６０】
また、本実施の形態において、上記特殊再生開始時刻、特殊再生終了時刻及び特殊再生速度ｎは、上記コントロール信号２と共に特殊再生制御部１から、データ変換部７へ指定される。なお、これら特殊再生開始時刻、特殊再生終了時刻及び特殊再生速度ｎは、図示しない他のデータ変換部から指定される場合もある。すなわち例えば、本実施の形態のデータ配信システムが、前述の特許願２０００−１７８９９９号や特許願２０００−１７９０００号の図４０に示したようにビデオデータを特殊再生用に変換するデータ変換部２２３を備え、このデータ変換部２２３にてビデオデータの表示タイミングに合わせて特殊再生終了時刻、特殊再生開始時刻及び特殊再生速度が決定されるような場合には、当該データ変換部２２３からそれら特殊再生終了時刻、特殊再生開始時刻及び特殊再生速度が、本実施の形態のデータ変換部７に直接指定される場合もある。
【００６１】
本実施の形態のデータ配信システムによれば、上述したようにして、通常再生中も特殊再生中も、変換後の出力の時間ｔ’上におけるＡＵの表示開始時刻Ｔs’および表示終了時刻Ｔｅ’を算出し、また、表示時間ΔＴ’を算出することにより、時間情報書き換え部１９では、出力データ中に符号化される表示時刻、表示終了時刻、表示時間を、特殊再生に応じて書き換えることができる。また、復号時刻やデータ到着時刻などの時間情報もデータ中に符号化されている場合、時間情報書き換え部１９では、それらの時間情報も式（１）および式（２）に基づいて変換後の時間ｔ’上の時間情報へ変換して出力することができる。
【００６２】
以上のように、本実施の形態によれば、復号端末１２にて特殊再生が実行される際に、通常再生用データの時間情報が、上記特殊再生に応じて変換された後のデータの時間情報へ変換され、その時間情報がデータへ符号化されてサーバ１０から配信されるようになされている。すなわち、本実施の形態のデータ配信システムによれば、復号端末１２が受信する配信データは、サーバ１０において既に特殊再生用に時間情報を変換済みであるため、復号端末１２では特殊再生のための特別な処理は不要であり、通常再生中と同様に表示時間などの時間情報に基づいたタイミングで復号及び表示等を行えば、自動的に特殊再生を行った結果の表示結果が得られる。つまり、本実施の形態の場合の復号端末１２は、特殊再生用に特別な処理を行うこと無く、特殊再生用の特別な配信データに対応可能な特別な端末である必要もない。さらに、本実施の形態によれば、配信される複数のデータが等しい再生速度に合わせて変換されているため、それら複数のデータ間の同期にずれは発生せず、またズレが蓄積することも無い。
【００６３】
次に、図３と同様に表される図４を用い、特殊再生としてスロー再生を行う場合の時間情報書き換え部１９における時間情報の変換処理について説明する。
【００６４】
図４の（ａ）は、図３の（ａ）と同様に、変換前の時間ｔ上の通常再生用データの表示タイミングを表している。図４中のＡＵ４０，ＡＵ４１，ＡＵ４２等はそれぞれデータの１表示単位を表している。また、図４の（ｂ）は、図３の（ｂ）と同様に、上記時間情報書き換え部１６による特殊再生（この場合はスロー再生）のための時間情報変換処理を行った場合の変換済みデータの表示タイミングを表している。すなわち、この図４の（ｂ）には、通常再生区間内のＡＵ４０’の途中からスロー再生区間となり、ＡＵ４１’はスロー再生区間、当該ＡＵ４１’の後のＡＵ４２’は通常再生区間となるような場合の表示タイミングを表している。
【００６５】
ここで、特殊再生として例えば０．５倍速再生を行う場合、本発明実施の形態のデータ変換部７（時間情報書き換え部１９）では、再生速度ｎの値を０．５として前記式（１）の演算が行われる。
【００６６】
この図４の例のように、再生速度が等倍速よりも低速の特殊再生を行う場合においても、本実施の形態のデータ変換部７での時間情報の変換処理は前述同様に有効でありしたがって、復号端末１２においてはスロー再生用に特別な処理無しに、通常再生時と同様の復号及び表示等を行えば、スロー再生を行った結果の表示結果等を得ることができる。
【００６７】
次に、図３と同様に表される図５を用い、時間的に非連続な表示単位へ再生位置を移動するジャンプ等の特殊再生を行う場合の時間情報書き換え部１９における時間情報の変換処理について説明する。
【００６８】
図５の（ａ）は、図３の（ａ）と同様に、変換前の時間ｔ上の通常再生用データの表示タイミングを表している。図５中のＡＵ５０，ＡＵ５１，ＡＵ５２等はそれぞれデータの１表示単位を表している。また、図５の（ｂ）は、図３の（ｂ）と同様に、上記時間情報書き換え部１６による特殊再生（この場合はジャンプ）のための時間情報変換処理を行った場合の変換済みデータの表示タイミングを表している。すなわち、この図５の（ｂ）には、通常再生区間内のＡＵ５０’の途中からジャンプが行われ、ジャンプの開始時刻である特殊再生開始時刻Ｔｏ’とジャンプの終了時刻である特殊再生終了時刻Ｔｉ’の間のＡＵ５１が出力されず、上記ＡＵ５０’上の特殊再生開始時刻Ｔｏ’に続けて、特殊再生終了時刻Ｔｉ’以降のＡＵ５１’が出力されるような場合の表示タイミングを表している。
【００６９】
ここで、ジャンプの場合は、特殊再生中の再生速度が存在しないため、特殊再生制御部１からはデータ変換部７に対して特殊再生開始時刻および特殊再生終了時刻が指定される。特殊再生開始時刻は、前記式（３）により変換前の時間ｔ上における特殊再生開始時刻Ｔｏと、変換後の時間ｔ’上における特殊再生開始時刻Ｔｏ’間の換算が可能であるため、それら変換前後のどちらの時間上で指定しても構わない。また、特殊再生終了時刻は、変換前後の双方の時間上における特殊再生終了時刻ＴｉおよびＴｉ’を指定する。但し、変換後の時間ｔ’上における特殊再生終了時刻Ｔｏ’が、特殊再生開始時刻Ｔｉ’と等しい場合には、Ｔｉ’を指定しなくとも良い。
【００７０】
当該図５の例の場合、データ変換部７は、ジャンプの開始時刻Ｔｏ’と終了時刻Ｔｉ’の間のＡＵ５１を出力せず、また、ジャンプの開始時刻Ｔｏ’をまたいで表示されるＡＵ５０は、表示終了時刻がＴｏ’となるように時間情報を変更して出力するか、若しくは出力しない。さらに、ジャンプの終了時刻Ｔｉ’をまたいで表示されるＡＵ５２は、表示時刻がＴｉ’となるように時間情報を変更して出力するか、若しくは出力しない。
【００７１】
この図５の例のように、時間的に非連続な表示単位へ再生位置を移動するジャンプ等の特殊再生を行う場合においても、本実施の形態のデータ変換部７での時間情報の変換処理は前述同様に有効でありしたがって、復号端末１２においてはジャンプのための特別な処理無しに、通常再生時と同様の復号及び表示等を行えば、ジャンプを行った結果の表示結果等を得ることができる。
【００７２】
また、本発明によれば、シーンの構成を記述したシーン記述データを、特殊再生に応じて変換することにより、シーン記述データを特殊再生中においても配信し、復号等することが可能となり、したがって、特殊再生の開始時終了時に表示されるシーンが例えば不連続となるような不都合を回避可能となる。
【００７３】
なお、上述した例では、表示時刻や復号時刻等の時間情報がデータ自体に符号化されて付加されている場合、データ変換部７の時間情報書き換え部１９が、それら時間情報を書き換えて出力する例を挙げているが、その他に、例えば、時間情報が多重化部４によりデータへ付加される場合には、データ変換部７から多重化部４へ時間情報の変更を通知し、多重化部４がその変更後の時間情報をデータへ付加する。或いは、時間情報が送信部５によりデータへ付加される場合には、同様にデータ変換部７からそれら時間情報の変更を送信部５へ通知し、送信部５が当該変更後の時間情報を付加する。このことは、後述する他の各実施の形態においても同様に適用できる。
【００７４】
ところで、ビデオデータ、オーディオデータ、テキストデータ、グラフィックデータ等のマルチメディアデータ及びシーン記述データを配信し、復号して表示等するデータ配信システムにおいて、例え特殊再生中であっても、ビットレートなどの評価基準を満たすデータとして配信したいと云う要求がある。
【００７５】
すなわち、前記図３の例のような早送り再生中の配信データは、通常再生時の配信データに比べて時間軸上で圧縮されており、その平均ビットレートは通常再生時のものに比べて高くなり、その一方で、本実施の形態のように伝送媒体を介してデータを配信するシステムの場合は、伝送媒体の伝送容量や復号端末の能力に応じて配信時に許されるビットレートの上限が決まっており、例えば配信データのビットレートが上記配信に許されるビットレートの上限を超えてしまうと、データの遅延や損失が生してしまう。このような場合、例えば、上記配信データのビットレートに制限を加えれば、配信データのビットレートが上記配信時に許される上限ビットレートを超えてしまうことを防止できると考えられる。
【００７６】
また例えば、一定時間内の配信データ中に含まれるデータが相対的に増加すると、復号やシーン合成および表示の難易度が高くなるため、復号端末において正しく表示されなくなる危険性がある。このような場合、例えば上記配信データの復号、シーン合成、表示の難易度に制限を加えれば、復号端末において正しく表示されなくなる危険性を減らすことができると考えられる。
【００７７】
そこで、本発明の第２の実施の形態では、特殊再生中であってもビットレート等の評価基準を満たすようなデータを配信可能とすることにより、データの遅延や損失の発生を防止し、また、復号端末においてシーンを正しく表示可能としている。
【００７８】
図６には、本発明の第２の実施の形態にかかるデータ変換部７を備えたデータ配信システムのサーバ１０の詳細な構成を示す。
【００７９】
この図６において、データ変換部７は、上記特殊再生制御部１からのコントロール信号２の制御の元で上記記憶部９からデータを読み出す読み出し部１７と、出力データ中に符号化される時刻情報を特殊再生に応じて書き換える時間情報書き換え部１９の他に、ビットレートなどの評価基準に基づいて出力するＡＵを選択するスケジューラ１８を備える。なお、当該データ変換部７において、変換前の通常再生用データの時間から変換後の時間へ時間情報の変換を行い、その時間情報をデータ中に符号化して出力する処理は、第１の実施の形態の場合と同様である。
【００８０】
図７及び図８を用いて、第２の実施の形態の場合のデータ変換部７のスケジューラ１８における変換処理について説明する。
【００８１】
図７は図３と同様に表され、図７の（ａ）は、図３の（ａ）と同様に、変換前の時間ｔ上の通常再生用データの表示タイミングを表している。図７中のＡＵ７０，ＡＵ７１，ＡＵ７２，ＡＵ７３等はそれぞれデータの１表示単位を表している。また、図７の（ｂ），（ｃ），（ｄ）は、図３の（ｂ）と同様に、上記時間情報書き換え部１６による特殊再生（この場合はジャンプ）のための時間情報変換処理が行われると共に、本実施の形態のスケジューラ１８によって、配信時に許容されるビットレートに応じてＡＵが選択された場合の、変換済みデータの表示タイミングを表している。すなわち、この図７の（ｂ）には、早送り再生区間（特殊再生区間）においてスケジューラ１８によりＡＵ７１とＡＵ７２が選択されると共に、それらＡＵ７１，７２が時間情報書き換え部１６により時間情報変換処理されてＡＵ７１’，ＡＵ７２’となされ、その後のＡＵ７３’は通常再生区間となされた場合の表示タイミングを表している。また、図７の（ｃ）には、早送り再生区間においてスケジューラ１８によりＡＵ７１のみが選択されると共に、そのＡＵ７１が時間情報書き換え部１６により変換処理されてＡＵ７１’となされ、一方ＡＵ７２は出力されず、その後のＡＵ７３’は通常再生区間となされた場合の表示タイミングを表している。また、図７の（ｄ）には、早送り再生区間においてスケジューラ１８によりＡＵ７１とＡＵ７２の何れも選択されず、その後のＡＵ７３’が通常再生区間となされた場合の表示タイミングを表している。
【００８２】
ここで、図７の（ａ）に示す変換前の時間ｔ上での特殊再生区間（早送り再生区間）には、ＡＵ７１とＡＵ７２の２つのＡＵが存在し、前述の第１の実施の形態の場合は、それらＡＵ７１，ＡＵ７２の時間情報を特殊再生速度に応じて変換し、ＡＵ７１’，Ｕ７２’として出力する。しかし、例えば図８に示すように、特殊再生（図７および８の例では早送り再生）を行うと、その再生速度に応じて配信データのビットレートが変化することになる。このように変化したビットレートが、伝送媒体や復号端末の許容ビットレートを超えると、データの遅延や損失等が発生することになる。
【００８３】
そこで、本実施の形態のデータ変換部７が備えるスケジューラ１８は、配信データに許されるビットレートを満足するように、出力するＡＵと出力しないＡＵを選択する。例えば配信データに許されるビットレートが、ＡＵ７１のみを出力しＡＵ７２を出力しない場合のビットレートＢＲ８１以上で且つＡＵ７１およびＡＵ２の双方を出力した場合のビットレートＢＲ８０未満である場合、スケジューラ１８は、ＡＵ７２を出力しないことを決定する。この場合の変換出力は、図７の（ｃ）に示すようになる。また、配信データに許されるビットレートが、ＡＵ７１のみを出力しＡＵ７２を出力しない場合のビットレートＢＲ８１未満である場合、スケジューラ１８は、ＡＵ７１およびＡＵ７２の双方とも出力しないことを決定する。この場合の変換出力は、図７の（ｄ）に示すようになる。一方、配信データに許されるビットレートが、ＡＵ７１およびＡＵ７２の双方を出力した場合のビットレートＢＲ８０以上である場合、スケジューラ１８は、ＡＵ７１およびＡＵ７２の双方とも出力することを決定する。この場合の変換出力は、図７の（ａ）に示すようになる。このようにしてスケジューラ１８により選択されて出力されたＡＵは、その後、時間情報書き換え部１９により、前述したように特殊再生の再生速度に基づいて時間情報が変換される。
【００８４】
以上のように、第２の実施の形態によれば、ビットレートなどの評価基準を満たすように、通常再生用データ中の表示単位（ＡＵ）を選択して出力することにより、特殊再生中であってもビットレートなどの評価基準を満たすデータの配信が可能となっている。なお、評価基準はビットレートに限らない。例えば、一定時間に許されるポリゴン数やシーン記述データにおけるノードの数等の、データの復号やシーン合成，表示等の難易度を表す評価基準でも良い。また、テキストデータにおける文字数等、一定時間に出力可能なデータを制限可能な評価基準であっても良い。
【００８５】
さらに、本発明の第２の実施の形態のデータ変換部７は、上記のように出力する表示単位（ＡＵ）と出力しない表示単位を選択する際に、データが表示単位間の予測を用いずに符号化されている表示単位を優先して出力し、予測を用いて符号化されている表示単位を出力しないよう選択することもできる。これにより、復号端末では、上記予測を用いずに符号化されている表示単位を予測元とした予測復号が可能となる。
【００８６】
上記第２の実施の形態では、ＡＵを選択して出力するか否かにより、ビットレートなどの評価基準を満たす配信データを出力可能とする例を挙げたが、以下に説明する第３の実施の形態のように、ＡＵの内容自体を変換することにより、ビットレートなどの評価基準を満たす配信データを出力するようなことも可能である。
【００８７】
図９には、本発明の第３の実施の形態にかかるデータ配信システムのサーバ１０の詳細な構成を示す。
【００８８】
この図９において、サーバ１０は、前述の各実施の形態の何れかに対応するデータ変換部７の出力段に、フィルタ２３を備えること以外は、前記第１，第２の実施の形態と共通である。
【００８９】
上記フィルタ２３は、前述の第１又は第２の実施の形態のデータ変換部７によって特殊再生用に変換済みのデータ、すなわちＡＵ自体を、ビットレートなどの評価基準を満たすように変換する。なお、データ変換部７およびフィルタ２３は、複数存在しても構わない。すなわち、この第３の実施の形態のフィルタ２３は、第２の実施の形態のデータ変換部７のように、出力するＡＵと出力しないＡＵを選択するだけではなく、ＡＵ自体を変換することにより、ビットレートなどの評価基準を満たすデータを出力する。例えばテキストデータの場合、１つのＡＵに含まれる文字数を減じることにより、配信するデータ量を減じ、所望のビットレートを満足するデータへ変換して出力する。
【００９０】
本実施の形態によれば、ＡＵ自体を変換することにより、特殊再生中であってもビットレートなどの評価基準を満たすデータの配信が可能となっている。また、フィルタ２３に入力するＡＵは、第１又は第２の実施の形態のデータ変換部７により、既に特殊再生に応じて時間情報が変換済みであるため、復号端末１２側では特殊再生用に特別な処理を必要とせず、且つ、復号端末１２において特殊再生用の特別な処理無しに通常再生時と同様の復号及び表示等の処理を行っていれば、自動的に特殊再生用の表示等が実現できる。
【００９１】
以下に、上記フィルタ２３の具体例を説明する。
【００９２】
上記フィルタ２３の第１の具体例として、例えば、シーン記述中のデータを分割単位毎に扱い、伝送容量などの評価基準を満たすように分割単位毎にシーン記述を変換して出力するものを挙げることができる。当該第１の具体例のフィルタ２３を、本発明の第１又は第２の実施の形態のデータ変換部７と組み合わせて使用することにより、特殊再生中であってもビットレートなどの評価基準を満たすデータの配信が可能となる。
【００９３】
以下、本発明の第３の実施の形態に適用される上記第１の具体例のフィルタ２３の動作について説明する。
【００９４】
上記第１の具体例のフィルタ２３は、入力されたシーン記述を階層化情報に基づいて変換するものである。当該フィルタ２３は、シーン記述を出力する際に、復号端末１２の復号及び表示能力を示す復号端末情報を得る。上記復号端末情報とは、復号端末１２がシーン記述を表示する際の画枠や、ノード数の上限、ポリゴン数の上限、含まれるオーディオやビデオなどのマルチメディアデータの上限など、復号端末１２の復号及び表示能力を示す情報である。また、フィルタ２３には、復号端末情報の他に、シーン記述の配信に使用する伝送媒体２２の伝送容量を表す情報を加えた階層化情報が入力される。フィルタ２３は、上記階層化情報に基づいて、シーン記述入力を、階層構造を成すシーン記述データへ変換する。
【００９５】
第１の具体例のフィルタ２３を備えた第３の実施の形態のデータ配信システムによれば、上述のように、階層化情報に基づいてシーン記述を変換することにより、配信に使用される伝送媒体２２に適したシーン記述データを配信することが可能となり、また、復号端末１２の性能に合せたシーン記述を配信することが可能となる。
【００９６】
以下、フィルタ２３におけるシーン記述変換処理の手順を図１０に示す。
【００９７】
図１０において、フィルタ２３は、先ず、ステップＳ２００として、シーン記述を後述するような分割候補単位に分割する。図１０においては、分割候補の番号をｎで表す。また、入力されたシーン記述を複数の階層から成るシーン記述データへ変換するため、出力となるシーン記述データの階層をｍで表す。階層の番号ｍは０から開始し、番号が小さいほど基本的な階層を表すものとする。
【００９８】
次に、フィルタ２３は、ステップＳ２０１として、階層化情報に基づいて、分割候補ｎを現在の階層として出力可能であるか判断する。例えば、階層化情報によって現在の階層に許されるデータのバイト数が制限される場合には、分割候補ｎを加えても現在の階層の出力シーン記述が、上記制限されるバイト数以下であるかを調べる。このステップＳ２０１において、分割候補ｎを現在の階層に出力不可と判断された場合にはステップＳ２０２へ進み、一方、出力可能ならばステップＳ２０３へ進む。
【００９９】
ステップＳ２０２へ進むと、フィルタ２３は、階層の番号ｍを１進める。つまり、現在の階層ｍへの出力を終了し、以降は新しい階層のシーン記述データへ出力することとする。そして、ステップＳ２０３へ進む。
【０１００】
ステップＳ２０３に進むと、フィルタ２３は、現在の階層ｍへ、分割候補ｎを出力する。そして、ステップＳ２０４へ進む。
【０１０１】
ステップＳ２０４へ進むと、フィルタ２３は、全ての分割候補を処理したか否か判断し、処理したならば、変換処理を終了する。一方、まだ分割候補が残っているならば、ステップＳ２０５へ進む。
【０１０２】
ステップＳ２０５に進むと、フィルタ２３は、分割候補の番号ｎを１進める。つまり、次の分割候補を処理対象とする。そして、ステップＳ２０１から処理を繰り返す。
【０１０３】
ここで、ＭＰＥＧ４  ＢＩＦＳを例に取り、図１０に示したフィルタ２３でのシーン記述変換処理における分割について、図１１を用いて説明する。
【０１０４】
先ず、図１１のシーン記述データの内容から説明し、その後に、フィルタ２３でのシーン記述処理における分割の説明を行う。
【０１０５】
図１１において、ransformノード３０２は、三次元の座標変換を指定可能なノードで、そのtranslationフィールド３０３に座標原点の平行移動量を指定できる。フィールドには他のノードを指定可能なフィールドも存在し、シーン記述の構成は図１２のようなツリー構造を成す。図１２中の楕円はノードを表し、ノード間の破線はイベントの伝播経路を表し、ノード間の実線はノードの親子関係を表す。親ノードに対して、その親ノードのフィールドを表すノードを子ノードと呼ぶこととする。例えば図１１中のTransformノード３０２は、Transformノードにより座標変換される子ノード群を示すChildrenフィールド３０４があり、TouchSensorノード３０５およびShapeノード３０６が子ノードとしてグルーピングされている。このようにChildrenフィールドに子ノードをグルーピングするノードを、グルーピングノードと呼ぶ。グルーピングノードとは、ＩＳＯ／ＩＥＳ１４７７２−１の４．６．５章に定義されているノードで、ノードのリストから成るフィールドを持つノードを指す。ＩＳＯ／ＩＥＳ１４７７２−１の４．６．５章に定義されているように、フィールド名がChildrenではない特別な例外もあるが、以下、Childrenフィールドは、このような例外も含むものとして説明する。
【０１０６】
表示する物体をシーン中に配置するには、物体を表すノードを、属性を表すノードと共にグループ化し、配置位置を示すノードによりさらにグループ化する。図１１中のShapeノード３０６が表している物体は、その親ノードであるTransformノード３０２によって指定された平行移動を適用されて、シーン中に配置される。図１１のシーン記述は、球体を表すSphereノード３０７、立方体を表すBoxノード３１２、円錐を表すConeノード３１７および円柱を表すCylinderノード３２２を含んでおり、この例のシーン記述を復号及び表示した結果は図１３に示すようになる。
【０１０７】
シーン記述は、ユーザインタラクションを含むことも出来る。図１１中のROUTEは、イベントの伝播を表している。ROUTE３２３は、２という識別子を割り当てられたTouchSensorノード３０５のtouchTimeフィールドが変化した場合に、その値がイベントとして５という識別子を割り当てられたTimeSensorノード３１８のstartTimeフィールドへ伝播する、ということを示している。ＶＲＭＬではＤＥＦというキーワードに続く任意の文字列により識別子を表し、ＭＰＥＧ４  ＢＩＦＳでは、ノードＩＤ（nodeID）と呼ばれる数値が識別子として用いられる。TouchSensorノード３０５は、その親ノードであるTransformノード３０２のChildrenフィールド３０４にグルーピングされているShapeノード３０６をユーザが選択した場合に、選択した時刻をtouchTimeイベントとして出力する。このようにグルーピングノードによって付随したShapeノードと共にグルーピングされて働くセンサーを、以下、Sensorノードと呼ぶ。ＶＲＭＬにおけるSensorノードとは、ＩＳＯ／ＩＥＣ１４７７２−１の４．６．７．３章に定義されているPointing-device sensorsであり、付随したShapeノードとは、Sensorノードの親ノードにグルーピングされているShapeノードを指す。一方、TimeSensorノード３１８は、startTimeから１秒間の間、経過時間をfraction_changedベントとして出力する。
【０１０８】
ROUTE３２４により、TimeSensorノード３１８から出力された経過時間を表すfraction_changedイベントは、６という識別子を割り当てられたColorInterpolatorノード３１９のset_fractionフィールドへ伝播される。ColorInterpolatorノード３１９は、ＲＧＢ色空間の値を線形補間する機能を持つ。ColorInterpolatorノード３１９のkeyとkeyValueフィールドは、入力となるset_fractionフィールドの値が０の場合にはvalue_changedとしてＲＧＢの値［０００］をイベント出力し、入力となるset_fractionフィールドの値が１の場合にはvalue_changedとしてＲＧＢの値［１１１］をイベント出力することを表している。入力となるset_fractionフィールドの値が０と１の間の場合には、value_changedとしてＲＧＢの値［０００］と［１１１］の間を線形補完した値をイベント出力する。つまり、入力となるset_fractionフィールドの値が０．２の場合にはvalue_changedとしてＲＧＢの値［0.2 0.2 0.2］をイベント出力する。
【０１０９】
ROUTE３２５により、線形補間結果の値value_changedは、４という識別子を割り当てられたMaterialノード３１４のdiffuseColorフィールドへ伝播される。diffuseColorは、Materialノード３１４が属しているShapeノード３１１が表す物体表面の拡散色を表している。上記のROUTE３２３、ROUTE３２４およびROUTE３２５によるイベント伝播により、ユーザが表示されている球体を選択した直後から1秒の間、表示されている立方体のＲＧＢ値が、［０００］から［１１１］まで変化するというユーザインタラクションが実現される。このユーザインタラクションは、ROUTE３２３，ROUTE３２４，ROUTE３２５と、図１２中の太線枠で示したイベントの伝播に関連するノードにより表されており、このようにユーザインタラクションに必要なシーン記述中のデータを、以下、イベント伝播に必要なデータ、と呼ぶこととする。なお、太線枠で示した以外は、イベントに関連しないノードである。
【０１１０】
以上のように一例として挙げた図１１のシーン記述データについて、本実施の形態の第１の具体例のフィルタ２３では、図１０のステップＳ２００において、シーン記述を分割候補単位へ分割する。
【０１１１】
ここで、いわゆるNode Insertion commandを用いるために、グルーピングノードのChildrenフィールドを分割単位とする。ただし、ユーザインタラクションのためのイベント伝播に必要なデータは分割しないとすると、図１１に示す３つの分割候補Ｄ０，Ｄ１，Ｄ２となる。
【０１１２】
入力シーン記述中の最上位ノードであるGroupノード３００を含む分割単位を、ｎ＝０の分割候補Ｄ０とする。Transformノード３１５以下のノードをｎ＝１の分割候補Ｄ１とする。ｎ＝１の分割候補Ｄ１中のShapeノード３１６は、グルーピングノードであるTransformノード３１５のChildrenフィールドであるため、別個の分割候補とすることも可能である。
【０１１３】
ただし、この例ではTransformノード３１５がShapeノード３１６以外のChildrenフィールドを持たないことから、Shapeノード３１６を別の分割候補にはしていない。Transformノード３２０以下のノードをｎ＝２の分割候補Ｄ２とする。同様に、Shapeノード３２１以下を別の分割候補としても良い。
【０１１４】
ｎ＝０の分割候補Ｄ０は、階層ｍ＝０へ必ず出力される。ｎ＝１の分割候補Ｄ１は、図１０のステップＳ２０１により、階層化情報に基づいて、ｍ＝０の階層へ出力可能であるか判断される。
【０１１５】
次に、図１４には、階層化情報により、出力するシーン記述データの階層に許されるデータ量が指定される場合の判断例を示す。図１４中のＡの例では、階層ｍ＝０にｎ＝１の分割候補Ｄ１も出力したとすると、階層ｍ＝０に許されているデータ量を上回ってしまうことから、ｎ＝１の分割候補Ｄ１を階層ｍ＝０へ出力不可と判断する。
【０１１６】
従って、図１０のステップＳ２０２の手順により、図１４中のＢに示す階層ｍ＝０の出力はｎ＝０の分割候補Ｄ０のみを含むと決定され、以降は階層ｍ＝１に出力することとする。ステップＳ２０３の手順により、階層ｍ＝１へｎ＝１の分割候補Ｄ１を出力する。
【０１１７】
次のｎ＝２の分割候補Ｄ２についても同様の手順を行うと、図１４中のＡに示すように、階層ｍ＝１にｎ＝２の分割候補Ｄ２を出力しても、階層ｍ＝０と階層ｍ＝１の合計に許されるデータ量を超過しないため、図１４中のＣに示すように、ｎ＝２の分割候補Ｄ２は、ｎ＝１の分割候補Ｄ１と同じ階層ｍ＝１へ出力することが決定される。
【０１１８】
上記の手順により、フィルタ２３は、入力のシーン記述を、図１４中のＢに示す階層ｍ＝０の変換済みシーン記述データ出力と図１４中のＣに示す階層ｍ＝１の変換済みシーン記述データ出力との２階層から成るシーン記述データ出力へと変換する。
【０１１９】
また、図１５中のＡに示すシーン記述の変換例は、図１４のＡと同様のシーン記述入力に対して、異なる階層化情報に基づいて変換を行った結果、３階層から成るシーン記述データ出力へと変換された例を示している。
【０１２０】
すなわち、図１５中のＡに示したシーン記述は、図１４の場合と同様にして、図１５中のＢに示す階層ｍ＝０の変換済みシーン記述データ出力、図１５中のＣに示す階層ｍ＝１の変換済みシーン記述データ出力、図１５中のＤに示す階層ｍ＝２の変換済みデータ出力に変換される。
【０１２１】
この変換結果例において、シーン記述の配信に使用する伝送媒体の伝送容量が低く、階層ｍ＝０に許されるデータ量までしか伝送できない伝送媒体に対しては、図１５中のＢに示す階層ｍ＝０のシーン記述データのみを配信する。
【０１２２】
階層ｍ＝０のシーン記述のみであっても、ユーザインタラクションのためのイベント伝播に必要なデータは分割されていないために、復号端末１２において、変換前と同様のユーザインタラクションが実現できる。
【０１２３】
また、伝送容量が、ｍ＝０およびｍ＝１の階層を合計したデータ量に対して充分である伝送媒体に対しては、図１５中のＢに示したｍ＝０およ図１５中のＣに示したびｍ＝１双方の階層のシーン記述データを配信する。
【０１２４】
階層ｍ＝１のシーン記述データは、Node Insertion commandにより階層ｍ＝０のシーン記述に挿入されるため、復号端末１２においては変換前と同様のシーン記述を復号し、表示することが可能である。
【０１２５】
第１の具体例のフィルタ２３は、時間変化する階層化情報に基づいてシーン記述を変換することにより、伝送媒体２２の伝送容量が変化する場合にも適応することが可能となった。なお、伝送媒体２２に変換したシーン記述データを記録する場合にも同様の効果がある。
【０１２６】
また、図１５の変換結果例において、シーン記述を受信して復号及び表示する復号端末１２の復号及び表示能力が低く、階層ｍ＝０に許されるデータ量までしか復号及び表示できない復号端末１２に対しては、図１５中のＢに示した階層ｍ＝０のシーン記述データのみを配信することができる。
階層ｍ＝０のシーン記述のみであっても、ユーザインタラクションのためのイベント伝播に必要なデータは分割されていないために、復号端末１２において、変換前と同様のユーザインタラクションが実現できる。
【０１２７】
また、復号及び表示能力が、ｍ＝０およびｍ＝１の階層を合計したデータ量に対して充分である復号端末１２に対しては、図１５中のＢに示したｍ＝０および図１５中のＣに示したｍ＝１双方の階層のシーン記述データを配信する。
【０１２８】
階層ｍ＝１のシーン記述１００データは、Node Insertion commandにより階層ｍ＝０のシーン記述に挿入されるため、復号端末１２においては変換前と同様のシーン記述を復号し、表示することが可能である。
【０１２９】
以上のように第１のフィルタ２３によれば、時間変化する復号端末情報に基づいてシーン記述を変換することにより、復号端末１２の復号および表示能力が動的に変化したり、あらたな性能を持つ復号端末１２が配信対象に加えられた場合にも適応することが可能となった。
【０１３０】
なお、ＭＰＥＧ４  ＢＩＦＳにおいては、シーン記述を階層化するために、ノードを挿入するコマンドを使用しても良いし、Inlineノードを使用しても良い。また、ＩＳＯ／ＩＥＣ１４７７２−１の４．９章に記載のEXTERNPROTOを使用しても良い。EXTERNPROTOとは、外部のシーン記述データ中でPROTOと呼ばれるノード定義方法により定義したノードを参照する方法であり、ＭＰＥＧ４  ＢＩＦＳにおいてもＶＲＭＬと同様にEXTERNPROTOを使用することが出来る。
【０１３１】
また、ＩＳＯ／ＩＥＣ１４７７２−１の４．６．２章に記載のＤＥＦ／ＵＳＥは、ノードにＤＥＦにより名前を付け、シーン記述中の他の場所からＵＳＥによりＤＥＦしたノードを参照することを可能としている。
【０１３２】
ＭＰＥＧ４  ＢＩＦＳにおいてもノードにノードＩＤと呼ばれる数値の識別子をＤＥＦと同様に設け、シーン記述中の他の場所からノードＩＤを指定することによりＵＳＥと同様に使用するというＶＲＭＬと同様の参照が可能である。
【０１３３】
従って、シーン記述を階層化する際に、ＩＳＯ／ＩＥＣ１４７７２−１の４．６．２章に記載のＤＥＦ／ＵＳＥを使用している部分を異なる分割候補に分割しなければ、ＵＳＥからＤＥＦしたノードへの参照関係を壊すこと無く、シーン記述変換を行うことが可能である。
【０１３４】
図１４および図１５では、階層化情報として、各階層に許されるデータ量を用いた例を示したが、階層化情報はシーン記述中の分割候補をある階層のシーン記述データに含めて良いか判断できる情報であれば良く、例えば階層中に含まれるノード数の上限や、階層中に含まれるコンピュータグラフィックスにおけるポリゴンデータの数などでも良く、階層中に含まれるオーディオやビデオなどのメディアデータの制限でも良く、また複数の階層化情報を組み合わせても良い。
【０１３５】
以上のように、第１の具体例のフィルタ２３によれば、入力のシーン記述を複数の階層構造を成すシーン記述データに変換したことにより、シーン記述を伝送する際に、伝送容量を節約する目的で、シーン記述の階層構造を利用することが可能である。
【０１３６】
また、第１の具体例のフィルタ２３によれば、シーン記述を複数の階層から成るシーン記述データに変換しておき、データを削除する際には、削除すべきデータ量に達するまでの階層のシーン記述データのみを削除することにより、そのシーン記述が記述していたコンテンツの情報の一部を保存しておくことが可能となる。
【０１３７】
その他、以上説明したことは、シーン記述方法の種類に依存せず、分割可能なあらゆるシーン記述方法において有効である。
【０１３８】
次に、本発明の第３の実施の形態に適用される前記第２の具体例のフィルタ２３の動作について説明する。
【０１３９】
当該第２の具体例のフィルタ２３は、図１６に示すように、シーン記述処理部２４とＥＳ（Elementary Stream）処理部２５、及びそれらの動作を制御する制御部２６とを備え、シーン記述処理部２４によりシーン記述データを変更すると共に、シーン記述データ以外のマルチメディアデータをＥＳ処理部２５により変更可能となものを挙げることができる。ＥＳ処理部２５は、伝送容量や復号端末の能力に合わせてデータを異なるビットレートのデータへ再符号化するなどして変換を行うものである。また、シーン記述処理部２４は、例えば伝送媒体２２の伝送容量や復号端末１２の処理能力に合わせてシーン記述の内容を変換することにより、データ量の調節を行うものである。これらシーン記述処理部２４やＥＳ処理部２５を備えたフィルタ２３を、本発明の第１又は第２の実施の形態のデータ変換部７と組み合わせて使用することにより、特殊再生中であってもビットレートなどの評価基準を満たすデータの配信が可能となる。なお、この例の場合、図示は省略するが、復号端末１２の復号部１５には、ＥＳを復号してビデオデータやオーディオデータ等を復元するＥＳ復号部と、シーン記述を復号すると共にその復号されたシーン記述に基づいてビデオやオーディオデータ等を用いたシーンを構成するＥＳシーン記述復号部とを備えることになる。
【０１４０】
ここで、この第２の具体例のフィルタ２３を備えた第３の実施の形態のデータ配信システムは、伝送媒体２２の伝送可能帯域やトラフィックの混雑状態が変化する場合に、伝送するデータに遅延や損失が生じてしまうという問題に対処するために、以下のようなことを行うようになされている。
【０１４１】
サーバ１０の送信部５は、伝送路（伝送媒体２２）へ送出するデータのパケット毎に通し番号（符号化した通し番号）を付加する機能を有し、一方、復号端末１２の受信部１３は、受け取ったパケット毎に付加されている通し番号（符号化された通し番号）の欠落を監視することにより、データの損失（データ損失割合）を検出する機能を備えている。或いは、サーバ１０の送信部５は、伝送路へ送出するデータに時刻情報（符号化した時刻情報）を付加する機能を備え、一方、復号端末１２の受信部１３は、伝送路から受け取ったデータに付加されている時刻情報（符号化された時刻情報）を監視し、その時刻情報により伝送遅延を検出する機能を備える。復号端末１２の受信部１３は、このようにして伝送路のデータ損失割合、或いは伝送遅延等を検出すると、その検出情報をサーバ１０の送信部５へ送信（報告）する。
【０１４２】
また、サーバ１０の送信部５は、伝送状態検出機能を備え、当該伝送状態機能では、復号端末１２の受信部１３から送られてきた伝送路のデータ損失割合、或いは伝送遅延等の情報により、伝送路の伝送可能帯域やトラフィックの混雑状態を検出する。すなわち、伝送状態検出機能は、データ損失が高ければ伝送路が混雑していると判断し、或いは、伝送遅延が増加したならば伝送路が混雑していると判断する。また、帯域予約型の伝送路が使用されている場合、伝送状態検出機能は、サーバ１０が利用可能な空き帯域幅（伝送可能帯域）を直接知ることが出来る。なお、伝送帯域については、気象条件などに左右される電波などの伝送媒体が用いられた場合、気象条件などに応じてユーザが予め設定する場合もある。当該伝送状態検出機能での伝送状態の検出情報は、フィルタ２３の制御部２６へ送られる。
【０１４３】
制御部２６は、伝送路の伝送可能帯域やトラフィックの混雑状態の検出情報を元に、ＥＳ処理部２５において例えばビットレートの異なるＥＳが選択的に切り替えられるような制御を行ったり、或いは、ＥＳ処理部２５にてＩＳＯ／ＩＥＣ１３８１８（いわゆるＭＰＥＧ２）等の符号化が行われる場合にはその符号化ビットレートを調整するなどの制御を行う。すなわち、例えば伝送路が混雑していると検出された場合に、ＥＳ処理部２５からビットレートの低いＥＳを出力するようなことを行えば、データの遅延を回避することが可能となる。
【０１４４】
また例えば、サーバ１０に不特定多数の復号端末１２が接続されていて、それら復号端末１２の仕様が予め統一されておらず、様々な処理能力を持つ復号端末１２に向けて当該サーバ１０からＥＳを送信するようなシステム構成の場合、これら復号端末１２の受信部１３は伝送要求処理機能を備え、当該伝送要求処理機能は、自己の復号端末１２の処理能力に応じたＥＳを要求するための伝送要求信号をサーバ１０へ送信する。この伝送要求信号には、自己の復号端末１２の能力を表す信号も含まれる。当該伝送要求処理機能からサーバ１０へ渡される、自己の復号端末１２の能力を表す信号としては、例えばメモリサイズ、表示部の解像度、演算能力、バッファサイズ、復号可能なＥＳの符号化フォーマット、復号可能なＥＳの数、復号可能なＥＳのビットレートなどを挙げることができる。上記の伝送要求信号を受け取った送信部５は、その伝送要求信号をフィルタ２３の制御部２６へ送り、当該制御部２６は、復号端末１２の性能に適合するようなＥＳが送信されるように、ＥＳ処理部２５を制御する。なお、ＥＳ処理部２５が復号端末１２の性能に適合するようにＥＳを変換する際の画像信号変換処理については、例えば、本件出願人により既に提案がなされている画像信号変換処理方法がある。
【０１４５】
さらに、上記制御部２６は、送信部５の伝送状態検出機能により検出された伝送路の状態に応じて、ＥＳ処理部２５だけでなくシーン記述処理部２４もコントロールする。また、制御部２６は、復号端末１２が自己の復号，表示性能に応じたシーン記述を要求する復号端末である場合には、その復号端末１２の受信部１３の伝送要求処理機能から送られてきた当該復号端末自身の能力を表す信号に応じて、ＥＳ処理部２５およびシーン記述処理部２４をコントロールする。なお、制御部２６とシーン記述処理部２４、ＥＳ処理部２５は、一体の構成であっても良い。
【０１４６】
以下、制御部２６の制御の元で、ＥＳ処理部２５が、複数のＥＳの内から送信する特定のＥＳを選択する際の選択方法について説明する。
【０１４７】
上記制御部２６は、上記複数のＥＳの各ＥＳ毎に、伝送時の優先度を表す伝送優先度情報を保持しており、ＥＳを送信する際の伝送路の状態若しくは復号端末１２からの要求に応じて、上記伝送優先度の高い順に送信可能なＥＳを決定する。すなわち、制御部２６は、ＥＳを送信する際の伝送路の状態若しくは復号端末１２からの要求に応じて、上記伝送優先度の高い順に送信可能なＥＳが送信されるように、ＥＳ処理部２５をコントロールする。なおここでは、例えば制御部２６が伝送優先度情報を保持しているとして説明するが、記憶部９に記憶させておいても良い。
【０１４８】
図１７には、例えばＥＳａ、ＥＳｂ、ＥＳｃの３つのＥＳが存在する場合の各ＥＳの伝送優先度の一例を示している。すなわち、図１７の例では、ＥＳａの伝送優先度が「３０」、ＥＳｂの伝送優先度が「２０」、ＥＳｃの伝送優先度が「１０」となされている。それら伝送優先度は、値が小さいほど、伝送時の優先度が高いとする。また、図１７中のＲａはＥＳａを伝送する際の伝送ビットレートであり、ＲｂはＥＳｂを伝送する際の伝送ビットレートであり、ＲｃはＥＳｃを伝送する際の伝送ビットレートである。
【０１４９】
ここで、伝送路の状態や復号端末１２からの要求により、送信可能なビットレートＲが定まった場合、制御部２６は、伝送優先度が高い順に、上記伝送可能なビットレートＲを超えない範囲でＥＳが選択されて送信されるように、ＥＳ処理部２４をコントロールする。
【０１５０】
すなわち例えば、伝送可能なビットレートＲと、各ＥＳの伝送ビットレートとの関係が式（４）で表されるとき、制御部２６は、最も伝送優先度が高いＥＳｃのみを選択して送信するように、ＥＳ処理部２５をコントロールする。
【０１５１】
Ｒｃ≦Ｒ＜（Ｒｃ＋Ｒｂ）                      (4)
また例えば、伝送可能なビットレートＲと、各ＥＳの伝送ビットレートとの関係が式（５）で表されるとき、制御部２６は、最も伝送優先度が高いＥＳｃと次に（２番目に）伝送優先度が高いＥＳｂを選択して送信するように、ＥＳ処理部２５をコントロールする。
【０１５２】
（Ｒｃ＋Ｒｂ）≦Ｒ＜（Ｒｃ＋Ｒｂ＋Ｒａ）      (5)
また例えば、伝送可能なビットレートＲと、各ＥＳの伝送ビットレートとの関係が式（６）で表されるとき、制御部２６は、全てのＥＳを選択して送信するように、ＥＳ処理部２５をコントロールする。
【０１５３】
（Ｒｃ＋Ｒｂ＋Ｒａ）≦Ｒ                      (6)
このように、第３の具体例のフィルタ２３を備えた第３の実施の形態のデータ配信システムによれば、制御部２６がＥＳ毎に伝送優先度情報を保持し、ＥＳを送信する際の伝送路の状態や復号端末１２からの要求に応じて、その伝送優先度の高い順に送信可能なＥＳを決定することにより、複数存在するＥＳの内から重要なＥＳを優先して伝送することが可能となっている。
【０１５４】
上述の説明では、予め設定された優先度に基づいて、ＥＳの選択やシーン記述の変換を行う例を挙げているが、当該ＥＳの変換に伴って優先度を変更することも可能である。なお、ＥＳの変換に伴って優先度を変更する場合、当該優先度の変更は、例えばＥＳ処理部２５にて行う。
【０１５５】
図１８には、ＥＳａのビットレートをＲａ'になるよう変換したことに伴い、ＥＳ処理部２５により変換された伝送優先度の一例を示す。なお、図１８は、ＥＳａのビットレートを図１７の例のビットレートＲａよりも低いビットレートＲａとした場合を例に挙げており、当該ビットレートを低くしたことに伴って、伝送優先度を例えば高く変換（図１７では「３０」であったものを図１８では「１５」に変換）している。
【０１５６】
さらに、上記伝送優先度は、予め設定した値を制御部２６が保持しておく場合の他に、例えば、ＥＳのビットレートや画枠等の符号化パラメータに応じて設定することができる。例えば図１９に示すように、ＥＳのビットレートＲと伝送優先度の関係Ｐｓ（Ｒ）を保持しておくことにより、伝送優先度をＥＳのビットレートに応じて設定することもできる。すなわち例えば、ビットレートが高いほど伝送コストが高くなると考えられるため、図１９の例のように、ＥＳのビットレートが高いほど伝送優先度を低く割り当てることにより、伝送コストの低い（ビットレートの低い）ＥＳを優先して送信することが可能となる。
【０１５７】
また、画像データのようにＥＳ自体が明示的な画枠を持っている場合は、その画枠に応じて伝送優先度を設定することも可能である。例えば、図２０には、ＥＳの画枠領域Ｓと伝送優先度の関係Ｐｓ（Ｓ）の例を示しており、この画枠領域Ｓと伝送優先度の関係Ｐｓ（Ｓ）を保持しておくことにより、伝送優先度をＥＳの画枠に応じて設定することが出来るようになる。すなわち、一般に画枠が大きいほど伝送コストが高いと考えられるため、図２０の例のように、画枠が大きいほど伝送優先度を低く割り当てることにより、伝送コストが低くなると考えられるＥＳを優先して送信するようなことが可能となる。
【０１５８】
上述したように、ＥＳのビットレートや画枠などの符号化パラメータに応じて伝送優先度を設定する方法は、ＥＳ処理部２５がＥＳの変換に伴って伝送優先度を変更する際にも使用できる。例えば、ＥＳ処理部２５がビットレートＲａのＥＳをビットレートＲａ’へ変換したならば、図１９に示すように伝送優先度をＰｓ（Ｒａ’）へ変更することが出来る。
【０１５９】
また、伝送優先度は、動画像や静止画像、テキスト等のＥＳの種類や、ＥＳの符号化フォーマット毎に割り当てても良い。例えばテキストには常に最高の伝送優先度を割り当てるとすれば、伝送路の状態や復号端末からの要求によって伝送可能なビットレートが制限される場合でも、テキストデータは常に優先して送信することが可能となる。
【０１６０】
また、伝送優先度は、ユーザの嗜好に基づいて決定することもできる。すなわち、サーバ１０が、ユーザが好む動画像や静止画像、テキスト等のＥＳの種類や、ＥＳの符号化フォーマット、ＥＳの符号化パラメータ等の嗜好情報を保持しておくことにより、ユーザが好むＥＳの種類、符号化フォーマット、符号化パラメータを持つＥＳに高い伝送優先度を割り当てることができる。これにより、伝送路の状態や復号端末からの要求に応じて伝送可能なビットレートが制限される場合でも、ユーザの嗜好に合ったＥＳを優先的に送信し、高品質で表示させることが可能となる。
【０１６１】
上述したように、制御部２６がＥＳ毎に伝送優先度情報を保持し、送信する際の伝送路の状態若しくは復号端末１２からの要求に応じて、伝送優先度の高い順に送信可能なＥＳを決定することにより、重要なＥＳを優先して送信することが可能となっている。
【０１６２】
また、本発明の第３の実施の形態に適用される前記第３の具体例のフィルタ２３では、以下のようにして、特殊再生中であってもビットレートなどの評価基準を満たすデータの配信を可能とする。すなわち、この第３の具体例のフィルタ２３に設けられるシーン記述処理部２４は、制御部２６の制御の元で、以下に述べる第１〜第５のシーン記述処理を行うことができる。
【０１６３】
第１のシーン記述処理として、第３の具体例のフィルタ２３は、例えばＥＳ処理部２５より出力されるＥＳに適したシーン記述を出力可能となっている。すなわち、シーン記述処理部２４は、制御部２６の制御の元で、ＥＳ処理部２５より出力されるＥＳに適したシーン記述を出力可能となされている。以下、図２１〜図２５を用いて第１のシーン記述処理を具体的に説明する。
【０１６４】
図２１には、動画像ＥＳと静止画像ＥＳによって構成されたシーンの一表示例を示す。図２１中のＥｓｉはシーン表示領域を示し、図中のＥｍｖはシーン表示領域Ｅｓｉ内の動画像ＥＳ表示領域を、図中のＥｓｖはシーン表示領域Ｅｓｉ内の静止画像ＥＳ表示領域を示している。
【０１６５】
また、図２２には、図２１のシーン表示領域Ｅｓｉに対応したシーン記述を、ＭＰＥＧ４  ＢＩＦＳにて記述した場合の内容、テキストにて表す。
【０１６６】
この図２２に示したシーン記述は、２つの立方体を含み、それぞれの表面には、動画像と静止画像をテクスチャとして貼り付けることが指定されている。それぞれの物体は、Transformノードによって座標変換指定されており、図中の＃５００と＃５０２で示されたtranslationフィールドの値（ローカル座標の原点位置）により、その物体が平行移動してシーン中に配置される。また、図中の＃５０１と＃５０３で示された値（ローカル座標のスケーリング）により、Transformノードに含まれる物体の拡大，縮小が指定されている。
【０１６７】
ここで例えば、伝送路（伝送媒体２２）の状態若しくは復号端末１２からの要求によって配信データのビットレートを下げる必要が生じた場合において、例えば伝送時に多くのデータ量が必要となる動画像ＥＳのビットレートを下げるようなＥＳの変換処理を行ったとする。なお、この時点で静止画像については、例えば高解像度の静止画像ＥＳが既に伝送されており、復号端末側に蓄積されているとする。
【０１６８】
この場合、従来のデータ配信システムでは、ＥＳのビットレート調整の有無に関わらず同一のシーン構成で復号及び表示がなされるため、ビットレートが下げられた動画像は画質等の劣化が目立つようになる。すなわち、図２１の例を挙げて具体的に説明すると、従来のデータ配信システムでは、図２１中の動画像ＥＳ表示領域Ｅｍｖに表示されることになる動画像ＥＳのビットレートを下げるような調整が行われた場合であっても、その調整以前のものと同じシーン構成のままでＥＳの復号及び表示（実際のビットレートに見合わない広い動画像ＥＳ表示領域Ｅｍｖへの表示）がなされるため、動画像が粗く（例えば空間解像度が粗く）なり、画質の劣化が目立つようになる。
【０１６９】
これに対し、動画像ＥＳのビットレートを下げた場合に、例えば図２３に示すように、動画像ＥＳ表示領域Ｅｍｖを狭くするようなことを行えば、当該動画像ＥＳ表示領域Ｅｍｖに表示される動画像の画質劣化（この例の場合、空間解像度の劣化）を目立たなくすることが可能になると考えられる。また、本実施の形態の場合、静止画像については、既に静止画像ＥＳが伝送されて復号端末に蓄積されているが、当該静止画像が例えば高解像度画像であり、図２１中の静止画像ＥＳ表示領域Ｅｓｖが当該解像度には見合わない狭い領域であったような場合には、例えば図２３に示すように静止画像ＥＳ表示領域Ｅｓｖを広くすれば、その解像度を十分に活かすことができると考えられる。このように、動画像ＥＳ表示領域Ｅｍｖを狭くし、また、静止画像ＥＳ表示領域Ｅｓｖを広くするような対処は、シーン記述をそのような内容を表すシーン記述に変更しなければ実現できない。
【０１７０】
そこで、第３の具体例のフィルタ２３に設けられているシーン記述処理部２４は、ＥＳ処理部２５におけるＥＳのビットレート調整に応じて、シーン記述を動的に変更して出力するようなことを行う。言い換えると、この第３の具体例における制御部２６では、ＥＳ処理部２５を制御してＥＳのビットレート調整を行わせた場合、そのＥＳ処理部２５から出力されるＥＳに適したシーン記述が出力されるようにシーン記述処理部２４を制御することをも行う。これにより、上述の例のように動画像のビットレートを下げたときの画質の劣化を目立たなくしている。なお、この例では、既に伝送済みの静止画像の解像度を活かすために、図２３に示すように動画像ＥＳ表示領域Ｅｍｖを狭くし、一方、静止画像ＥＳ領域Ｅｓｖを広くする、というような対応を実現している。
【０１７１】
図２４を用いて、上述したことを実現する制御部２６の具体的な動作を説明する。
【０１７２】
図２４において、伝送路の状態若しくは復号端末１２からの要求によって配信データのビットレートを下げる必要が生じた場合、制御部２６は、時刻Ｔにおいて、動画像ＥＳ２９２よりもビットレートを下げた動画像ＥＳ２９３が出力されるようにＥＳ処理部２５を制御する。
【０１７３】
また、制御部２６は、時刻Ｔにおいて、図２１のシーン表示領域Ｅｓｉに対応したシーン記述２９０を、図２３のシーン表示領域Ｅｓｉに対応したシーン記述２９１へ変更するように、シーン記述処理部２４を制御する。すなわちこのときのシーン記述処理部２４は、制御部２６の制御の元で、図２１のシーン表示領域Ｅｓｉを表す前述の図２２に示したシーン記述を、図２３のシーン表示領域Ｅｓｉを表す図２５に示すようなシーン記述へ変換する。なお、この図２５のシーン記述も図２２の場合と同様に、ＭＰＥＧ４  ＢＩＦＳにて記述されるシーン記述の内容テキストで示している。
【０１７４】
前述の図２２のシーン記述と比較して、図２５に示したシーン記述では、図中＃６００と＃６０２で示されたtranslationフィールドの値（ローカル座標の原点位置）が変更されていることにより、２つの立方体を移動させ、図中＃６０１と＃６０３で示されたtranslationフィールドの値（ローカル座標のスケーリング）により、表面に動画像（図２３のＥｍｖ）を貼り付けた立方体を小さく変換し、代わりに表面に静止画像（図２３のＥｓｖ）を貼り付けた立方体を大きく変換している。
【０１７５】
この第１のシーン記述処理のように、例えば図２２に示したシーン記述から図２５に示したシーン記述への変換処理は、シーン記述処理部２４において、予め記憶部９に記憶されている複数のシーン記述のなかからＥＳ処理部２５より出力されるＥＳに対応したシーン記述（図２５のシーン記述）を選択的に読み出して送出する処理、若しくは、記憶部４から読み出されているシーン記述（図２２のシーン記述）を、ＥＳ処理部２５より出力されるＥＳに対応したシーン記述（図２５のシーン記述）に変換して送出する処理、或いは、ＥＳ処理部２５が出力するＥＳに対応するシーン記述データ（図２５のシーン記述）を生成若しくは符号化して送出する処理などを行うことにより実現される。なお、シーン記述の変化分のみを記述可能なシーン記述方法を用いている場合には、その変化分のみを送信するようにしても構わない。また、上述の例では、動画像ＥＳのビットレートを下げたときにその動画像ＥＳ表示領域Ｅｍｖを狭める場合について説明を行ったが、逆に、ビットレートを上げたときに動画像ＥＳ表示領域Ｅｍｖを広げるような場合であっても当然に本発明にかかるシーン記述変換を適用できる。さらに、上述の例では、高解像度の静止画像ＥＳが予め伝送されて蓄積されているとして説明を行ったが、例えば、予め伝送されて蓄積されている静止画像が低解像度のものであった場合、新たに高解像度の静止画像ＥＳを伝送し、且つ、それに対応するシーン記述を伝送するようにしても良いことは言うまでもない。その他、本実施の形態では動画像と静止画像を例に挙げたが、本発明は他のマルチメディアデータのビットレート調整に応じてシーン記述を変更する場合も含まれる。
【０１７６】
以上、図２１〜図２５を用いて説明した第１のシーン記述処理によれば、シーンの構成情報を表すシーン記述を変換処理することにより、伝送路の状態や復号端末１２からの要求に合わせたシーン記述を送信可能となる上、例えばＥＳ処理部２５にてＥＳの変換が行われた場合には、その変換後のＥＳに最適なシーン記述を送信することが可能となる。
【０１７７】
次に、第２のシーン記述処理について説明する。
【０１７８】
例えば、伝送路や復号端末１２の状態に応じてＥＳ処理部２５よりＥＳのビットレートなどを変換してＥＳの復号に必要な情報が変化した場合、フィルタ２３は、第２のシーン記述処理として、そのＥＳの復号に必要な情報を含むシーン記述自体も変換して送信することにより、復号端末側でＥＳのデータ自体から復号に必要な情報を抽出する必要性を無くしている。すなわち、シーン記述処理部２４は、制御部２６の制御の元で、ＥＳ処理部２５でＥＳ変換処理が行われて当該ＥＳの復号に必要な情報が変化した場合、そのＥＳの復号に必要な情報を含むシーン記述を出力可能となされている。なお、ＥＳの復号に必要な情報とは、例えばＥＳの符号化フォーマット、復号に必要なバッファサイズ、ビットレートなどである。以下、前述した各図と図２６及び図２７を用いて、第２のシーン記述処理を具体的に説明する。
【０１７９】
図２６は、前述の図２１及び図２２にて説明したようなシーンで使用されるＥＳの復号に必要な情報の例を、ＭＰＥＧ４で定められている記述子ObjectDescriptorで記述したものである。図２２のシーン記述中で、物体表面にテクスチャとしてマッピングする動画像は３（=url3)という数値で指定されているが、これは図２６のObjectDescriptorの識別子であるODid=3に対応付けられる。識別子ODid=3のObjectDescriptor内に含まれるES_Descriptorは、ＥＳに関する情報を記述している。また、図中のES_IDは、ＥＳを一意に特定する識別子である。この識別子ES_IDはさらに、例えばＥＳを伝送するために使用している伝送プロトコル中のヘッダの識別子やポート番号等と関連付けることで、実際のＥＳに対応付けされる。
【０１８０】
また、ES_Descriptorの記述中には、DecoderConfigDescriptorというＥＳの復号に必要な情報の記述子が含まれる。当該記述子DecoderConfigDescriptorの情報は、例えばＥＳの復号に必要なバッファサイズや最大ビットレート、平均ビットレートなどである。
【０１８１】
一方、図２７は、前述の図２３に示したシーンに対応する、シーン記述処理部２４での変換処理後のシーン記述に付随するＥＳの復号に必要な情報の例を、ＭＰＥＧ４で定められている記述子ObjectDescriptorにより記述したものである。ＥＳの変換によって変化した動画像（ODidが3でシーン記述中から参照される）の復号バッファサイズ（bufferSiseDB）、最大ビットレート（maxBitRate）および平均ビットレート（avgBitRate）が、上記変換前の図２６に示したObjectDescriptor中の記述から図２７のように変換されている。すなわち、図２６の例では、bufferSiseDB=4000、maxBitRate=1000000、avgBitRate=1000000となっていたものが、図２７では、bufferSiseDB=2000、maxBitRate=5000000、avgBitRate=5000000に変換されている。
【０１８２】
この第２のシーン記述処理のように、シーン記述に付随するＥＳの復号に必要な情報の変換処理は、シーン記述処理部２４において、予め記憶部９に記憶されている複数のＥＳの復号に必要な情報のなかから、ＥＳ処理部２５より出力されるＥＳに対応した情報（図２７の情報）を選択的に読み出して送出する処理、若しくは、記憶部９から読み出されているＥＳの復号に必要な情報（図２６の情報）を、ＥＳ処理部２５より出力されるＥＳの復号に必要な情報（図２７の情報）に変換して送出する処理、或いは、ＥＳ処理部２５が出力するＥＳの復号に必要な情報（図２７の情報）を符号化して送出する処理などを行うことにより実現される。
【０１８３】
以上、説明した第２のシーン記述処理によれば、伝送路や復号端末１２の状態に応じてＥＳのビットレートなどを変換することによりＥＳの復号に必要な情報が変化した場合、図２７に示すように、シーン記述中に含まるＥＳの復号に必要な情報を変更して復号端末１２へ送信することにより、復号端末１２側でＥＳのデータ自体からＥＳ復号に必要な情報を抽出する必要性を無くすことが可能となっている。
【０１８４】
次に、第３のシーン記述処理について説明する。
【０１８５】
第３のシーン記述処理として、フィルタ２３は、シーンを構成するＥＳの数を増減するように明示的にシーン記述を変換して出力することにより、伝送帯域に見合うＥＳのみを送信可能にし、一方、復号端末１２においては、表示等に必要なＥＳをＥＳデータの到着遅れやデータの損失に依存せずに判断することを可能としている。すなわち、この例のシーン記述処理部２４は、制御部２６の制御の元で、ＥＳの数を増減するように明示的にシーン記述を変換して出力し、復号端末１２の復号部１５に設けられるシーン記述復号機能は、表示等に必要なＥＳをＥＳデータの到着遅れやデータの損失に依存せずに判断する。以下、前述した各図と図２８及び図２９を用いて第３のシーン記述処理を具体的に説明する。
【０１８６】
図２８は、前述の図２１及び図２２で説明したようなシーンから、例えば、動画像のＥＳを削除した場合のシーン記述を、ＭＰＥＧ４  ＢＩＦＳで記述（分かり易くテキストとして記述）したものである。また、図２９は、図２８のシーン記述に基づいて表示されるシーンの一例を表し、シーン表示領域ＥｓｉにはイメージＥＳ表示領域（例えば静止画像ＥＳ表示領域）Ｅｉｍのみが配されている。図２８のシーン記述中で使用されるＥＳはODidが４のＥＳのみであることがシーン記述から判断可能であるため、復号端末１２においては、ODidが３の動画像ＥＳデータが到着しなくとも、それがＥＳデータの到着遅れやデータの損失に依るものではないと判断することが出来る。さらに、図２６や図２７の例のようなODidが３のObjectDescriptorの記述を削除することにより、ODidが３の動画像ＥＳは不要となったと判定することが出来る。
【０１８７】
また、この第３のシーン記述処理の例において、シーンを復号して構成するための処理負荷を一時的に減じたいとの伝送要求が復号端末１２から伝送された場合、フィルタ２３では、例えば図２２に示したシーン記述を図２８に示したシーン記述に変更することにより、動画像をシーン中にテクスチャとしてマッピングする処理を明示的に不要とすることを復号端末１２に知らせることが出来る。これにより、復号端末１２では、シーンを復号する処理負荷を減らすことが可能となる。
【０１８８】
この第３のシーン記述処理のように、前述の図２２に示したシーン記述から図２８に示したシーン記述への変換処理は、シーン記述処理部２４において、予め記憶部９に用意されている複数のシーン記述のなかから、ＥＳ処理部２５より出力されるＥＳ数に対応付けられているシーン記述（図２８のシーン記述）を選択的に読み出して送出する処理、若しくは、記憶部９から読み出されたシーン記述を入力とし、出力しないＥＳに対応する部分データ（シーン記述中のデータ）を削除したシーン記述（図２８のシーン記述）へ変換して出力する処理、或いは、シーン記述を符号化出力する場合には、出力しないＥＳに対応する部分を符号化しない処理を行うことにより実現できる。
【０１８９】
以上説明したように、第３のシーン記述処理によれば、上述のようにシーン記述を変換することにより、サーバ１０側で意図した通りのシーンを、意図したタイミングにおいて復号端末１２側で復元することが可能となる。また、第３のシーン記述処理によれば、シーン記述処理部２４において、伝送帯域若しくは復号端末１２の処理性能に適合するまで、シーン記述中の重要度の低い部分データから順に削除することが可能となる。また、第３のシーン記述処理によれば、復号端末１２の処理性能に余裕が生じた場合には、より詳細なシーン記述を送信することが可能となり、それによって復号端末１２の処理性能に対して最適なシーンを復号、表示等させることが可能となる。
【０１９０】
次に、第４のシーン記述処理について説明する。
【０１９１】
第４のシーン記述処理として、本実施の形態のサーバ１０側では、伝送路の状態や復号端末１２からの要求に応じて、シーン記述の複雑さを変換することにより、シーン記述のデータ量を調整し、かつ復号端末１２における処理負荷を調整可能としている。すなわちこの例のシーン記述処理部２４は、制御部２６の制御の元、伝送路の状態や復号端末１２からの要求に応じて、シーン記述のデータ量を調整して出力する。以下、図３０〜図３３を用いて第４のシーン記述処理を具体的に説明する。
【０１９２】
図３０は、ポリゴンで記述した物体を表示するためのシーン記述を、ＭＰＥＧ４  ＢＩＦＳで記述（分かり易くテキストとして記述）したものである。なお、図３０の例では、簡略化のために、ポリゴンの座標は省略している。なお、図３０のシーン記述において、IndexedFaceSetとは、Coordinate中のpointで指定した頂点座標を、CoordIndexで指定した順番に接続してできる幾何物体を表している。また、図３１は、図３０のシーン記述を復号することにより表示されるシーンの表示例（ポリゴンの物体の表示例）を示す。
【０１９３】
この第４のシーン記述処理の例において、伝送路の状態により、例えばサーバ１０が送信するデータ量を減じたい場合、或いは、処理負荷を下げたいとの伝送要求が復号端末１２から伝送された場合、フィルタ２３のシーン記述処理部２４では、シーン記述を、より簡易なシーン記述へと変換する。例えば、図３２に示すシーン記述の例では、図３１のようなポリゴンを表すIndexedFaceSetを、図３３に示すような球体を表すSphereで置き換えることにより、シーン記述のデータ量自体を減じ、且つ復号端末１２における復号処理とシーンの構成を行うための処理の負荷を軽減可能となっている。すなわち、図３１のようなポリゴンの場合は、多面体を表す各値が必要になるのに対し、図３３に示すような球体の場合には、それらが不要となるため、シーン記述のデータ量を減らすことができる。また、復号端末１２側では、多面体を表示するための複雑な処理が、球体を表示するための簡単な処理になり、処理負担が軽減されている。
【０１９４】
この第４のシーン記述処理のように、上記図３０に示したシーン記述から図３２に示したシーン記述への変換処理は、シーン記述処理部２４において、例えば予め記憶部９に用意されている複数のシーン記述のなかから、伝送路の状態や復号端末１２からの要求に適した評価基準を満たすシーン記述を選択して出力すること、或いは、記憶部９から読み出されたシーン記述を入力とし、上記評価基準を満たすシーン記述へ変換したり、或いは、上記評価基準を満たすシーン記述を符号化出力することにより実現できる。なお、上記評価基準とは、シーン記述のデータ量や、ノードやポリゴンの数などのシーン記述の複雑さを表す基準であれば良い。
【０１９５】
また、シーン記述処理部２４におけるシーン記述の複雑さを変換する他の処理手法としては、図３２のように複雑な部分データを簡易な部分データで置き換える処理若しくはその逆の処理、或いは、部分データを取り除く処理若しくはその逆の処理、或いはシーン記述を符号化する場合には量子化ステップを変更することによってシーン記述データのデータ量を調整するような処理などであっても良い。なお、符号化時の量子化ステップ調整によるシーン記述のデータ量制御は、例えば次のようにして実現できる。例えばＭＰＥＧ４  ＢＩＦＳでは、座標や回転軸と角度、サイズ等の量子化カテゴリ毎に、量子化の使用／不使用や使用ビット数を表す量子化パラメータを設定することが可能であり、且つ１つのシーン記述中でも量子化パラメータを変更することができるとされているので、例えば量子化に使用するビット数を小さくすれば、シーン記述のデータ量を減じることが可能となる。
【０１９６】
以上説明したように、第４のシーン記述処理によれば、シーン記述を変換することにより、サーバ１０側で意図した通りに簡易化したシーンを、復号端末１２側で復元することが可能となる。また、第４のシーン記述処理によれば、シーン記述処理部２４において、伝送帯域若しくは復号端末１２の処理性能に適合するまで、シーン記述中の重要度の低い部分データから順に削除することが可能となる。
【０１９７】
次に、第５のシーン記述処理について説明する。
【０１９８】
第５のシーン記述処理として、サーバ１０側では、伝送路の状態や復号端末１２からの要求に応じて、シーン記述を複数の復号単位に分割することにより、シーン記述データのビットレートを調整し、且つ復号端末１２における局所的な処理負荷の集中を回避可能としている。すなわち、この例のシーン記述処理部２４は、制御部２６の制御の元、伝送路の状態や復号端末１２からの要求に応じて、シーン記述を複数の復号単位に分割し、それら分割した復号単位のシーン記述の送出タイミングを調整して出力する。なお、ある時刻に復号すべきシーン記述の復号単位は前記符号化単位のＡＵと同じである。以下、図３４〜図３８を用いて第５のシーン記述処理を具体的に説明する。
【０１９９】
図３４には、例えば球体、立方体、円錐、円柱の４つの物体を表すシーン記述を、ＭＰＥＧ４  ＢＩＦＳの１つのＡＵで記述したものである。また、図３５は、図３４のシーン記述を復号して表示されるシーンの表示例を示し、球体４１、立方体４２、円錐４４、円柱４３の４つの物体が表示されている。この図３４に示した１つのＡＵに記述されたシーンは、指定された復号時刻において全て復号し、指定された表示時刻において表示に反映しなければならない。なお、この復号時刻（ＡＵをデコードして有効にすべき時刻）は、ＭＰＥＧ４においてはＤＴＳ（Decoding Time Stamp）と呼ばれている。
【０２００】
この第５のシーン記述処理の例において、伝送路の状態若しくは復号端末１２からの要求により、例えば送信するデータのビットレートを減じたい場合、或いは復号端末１２における局所的な処理負荷を下げたい場合、フィルタ２３のシーン記述処理部２４では、シーン記述を複数のＡＵへ分割し、ＡＵ毎のＤＴＳをずらすことにより、シーン記述の局所的なビットレートを伝送路の状態若しくは復号端末１２からの要求に見合うビットレートへ調整し、ＤＴＳ毎の復号処理に必要な処理量を復号端末１２からの要求に見合う処理量へ調整する。
【０２０１】
すなわち、シーン記述処理部２４は、先ず例えば図３４に示したシーン記述を、図３６に示すように４つのＡＵ１〜ＡＵ４に分割する。ここで、第１のＡＵ１は、グルーピングを行っているGroupノードに１というＩＤを割り当て、後続のＡＵから参照することを可能とすることが記述されている。ＭＰＥＧ４  ＢＩＦＳでは、参照可能なグルーピングノードに対して、後から部分シーンを追加していくことが可能となされている。第２のＡＵ２から第４のＡＵ４は、部分シーンを第１のＡＵ１で定義されているＩＤが１のGroupノードのChildrenフィールドへ追加するコマンドが記述されている。
【０２０２】
次に、シーン記述処理部２４は、上述の第１のＡＵ１〜第４のＡＵ４について、それぞれ図３７に示すようにＤＴＳをずらして指定する。すなわち、第１のＡＵ１に対しては第１のＤＴＳ１を指定し、第２のＡＵ２に対しては第２のＤＴＳ２を、第３のＡＵ３に対しては第３のＤＴＳ３を、第４のＡＵ４に対しては第４のＤＴＳ４を指定する。これにより、サーバ１０から復号端末１２への局所的なシーン記述データのビットレートは減じられ、且つ、復号端末１２ではＤＴＳ毎に発生する局所的な復号処理の負荷が減じられる。
【０２０３】
なお、図３６のように４つに分割されたシーン記述を、それぞれＤＴＳ１〜ＤＴＳ４にて復号して表示されるシーンは、図３８に示すように、ＤＴＳ毎に物体が追加され、最後のＤＴＳ４において図３５と同様のシーンが得られることになる。すなわち、ＤＴＳ１では球体４１が表示され、ＤＴＳ２ではさらに立方体４２が追加され、ＤＴＳ３ではさらに円錐４４が追加され、ＤＴＳ４ではさらに円柱４３が追加されることで、最終的に４つの物体が表示される。
【０２０４】
この第５のシーン記述処理のように、上記図３４に示したシーン記述から図３６に示したシーン記述への変換処理は、シーン記述処理部２４において、例えば予め記憶部９に用意されている複数のシーン記述のなかから、伝送路の状態や復号端末１２からの要求に適した評価基準を満たすシーン記述を選択して出力すること、或いは、記憶部９から読み出されたシーン記述を入力とし、上記評価基準を満たすまで分割したシーン記述（ＡＵ１〜ＡＵ４）へ変換したり、或いは、上記評価基準を満たすまで分割したシーン記述（ＡＵ１〜ＡＵ４）をそのＡＵ毎に符号化出力することにより実現できる。なお、この第５のシーン記述処理における上記評価基準とは、１つのＡＵのデータ量や、１つのＡＵに含まれるノードの数、物体の数、ポリゴン数等、１つのＡＵに含めるシーンの限界を表す基準であれば良い。
【０２０５】
以上説明したように、当該第５のシーン記述処理によれば、シーン記述を複数のＡＵへ分割し、ＡＵ毎のＤＴＳの間隔を調整することにより、シーン記述の平均ビットレートを制御することが可能であり、また、復号端末１２の局所的な復号処理の負担を軽減可能である。なお、平均ビットレートは、ある時間間隔中に含まれるＤＴＳを持つＡＵのデータ量の合計を、上記時間間隔で除算することにより算出可能であるため、シーン記述処理部２４では、伝送路の状態や復号端末１２からの要求に適した平均ビットレートを実現するようにＤＴＳの間隔を調節することができる。なお、上述の例では、ＡＵを分割する例を挙げたが、逆に複数のＡＵを結合するようなことも可能である。
【０２０６】
上述の説明では、第１〜第５のシーン記述処理を個々に行う例を挙げているが、それら各シーン記述処理を任意に組み合わせて、複数個のシーン記述処理を同時に行うことも可能である。この場合は、それら組み合わせたシーン記述処理それぞれの前述した作用効果を同時に実現することが可能となる。
【０２０７】
また、本実施の形態では、シーン記述の例としてＭＰＥＧ４  ＢＩＦＳを挙げているが、本発明はこれに限定されるものではなく、あらゆるシーン記述方法に対しても適用可能である。また例えば、シーン記述の変化分のみを記述可能なシーン記述方法を用いている場合には、その変化分のみを送信する場合も本発明は適用可能である。
【０２０８】
さらに、上述した本発明実施の形態は、ハードウェア構成によっても、また、ソフトウェアによっても実現可能である。
【０２０９】
また、上述の説明では、シーン記述の例としてＨＴＭＬやＭＰＥＧ４  ＢＩＦＳを挙げているが、その他にＶＲＭＬ、Ｊａｖａ（商標）など、あらゆるシーン記述方法に対しても適用可能である。
【０２１０】
また、本発明は、ビデオデータ、オーディオデータ、静止画像データ、テキストデータ、グラフィックデータ、シーン記述データなどのデータのタイプに依らず、かつあらゆるデータの符号化方法に対して有効である。さらに、本発明は、ハードウェアによってもソフトウェアによっても実現可能である。
【０２１１】
【発明の効果】
本発明においては、受信側にて通常再生を行うときには当該通常再生に使用するデータを出力し、受信側にて特殊再生を行うときには通常再生に使用するデータの符号化単位の再生に関連する時間情報を特殊再生に応じて変換して出力することにより、受信側において特殊再生を行う場合に、例えばビデオ以外のデータの復号及び表示等が可能となり、また、シーン記述データを配信、復号等することができ、さらに、データ間の同期関係を保持し、伝送ビットレートなどの評価基準を満たすデータとして配信することが可能となっている。
【図面の簡単な説明】
【図１】本発明実施の形態のデータ配信システムの構成例を示すブロック図である。
【図２】第１の実施の形態のデータ配信システムのサーバの詳細な構成を示すブロック図である。
【図３】第１の実施の形態において早送り再生を行う場合の時間情報の変換処理の説明に用いる図である。
【図４】第１の実施の形態においてスロー再生を行う場合の時間情報の変換処理の説明に用いる図である。
【図５】第１の実施の形態においてジャンプを行う場合の時間情報の変換処理の説明に用いる図である。
【図６】第２の実施の形態のデータ配信システムのサーバの詳細な構成を示すブロック図である。
【図７】第２の実施の形態において早送り再生を行う場合の時間情報の変換処理の説明に用いる図である。
【図８】第２の実施の形態において早送り再生を行う場合のビットレートの変化の説明に用いる図である。
【図９】第３の実施の形態のデータ配信システムのサーバの詳細な構成を示すブロック図である。
【図１０】第３の実施の形態の第１の具体例のフィルタにおける分割処理の流れを示すフローチャートである。
【図１１】第１の具体例のフィルタにおいてＭＰＥＧ４  ＢＩＦＳによるシーン記述の分割候補の説明に用いる図である。
【図１２】図１１のシーン記述の構造説明に用いる図である。
【図１３】図１１のシーン記述の復号及び表示結果を表す図である。
【図１４】図１１のシーン記述の変換結果を表す図である。
【図１５】図１１のシーン記述の異なる変換候補を表す図である。
【図１６】第３の実施の形態の第２の具体例のフィルタの詳細な構成を示すブロック図である。
【図１７】第２の具体例のフィルタにおける伝送優先度とビットレートと３つのＥＳとの関係説明に用いる図である。
【図１８】ビットレートの変更と伝送優先度の変更の説明に用いる図である。
【図１９】ＥＳのビットレートＲと伝送優先度の関係Ｐｓ（Ｒ）を示す図である。
【図２０】ＥＳの画枠領域Ｓと伝送優先度の関係Ｐｓ（Ｓ）を示す図である。
【図２１】第１のシーン記述処理における変換前のシーン記述によるシーン表示結果を示す図である。
【図２２】図２１のシーンに対応したシーン記述（MPEG4 BIFS）の例を表す図である。
【図２３】第１のシーン記述処理における変換後のシーン記述によるシーン表示結果を示す図である。
【図２４】第１のシーン記述処理におけるＥＳ変換とシーン記述変換のタイミングの説明に用いる図である。
【図２５】図２３のシーンに対応したシーン記述（MPEG4 BIFS）の例を表す図である。
【図２６】図２１のシーンに対応するＥＳの復号に必要な、図２２のシーン記述に付随する情報（MPEG4 ObjectDescriptor）の例を表す図である。
【図２７】図２３のシーンに対応するＥＳの復号に必要な、図２５のシーン記述に付随する情報（MPEG4 ObjectDescriptor）の例を表す図である。
【図２８】図２１及び図２２で説明したシーンから動画像のＥＳを削除した場合のシーン記述（MPEG4 BIFS）の例を表す図である。
【図２９】図２８のシーン記述による表示結果を示す図である。
【図３０】ポリゴンで記述した物体を表示するためのシーン記述（MPEG4 BIFS）の例を表す図である。
【図３１】図３０に示すシーン記述による表示結果を示す図である。
【図３２】ポリゴンで記述した物体を球体で置換したシーン記述（MPEG4 BIFS）の例を表す図である。
【図３３】図３２に示すシーン記述による表示結果を示す図である。
【図３４】４つの物体からなるシーン記述（MPEG4 BIFS）の例を表す図である。
【図３５】図３４に示すシーン記述による表示結果を示す図である。
【図３６】図３４に示すシーン記述を４つのＡＵに分割した各シーン記述（MPEG4 BIFS）の例を表す図である。
【図３７】図３６に示す各ＡＵの復号タイミングの説明に用いる図である。
【図３８】図３６に示す各ＡＵのシーン記述による表示結果を示す図である。
【図３９】従来のデータ配信システムの概略構成を示すブロック図である。
【図４０】図３９に示したデータ配信システムの欠点を解消するデータ配信システムの概略構成を示すブロック図である。
【図４１】図４０のデータ配信システムにおけるビデオデータ用のデータ変換部の動作の一例（早送り再生）の簡単な説明に用いる図である。
【図４２】図４０のデータ配信システムにおけるビデオデータ用のデータ変換部の動作の一例（巻き戻し再生）の簡単な説明に用いる図である。
【図４３】ＶＲＭＬおよびＭＰＥＧ４  ＢＩＦＳを用いたシーン記述の説明に用いる図である。
【符号の説明】
１  特殊再生制御部、  ７  データ変換部、  ４  多重化部、  ５  送信部、９  記憶部、  １０  サーバ、  １２  復号端末、  １３  受信部、  １４  分離部、  １５  復号部、  １６  シーン合成部、  １７  読み出し部、  １８スケジューラ、  １９  時間情報書き換え部、  ２３  フィルタ、  ２４  シーン記述処理部、  ２５  ＥＳ処理部、  ２６  制御部
【図１】
0004345217.tif 000002
【図２】
0004345217.tif 000003
【図３】
0004345217.tif 000004
【図４】
0004345217.tif 000005
【図５】
0004345217.tif 000006
【図６】
0004345217.tif 000007
【図７】
0004345217.tif 000008
【図８】
0004345217.tif 000009
【図９】
0004345217.tif 000010
【図１０】
0004345217.tif 000011
【図１１】
0004345217.tif 000012
【図１２】
0004345217.tif 000013
【図１３】
0004345217.tif 000014
【図１４】
0004345217.tif 000015
【図１５】
0004345217.tif 000016
【図１６】
0004345217.tif 000017
【図１７】
0004345217.tif 000018
【図１８】
0004345217.tif 000019
【図１９】
0004345217.tif 000020
【図２０】
0004345217.tif 000021
【図２１】
0004345217.tif 000022
【図２２】
0004345217.tif 000023
【図２３】
0004345217.tif 000024
【図２４】
0004345217.tif 000025
【図２５】
0004345217.tif 000026
【図２６】
0004345217.tif 000027
【図２７】
0004345217.tif 000028
【図２８】
0004345217.tif 000029
【図２９】
0004345217.tif 000030
【図３０】
0004345217.tif 000031
【図３１】
0004345217.tif 000032
【図３２】
0004345217.tif 000033
【図３３】
0004345217.tif 000034
【図３４】
0004345217.tif 000035
【図３５】
0004345217.tif 000036
【図３６】
0004345217.tif 000037
【図３７】
0004345217.tif 000038
【図３８】
0004345217.tif 000039
【図３９】
0004345217.tif 000040
【図４０】
0004345217.tif 000041
【図４１】
0004345217.tif 000042
【図４２】
0004345217.tif 000043
【図４３】
0004345217.tif 000044