(57)【要約】【課題】３次元仮想空間情報を、転用を防止しつつ、確実に伝送できるようにする。【解決手段】３次元仮想空間生成部３１は、動画データと３Ｄデータよりなるシーンを取得し、３次元仮想空間情報を生成するとともに、オブジェクト情報とアニメーション情報を生成する。カメラ情報とイベント情報は３Ｄデータから生成される。３Ｄシーンフレーム構造体生成部３３は、３次元仮想空間情報記憶部３２に記憶されたアニメーション情報、カメラ情報、およびイベント情報に基づいて、時間軸情報を生成し、３次元仮想空間情報とともにフレーム構造体に変換する。パケット生成部１７は、フレーム構造体をパケット化して送信する。本発明は、立体テレビの配信システムに適用することができる。【選択図】　　　図３
2004062751.tif 000002
【特許請求の範囲】
【請求項１】
画像情報を送信するデータ送信装置と、
前記データ送信装置により送信された前記画像情報を受信するデータ受信装置からなるデータ伝送システムにおいて、
前記データ送信装置は、
３次元データを含む３次元仮想空間情報を生成する３次元仮想空間情報生成手段と、
時間軸情報を生成する時間軸情報生成手段と、
前記３次元仮想空間情報と前記時間軸情報により構成される前記画像情報に基づいて、フレーム構造体を生成するフレーム構造体生成手段と、
前記フレーム構造体生成手段により生成された前記フレーム構造体を含むパケットを生成するパケット生成手段と、
前記パケット生成手段により生成された前記画像情報を含むパケットを送信する送信手段とを備え、
前記データ受信装置は、
前記データ送信装置から送信されてきた前記パケットを受信するパケット受信手段と、
前記パケット受信手段により受信された前記パケットに含まれる前記３次元仮想空間情報と前記時間軸情報に基づいて、表示画像を生成する表示画像生成手段と
を備えることを特徴とするデータ伝送システム。
【請求項２】
画像情報を送信するデータ送信装置において、
３次元データを含む３次元仮想空間情報を生成する３次元仮想空間情報生成手段と、
時間軸情報を生成する時間軸情報生成手段と、
前記３次元仮想空間情報と前記時間軸情報により構成される前記画像情報に基づいて、フレーム構造体を生成するフレーム構造体生成手段と、
前記フレーム構造体生成手段により生成された前記フレーム構造体を含むパケットを生成するパケット生成手段と、
前記パケット生成手段により生成された前記画像情報を含むパケットを送信する送信手段と
を備えることを特徴とするデータ送信装置。
【請求項３】
３次元データを取得する３次元データ取得手段と、
２次元データを取得する２次元データ取得手段と、
時系列で構成されるアニメーション情報を取得するアニメーション情報取得手段と
をさらに備え、
前記３次元仮想空間情報生成手段は、前記３次元データ取得手段により取得した前記３次元データおよび前記２次元データ取得手段により取得した前記２次元データに基づいて３次元仮想空間情報を生成し、
前記時間軸情報生成手段は、前記アニメーション情報取得手段により取得した前記アニメーション情報から時間軸情報を生成する
ことを特徴とする請求項２に記載のデータ送信装置。
【請求項４】
前記３次元仮想空間内での視点とその運動を規定する情報であるカメラ情報を取得するカメラ情報取得手段と、
前記３次元仮想空間内に設けられたイベント箇所とイベント内容を格納した情報であるイベント情報を取得するイベント情報取得手段と
をさらに備え、
前記時間軸情報生成手段は、前記アニメーション情報の他、前記カメラ情報と前記イベント情報に基づいて、前記時間軸情報を生成する
ことを特徴とする請求項２または３に記載のデータ送信装置。
【請求項５】
前記イベント情報は、リンク情報および付加情報を含む
ことを特徴とする請求項４に記載のデータ送信装置。
【請求項６】
画像情報を送信するデータ送信装置のデータ送信方法において、
３次元データを含む３次元仮想空間情報を生成する３次元仮想空間情報生成ステップと、
時間軸情報を生成する時間軸情報生成ステップと、
前記３次元仮想空間情報と前記時間軸情報により構成される前記画像情報に基づいて、フレーム構造体を生成するフレーム構造体生成ステップと、
前記フレーム構造体生成ステップの処理により生成された前記フレーム構造体を含むパケットを生成するパケット生成ステップと、
前記パケット生成ステップにより生成された前記画像情報を含むパケットを送信する送信ステップと
を含むことを特徴とするデータ送信方法。
【請求項７】
画像情報を送信するデータ送信装置を制御するコンピュータに、
３次元データを含む３次元仮想空間情報を生成する３次元仮想空間情報生成ステップと、
時間軸情報を生成する時間軸情報生成ステップと、
前記３次元仮想空間情報と前記時間軸情報により構成される前記画像情報に基づいて、フレーム構造体を生成するフレーム構造体生成ステップと、
前記フレーム構造体生成ステップの処理により生成された前記フレーム構造体を含むパケットを生成するパケット生成ステップと、
前記パケット生成ステップにより生成された前記画像情報を含むパケットを送信する送信ステップと
を含む処理を実行させることを特徴とするプログラム。
【請求項８】
画像情報を受信するデータ受信装置において、
前記画像情報を含むパケットを受信するパケット受信手段と、
前記パケット受信手段により受信された前記パケットに含まれる３次元仮想空間情報と時間軸情報に基づいて、表示画像を生成する表示画像生成手段と
を備えることを特徴とするデータ受信装置。
【請求項９】
イベント処理が指示された場合、前記時間軸情報から前記３次元仮想空間情報により表わされる３次元仮想空間内に設けられたイベント箇所とイベント内容を格納した情報であるイベント情報を取得し、取得した前記イベント情報に基づいて、イベント処理をするイベント処理手段を
さらに備えることを特徴とする請求項８に記載のデータ受信装置。
【請求項１０】
前記表示画像生成手段は、イベント処理が指示された場合、前記イベント情報および前記３次元仮想空間情報に基づいて、前記表示画像を生成するための計算処理を実行する
ことを特徴とする請求項９に記載のデータ受信装置。
【請求項１１】
前記イベント情報は、リンク情報および付加情報を含む
ことを特徴とする請求項９に記載のデータ受信装置。
【請求項１２】
ユーザから、視点を変更する指示がされた場合、前記時間軸情報から前記３次元仮想空間情報により表わされる３次元仮想空間内での視点とその運動を規定する情報であるカメラ情報に代えて、前記ユーザの操作に基づくカメラ情報を取得し、取得した前記カメラ情報に基づいて、前記３次元仮想空間の視点を変更する視点変更手段を
さらに備えることを特徴とする請求項８に記載のデータ受信装置。
【請求項１３】
前記表示画像生成手段は、視点を変更する指示がされた場合、前記カメラ情報、および前記３次元仮想空間情報に基づいて、表示するための計算処理を実行する
ことを特徴とする請求項１２に記載のデータ受信装置。
【請求項１４】
画像情報を受信するデータ受信装置のデータ受信方法において、
前記画像情報を含むパケットを受信するパケット受信ステップと、
前記パケット受信ステップの処理により受信された前記パケットに含まれる３次元仮想空間情報と時間軸情報に基づいて、表示画像を生成する表示画像生成ステップと
を含むことを特徴とするデータ受信方法。
【請求項１５】
画像情報を受信するデータ受信装置を制御するコンピュータに、
前記画像情報を含むパケットを受信するパケット受信ステップと、
前記パケット受信ステップの処理により受信された前記パケットに含まれる３次元仮想空間情報と時間軸情報に基づいて、表示画像を生成する表示画像生成ステップと
を含む処理を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、データ伝送システム、データ送信装置および方法、データ受信装置および方法、並びにプログラムに関し、特に、時系列で構成され、３次元仮想空間情報を含む画像情報を確実に伝送できるようにしたデータ伝送システム、データ送信装置および方法、データ受信装置および方法、並びにプログラムに関する。
【０００２】
【従来の技術】
立体画像を伝送する方式として、人間の両目に対応したそれぞれの２次元画像を時分割に送信側から受信側に送信し、受信側の視聴者の生理的錯覚により立体映像を構成させる「視差ステレオ方式」が知られている。すなわち、この方式の場合、基本的に、２次元画像を送信する場合と同様の方法で３次元画像信号が送信される。
【０００３】
【発明が解決しようとする課題】
しかしながら、このような３次元仮想空間の画像信号を伝送する方式では、３次元仮想空間を構成するデータを受信機側に蓄積した後、制御情報が別途送信される。そのため、受信機側に著作物としての３次元仮想空間の画像信号が蓄積されるため、著作物が不正に利用されるおそれが高くなることや、３次元仮想空間そのものの実時間での切り替えができないという課題があった。
【０００４】
また、「視差ステレオ方式」では、３次元の画像を再構成するのに限界がある。例えば、立体画像内のオブジェクトを、視聴者が任意の視点から見る（例えば、画像内のオブジェクトを実際手に取ったように見る）ことはできない。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、視点の切り替えと、３次元空間そのものの実時間での切り替えが可能な３次元仮想空間情報を含む画像情報を確実に伝送できるようにするものである。
【０００６】
【課題を解決するための手段】
本発明のデータ転送システムは、画像情報を送信するデータ送信装置と、データ送信装置により送信された画像情報を受信するデータ受信装置からなるデータ伝送システムであって、データ送信装置は、３次元データを含む３次元仮想空間情報を生成する３次元仮想空間情報生成手段と、時間軸情報を生成する時間軸情報生成手段と、３次元仮想空間情報と時間軸情報により構成される画像情報に基づいて、フレーム構造体を生成するフレーム構造体生成手段と、フレーム構造体生成手段により生成されたフレーム構造体を含むパケットを生成するパケット生成手段と、パケット生成手段により生成された画像情報を含むパケットを送信する送信手段とを備え、データ受信装置は、データ送信装置から送信されてきたパケットを受信するパケット受信手段と、パケット受信手段により受信されたパケットに含まれる３次元仮想空間情報と時間軸情報に基づいて、表示画像を生成する表示画像生成手段とを備えることを特徴とする。
【０００７】
本発明のデータ送信装置は、３次元データを含む３次元仮想空間情報を生成する３次元仮想空間情報生成手段と、時間軸情報を生成する時間軸情報生成手段と、３次元仮想空間情報と時間軸情報により構成される画像情報に基づいて、フレーム構造体を生成するフレーム構造体生成手段と、フレーム構造体生成手段により生成されたフレーム構造体を含むパケットを生成するパケット生成手段と、パケット生成手段により生成された画像情報を含むパケットを送信する送信手段とを備えることを特徴とする。
【０００８】
３次元データを取得する３次元データ取得手段と、２次元データを取得する２次元データ取得手段と、時系列で構成されるアニメーション情報を取得するアニメーション情報取得手段とをさらに含み、３次元仮想空間情報生成手段は、３次元データ取得手段により取得した３次元データおよび２次元データ取得手段により取得した２次元データに基づいて３次元仮想空間情報を生成し、時間軸情報生成手段は、アニメーション情報取得手段により取得したアニメーション情報から時間軸情報を生成するようにすることができる。
【０００９】
３次元仮想空間内での視点とその運動を規定する情報であるカメラ情報を取得するカメラ情報取得手段と、３次元仮想空間内に設けられたイベント箇所とイベント内容を格納した情報であるイベント情報を取得するイベント情報取得手段とをさらに含み、時間軸情報生成手段は、アニメーション情報の他、カメラ情報とイベント情報に基づいて、時間軸情報を生成するようにすることができる。
【００１０】
イベント情報は、リンク情報および付加情報を含むようにすることができる。
【００１１】
本発明のデータ送信方法は、３次元データを含む３次元仮想空間情報を生成する３次元仮想空間情報生成ステップと、時間軸情報を生成する時間軸情報生成ステップと、３次元仮想空間情報と時間軸情報により構成される画像情報に基づいて、フレーム構造体を生成するフレーム構造体生成ステップと、フレーム構造体生成ステップの処理により生成されたフレーム構造体を含むパケットを生成するパケット生成ステップと、パケット生成ステップにより生成された画像情報を含むパケットを送信する送信ステップとを含むことを特徴とする。
【００１２】
本発明の第１のプログラムは、３次元データを含む３次元仮想空間情報を生成する３次元仮想空間情報生成ステップと、時間軸情報を生成する時間軸情報生成ステップと、３次元仮想空間情報と時間軸情報により構成される画像情報に基づいて、フレーム構造体を生成するフレーム構造体生成ステップと、フレーム構造体生成ステップの処理により生成されたフレーム構造体を含むパケットを生成するパケット生成ステップと、パケット生成ステップにより生成された画像情報を含むパケットを送信する送信ステップとを含む処理を実行させることを特徴とする。
【００１３】
本発明のデータ受信装置は、画像情報を含むパケットを受信するパケット受信手段と、パケット受信手段により受信されたパケットに含まれる３次元仮想空間情報と時間軸情報に基づいて、表示画像を生成する表示画像生成手段とを備えることを特徴とする。
【００１４】
イベント処理が指示された場合、３次元仮想空間情報により表わされる時間軸情報から３次元仮想空間内に設けられたイベント箇所とイベント内容を格納した情報であるイベント情報を取得し、取得したイベント情報に基づいて、イベント処理をするイベント処理手段をさらに含むようにすることができる。
【００１５】
表示画像生成手段は、イベント処理が指示された場合、イベント情報および３次元仮想空間情報に基づいて、表示画像を生成するための計算処理を実行するようにすることができる。
【００１６】
イベント情報は、リンク情報および付加情報を含むようにすることができる。
【００１７】
ユーザから、視点を変更する指示がされた場合、時間軸情報から３次元仮想空間情報により表わされる３次元仮想空間内での視点とその運動を規定する情報であるカメラ情報に代えて、ユーザの操作に基づくカメラ情報を取得し、取得したカメラ情報に基づいて、３次元仮想空間の視点を変更する視点変更手段をさらに含むようにすることができる。
【００１８】
表示画像生成手段は、視点を変更する指示がされた場合、カメラ情報、および３次元仮想空間情報に基づいて、表示するための計算処理を実行するようにすることができる。
【００１９】
本発明のデータ受信方法は、画像情報を含むパケットを受信するパケット受信ステップと、パケット受信ステップの処理により受信されたパケットに含まれる３次元仮想空間情報と時間軸情報に基づいて、表示画像を生成する表示画像生成ステップとを含むことを特徴とする。
【００２０】
本発明の第２のプログラムは、画像情報を含むパケットを受信するパケット受信ステップと、パケット受信ステップの処理により受信されたパケットに含まれる３次元仮想空間情報と時間軸情報に基づいて、表示画像を生成する表示画像生成ステップとを含む処理を実行させることを特徴とする。
【００２１】
本発明のデータ伝送システムにおいては、データ送信装置で、３次元データを含む３次元仮想空間情報と時間軸情報が生成され、３次元仮想空間情報と時間軸情報により構成される画像情報に基づいて、フレーム構造体が生成され、パケットとして送信される。また、データ受信装置で、パケットが受信され、パケットに含まれる３次元仮想空間情報と時間軸情報に基づいて、表示画像が生成される。
【００２２】
本発明のデータ送信装置および方法、並びに第１のプログラムにおいては、３次元データを含む３次元仮想空間情報と時間軸情報が生成され、３次元仮想空間情報と時間軸情報により構成される画像情報に基づいて、フレーム構造体が生成され、パケットとして送信される。
【００２３】
本発明のデータ受信装置および方法、並びに第２のプログラムにおいては、パケットが受信され、パケットに含まれる３次元仮想空間情報と時間軸情報に基づいて、表示画像が生成される。
【００２４】
【発明の実施の形態】
図１は、本発明を適用したシステムの構成例を示すブロック図である。
【００２５】
送信装置１は、放送ネットワーク２を介して、受信装置３−１乃至３−ｎ（以下、これらの受信装置を個々に区別する必要がない場合、受信装置３と称する）に、リアルタイムに情報を送信する。受信装置３は、放送ネットワーク２を介して、送信装置１から送信されてきた情報をリアルタイムに受信する。
【００２６】
図２は、送信装置１の構成例を示すブロック図である。
【００２７】
送信装置１には、バス１０を介して、動画データ入力デバイス１１、３Ｄデータ入力デバイス１２、カメラ情報入力デバイス１３、マイクロコンピュータ１４、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１５、３次元表示計算部１６、パケット生成部１７、および操作部１８が相互に接続されている。また、必要に応じて、ドライブ２０がさらに接続される。
【００２８】
ユーザは、操作部１８を操作して、各種の指令を入力する。マイクロコンピュータ１４は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、およびＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などにより構成されており、操作部１８からの指令に基づいて、送信装置１の各部を制御する。
【００２９】
ＨＤＤ１５には、マイクロコンピュータ１４がロードし、実行するプログラムが記憶されており、このプログラムにより、３次元仮想空間生成部３１、３次元仮想空間情報記憶部３２、３Ｄシーンフレーム構造体生成部３３、および構造体データ送信部３４が構成され、それぞれの間ではデータの授受が可能である。
【００３０】
３次元表示計算部１６には、モニタ１９が接続されている。モニタ１９は、２次元表示モニタ５１、３次元表示モニタ５２、およびステレオ表示モニタ５３により構成されている。マイクロコンピュータ１４は、ユーザの指令に基づいて、該当するモニタを選択し、画像を表示させる。
【００３１】
ドライブ２０には、必要に応じて磁気ディスク４１、光ディスク４２、光磁気ディスク４３、または半導体メモリ４４が装着され、そこに記憶されている制御用プログラムが読み出され、ＨＤＤ１５に供給され、記録される。
【００３２】
２次元画像（２Ｄデータ）としての動画は、動画データ入力デバイス１１から入力され、３次元画像としての３次元データ（以下、３Ｄデータと称する）は、３Ｄ（Ｄｉｍｅｎｓｉｏｎ）データ入力デバイス１２とカメラ情報入力デバイス１３から入力される。入力される３Ｄデータには、３次元画像としてのデータの他に、カメラ情報およびイベント情報（リンク情報と付加情報）が含まれる。
【００３３】
パケット生成部１７は、構造体データ送信部３４から供給されてきた構造体データから、パケットを生成し、放送ネットワーク２に出力する。また、３次元表示計算部１６により計算され、生成されたデータは、モニタ１９に供給され、ユーザにより選択されたモニタに画像として表示される。
【００３４】
３次元表示計算部１６は、３次元仮想空間の画像を表示するための計算処理を行ない、そのためのデータを生成する。
【００３５】
図３は、３次元仮想空間生成部３１、３次元仮想空間情報記憶部３２、３Ｄシーンフレーム構造体生成部３３、および構造体データ送信部３４の関係を表わしている。
【００３６】
３次元仮想空間生成部３１は、動画データおよび３Ｄデータに基づいて、３次元仮想空間を表現するための３次元仮想空間情報を生成したり（データ形式を変換し、統一し）、オブジェクト情報、およびアニメーション情報を生成する。また、３次元仮想空間生成部３１は、３Ｄデータからカメラ情報、およびイベント情報（リンク情報と付加情報により構成される）を抽出する。これらの情報は、３次元仮想空間情報記憶部３２に供給され、３次元仮想空間情報記憶部３２は、供給されてきた情報を記憶する。また、３次元仮想空間情報記憶部３２は、３Ｄデータと画像データから、映像テクスチャを生成し、記憶する。
【００３７】
３Ｄシーンフレーム構造体生成部３３は、３次元仮想空間情報記憶部３２に記憶されている情報に基づいて、時間軸情報を生成したり、３Ｄシーンフレーム構造体を生成し、構造体データ送信部３４に供給する。
【００３８】
構造体データ送信部３４は、３Ｄシーンフレーム構造体生成部３３から供給されたフォーマット化されたデータを、送信するために圧縮するとともに冗長度を付加する。
【００３９】
なお、図３において、例えば、３Ｄデータを構成するＣＧデータは、３次元仮想空間生成部３１により他のデータや入力された情報と合わせられ、３次元仮想空間情報記憶部３２に格納されるとき、データのグルーピングが行なわれて構造が変わり、送信すべき３次元仮想空間そのものが記憶装置上に独自の形で構成される。実際には、様々なＣＧツールで生成されたＣＧの構造から必要な関数値をコールしてデータを呼び出し、ソートする。これにより、３次元仮想空間を表現する階層構造をリアルタイム放送向けに作り直すことになる。ここで、格納場所が変わったＣＧデータをさらに通信経路の特性に従ってパケット化するのが、３Ｄシーンフレーム構造体生成部３３となる。
【００４０】
次に、図４および図５を参照して、送信装置１における画像情報を含むパケット送信処理について説明する。なお、この処理は、ユーザが操作部１８を操作して画像情報（３次元仮想空間情報を含む画像情報）の送信を指令したとき開始される。
【００４１】
ステップＳ１において、マイクロコンピュータ１４は、３次元仮想空間記憶部３２を初期化する。
【００４２】
ステップＳ２において、マイクロコンピュータ１４は、時刻ｔのカウンタを初期化する（時刻ｔ＝０とする）。
【００４３】
ステップＳ３において、マイクロコンピュータ１４は、時刻ｎのカウンタ（時間軸情報の長さ）を初期化する（時刻ｎ＝０とする）。
【００４４】
ステップＳ４において、３次元仮想空間生成部３１は、３Ｄデータ入力デバイス１２、およびカメラ情報入力デバイス１３から、シーンを構成する３Ｄデータを取得する。
【００４５】
なお、この例では、シーンのデータを、動画データ入力デバイス１１、３Ｄデータ入力デバイス１２、およびカメラ情報入力デバイス１３から取得させるようにしたが、例えば、ＨＤＤ１５に記憶されているファイルデータなどから取得させるようにすることも可能である。
【００４６】
ステップＳ５において、３次元仮想空間生成部３１は、動画データ入力デバイス１１から、シーンを構成する動画データを取得する。
【００４７】
ステップＳ６において、３次元仮想空間生成部３１は、入力された動画データおよび３Ｄデータに基づいて、３次元仮想空間を表現するための３次元仮想空間情報を生成し（全てのデータのデータ形式を、３次元空間を表現するためのデータ形式に変換し、統一し）、生成した３次元仮想空間情報を３次元仮想空間情報記憶部３２に供給し、記憶させる。
【００４８】
ステップＳ７において、３次元仮想空間生成部３１は、動画データと３Ｄデータに基づいて、立体物を構成する１つのまとまりを表わす情報であるオブジェクト情報、オブジェクトがどのように３次元仮想空間内を運動するかを定義した情報であるアニメーション情報を生成し、３次元仮想空間情報記憶部３２に供給し、記憶させる。なお、アニメーション情報は、既に生成されたものを取り込むようにすることもできる。
【００４９】
なお、アニメーション情報は、時間軸情報と同様であるが、特に、ＣＧのシーケンスデータを指す。具体的には、相対座標（Ｘ０，Ｙ０，Ｚ０）を中心に各速度θで、時間ｔだけ回転運動する、というような情報である。
【００５０】
ステップＳ８において、３次元仮想空間生成部３１は、３Ｄデータからカメラ情報（３次元仮想空間を表示するときの、デフォルトのカメラ位置などの情報）を取得し、３次元仮想空間情報記憶部３２に供給し、記憶させる。このカメラ情報には、ライト情報（カメラ情報に基づく、ライトの位置などの情報）を付加するようにすることが可能である。
【００５１】
ステップＳ９において、３次元仮想空間生成部３１は、３Ｄデータから、イベント情報（リンク情報と付加情報により構成される）を取得し、３次元仮想空間情報記憶部３２に供給し、記憶させる。
【００５２】
また、３次元仮想空間生成部３１は、入力された動画データと３Ｄデータそのものも、３次元仮想空間情報記憶部３２に供給し、記憶させる。
【００５３】
３次元仮想空間情報記憶部３２は、入力されたオブジェクト情報、アニメーション情報、カメラ情報、およびイベント情報を記憶する他、３次元仮想空間生成部３１から供給された動画データ、および３Ｄデータに基づいて、映像テクスチャを生成する。この映像テクスチャは、アニメーション情報の時系列を決める上での時間軸基準を含み、アニメーション情報とオブジェクト情報に付加される。
【００５４】
ステップＳ１０において、３Ｄシーンフレーム構造体生成部３３は、３次元仮想空間情報記憶部３２に記憶されている情報を取得し、時間軸情報の長さｎを設定する。時間軸情報の長さとは、例えば、ステップＳ７において、取得されたアニメーション情報の時間軸上の時間（オブジェクトが３次元仮想空間内を運動した時間）であり、映像テクスチャに基づいて算出することができる。例えば、ステップＳ４乃至ステップＳ９の処理で取得されたシーンに、８０フレーム分のアニメーション情報が含まれる場合、ｎ＝８０と設定される。
【００５５】
ステップＳ１１において、３Ｄシーンフレーム構造体生成部３３は、３次元仮想空間情報記憶部３２に記憶されているアニメーション情報、アニメーション情報に付加されている映像テクスチャの時間軸基準、カメラ情報、およびイベント情報に基づいて、時間軸情報を生成する。
【００５６】
なお、時間軸情報は、シーケンスを持つデータの集まりのことを指す。具体的には、アニメーション、動画データのことである。これらは基準周期に従って、統一された時間基準を持ち、システム内で統合的に動作する必要がある。基準時間に対してどのような長さを持つアニメーションまたは動画であるかは、データ自身から導き出される。例えば、相対時間、絶対時間の時間軸情報、または、任意のときにカウントが始まるインライン時間軸情報が考えられる。
【００５７】
ステップＳ１２において、３Ｄシーンフレーム構造体生成部３３は、ステップＳ６の処理により生成された３次元仮想空間情報と、ステップＳ１１の処理により生成された時間軸情報に基づいて、フレーム構造体を生成する。フレーム構造体は、時間軸をもつ仮想空間である。図４のステップＳ６において生成された３次元仮想空間情報は、時間軸を持たないため、これに、時間軸情報を含めることにより、時間軸の情報を持つように情報の構造を変えて、構造体が生成される。また、３Ｄシーンフレーム構造体生成部３３は、フレーム構造体を、送信環境に適合した形式にフォーマット化し、構造体データ送信部３４に供給する。
【００５８】
構造体データ送信部３４は、供給されてきたフォーマット化されたデータを送信するために圧縮するとともに冗長度を付加し、内部バス１０を介して、パケット生成部１７に供給する。
【００５９】
ステップＳ１３において、パケット生成部１７は、供給されてきた構造体データをパケット化する。
【００６０】
ステップＳ１４において、パケット生成部１７は、各時間単位での３次元仮想空間情報（時間軸をもつ３次元仮想空間情報）を、放送ネットワーク２を介して送信する（送信されたパケットは、受信装置３に受信される）。
【００６１】
ステップＳ１５において、マイクロコンピュータ１４は、時刻ｔのカウンタを１増やす。いまの例の場合、ステップＳ３の処理により初期化（ｔ＝０）されているため、時刻ｔのカウンタは、ｔ＝１とされる。
【００６２】
ステップＳ１６において、マイクロコンピュータ１４は、時刻ｎのカウンタを１減らす。いまの例の場合、ステップＳ１０の処理によりｎ＝８０と設定されているため、ｎ＝７９とされる。
【００６３】
ステップＳ１７において、マイクロコンピュータ１４は、時刻ｔに更新すべき３次元仮想空間情報があるか否かを判定する。いまの例の場合、時刻ｔ＝１となり、時刻ｔ＝１において取得された３Ｄデータ（ステップＳ４の処理により取得された３Ｄデータ）における３次元仮想空間情報が変更されているか（例えば、場面が変更されているか）否かが判定される。基本的には、いまの例の場合、８０フレーム分のアニメーション情報のうち、最初の１フレーム目のアニメーション情報を送信するときに３次元仮想空間情報を送信する。２フレーム目のアニメーション情報を送信するときは、３次元仮想空間情報が変更されない限り、３次元仮想空間情報は送信されない。
【００６４】
ステップＳ１７において、時刻ｔに更新すべき３次元仮想空間情報がある（いまの例の場合、時刻ｔ＝１において場面が変更された）と判定された場合、処理はステップＳ４に戻り、再び３Ｄデータを取得する処理が実行される。いまの例の場合、時刻ｔ＝１における３Ｄデータが取得される（前回のステップＳ４の処理により取得された３Ｄデータは、ｔ＝０における３Ｄデータである）。ステップＳ４の処理の後、さらにステップＳ５以降の処理が繰り返される。
【００６５】
ステップＳ１７において、時刻ｔに更新すべき３次元仮想空間情報がない（時刻ｔ＝１において３次元仮想空間情報が変更されていない）と判定された場合、処理はステップＳ１８に進み、マイクロコンピュータ１４は、時刻ｎ＝０（ステップＳ１０において設定された時間軸情報の長さであるｎ＝０）であるか否かを判定する。いまの例の場合、時刻ｎ＝７９である。ｎ＝０ではない（時間軸情報がある）と判定された場合、処理は、ステップＳ１１に戻り、３次元仮想空間情報記憶部３１は、時間軸情報を生成し、それ以降の処理を繰り返す。このように、３次元仮想空間情報に変更がない場合には、３次元仮想空間を送信せず、時間軸情報のみが送信される。
【００６６】
ステップＳ１８において、時刻ｎ＝０である（更新すべきアニメーション情報がない、すなわち、８０フレーム分の全てのアニメーション情報を送信した）と判定された場合、処理は終了される。
【００６７】
以上の図４および図５の処理により、シーン（３Ｄデータと動画データにより構成されるシーン）が、３次元仮想空間情報と時間軸情報に分けられ、時間軸を持つ３次元仮想空間であるフレーム構造体が生成された後、パケット化されて送信される。送信される３次元仮想空間情報（ステップＳ６の処理により生成される３次元仮想空間情報）と時間軸情報は、分離して生成される。３次元仮想空間情報は、時間軸を持たず、時間軸情報（アニメーション情報（ステップＳ７の処理により生成されたアニメーション情報））のみ、各時刻において更新される。その後、３次元仮想空間と時間軸情報は、３Ｄシーンフレーム構造体生成部３３により時間軸型仮想空間として再構築され、パケット化されて送信される。
【００６８】
なお、ステップＳ４乃至ステップＳ６の処理と、ステップＳ７乃至ステップＳ１１の処理は、その順番を逆にしてもよいし、並行して実行させるようにしてもよい。
【００６９】
図４および図５の処理により送信されたパケットは、放送ネットワーク２を介して、図６の受信装置３により受信される。
【００７０】
図６は、受信装置３の構成例を示すブロック図である。
【００７１】
受信装置３は、立体映像を表示させる（例えば、立体テレビの画面に立体映像を表示させる）装置である。
【００７２】
受信装置３では、バス７１を介して、パケット受信部７２、マイクロコンピュータ７３、メモリ７４、メモリ７５、ポインティングデバイス入力部７６、３次元表示計算部７７、および操作部７８が相互に接続されている。また、必要に応じて、ドライブ７９がさらに接続される。
【００７３】
ユーザは、操作部７８を操作して、各種の指令を入力する。マイクロコンピュータ７３は、ＣＰＵ，ＲＡＭ，およびＲＯＭなどにより構成されており、操作部７８からの指令に基づいて、受信装置３の各部を制御する。
【００７４】
パケット受信部７２は、放送ネットワーク２を介して、送信装置１から送信されてきたパケットを受信する。メモリ７４には、マイクロコンピュータ７３がロードし、実行するプログラムにより構成される３次元仮想空間再構築記憶部９１が記憶されており、これにより、パケットから展開された３次元仮想空間情報が格納され、必要に応じて、書き込み、読み出しが行なわれる。
【００７５】
メモリ７５には、マイクロコンピュータ７３がロードし、実行するプログラムが記憶されており、このプログラムにより、３Ｄシーンフレーム構造体展開部９２および構造体データ受信部９３が構成されており、それぞれの間ではデータの授受が可能である。構造体データ受信部９３は、構造体データの受信処理を実行し、３Ｄシーンフレーム構造体展開部９２は、構造体データから３Ｄシーンの各フレーム毎のデータを生成する。
【００７６】
この例の場合、３次元仮想空間再構築記憶部９１、３Ｄシーンフレーム構造体展開部９２および構造体データ受信部９３を、メモリ７４とメモリ７５に記憶するようにしたが、ＨＤＤ（図示せず）に記憶してもよい。
【００７７】
３次元表示計算部７７は、３次元仮想空間の画像を表示するための計算を行ない、そのためのデータを生成する。また、３次元表示計算部７７には、モニタ９４が接続されている。モニタ９４は、２次元表示モニタ１１１、３次元表示モニタ１１２、およびステレオ表示モニタ１１３により構成されている。マイクロコンピュータ７３は、ユーザの指令に基づいて、該当するモニタを選択し、画像を表示させる。
【００７８】
ポインティングデバイス入力部７６は、画面上の任意の位置をポイントするためのデバイスであり、例として、マウス、トラックボール、トラックパッド、およびタブレットなどが挙げられる。
【００７９】
ドライブ７９には、必要に応じて磁気ディスク１０１、光ディスク１０２、光磁気ディスク１０３、または半導体メモリ１０４が装着され、そこに記憶されている制御用プログラムが読み出され、メモリ７４またはメモリ７５に供給され、記録される。
【００８０】
図７は、図６の受信装置３における各部の構成を機能ブロック図として示したものである。
【００８１】
構造体データ受信部９３は、構造体データを受信し、３Ｄシーンフレーム構造体展開部９２に構造体データを供給する。３Ｄシーンフレーム構造体展開部９２は、３Ｄシーンフレーム構造体を展開した後、そのデータを３次元仮想空間再構築記憶部９１に供給する。３次元仮想空間再構築記憶部９１には、映像テクスチャ、オブジェクト情報、アニメーション情報、カメラ情報、イベント情報（リンク情報と付加情報）等に基づいて、３次元仮想空間を再構築して、記憶する。
【００８２】
カメラローカル制御部１０１およびイベント制御部１０２は、マイクロコンピュータ７３により構成されている。ユーザから、ポインティングデバイス入力部７６に指令が入力されると、イベント制御部１０２は、入力された指令に基づいて、イベントを制御する。具体的には、イベント制御部１０２は、３次元仮想空間再構築記憶部９１からイベント情報（リンク情報と付加情報）を取り出し、処理する。
【００８３】
また、カメラローカル制御部１０１は、ユーザの操作部７８からの指令に基づいて、３次元仮想空間再構築記憶部９１に記憶されているカメラ情報を取得し、処理する。イベント制御部１０２から出力された情報、並びに、カメラローカル制御部１０１より出力された情報、または、３次元仮想空間再構築記憶部９１より出力されたカメラ情報は、３次元表示計算部７７に供給され、３次元表示計算部７７は、３次元仮想空間（時系列を持つ３次元仮想空間）の画像を２次元の画像としてモニタに表示するための計算処理を行ない、その画像を、モニタ９４に備えられている２次元表示モニタ１１１、３次元表示モニタ１１２、またはステレオ表示モニタ１１３のいずれかに表示させる。
【００８４】
なお、図７において、３次元仮想空間再構築記憶部９１に格納された情報は、図３の３次元仮想空間情報記憶部３２にある情報と同等となる。格納された情報がポインティングデバイス入力部７６、３次元表示計算部７７、カメラローカル制御部１０１、およびイベント制御部１０２に分配され、特に、３次元表示計算部７７（ＯｐｅｎＧＬなどのハードウェアレンダラ）に直接送信されて、計算された後、表示画像となる。従って、送信装置１の働きは、受信装置３の３次元表示計算部７７の機構に沿って、かつ、送信方法に沿ったデータ構造による３次元データの構築となる。
【００８５】
次に、図８および図９を参照して、受信装置３における画像情報を含むパケット受信処理について説明する。なお、この処理は、ユーザが操作部７８を操作して、画像情報を含むパケット（図４および図５の処理により送信されてきたパケット）の受信を指令したとき開始される。
【００８６】
ステップＳ３１において、マイクロコンピュータ７３は、３次元仮想空間再構築記憶部９１を初期化する。
【００８７】
ステップＳ３２において、マイクロコンピュータ７３は、時刻ｔのカウンタを初期化（ｔ＝０）する。
【００８８】
ステップＳ３３において、マイクロコンピュータ７３は、パケット受信部７２に、放送ネットワーク２を介して、送信装置１から送信されてきた（図５のステップＳ１４の処理により送信された）パケットを受信させる。マイクロコンピュータ７３は、パケット受信部７２により受信されたパケットを構造体データ受信部９３に供給する。構造体データ受信部９３は、供給されてきたパケットのデータ伸張処理、エラー訂正処理、およびパケット展開処理を実行する。
【００８９】
ステップＳ３４において、３Ｄシーンフレーム構造体展開部９２は、構造体データ受信部９３により処理され、展開されたパケット（ステップＳ３３の処理により受信され、展開されたパケット）から、３Ｄデータを抽出する。３Ｄシーンフレーム構造体展開部９２は、抽出した３Ｄデータを３次元仮想空間再構築記憶部９１に供給し、記憶させる。
【００９０】
ステップＳ３５において、３Ｄシーンフレーム構造体展開部９２は、構造体データ受信部９３により処理され、展開されたパケット（ステップＳ３３の処理により受信され、展開されたパケット）から、動画データを抽出する。３Ｄシーンフレーム構造体展開部９２は、抽出した動画データを３次元仮想空間再構築記憶部９１に供給し、記憶させる。
【００９１】
ステップＳ３６において、３次元仮想空間再構築記憶部９１は、ステップＳ３４の処理により抽出した３Ｄデータと、ステップＳ３５の処理により抽出した動画データに基づいて、３次元仮想空間情報を生成し、記憶する。記憶された３次元仮想空間情報は、適宜読み出され、３次元表示計算部７７に供給される。
【００９２】
ステップＳ３７において、３Ｄシーンフレーム構造体展開部９２は、構造体データ受信部９３により処理され、展開されたパケット（ステップＳ３３の処理により受信され、展開されたパケット）から、アニメーション情報を抽出する。３Ｄシーンフレーム構造体展開部９２は、抽出したアニメーション情報を３次元仮想空間再構築記憶部９１に供給し、記憶させる。
【００９３】
ステップＳ３８において、３Ｄシーンフレーム構造体展開部９２は、構造体データ受信部９３により処理され、展開されたパケット（ステップＳ３３の処理により受信され、展開されたパケット）から、イベント情報（リンク情報と付加情報）を抽出する。３Ｄシーンフレーム構造体展開部９２は、抽出したイベント情報（リンク情報と付加情報）を３次元仮想空間再構築記憶部９１に供給し、記憶させる。
【００９４】
リンク情報と付加情報の具体例を以下に説明する。最初にリンク情報の具体例について説明する。
【００９５】
ＣＧのデータは、オブジェクト単位、または、情報の種類によって様々なフォルダに分かれて格納されている。例えば、Ｆ１の自動車（図示せず）が画面に表示されている場合、自動車のタイヤに触れると、タイヤの情報の階層に格納されているタイヤ製造会社へのＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）に基づいて、ブラウザが立ち上がり、タイヤ製造会社へのホームページへジャンプするなどの処理が実行される。また、ＣＧデータ自身が持つアニメーション情報にリンク情報が貼られており、自動車のハンドルに触れると、自動車のタイヤのアニメーションにリンクされ、これを動作させるアニメーションが始まり、自動車のタイヤが右や左に向くような処理が実行される。
【００９６】
次に、付加情報の具体例について説明する。
【００９７】
付加情報は、Ｆ１の自動車のボディに触ると、Ｆ１のチームのクルーの情報が画面の下にスクロールして流れるようにする情報である。このようなリンクの情報も付加情報の一部であり、ＣＧオブジェクトに対するアクションにより、呼び出すことのできる情報一般を指す。
【００９８】
ステップＳ３９において、イベント制御部１０２は、イベント処理が指令されたか否かを判定する。具体的には、ユーザによりポインティングデバイス入力部７６を介して、イベントの発生を指令する入力が行なわれたか否かを判定する。
【００９９】
ステップＳ３９において、イベント処理が指令されたと判定された場合、ステップＳ４０に進み、イベント制御部１０２は、３次元仮想空間再構築記憶部９１に記憶されているイベント情報（リンク情報と付加情報）を取得し、取得したイベント情報に基づいて、イベント処理を実行し、イベント処理したデータを３次元表示計算部７７に供給する。
【０１００】
例えば、ユーザがポインティングデバイス入力部７６を操作して、３次元空間内の自動車のドアに触れる入力をした場合、イベント制御部１０２は、イベント情報に基づいて、ドアが開くというアニメーションおよび効果音を発生させる。また、例えば、ユーザがポインティングデバイス入力部７６を操作して、３次元空間上に流れるテロップに触れる入力をした場合、イベント制御部１０２は、イベント情報（リンク情報と付加情報）に基づいて、関連情報を持つＷｅｂサイトにアクセスする。さらに、例えば、ユーザがポインティングデバイス入力部７６を操作して、あるオブジェクトに触れる入力をした場合、イベント制御部１０２は、イベント情報に基づいて、カメラのアニメーションを呼び出し、場面転換を行なう。
【０１０１】
なお、イベント箇所とは、例えば、上述したＦ１の自動車の場合、ハンドルのことを指す。オブジェクト単位でイベントを持つ、または、イベントを持たないことが認識できるようにタグが付加されており、ポインティングデバイス入力部７６などによりオブジェクトに触れることができる部分がイベント箇所となる。３次元仮想空間に配置されているもののうち、特に、リンク情報やアクション情報を抱いていると認識できるようにされている部分をイベント箇所としている。イベント内容としては、上述した、Ｗｅｂブラウザを立ち上げる、ホームページへジャンプするなどの例や、自動車のタイヤが動くアニメーションをキックするというようなものである。
【０１０２】
ステップＳ３９において、イベント処理が指令されていないと判定された場合、または、ステップＳ４０の処理の後、処理はステップＳ４１に進み、カメラローカル制御部１０１は、ユーザによりカメラを操作する指令（視点を変更する指令）が、操作部７８から入力されたか否かを判定する。カメラを操作する指令が入力されていないと判定された場合、処理はステップＳ４２に進み、カメラローカル制御部１０１は、送信装置１により生成され、送信されたカメラ情報（デフォルトのカメラ情報）を抽出し、３次元表示計算部７７に供給する。
【０１０３】
ステップＳ４１において、カメラを操作する指令が入力されたと判定された場合、処理はステップＳ４３に進み、カメラローカル制御部１０１は、ユーザによるカメラ視点の操作に基づくカメラ情報を生成する。すなわち、ユーザは、操作部７８を操作することにより、モニタ９４に表示させる視点を変更することができる。操作部７８は、カメラ視点の操作を受け付けたとき、対応する信号をカメラローカル制御部１０１に供給する。カメラローカル制御部１０１は、ユーザにより選択された視点に基づくカメラ情報を生成し、３次元表示計算部７７に供給する。
【０１０４】
ステップＳ４２の処理の後、またはステップＳ４３の処理の後、ステップＳ４４において、３次元表示計算部７７は、イベント処理したデータ（ステップＳ４０の処理により、イベント情報に基づいて処理されたデータ）、カメラ情報（ステップＳ４２またはステップＳ４３の処理により送信されたカメラ情報）、およびステップＳ３６の処理により生成され、供給された３次元仮想空間情報に基づいて、表示画像（カメラ情報からの視点から３次元仮想空間を見た場合の２次元画像）を生成する。
【０１０５】
具体的には、例えば、カメラ視点を操作する指令が入力された場合（ステップＳ４１において、カメラを操作する指令が入力されたと判定された場合）、３次元表示計算部７７は、入力されたカメラ情報（カメラローカル制御部１０１により生成されたカメラ情報）と３次元仮想空間情報（ステップＳ３６の処理により生成された３次元仮想空間情報）に基づいて、表示画像（時間軸型の仮想空間）を生成する。また、カメラ視点を操作する指令が入力されていない場合（ステップＳ４１において、カメラを操作する指令が入力されていないと判定された場合）、３次元表示計算部７７は、送信装置１により送信された、送信者側の意図する視点によるカメラ情報（３次元仮想空間再構築記憶部９１より入力されたカメラ情報）と３次元仮想空間情報（ステップＳ３６の処理により生成された３次元仮想空間情報）に基づいて、表示画像（時間軸型の仮想空間）を生成する。
【０１０６】
このように、カメラの視点を操作する指令が入力された場合（ステップＳ４１において、カメラが操作されたと判定された場合）には、３次元表示計算部７７は、送信装置１により送信されたカメラ情報（３次元仮想空間再構築記憶部９１より入力されたカメラ情報）を切り離して受信側で自由な視点を設定し、設定した情報と３次元仮想空間情報（ステップＳ３６の処理により生成された３次元仮想空間情報）に基づいて、表示画像を生成することにより、３次元仮想空間を任意の方向から見ることができる。
【０１０７】
また、イベント処理が実行された場合（ステップＳ３９において、イベント処理が指示された場合）、３次元表示計算部７７は、イベント制御部１０２によりイベント処理が実行されたデータと３次元仮想空間情報（ステップＳ３６の処理により生成された３次元仮想空間情報）に基づいて、表示画像を生成する。例えば、３次元仮想空間内の自動車のドアに触れる入力をした場合、ドアが開くというアニメーションおよび効果音が発生される。
【０１０８】
３次元表示計算部７７は、これらのイベント情報、カメラ情報および３次元仮想空間再構築記憶部９１に記憶されているその他の情報（映像テクスチャ、オブジェクト情報、アニメーション情報）に基づいて、時系列を持つ３次元仮想空間を表示するための計算をする。
【０１０９】
具体的には、例えば、野球スポーツ中継を視聴している場合、送信側（送信装置１）において、バッターがクローズアップされているにも拘わらず、受信側（受信装置３）では、この視点を変更（カメラ情報を変更）することにより、一塁手に視点を向けることができる。
【０１１０】
ステップＳ４５において、３次元表示計算部７７は、ステップＳ４４の処理により生成した表示画像をモニタ９４に供給する。モニタ９４のユーザに選択されたモニタ（例えば、３次元表示モニタ１１２）は、供給された表示画像（音声を含む）を表示する。
【０１１１】
２次元モニタ１１１には、３次元仮想空間をカメラ情報に基づく視点から見た２次元画像が表示される。３次元表示モニタ１１２には、３次元仮想空間の画像が立体画像として表示される。ステレオ表示モニタ１１３は、ユーザの左右の眼に、視差に基づく位相差を有する左眼用または右眼用の画像を、それぞれ表示する。それらの画像データは、３次元表示計算部７７で生成される。
【０１１２】
ステップＳ４６において、マイクロコンピュータ７３は、時刻ｔカウンタを１増やす。いまの例の場合、ｔ＝１となる。
【０１１３】
ステップＳ４７において、マイクロコンピュータ７３は、時刻ｔ（いまの例の場合、時刻ｔ＝１）に更新すべきアニメーション情報があるか否かを判定する。更新すべきアニメーション情報がある（時刻ｔにおけるパケットに時間軸情報が含まれている）と判定された場合、処理はステップＳ３７に戻り、３Ｄシーンフレーム構造体展開部９２は、時刻ｔ＝１における構造体データ受信部９３により処理された展開されたパケットに基づいて、再びアニメーション情報を展開する。
【０１１４】
ステップＳ３７の処理の後、さらにステップＳ３８以降の処理が繰り返され、２回目のステップＳ４６の処理において、時刻ｔ＝２となる。１つのシーンに８０フレーム分のアニメーション情報が含まれるとすると、８０フレーム分のアニメーション情報が全て展開されるまで、同様の処理が繰り返される。
【０１１５】
ステップＳ４７において、時刻ｔ（いまの例の場合、２回目のステップＳ４６の処理により、時刻ｔ＝２）に更新すべきアニメーション情報がないと判定された場合、処理はステップＳ４８に進み、マイクロコンピュータ７３は、時刻ｔ（いまの例の場合、時刻ｔ＝２）に更新すべき３次元仮想空間情報が存在するか否かを判定する。更新すべき３次元仮想空間情報が存在する（時刻ｔ＝２において、３次元仮想空間が変更された）と判定された場合、処理はステップＳ３３に戻り、マイクロコンピュータ７３は、パケット受信部７２にパケット（いまの例の場合、時刻ｔ＝２におけるパケット）を受信させ、その後、ステップＳ３４以降の処理が繰り返される。例えば、あるシーンに含まれる８０フレーム分のアニメーション情報が全て同一の３次元仮想空間である場合、３次元仮想空間情報は、一度受信されるだけであり、アニメーション情報が８０フレーム全て表示し終えると、次のシーンに移る。
【０１１６】
ステップＳ４８において、時刻ｔに更新すべき３次元仮想空間情報が存在しない（時刻ｔ＝２において、３次元仮想空間の変更はされていない）と判定された場合、処理を終了する。
【０１１７】
以上の処理により、送信側（送信装置１）において、シーンを３次元仮想空間情報（動画データと３Ｄデータからなる３次元仮想空間情報）と時間軸情報（アニメーション情報、カメラ情報、イベント情報（リンク情報と付加情報）などによりなる時間軸情報）に分け、その後、時間軸型の仮想空間を生成し、新たな構造体を作ってからパケット化し、送信することにより、３次元仮想空間をそのまま送信することが可能である。これにより、受信側（受信装置３）は、パケットを受信し、受信したパケットから３次元仮想空間を容易に生成することができ、もって、立体映像を確実に表示することが可能となる。
【０１１８】
また、立体テレビや映画において、より再現性の高い立体映像を配信することが可能となる。
【０１１９】
さらに、３次元仮想空間情報にカメラ情報、リンク情報、および付加情報（時間軸情報）を付加することにより、受信側のユーザの任意な視点で視聴することが可能となる。
【０１２０】
また、実世界と等価な３次元仮想空間を視聴することができるため、ユーザに、より感覚的に情報を把握させることが可能となる。
【０１２１】
さらに、３次元仮想空間情報と時間軸情報（アニメーション情報、カメラ情報、イベント情報（リンク情報と付加情報））に時分割することにより、データをリアルタイムに配信することが可能となる。
【０１２２】
また、受信側にファイルとしてデータが蓄積されないため、その３次元仮想空間情報が送信側の意図としない形で転用されるのを防ぐことが可能となる。
【０１２３】
さらに、本発明の伝送システムを利用して、３次元仮想空間上に配置された２次元矩形平面に映し出された静止画像および動画像を視聴できる立体テレビコンテンツを通常のテレビ画像として伝送することが可能となる。
【０１２４】
また、その２次元矩形を複数配置し、３次元仮想空間内での観測点を移動させることにより、複数の静止画、動画のマルチアングル切り替え、およびマルチストリーム切り替えが可能な立体テレビコンテンツを、ＤＶＤにおけるマルチアングル切り替え様の画像として伝送することが可能となる。
【０１２５】
さらに、３次元仮想空間上に配置された２次元矩形平面に映し出された静止画像および動画像を視聴できる立体テレビコンテンツ、および３次元仮想空間内での観測点を移動させる立体コンテンツにおいて、２次元矩形平面に３次元立体物を加えた立体テレビコンテンツをビュー・オン・デマンドとして伝送することが可能となる。
【０１２６】
また、本発明の伝送システムを利用して、すべて３次元立体物で構成された立体テレビコンテンツを、映画、ドラマ、バラエティ、ニュース、ドキュメンタリー、教育、および音楽番組等として伝送することが可能となる。
【０１２７】
さらに、上述した立体コンテンツにおいて、視聴者が観測点を任意に切り替えられる立体テレビジョンコンテンツをビュー・オン・デマンド型立体（例えば、映画、ドラマ、バラエティ、ニュース、ドキュメンタリー、教育、音楽番組等）として伝送することが可能となる。
【０１２８】
また、３次元仮想空間に配置された物体にイベント情報（リンク情報とアニメーション情報）を加えた立体テレビジョンコンテンツを伝送することが可能となる。
【０１２９】
さらに、２次元視覚化されたネットワークビューアを伝送することが可能となる。
【０１３０】
また、テレビジョン上の３次元仮想空間コンテンツを伝送することが可能となる。
【０１３１】
なお、以上の例では、アニメーション情報を動画データ、３Ｄデータから生成するようにしたが、アニメーション情報を、直接記録媒体や、通信部（いずれも図示せず）などから、入力してもよい。
【０１３２】
さらに、３Ｄデータにカメラ情報やイベント情報を含むようにしたが、カメラ情報やイベント情報を記録媒体や通信部（いずれも図示せず）などから、入力してもよい。また、カメラ情報に、ライト情報を付加させてもよい。
【０１３３】
３次元空間における物体についての各データの階層構造は、オブジェクト毎に必要に応じて、モデル情報、テクスチャ情報、マテリアル情報、アニメーション情報、ライト情報、およびカメラ情報などを含んでいてもよい。オブジェクトの単位は、表現される物体の構造や必要な表現内容により、様々なレベルがあるため、上述した構造に限定されない。
【０１３４】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１３５】
この記録媒体は、図２と図６に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク４１，１０１（フロッピディスクを含む）、光ディスク４２，１０２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ−Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）を含む）、光磁気ディスク４３，１０３（ＭＤ（Ｍｉｎｉ　Ｄｉｓｃ）を含む）、半導体メモリ４４，１０４などによりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているＨＤＤ１５などで構成される。
【０１３６】
なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３７】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。
【０１３８】
【発明の効果】
以上の如く、本発明によれば、３次元仮想空間情報を含む画像情報の配信を確実に行なうことができる。また、本発明によれば、立体映像の再現性を高くすることができる。さらに、表示される３次元仮想空間映像の視点を任意に変更することができる。また、３次元仮想空間情報を含む画像情報をリアルタイムで配信することができる。さらに、本発明によれば、３次元仮想空間情報を含む画像情報の転用を防止することができる。
【図面の簡単な説明】
【図１】本発明を適用したシステムの構成例を示すブロック図である。
【図２】図１の送信装置の構成例を示すブロック図である。
【図３】図２の３次元仮想空間生成部、３次元仮想空間情報記憶部、３Ｄシーンフレーム構造体生成部、および構造体データ送信部の関係を表わす図である。
【図４】図２の送信装置のデータ送信処理を説明するフローチャートである。
【図５】図２の送信装置のデータ送信処理を説明するフローチャートである。
【図６】図１の受信装置の構成例を示すブロック図である。
【図７】図６の受信装置における各部の構成を機能ブロック図として示したものである。
【図８】図６の受信装置におけるデータ受信処理を説明するフローチャートである。
【図９】図６の受信装置におけるデータ受信処理を説明するフローチャートである。
【符号の説明】
１　送信装置
１１　動画データ入力デバイス
１２　３Ｄデータ入力デバイス
１３　カメラ情報入力デバイス
１４　マイクロコンピュータ
１５　ＨＤＤ
１６　３次元表示計算部
３１　３次元仮想空間生成部
３２　３次元仮想空間情報記憶部
３３　３Ｄシーンフレーム構造体生成部
３４　構造体データ送信部
７６　ポインティングデバイス入力部
７７　３次元表示計算部
９１　３次元仮想空間再構築記憶部
９２　３Ｄシーンフレーム構造体展開部
９３　構造体データ受信部
１０１　カメラローカル制御部
１０２　イベント制御部
【図１】
2004062751.tif 000003
【図２】
2004062751.tif 000004
【図３】
2004062751.tif 000005
【図４】
2004062751.tif 000006
【図５】
2004062751.tif 000007
【図６】
2004062751.tif 000008
【図７】
2004062751.tif 000009
【図８】
2004062751.tif 000010
【図９】
2004062751.tif 000011