(57)【要約】【課題】コンテンツの提示を、柔軟に行う。【解決手段】送受信システムは、データを送信する送信装置１２と、データを受信する受信装置１３とから構成される。送信装置１２は、コンテンツに用いられるオブジェクトの物理モデルを同定するためのパラメータを送信する。一方、受信装置１３は、送信装置１２からのパラメータを受信し、そのパラメータに基づいて物理シミュレーションを行うことにより、コンテンツを生成する。本発明は、例えば、放送を行う放送システム等に適用することができる。【選択図】図１
2009194596.tif 000002
【特許請求の範囲】
【請求項１】
データを送信する送信装置と、前記データを受信する受信装置とから構成される送受信システムにおいて、
前記送信装置は、コンテンツに用いられるオブジェクトの物理モデルを同定するためのパラメータを送信する送信手段を有し、
前記受信装置は、前記パラメータに基づいて物理シミュレーションを行うことにより、コンテンツを生成する生成手段を有する
送受信システム。
【請求項２】
前記送信手段は、前記オブジェクトの状態に関する時系列データを含むコンテンツデフォルト情報をさらに送信し、
前記生成手段は、前記オブジェクト情報及び前記コンテンツデフォルト情報に基づいて、コンテンツを生成する
請求項１に記載の送受信システム。
【請求項３】
前記送信手段は、前記オブジェクトの状態が物理シミュレーションにより算出可能である場合、前記オブジェクトの状態に関するデータを前記コンテンツデフォルト情報に含めずに、前記コンテンツデフォルト情報を送信し、
前記生成手段は、前記オブジェクトの状態を物理シミュレーションにより算出することにより、コンテンツを生成する
請求項２に記載の送受信システム。
【請求項４】
前記生成手段は、コンテンツを提示するための提示装置のサイズに応じたコンテンツを生成する
請求項１に記載の送受信システム。
【請求項５】
前記生成手段は、前記提示装置のサイズ及び前記オブジェクトのサイズに基づいて、前記提示装置で提示されるオブジェクトが、実世界におけるオブジェクトのサイズになるように、コンテンツを生成する
請求項４に記載の送受信システム。
【請求項６】
前記送受信システムは、放送システムである
請求項１に記載の送受信システム。
【請求項７】
データを受信する受信装置とともに送受信システムを構成する、前記データを送信する送信装置において、
コンテンツに用いられるオブジェクトの物理モデルを同定するためのパラメータを送信する送信手段を備える
送信装置。
【請求項８】
前記送信手段は、前記オブジェクトの状態に関する時系列データを含むコンテンツデフォルト情報をさらに送信する
請求項７に記載の送信装置。
【請求項９】
前記送受信システムは、放送システムである
請求項７に記載の送信装置。
【請求項１０】
データを受信する受信装置とともに送受信システムを構成する、前記データを送信する送信装置の送信方法において、
前記送信装置が、コンテンツに用いられるオブジェクトの物理モデルを同定するためのパラメータを送信するステップを含む
送信方法。
【請求項１１】
データを受信する受信装置とともに送受信システムを構成する、前記データを送信する送信装置として、コンピュータを機能させるプログラムにおいて、
コンテンツに用いられるオブジェクトの物理モデルを同定するためのパラメータを送信する送信手段
として、コンピュータを機能させるためのプログラム。
【請求項１２】
データを送信する送信装置とともに送受信システムを構成する、前記データを受信する受信装置において、
前記送信装置が、コンテンツに用いられるオブジェクトの物理モデルを同定するためのパラメータを送信する場合において、
前記パラメータに基づいて物理シミュレーションを行うことにより、コンテンツを生成する生成手段を備える
受信装置。
【請求項１３】
前記送信装置は、前記オブジェクトの状態に関する時系列データを含むコンテンツデフォルト情報をさらに送信し、
前記生成手段は、前記オブジェクト情報及び前記コンテンツデフォルト情報に基づいて、コンテンツを生成する
請求項１２に記載の受信装置。
【請求項１４】
前記送信装置は、前記オブジェクトの状態が物理シミュレーションにより算出可能である場合、前記オブジェクトの状態に関するデータを前記コンテンツデフォルト情報に含めずに、前記コンテンツデフォルト情報を送信し、
前記生成手段は、前記オブジェクトの状態を物理シミュレーションにより算出することにより、コンテンツを生成する
請求項１３に記載の受信装置。
【請求項１５】
前記生成手段は、コンテンツを提示するための提示装置のサイズに応じたコンテンツを生成する
請求項１２に記載の受信装置。
【請求項１６】
前記生成手段は、前記提示装置のサイズ及び前記オブジェクトのサイズに基づいて、前記提示装置で提示されるオブジェクトが、実世界におけるオブジェクトのサイズになるように、コンテンツを生成する
請求項１５に記載の受信装置。
【請求項１７】
前記送受信システムは、放送システムである
請求項１２に記載の受信装置。
【請求項１８】
データを送信する送信装置とともに送受信システムを構成する、前記データを受信する受信装置の受信方法において、
前記送信装置が、コンテンツに用いられるオブジェクトの物理モデルを同定するためのパラメータを送信する場合において、
前記受信装置が、前記パラメータに基づいて物理シミュレーションを行うことにより、コンテンツを生成するステップを含む
受信方法。
【請求項１９】
データを送信する送信装置とともに送受信システムを構成する、前記データを受信する受信装置として、コンピュータを機能させるプログラムにおいて、
前記送信装置が、コンテンツに用いられるオブジェクトの物理モデルを同定するためのパラメータを送信する場合において、
前記パラメータに基づいて物理シミュレーションを行うことにより、コンテンツを生成する生成手段
として、コンピュータを機能させるためのプログラム。
【請求項２０】
データを送信する送信装置とともに送受信システムを構成する、前記データを受信する受信装置により受信された前記データに基づいて生成されるコンテンツを提示する提示装置において、
前記送信装置が、前記コンテンツに用いられるオブジェクトの物理モデルを同定するためのパラメータを送信する場合において、
前記パラメータに基づいて物理シミュレーションを行うことにより生成されるコンテンツを提示する提示手段を備える
提示装置。
【請求項２１】
提示されるコンテンツが鑑賞される鑑賞環境をセンシングするセンシング手段をさらに備え、
前記提示手段は、前記パラメータ及び前記センシング手段によりセンシングされた前記鑑賞環境に関する鑑賞環境情報に基づいて生成されるコンテンツを提示する
請求項２０に記載の提示装置。
【請求項２２】
前記提示装置を移動させる移動手段をさらに備え、
前記提示装置は、前記オブジェクトごとに個別に用意され、
前記移動手段は、生成されるコンテンツ上での前記オブジェクトの位置を表す情報に基づいて前記提示装置を移動させる
請求項２１に記載の提示装置。
【請求項２３】
前記センシング手段は、前記鑑賞環境において存在する物体をセンシングする
請求項２２に記載の提示装置。
【請求項２４】
前記センシング手段は、前記鑑賞環境における照明条件をセンシングする
請求項２２に記載の提示装置。
【請求項２５】
データを送信する送信装置とともに送受信システムを構成する、前記データを受信する受信装置により受信された前記データに基づいて生成されるコンテンツを提示する提示装置の提示方法において、
前記送信装置が、前記コンテンツに用いられるオブジェクトの物理モデルを同定するためのパラメータを送信する場合において、
前記提示装置が、前記パラメータに基づいて物理シミュレーションを行うことにより生成されるコンテンツを提示するステップを含む
提示方法。
【請求項２６】
データを送信する送信装置とともに送受信システムを構成する、前記データを受信する受信装置により受信された前記データに基づいて生成されるコンテンツを提示する提示装置として、コンピュータを機能させるプログラムにおいて、
前記送信装置が、前記コンテンツに用いられるオブジェクトの物理モデルを同定するためのパラメータを送信する場合において、
前記パラメータに基づいて物理シミュレーションを行うことにより生成されるコンテンツを提示する提示手段
として、コンピュータを機能させるためのプログラム。
【請求項２７】
請求項１１、請求項１９、又は請求項２６に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、送受信システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体に関し、特に、例えば、画像等のコンテンツの提示を、柔軟に行うことができるようにする送受信システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
例えば、現行の、アナログ放送やディジタル放送の放送システムでは、送信側である放送局において、素材データとしての画像や音声が、番組としてのコンテンツを制作するコンテンツ制作者によって編集され、その編集後の画像及び音声からなるコンテンツが、番組として放送される。
【０００３】
一方、受信側である、例えば、各家庭では、TV(テレビジョン受像機)等によって、放送局からの番組としてのコンテンツの画像が表示されるとともに、音声が出力される。
【０００４】
なお、送信側から、視点の異なる複数の画像の素材を放送し、受信側で、ユーザが、任意の視点の画像を選択することができる放送システムが提案されている（例えば、特許文献１を参照）。
【０００５】
【特許文献１】特開2006-217662号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
受信側のTVでは、上述のように、放送局で編集がされた、編集後のコンテンツが提示（表示や出力等）される。
【０００７】
したがって、ユーザは、放送局において、コンテンツ制作者が、ある意図をもって編集したコンテンツを鑑賞（視聴）することになる。
【０００８】
その結果、例えば、コンテンツに、ユーザが嫌いな対象（オブジェクト）が含まれていても、ユーザは、そのオブジェクトを鑑賞することになる。
【０００９】
このため、ユーザが嫌いなオブジェクトを鑑賞せずに済むように、そのオブジェクトをコンテンツから削除すること等の加工を、ユーザが行うことができるようにすることが要請されている。
【００１０】
一方、例えば、セカンドライフ等の仮想空間（仮想的な空間）においては、ユーザは、仮想空間として提供されるコンテンツ（を構成するオブジェクト）を加工すること、すなわち、例えば、ユーザの好みの家を建てること等が可能である。
【００１１】
しかしながら、セカンドライフ等の仮想空間においては、各ユーザが、コンテンツを加工することはできても、その加工後のコンテンツは、ユーザ全員で共有することになる。
【００１２】
したがって、ユーザは、他のユーザが加工したコンテンツが気に入らなくても、そのコンテンツを鑑賞しなければならない。
【００１３】
また、上述のような放送システムや仮想空間において、ユーザが鑑賞することができるのは、画像及び音声という、視覚及び聴覚で鑑賞することができるコンテンツ（を構成するオブジェクト）だけであり、視覚及び聴覚以外の感覚で鑑賞することができるコンテンツ、すなわち、例えば、料理の匂いを鑑賞する（嗅ぐ）ことは困難であった。
【００１４】
さらに、放送システムや仮想空間では、上述のように、ユーザは、視覚及び聴覚の２つの感覚で、コンテンツを鑑賞するが、３つ以上の感覚で鑑賞することができるコンテンツの提示が要請されている。
【００１５】
また、特許文献１に記載の放送システムでは、各オブジェクトごとに分離された各オブジェとに固有の情報を放送することはしないため、ユーザがコンテンツを加工する自由度が低い。
【００１６】
本発明は、このような状況に鑑みてなされたものであり、例えば、ユーザが、各ユーザ固有のコンテンツを鑑賞することや、ユーザが、視覚及び聴覚以外の感覚でコンテンツを鑑賞すること、ユーザが、３つ以上の感覚でコンテンツを鑑賞すること等ができるように、コンテンツの提示を、柔軟に行うことができるようにするものである。
【課題を解決するための手段】
【００１７】
本発明の第１の側面の送受信システムは、データを送信する送信装置と、前記データを受信する受信装置とから構成される送受信システムであり、前記送信装置が、コンテンツに用いられるオブジェクトの物理モデルを同定するためのパラメータを送信する送信手段を有し、前記受信装置が、前記パラメータに基づいて物理シミュレーションを行うことにより、コンテンツを生成する生成手段を有する送受信システムである。
【００１８】
以上のような第１の側面においては、前記送信装置において、コンテンツに用いられるオブジェクトの物理モデルを同定するためのパラメータが送信され、前記受信装置において、前記パラメータに基づいて物理シミュレーションを行うことにより、コンテンツが生成される。
【００１９】
本発明の第２の側面の送信装置、又は、プログラムは、データを受信する受信装置とともに送受信システムを構成する、前記データを送信する送信装置であり、コンテンツに用いられるオブジェクトの物理モデルを同定するためのパラメータを送信する送信手段を備える送信装置、又は、送信装置として、コンピュータを機能させるためのプログラムである。
【００２０】
本発明の第２の側面の送信方法は、データを受信する受信装置とともに送受信システムを構成する、前記データを送信する送信装置の送信方法であり、前記送信装置が、コンテンツに用いられるオブジェクトの物理モデルを同定するためのパラメータを送信するステップを含む送信方法である。
【００２１】
以上のような第２の側面においては、コンテンツに用いられるオブジェクトの物理モデルを同定するためのパラメータが送信される。
【００２２】
本発明の第３の側面の受信装置、又は、プログラムは、データを送信する送信装置とともに送受信システムを構成する、前記データを受信する受信装置であり、前記送信装置が、コンテンツに用いられるオブジェクトの物理モデルを同定するためのパラメータを送信する場合において、前記パラメータに基づいて物理シミュレーションを行うことにより、コンテンツを生成する生成手段を備える受信装置、又は、受信装置として、コンピュータを機能させるためのプログラムである。
【００２３】
本発明の第３の側面の受信方法は、データを送信する送信装置とともに送受信システムを構成する、前記データを受信する受信装置の受信方法であり、前記送信装置が、コンテンツに用いられるオブジェクトの物理モデルを同定するためのパラメータを送信する場合において、前記受信装置が、前記パラメータに基づいて物理シミュレーションを行うことにより、コンテンツを生成するステップを含む受信方法である。
【００２４】
以上のような第３の側面においては、前記パラメータに基づいて物理シミュレーションを行うことにより、コンテンツが生成される。
【００２５】
本発明の第４の側面の提示装置、又はプログラムは、データを送信する送信装置とともに送受信システムを構成する、前記データを受信する受信装置により受信された前記データに基づいて生成されるコンテンツを提示する提示装置であり、前記送信装置が、前記コンテンツに用いられるオブジェクトの物理モデルを同定するためのパラメータを送信する場合において、前記パラメータに基づいて物理シミュレーションを行うことにより生成されるコンテンツを提示する提示手段を備える提示装置、又は提示装置として、コンピュータを機能させるためのプログラムである。
【００２６】
本発明の第４の側面の提示方法は、データを送信する送信装置とともに送受信システムを構成する、前記データを受信する受信装置により受信された前記データに基づいて生成されるコンテンツを提示する提示装置の提示方法であり、前記送信装置が、前記コンテンツに用いられるオブジェクトの物理モデルを同定するためのパラメータを送信する場合において、前記提示装置が、前記パラメータに基づいて物理シミュレーションを行うことにより生成されるコンテンツを提示するステップを含む提示方法である。
【００２７】
以上のような第４の側面においては、前記パラメータに基づいて物理シミュレーションを行うことにより生成されるコンテンツが提示される。
【００２８】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００２９】
また、送信装置や、受信装置、提示装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００３０】
本発明の第１ないし第４の側面によれば、コンテンツの提示を、柔軟に行うことが可能となる。
【発明を実施するための最良の形態】
【００３１】
図１は、本発明を適用した送受信システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは、問わない）の一実施の形態の構成例を示している。
【００３２】
図１において、送受信システムは、例えば、番組としてのコンテンツの放送を行う放送システムであり、送信側の装置としてのセンシング装置１１、及び送信装置１２、並びに、受信側の装置としての受信装置１３、及び提示装置１４から構成されている。
【００３３】
センシング装置１１は、コンテンツを構成する（コンテンツに用いられる）各種のオブジェクトをセンシングし、そのセンシングの結果得られるデータを、送信装置１２に供給する。
【００３４】
送信装置１２は、センシング装置１１からのデータから、コンテンツの提示に必要な各種のデータ（情報）を生成し、放送用の放送データとして送信する。
【００３５】
また、送信装置１２は、コンテンツ制作者の意図を反映したコンテンツ、つまり、コンテンツ制作者による編集後のコンテンツの提示に必要なデータを生成し、放送データとして送信する。
【００３６】
放送データは、例えば、地上波や、衛星回線、インターネット、CATV(Cable Television)網等の伝送媒体を介して送信される。
【００３７】
受信装置１３は、送信装置１２から送信されてくるデータを受信し、そのデータから、提示装置１４で提示を行うための提示データ（コンテンツとなる提示データ）を生成して、提示装置１４に供給する。
【００３８】
なお、受信装置１３は、必要に応じて、ユーザからの指示に基づき、提示データを生成する。
【００３９】
提示装置１４は、受信装置１３からの提示データに従い、ユーザに対して、コンテンツの提示を行う。
【００４０】
図２は、図１のセンシング装置１１を説明する図である。
【００４１】
センシング装置１１としては、提示装置１４でコンテンツの提示に必要な任意の物理量をセンシングする各種のセンサを採用することができる。
【００４２】
すなわち、センシング装置１１としては、例えば、力をセンシングする力センサ、速度をセンシングする速度センサ、回転数をセンシング（計測）する回転数センサ、液体をセンシングする液センサ、ガス濃度やイオン濃度等をセンシングする化学センサ、変位をセンシング（計測）する変位センサ、加速度をセンシングする加速度センサ、距離をセンシングする距離センサ、磁気をセンシングする磁気センサ、位置をセンシングする位置センサ、角速度をセンシングする角速度センサ、光をセンシングする光センサ、温度をセンシングする温度センサ等を採用することができる。
【００４３】
なお、光センサには、光の検出や、明るさの検出を行うセンサの他、撮影を行い、画像を出力するイメージャ（カメラ）が含まれる。
【００４４】
また、センシング装置１１としては、上述したセンサの他、時間、電場、電流、放射線（X線）、流量、湿度、振動、匂い、赤外線、音（音声）、その他の物理量をセンシングするセンサを採用することができる。
【００４５】
次に、センシング装置１１によるセンシングの形態について説明する。
【００４６】
センシング装置１１は、上述したように、コンテンツに用いられる各種のオブジェクトをセンシングするが、そのセンシングの形態としては、第１、第２、及び、第３の形態がある。
【００４７】
図３は、センシング装置１１によるセンシングの第１の形態を示している。
【００４８】
なお、図３では（後述する図４、及び図５でも同様）、背景となるオブジェクトと、背景以外のオブジェクトである２つの物体（例えば、俳優である人物や、自動車、その他の有体物等）A及びBとからなるコンテンツを対象として、オブジェクトのセンシングを行うこととする。
【００４９】
ここで、背景は、その背景全体が１つのオブジェクトであることとし、物体A及びBは、その物体A及びBのそれぞれが１つのオブジェクトであることとする。
【００５０】
第１の形態では、センシング装置１１として、背景となるオブジェクトをセンシングするセンサである背景用センサと、物体A及びBのそれぞれをセンシングするセンサである物体用センサとを、別個に用意して、コンテンツを構成している状態の背景と、２つの物体A及びBのそれぞれとが、同時にセンシングされる。
【００５１】
すなわち、背景は、背景用センサで、物体Aは、物体用センサで、物体Bは、他の物体用センサで、それぞれセンシングされる。
【００５２】
なお、背景用センサとしては、光をセンシングして画像を出力するカメラや、音をセンシングするマイク、温度をセンシングする温度センサ、湿度をセンシングする湿度センサ、イオン密度をセンシングするイオン密度センサ、匂いをセンシングする匂いセンサ、位置をセンシングする位置センサ（例えば、GPS(Global Positioning System)）、距離をセンシングする距離センサ等が用いられる。
【００５３】
また、物体用センサしては、上述のカメラや、マイク、温度センサ、匂いセンサ、位置センサ、さらには、味をセンシングする味覚センサ、角速度をセンシングする角速度センサ、X線をセンシングするセンサ等が用いられる。
【００５４】
ここで、物体用センサは、１つのオブジェクトに複数割り当て、その複数の物体用センサによって、１つのオブジェクトのセンシングを行うことができる。背景用センサについても同様である。
【００５５】
なお、複数の物体用センサや背景センサによって、オブジェクトをセンシングする場合の、その複数の物体用センサや背景センサの配置としては、例えば、特開2004-266511号公報に記載されているカメラ配置を採用することができる。
【００５６】
図４は、センシング装置１１によるセンシングの第２の形態を示している。
【００５７】
第２の形態では、図３の第１の形態と同様に、センシング装置１１として、背景となるオブジェクトをセンシングするセンサである背景用センサと、物体A及びBのそれぞれをセンシングするセンサである物体用センサとを、別個に用意して、コンテンツに用いられる背景と、２つの物体A及びBそれぞれとが、同時にセンシングされる。
【００５８】
但し、第２の形態では、背景と物体A及びBのセンシングは、背景と物体A及びBがコンテンツを構成している状態で行われるのではなく、背景、物体A、及び物体Bのそれぞれが別々になっている状態で行われる。
【００５９】
すなわち、例えば、レース場を背景として、物体A及びBとしての２台の自動車が、カーレースを行っているコンテンツを例にすれば、第１形態では、物体A及びBとしての２台の自動車が、背景としてのレース場で、実際にカーレースを行っている状態で、背景としてのレース場と、物体A及びBとしての２台の自動車の撮影等のセンシングが行われる。
【００６０】
一方、第２の形態では、カーレースが行われていない状態のレース場の撮影等のセンシングが行われ、レース場のセンシングとは無関係な場所や時間に、物体Aとしての自動車のセンシングが行われる。物体Bとしての自動車のセンシングも、レース場のセンシングや、物体Aのセンシングと無関係に行われる。
【００６１】
図５は、センシング装置１１によるセンシングの第３の形態を示している。
【００６２】
第３の形態では、背景をセンシングするセンサ、物体Aをセンシングするセンサ、及び物体Bをセンシングするセンサが兼用されている。
【００６３】
ここで、背景をセンシングするセンサと、物体Aをセンシングするセンサ、及び物体Bをセンシングするセンサとを兼用するセンサを、兼用センサという。
【００６４】
兼用センサによれば、背景、物体A、及び、物体Bそれぞれの物理量が合成した状態でセンシングがされる。
【００６５】
なお、センシング装置１１での物理量のセンシングの結果得られたデータ（以下、センシング情報ともいう）は、後述するように、送信装置１２において、オブジェクトごとのオブジェクト情報を生成するのに用いられる。
【００６６】
オブジェクトごとのオブジェクト情報の生成にあたっては、オブジェクトごとのセンシング情報が必要であり、そのため、兼用センサでセンシングする物理量は、兼用センサが出力するセンシング情報を、オブジェクトごとのセンシング情報に分離することができる物理量である必要がある。
【００６７】
例えば、カメラが出力するセンシング情報としての画像は、オブジェクト画像抽出の技術によって、オブジェクトごとの画像に分離することができる。また、例えば、マイクが出力するセンシング情報としての音は、音源分離の技術によって、オブジェクトごとの音に分離することができる。したがって、カメラやマイクは、兼用センサとして使用することができる。
【００６８】
一方、X線や、温度、匂い等をセンシングするセンサで、複数のオブジェクトをセンシングした場合、そのセンサが出力するセンシング情報を、オブジェクトごとに分離することは困難である。
【００６９】
このように、オブジェクトごとのセンシング情報に分離することが困難な物理量については、その物理量をセンシングするセンサを、オブジェクトごとに用意してセンシングを行う必要がある。
【００７０】
次に、図６は、図１の送信装置１２の構成例を示している。
【００７１】
図６において、送信装置１２は、オブジェクト情報生成部３１、コンテンツデフォルト情報生成部３２、及び、送信部３３から構成される。
【００７２】
オブジェクト情報生成部３１には、センシング装置１１から、センシング情報が供給される。さらに、オブジェクト情報生成部３１には、コンテンツ制作者が、図示せぬ操作部を操作することにより行った編集の指示を表す指示情報も供給される。
【００７３】
オブジェクト情報生成部３１は、例えば、指示情報によって編集の指示がされたオブジェクト等について、センシング装置１１からのセンシング情報から、オブジェクトごとのオブジェクト情報を生成する。さらに、オブジェクト情報生成部３１は、オブジェクトを識別するためのユニークなオブジェクトID(idenfitication)を生成し、そのオブジェクトIDが表すオブジェクトのオブジェクト情報とともに、送信部３３に供給する。
【００７４】
なお、オブジェクトIDは、オブジェクト情報生成部３１から、コンテンツデフォルト情報生成部３２にも供給される。
【００７５】
また、オブジェクト情報生成部３１が生成するオブジェクト情報には、背景のオブジェクトのオブジェクト情報と、背景以外の物体のオブジェクトのオブジェクト情報とがある。以下、適宜、背景のオブジェクト情報を、背景オブジェクト情報ともいい、背景以外の物体のオブジェクト情報を、物体オブジェクト情報ともいう。
【００７６】
ここで、オブジェクト情報とは、オブジェクトを鑑賞したときに得られる感覚を再現するための情報でもある。
【００７７】
オブジェクトを鑑賞したときに得られる感覚には、いわゆる五感で感じることができるもの、すなわち、例えば、視覚で認識（知覚）されるオブジェクトの画像（オブジェクトが反射する光）、聴覚で認識される、オブジェクトが発する音（音声）、嗅覚で認識されるオブジェクトの匂い、味覚で認識されるオブジェクトの味、触覚で認識されるオブジェクトの温度等がある。
【００７８】
オブジェクト情報は、以上のような、オブジェクト、ひいては、オブジェクトを用いて構成されるコンテンツを鑑賞したときに得られる感覚を再現するための情報であり、かつ、オブジェクトごとの情報である。
【００７９】
ここで、オブジェクト（コンテンツ）を鑑賞したときに得られる感覚を再現するための情報を、感覚情報ともいう。
【００８０】
感覚情報であるオブジェクト情報としては、オブジェクトを鑑賞したときに得られる感覚を再現するための物理シミュレーションに必要な物理モデルを同定するためのパラメータ（以下、モデルパラメータともいう）を採用することができる。
【００８１】
モデルパラメータとしては、例えば、オブジェクトを剛体としたときの運動をシミュレートするための、オブジェクトに固有の第１のパラメータや、様々な照明条件で、様々な位置及び方向からオブジェクトを見たときに視覚に映るオブジェクトの画像をシミュレートするための、オブジェクトに固有の第２のパラメータがある。
【００８２】
オブジェクトを剛体としたときの運動をシミュレートするための第１のパラメータとしては、例えば、オブジェクトの質量や、慣性モーメント、ジオメトリ形状（オブジェクトどうしの相互作用（衝突や摩擦など）において用いられるオブジェクト境界形状）、反発係数、摩擦係数、実世界での大きさ（例えば、メッシュ座標の単位尺度が実世界のどの程度の距離に対応しているか）等がある。
【００８３】
なお、背景のオブジェクトについての第１のパラメータとしては、その他、例えば、その場の風速（空気中）や、流速（水中）、重力等がある。
【００８４】
また、モデルパラメータに、第１のパラメータが含まれる場合、受信装置１３（図１）では、その第１のパラメータを用いて、オブジェクトを剛体としたときの運動をシミュレートするシミュレーションが行われる。
【００８５】
オブジェクトを剛体としたときの運動をシミュレートするシミュレーション方法としては、例えば、動力学シミュレータを使った運動シミュレーション(ODE(Open Dynamics Engine)（商標）)がある。ODEについては、例えば、ODEのwebページ(URL:http://www.ode.org/)に記載されている。
【００８６】
一方、様々な照明条件で、様々な位置及び方向からオブジェクトを見たときに視覚に映るオブジェクトの画像をシミュレートするための第２のパラメータとしては、例えば、色情報、メッシュ情報などの外形形状モデル、照明情報、オブジェクト材質情報（照明反射率、反射特性に関連する）がある。
【００８７】
なお、背景のオブジェクトについての第２のパラメータとしては、その他、例えば、特開2004-015106号公報に記載されている中間データを採用することができる。中間データは、例えば、オブジェクトを様々な方向から見たときに視覚に映る画像のデータであり、以下、適宜、光線空間表現データベースともいう。
【００８８】
また、モデルパラメータに、第２のパラメータが含まれる場合、受信装置１３（図１）では、その第２のパラメータを用いて、様々な照明条件で、様々な位置及び方向からオブジェクトを見たときに視覚に映るオブジェクトの画像をシミュレートするシミュレーションが行われる。
【００８９】
様々な照明条件で、様々な位置及び方向からオブジェクトを見たときに視覚に映るオブジェクトの画像をシミュレートするシミュレーション方法としては、例えばOpenGL(R)(Open Graphics Library)を使ったCG(Computer Graphics)視点変更や照明条件の設定等を行った条件の下で、CGを生成する方法がある。OpenGL(R)については、例えば、URL:http://ja.wikipedia.org/wiki/OpenGLに記載されている。
【００９０】
ここで、モデルパラメータとして理想的な情報は、オブジェクトが実世界（現実世界）で起こすあらゆる状態の変化をシミュレーションするために必要な情報である。
【００９１】
モデルパラメータに、理想的な情報が含まれる場合、受信装置１３（図１）では、その理想的な情報を用いて、例えば、剛体の運動をシミュレートする剛体シミュレーションの他、流体等の物体変形をもシミュレートする、ある程度汎用的な力学シミュレーション（例えば、格子法や粒子法等）や、光の拡散をシミュレートするシミュレーション、温度の変化をシミュレートするシミュレーション、そして、究極的には、原子のシミュレーションが行われ、このようなシミュレーションを行うための多数のシミュレータが必要となる。
【００９２】
なお、シミュレーションが困難な物理量、その他、オブジェクトの特定の物理量については、オブジェクト情報としては、モデルパラメータではなく、オブジェクト固有情報を採用することができる。
【００９３】
オブジェクト固有情報とは、例えば、センシング装置１１でオブジェクトのセンシングを行うことにより得られるセンシング情報と、オブジェクトの擬似的な物理量をシミュレートするための情報である。
【００９４】
オブジェクト固有情報としてのセンシング情報としては、例えば、オブジェクトが発する音（音声）や、オブジェクトの温度、（X線により撮影される）オブジェクトの内部構造、オブジェクトの匂い、オブジェクトの味等を表す情報がある。
【００９５】
また、オブジェクト固有情報としての、オブジェクトの擬似的な物理量をシミュレートするための情報としては、例えば、物体の見た目から音をつくり出すクロスクリエーションに必要な情報（例えば、オブジェクトどうしが衝突したきに発生する音等のテンプレート）等がある。
【００９６】
オブジェクト情報には、上述のモデルパラメータや、オブジェクト固有情報の他に、コンテンツのエンターテイメント性を向上させるための情報（以下、エンタメ情報ともいう）や、エネルギ情報、トリガ情報を含めることができる。
【００９７】
エンタメ情報とは、例えば、物理シミュレーションでは不可能なオブジェクトの状態変化を創造するための情報であり、例えば、オブジェクトのスケッチ画（スケッチ画のような画像）（スケッチ調の画像）の情報である。
【００９８】
エネルギ情報とは、例えば、受信装置１３側の視聴環境（例えば、ディスプレイの大きさ）を考慮したリアリティを実現するために必要な情報であり、例えば、オブジェクトの大きさである。
【００９９】
すなわち、受信装置１３では、例えば、画像のコンテンツが、大画面のディスプレイに表示された場合に、その大画面のディスプレイにおいて、コンテンツを構成するオブジェクト（例えば、人物）が、実世界での大きさよりも大きく表示されることがある。
【０１００】
そして、例えば、ディスプレイに表示された人物が、実世界で実際に見た場合の大きさよりも大きい場合には、臨場感が薄れ、いわゆるリアリティが損なわれる。
【０１０１】
そこで、受信装置１３では、オブジェクトが、実世界での大きさよりも大きく表示されないように、すなわち、ユーザが、実世界のオブジェクトを見ているかのように認識するように、ディスプレイに表示されるオブジェクトの大きさを調整するリアリティ処理が行われる。
【０１０２】
エネルギ情報は、受信装置１３において、以上のようなリアリティ処理に用いられる。
【０１０３】
トリガ情報とは、例えば、上述のクロスクリエーションに必要な情報である。
【０１０４】
コンテンツデフォルト情報生成部３２には、コンテンツ制作者が、図示せぬ操作部を操作することにより行った編集の指示を表す指示情報が供給される。
【０１０５】
コンテンツデフォルト情報生成部３２は、オブジェクト情報生成部３１から供給されるオブジェクトIDが表す各オブジェクトについて、そのオブジェクトの状態に関する時系列データを含むコンテンツデフォルト情報を、コンテンツ制作者からの指示情報に従って生成し、送信部３３に供給する。
【０１０６】
すなわち、例えば、いま、コンテンツ制作者が制作しようとしている番組としてのコンテンツについて、仮想的な空間（仮想空間）を想定し、その仮想空間を、コンテンツ世界ということとすると、コンテンツ制作者は、オブジェクト情報生成部３１からのオブジェクトIDが表す、コンテンツ世界の各オブジェクトの配置や向き等の、オブジェクトの状態に関する情報、コンテンツ世界の照明条件（コンテンツ世界のオブジェクトを照明する光源の位置や、その光源の明るさ等）、コンテンツ世界でオブジェクトを鑑賞する鑑賞者（ユーザ）の位置や向き等の情報を、操作部を操作することにより指示する。
【０１０７】
コンテンツデフォルト情報生成部３２は、コンテンツ制作者の指示を表す指示情報に従い、オブジェクトの状態に関する時系列データ、照明条件の時系列データ、鑑賞者の位置や向き等の時系列データを生成し、これらの時系列データを、コンテンツデフォルト情報として、送信部３３に供給する。
【０１０８】
ここで、受信装置１３（図１）では、後述するように、ユーザからの指示が特にない場合には、コンテンツデフォルト情報に基づいて、コンテンツ世界の各オブジェクトの配置（位置）や向き、コンテンツ世界の照明条件、鑑賞者の位置、及び向きの設定を行い、その設定に従い、鑑賞者から見た画像等が、番組としてのコンテンツとして生成される。
【０１０９】
送信部３３は、オブジェクト情報生成部３１から供給されるオブジェクト情報（物体オブジェクト情報、及び、背景オブジェクト情報）と、オブジェクトID、並びに、コンテンツデフォルト情報生成部３２から供給されるコンテンツデフォルト情報を、放送データとして送信（放送）する。
【０１１０】
なお、オブジェクト情報生成部３１において生成するオブジェクト情報は、五感すべてについての感覚情報であっても良いし、五感のうちの一部の感覚についての感覚情報、すなわち、例えば、五感のうちの、１，２，３、又は４つについての感覚情報や、視覚及び聴覚以外の感覚、つまり、嗅覚、味覚、又は、触覚のうちの１以上についての感覚情報であっても良い。
【０１１１】
次に、図７を参照して、図６の送信装置１２の処理について説明する。
【０１１２】
ステップＳ１１において、オブジェクト情報生成部３１は、センシング装置１１から供給されるセンシング情報から、オブジェクトごとのオブジェクト情報を生成するとともに、オブジェクトを識別するためのオブジェクトIDを生成する。さらに、オブジェクト情報生成部３１は、オブジェクトIDをコンテンツデフォルト情報生成部３２に供給するとともに、オブジェクトIDと、そのオブジェクトIDが表すオブジェクトのオブジェクト情報とを対応付けて、送信部３３に供給する。
【０１１３】
また、ステップＳ１１では、コンテンツデフォルト情報生成部３２が、コンテンツ制作者からの指示情報に従い、オブジェクト情報生成部３１からのオブジェクトIDが表す各オブジェクトについて、コンテンツデフォルト情報を生成し、送信部３３に供給する。
【０１１４】
そして、処理は、ステップＳ１１からステップＳ１２に進み、送信部３３は、オブジェクト情報生成部３１からのオブジェクトIDが対応付けられたオブジェクト情報と、コンテンツデフォルト情報生成部３２からのコンテンツデフォルト情報を、放送データとして送信する。
【０１１５】
次に、図８は、図６のオブジェクト情報生成部３１の構成例を示している。
【０１１６】
図８において、オブジェクト情報生成部３１は、背景オブジェクト情報生成部４１、物体オブジェクト情報生成部４２、及びID付与部４３から構成される。
【０１１７】
背景オブジェクト情報生成部４１、及び、物体オブジェクト情報生成部４２には、センシング装置１１（図１）から、センシング情報が供給される。
【０１１８】
背景オブジェクト情報生成部４１は、センシング装置１１からのセンシング情報（のうちの背景のセンシング情報）から、背景オブジェクト（コンテンツの生成に必要となる、物体オブジェクト以外のオブジェクト）の背景オブジェクト情報を生成し、ID付与部４３に供給する。
【０１１９】
ここで、背景オブジェクト情報（オブジェクト情報）としては、図６で説明したように、オブジェクトを鑑賞したときに得られる感覚を再現するための物理シミュレーションに必要な物理モデルを同定するためのモデルパラメータを採用することができ、モデルパラメータとしては、例えば、オブジェクトを剛体としたときの運動をシミュレートするための第１のパラメータや、様々な照明条件で、様々な位置及び方向からオブジェクトを見たときに視覚に映るオブジェクトの画像をシミュレートするための第２のパラメータがある。
【０１２０】
背景オブジェクトについては、例えば、背景オブジェクトの様々な位置における風速や、流速、重力等が、背景オブジェクト情報としての第１のパラメータとなる。
【０１２１】
また、例えば、複数のアングル（方向）から背景オブジェクトを見たときに得られる、背景オブジェクトのみの画像（以下、背景画像ともいう）から作成することができる、背景オブジェクトの光線空間表現データベース等が、背景オブジェクト情報としての第２のパラメータとなる。
【０１２２】
なお、センシング装置１１（図１）において、センシングとしての撮影を、第２の形態で行った場合（図４）には、センシング装置１１が出力するセンシング情報としての画像には、背景オブジェクトのみが映っており、したがって、背景画像を得ることができる。
【０１２３】
一方、センシング装置１１において、センシングとしての撮影を、第１、又は第３の形態で行った場合（図３、又は図５）には、センシング装置１１が出力するセンシング情報としての画像には、背景オブジェクトの他、物体オブジェクトも映っている。
【０１２４】
この場合、背景オブジェクト情報生成部４１は、背景オブジェクトと物体オブジェクトの両方が映っている画像から、背景メモリを利用して、背景画像、つまり、背景オブジェクトのみが映っている画像を抽出する。
【０１２５】
背景メモリを利用して背景画像を抽出する方法については、例えば、特開1995-038858号公報や、特開1995-046533号公報、特開1999-164264号公報等に記載されている。
【０１２６】
また、複数のアングルの背景画像からの、背景オブジェクトの光線空間表現データベースの作成は、例えば、特開2004-015106号公報に記載の技術によって行うことができる。
【０１２７】
すなわち、背景オブジェクト情報生成部４１は、複数のアングルの背景画像から、背景オブジェクトから所定の方向に放たれる光線の色情報を抽出し、その色情報を、背景オブジェクトを所定の方向の無限遠から見た場合の画像データとして、所定の方向ごとに保持する。このように、所定の方向ごとに保持された画像データが、光線空間表現データベースである。
【０１２８】
なお、特開2004-015106号公報に記載されているように、所定の方向ごとに保持された画像データの画素の中には、背景画像から、画素値を直接取得することができない画素があり、この場合、画素値を取得することができなかった画素については、その画素の近傍の画素の画素値や、所定方向と隣接する方向の画像データの画素の画素値等を用いて、画素値の補間を行うことができる。
【０１２９】
画素値の補間の方法としては、例えば、補間に用いる画素値の平均値を、補間の対象の画素の画素値とする方法や、クラス分類適応処理によって、補間前の画像データを、補間後の画像データに変換する方法等がある。
【０１３０】
クラス分類適応処理については、例えば、特開2007-235312号公報等に記載されている。
【０１３１】
以上のようにして得られる、背景オブジェクトの光線空間表現データベースによれば、特開2004-015106号公報に記載されているように、任意の方向から背景オブジェクトを見たときに得られる画像（任意のアングルの背景オブジェクトの画像）を生成することができる。
【０１３２】
なお、図６で説明したように、背景オブジェクト情報（オブジェクト情報）としては、モデルパラメータではなく、（オブジェクト固有情報としての）センシング情報を採用することができる。
【０１３３】
背景オブジェクト情報となるセンシング情報としては、例えば、背景オブジェクトが発する音（背景オブジェクトの音声）や、背景オブジェクトの温度、背景オブジェクトの湿度、背景オブジェクトの匂い、背景オブジェクトの大きさ（実世界での大きさ（空間の広さ等））を表す情報がある。
【０１３４】
なお、センシング装置１１（図１）において、センシングとしての集音を、第２の形態で行った場合（図４）には、センシング装置１１が出力するセンシング情報としての音声は、背景オブジェクトの音声のみであり、したがって、背景オブジェクトのみの音声を得ることができる。
【０１３５】
一方、センシング装置１１において、センシングとしての集音を、第１、又は第３の形態で行った場合（図３、又は図５）には、センシング装置１１が出力するセンシング情報としての音声には、背景オブジェクトの音声の他、物体オブジェクトの音声も含まれていることがある。
【０１３６】
この場合、背景オブジェクト情報生成部４１は、背景オブジェクトと物体オブジェクトの両方の音声が含まれる音声から、音源分離の技術によって、背景オブジェクトの音声のみを抽出し、背景オブジェクト情報とする。
【０１３７】
物体オブジェクト情報生成部４２は、センシング装置１１からのセンシング情報（のうちの物体のセンシング情報）から、物体オブジェクトごとに、物体オブジェクトの物体オブジェクト情報を生成し、ID付与部４３に供給する。
【０１３８】
ここで、物体オブジェクト情報（オブジェクト情報）としては、図６で説明したように、オブジェクトを鑑賞したときに得られる感覚を再現するための物理シミュレーションに必要な物理モデルを同定するためのモデルパラメータを採用することができ、モデルパラメータとしては、例えば、オブジェクトを剛体としたときの運動をシミュレートするための第１のパラメータや、様々な照明条件で、様々な位置及び方向からオブジェクトを見たときに視覚に映るオブジェクトの画像をシミュレートするための第２のパラメータがある。
【０１３９】
物体オブジェクトについては、例えば、物体オブジェクトの質量や、大きさ、ジオメトリ形状、慣性モーメント、摩擦係数等が、物体オブジェクト情報としての第１のパラメータとなる。
【０１４０】
ここで、物体オブジェクトの質量については、センシング装置１１（図１）において、物体オブジェクトの重さを測定するセンシングを行い、物体オブジェクト情報生成部４２は、そのセンシングの結果得られるセンシング情報から、物体オブジェクトの質量を取得する。
【０１４１】
また、物体オブジェクトの大きさ、及びジオメトリ形状については、センシング装置１１において、例えば、レーザ光によって、物体オブジェクトを360度の各方向から測距するセンシングを行い、物体オブジェクト情報生成部４２は、そのセンシングの結果得られるセンシング情報から、物体オブジェクトの大きさ、及びジオメトリ形状を算出する。
【０１４２】
さらに、慣性モーメントについては、物体オブジェクト情報生成部４２は、物体オブジェクトのジオメトリ形状、大きさ、及び、密度を用いて、慣性モーメントを算出する。
【０１４３】
また、物体オブジェクト情報生成部４２において、反発係数、及び摩擦係数は、物体オブジェクトの種類ごとに、値をあらかじめ用意しておき、その値の中から、物体オブジェクトの種類に対応する値を選択する。
【０１４４】
なお、反発係数、及び摩擦係数は、センシング装置１１（図１）において、センシングとしての計測を行うことが可能であれば、計測してもよい。
【０１４５】
次に、物体オブジェクト情報生成部４２が生成する物体オブジェクト情報としての第２のパラメータについて説明する。
【０１４６】
物体オブジェクト情報としての第２のパラメータは、様々な照明条件で、様々な位置及び方向から物体オブジェクトを見たときに視覚に映る物体オブジェクトの画像をシミュレートするためのパラメータであり、例えば、CGの作成に用いられるワイヤフレーム（３次元形状）とテクスチャ情報とを採用することができる。
【０１４７】
この場合、物体オブジェクト情報生成部４２は、センシング装置１１において、センシングとしての撮影を行うことにより得られる、物体オブジェクトを２以上の方向から見て得られる画像（例えば、ステレオ画像等）から、第２のパラメータとしてのワイヤフレームとテクスチャ情報を求める。
【０１４８】
ステレオ画像から、ワイヤフレームとテクスチャ情報を求める方法、及び、そのワイヤフレームとテクスチャ情報から、画像(CG)を作成する方法については、例えば、特開2005-165468号公報に記載されている。
【０１４９】
以上のようにして得られる、ワイヤフレームとテクスチャ情報によれば、様々な照明条件で、様々な位置及び方向から物体オブジェクトを見たときに視覚に映る物体オブジェクトの画像をシミュレートすることができる。
【０１５０】
なお、図６で説明したように、物体オブジェクト情報（オブジェクト情報）としては、モデルパラメータではなく、（オブジェクト固有情報としての）センシング情報を採用することができる。
【０１５１】
物体オブジェクト情報となるセンシング情報としては、例えば、物体オブジェクトが発する音（物体オブジェクトの音声）や、物体オブジェクトの温度、物体オブジェクトの味、物体オブジェクトの匂い、（X線により撮影される）物体オブジェクトの内部構造、物体オブジェクトの大きさを表す情報がある。
【０１５２】
なお、センシング装置１１（図１）において、センシングとしての集音を、第２の形態で行った場合（図４）には、センシング装置１１が出力するセンシング情報としての音声は、１つの物体オブジェクトの音声のみであり、したがって、１つの物体オブジェクトのみの音声を得ることができる。
【０１５３】
一方、センシング装置１１において、センシングとしての集音を、第１、又は第３の形態で行った場合（図３、又は図５）には、センシング装置１１が出力するセンシング情報としての音声には、１つの物体オブジェクトの音声の他、他の物体オブジェクトや背景オブジェクトの音声も含まれていることがある。
【０１５４】
この場合、物体オブジェクト情報生成部４２は、１つの物体オブジェクトの音声と、他の物体オブジェクトや背景オブジェクトの音声とが含まれる音声から、音源分離の技術によって、１つの物体オブジェクトの音声のみを抽出し、その物体オブジェクトの物体オブジェクト情報とする。
【０１５５】
ID付与部４３は、背景オブジェクト情報生成部４１からの背景オブジェクトの背景オブジェクト情報に、その背景オブジェクトを識別するオブジェクトIDを付加し、送信部３３（図６）に供給するとともに、物体オブジェクト情報生成部４２からの物体オブジェクトの物体オブジェクト情報に、その物体オブジェクトを識別するオブジェクトIDを付加し、送信部３３に供給する。
【０１５６】
次に、上述したように、図８において、物体オブジェクト情報生成部４２は、特開2005-165468号公報に記載の技術を利用して、ワイヤフレームとテクスチャ情報を求める。
【０１５７】
図９は、特開2005-165468号公報に記載の技術を利用して、ワイヤフレームとテクスチャ情報を求め、さらに、そのワイヤフレームとテクスチャ情報から、画像を作成する画像処理装置の構成例を示している。
【０１５８】
図９の画像処理装置は、最低２枚以上の複数撮影された画像から、ステレオ画像を構成する左右２枚の画像を１単位として、測定対象物１０１の立体的な形状を算出するとともに、測定対象物１０１の全体を３Ｄ（３次元）計測もしくは取得された３Ｄデータを用いて、測定対象物１０１の２次元画像に立体感を表現するテクスチャ（texture）を貼り付ける。ここで、テクスチャとはグラフィックスなどにおいて、図形の表面に付けられた模様や、質感を表すための描き込みをいう。
【０１５９】
図９において、測定対象物１０１は、施工対象物・製作対象物となる有体物で、例えば建築物等の各種工作物や人物・風景等が該当する。
【０１６０】
画像撮影装置１１０は、例えばステレオカメラや汎用のデジタルカメラとこのデジタルカメラで撮影された測定対象物１０１の左右画像に対してレンズ収差の補償を行う装置を組合せた機器である。
【０１６１】
ステレオ画像データ記憶部１１２は、測定対象物１０１のステレオ画像を記憶する。すなわち、ステレオ画像データ記憶部１１２は、画像撮影装置１１０で撮影された測定対象物１０１の左右画像を記憶する。
【０１６２】
３次元位置測定装置１１４は、測量の対象となる標点位置をレーザ等を用いて自動的に測定する機器で、トータルステーション、３次元スキャナ等が含まれる。
【０１６３】
測定対象物位置データ記憶部１１６は、絶対標定に必要とされる３点の基準点となる測定対象物１０１の位置データを記憶する。すなわち、測定対象物位置データ記憶部１１６は、３次元位置測定装置１１４で測定された基準点の位置データを記憶する。なお、絶対標定を行わないで、モデル座標系を用いた相互標定で充分な用途では、測定対象物位置データ記憶部１１６を設けるに及ばない。
【０１６４】
対応点指示部１２２は、標定部１２４で用いる対応点を指示する。対応点指示部１２２は、例えば、表示装置４０に表示される測定対象物１０１に関して、指示位置近傍の特徴点を示すように構成されている。指示位置近傍の特徴点には、例えば測定対象物１０１の中心位置、重心位置、コーナ位置などがある。対応点指示部１２２により対応点を指示すると、操作者が厳格に特徴点を指示しなくても、操作者が本来意図した特徴点に引き込まれるため、標定部１２４による標定作業が容易に行える。
【０１６５】
標定部１２４は、ステレオ画像に関する撮影位置と傾きに基づき、ステレオ画像の対応点関係を求める。
【０１６６】
表示画像形成部１３０は、３次元座標データ部１３１、モデル形成部１３２、モデル記憶部１３３、画像対応部１３４、モデル表示部１３５、姿勢指示部１３６、画像変換部１３７を備えている。
【０１６７】
３次元座標データ部１３１は、標定部１２４で求められた対応点関係から、測定対象物１０１の対応点の３次元座標データを求める。
【０１６８】
モデル形成部１３２は、対応点の３次元座標データから測定対象物１０１のモデルを形成する。
【０１６９】
モデル記憶部１３３は、モデル形成部１３２で形成された測定対象物１０１のモデルを記憶する。
【０１７０】
画像対応部１３４は、ステレオ画像データ記憶部１１２に記憶された測定対象物のステレオ画像とモデル形成部１３２で形成されたモデルとを、標定部１２４で求められた対応点関係を用いて対応付ける。
【０１７１】
モデル表示部１３５は、画像対応部１３４によりモデルと対応付けられたステレオ画像を用いて、測定対象物１０１を、立体感のある２次元画像で表示装置１４０に表示する。なお、モデル表示部１３５は、放送局側で、オブジェクトのモデルの画像を確認するための表示部とすることができる。
【０１７２】
姿勢指示部１３６は、例えば、操作者がマウス等のカーソル入力装置を操作することに応じて、表示装置１４０に表示される測定対象物１０１のモデルの姿勢を指示する。
【０１７３】
画像変換部１３７は、モデルに対する姿勢指示に応じて、対応点の座標変換を行う。
【０１７４】
表示装置１４０は、液晶表示装置等の画像表示装置である。
【０１７５】
以上のように構成される画像処理装置では、まず、デジタルカメラ等の画像撮影装置１１０を用いて撮影した測定対象物１０１の２枚以上の画像が、ステレオ画像データ記憶部１１２に登録される。
【０１７６】
次に、ステレオ画像データ記憶部１１２に登録された画像のうち、ステレオペアとなる左右画像の組が設定される。
【０１７７】
次に、３次元位置測定装置１１４や３Ｄスキャナを用いて取得した、測定対象物１０１の３次元座標が存在しているかが判断され、存在していると判断された場合、測定対象物位置データ記憶部１１６に、測定対象物１０１の３次元座標を用いた位置データが読み込まれる。
【０１７８】
一方、測定対象物１０１の３次元座標が存在していないと判断された場合、相対座標系で処理が可能なので、測定対象物位置データ記憶部１１６に、測定対象物１０１の３次元座標を用いた位置データを読み込む上述の処理は、スキップされる。
【０１７９】
その後、標定部１２４は、標定作業を行い、ステレオ画像データ記憶部１１２に記憶された測定対象物１０１のステレオ画像の相互標定を行い、ステレオ画像の対応点関係を求める。この標定作業には、マニュアルと半自動、全自動の三つのモードがある。
【０１８０】
ここで、標定作業とは、２枚以上の画像のそれぞれの対応点（同一点）を各画像上で対応点指示部１２２により、マウスカーソルなどで指示し、その画像座標を読み取る作業である。この対応点は通常各画像毎に６点以上必要である。また、測定対象物位置データ記憶部１１６に基準点座標が記憶されていれば、基準点座標と画像の対応付けして、絶対標定を実行する。
【０１８１】
その後、標定作業により求めた対応点の座標を用いて、標定部１２４により標定計算処理を行う。標定計算処理により、撮影したカメラの位置、傾き、対応点の位置、計測精度を求めることが出来る。もし基準点座標があれば、測定対象物位置データ記憶部１１６から読み出して絶対標定計算処理も行う。もし基準点座標がなければ、相対（モデル）座標にて計算する。標定計算処理は、ステレオモデルの対応付けに関しては相互標定で行い、全画像間の標定に関してはバンドル調整にて行う。
【０１８２】
次に、３次元座標データ部１３１にてステレオ計測を行い、測定対象物１０１の３次元座標を求める。あるいは、ステレオ計測を行わない場合でも、測定対象物位置データ記憶部１１６にステレオ画像の対応点の３次元座標を予め読み込んである場合には、３次元座標データ部１３１は測定対象物位置データ記憶部１１６から対応点の３次元座標を読み込む。ステレオ計測には、例えば、特開2003-284098号公報に記載されているように、マニュアル計測、半自動計測、自動計測の各種モードが存在している。そこで、標定計算処理結果に応じて、ステレオ計測では、立体視可能なステレオ（左右）画像を作成表示して、上述モードを利用して対応点の３次元座標を求める。自動計測モードで行う場合は、自動計測を行う計測領域を指定して自動計測を行う。マニュアル、半自動計測の場合は、左右のステレオ画面を観察しながら左右画像上の対応点を半自動もしくは、マニュアルにて対応している点をマウスにて確定しながら計測する。
【０１８３】
その後、求められた３次元座標、あるいは読み込まれた３次元座標から、モデル形成部１３２にて測定対象物１０１のモデルである、例えば、ワイヤフレームが作成される。
【０１８４】
そして、画像対応部１３４により、テクスチャマッピングしたい面を指定する。テクスチャマッピングとは、測定対象物１０１の２次元画像に立体感を表現するテクスチャを貼り付けることをいう。
【０１８５】
次に、画像対応部１３４は、測定対象物１０１のステレオ画像とモデル形成部１３２によって形成されたモデルとを、標定部１２４で求められた対応点関係を用いてテクスチャマッピングする。
【０１８６】
次に、モデル表示部１３５により、テクスチャマッピングされた画像をモデル画面上に表示する。モデル画面は、ステレオ画像から形成された立体感テクスチャ付き画像やテクスチャを除去した画像のように、斜視状態を表す測定対象物１０１の２次元画像である。
【０１８７】
その後、操作者が、マウスやキーボード等を利用して、姿勢指示部１３６により、測定対象物１０１の表示の向きを指示すると、画像変換部１３７が表示装置１４０に表示される測定対象物１０１の表示の向きを、姿勢指示部１３６により指示された向きに座標変換する。
【０１８８】
次に、図１０は、図１の受信装置１３の構成例を示すブロック図である。
【０１８９】
図１０において、受信装置１３は、送信データ受信部２０１、オブジェクト情報DB(Database)２０２、生成部２０３、コマンド受信部２０６、及び、加工情報DB２０７から構成される。
【０１９０】
送信データ受信部２０１は、送信装置１２（の送信部３３（図６））から送信されてくるデータを受信し、オブジェクトIDが対応付けられたオブジェクト情報と、コンテンツデフォルト情報とに分離する。さらに、送信データ受信部２０１は、オブジェクトIDが対応付けられたオブジェクト情報（以下、オブジェクトID付きのオブジェクト情報ともいう）を、オブジェクト情報DB２０２に供給し、コンテンツデフォルト情報を、生成部２０３に供給する。
【０１９１】
オブジェクト情報DB２０２は、送信データ受信部２０１から供給される、オブジェクトID付きのオブジェクト情報を記憶する。
【０１９２】
生成部２０３は、オブジェクト情報DB２０２に記憶されたオブジェクト情報に基づいて、コンテンツを生成する。
【０１９３】
また、生成部２０３は、コマンド受信部２０６や加工情報DB２０７から供給される、コンテンツを鑑賞するユーザ（受信装置１３のユーザ）の指示に従った、コンテンツに対する加工に関する情報である加工情報にも基づいて、コンテンツを生成する。
【０１９４】
さらに、生成部２０３は、必要に応じて、送信データ受信部２０１から供給されるコンテンツデフォルト情報にも基づいて、コンテンツを生成する。
【０１９５】
すなわち、生成部２０３は、シミュレーション部２０４、及び、提示データ生成部２０５から構成される。
【０１９６】
シミュレーション部２０４は、例えば、オブジェクト情報DB２０２に記憶されたオブジェクト情報としてのモデルパラメータに基づいて物理シミュレーションを行うことにより、コンテンツ（コンテンツ世界）を生成し、そのコンテンツ（のデータ）を、提示データ生成部２０５に供給する。
【０１９７】
なお、シミュレーション部２０４では、コマンド受信部２０６や加工情報DB２０７から供給される加工情報や、送信データ受信部２０１から供給されるコンテンツデフォルト情報に基づき、コンテンツを構成するオブジェクトに、加工を加える。
【０１９８】
但し、シミュレーション部２０４では、コマンド受信部２０６や加工情報DB２０７から供給される加工情報と、送信データ受信部２０１から供給されるコンテンツデフォルト情報とのうちの、加工情報が優先される。
【０１９９】
したがって、シミュレーション部２０４では、コマンド受信部２０６や加工情報DB２０７から、加工情報が供給される場合には、その加工情報に基づき、オブジェクト（ひいては、そのオブジェクトから構成するコンテンツ）に加工を加える。
【０２００】
一方、シミュレーション部２０４に対して、コマンド受信部２０６や加工情報DB２０７から、加工情報が供給されていない場合には、物理シミュレーション部２０４では、送信データ受信部２０１から供給されるコンテンツデフォルト情報に基づき、オブジェクトに加工を加える。
【０２０１】
提示データ生成部２０５は、シミュレーション部２０４からの、感覚情報でもあるオブジェクト情報に基づいて生成されたコンテンツに基づいて、その感覚情報に対応する感覚を与えるための提示を行う提示装置１４で提示を行うための提示データを生成し、提示装置１４に供給する。
【０２０２】
なお、提示データ生成部２０５には、コマンド受信部２０６や加工情報DB２０７から、加工情報が供給される。提示データ生成部２０５は、コマンド受信部２０６や加工情報DB２０７から供給される加工情報にも基づいて、提示データを生成する。
【０２０３】
コマンド受信部２０６は、リモートコマンダ２１０から送信されてくる、ユーザの指示を表すコマンドを受信する。
【０２０４】
すなわち、リモートコマンダ２１０は、オブジェクト（コンテンツ）に対する加工等を指示する場合に、ユーザによって操作され、その操作に対応するコマンド、つまり、ユーザの指示を表すコマンドを、赤外線等で送信する。コマンド受信部２０６は、以上のようにしてリモートコマンダ２１０から送信されてくるコマンドを受信する。
【０２０５】
さらに、コマンド受信部２０６は、リモートコマンダ２１０からのコマンドが表すユーザの指示に従った、コンテンツに対する加工に関する情報である加工情報を生成し、シミュレーション部２０４、提示データ生成部２０５、及び、加工情報DB２０７に供給する。
【０２０６】
加工情報DB２０７は、コマンド受信部２０６から供給される加工情報を、順次記憶する。すなわち、これにより、加工情報DB２０７には、いわば、ユーザの指示の履歴が記憶される。
【０２０７】
次に、生成部２０３のシミュレーション部２０４についてさらに説明する。
【０２０８】
シミュレーション部２０４は、少なくとも、オブジェクト情報と、コンテンツデフォルト情報に基づいて、コンテンツ世界をシミュレートする。
【０２０９】
なお、シミュレーション部２０４では、ユーザがコンテンツ世界を鑑賞したときに、視覚で認識（知覚）されるオブジェクトの画像（オブジェクトが反射する光）が、少なくとも、シミュレーションの対象とされる。
【０２１０】
また、図６で説明したように、コンテンツデフォルト情報は、コンテンツ制作者によって指示された、オブジェクトの状態に関する時系列データ、照明条件の時系列データ、鑑賞者の位置や向き等の時系列データであり、シミュレーション部２０４は、コンテンツデフォルト情報に基づいて、オブジェクトの配置や向き、照明条件、ユーザ（コンテンツの鑑賞者）の鑑賞位置や向き等の設定を行い、その設定に従い、コンテンツを生成する。
【０２１１】
この場合、コンテンツ制作者が意図したとおりのコンテンツ（例えば、現行のテレビジョン放送の番組と同様の番組）が生成される。
【０２１２】
また、シミュレーション部２０４は、必要であれば、オブジェクトの状態の変化をシミュレートする。
【０２１３】
すなわち、コンテンツ制作者の指示に従ったオブジェクトの状態の変化（配置、向きなどの変化）が、シミュレート可能な物理法則に支配された状態の変化である場合、つまり、オブジェクトの状態が物理シミュレーションにより算出可能である場合には、送信装置１２では、オブジェクトの状態に関するデータを、コンテンツデフォルト情報に含めずに、コンテンツデフォルト情報を送信すること、つまり、コンテンツデフォルト情報として、オブジェクトの状態に関する時系列データに代えて、オブジェクトの状態の初期値を送信することができる。
【０２１４】
この場合、シミュレーション部２０４では、コンテンツデフォルト情報としての、オブジェクトの状態の初期値からの、オブジェクトの状態の変化をシミュレートする物理シミュレーションを行うことにより、コンテンツを生成する。
【０２１５】
ここで、「シミュレート可能な物理法則に支配された状態の変化」の具体例としては、例えば、オブジェクトの自由落下による位置（速度）変化等がある。物理シミュレータの性能次第では（例えば物体同士の衝突シミュレートも可能なシミュレータ）、必要なパラメータが既知のオブジェクト同士の衝突による位置変化等も「シミュレート可能な物理法則に支配された状態の変化」とみなすことができる。また、シミュレーション部２０４では、運動シミュレーションに限らず熱伝導等の様々な物理現象に伴う状態の変化の物理シミュレーション等も、オブジェクトの状態の初期値を用いて行うことが可能である。
【０２１６】
以上のように、送信装置１２において、オブジェクトの状態に関するデータ（時系列データ）を含まないコンテンツデフォルト情報を送信し、受信装置１３において、オブジェクトの状態の変化をシミュレートすることにより、オブジェクトの状態に関する時系列データを含むコンテンツデフォルト情報を送信する場合に比較して、送信装置１２から送信するデータのデータ量を減少させることができる。
【０２１７】
また、シミュレーション部２０４は、ユーザによるコンテンツ世界への介入があった場合には、ユーザからの介入情報にも基づいて、コンテンツ世界をシミュレートする。
【０２１８】
すなわち、ユーザが、リモートコマンダ２１０を操作することにより、コマンド受信部２０６から、シミュレーション部２０４に対して、コンテンツに対する加工に関する加工情報が供給された場合、シミュレーション部２０４は、コンテンツデフォルト情報よりも、加工情報を優先して用いて、コンテンツを生成する。
【０２１９】
ここで、加工情報は、コンテンツに対する加工に関する情報であり、ここでは、例えば、オブジェクトの位置を操作する等の、オブジェクトごとの加工に関する情報になっている。
【０２２０】
すなわち、ユーザが、リモートコマンダ２１０を操作して、例えば、物体オブジェクトの位置を指示すると、コマンド受信部２０６は、その指示に応じて、物体オブジェクトの位置を操作する加工情報を生成し、シミュレーション部２０４に供給する。シミュレーション部２０４は、コマンド受信部２０６からの加工情報に基づいて、コンテンツを構成する物体オブジェクトの位置を操作（設定）する。
【０２２１】
また、ユーザは、リモートコマンダ２１０を操作して、例えば、物体オブジェクトの削除や、別のオブジェクトへの入れ替え、力（撃力）作用（たたくなど）、温度等を指示することができる。さらに、ユーザは、リモートコマンダ２１０を操作して、例えば、背景オブジェクトにおける風速や、流速、重力、温度等を指示することができる。
【０２２２】
コマンド受信部２０６は、ユーザの指示に応じて、コンテンツ（を構成するオブジェクト）の加工に関する加工情報を生成し、シミュレーション部２０４に供給する。シミュレーション部２０４では、コマンド受信部２０６からの加工情報に基づいて、コンテンツを構成する物体オブジェクトや背景オブジェクトの加工が行われる。
【０２２３】
さらに、ユーザは、リモートコマンダ２１０を操作して、所定のオブジェクトの所定の感覚に関するデータの削除を指示することができる。
【０２２４】
この場合、コマンド受信部２０６は、ユーザの指示に応じて、所定のオブジェクトの所定の感覚に関するデータを削除するための加工情報を生成し、シミュレーション部２０４に供給する。シミュレーション部２０４では、コマンド受信部２０６からの加工情報に基づいて、コンテンツを構成する所定のオブジェクトの所定の感覚に関するデータが削除される。
【０２２５】
したがって、例えば、コンテンツを構成するオブジェクトに、ピーナッツが含まれている場合において、ユーザが、ピーナッツの味覚に関するデータの削除を指示すると、シミュレーション部２０４では、コンテンツを構成するピーナッツの味覚に関するデータが削除される。この場合、例えば、ピーナッツアレルギのユーザに、ピーナッツの味覚が提示されることを防止することができる。
【０２２６】
また、ユーザは、リモートコマンダ２１０を操作して、所定のオブジェクトの所定の感覚に関するデータを、別のオブジェクトの所定の感覚に関するデータに変換することを指示することができる。
【０２２７】
この場合、コマンド受信部２０６は、ユーザの指示に応じて、所定のオブジェクトの所定の感覚に関するデータを、別のオブジェクトの所定の感覚に関するデータに変換するための加工情報を生成し、シミュレーション部２０４に供給する。シミュレーション部２０４では、コマンド受信部２０６からの加工情報に基づいて、コンテンツを構成する所定のオブジェクトの所定の感覚に関するデータが、別のオブジェクトの所定の感覚に関するデータに変換される。
【０２２８】
したがって、例えば、コンテンツを構成するオブジェクトに、ピーナッツが含まれている場合において、ユーザが、ピーナッツの味覚に関するデータを、別のオブジェクトとしてのイチゴの味覚に関するデータに変換することを指示すると、シミュレーション部２０４では、コンテンツを構成するピーナッツの味覚に関するデータが、イチゴの味覚に関するデータに変換される。この場合、例えば、イチゴの味覚を感じるピーナッツが提示される。
【０２２９】
また、ユーザは、リモートコマンダ２１０を操作して、コンテンツ世界を鑑賞する鑑賞者であるユーザの位置（鑑賞位置）や向きを指示することができる。
【０２３０】
この場合、コマンド受信部２０６は、ユーザの指示に応じて、鑑賞者の鑑賞位置や向きを操作する加工情報を生成し、シミュレーション部２０４に供給する。シミュレーション部２０４では、コマンド受信部２０６からの加工情報に基づいて、鑑賞者の鑑賞位置や向きを設定した物理シミュレーションを行うことにより、コンテンツが生成される。
【０２３１】
さらに、ユーザは、リモートコマンダ２１０を操作して、コンテンツのエンターテイメント性を向上させる処理（以下、エンターテイメント処理という）を行うことを指示することができる。
【０２３２】
この場合、コマンド受信部２０６は、エンターテイメント処理を行うことを要求する加工情報を生成し、シミュレーション部２０４に供給する。シミュレーション部２０４は、コマンド受信部２０６からの加工情報に基づいて、エンターテイメント処理を行う。
【０２３３】
すなわち、シミュレーション部２０４は、オブジェクト情報DB２０２に記憶されたオブジェクト情報に含まれる、図６で説明したエンタメ情報を用い、オブジェクトの画像を、そのオブジェクトのスケッチ画とする。
【０２３４】
また、ユーザは、リモートコマンダ２１０を操作して、リアリティ処理を行うことを指示することができる。
【０２３５】
この場合、コマンド受信部２０６は、リアリティ処理を行うことを要求する加工情報を生成し、シミュレーション部２０４に供給する。シミュレーション部２０４は、コマンド受信部２０６からの加工情報に基づいて、リアリティ処理を行う。
【０２３６】
すなわち、シミュレーション部２０４は、提示装置１４のうちの、画像を提示（表示）するディスプレイのサイズ（大きさ）に応じた、リアリティを損ねないコンテンツを生成する。
【０２３７】
具体的には、シミュレーション部２０４は、例えば、提示装置１４にアクセスして、提示装置１４のうちのディスプレイのサイズを認識する。さらに、シミュレーション部２０４は、オブジェクト情報DB２０２に記憶されたオブジェクト情報に含まれる、図６で説明したエネルギ情報から、コンテンツを構成するオブジェクトのサイズ（大きさ）を認識する。
【０２３８】
そして、シミュレーション部２０４は、提示装置１４のうちのディスプレイのサイズ、及び、コンテンツを構成するオブジェクトのサイズに基づいて、ディスプレイで表示されるオブジェクトが、実世界における、そのオブジェクトのサイズ（オブジェクトを実世界で見たときに認識される、そのオブジェクトのサイズ）になるように、オブジェクトのサイズを調整（拡大又は縮小）したコンテンツを生成する。
【０２３９】
なお、コマンド受信部２０６は、加工情報を、シミュレーション部２０４に供給する他、加工情報DB２０７にも供給する。
【０２４０】
加工情報DB２０７は、コマンド受信部２０６から加工情報が供給されると、その加工情報がコマンド受信部２０６から供給されたときの状況を表す状況情報を生成し、加工情報に対応付けて記憶する。
【０２４１】
そして、加工情報DB２０７は、状況情報が表す状況と一致する状況となると、その状況情報に対応付けられた加工情報を、シミュレーション部２０４に供給する。シミュレーション部２０４は、加工情報DB２０７から加工情報が供給されると、その加工情報に基づき、コマンド受信部２０６から加工情報が供給された場合と同様の処理を行う。
【０２４２】
すなわち、例えば、提示装置１４において、ピーナッツを含むコンテンツが提示された場合に、ユーザが、上述したように、リモートコマンダ２１０を操作して、ピーナッツの味覚に関するデータの削除を指示し、コマンド受信部２０６が、ピーナッツの味覚に関するデータを削除するための加工情報を生成すると、その加工情報は、ピーナッツを含むコンテンツが提示される状況を表す状況情報と対応付けられて、加工情報DB２０７に記憶される。
【０２４３】
その後、ピーナッツを含むコンテンツが提示される状況となると、加工情報DB２０７は、その状況を表す状況情報に対応付けられている加工情報、つまり、ピーナッツの味覚に関するデータを削除するための加工情報を、シミュレーション部２０４（及び、提示データ生成部２０５）に供給する。
【０２４４】
シミュレーション部２０４では、加工情報DB２０７からの加工情報に基づき、コマンド受信部２０６から加工情報が供給された場合と同様に、コンテンツを構成するピーナッツの味覚に関するデータが削除される。
【０２４５】
したがって、ユーザは、リモートコマンダ２１０を操作して、一度行った指示については、同様の指示を、再度行う必要がない。
【０２４６】
また、シミュレーション部２０４では、上述したように、コマンド受信部２０６（又は加工情報DB２０７）からの加工情報の供給がない場合には、コンテンツデフォルト情報に基づいて、コンテンツが生成され、これにより、コンテンツ制作者が意図したとおりのコンテンツ（例えば、コンテンツ制作者が意図したとおりにオブジェクトが配置されたコンテンツ世界を、コンテンツ制作者が意図したとおりの視点から見た画像）が提示される。
【０２４７】
一方、ユーザが、リモートコマンダ２１０を操作し、これにより、シミュレーション部２０４に対して、コマンド受信部２０６からの加工情報の供給があると、シミュレーション部２０４では、コンテンツデフォルト情報よりも、加工情報を優先して用いて、コンテンツが生成される。
【０２４８】
この場合、ユーザの指示に従って加工がされた、ユーザ固有のコンテンツ（例えば、コンテンツ制作者が意図したコンテンツが、ピーナッツの味覚を提示する（感じさせる）コンテンツである場合に、ピーナッツの味覚に関するデータを削除するための加工情報に基づいて、ピーナッツの味覚に関するデータを削除する加工が行われ、ピーナッツの味覚の提示がないコンテンツ）が提示される。
【０２４９】
シミュレーション部２０４は、以上のように、ユーザの指示に従ったオブジェクト（コンテンツ）の加工の後に、ユーザが特に指示をしない限り、オブジェクトの状態を徐々にコンテンツデフォルト情報に基づく状態へと遷移させる。
【０２５０】
すなわち、シミュレーション部２０４は、コンテンツ世界が徐々にコンテンツデフォルト情報に基づく状態へと戻っていくようにシミュレートする。
【０２５１】
これにより、例えば、ユーザが、リモートコマンダ２１０を操作して、ある物体オブジェクトの向きを、所定の方向とすることを指示した場合、シミュレーション部２０４では、物体オブジェクトが所定の方向を向いているコンテンツが生成される。
【０２５２】
その後、ユーザが、リモートコマンダ２１０の操作を停止（解除）すると、シミュレーション部２０４では、所定の方向を向いていた物体オブジェクトが、コンテンツデフォルト情報によって指定されている方向に徐々に向いていくコンテンツが生成される。
【０２５３】
次に、上述のようにしてシミュレーション部２０４で生成されたコンテンツは、提示データ生成部２０５に供給され、提示データ生成部２０５では、上述したように、シミュレーション部２０４からのコンテンツに基づいて、提示データが生成され、提示装置１４（図１）に供給される。
【０２５４】
すなわち、提示データ生成部２０５は、シミュレーション部２０４によりシミュレートされたコンテンツ世界の情報から、提示装置１４の構成に適した情報を抽出し、提示装置１４の構成に最適なデータ構成に変換して、提示装置１４に供給する。
【０２５５】
具体的には、例えば、提示装置１４が、音（音声）を提示（出力）するスピーカ、画像（光）を提示（表示）するディスプレイ、匂いを提示する（発する）匂い発生装置、温度を提示（調整）するエアコン（エアコンディショナ）、及び、湿度を提示（調整）する加湿器である場合に、提示データ生成部２０５は、シミュレーション部２０４からのコンテンツを構成する各オブジェクトの音声を合成した音声情報を、提示データとして生成し、提示装置１４のスピーカに供給する。
【０２５６】
また、提示データ生成部２０５は、シミュレーション部２０４からのコンテンツのコンテンツ世界の画像情報を、提示データとして生成し、提示装置１４のディスプレイに供給する。
【０２５７】
さらに、提示データ生成部２０５は、シミュレーション部２０４からのコンテンツを構成する各オブジェクトの匂いを合成した匂い情報を、提示データとして生成し、提示装置１４の匂い発生装置に供給する。
【０２５８】
また、提示データ生成部２０５は、シミュレーション部２０４からのコンテンツを構成する背景オブジェクトの温度を表す温度情報を、提示データとして生成し、提示装置１４のエアコンに供給する。
【０２５９】
さらに、提示データ生成部２０５は、シミュレーション部２０４からのコンテンツを構成する背景オブジェクトの湿度を表す湿度情報を、提示データとして生成し、提示装置１４の加湿器に供給する。
【０２６０】
なお、提示データ生成部２０５は、例えば、コマンド受信部２０６、又は加工情報DB２０７から供給される加工情報が、所定のオブジェクトの所定の感覚に関するデータを削除するための情報である場合において、その削除の対象のデータが、シミュレーション部２０４からのコンテンツに基づいて生成された提示データに含まれるときには、その削除の対象のデータを削除する（提示装置１４に供給しない）。
【０２６１】
次に、図１１を参照して、図１０の受信装置１３の処理について説明する。
【０２６２】
受信装置１３では、ステップＳ６１において、送信データ受信部２０１が、送信装置１２（図６）から送信されてくるデータを受信し、オブジェクトID付きのオブジェクト情報と、コンテンツデフォルト情報とに分離する。さらに、ステップＳ６１では、送信データ受信部２０１が、オブジェクト情報を、オブジェクト情報DB２０２に供給して記憶させ、コンテンツデフォルト情報を、生成部２０３に供給して、処理は、ステップＳ６２に進む。
【０２６３】
ステップＳ６２では、生成部２０３が、オブジェクト情報DB２０２に記憶されたオブジェクト情報、並びに、必要なコンテンツデフォルト情報、及び加工情報に基づいて、コンテンツを生成する。
【０２６４】
すなわち、生成部２０３では、シミュレーション部２０４が、オブジェクト情報DB２０２に記憶されたオブジェクト情報、並びに、必要なコンテンツデフォルト情報、及び加工情報に基づいてシミュレーションを行うことにより、コンテンツを生成し、提示データ生成部２０５に供給する。提示データ生成部２０５は、シミュレーション部２０４からのコンテンツに基づいて、提示データを生成し、提示装置１４に供給する。
【０２６５】
次に、図１２は、図１の提示装置１４の構成例を示している。
【０２６６】
提示装置１４は、五感に刺激を与え、これにより、コンテンツを構成するオブジェクトを、実世界で鑑賞したならば得られるであろう感覚を再現するデバイスで構成することができる。
【０２６７】
すなわち、提示装置１４は、例えば、音を出力（提示）することで聴覚を刺激するスピーカや、画像表示（提示）することで視覚を刺激するディスプレイ、匂いを発する（提示する）ことで嗅覚を刺激する匂い発生装置等で構成することができる。
【０２６８】
その他、提示装置１４は、マイナスイオンを発生するマイナスイオン発生器や、着席しているユーザに動揺を与えるアクチュエータ付きの椅子、味を再現する味覚再現装置、温度を調整するエアコン、湿度を調整する加湿器等の、各種の提示を行うデバイスで構成することができる。
【０２６９】
以上のように、図１の送受信システムでは、送信装置１２において、オブジェクトごとのオブジェクト情報を送信し、受信装置１３において、送信装置１２からのオブジェクト情報に基づいて、コンテンツを生成するので、コンテンツの提示（音の出力や、画像の表示、匂いの発生、味覚の再現等）を、柔軟に行うことが可能となる。
【０２７０】
すなわち、放送局で制作されたコンテンツを受動的に鑑賞する従来の放送とは異なり、送信装置１２において、オブジェクトごとのオブジェクト情報を送信し、受信装置１３において、そのオブジェクト情報に基づいて、コンテンツを生成することにより、ユーザにコンテンツを加工（操作）する余地が与えられ、これにより、各ユーザは、ユーザ固有のコンテンツを鑑賞することが可能となる。
【０２７１】
送信装置１２において、オブジェクトごとのオブジェクト情報を送信することにより、送信側において、複数のオブジェクトのオブジェクト情報を含む情報（例えば、複数の物体オブジェクトが映った画像や、複数の物体オブジェクトのそれぞれが発する音が混ざった音等）を送信した場合に、受信側での、コンテンツ（オブジェクト）の加工において必須となるオブジェクト抽出（例えば、個々の物体オブジェクトの画像の抽出や、個々の音の分離（音声分離）等）をする必要がなくなる。
【０２７２】
また、送信装置１２において、コンテンツデフォルト情報をさらに送信し、受信装置１３において、オブジェクト情報及びコンテンツデフォルト情報に基づいて、コンテンツを生成するので、コンテンツ制作者の意図（例えば、コンテンツ制作者が意図したオブジェクトの配置等）をコンテンツに付加することができる。
【０２７３】
さらに、受信装置１３では、ユーザの指示に従った加工情報に基づいて、コンテンツの生成を行うので、上述したように、ユーザは、ユーザ固有のコンテンツを鑑賞することができる。また、ユーザによるコンテンツの加工とコンテンツ制作者の意図を融合させることができる。
【０２７４】
また、オブジェクト情報は、オブジェクトを鑑賞したときに五感で得られる感覚を再現するための感覚情報でもあるため（図１の送受信システムで行われる放送が、五感のうちの、視覚（画像）、及び聴覚（音声）以外の感覚を（も）刺激する多感覚放送であるため）、ユーザは、視覚で認識される画像や、聴覚で認識される音声の他に、嗅覚や、味覚、触覚で認識される物理量を享受することができ、したがって、ユーザは、例えば、視覚及び聴覚以外の感覚でコンテンツを鑑賞することや、３つ以上の感覚でコンテンツを鑑賞すること等ができる。
【０２７５】
なお、オブジェクトを鑑賞したときに五感で得られる感覚を再現するための感覚情報が、視覚で認識される画像（文字等を含む）、及び、聴覚で認識される音声のみの、受動的な（受信側でのコンテンツ（オブジェクト）の加工が不可能な）現行の放送システムで放送された場合、コンテンツに対するユーザの好き嫌いが激しくなる。例えば、ピーナッツの味覚を再現する感覚情報が、全ユーザに画一的に放送され、ピーナッツアレルギのユーザにピーナッツの味覚を提示してしまうことは、好ましいことではない。
【０２７６】
そこで、受信装置１３において、上述したように、加工情報に基づいて、コンテンツの生成（提示データの生成）を行い、例えば、ピーナッツの味覚に関するデータを削除することで、ピーナッツアレルギのユーザにピーナッツの味覚が提示されることを防止することができる。
【０２７７】
また、送信装置１２では、上述したように、オブジェクトごとのオブジェクト情報が送信されるので、受信装置１３では、味覚や、嗅覚、触覚に関するデータ（味覚や、聴覚、触覚を刺激するデータ）の加工を、容易に行うことが可能となる。
【０２７８】
すなわち、送信装置１２において、例えば、イチゴとピーナッツ等の複数のオブジェクトの匂いが混ざった状態の匂いを再現するための感覚情報を送信すると、受信装置１３では、その感覚情報から、イチゴとピーナッツのそれぞれの嗅覚に関するデータを分離することは困難である。一方、送信装置１２において、オブジェクトごとのオブジェクト情報を送信する場合には、そのようなデータの分離が不要であるため、メリットが大きい。
【０２７９】
図１３は、図１の提示装置１４の詳細な構成例を示すブロック図である。
【０２８０】
図１３において、提示装置１４は、センシング部２２１、提示データ受信部２２２、及び提示部２２３から構成され、受信装置１３の生成部２０３において、オブジェクト情報に基づいて生成されるコンテンツ（モデルパラメータに基づいて物理シミュレーションを行うことにより生成されるコンテンツ）（感覚情報に基づいて生成されるコンテンツ）を提示する。
【０２８１】
センシング部２２１は、提示装置１４において提示されるコンテンツが鑑賞される環境（以下、鑑賞環境ともいう）をセンシングし、そのセンシングの結果得られる、鑑賞環境に関する鑑賞環境情報を出力する。
【０２８２】
ここで、センシング部２２１が出力する鑑賞環境情報は、受信装置１３のシミュレーション部２０４に供給される。
【０２８３】
受信装置１３のシミュレーション部２０４（生成部２０３）では、オブジェクト情報（モデルパラメータ）（感覚情報）、並びに、必要なコンテンツデフォルト情報、及び加工情報の他、センシング部２２１からの必要な鑑賞環境情報にも基づいて、コンテンツが生成され、提示装置１４では、そのようにして生成されたコンテンツの提示が行われる。
【０２８４】
なお、センシング部２２１は、例えば、提示装置１４自体と、その提示装置１４が提示するコンテンツを鑑賞するユーザ（鑑賞者）との間の位置関係をセンシングし、その位置関係を表す情報を、鑑賞環境情報として出力する。また、センシング部２２１は、例えば、鑑賞環境において存在する物体をセンシングし、その物体に関する情報を、鑑賞環境情報として出力する。さらに、センシング部２２１は、例えば、鑑賞環境における照明条件（明るさ等）をセンシングし、その照明条件を表す情報を、鑑賞環境情報として出力する。
【０２８５】
提示データ受信部２２２は、受信装置１３の生成部２０３（の提示データ生成部２０５）からの提示データを受信し、提示部２２３に供給する。
【０２８６】
提示部２２３は、五感に刺激を与え、これにより、コンテンツを構成するオブジェクトを、実世界で鑑賞したならば得られるであろう感覚を再現するデバイス、すなわち、例えば、音声を出力する音声出力部や、画像を表示する画像表示部等の各種のデバイスで構成され、提示データ受信部２２２からの提示データに従い、コンテンツの提示を行う。
【０２８７】
図１４は、図１３の提示部２２３を構成するデバイスの配置の例を模式的に示している。
【０２８８】
図１４では、提示部２２３を構成するデバイスとして、音声を出力する音声出力部としてのスピーカや、画像を表示する画像表示部としてのディスプレイ、温度を調整するエアコン、湿度を調整する加湿器、匂いを提示する匂い発生装置、等が配置されている。
【０２８９】
次に、図１５を参照して、図１３の提示装置１４の処理について説明する。
【０２９０】
提示装置１４では、センシング部２２１が、鑑賞環境をセンシングし、そのセンシングの結果得られる鑑賞環境情報を、受信装置１３のシミュレーション部２０４に供給している。
【０２９１】
そして、ステップＳ７１において、提示データ受信部２２２が、受信装置１３の提示データ生成部２０５から提示データが供給されるのを待って、その提示データを受信し、提示部２２３に供給して、処理は、ステップＳ７２に進む。
【０２９２】
ステップＳ７２では、提示部２２３が、提示データ受信部２２２からの提示データに従い、コンテンツの提示を行う。
【０２９３】
次に、図１６は、図１の提示装置１４の、他の詳細な構成例を示すブロック図である。
【０２９４】
なお、図中、図１３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２９５】
すなわち、図１６の提示装置１４は、移動機構２３１が新たに設けられていることを除き、図１３の場合と同様に構成される。
【０２９６】
但し、上述の場合には、受信装置１３の生成部２０３において、コンテンツを構成する各オブジェクトの音声を合成した提示データや、各オブジェクトの匂いを合成した提示データ等の、コンテンツを構成する各オブジェクトの情報を合成した提示データを生成し、提示装置１４に供給するようにしたが、図１６では、受信装置１３の生成部２０３において、コンテンツを構成するオブジェクトごとに、そのオブジェクトの提示データが生成され、提示装置１４に供給されるようになっている。
【０２９７】
さらに、図１６では、提示装置１４が、コンテンツを構成するオブジェクトごとに個別に用意されている。なお、図１６では、提示装置１４は、１つだけ図示してある。
【０２９８】
また、図１６では、センシング部２２１は、鑑賞環境情報を、シミュレーション部２０４の他、移動機構２３１にも供給する。
【０２９９】
さらに、図１６では、提示データ生成部２０５が、シミュレーション部２０４から、オブジェクト情報、及び、コンテンツデフォルト情報を取得し、提示データとともに、提示データ受信部２２２に供給するようになっている。
【０３００】
提示データ受信部２２２は、提示データ生成部２０５からの提示データ、並びに、オブジェクト情報、及び、コンテンツデフォルト情報を受信し、提示データを、提示部２２３に供給するとともに、オブジェクト情報、及び、コンテンツデフォルト情報を、移動機構２３１に供給する。
【０３０１】
移動機構２３１は、センシング部２２１からの鑑賞環境情報や、提示データ受信部２２２からのオブジェクト情報、及び、コンテンツデフォルト情報に基づき、提示装置１４を移動させ、提示装置１４によるオブジェクトの情報の提示を制御する。
【０３０２】
図１７は、図１６の提示装置１４の構成例を模式的に示す図である。
【０３０３】
図１７では、提示装置１４は、提示部２２３を構成するデバイスとして、音声を出力する音声出力部としてのスピーカや、画像を表示する画像表示部としてのディスプレイ、温度を調整するエアコン、湿度を調整する加湿器、匂いを提示する匂い発生装置、等を搭載しており、移動機構２３１によって移動する。
【０３０４】
すなわち、図１７では、移動機構２３１は、車輪を含んで構成され、その車輪を回転駆動することによって、提示装置１４を移動させる。
【０３０５】
なお、移動機構２３１としては、その他、例えば、可動レール（移動可能なレール）に沿って、提示装置１４を移動させる機構等を採用することが可能である。
【０３０６】
ここで、コンテンツを構成するオブジェクトごとに個別に用意された提示装置１４のうちの注目する１つが提示するオブジェクトを、注目オブジェクトともいう。
【０３０７】
注目オブジェクトの提示を行う提示装置１４では、移動機構２３１が、受信装置１３の生成部２０３で生成されるコンテンツ上での、注目オブジェクトの位置を表す情報に基づいて、注目オブジェクトの提示を行う提示装置１４を移動させる。
【０３０８】
すなわち、提示装置１４では、移動機構２３１が、提示データ受信部２２２からのコンテンツデフォルト情報で設定されている注目オブジェクトの位置情報と鑑賞者（ユーザ）の位置情報とから、オブジェクトと鑑賞者の、コンテンツ上での位置関係を求める。
【０３０９】
さらに、提示装置１４では、移動機構２３１が、センシング部２２１からの鑑賞環境情報により把握される、その提示装置１４自体（自機）と鑑賞者との実際の位置関係が、コンテンツデフォルト情報から求められた、コンテンツ上での位置関係と一致するように、提示装置１４を移動させる（提示装置１４の移動を制御する）。
【０３１０】
但し、鑑賞者が、視点の位置を変更する指示を行うように、リモートコマンダ２１０を操作し、これにより、その視点の位置を変更する指示に対応する加工情報が、コマンド受信部２０６から生成部２０３に供給された場合、生成部２０３の提示データ生成部２０５は、コマンド受信部２０６からの加工情報を、提示装置１４の提示データ受信部２２２に供給する。
【０３１１】
提示データ受信部２２２は、提示データ生成部２０５からの加工情報を受信して、移動機構２３１に供給する。
【０３１２】
移動機構２３１は、提示データ受信部２２２からの加工情報から把握される、視点の変更後の注目オブジェクトと鑑賞者のコンテンツ上での位置関係を表す情報に基づいて、提示装置１４を移動させる。
【０３１３】
なお、提示装置１４が有する提示部２２３としてのデバイスが、例えば、平面ディスプレイや、指向性があるスピーカ等のように、提示に際して指向性を有するデバイス（以下、指向性デバイスともいう）である場合には、移動機構２３１は、指向性デバイスの指向性が、鑑賞者に対する方向と一致するように、提示装置１４（自機）の向きの制御を行う。
【０３１４】
また、提示装置１４では、センシング部２２１は、その提示装置１４自体（自機）と鑑賞者との位置や向きの関係を表す情報を、鑑賞環境情報としてセンシングし、受信装置１３のシミュレーション部２０４に供給する。
【０３１５】
シミュレーション部２０４では、コンテンツ世界において、注目オブジェクトとの間で、センシング部２２１からの鑑賞環境情報が表す位置や向きの関係を有する鑑賞者から鑑賞されるべき注目オブジェクトの提示内容がシミュレートされ、そのシミュレートの結果に対応する提示データが、提示データ生成部２０５から、注目オブジェクトに対応する提示装置１４（注目オブジェクトの提示を行う提示装置１４）に供給される。
【０３１６】
なお、提示装置１４には、より鑑賞環境との相互作用を強調した動作（以下、相互作用動作ともいう）を行わせることができる。
【０３１７】
すなわち、提示装置１４が相互作用動作を行う場合には、例えば、提示装置１４のセンシング部２２１が、周辺（鑑賞環境）に存在する物体（鑑賞者含む）をセンシングし、その物体の情報を、鑑賞環境情報として、受信装置１３のシミュレーション部２０４に供給する。
【０３１８】
受信装置１３のシミュレーション部２０４では、センシング部２２１からの鑑賞環境情報に基づいて、衝突によるオブジェクトの動き変化や変形をシミュレートして、その結果を、提示データ生成部２０５を介して、提示装置１４に供給する。
【０３１９】
これにより、提示装置１４には、周辺に存在する物体（鑑賞者含む）と相互作用（衝突など）を行わせることができる。
【０３２０】
また、例えば、提示装置１４のセンシング部２２１は、鑑賞環境における照明条件をセンシングし、その照明条件を表す情報を、鑑賞環境情報として、受信装置１３のシミュレーション部２０４に供給する。
【０３２１】
受信装置１３のシミュレーション部２０４では、センシング部２２１からの鑑賞環境情報に基づいて、鑑賞環境における照明条件でのオブジェクトの画像を生成し、提示データ生成部２０５を介して、提示装置１４に供給する。
【０３２２】
これにより、提示装置１４には、鑑賞環境における照明条件でオブジェクトを提示させることができる。
【０３２３】
以上のように、オブジェクトごとに個別に用意された提示装置１４によりコンテンツを提示し、また、ぞれぞれの提示装置１４が、鑑賞環境をセンシングして得られる鑑賞環境情報にも基づいてコンテンツを提示する場合には、鑑賞環境中にいる鑑賞者や鑑賞環境中に実在する物体（家具など）とコンテンツとが物理的にも相互作用することができるようになる。
【０３２４】
なお、センシング部２２１は、提示装置１４ではなく、受信装置１３に設けることが可能である。
【０３２５】
また、本実施の形態では、受信装置１３を、提示装置１４とは別に設けるようにしたが、受信装置１３は、提示装置１４とは別に設けるのではなく、オブジェクトごとに個別に用意される提示装置１４のそれぞれに、受信装置１３の機能を内蔵させるようにすることが可能である。
【０３２６】
さらに、提示装置１４の画像を表示する画像表示部としてのディスプレイとしては、平面（略平面）上に画像を表示するディスプレイの他、半球状のスクリーンに画像を表示するディスプレイ（以下、半球状ディスプレイともいう）を採用することが可能である。
【０３２７】
ここで、半球状ディスプレイについては、例えば、特開2005-070963号公報に記載されている。
【０３２８】
図１８は、半球状ディスプレイの構成例を模式的に示す斜視図である。
【０３２９】
半球状ディスプレイは、スクリーン２５１、画像発生部２５２、及び、魚眼レンズ２５３から構成される。
【０３３０】
画像発生部２５２は、画像に対応する光を発生する。画像発生部２５２が発生した光は、魚眼レンズ２５３を介して、スクリーン２５１に照射される。
【０３３１】
スクリーン２５１は、半球状の大きなスクリーンで、画像発生部２５２、及び魚眼レンズ２５３を覆うように設置されている。スクリーン２５１では、魚眼レンズ２５３を介して照射される光が散乱され、これにより、スクリーン２５１の全体に、例えば、ある物体を、その周囲から見たときに見える画像が表示される。
【０３３２】
以上のような半球状ディスプレイでは、スクリーン２５１の表示領域のうちの、そのスクリーン２５１の周囲のある位置にいるユーザ（鑑賞者）Ａに対向する位置の表示領域である表示部２６１には、ユーザＡの位置から実際に物体を見たならば見えるであろう画像が表示される。
【０３３３】
また、例えば、スクリーン２５１を挟んで、ユーザＡの位置と反対側の位置にいるユーザＢの位置に対向する、スクリーン２５１の一部の表示領域である表示部２６２には、ユーザＢの位置から実際に物体を見たならば見えるであろう画像が表示される。
【０３３４】
以上のような半球状ディスプレイによれば、複数の鑑賞者が、コンテンツの鑑賞を容易に行うことができる。
【０３３５】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０３３６】
そこで、図１９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０３３７】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク３０５やROM３０３に予め記録しておくことができる。
【０３３８】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体３１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体３１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０３３９】
なお、プログラムは、上述したようなリムーバブル記録媒体３１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部３０８で受信し、内蔵するハードディスク３０５にインストールすることができる。
【０３４０】
コンピュータは、CPU(Central Processing Unit)３０２を内蔵している。CPU３０２には、バス３０１を介して、入出力インタフェース３１０が接続されており、CPU３０２は、入出力インタフェース３１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部３０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)３０３に格納されているプログラムを実行する。あるいは、また、CPU３０２は、ハードディスク３０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部３０８で受信されてハードディスク３０５にインストールされたプログラム、またはドライブ３０９に装着されたリムーバブル記録媒体３１１から読み出されてハードディスク３０５にインストールされたプログラムを、RAM(Random Access Memory)３０４にロードして実行する。これにより、CPU３０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU３０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース３１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部３０６から出力、あるいは、通信部３０８から送信、さらには、ハードディスク３０５に記録等させる。
【０３４１】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０３４２】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０３４３】
なお、本実施の形態では、図１の送受信システムを、放送システムとしたが、本発明は、放送以外のデータの送受信に適用可能である。
【図面の簡単な説明】
【０３４４】
【図１】本発明を適用した送受信システムの一実施の形態の構成例を示すブロック図である。
【図２】センシング装置１１の構成例を示すブロック図である。
【図３】センシング装置１１によるセンシングの第１の形態を説明する図である。
【図４】センシング装置１１によるセンシングの第２の形態を説明する図である。
【図５】センシング装置１１によるセンシングの第３の形態を説明する図である。
【図６】送信装置１２の構成例を示すブロック図である。
【図７】送信装置１２の処理を説明するフローチャートである。
【図８】オブジェクト情報生成部３１の構成例を示すブロック図である。
【図９】ワイヤフレームとテクスチャ情報を求める画像処理装置の構成例を示すブロック図である。
【図１０】受信装置１３の構成例を示すブロック図である。
【図１１】受信装置１３の処理を説明するフローチャートである。
【図１２】提示装置１４の構成例を示すブロック図である。
【図１３】提示装置１４の詳細な構成例を示すブロック図である。
【図１４】提示部２２３を構成するデバイスの配置の例を模式的に示す図である。
【図１５】提示装置１４の処理を説明するフローチャートである。
【図１６】提示装置１４の他の詳細な構成例を示すブロック図である。
【図１７】提示装置１４の構成例を模式的に示す図である。
【図１８】半球状ディスプレイの構成例を模式的に示す斜視図である。
【図１９】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０３４５】
１１  センシング装置，  １２  送信装置，  １３  受信装置，  １４  提示装置，  ３１  オブジェクト情報生成部，  ３２  コンテンツデフォルト情報生成部，  ３３  送信部，  ４１  背景オブジェクト情報生成部，  ４２  物体オブジェクト情報生成部，  ４３  ID付与部，  ２０１  送信データ受信部，  ２０２  オブジェクト情報DB，  ２０３  生成部，  ２０４  シミュレーション部，  ２０５  提示データ生成部，  ２０６  コマンド受信部，  ２０７  加工情報DB，  ２１０  リモートコマンダ，  ２２１  センシング部，  ２２２  提示データ受信部，  ２２３  提示部，  ２３１  移動機構，  ２５１  スクリーン，  ２５２  画像発生部，  ２５３  魚眼レンズ，  ２６１，２６２  表示部，  ３０１  バス，  ３０２  CPU，  ３０３  ROM，  ３０４  RAM，  ３０５  ハードディスク，  ３０６  出力部，  ３０７  入力部，  ３０８  通信部，  ３０９  ドライブ，  ３１０  入出力インタフェース，  ３１１  リムーバブル記録媒体
【図１】
2009194596.tif 000003
【図２】
2009194596.tif 000004
【図３】
2009194596.tif 000005
【図４】
2009194596.tif 000006
【図５】
2009194596.tif 000007
【図６】
2009194596.tif 000008
【図７】
2009194596.tif 000009
【図８】
2009194596.tif 000010
【図９】
2009194596.tif 000011
【図１０】
2009194596.tif 000012
【図１１】
2009194596.tif 000013
【図１２】
2009194596.tif 000014
【図１３】
2009194596.tif 000015
【図１４】
2009194596.tif 000016
【図１５】
2009194596.tif 000017
【図１６】
2009194596.tif 000018
【図１７】
2009194596.tif 000019
【図１８】
2009194596.tif 000020
【図１９】
2009194596.tif 000021