(57)【特許請求の範囲】
【請求項１】
データを送信する送信装置と、前記データを受信する受信装置とからなる放送システムにおいて、
前記送信装置は、カメラで撮影された画像を素材データとして送信すると共に、前記カメラの撮影範囲を表す撮影範囲情報を含む、前記受信装置で前記素材データを加工するために用いられる付加情報を送信する送信手段を有し、
前記受信装置は、
前記素材データと前記付加情報とを受信する受信手段と、
前記素材データ、前記付加情報、及び表示装置の表示画面の大きさを表す大きさ情報を含む、前記表示装置の特性を表す特性情報に基づいて、前記表示装置で表示される画像から認識される物体の大きさが、実世界での大きさに同定されるように、前記表示装置に表示させる画像を出力データとして生成する生成手段と、
前記生成手段により前記出力データとして生成された前記画像を表示する前記表示装置を含む、出力手段と
を有する
放送システム。
【請求項２】
前記付加情報は、さらに、前記素材データの加工に用いられる情報であるエフェクト情報を含み、
前記生成手段は、さらに、前記エフェクト情報に基づいて、前記素材データに対して加工を施すことにより、出力データを生成する
請求項１に記載の放送システム。
【請求項３】
前記受信装置は、ユーザによる加工の指示を受け付ける指示入力手段をさらに有し、
前記生成手段は、ユーザによる加工を指示するための指示情報に基づいて、前記素材データに対して、ユーザが所望する加工を施す
請求項２に記載の放送システム。
【請求項４】
前記指示情報は、前記素材データである画像のうちの、前記表示装置に表示する部分の領域を表す表示画枠情報を含み、
前記生成手段は、前記素材データである画像から、前記表示画枠情報が表す領域の画像を抽出することにより、前記出力データを生成する
請求項３に記載の放送システム。
【請求項５】
前記エフェクト情報は、前記素材データである画像に合成される被合成データを含み、
前記生成手段は、前記エフェクト情報に基づいて、前記素材データである画像に、前記被合成データを合成することにより、前記出力データを生成する
請求項２に記載の放送システム。
【請求項６】
前記被合成データは、字幕のデータ、又は、ピクチャインピクチャ用のデータである
請求項５に記載の放送システム。
【請求項７】
前記エフェクト情報は、前記素材データである画像のうちの、前記表示装置に表示する部分の領域を表す表示画枠情報を含み、
前記生成手段は、前記素材データである画像から、前記表示画枠情報が表す領域の画像を抽出することにより、前記出力データを生成する
請求項２に記載の放送システム。
【請求項８】
前記素材データは、前記カメラで撮影された複数ストリームの画像であり、
前記エフェクト情報は、前記素材データである複数ストリームの画像から、１つのストリームの画像を選択することにより、前記表示装置に表示する画像を切り替えるための切り替え情報を含み、
前記生成手段は、前記切り替え情報に基づいて、前記素材データである複数ストリームの画像から、１つのストリームの画像を選択することにより、前記出力データを生成する
請求項２に記載の放送システム。
【請求項９】
前記受信装置は、ユーザによる加工の指示を受け付ける指示入力手段をさらに有し、
前記生成手段は、前記エフェクト情報、又は、ユーザによる加工を指示するための指示情報に基づいて、前記素材データに対して、ユーザが所望する加工を施す
請求項５に記載の放送システム。
【請求項１０】
前記エフェクト情報は、前記被合成データの合成を行うタイミングを表すタイミング情報をさらに含み、
前記生成手段は、ユーザによる加工の指示がなかった場合には、前記タイミング情報に基づいて、前記素材データである画像に、前記被合成データを合成することにより、前記出力データを生成する
請求項９に記載の放送システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放送システムに関し、特に、例えば、放送システムの受信側において、適切な処理を行うことができるようにする放送システムに関する。
【背景技術】
【０００２】
例えば、現行の、アナログ放送やディジタル放送の放送システムでは、送信側である放送局において、素材データとしての画像や音声が編集され、その編集後の画像及び音声が、番組として放送される。
【０００３】
一方、受信側である、例えば、各家庭では、TV(テレビジョン受像機)等によって、放送局からの番組の出力、すなわち、番組としての画像の表示、及び、音声の出力が行われる。
【０００４】
なお、１本の番組に注目した場合、現行の放送システムでは、放送局での編集の結果得られる１種類の画像、及び音声が、１本の番組として放送される。したがって、受信側のユーザは、１種類の画像、及び音声しか楽しむことができない。
【０００５】
しかしながら、例えば、ドラマ番組等の１本の番組について、ユーザの好みの登場人物からの視点でそのドラマ番組の展開を見たいという要求や、見方によってはストーリ展開そのものが異なるようにしたいという、ユーザ参加型の要求が潜在的に存在する。
【０００６】
そこで、本件出願人は、予め用意された視点の異なる複数の素材を、ユーザが任意に選択してモニタすることができるディジタル放送受信装置を、先に提案している（例えば、特許文献１を参照）。
【０００７】
【特許文献１】特開2006-217662号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、放送局では、例えば、上述のように、画像や音声が編集されるが、その編集は、受信側のTVの、画像を表示する表示画面を考慮して行われるものではない。
【０００９】
したがって、受信側のTVの表示画面が大である場合には、TVにおいて、人の顔が、実際に見た場合の大きさよりも大きく表示され、臨場感が薄れることがある。
【００１０】
また、受信側のTVでは、例えば、上述のように、放送局で編集がされた、編集後の画像及び音声が表示等される。
【００１１】
したがって、例えば、放送局において、多数のテロップが、画像に合成される編集が行われた場合には、テロップによる演出を不要と感じるユーザ（視聴者）であっても、多数のテロップが合成された画像を視聴しなければならない。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、放送システムの受信側において、適切な処理を行うことができるようにし、これにより、例えば、ユーザに臨場感を感じさせることや、ユーザの好みに合った画像を表示すること等ができるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の一側面の放送システムは、データを送信する送信装置と、前記データを受信する受信装置とからなる放送システムであり、前記送信装置は、カメラで撮影された画像を素材データとして送信すると共に、前記カメラの撮影範囲を表す撮影範囲情報を含む、前記受信装置で前記素材データを加工するために用いられる付加情報を送信する送信手段を有し、前記受信装置は、前記素材データと前記付加情報とを受信する受信手段と、前記素材データ、前記付加情報、及び表示装置の表示画面の大きさを表す大きさ情報を含む、前記表示装置の特性を表す特性情報に基づいて、前記表示装置で表示される画像から認識される物体の大きさが、実世界での大きさに同定されるように、前記表示装置に表示させる画像を出力データとして生成する生成手段と、前記生成手段により前記出力データとして生成された前記画像を表示する前記表示装置を含む、出力手段とを有する放送システムである。
【００１４】
以上のような一側面においては、前記送信装置において、カメラで撮影された画像が素材データとして送信されると共に、前記カメラの撮影範囲を表す撮影範囲情報を含む、前記受信装置で前記素材データを加工するために用いられる付加情報が送信される。前記受信装置では、前記素材データと前記付加情報とが受信され、前記素材データ、前記付加情報、及び表示装置の表示画面の大きさを表す大きさ情報を含む、前記表示装置の特性を表す特性情報に基づいて、前記表示装置で表示される画像から認識される物体の大きさが、実世界での大きさに同定されるように、前記表示装置に表示させる画像を出力データとして生成される。そして、前記出力データとして生成された前記画像が表示される表示装置が含まれる。
【００２２】
また、送信装置、又は、受信装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００２３】
さらに、データの送信（放送）（伝送）は、有線、又は、無線のうちのいずれの伝送媒体を介して行うこともできるし、有線、及び、無線が混在する伝送媒体を介して行うこともできる。
【発明の効果】
【００２４】
本発明の一側面によれば、放送システムの受信側において、適切な処理を行うことができる。
【発明を実施するための最良の形態】
【００２５】
図１は、本発明を適用した放送システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは、問わない）の一実施の形態の構成例を示している。
【００２６】
図１において、放送システムは、送信装置１１と受信装置１２とから構成されている。
【００２７】
送信装置１１は、例えば、放送局に設置され、番組としての各種のデータを、地上波や衛星回線、インターネット、CATV(Cable Television)網等の伝送媒体１３を介して送信する。
【００２８】
受信装置１２は、例えば、家庭等に設置され、送信装置１１から伝送媒体１３を介して送信されてくるデータを受信する。
【００２９】
なお、受信装置１２は、例えば、TV等として機能することができる。
【００３０】
また、放送システムにおいて、送信装置１１は、１つだけではなく、複数設けることができる。受信装置１２も同様である。
【００３１】
図２は、図１の送信装置１１の構成例を示している。
【００３２】
図２において、送信装置１１は、センサ部３１、編集装置３２、符号化部３３、及び送信部３４から構成されている。
【００３３】
なお、センサ部１１や編集装置３２は、送信装置１１とは別個の装置とすることができる。
【００３４】
センサ部３１は、編集装置３２での編集の素材となる素材データを取得し、編集装置３２、及び、符号化部３３に供給する。
【００３５】
ここで、センサ部３１としては、１種類の１つのセンサや、１種類の複数のセンサ、複数種類のセンサを採用することができる。
【００３６】
また、センサの種類としては、例えば、光をセンシングし、画像を出力する（撮影を行う）カメラ、音をセンシングし、音声を出力する（集音を行う）マイクロフォン、その他、温度や、湿度、風向き、風速、振動、明るさ等をそれぞれセンシングするセンサがある。
【００３７】
カメラによれば、撮影がされ、画像（データ）が、素材データとして出力される。また、マイクロフォンによれば、集音が行われ、音声（データ）が、素材データとして出力される。その他、温度、湿度、風向き、風速、振動、又は、明るさをそれぞれセンシングするセンサによれば、温度、湿度、風向き、風速、振動、又は、明るさを表すデータが、素材データとして出力される。
【００３８】
編集装置３２は、センサ部３１からの素材データに基づき、受信装置１２で素材データを加工するために用いられる付加情報を生成し、符号化部３３に供給する。
【００３９】
ここで、付加情報には、センサ部３１によるセンシングが行われた対象についての実世界の物理量を表す実世界情報と、素材データの加工に用いられる情報であるエフェクト情報とが含まれる。
【００４０】
エフェクト情報は、例えば、放送局において、番組の制作を行う番組制作者が、編集装置３２を操作することにより、その操作に従って生成される。
【００４１】
実世界情報は、番組制作者の操作に関係なく生成される。
【００４２】
なお、編集装置３２において、付加情報は、例えば、１種類の素材データごとに生成される。したがって、センサ部３１において、複数種類のセンサが採用されており、センサ部３１から、符号化部３３に対して、複数種類の素材データが供給される場合には、編集装置３２から、符号化部３３に対しては、その複数種類の素材データの各種類に対応する付加情報が供給される。
【００４３】
符号化部３３は、センサ部３１からの素材データと、編集装置３２からの付加情報とを符号化する。なお、符号化部３３は、必要に応じて、素材データ及び符号化データの多重化を行う。そして、符号化部３３は、符号化の結果得られる符号化データを、送信部３４に供給する。
【００４４】
送信部３４は、符号化部３３からの符号化データ、すなわち、センサ部３１で取得した素材データと、編集装置３２で生成した付加情報とを、伝送媒体１３（図１）を介して送信する。
【００４５】
次に、編集装置３２で生成される付加情報のうちのエフェクト情報について説明する。
【００４６】
図３は、素材データと、その素材データに対するエフェクト情報とを示している。
【００４７】
すなわち、図３Ａは、素材データとしての、複数ストリームの画像（動画）を示している。
【００４８】
例えば、ある番組の画像が、複数であるN個のストリームの画像S#1，S#2，・・・，S#Nを編集して構成される場合、その番組の画像については、そのN個のストリームの画像S#1ないしS#Nが、素材データとなる。
【００４９】
ここで、N個のストリームの画像S#1ないしS#Nは、N個のセンサとしてのN個のカメラで、それぞれ取得した画像であっても良いし、N個未満（かつ１個以上）のM個のセンサとしてのM(<N)個のカメラで取得した画像であっても良い。
【００５０】
すなわち、N個のストリームの画像S#1ないしS#Nとしては、例えば、１個のカメラで、異なる時間に、異なる場所の風景を撮影して得られるN個のストリームの画像を採用することができる。
【００５１】
また、N個のストリームの画像S#1ないしS#Nとしては、例えば、N個のカメラで、オーケストラの全体、指揮者、特定の楽器の演奏者、観客席等を、それぞれ撮影して得られるN個のストリームの画像や、サッカー等のスポーツ中継において、競技場全体、スコアボード、特定の選手、観客席等を、それぞれ撮影して得られるN個のストリームの画像、音楽番組等において、スタジオ全体、各出演者等を、それぞれ撮影して得られるN個のストリームの画像等を採用することができる。
【００５２】
図３Ｂは、図３Ａの素材データであるN個のストリームの画像S#1ないしS#Nに対するエフェクト情報を示している。
【００５３】
エフェクト情報としては、例えば、切り替え情報、表示画枠情報、及び合成用データ等がある。
【００５４】
切り替え情報は、例えば、素材データであるN個のストリームの画像S#1ないしS#Nから、１つのストリームの画像を選択することにより、受信装置１２の、後述する表示装置に表示する画像を切り替えるための情報である。
【００５５】
表示画枠情報は、例えば、素材データである画像（図３では、画像S#1ないしS#Nのうちのいずれか）のうちの、受信装置１２の表示装置に表示する部分の領域を表す。
【００５６】
合成用データは、例えば、素材データである画像（図３では、画像S#1ないしS#Nのうちのいずれか）との合成に用いられるデータで、その画像に合成される被合成データを含む。
【００５７】
ここで、被合成データとしては、ピクチャインピクチャの子画面の画像（以下、PinP画像という）のデータ（ピクチャインピクチャ用のデータ）や、テロップのデータ（字幕のデータ）等がある。
【００５８】
次に、図４を参照して、図３のエフェクト情報のうちの切り替え情報について説明する。
【００５９】
切り替え情報は、例えば、上述したように、ある番組Aの画像が、N個のストリームの画像S#1ないしS#Nを編集して構成される場合、そのN個のストリームの画像S#1ないしS#Nから、１つのストリームの画像を選択することにより、受信装置１２の表示装置に表示する画像を切り替えるための情報である。
【００６０】
例えば、図２の編集装置３２において、番組制作者の操作に応じて、図４に示すように、素材データである画像S#1のタイムコードts1ないしte1、素材データである画像S#2のタイムコードts2ないしte2、素材データである画像S#3のタイムコードts3ないしte3、素材データである画像S#1のタイムコードts4ないしte4、・・・の範囲を、順次つなぎ合わせるカット編集が行われることによって、ある番組A（の画像）が制作された場合、例えば、番組Aの各時刻において、番組Aの画像となる素材データと、その素材データのタイムコードとを特定する情報が、切り替え情報となる。
【００６１】
なお、編集装置３２において、例えば、ある画像S#iと、他の画像#i'とのつなぎ目（いわゆる編集点）に、ワイプ等の特殊効果が施された場合には、切り替え情報には、その特殊効果に関する情報も含められる。
【００６２】
次に、図５を参照して、図３のエフェクト情報のうちの表示画枠情報について説明する。
【００６３】
表示画枠情報は、例えば、上述したように、素材データである画像のうちの、受信装置１２の表示装置に表示する部分の領域を表す。
【００６４】
すなわち、例えば、素材データが、画像である場合、編集装置３２では、番組制作者の操作に応じて、図５に示すように、素材データである画像の一部分の矩形の領域を、受信装置１２の表示装置に表示する部分の領域（以下、表示用領域ともいう）として、番組の画像とする編集を行うことができるようになっている。
【００６５】
この場合、編集装置３２によれば、番組制作者は、素材データである画像の領域を最大限として、その領域内において、カメラを、番組制作者自身が、パンや、チルト、ズームの操作をして撮影を行ったかのような番組を制作することができる。
【００６６】
ここで、表示用領域の最大は、素材データである画像の領域である。したがって、センサ部３１（図２）としてのカメラを、最大画角（最も広角側）にして撮影を行うことにより、表示用領域を、最も大きくすることができる。
【００６７】
なお、表示画角情報としては、表示用領域を特定することができる情報であれば、どのような情報であっても良い。
【００６８】
すなわち、表示画角情報としては、例えば、素材データである画像の領域を基準とする座標系を定義し、その座標系における、表示用領域の１つの頂点と、その頂点の対角にある頂点との座標や、表示用領域の１の頂点の座標と、表示用領域の横及び縦の長さ等を採用することができる。
【００６９】
また、表示画角情報としては、例えば、所定の位置の、所定の大きさの表示用領域を、デフォルトの表示用領域として、そのデフォルトの表示用領域に対して、番組制作者が編集として行ったパン、チルト、及びズームの操作の履歴を採用することができる。
【００７０】
次に、図６を参照して、図３のエフェクト情報のうちの合成用データについて説明する。
【００７１】
合成用データは、上述したように、素材データとの合成に用いられるデータで、素材データに合成される被合成データと、その被合成データを用いた合成を行うタイミングを表すタイミング情報とを含む。
【００７２】
すなわち、例えば、素材データが、画像であり、図２の編集装置３２において、番組制作者の操作に応じて、素材データである画像に、PinP画像やテロップを重畳（合成）する編集が行われることによって、番組が制作された場合、そのPinP画像や、テロップが、被合成データとなる。
【００７３】
また、被合成データとしてのPinP画像や、テロップを重畳している時間（例えば、重畳を開始する時刻と、重畳を終了する時刻）を表す、例えば、番組のタイムコードが、タイミング情報となる。
【００７４】
なお、合成用データは、その他、例えば、被合成データとしてのPinP画像や、テロップを重畳する画像上の位置を表す情報等を含む。
【００７５】
また、例えば、素材データが、音声である場合には、BGM(Background Music)等が、被合成データとなる。
【００７６】
ある種類の素材データが、音声であり、その音声が、他の種類の素材データである画像（動画）に付随する音声である場合には、音声に合成されるBGMのタイミング情報としては、その音声を基準とする時刻を表す情報を採用することもできるし、その音声に付随する画像のタイムコードを採用することもできる。
【００７７】
次に、編集装置３２（図２）で生成される付加情報のうちの実世界情報について説明する。
【００７８】
実世界情報は、上述したように、センサ部３１（図２）によるセンシングが行われた対象についての実世界の物理量を表す情報であり、例えば、センサ部３１がカメラである場合に、そのカメラで撮影する撮影対象（以下、撮影オブジェクトともいう）の位置における撮影範囲を表す撮影範囲情報等が、実世界情報に含まれる。
【００７９】
ここで、図７を参照して、カメラの撮影範囲について説明する。
【００８０】
図７は、カメラで撮影を行っている状態を模式的に示す上面図である。
【００８１】
いま、説明を簡単にするために、カメラの光学系（レンズ群）に歪みがないこととし、カメラの水平方向の画角（以下、カメラ画角ともいう）を、θとするとともに、カメラから撮影オブジェクトまでの距離（以下、オブジェクト距離ともいう）を、Xとする。
【００８２】
なお、カメラ画角θは、既知であることとする。
【００８３】
また、オブジェクト距離Xは、例えば、いわゆるオートフォーカスの技術を利用して測定される。
【００８４】
すなわち、オブジェクト距離Xは、例えば、赤外線センサや、ソナーを用いて測定することができる。また、オブジェクト距離Xは、カメラで撮影される画像のコントラストを最大にするように、フォーカスを調整するコントラスト検知式や、カメラで撮影される画像の位相差をなくすように、フォーカスを調整する位相差検知式等を利用して測定することができる。
【００８５】
なお、カメラでの撮影時に、オブジェクト距離Xがあらかじめ分かっている場合には、オブジェクト距離Xの測定を行う必要はない。
【００８６】
いま、説明を簡単にするために、撮影オブジェクトの位置において、カメラで撮影される実世界の横及び縦の長さのうちの、例えば、横の長さだけに注目し、その横の長さを、撮影オブジェクトの位置における撮影範囲Dということとする。
【００８７】
撮影範囲Dは、カメラ画角θと、オブジェクト距離Xとから、式D=2×X×tan(θ/2)に従って求めることができる。
【００８８】
そこで、図２の編集装置３２は、センサ部３１としてのカメラから、素材データである画像の他、カメラ画角θ及びオブジェクト距離Xをも取得し、そのカメラ画角θ及びオブジェクト距離Xから、撮影範囲Dを求める。そして、編集装置３２は、撮影範囲Dを撮影範囲情報として、実世界情報に含めて、符号化部３３に供給する。
【００８９】
次に、図８を参照して、図２の送信装置１１の処理（送信処理）について説明する。
【００９０】
送信装置１１では、センサ部３１で取得された素材データが、編集装置３２、及び、符号化部３３に供給される。
【００９１】
編集装置３２では、センサ部３１からの素材データ等に基づき、エフェクト情報、及び、実世界情報のうちの一方、又は両方を含む付加情報が生成され、符号化部３３に供給される。
【００９２】
符号化部３３は、以上のようにして、センサ部３１から素材データが供給されるとともに、編集装置３２から付加情報が供給されると、ステップＳ１１において、センサ部３１からの素材データと、編集装置３２からの付加情報とを符号化し、その結果得られる符号化データを、送信部３４に供給して、処理は、ステップＳ１２に進む。
【００９３】
ステップＳ１２では、送信部３４は、符号化部３３からの符号化データを、伝送媒体１３（図１）を介して送信する。
【００９４】
次に、図９は、図１の受信装置１２の構成例を示している。
【００９５】
図９において、受信装置１２は、受信部５１、復号部５２、分離部５３、生成部５４、出力部５５、及び、入力部５６から構成される。
【００９６】
なお、出力部５５や入力部５６は、受信装置１２とは別個の装置とすることができる。
【００９７】
受信部５１は、送信装置１１から伝送媒体１３を介して送信されてくる符号化データ、すなわち、素材データと付加情報を受信し、復号部５２に供給する。
【００９８】
復号部５２は、受信部５１からの符号化データを復号し、分離部５３に供給する。
【００９９】
分離部５３は、復号部５２から供給されるデータを、素材データと、付加情報とに分離し、生成部５４に供給する。
【０１００】
生成部５４は、分離部５３からの素材データと付加情報とに基づいて、出力データを生成し、出力部５５に供給する。
【０１０１】
出力部５５は、生成部５４からの出力データに基づき、所定の出力を行う。
【０１０２】
ここで、出力部５５としては、人の五感を刺激する装置（デバイス）を採用することができる。
【０１０３】
すなわち、出力部５５としては、例えば、画像を表示する表示装置や、光を発する照明装置等の、視覚を刺激する装置を採用することができる。また、出力部５５としては、例えば、音を発するスピーカ等の、聴覚を刺激する装置を採用することができる。
【０１０４】
さらに、出力部５５としては、温度や、湿度、風の、いわゆる空調（空気調節）（空気調和）をすることができるエアコンディショナや、振動を与える動揺装置等の、触覚を刺激する装置を採用することができる。
【０１０５】
入力部５６は、受信装置１２のユーザによって操作される。ユーザが、ある指示を行うために、入力部５６を操作すると、入力部５６は、そのユーザによる指示を受け付け、その指示を表す指示情報を、生成部５４に供給する。
【０１０６】
ここで、生成部５４は、入力部５６から指示情報が供給された場合、その指示情報に基づいて、出力データを生成する。
【０１０７】
次に、図１０を参照して、図９の受信装置１２の処理（受信処理）について説明する。
【０１０８】
受信部５１は、送信装置１１から伝送媒体１３を介して符号化データが送信されてくるのを待って、ステップＳ３１において、その符号化データを受信し、復号部５２に供給して、処理は、ステップＳ３２に進む。
【０１０９】
ステップＳ３２では、復号部５２は、受信部５１からの符号化データを復号し、分離部５３に供給して、処理は、ステップＳ３３に進む。
【０１１０】
ステップＳ３３では、分離部５３は、復号部５２から供給されるデータ（復号データ）を、素材データと、付加情報とに分離し、生成部５４に供給して、処理は、ステップＳ３４に進む。
【０１１１】
ステップＳ３４では、生成部５４は、分離部５３からの素材データと付加情報とに基づいて、出力データを生成し、出力部５５に供給して、処理は、ステップＳ３５に進む。
【０１１２】
ステップＳ３５では、出力部５５は、生成部５４からの出力データに基づき、所定の出力を行う。
【０１１３】
以上のように、図９の受信装置１２では、生成部５４において、素材データと付加情報とに基づいて、出力データを生成する処理が行われるが、この処理は、リアリティモード処理と、エンターテイメントモード処理とに分けられる。
【０１１４】
すなわち、付加情報には、上述したように、実世界情報とエフェクト情報とが含まれるが、出力データを生成する処理のうちの、実世界情報を用いて行われる処理が、リアリティモード処理であり、エフェクト情報を用いて行われる処理が、エンターティメントモード処理である。
【０１１５】
以下、リアリティモード処理と、エンターティメントモード処理について説明する。
【０１１６】
図１１は、受信装置１２が、リアリティモード処理を行う場合に、生成部５４に供給されるデータ（情報）を示している。
【０１１７】
リアリティモード処理では、生成部５４に対しては、分離部５３から、素材データと、付加情報に含まれる実世界情報が供給される。
【０１１８】
また、リアリティモード処理では、ユーザが、ズームを指示するように、入力部５６を操作すると、その操作に対応した指示情報が、入力部５６から生成部５４に供給される。
【０１１９】
さらに、リアリティモード処理では、生成部５４に対しては、出力部５５の特性を表す特性情報が、例えば、出力部５５から供給される。
【０１２０】
そして、リアリティモード処理では、生成部５４は、素材データ、実世界情報、及び、出力部５５の特性情報に基づき、出力部５５の出力から認識される物理量が、実世界情報が表す物理量に同定されるように、出力データを生成する。
【０１２１】
ここで、生成部５４は、入力部５６から指示情報が供給された場合、その指示情報にも基づき、出力データを生成する。
【０１２２】
なお、リアリティモード処理については、受信装置１２は、入力部５６を設けずに構成することができる。受信装置１２が、入力部５６を設けずに構成される場合、生成部５４に対しては、指示情報は、供給されない。
【０１２３】
次に、例えば、出力部５５が、表示装置であり、出力データが、表示装置である出力部５５で表示される画像であるとして、リアリティモード処理を説明する。
【０１２４】
ここで、実世界情報には、図７で説明した撮影範囲情報Dが含まれることとし、また、特性情報には、表示装置である出力部５５が画像を表示する表示画面の大きさを表す大きさ情報Fが含まれることとする。
【０１２５】
なお、ここでは、説明を簡単にするために、大きさ情報Fは、撮影範囲情報D（撮影範囲D）と同様に、表示装置である出力部５５の表示画面の横及び縦の長さのうちの、例えば、横の長さを表すこととする。
【０１２６】
図１２は、受信装置１２がリアリティモード処理を行う場合の生成部５４の構成例を示している。
【０１２７】
図１２において、生成部５４は、BF（バッファ）７１、付加情報解析部７２、及び、画像処理部７３から構成される。
【０１２８】
BF７１には、分離部５３（図１１）から、素材データである画像が供給される。BF７１は、分離部５３からの素材データである画像を記憶する。
【０１２９】
付加情報解析部７２には、分離部５３から、付加情報に含まれる実世界情報が供給される。付加情報解析部７２は、分離部５３からの実世界情報を解析し、例えば、その実世界情報に含まれる撮影範囲情報D（図７）を抽出して、画像処理部７３に供給する。
【０１３０】
画像処理部７３には、上述したように、付加情報解析部７２から、撮影範囲情報Dが供給される。さらに、画像処理部７３には、BF７１に記憶された素材データである画像が供給されるとともに、表示装置である出力部５５（図１１）から、その表示装置の特性情報である大きさ情報Fが供給される。
【０１３１】
また、ユーザが、ズームを指示するように、入力部５６（図１１）を操作すると、画像処理部７３には、その操作に対応した指示情報が、入力部５６から供給される。
【０１３２】
画像処理部７３は、BF７１からの素材データである画像、付加情報解析部７２からの撮影範囲情報D、及び、出力部５５からの特性情報である大きさ情報Fに基づき、素材データである画像を加工することにより、表示装置である出力部５５で表示される画像から認識される物体（撮影オブジェクト）の大きさが、実世界での大きさに同定されるように、出力データである画像を生成して、表示装置である出力部５５（図１１）に供給する。
【０１３３】
また、画像処理部７３は、BF７１からの素材データである画像、付加情報解析部７２からの撮影範囲情報D、及び、出力部５５からの特性情報である大きさ情報Fに基づき、素材データである画像を加工することにより、表示装置である出力部５５で表示される画像から認識される撮影オブジェクトの大きさが、実世界での大きさを越えない大きさとなる画像を、出力データとして生成して、表示装置である出力部５５（図１１）に供給する。
【０１３４】
すなわち、画像処理部７３は、入力部５６から、指示情報が供給された場合、BF７１からの素材データである画像を、入力部５６からの指示情報が指示するズームの倍率だけ拡大する加工を行うことで、出力データを生成する。
【０１３５】
但し、この場合、画像処理部７３は、素材データである画像の拡大を、表示装置である出力部５５で表示される画像から認識される撮影オブジェクトの大きさが、実世界での大きさを越えない大きさとなるように制限する。
【０１３６】
なお、素材データである画像を拡大するときの倍率を、表示ズーム倍率zということとすると、表示ズーム倍率zが、１未満（かつ０より大）である場合の拡大は、縮小になる。
【０１３７】
また、図１２では、大きさ情報Fが、表示装置である出力部５５から、生成部５４の画像処理部７３に供給されることとしたが、大きさ情報Fは、その他、例えば、生成部５４に、あらかじめ記憶させておくことができる。
【０１３８】
次に、画像処理部７３の処理について、さらに説明する。
【０１３９】
なお、ここでは、説明を簡単にするため、表示画角情報が表す表示用領域（図５）は、素材データである画像の領域全体に等しいこととする。
【０１４０】
図１３は、カメラで撮影オブジェクトの撮影を行っている状態と、その撮影によって得られた素材データである画像の、表示装置である出力部５５での表示の状態とを模式的に示している。
【０１４１】
すなわち、図１３Ａは、カメラで撮影を行っている状態を模式的に示す上面図であり、図７と同一の図である。
【０１４２】
上述したように、撮影範囲情報Dは、カメラ画角θと、オブジェクト距離Xとから、式D=2×X×tanθ/2に従って求めることができる。
【０１４３】
図１３Ｂは、カメラで、図１３Ａのように撮影を行って得られる素材データである画像を、拡大することなく、表示装置である出力部５５で表示した表示状態を示している。
【０１４４】
表示装置である出力部５５では、大きさが撮影範囲情報Dの実世界が、大きさが大きさ情報Fの表示画面に表示される。
【０１４５】
したがって、撮影オブジェクトは、実世界での大きさのF/D倍の大きさで表示される。
【０１４６】
いま、撮影範囲情報Dが、大きさ情報F以上であるとすると（F≦D）、表示ズーム倍率zがD/F以下であれば、表示装置である出力部５５に表示される撮影オブジェクトの大きさは、実世界での大きさ以下となる。
【０１４７】
したがって、撮影範囲情報Dが、大きさ情報F以上である場合には、表示ズーム倍率zがD/F以下であれば、表示装置である出力部５５において、撮影オブジェクトが、実世界での大きさよりも大きく表示されることによって、表示装置である出力部５５で表示される撮影オブジェクトのリアリティが損なわれることはない。
【０１４８】
そこで、画像処理部７３（図１２）では、撮影範囲情報Dが、大きさ情報F以上である場合には、素材データである画像を拡大するときの表示ズーム倍率zがD/F以下に制限される。
【０１４９】
一方、撮影範囲情報Dが、大きさ情報F未満である場合には(F>D)、素材データである画像を、そのまま、表示装置である出力部５５で表示すると、その出力部５５に表示される撮影オブジェクトの大きさは、実世界での大きさを越える大きさとなる。
【０１５０】
このように、表示装置である出力部５５において、撮影オブジェクトが、実世界での大きさよりも大きく表示されると、表示装置である出力部５５で表示される撮影オブジェクトのリアリティが損なわれ、臨場感が失われることになる。
【０１５１】
以上のように、撮影範囲情報Dが、大きさ情報F未満になる場合としては、例えば、出力部５５が、大画面の表示装置である場合がある。
【０１５２】
また、例えば、素材データである画像が、いわゆる光学ズームや、ディジタルズームを使用して撮影された場合も、撮影範囲情報Dが、大きさ情報F未満になることがある。
【０１５３】
図１４は、カメラで、光学ズームを使用して、撮影オブジェクトの撮影を行っている状態と、その撮影によって得られた素材データである画像の、表示装置である出力部５５での表示の状態とを模式的に示している。
【０１５４】
すなわち、図１４Ａは、カメラで、光学ズームを使用して撮影を行っている状態を模式的に示す上面図である。
【０１５５】
光学ズームを使用することにより、カメラ画角θは狭くなり（小になり）、その結果、撮影範囲情報Dは、例えば、図１３Ａの場合よりも小となる。
【０１５６】
図１４Ｂは、カメラで、図１４Ａのように撮影を行って得られる素材データである画像を、表示装置である出力部５５で表示した表示状態を示している。
【０１５７】
表示装置である出力部５５では、大きさが撮影範囲情報Dの実世界が、大きさが大きさ情報Fの表示画面に表示される。
【０１５８】
図１４では、撮影範囲情報Dが、大きさ情報F未満になっており、そのため、表示装置である出力部５５では、撮影オブジェクトが、実世界での大きさよりも大きく（F/D倍の大きさで）表示されている。
【０１５９】
図１５は、カメラで、ディジタルズームを使用して、撮影オブジェクトの撮影を行っている状態と、その撮影によって得られた素材データである画像の、表示装置である出力部５５での表示の状態とを模式的に示している。
【０１６０】
すなわち、図１５Ａは、カメラで、ディジタルズームを使用して撮影を行っている状態を模式的に示す上面図である。
【０１６１】
ディジタルズームでは、カメラで撮影された画像の、例えば、中央部分を切り取り、信号処理によって拡大するトリミングによって得られる画像が、素材データである画像として出力される。
【０１６２】
ディジタルズームを使用して得られた素材データである画像については、カメラ画角θが、光学ズームの場合（図１４）と同様に狭くなり、その結果、撮影範囲情報Dは、例えば、図１３Ａの場合よりも小となる。
【０１６３】
図１５Ｂは、カメラで、図１５Ａのように撮影を行って得られる素材データである画像を、表示装置である出力部５５で表示した表示状態を示している。
【０１６４】
表示装置である出力部５５では、大きさが撮影範囲情報Dの実世界が、大きさが大きさ情報Fの表示画面に表示される。
【０１６５】
図１５では、撮影範囲情報Dが、大きさ情報F未満になっており、そのため、表示装置である出力部５５では、撮影オブジェクトが、実世界での大きさよりも大きく（F/D倍の大きさで）表示されている。
【０１６６】
以上のように、素材データである画像が、光学ズームや、ディジタルズームを使用して撮影されると、撮影範囲情報Dが、大きさ情報F未満になることがあり、その場合、撮影オブジェクトは、実世界での大きさよりも大きく表示され、リアリティが損なわれる。
【０１６７】
そこで、画像処理部７３（図１２）は、撮影範囲情報Dが、大きさ情報F未満である場合には、表示ズーム倍率zを、D/F倍に設定し、素材データである画像を、D/F倍に拡大する（ここでは、D/Fは、１未満であるため、画像は縮小される）。
【０１６８】
この場合、画像処理部７３で拡大（縮小）を行わなければ、実世界での大きさのF/D倍で表示される撮影オブジェクトが、そのD/F倍、つまり、実世界での大きさに等しい大きさで表示される。
【０１６９】
図１６は、撮影範囲情報Dが、大きさ情報F未満である場合に、表示装置である出力部５５に表示される画像を示している。
【０１７０】
すなわち、図１６Ａは、光学ズームを使用して撮影された素材データである画像を、表示装置である出力部５５で表示した表示状態を示しており、図１６Ｂは、ディジタルズームを使用して撮影された素材データである画像を、表示装置である出力部５５で表示した表示状態を示している。
【０１７１】
撮影範囲情報Dが、大きさ情報F未満である場合には、画像処理部７３は、表示ズーム倍率zを、D/F(<1)倍に設定し、素材データである画像を、D/F倍に拡大して、出力データとして出力部５５に供給する。
【０１７２】
その結果、表示装置である出力部５５では、撮影オブジェクトが、実世界での大きさに等しい大きさで表示される。
【０１７３】
ここで、画像処理部７３では、素材データである画像が、D/F(<1)倍に拡大（縮小）される結果、その拡大によって得られる画像（出力データ）は、横の長さが、撮影範囲情報Dに等しい画像となる。
【０１７４】
そして、いまの場合、撮影範囲情報Dが、大きさ情報F未満であるため、出力データである画像の横の長さF'(=D)は、大きさ情報F、つまり、表示装置である出力部５５の表示画面の横の長さよりも小となる。
【０１７５】
そのため、表示装置である出力部５５では、その表示画面のうちの、出力データである画像が表示される部分以外の部分には、例えば、図１６Ａに示すように、黒（いわゆる黒枠）等が表示される。
【０１７６】
なお、素材データである画像が、ディジタルズームを使用して撮影された場合には、カメラで撮影された画像のうちの、ディジタルズームで拡大された中央部分以外の部分（図１５Ａにおいて、斜線を付してある部分）（以下、トリミング部分ともいう）が残っていることがある。
【０１７７】
この場合、表示装置である出力部５５では、その表示画面のうちの、出力データである画像が表示される部分以外の部分には、例えば、図１６Ｂに示すように、トリミング部分が表示される。
【０１７８】
次に、図１７を参照して、図１２の画像処理部７３で行われるリアリティモード処理について説明する。
【０１７９】
画像処理部７３は、ステップＳ５１において、付加情報解析部７２から供給される実世界情報に含まれる撮影範囲情報Dと、表示装置である出力部５５の特性情報である大きさ情報Fとに基づき、素材データである画像を拡大する表示ズーム倍率zの最大値である最大ズーム倍率D/Fを求めるとともに、入力部５６（図１１）から指示情報が供給されない場合の表示ズーム倍率zである標準ズーム倍率z1を設定し、処理は、ステップＳ５２に進む。
【０１８０】
ここで、撮影範囲情報Dが、大きさ情報F以上である場合、標準ズーム倍率z1は、１倍に設定される。撮影範囲情報Dが、大きさ情報F未満である場合、標準ズーム倍率z1は、最大ズーム倍率D/Fに設定される。
【０１８１】
ステップＳ５２では、画像処理部７３は、入力部５６から、ズームを指示する指示情報が供給されたかどうかを判定する。
【０１８２】
ステップＳ５２において、入力部５６から画像処理部７３に、指示情報が供給されていないと判定された場合、処理は、ステップＳ５３に進み、画像処理部７３は、表示ズーム倍率zを、標準ズーム倍率z1に設定して、処理は、ステップＳ５７に進む。
【０１８３】
また、ステップＳ５２において、入力部５６から画像処理部７３に、指示情報が供給されたと判定された場合、処理は、ステップＳ５４に進み、画像処理部７３は、入力部５６からの指示情報が指示するズームの倍率（以下、指示ズーム倍率Aともいう）が、最大ズーム倍率D/F以下であるかどうかを判定する。
【０１８４】
ステップＳ５４において、指示ズーム倍率Aが、最大ズーム倍率D/F以下であると判定された場合、処理は、ステップＳ５５に進み、画像処理部７３は、表示ズーム倍率zを、指示ズーム倍率Aに設定して、処理は、ステップＳ５７に進む。
【０１８５】
また、ステップＳ５４において、指示ズーム倍率Aが、最大ズーム倍率D/F以下でないと判定された場合、すなわち、撮像オブジェクトを、実世界での大きさよりも大きく表示する、最大ズーム倍率D/Fを越える倍率のズームが、ユーザによって指示された場合、処理は、ステップＳ５６に進み、画像処理部７３は、表示ズーム倍率zを、最大ズーム倍率D/Fに設定して、処理は、ステップＳ５７に進む。
【０１８６】
ステップＳ５７では、画像処理部７３は、BF７１に記憶された素材データとしての画像を、表示ズーム倍率zだけ拡大した拡大画像を、出力データとして生成し、表示装置である出力部５５（図１１）に供給する。
【０１８７】
そして、表示装置である出力部５５では、画像処理部７３からの出力データである拡大画像が表示され、これにより、撮影オブジェクトは、図１３で説明したように、実世界での大きさのF/D倍の大きさで表示される。
【０１８８】
したがって、入力部５６から画像処理部７３に、指示情報が供給されていない場合、つまり、ユーザが、ズームを指示する操作をしていない場合には、表示装置である出力部５５において、撮影オブジェクトは、実世界での大きさに等しい大きさ(z(=D/F)×F/D)、又は、実世界での大きさのF/D倍の大きさ(z(=1)×F/D)で表示される。
【０１８９】
すなわち、撮影範囲情報Dが、大きさ情報F未満である場合には、上述したように、標準ズーム倍率z1、ひいては、表示ズーム倍率zは、最大ズーム倍率D/Fに設定されるので、撮影オブジェクトは、実世界での大きさのD/F×F/D倍の大きさ、つまり、実世界での大きさに等しい大きさで表示される。
【０１９０】
また、撮影範囲情報Dが、大きさ情報F以上である場合には、上述したように、標準ズーム倍率z1、ひいては、表示ズーム倍率zは、１倍に設定されるので、撮影オブジェクトは、実世界での大きさのF/D(≦1)倍の大きさで表示される。
【０１９１】
一方、入力部５６から画像処理部７３に、指示情報が供給された場合、つまり、ユーザが、指示ズーム倍率Aのズームを指示する操作をした場合には、指示ズーム倍率Aが、最大ズーム倍率D/F以下であるときには、撮影オブジェクトは、実世界での大きさのF/D×A倍の大きさ(z(=A)×F/D)で表示され、指示ズーム倍率Aが、最大ズーム倍率D/F以下でないときには、撮影オブジェクトは、実世界での大きさに等しい大きさ(z(=D/F)×F/D)で表示される。
【０１９２】
すなわち、指示ズーム倍率Aが、最大ズーム倍率D/F以下である場合には、上述したように、表示ズーム倍率zは、指示ズーム倍率Aに設定されるので、撮影オブジェクトは、実世界での大きさのA(≦D/F)×F/D倍の大きさで表示される。
【０１９３】
また、指示ズーム倍率Aが、最大ズーム倍率D/F以下でない場合には、上述したように、表示ズーム倍率zは、最大ズーム倍率D/Fに設定されるので、撮影オブジェクトは、実世界での大きさのD/F×F/D倍の大きさ、つまり、実世界での大きさに等しい大きさで表示される。
【０１９４】
いずれにしても、撮影オブジェクトは、実世界での大きさ以下の大きさで表示される。
【０１９５】
なお、図１７のリアリティモード処理は、例えば、フレーム（又はフィールド）ごとに行われる。
【０１９６】
また、図１７のリアリティモード処理は、撮影オブジェクトが、実世界での大きさを越える大きさで表示される場合にだけ行うことが可能である。
【０１９７】
すなわち、リアリティモード処理は、例えば、実世界での大きさを越える大きさで表示された撮影オブジェクトを見たユーザが、その表示の改善を指示するように、入力部５６を操作した場合に行うようにすることが可能である。
【０１９８】
図１８は、受信装置１２が、エンターテイメントモード処理を行う場合に、生成部５４に供給されるデータ（情報）を示している。
【０１９９】
エンターテイメントモード処理では、生成部５４に対しては、分離部５３から、素材データと、付加情報に含まれるエフェクト情報が供給される。
【０２００】
また、エンターテイメントモード処理では、ユーザが、素材データの加工を指示するように、入力部５６を操作すると、その操作に対応した指示情報が、入力部５６から生成部５４に供給される。
【０２０１】
そして、エンターテイメントモード処理では、生成部５４は、分離部５３からのエフェクト情報、又は、入力部５６からの指示情報に基づき、分離部５３からの素材データに対して加工を施すことにより、出力データを生成する。
【０２０２】
すなわち、生成部５４は、入力部５６からの指示情報の供給がない場合には、分離部５３からのエフェクト情報に基づき、分離部５３からの素材データに対して加工を施すことにより、出力データを生成する。
【０２０３】
また、生成部５４は、入力部５６からの指示情報の供給がある場合には、その指示情報に基づき、分離部５３からの素材データに対して加工を施すことにより、出力データを生成する。
【０２０４】
次に、例えば、出力部５５が、表示装置であり、出力データが、表示装置である出力部５５で表示される画像であるとして、エンターテイメントモード処理を説明する。
【０２０５】
図１９は、受信装置１２がエンターテイメントモード処理を行う場合の生成部５４の構成例を示している。
【０２０６】
ここで、エフェクト情報には、図３ないし図６で説明した切り替え情報、表示画枠情報、及び、合成用データが含まれることとし、素材データとしては、N個のストリームの画像S#1ないしS#Nがあることとする。
【０２０７】
図２０において、生成部５４は、画像データBF（バッファ）８１、付加情報解析部８２、被合成データBF８３、及び、画像処理部８４から構成される。
【０２０８】
画像データBF８１には、分離部５３（図１８）から、素材データであるN個のストリームの画像S#1ないしS#Nが供給される。画像データBF８１は、分離部５３からの素材データであるN個のストリームの画像S#1ないしS#Nを記憶する。
【０２０９】
付加情報解析部８２には、分離部５３から、付加情報に含まれるエフェクト情報が供給される。
【０２１０】
付加情報解析部８２は、分離部５３からのエフェクト情報を解析し、例えば、そのエフェクト情報に含まれる切り替え情報、表示画枠情報、及び、合成用データを抽出する。
【０２１１】
さらに、付加情報解析部８２は、合成用データから、素材データに合成される被合成データと、その合成のタイミングを表すタイミング情報を抽出する。
【０２１２】
そして、付加情報解析部８２は、被合成データを、被合成データBF８３に供給するとともに、切り替え情報、表示画枠情報、及び、タイミング情報を、画像処理部８４に供給する。
【０２１３】
ここで、付加情報解析部８２が画像処理部８４に供給する切り替え情報、表示画枠情報、及び、タイミング情報、つまり、エフェクト情報に含まれる切り替え情報、表示画枠情報、及び、タイミング情報を、まとめて、デフォルト情報ともいう。
【０２１４】
被合成データBF８３は、付加情報解析部８２からの被合成データを記憶する。
【０２１５】
画像処理部８４には、上述したように、付加情報解析部８２から、デフォルト情報が供給される。さらに、画像処理部８４には、画像データBF８１に記憶された素材データであるN個のストリームの画像S#1ないしS#Nが供給されるとともに、被合成データBF８３に記憶された被合成データが供給される。
【０２１６】
また、ユーザが、素材データ等の加工を指示するように、入力部５６（図１８）を操作すると、画像処理部８４には、その操作に対応した指示情報が、入力部５６から供給される。
【０２１７】
ここで、ユーザは、入力部５６を操作することにより、表示装置である出力部５５（図１８）に表示される画像を撮影しているカメラを、パン、チルト、又は、ズームさせるかのような指示（以下、PTZ(pan,tilt,zoom)指示ともいう）を行うことができる。
【０２１８】
さらに、ユーザは、入力部５６を操作することにより、表示装置である出力部５５に表示される画像を、素材データであるN個のストリームの画像S#1ないしS#Nのうちの、１の画像S#iから、他の１の画像S#i'に切り替える指示（以下、切り替え指示ともいう）を行うことができる。
【０２１９】
また、ユーザは、入力部５６を操作することにより、表示装置である出力部５５に表示される画像に、被合成データを合成（重畳）する指示（以下、合成指示ともいう）を行うことができる。
【０２２０】
ユーザが、入力部５６を操作することにより、PTZ指示を行うと、入力部５６は、そのPTZ指示に従って移動、又は、大きさを変更した表示用領域（図５）を特定する表示画枠情報を生成し、その表示画枠情報を含む指示情報を、画像処理部８４に供給する。
【０２２１】
また、ユーザが、入力部５６を操作することにより、切り替え指示を行うと、入力部５６は、その切り替え指示に従って、切り替え情報（図４）を生成し、その切り替え情報を含む指示情報を、画像処理部８４に供給する。
【０２２２】
さらに、ユーザが、入力部５６を操作することにより、合成指示を行うと、入力部５６は、その合成指示に従って、素材データに合成する被合成データを選択するための選択情報を生成し、その選択情報を含む指示情報を、画像処理部８４に供給する。
【０２２３】
画像処理部８４は、付加情報解析部８２からのデフォルト情報、又は、入力部５６からの指示情報に基づき、画像データBF８１に記憶された素材データに対して、被合成データBF８３に記憶された被合成データを必要に応じて用いて、加工を施すことにより、出力データである画像を生成し、表示装置である出力部５５（図１８）に供給する。
【０２２４】
すなわち、画像処理部８４は、入力部５６からの指示情報の供給がない場合には、付加情報解析部８２からのデフォルト情報に基づき、画像データBF８１に記憶された素材データに対して加工を施すことにより、出力データである画像を生成する。
【０２２５】
具体的には、例えば、画像処理部８４は、デフォルト情報に含まれる切り替え情報に基づいて、画像データBF８１に記憶された素材データであるN個のストリームの画像S#1ないしS#Nの中から、１つのストリームの画像を、出力データとする画像（以下、出力用画像ともいう）として選択する。
【０２２６】
さらに、例えば、画像処理部８４は、デフォルト情報に含まれる表示画枠情報に基づいて、その表示画枠情報が表す表示用領域の画像を、出力用画像から抽出する。
【０２２７】
また、例えば、画像処理部８４は、デフォルト情報に含まれるタイミング情報に基づいて、表示用領域の画像に、被合成データBF８３に記憶された被合成データを合成する。なお、ここでは、被合成データBF８３に、複数の被合成データが記憶されている場合には、その複数の被合成データのうちの、どの被合成データを、表示用領域の画像に合成するかの情報は、デフォルト情報に含まれるタイミング情報に含まれていることとする。
【０２２８】
以上のように、画像処理部８４では、入力部５６からの指示情報の供給がない場合には、付加情報解析部８２からのデフォルト情報、すなわち、送信装置１１の編集装置３２（図２）で生成されたエフェクト情報（に含まれる切り替え情報、表示画枠情報、及び、タイミング情報）に基づき、素材データの加工が行われるので、表示装置である出力部５５では、番組制作者が編集装置３２を操作することにより行った編集により得られる画像が表示される。
【０２２９】
一方、画像処理部８４は、入力部５６からの指示情報の供給があった場合には、その指示情報に基づき、画像データBF８１に記憶された素材データに対して加工を施すことにより、出力データである画像を生成する。
【０２３０】
具体的には、例えば、画像処理部８４は、指示情報に切り替え情報が含まれている場合には、デフォルト情報に含まれる切り替え情報ではなく、指示情報に含まれる切り替え情報に基づいて、画像データBF８１に記憶された素材データであるN個のストリームの画像S#1ないしS#Nの中から、１つのストリームの画像を、出力用画像として選択する。
【０２３１】
また、例えば、画像処理部８４は、指示情報に表示画枠情報が含まれている場合には、デフォルト情報に含まれる表示画枠情報ではなく、指示情報に含まれる表示画枠情報に基づいて、その表示画枠情報が表す表示用領域の画像を、出力用画像から抽出する。
【０２３２】
さらに、例えば、画像処理部８４は、指示情報に選択情報が含まれている場合には、デフォルト情報に含まれるタイミング情報ではなく、指示情報に含まれる選択情報に従って、表示用領域の画像に合成する被合成データを、被合成データBF８３に記憶された被合成データの中から選択し、その被合成データを、表示用領域の画像に合成する。
【０２３３】
なお、タイミング情報や、選択情報を用いた被合成データの選択では、複数の被合成データ（例えば、複数の字幕や、１つの字幕及び１つのPinP画像等）が選択されることがある。
【０２３４】
また、選択情報は、被合成データを選択しないことを表すことがある。選択情報が、被合成データを選択しないことを表している場合、画像処理部８４では、デフォルト情報に含まれるタイミング情報が、ある被合成データを、表示用領域の画像に合成することを表していても、その被合成データの合成は、行われない。
【０２３５】
以上のように、画像処理部８４は、入力部５６からの指示情報の供給があった場合には、デフォルト情報ではなく、指示情報に基づき、画像データBF８１に記憶された素材データに対して加工を施すことにより、出力データである画像を生成する。
【０２３６】
なお、画像処理部８４に対して、入力部５６から、指示情報の供給があった後、その供給がなくなった場合には、画像処理部８４は、デフォルト情報に基づいて、画像データBF８１に記憶された素材データに対して加工を施すことにより、出力データである画像を生成する。
【０２３７】
したがって、例えば、タイミング情報が、ある被合成データとしての字幕を、表示用領域の画像に合成することを表している場合において、ユーザが、被合成データの合成を禁止する（行わない）ように、入力部５６を操作したときには、字幕は、その入力部５６の操作に従って表示されない。
【０２３８】
そして、その後、被合成データの合成の禁止を解除するように、入力部５６を操作すると、字幕が、デフォルト情報に含まれるタイミング情報に従って、表示用領域の画像に合成されて表示される。
【０２３９】
なお、図１９の生成部５４では、画像処理部８４に対して、分離部５３から、実世界情報を供給するとともに、出力部５５から、特性情報を供給し、画像処理部８４において、図１２の画像処理部７３と同様のリアリティモード処理を、さらに行うようにすることができる。
【０２４０】
すなわち、画像処理部８４では、入力部５６からの指示情報の供給がない場合に、図１７のリアリティモード処理のうちの、ステップＳ５１，Ｓ５３、及びＳ５７の処理を行うようにすることが可能である。この場合、画像処理部８４では、表示装置である出力部５５の表示（出力）から認識される撮影オブジェクトの大きさ（物理量）が、実世界情報に含まれる撮影範囲情報Dに対応する大きさ（実世界での撮影オブジェクトの大きさ）に同定されるように、出力データである画像が生成される。
【０２４１】
次に、図２０は、図１９の画像処理部８４の構成例を示している。
【０２４２】
図２０において、画像処理部８４は、画像選択部９１、指示選択部９２、表示領域設定部９３、ゲート部９４、及び重畳処理部９５から構成される。
【０２４３】
画像選択部９１には、画像データBF８１に記憶された素材データであるN個のストリームの画像S#1ないしS#Nが供給される。
【０２４４】
また、指示選択部９２には、付加情報解析部８２（図１９）から、デフォルト情報が供給されるとともに、入力部５６（図１８）から、指示情報が供給される。
【０２４５】
指示選択部９２は、付加情報解析部８２からのデフォルト情報に含まれる切り替え情報を、画像選択部９１に供給するとともに、そのデフォルト情報に含まれる表示画枠情報を、表示領域設定部９３に供給する。
【０２４６】
また、指示選択部９２は、デフォルト情報に含まれるタイミング情報に基づき、被合成データを合成すべきタイミングで、合成に用いる被合成データを選択するための選択情報を生成し、ゲート部９４に供給する。
【０２４７】
但し、指示選択部９２は、入力部５６（図１８）から、指示情報が供給された場合には、その指示情報を優先的に選択する。
【０２４８】
すなわち、指示選択部９２は、入力部５６から、指示情報が供給され、その指示情報に切り替え情報が含まれている場合には、デフォルト情報に含まれる切り替え情報ではなく、指示情報に含まれる切り替え情報を、画像選択部９１に供給する。
【０２４９】
また、指示選択部９２は、入力部５６から、指示情報が供給され、その指示情報に表示画枠情報が含まれている場合には、デフォルト情報に含まれる表示画枠情報ではなく、指示情報に含まれる表示画枠情報を、表示領域設定部９３に供給する。
【０２５０】
さらに、指示選択部９２は、入力部５６から、指示情報が供給され、その指示情報に選択情報が含まれている場合には、デフォルト情報に含まれるタイミング情報から生成した選択情報ではなく、指示情報に含まれる選択情報を、ゲート部９４に供給する。
【０２５１】
画像選択部９１は、指示選択部９２からの切り替え情報に基づき、画像データBF８１からの素材データであるN個のストリームの画像S#1ないしS#Nの中から、１つのストリームの画像を、出力用画像として選択し、表示領域設定部９３に供給する。
【０２５２】
表示領域設定部９３は、画像選択部９１の出力用画像から、指示選択部９２からの表示画枠情報が表す表示用領域の画像を抽出し、重畳処理部９５に供給する。
【０２５３】
一方、ゲート部９４には、上述したように、指示選択部９２から選択情報が供給される他、被合成データBF８３に記憶された被合成データが供給される。
【０２５４】
ゲート部９４は、被合成データBF８３に記憶された被合成データのうちの０個以上の被合成データを、指示選択部９２から選択情報に従って選択し、重畳処理部９５に供給する。
【０２５５】
重畳処理部９５は、表示領域設定部９３からの表示用領域の画像に、ゲート部９４からの０個以上の被合成データを合成（重畳）し、その合成後の画像を、出力データとして、出力部５５（図１８）に供給する。
【０２５６】
なお、ゲート部９４から重畳処理部９５に対して、０個の被合成データが供給された場合、つまり、被合成データが供給されなかった場合、重畳処理部９５は、表示領域設定部９３からの表示用領域の画像を、そのまま、出力データとして、出力部５５に供給する。
【０２５７】
次に、図２１は、図１の受信装置１２の他の構成例を示している。
【０２５８】
なお、図中、図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２５９】
図２で説明したように、送信装置１１では、センサ部３１として、光をセンシングし、画像を出力するカメラや、温度をセンシングする温度センサ、湿度をセンシングする湿度センサ、風速をセンシングする風速センサ、振動をセンシングする振動センサ、明るさをセンシングする明るさセンサ等の様々な種類のセンサを採用することができる。
【０２６０】
送信装置１１において、センサ部３１として、例えば、カメラ、温度センサ、湿度センサ、及び、振動センサを採用した場合には、カメラで取得された画像、温度センサで取得された温度、湿度センサで取得された湿度、及び、振動センサで取得された振動のデータのそれぞれが、対応する付加情報とともに送信される。
【０２６１】
この場合、受信装置１２の分離部５３は、図２１に示すように、復号部５２から供給されるデータを、素材データである画像のデータ、温度のデータ、湿度のデータ、振動のデータ、及び、各素材データに対応する付加情報のそれぞれに分離する。
【０２６２】
そして、分離部５３は、素材データである画像のデータと、対応する付加情報を、生成部５４に供給する。
【０２６３】
また、分離部５３は、素材データである温度及び湿度のデータと、対応する付加情報を、生成部１０１に供給するとともに、素材データである動揺のデータと、対応する付加情報を、生成部１１１に供給する。
【０２６４】
生成部５４は、上述したように、分離部５３からの素材データである画像のデータと、付加情報、又は、入力部５６からの指示情報に基づき、素材データを加工することで、出力データである画像を生成して、出力部５５に供給する。
【０２６５】
出力部５５は、例えば、上述したように、表示装置であり、生成部５４からの出力データに基づき、画像の表示（出力）を行う。
【０２６６】
一方、生成部１０１には、分離部５３から、素材データである温度及び湿度のデータと、対応する付加情報が供給される他、入力部５６と同様に、ユーザによって操作される入力部１０３から指示情報が供給される。
【０２６７】
生成部１０１は、分離部５３からの素材データである温度及び湿度のデータと、付加情報、又は、入力部１０３からの指示情報に基づき、素材データを加工することで、出力データを生成して、出力部１０２に供給する。
【０２６８】
すなわち、出力部１０２は、例えば、エアコンディショナ等の空調装置であり、生成部１０１は、温度及び湿度のデータを加工することで、空調装置である出力部１０２を制御する空調制御情報を生成し、出力データとして、出力部１０２に供給する。
【０２６９】
出力部１０２は、生成部１０１からの出力データである空調制御情報に基づき、風向き、温度、風速、湿度等を調整した風（空気）を出力する。
【０２７０】
また、生成部１１１には、分離部５３から、素材データである振動のデータと、対応する付加情報が供給される他、入力部５６と同様に、ユーザによって操作される入力部１１３から指示情報が供給される。
【０２７１】
生成部１１１は、分離部５３からの素材データである振動のデータと、付加情報、又は、入力部１１３からの指示情報に基づき、素材データを加工することで、出力データを生成して、出力部１１２に供給する。
【０２７２】
すなわち、出力部１１２は、例えば、椅子や、表示装置である出力部５５を動揺（振動）させる動揺装置であり、生成部１１１は、振動のデータを加工することで、動揺装置である出力部１１２を制御する振動情報を生成し、出力データとして、出力部１１２に供給する。
【０２７３】
出力部１１２は、生成部１１１からの出力データである振動情報に基づき、椅子等を動揺させる。
【０２７４】
その他、例えば、送信装置１１において、明るさをセンシングする明るさセンサで取得した明るさのデータを、素材データとして、対応する付加情報とともに送信することができ、その場合、受信装置１２では、その素材データ、及び、付加情報から生成される出力データに基づき、例えば、受信装置１２が設置されている部屋の照明装置による照明を調整することができる。
【０２７５】
また、例えば、送信装置１１では、風速をセンシングする風速センサで取得した風速のデータを、素材データとして、対応する付加情報とともに送信することができ、その場合、受信装置１２では、その素材データ、及び、付加情報から生成される出力データに基づき、空調装置である出力部１０２が出力する風の風速を調整することができる。
【０２７６】
以上のように、送信装置１１において、センサ部３１で取得した、画像や、温度、湿度、風速、振動、明るさ等の素材データを、対応する付加情報とともに送信し、受信装置１２において、素材データと付加情報とに基づいて、出力データを生成し、出力データに基づき、出力を行う表示装置、空調装置、動揺装置、照明装置等において、出力を行うことで、センサ部３１で素材データを取得した環境における風景や、温度、風速、湿度、揺れ、明るさ等を、写実的に再現し、ユーザは、臨場感がある体験をすることができる。
【０２７７】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２７８】
そこで、図２２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２７９】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。
【０２８０】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２８１】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
【０２８２】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０２８３】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２８４】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２８５】
以上のように、図１の放送システムでは、送信装置１１において、センサ部３１で取得した素材データと、対応する付加情報とを送信し、受信装置１２において、素材データと付加情報とに基づいて、出力データを生成し、出力データに基づき、出力を行うので、受信装置１２側において、適切な処理を行うことができ、これにより、例えば、ユーザに臨場感を感じさせることや、ユーザの好みに合った画像を表示すること等が可能となる。
【０２８６】
すなわち、受信装置１２では、適切な処理として、リアリティモード処理を行うことができ、リアリティモード処理によれば、例えば、撮影オブジェクトが、実世界での大きさよりも大きく表示されることによって、リアリティが損なわれることを防止することができる。
【０２８７】
具体的には、例えば、人の顔が、実際の大きさよりも大きく表示されるといった、いわばミスマッチを解消し、ユーザに臨場感を感じさせることができる。
【０２８８】
なお、リアリティモード処理において、出力部５５として、表示画面が大きい（例えば、100インチ以上等）表示装置を採用した場合には、いわば借景的な表示を行うことができる。
【０２８９】
また、リアリティモード処理は、例えば、風景の画像や、オーケストラの演奏の音楽を、素材データとする場合に、特に有用である。
【０２９０】
すなわち、例えば、実際の風景の画像のデータを、センサとしてのカメラで取得し、その画像のデータを、素材データとして、リアリティモード処理を行うことにより、実際の風景が見える場所で、その風景を見ているかのような大きさで、その風景を構成する木や山等の画像を表示することができる。
【０２９１】
また、例えば、実際のオーケストラの演奏の音楽のデータを、センサとしてのマイク（マイクロフォン）で取得し、その音楽のデータを、素材データとして、リアリティモード処理を行うことにより、実際の演奏会場で、オーケストラの演奏を聴いているかのような音量で、音楽（音）を出力することができる。
【０２９２】
さらに、受信装置１２では、適切な処理として、エンターテイメントモード処理を行うことができ、エンターテイメントモード処理によれば、例えば、ユーザの好みにあった画像を表示することができる。
【０２９３】
すなわち、エンターテイメントモード処理によれば、番組制作者が編集により行った、ユーザにとって不要な演出を排除することや、ユーザの好みの演出を付加すること、情報を選択すること、デフォルメ表示等が可能となる。
【０２９４】
具体的には、例えば、エンターテイメントモード処理によれば、ユーザが、入力部５６を操作することにより、合成指示を行うと、入力部５６において、その合成指示に従って、素材データに合成する被合成データを選択するための選択情報が生成され、画像処理部８４（図１９）では、その選択情報に従って、画像に合成する字幕（テロップ）やPinP画像等の被合成データの選択（又は、非選択）が行われる。
【０２９５】
したがって、テロップやPinP画像が多い、例えば、ニュース番組について、そのテロップやPinP画像による演出を不要と感じるユーザは、入力部５６を操作することにより、テロップやPinP画像がない状態のニュース番組を視聴することが可能となる。
【０２９６】
また、例えば、エンターテイメントモード処理によれば、ユーザが、入力部５６を操作することにより、PTZ指示を行うと、入力部５６において、そのPTZ指示に従って、表示用領域（図５）を特定する表示画枠情報が生成され、画像処理部８４（図１９）では、その表示画枠情報が表す表示用領域の画像が、素材データから抽出される。
【０２９７】
したがって、スポーツ番組や、音楽番組において、特定の選手や芸能人のファンであるユーザは、入力部５６を操作することにより、特定の選手や芸能人を追いかけた画像を視聴することが可能となる。
【０２９８】
なお、上述したように、画像処理部８４（図１９）は、入力部５６からの指示情報の供給がある場合には、その指示情報を優先的に選択し、その指示情報に基づき、素材データの加工を行うことで、ユーザの好みにあった画像を表示するが、入力部５６からの指示情報の供給がない場合には、デフォルト情報、すなわち、送信装置１１の編集装置３２で生成されたエフェクト情報（に含まれる切り替え情報、表示画枠情報、及び、タイミング情報）に基づき、素材データの加工が行われる。
【０２９９】
したがって、ユーザは、入力部５６を操作することにより、表示装置である出力部５５に、ユーザの好みにあった画像を表示させることができ、入力部５６の操作をしないことにより（入力部５６を操作することにより行ったPTZ指示や、切り替え指示、合成指示を解除するように、入力部５６を操作することにより）、表示装置である出力部５５に、番組制作者が編集装置３２を操作することにより行った編集により得られる画像を表示させることができる。
【０３００】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０３０１】
【図１】本発明を適用した放送システムの一実施の形態の構成例を示すブロック図である。
【図２】送信装置１１の構成例を示すブロック図である。
【図３】素材データとエフェクト情報を説明する図である。
【図４】切り替え情報を説明する図である。
【図５】表示画角情報を説明する図である。
【図６】合成用データを説明する図である。
【図７】実世界情報を説明する図である。
【図８】送信処理を説明するフローチャートである。
【図９】受信装置１２の構成例を示すブロック図である。
【図１０】受信処理を説明するフローチャートである。
【図１１】リアリティモード処理において、生成部５４に供給されるデータを説明する図である。
【図１２】リアリティモード処理を行う生成部５４の構成例を示すブロック図である。
【図１３】カメラで撮影オブジェクトの撮影を行っている状態と、表示装置である出力部５５での表示の状態とを模式的に示す図である。
【図１４】カメラで、光学ズームを使用して、撮影オブジェクトの撮影を行っている状態と、表示装置である出力部５５での表示の状態とを模式的に示す図である。
【図１５】カメラで、ディジタルズームを使用して、撮影オブジェクトの撮影を行っている状態と、表示装置である出力部５５での表示の状態とを模式的に示す図である。
【図１６】表示装置である出力部５５に表示される画像を示す図である。
【図１７】リアリティモード処理を説明するフローチャートである。
【図１８】エンターテイメントモード処理において、生成部５４に供給されるデータを説明する図である。
【図１９】エンターテイメントモード処理を行う生成部５４の構成例を示すブロック図である。
【図２０】画像処理部８４の構成例を示すブロック図である。
【図２１】受信装置１２の他の構成例を示すブロック図である。
【図２２】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０３０２】
１１  送信装置，  １２  受信装置，  １３  伝送媒体，  ３１  センサ部，  ３２  編集装置，  ３３  符号化部，  ３４  送信部，  ５１  受信部，  ５２  復号部，  ５３  分離部，  ５４  生成部，  ５５  出力部，  ５６  入力部，  ７１  BF，  ７２  付加情報解析部，  ７３  画像処理部，  ８１  画像データBF，  ８２  付加情報解析部，  ８３  被合成データBF，  ８４  画像処理部，  ９１  画像選択部，  ９２  指示選択部，  ９３  表示領域設定部，  ９４  ゲート部，  ９５  重畳処理部，  １０１  生成部，  １０２  出力部，  １０３  入力部，  １１１  生成部，  １１２  出力部，  １１３  入力部，  ２０１  バス，  ２０２  CPU，  ２０３  ROM，  ２０４  RAM，  ２０５  ハードディスク，  ２０６  出力部，  ２０７  入力部，  ２０８  通信部，  ２０９  ドライブ，  ２１０  入出力インタフェース，  ２１１  リムーバブル記録媒体
【図１】
0005007681.tif 000002
【図２】
0005007681.tif 000003
【図３】
0005007681.tif 000004
【図４】
0005007681.tif 000005
【図５】
0005007681.tif 000006
【図６】
0005007681.tif 000007
【図７】
0005007681.tif 000008
【図８】
0005007681.tif 000009
【図９】
0005007681.tif 000010
【図１０】
0005007681.tif 000011
【図１１】
0005007681.tif 000012
【図１２】
0005007681.tif 000013
【図１３】
0005007681.tif 000014
【図１４】
0005007681.tif 000015
【図１５】
0005007681.tif 000016
【図１６】
0005007681.tif 000017
【図１７】
0005007681.tif 000018
【図１８】
0005007681.tif 000019
【図１９】
0005007681.tif 000020
【図２０】
0005007681.tif 000021
【図２１】
0005007681.tif 000022
【図２２】
0005007681.tif 000023