(57)【特許請求の範囲】
【請求項１】
映像の縦方向、横方向のサイズの情報を含むビデオストリームを多重化する多重化手段と、
前記多重化手段による多重化によって得られた多重化ストリームに対して、映像の表示に用いるスクリーンを指定する第１の情報、前記スクリーンに形成するウインドウの数を指定する第２の情報、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームを指定する第３の情報、および、それぞれのウインドウの前記スクリーン上の位置を指定する第４の情報を含むコンポーズ情報を付加する付加手段と、
前記付加手段により前記コンポーズ情報が付加された前記多重化ストリームを、前記スクリーンに対する映像の表示を制御する表示制御装置に提供する提供手段と
を備える情報処理装置。
【請求項２】
ウインドウのサイズは可変である
請求項１に記載の情報処理装置。
【請求項３】
前記付加手段は、映像の表示に用いるスクリーンの数を指定する情報をさらに含むとともに、それぞれのスクリーンについての前記第１乃至第４の情報を含む前記コンポーズ情報を前記多重化ストリームに付加する
請求項１に記載の情報処理装置。
【請求項４】
前記付加手段は、それぞれのウインドウを形成するタイミングを指定する情報をさらに含む前記コンポーズ情報を前記多重化ストリームに付加する
請求項１に記載の情報処理装置。
【請求項５】
前記多重化手段は、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームの映像のうちの同時に表示する映像に対して、表示タイミングを指示する表示用タイムスタンプを設定する
請求項１に記載の情報処理装置。
【請求項６】
前記付加手段は、前記第１の情報により指定される前記スクリーンのサイズを指定する情報をさらに含む前記コンポーズ情報を前記多重化ストリームに付加する
請求項１に記載の情報処理装置。
【請求項７】
映像の縦方向、横方向のサイズの情報を含むビデオストリームを多重化し、
多重化によって得られた多重化ストリームに対して、映像の表示に用いるスクリーンを指定する第１の情報、前記スクリーンに形成するウインドウの数を指定する第２の情報、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームを指定する第３の情報、および、それぞれのウインドウの前記スクリーン上の位置を指定する第４の情報を含むコンポーズ情報を付加し、
前記コンポーズ情報を付加した前記多重化ストリームを、前記スクリーンに対する映像の表示を制御する表示制御装置に提供する
ステップを含む情報処理方法。
【請求項８】
映像の縦方向、横方向のサイズの情報を含むビデオストリームを多重化し、
多重化によって得られた多重化ストリームに対して、映像の表示に用いるスクリーンを指定する第１の情報、前記スクリーンに形成するウインドウの数を指定する第２の情報、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームを指定する第３の情報、および、それぞれのウインドウの前記スクリーン上の位置を指定する第４の情報を含むコンポーズ情報を付加し、
前記コンポーズ情報を付加した前記多重化ストリームを、前記スクリーンに対する映像の表示を制御する表示制御装置に提供する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項９】
映像の縦方向、横方向のサイズの情報を含むビデオストリームを多重化して得られた多重化ストリームに対して、映像の表示に用いるスクリーンを指定する第１の情報、前記スクリーンに形成するウインドウの数を指定する第２の情報、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームを指定する第３の情報、および、それぞれのウインドウの前記スクリーン上の位置を指定する第４の情報を含むコンポーズ情報を付加する情報処理装置から提供された、前記コンポーズ情報が付加された前記多重化ストリームを取得し、映像を表示させる表示制御装置において、
前記多重化ストリームからそれぞれの前記ビデオストリームを分離する分離手段と、
前記多重化ストリームに付加される前記コンポーズ情報を解析することによって、前記第２の情報により数が指定されるそれぞれのウインドウについて、映像を表示させるのに用いる前記ビデオストリームを前記第３の情報に基づいて検出し、検出した前記ビデオストリームに含まれる前記サイズの情報に基づいてウインドウのサイズを検出し、前記第１の情報により指定されるスクリーンの前記第４の情報により指定される位置に、検出したサイズのウインドウを形成する解析手段と、
前記ビデオストリームをデコードするデコード手段と、
前記デコード手段によりデコードされることによって得られた映像を、それぞれのウインドウに表示させる表示制御手段と
を備える表示制御装置。
【請求項１０】
対象とするスクリーンのサイズを指定する情報が前記コンポーズ情報にさらに含まれており、その情報により指定されるサイズと、設けられているスクリーンのサイズが異なる場合、
前記表示制御手段は、前記デコード手段によりデコードされることによって得られた映像のサイズを変更する
請求項９に記載の表示制御装置。
【請求項１１】
映像の縦方向、横方向のサイズの情報を含むビデオストリームを多重化して得られた多重化ストリームに対して、映像の表示に用いるスクリーンを指定する第１の情報、前記スクリーンに形成するウインドウの数を指定する第２の情報、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームを指定する第３の情報、および、それぞれのウインドウの前記スクリーン上の位置を指定する第４の情報を含むコンポーズ情報を付加する情報処理装置から提供された、前記コンポーズ情報が付加された前記多重化ストリームを取得し、映像を表示させる表示制御方法において、
前記多重化ストリームからそれぞれの前記ビデオストリームを分離し、
前記多重化ストリームに付加される前記コンポーズ情報を解析することによって、前記第２の情報により数が指定されるそれぞれのウインドウについて、映像を表示させるのに用いる前記ビデオストリームを前記第３の情報に基づいて検出し、検出した前記ビデオストリームに含まれる前記サイズの情報に基づいてウインドウのサイズを検出し、前記第１の情報により指定されるスクリーンの前記第４の情報により指定される位置に、検出したサイズのウインドウを形成し、
前記ビデオストリームをデコードし、
デコードすることによって得られた映像を、それぞれのウインドウに表示させる
ステップを含む表示制御方法。
【請求項１２】
映像の縦方向、横方向のサイズの情報を含むビデオストリームを多重化して得られた多重化ストリームに対して、映像の表示に用いるスクリーンを指定する第１の情報、前記スクリーンに形成するウインドウの数を指定する第２の情報、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームを指定する第３の情報、および、それぞれのウインドウの前記スクリーン上の位置を指定する第４の情報を含むコンポーズ情報を付加する情報処理装置から提供された、前記コンポーズ情報が付加された前記多重化ストリームを取得し、映像を表示させる処理をコンピュータに実行させるプログラムにおいて、
前記多重化ストリームからそれぞれの前記ビデオストリームを分離し、
前記多重化ストリームに付加される前記コンポーズ情報を解析することによって、前記第２の情報により数が指定されるそれぞれのウインドウについて、映像を表示させるのに用いる前記ビデオストリームを前記第３の情報に基づいて検出し、検出した前記ビデオストリームに含まれる前記サイズの情報に基づいてウインドウのサイズを検出し、前記第１の情報により指定されるスクリーンの前記第４の情報により指定される位置に、検出したサイズのウインドウを形成し、
前記ビデオストリームをデコードし、
デコードすることによって得られた映像を、それぞれのウインドウに表示させる
ステップを含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、表示制御装置、表示制御方法、およびプログラムに関し、特に、複数のビデオストリームを用いた映像の表示の仕方を提供側が主体的に制御することができるようにした情報処理装置、情報処理方法、表示制御装置、表示制御方法、およびプログラムに関する。
【背景技術】
【０００２】
放送、ネットワーク、あるいはストレージからの複数のストリームをマルチデコードし、マルチデコードによって得られた複数の映像を１つのディスプレイに表示させるマルチ画面表示に関する技術が実現、または提案されている。
【０００３】
例えば、いわゆるPinP(Picture in Picture)の形で複数の映像が表示されることにより、ユーザは、サブ画面に小さく表示される他のチャンネルの番組の映像を見ながら、メイン画面に大きく表示されるあるチャンネルの番組の映像を見ることができる。
【０００４】
また、ディスプレイの右半分と左半分に異なるチャンネルの番組の映像が並べて表示されることにより、ユーザは、２つのチャンネルの番組の映像を同時に見ることができる。
【０００５】
特許文献１には、通常表示の状態においてマルチ画面の表示が指示された場合、マルチ画面への表示の切り替えを迅速に行うことができるようにした技術が開示されている。
【特許文献１】特開２０００−１３７１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来のマルチ画面表示に用いられるストリームは異なる番組のものであるのが一般的である。例えば、上述したPinPの形でのマルチ画面表示の場合、メイン画面に表示される映像の元になるストリームと、サブ画面に表示される映像の元になるストリームは異なる番組のものであることが多い。
【０００７】
すなわち、メイン画面とサブ画面にそれぞれ同じ番組の異なる角度から見た映像を表示させるといったような、複数のストリームを互いに連携して映像を表示させることを提供側が指定し、これにより、ユーザに１つの番組を提供するといったような機能はない。
【０００８】
また、従来のPinPの形でのマルチ画面表示にしても、左半分と右半分に並べて映像を表示させるようなマルチ画面表示にしても、その表示の仕方は表示装置側の実装に依存しており、提供側が指定するものではない。
【０００９】
今後、フルHD(High Definition)以上の解像度を有するディスプレイが普及してくると、１つのディスプレイに複数の映像を表示させることによって１つの番組を提供するような放送、あるいはメディアの作成がなされることが考えられる。また、この際、映像の表示の仕方に関して、番組の提供側が主体的に制御を行えるようにしたいといった需要が出てくるものと考えられる。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、複数のビデオストリームを用いた映像の表示の仕方を提供側が主体的に制御することができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の第１の側面の情報処理装置は、映像の縦方向、横方向のサイズの情報を含むビデオストリームを多重化する多重化手段と、前記多重化手段による多重化によって得られた多重化ストリームに対して、映像の表示に用いるスクリーンを指定する第１の情報、前記スクリーンに形成するウインドウの数を指定する第２の情報、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームを指定する第３の情報、および、それぞれのウインドウの前記スクリーン上の位置を指定する第４の情報を含むコンポーズ情報を付加する付加手段と、前記付加手段により前記コンポーズ情報が付加された前記多重化ストリームを、前記スクリーンに対する映像の表示を制御する表示制御装置に提供する提供手段とを備える。
【００１２】
それぞれのウインドウのサイズは可変であるようにすることができる。
【００１３】
前記付加手段には、映像の表示に用いるスクリーンの数を指定する情報をさらに含むとともに、それぞれのスクリーンについての前記第１乃至第４の情報を含む前記コンポーズ情報を前記多重化ストリームに付加させることができる。
【００１４】
前記付加手段には、それぞれのウインドウを形成するタイミングを指定する情報をさらに含む前記コンポーズ情報を前記多重化ストリームに付加させることができる。
【００１５】
前記多重化手段には、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームの映像のうちの同時に表示する映像に対して、表示タイミングを指示する表示用タイムスタンプを設定させることができる。
【００１６】
前記付加手段には、前記第１の情報により指定される前記スクリーンのサイズを指定する情報をさらに含む前記コンポーズ情報を前記多重化ストリームに付加させることができる。
【００１７】
本発明の第１の側面の情報処理方法またはプログラムは、映像の縦方向、横方向のサイズの情報を含むビデオストリームを多重化し、多重化によって得られた多重化ストリームに対して、映像の表示に用いるスクリーンを指定する第１の情報、前記スクリーンに形成するウインドウの数を指定する第２の情報、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームを指定する第３の情報、および、それぞれのウインドウの前記スクリーン上の位置を指定する第４の情報を含むコンポーズ情報を付加し、前記コンポーズ情報を付加した前記多重化ストリームを、前記スクリーンに対する映像の表示を制御する表示制御装置に提供するステップを含む。
【００１８】
本発明の他の側面の表示制御装置は、映像の縦方向、横方向のサイズの情報を含むビデオストリームを多重化して得られた多重化ストリームに対して、映像の表示に用いるスクリーンを指定する第１の情報、前記スクリーンに形成するウインドウの数を指定する第２の情報、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームを指定する第３の情報、および、それぞれのウインドウの前記スクリーン上の位置を指定する第４の情報を含むコンポーズ情報を付加する情報処理装置から提供された、前記コンポーズ情報が付加された前記多重化ストリームを取得し、映像を表示させる表示制御装置において、前記多重化ストリームからそれぞれの前記ビデオストリームを分離する分離手段と、前記多重化ストリームに付加される前記コンポーズ情報を解析することによって、前記第２の情報により数が指定されるそれぞれのウインドウについて、映像を表示させるのに用いる前記ビデオストリームを前記第３の情報に基づいて検出し、検出した前記ビデオストリームに含まれる前記サイズの情報に基づいてウインドウのサイズを検出し、前記第１の情報により指定されるスクリーンの前記第４の情報により指定される位置に、検出したサイズのウインドウを形成する解析手段と、前記ビデオストリームをデコードするデコード手段と、前記デコード手段によりデコードされることによって得られた映像を、それぞれのウインドウに表示させる表示制御手段とを備える。
【００１９】
対象とするスクリーンのサイズを指定する情報が前記コンポーズ情報にさらに含まれており、その情報により指定されるサイズと、設けられているスクリーンのサイズが異なる場合、前記表示制御手段には、前記デコード手段によりデコードされることによって得られた映像のサイズを変更させることができる。
【００２０】
本発明の他の側面の表示制御方法またはプログラムは、多重化ストリームからそれぞれのビデオストリームを分離し、前記多重化ストリームに付加されるコンポーズ情報を解析することによって、第２の情報により数が指定されるそれぞれのウインドウについて、映像を表示させるのに用いる前記ビデオストリームを第３の情報に基づいて検出し、検出した前記ビデオストリームに含まれるサイズの情報に基づいてウインドウのサイズを検出し、第１の情報により指定されるスクリーンの第４の情報により指定される位置に、検出したサイズのウインドウを形成し、前記ビデオストリームをデコードし、デコードすることによって得られた映像を、それぞれのウインドウに表示させるステップを含む。
【００２１】
本発明の第１の側面においては、映像の縦方向、横方向のサイズの情報を含むビデオストリームが多重化され、多重化によって得られた多重化ストリームに対して、映像の表示に用いるスクリーンを指定する第１の情報、前記スクリーンに形成するウインドウの数を指定する第２の情報、それぞれのウインドウに映像を表示させるのに用いる前記ビデオストリームを指定する第３の情報、および、それぞれのウインドウの前記スクリーン上の位置を指定する第４の情報を含むコンポーズ情報が付加される。また、前記コンポーズ情報が付加された前記多重化ストリームが、前記スクリーンに対する映像の表示を制御する表示制御装置に提供される。
【００２２】
本発明の第２の側面においては、多重化ストリームからそれぞれのビデオストリームが分離され、前記多重化ストリームに付加されるコンポーズ情報が解析されることによって、第２の情報により数が指定されるそれぞれのウインドウについて、映像を表示させるのに用いる前記ビデオストリームが第３の情報に基づいて検出され、検出された前記ビデオストリームに含まれるサイズの情報に基づいてウインドウのサイズが検出され、第１の情報により指定されるスクリーンの第４の情報により指定される位置に、検出されたサイズのウインドウが形成される。また、前記ビデオストリームがデコードされ、デコードされることによって得られた映像が、それぞれのウインドウに表示される。
【発明の効果】
【００２３】
本発明によれば、複数のビデオストリームを用いた映像の表示の仕方を提供側が主体的に制御することができる。
【発明を実施するための最良の形態】
【００２４】
図１は、本発明の一実施形態に係る番組の提供システムの構成例を示す図である。
【００２５】
図１に示されるように、この提供システムは送信装置１と受信装置２から構成される。受信装置２には、ケーブルなどを介してスクリーン３が接続される。
【００２６】
送信装置１は、放送局などの、番組の提供側に設置される装置である。
【００２７】
送信装置１は、１台のカメラで撮影された１つの番組の映像をフレーム毎に所定の数の領域に分割して、分割したそれぞれの領域の映像を別のストリームとしてエンコードしたり、複数のカメラで撮影された１つの番組の映像をそれぞれ別のストリームとしてエンコードしたりして、１つの番組の映像を表示するのに用いられる複数のビデオストリーム（PES(Packetized Elementary Stream)）を生成する。
【００２８】
また、送信装置１は、生成した複数のビデオストリームを多重化することによって１つの番組の映像を表示するのに用いられる多重化ストリーム（TS(Transport Stream)）を生成する。
【００２９】
送信装置１は、生成した多重化ストリームに対して四次元コンポーズマップ情報を付加し、四次元コンポーズマップ情報を付加した多重化ストリームからなる番組を受信装置２に提供する。番組の提供は、放送波を介して、ネットワークを介して、あるいは、DVD(Digital Versatile Disc)やBlu-ray（商標） Discなどの記録メディアを介して行われる。
【００３０】
四次元コンポーズマップ情報は、１つのプログラムとして、ある時間帯を共有させる複数のストリームの表示関係を表し、多重化ストリームを構成するそれぞれのビデオストリームをどのように連携させて映像を表示させるのかを送信装置１が受信装置２に対して指定する情報である。以下、適宜、四次元コンポーズマップ情報を単にコンポーズ情報という。
【００３１】
コンポーズ情報には、スクリーン３の各位置に映像を表示させるのにどのビデオストリームを用いるのかを指定する情報などが含まれる。後述するように受信装置２側に複数のスクリーンが設けられる場合、コンポーズ情報には、それぞれのスクリーンに関する情報が含まれる。
【００３２】
受信装置２は、家庭内などの、番組の受信側に設置される装置である。
【００３３】
受信装置２は、送信装置１から提供された番組を受信し、多重化ストリームを構成するそれぞれのビデオストリームをデコードする。また、受信装置２は、それぞれのビデオストリームをデコードすることによって得られた映像を、コンポーズ情報に含まれる情報に従ってスクリーン３に表示させる。コンポーズ情報に含まれる情報に従ってスクリーン３に表示される映像は１つの番組を構成する映像であり、ユーザは、これにより１つの番組を視聴することができる。
【００３４】
図２は、コンポーズ情報の概念を示す図である。
【００３５】
図２に示されるように、コンポーズ情報は、参照する時間順に並べられた所定の数のコンポーズマップによって構成される。どのスクリーンに映像を表示させるのか、それぞれのスクリーンのどの位置に映像を表示させるのかなどが、それぞれのコンポーズマップによって表される。
【００３６】
図２のコンポーズマップｆ0はあるタイミングで参照される情報であり、コンポーズマップｆ1はコンポーズマップｆ0が参照されるタイミングの次のタイミングで参照される情報である。コンポーズマップｆ2はコンポーズマップｆ1が参照されるタイミングの次のタイミングで参照される情報である。図２に示されるようにコンポーズマップｆ0乃至ｆ2から１つのコンポーズマップグループが形成される場合、コンポーズマップｆ2が参照されて映像の表示が行われた後は、コンポーズマップｆ0から順に繰り返し参照され、映像の表示が続けられる。コンポーズマップグループはパラメータTmで表される。
【００３７】
縦方向、横方向に３本ずつ示される点線Ｌ1はスクリーンの区切りを表し、点線Ｌ1によって区切られるそれぞれの領域によって、それぞれのスクリーンに対する映像の表示の仕方が表される。受信装置２側に用意されるスクリーンの数が図１に示されるように１台である場合、点線Ｌ1によって区切られる１６の領域のうちの左上端の１つの領域だけが用いられる。また、受信装置２側に用意されるスクリーンの数が１６である場合、コンポーズマップｆ0の全体の領域が用いられる。スクリーンはパラメータSnで表される。
【００３８】
点線Ｌ1が重なっている分を含めて縦方向、横方向に７本ずつ示される実線Ｌ2は１つのスクリーンの分割の仕方を表す。以下、適宜、１つのスクリーン上に形成され、映像が表示される領域をウインドウという。スクリーンは機器として物理的に設けられる映像の表示領域であるのに対して、ウインドウは１つのスクリーンに形成される映像の表示領域である。１つのウインドウには、１つのビデオストリームをデコードして得られた１つの映像が表示される。それぞれのウインドウのサイズは可変である。
【００３９】
図２は、それぞれのスクリーンを縦方向と横方向にそれぞれ２分割することによって４つのウインドウを形成する場合のコンポーズ情報の例を示していることになる。
【００４０】
それぞれのウインドウのスクリーン上の位置は、スクリーンの左上端などの所定の位置を基準として、水平方向の位置を表すパラメータHpと、垂直方向の位置を表すパラメータVqによって表される。
【００４１】
パラメータSn，Tm，Hp，Vqを用いることによって、それぞれのウインドウはWindow_ID（Sn，Tm，Hp，Vq）によって識別される。
【００４２】
例えば、図２の左上端の領域Ａ01に対応するウインドウは、１番目のスクリーンであるスクリーンS0に形成されるウインドウであることを表すS0、同じコンポーズマップグループを形成するコンポーズマップのうち、１番目のコンポーズマップが参照されて映像の表示が行われるウインドウであることを表すT0、スクリーンS0を４つに分割したときに左側に形成されるウインドウであることを表すH0、スクリーンS0を４つに分割したときに上側に形成されるウインドウであることを表すV0のパラメータを用いて、Window_ID（S0，T0，H0，V0）により識別される。
【００４３】
また、領域Ａ04に対応するウインドウは、１番目のスクリーンであるスクリーンS0に形成されるウインドウであることを表すS0、同じコンポーズマップグループを形成するコンポーズマップのうち、１番目のコンポーズマップが参照されて映像の表示が行われるウインドウであることを表すT0、スクリーンS0を４つに分割したときに右側に形成されるウインドウであることを表すH1、スクリーンS0を４つに分割したときに下側に形成されるウインドウであることを表すV1のパラメータを用いて、Window_ID（S0，T0，H1，V1）により識別される。
【００４４】
同様に、領域Ａ02に対応するウインドウはWindow_ID（S0，T0，H1，V0）により識別され、領域Ａ03に対応するウインドウはWindow_ID（S0，T0，H0，V1）により識別される。
【００４５】
コンポーズ情報には、このようにして識別されるウインドウに対して、どのビデオストリームをデコードして得られた映像を表示させるのかを表す、ビデオストリームのPIDなどが含まれる。また、図２の一点鎖線Ｌ3で示されるようなスクリーンのサイズ（送信装置１側がターゲットとするスクリーンの解像度）を指定する情報なども含まれる。
【００４６】
コンポーズ情報の具体的な記述の例については後述する。
【００４７】
図３は、コンポーズ情報に基づいてスクリーン３に表示される画面の例を示す図である。
【００４８】
図３は、１台のカメラで撮影した１つの番組の映像をフレーム毎に４つの領域に分割し、分割したそれぞれの領域の映像を別のストリームとしてエンコードすることによって得られた４つのビデオストリームが多重化されて番組の提供が行われた場合の例を示している。
【００４９】
この場合、多重化ストリームに付加されるコンポーズ情報に基づいて、スクリーン３の左上、右上、左下、右下にそれぞれウインドウＷ0，Ｗ1，Ｗ2，Ｗ3が受信装置２により形成される。
【００５０】
図２を参照して説明したものと同様に、コンポーズ情報においては、ウインドウＷ0はWindow_ID（S0，T0，H0，V0）で識別され、ウインドウＷ1はWindow_ID（S0，T0，H1，V0）で識別される。ウインドウＷ2はWindow_ID（S0，T0，H0，V1）で識別され、ウインドウＷ3はWindow_ID（S0，T0，H1，V1）で識別される。
【００５１】
ウインドウＷ0のWindow_IDに含まれるパラメータVqはV0であり、ウインドウＷ0の他に、同じV0をパラメータVqに含むWindow_IDとしてウインドウＷ1のWindow_IDがあるから、受信装置２においては、スクリーン３の上の段には２つのウインドウを形成すればよいということが検出される。
【００５２】
また、ウインドウＷ0とウインドウＷ1の並び順については、それぞれのWindow_IDに含まれるパラメータHpの値に基づいて、左から、ウインドウＷ0、ウインドウＷ1の順に並べればよいということが検出される。
【００５３】
ウインドウＷ2のWindow_IDに含まれるパラメータVqはV1であり、ウインドウＷ2の他に、同じV1をパラメータVqに含むWindow_IDとしてウインドウＷ3のWindow_IDがあるから、受信装置２においては、スクリーン３の下の段には２つのウインドウを形成すればよいということが検出される。
【００５４】
また、ウインドウＷ2とウインドウＷ3の並び順については、それぞれのWindow_IDに含まれるパラメータHpの値に基づいて、左から、ウインドウＷ2、ウインドウＷ3の順に並べればよいということが検出される。
【００５５】
映像の縦方向、横方向のサイズの情報はビデオストリーム中に含まれているから、以上のようにして検出された位置に、それぞれの映像のサイズと同じサイズの領域を確保することによって、ウインドウＷ0乃至Ｗ3が形成される。それぞれのウインドウと、それぞれのウインドウに映像を表示させるのに用いるビデオストリームの対応関係もコンポーズ情報により表される。
【００５６】
このように、受信装置２においては、それぞれのウインドウのサイズ（ウインドウに表示させる映像のサイズ）と、それぞれのウインドウの位置に基づいて、送信装置１による指定に従ってウインドウが形成される。
【００５７】
また、コンポーズ情報に含まれるPIDとWindow_IDの対応関係が受信装置２により検出され、ウインドウＷ0には、所定のPIDで識別されるビデオストリームをデコードして得られた映像である映像Q-0が表示される。ウインドウＷ1乃至Ｗ3についても同様に、それぞれ所定のPIDで識別されるビデオストリームをデコードして得られた映像である映像Q-1乃至Q-3が表示される。
【００５８】
映像Q-0乃至Q-3がそれぞれ同期を取りながら表示されることにより、スクリーン３には、１台のカメラで撮影された元の１つの番組の映像が表示されることになる。
【００５９】
このように、コンポーズ情報を利用することにより、送信装置１は、１つの大きな映像を１つのビデオストリームで提供するのではなく、４つのビデオストリームで分割して提供することによっても、元の１つの大きな映像を受信装置２側のスクリーン３に表示させることが可能になる。
【００６０】
図４は、コンポーズ情報に基づいてスクリーン３に表示される画面の他の例を示す図である。
【００６１】
図４は、撮影位置の異なる４台のカメラで撮影した１つの番組であるサッカー中継の映像をそれぞれ別のストリームとしてエンコードすることによって得られた４つのビデオストリームが多重化されて番組の提供が行われた場合の例を示している。
【００６２】
この場合、図３を参照して説明した場合と同様に、多重化ストリームに付加されるコンポーズ情報に基づいて、スクリーン３の左上、右上、左下、右下にそれぞれウインドウＷ0，Ｗ1，Ｗ2，Ｗ3が受信装置２により形成される。
【００６３】
コンポーズ情報において、図４のウインドウＷ0もWindow_ID（S0，T0，H0，V0）で識別され、ウインドウＷ1はWindow_ID（S0，T0，H1，V0）で識別される。ウインドウＷ2はWindow_ID（S0，T0，H0，V1）で識別され、ウインドウＷ3はWindow_ID（S0，T0，H1，V1）で識別される。コンポーズ情報に含まれるWindow_IDを構成する各パラメータから、受信装置２においては、スクリーン３を縦方向、横方向にそれぞれ２分割して４つのウインドウを形成すればよいということが検出される。
【００６４】
また、コンポーズ情報に含まれるPIDとWindow_IDの対応関係が受信装置２により検出され、ウインドウＷ0には、所定のPIDで識別されるビデオストリームをデコードして得られた、ある角度からのサッカー中継の映像である映像Q-0が表示される。ウインドウＷ1乃至Ｗ3についても同様に、それぞれ所定のPIDで識別されるビデオストリームをデコードして得られた、それぞれ異なる角度からのサッカー中継の映像である映像Q-1乃至Q-3が表示される。
【００６５】
映像Q-0乃至Q-3がそれぞれ同期を取りながら表示されることにより、スクリーン３には、４台のカメラで撮影された元の１つの番組の映像が表示されることになる。
【００６６】
このように、コンポーズ情報を利用することにより、送信装置１は、複数のカメラで撮影した１つの番組の複数の映像を、受信装置２側のスクリーン３の所定の位置にそれぞれ表示させることが可能になる。
【００６７】
図５は、コンポーズ情報に基づいてスクリーン３に表示される画面のさらに他の例を示す図である。
【００６８】
図５は、６台のカメラで撮影した１つの番組の映像をそれぞれ別のストリームとしてエンコードすることによって得られた６つのビデオストリームが多重化されて番組の提供が行われた場合の例を示している。
【００６９】
この場合、多重化ストリームに付加されるコンポーズ情報に基づいて、スクリーン３の最上段に、スクリーンの水平方向の幅とほぼ同じ幅のウインドウＷ0が形成され、スクリーン３の上から２段目に、スクリーン３の水平方向の幅を４等分した幅のウインドウＷ1乃至Ｗ4が形成される。スクリーン３の最下段には、スクリーン３の水平方向の幅とほぼ同じ幅のウインドウＷ5が形成される。
【００７０】
コンポーズ情報においては、ウインドウＷ0はWindow_ID（S0，T0，H0，V0）で識別され、ウインドウＷ1はWindow_ID（S0，T0，H0，V1）で識別され、ウインドウＷ2はWindow_ID（S0，T0，H1，V1）で識別される。ウインドウＷ3はWindow_ID（S0，T0，H2，V1）で識別され、ウインドウＷ4はWindow_ID（S0，T0，H3，V1）で識別され、ウインドウＷ5はWindow_ID（S0，T0，H0，V2）で識別される。
【００７１】
ウインドウＷ0のWindow_IDに含まれるパラメータVqはV0であり、同じV0をパラメータVqに含むWindow_IDは他にないから、受信装置２においては、スクリーン３の最上段には１つのウインドウを形成すればよいということが検出される。
【００７２】
ウインドウＷ1のWindow_IDに含まれるパラメータVqはV1であり、ウインドウＷ1の他に、同じV1をパラメータVqに含むWindow_IDとしてウインドウＷ2のWindow_ID、ウインドウＷ3のWindow_ID、ウインドウＷ4のWindow_IDがあるから、受信装置２においては、スクリーン３の上から２段目には４つのウインドウを形成すればよいということが検出される。
【００７３】
また、ウインドウＷ1乃至Ｗ4の並び順については、それぞれのWindow_IDに含まれるパラメータHpの値に基づいて、左から、ウインドウＷ1、ウインドウＷ2、ウインドウＷ3、ウインドウＷ4の順に並べればよいということが検出される。
【００７４】
ウインドウＷ5のWindow_IDに含まれるパラメータVqはV2であり、同じV2をパラメータVqに含むWindow_IDは他にないから、受信装置２においては、スクリーン３の最下段には１つのウインドウを形成すればよいということが検出される。
【００７５】
以上のようにして検出されたウインドウＷ0乃至Ｗ5の位置と、６つのビデオストリームにそれぞれ含まれる映像のサイズの情報から、受信装置２においては、図５に示されるようにしてそれぞれのウインドウを形成すればよいということが検出される。
【００７６】
また、コンポーズ情報に含まれるPIDとWindow_IDの対応関係が受信装置２により検出され、ウインドウＷ0には、所定のPIDで識別されるビデオストリームをデコードして得られた映像である映像Q-0が表示される。ウインドウＷ1乃至Ｗ5についても同様に、それぞれ所定のPIDで識別されるビデオストリームをデコードして得られた映像である映像Q-1乃至Q-5が表示される。
【００７７】
映像Q-0乃至Q-5がそれぞれ同期を取りながら表示されることにより、スクリーン３には、例えば、複数のカメラで撮影された元の１つの番組のパノラマ映像が表示されることになる。
【００７８】
このように、コンポーズ情報を利用することにより、送信装置１は、複数のビデオカメラで撮影したパノラマ映像を６つのビデオストリームで分割して提供することによって、元の１つのパノラマ映像を受信装置２側のスクリーン３に表示させることが可能になる。
【００７９】
図６は、コンポーズ情報に基づいてスクリーン３に表示される画面の例を示す図である。
【００８０】
図６は、ある被写体を、撮影位置をずらして２台のカメラで左右から撮影した１つの番組の映像をそれぞれ別のストリームとしてエンコードすることによって得られた２つのビデオストリームが多重化されて番組の提供が行われた場合の例を示している。
【００８１】
この場合、多重化ストリームに付加されるコンポーズ情報に基づいて、スクリーン３の全体に、ウインドウＷ0とウインドウＷ1が時間をずらして交互に受信装置２により形成される。図６において、ウインドウＷ1が点線で示されていることは、ウインドウＷ0と異なるタイミングで形成されることを表す。
【００８２】
コンポーズ情報においては、ウインドウＷ0はWindow_ID（S0，T0，H0，V0）で識別され、ウインドウＷ1はWindow_ID（S0，T1，H0，V0）で識別される。
【００８３】
ウインドウＷ0のWindow_IDに含まれるパラメータTmはT0であり、ウインドウＷ1のWindow_IDに含まれるパラメータTmはT1であるから、受信装置２においては、ウインドウＷ0とウインドウＷ1を異なるタイミングで形成すればよいということが検出される。
【００８４】
また、コンポーズ情報に含まれるコンポーズマップグループの情報に基づいて、ウインドウＷ0、ウインドウＷ1、ウインドウＷ0、ウインドウＷ1、・・・といったように、ウインドウＷ0とウインドウＷ1を交互に形成すればよいということが検出される。
【００８５】
T0のタイミングで形成しなければならないウインドウはウインドウＷ0の他にないことと、ビデオストリームに含まれる、ウインドウＷ0に表示させる映像のサイズの情報から、受信装置２においては、ウインドウＷ0をスクリーン３の全体に形成すればよいということが検出される。
【００８６】
同様に、T1のタイミングで形成しなければならないウインドウはウインドウＷ1の他にないことと、ビデオストリームに含まれる、ウインドウＷ1に表示させる映像のサイズの情報から、受信装置２においては、ウインドウＷ1をスクリーン３の全体に形成すればよいということが検出される。
【００８７】
コンポーズ情報に含まれるPIDとWindow_IDの対応関係が受信装置２により検出され、あるタイミングで形成されるウインドウＷ0には、所定のPIDで識別されるビデオストリームをデコードして得られた、例えば被写体を左から撮影した映像である映像P-0が表示される。
【００８８】
また、ウインドウＷ0の次のタイミングで形成されるウインドウＷ1には、所定のPIDで識別されるビデオストリームをデコードして得られた、例えば被写体を右から撮影した映像である映像P-1が表示される。
【００８９】
このように、コンポーズ情報を利用して図７に示されるように映像P-0と映像P-1の表示が所定の周期で交互に切り替えられるようにすることにより、送信装置１は、人の目の視差を利用して、立体視映像を受信装置２側のスクリーン３に表示させることが可能になる。
【００９０】
図８は、コンポーズ情報の具体的な記述の例を示す図である。図８の左側に示す数字と「：」は説明の便宜上付しているものであり、コンポーズ情報を構成するものではない。
【００９１】
１行目の「Window_Linkage_flag」は複数ウインドウの存在を示す。２行目の「If(Window_Linkage_Flag)」以降がコンポーズ情報の中身を構成する。
【００９２】
３行目の「Number_of_Screens, Ｓ」は、コンポーズ情報が対象とするスクリーンの数Ｓを表す。Ｓの値は可変であり、上述した例の場合、１となる。
【００９３】
４行目の「For(i=0; i<S; i++)」以降が、それぞれのスクリーンを対象とする表示の仕方を表す。コンポーズ情報が対象とするスクリーンの数が複数である場合、コンポーズ情報には、この4行目以降の記述がそれぞれのスクリーンの分だけ用意される。
【００９４】
５行目の「Direction_Mapping」は、どのスクリーンを対象としているのかを表す。
【００９５】
６行目の「Target_Display_Size」は、ターゲットとするスクリーンのサイズを表す。後述するように、送信装置１側がターゲットとするスクリーンのサイズと、実際に受信装置２側に用意されているスクリーンのサイズが異なる場合、適宜、映像のアップスケーリング、ダウンスケーリングが受信装置２において行われる。
【００９６】
７行目の「Number_of_Windows_per_screen, Ｎ」は、注目するスクリーン上に形成するウインドウの数Ｎを表す。Ｎの値は可変であり、図３、図４の例の場合、４となる。
【００９７】
８行目の「For (j=0; j<N; j++)」以降が、それぞれのウインドウを対象とする表示の仕方を表す。コンポーズ情報が対象とするウインドウの数が複数である場合、コンポーズ情報には、この８行目以降の記述がそれぞれのウインドウの分だけ用意される。
【００９８】
９行目の「Elementary_PID」は、注目しているウインドウに映像を表示させるのに用いるビデオストリームのPID、すなわち、ウインドウとビデオストリームの対応関係を表す。
【００９９】
１０行目の「Window_id」は、注目しているウインドウの識別情報であり、上述したようなパラメータからなる。
【０１００】
１１行目の「FrameGroup」は、注目しているウインドウを形成するタイミング（時間方向のID）、切り替えのタイミング等を表す。
【０１０１】
１２行目の「V_offset」は、Window_idに含まれるパラメータVqと同様に、注目するウインドウの、スクリーン上の垂直方向の位置を表す。
【０１０２】
１３行目の「H_offset」は、Window_idに含まれるパラメータHpと同様に、注目するウインドウの、スクリーン上の水平方向の位置を表す。
【０１０３】
このような記述からなるコンポーズ情報に基づいて、上述したような表示が実現される。
【０１０４】
ここで、送信装置１と受信装置２の構成について説明する。
【０１０５】
図９は、送信装置１の構成例を示すブロック図である。
【０１０６】
図９に示されるように、送信装置１は、エンコーダ１１−１乃至１１−ｎ、マルチプレクサ１２、コンポーズ情報付加部１３、および送信部１４から構成される。エンコーダは、１つの番組を構成するものとして外部から入力された映像信号の数と同じ数だけ設けられる。
【０１０７】
エンコーダ１１−１乃至１１−ｎは、それぞれ、カメラから入力された信号をエンコードし、エンコードして得られたビデオストリームをマルチプレクサ１２に出力する。
【０１０８】
マルチプレクサ１２は、エンコーダ１１−１乃至１１−ｎから供給されたビデオストリームを多重化し、多重化して得られたストリームをコンポーズ情報付加部１３に出力する。
【０１０９】
コンポーズ情報付加部１３は、送信装置１の管理者による入力に従って、図８に示されるような記述からなるコンポーズ情報を生成し、生成したコンポーズ情報をマルチプレクサ１２から供給された多重化ストリームに付加する。コンポーズ情報付加部１３は、コンポーズ情報を付加した多重化ストリームを送信部１４に出力する。
【０１１０】
同期管理に関しては、代表するストリームのPCRとタイムスタンプを抽出し、他のストリームの同じタイミングに相当する箇所にそれをコピーすることで、ストリーム間の同期関係を保証するようにしてもよい。
【０１１１】
送信部１４は、コンポーズ情報付加部１３から供給された多重化ストリームからなる番組を、放送波やネットワークを介して受信装置２に送信する。番組の提供が記録メディアを介して行われる場合、送信部１４は、多重化ストリームを記録メディアに記録させ、受信装置２に提供する。
【０１１２】
図１０は、受信装置２の構成例を示すブロック図である。
【０１１３】
図１０に示されるように、受信装置２は、受信部２１、デマルチプレクサ２２、コンポーズ情報解析部２３、デコーダ２４−１乃至２４−ｎ、および表示制御部２５から構成される。デコーダも、１つの番組を構成する映像の数と同じ数だけ設けられる。
【０１１４】
受信部２１は、送信装置１から送信された番組を受信する。受信部２１は、受信した番組を構成する多重化ストリームをデマルチプレクサ２２に出力し、多重化ストリームに付加されているコンポーズ情報をコンポーズ情報解析部２３に出力する。
【０１１５】
デマルチプレクサ２２は、受信部２１から供給された多重化ストリームを複数のビデオストリームに分離し、分離したビデオストリームを１つずつデコーダ２４−１乃至２４−ｎに出力する。
【０１１６】
コンポーズ情報解析部２３は、受信部２１から供給されたコンポーズ情報を解析することによって、どのタイミングで、スクリーン３のどの位置にどのサイズのウインドウを形成すればよいのかを検出し、検出したタイミング、ウインドウの位置、およびウインドウのサイズを表す情報を表示制御部２５に出力する。それぞれのビデオストリームに含まれる映像のサイズを表す情報は、デマルチプレクサ２２から供給される。
【０１１７】
また、コンポーズ情報解析部２３は、コンポーズ情報を解析することによってウインドウとビデオストリームの対応関係を検出し、どのウインドウに、どのビデオストリームをデコードすることによって得られた映像を表示させるのかを表す情報を表示制御部２５に出力する。
【０１１８】
デコーダ２４−１乃至２４−ｎは、それぞれ、デマルチプレクサ２２から供給されたビデオストリームをデコードし、デコードして得られた映像信号を表示制御部２５に出力する。映像信号には、どのビデオストリームをデコードして得られた信号であるのかを表す情報も含まれる。
【０１１９】
表示制御部２５は、コンポーズ情報解析部２３から供給された情報に従って、所定のタイミングで、スクリーン３にそれぞれのウインドウを形成する。
【０１２０】
また、表示制御部２５は、コンポーズ情報解析部２３から供給された情報に従って、デコーダ２４−１乃至２４−ｎから供給されたどの信号に基づく映像をどのウインドウに表示させればよいのかを検出する。表示制御部２５は、その検出結果に従って、デコーダ２４−１乃至２４−ｎから供給された信号に基づく映像を、スクリーン３に形成したそれぞれのウインドウに表示させる。
【０１２１】
次に、以上のような構成を有する送信装置１と受信装置２の処理について説明する。
【０１２２】
はじめに、図１１のフローチャートを参照して、送信装置１の処理について説明する。この処理は、カメラからの信号が入力されたときに開始される。
【０１２３】
ステップＳ１において、エンコーダ１１−１乃至１１−ｎは、それぞれ、入力された信号をエンコードし、エンコードして得られたビデオストリームをマルチプレクサ１２に出力する。
【０１２４】
ステップＳ２において、マルチプレクサ１２は、エンコーダ１１−１乃至１１−ｎから供給されたビデオストリームを多重化し、多重化して得られたストリームをコンポーズ情報付加部１３に出力する。
【０１２５】
ステップＳ３において、コンポーズ情報付加部１３は、送信装置１の管理者による入力に従ってコンポーズ情報を生成する。
【０１２６】
ステップＳ４において、コンポーズ情報付加部１３は、コンポーズ情報をマルチプレクサ１２から供給された多重化ストリームに付加し、コンポーズ情報を付加した多重化ストリームを送信部１４に出力する。
【０１２７】
ステップＳ５において、送信部１４は、コンポーズ情報付加部１３から供給された多重化ストリームからなる番組を受信装置２に送信し、処理を終了させる。
【０１２８】
次に、図１２のフローチャートを参照して、受信装置２の処理について説明する。この処理は、番組を構成する多重化ストリームが送信装置１から送信されたときに開始される。
【０１２９】
ステップＳ１１において、受信部２１は、送信装置１から送信された番組を受信する。受信部２１は、受信した番組を構成する多重化ストリームをデマルチプレクサ２２に出力し、多重化ストリームとコンポーズ情報をコンポーズ情報解析部２３に出力する。
【０１３０】
ステップＳ１２において、デマルチプレクサ２２は、受信部２１から供給された多重化ストリームを複数のビデオストリームに分離し、分離したビデオストリームをデコーダ２４−１乃至２４−ｎに出力する。
【０１３１】
ステップＳ１３において、コンポーズ情報解析処理が行われる。コンポーズ情報解析処理が行われることにより、スクリーン３に形成するウインドウに関する情報と、それぞれのウインドウに表示させる映像に関する情報がコンポーズ情報解析部２３から表示制御部２５に供給される。コンポーズ情報解析処理については図１３のフローチャートを参照して後述する。
【０１３２】
ステップＳ１４において、デコーダ２４−１乃至２４−ｎは、それぞれ、デマルチプレクサ２２から供給されたビデオストリームをデコードし、デコードして得られた映像信号を表示制御部２５に出力する。
【０１３３】
ステップＳ１５において、表示制御部２５は、コンポーズ情報解析部２３から供給された情報に従って、所定のタイミングで、スクリーン３にそれぞれのウインドウを形成し、形成したそれぞれのウインドウに、デコーダ２４−１乃至２４−ｎから供給された信号に基づく映像を表示させる。
【０１３４】
次に、図１３のフローチャートを参照して、図１２のステップＳ１３において行われるコンポーズ情報解析処理について説明する。
【０１３５】
ステップＳ２１において、コンポーズ情報解析部２３は、コンポーズ情報に含まれる「Number_of_Screens, Ｓ」の記述に基づいて、コンポーズ情報が対象とするスクリーンの数を検出する。
【０１３６】
ステップＳ２２において、コンポーズ情報解析部２３は、「Direction_Mapping」の記述に基づいて、「Direction_Mapping」以降のコンポーズ情報の記述が、どのスクリーンを対象としている記述であるのかを検出する。コンポーズ情報解析部２３は、検出した対象のスクリーンに注目し、以降の処理を行う。
【０１３７】
ステップＳ２３において、コンポーズ情報解析部２３は、「Number_of_Windows_per_screen, Ｎ」の記述に基づいて、注目するスクリーンに形成するウインドウの数を検出する。
【０１３８】
ステップＳ２４において、コンポーズ情報解析部２３は、「Window_id」により識別されるウインドウに注目し、「Elementary_PID」の記述に基づいて、注目しているウインドウに映像を表示させるのに用いるビデオストリームのPIDを検出する。また、コンポーズ情報解析部２３は、注目しているウインドウに映像を表示させるのに用いるビデオストリームに含まれる、映像のサイズの情報に基づいて、注目しているウインドウのサイズを検出する。
【０１３９】
ステップＳ２５において、コンポーズ情報解析部２３は、「V_offset」と「H_offset」の記述に基づいて、あるいは、「Window_id」に含まれるパラメータに基づいて、注目するウインドウの位置を検出する。
【０１４０】
ステップＳ２６において、コンポーズ情報解析部２３は、「FrameGroup」の記述に基づいて、注目しているウインドウを形成するタイミング等を検出する。
【０１４１】
ステップＳ２７において、コンポーズ情報解析部２３は、注目しているスクリーンに形成するウインドウのうち、まだ注目していないウインドウがあるか否かを判定する。
【０１４２】
まだ注目していないウインドウがあるとステップＳ２７において判定した場合、コンポーズ情報解析部２３は、他のウインドウに注目し、ステップＳ２４以降の処理を繰り返す。
【０１４３】
一方、注目していないウインドウがないとステップＳ２７において判定した場合、ステップＳ２８において、コンポーズ情報解析部２３は、コンポーズ情報が対象としているスクリーンのうち、まだ注目していないスクリーンがあるか否かを判定する。
【０１４４】
まだ注目していないスクリーンがあるとステップＳ２８において判定した場合、コンポーズ情報解析部２３は、他のスクリーンに注目し、ステップＳ２２以降の処理を繰り返す。
【０１４５】
一方、注目していないスクリーンがないとステップＳ２８において判定した場合、ステップＳ２９において、コンポーズ情報解析部２３は、それぞれのスクリーンに形成するそれぞれのウインドウの位置、サイズの情報や、それぞれのウインドウに映像を表示するのに用いるビデオストリームのPIDなどの情報を含む、それぞれのスクリーンに関する情報を表示制御部２５に出力する。
【０１４６】
その後、図１２のステップＳ１３に戻り、それ以降の処理が行われる。
【０１４７】
以上の処理により、送信装置１は、受信装置２側における映像の表示の仕方を、コンポーズ情報を用いて主体的に制御することができる。これにより、送信装置１は、複数のビデオストリームの映像からなる１つの番組の映像を、番組の制作者が意図したとおりに受信装置２側に表示させることができる。
【０１４８】
送信装置１側が対象としているスクリーンのサイズと、受信装置２側に設けられているスクリーン３のサイズが異なる場合、それぞれのウインドウに映像を表示するときに、それぞれの映像をアップコンバート、またはダウンコンバートしてサイズを変更することが表示制御部２５により行われるようにしてもよい。
【０１４９】
例えば、送信装置１側が対象としているスクリーンの横×縦のサイズが２０００×１０００画素であるのに対して、受信装置２側に設けられているスクリーン３のサイズが１０００×５００画素であるとする。図３に示されるように、番組の１フレームの映像を４つのビデオストリームの映像に基づいて表示する場合、送信装置１からは、１０００×５００画素のサイズの映像をエンコードして得られたビデオストリームが４つ多重化され、提供されることになる。
【０１５０】
この場合、受信装置２においては、１つのビデオストリームをデコードしたときに１０００×５００画素のサイズの映像が得られるが、この映像は、表示制御部２５により、５００×２５０画素のサイズの映像にダウンコンバートされる。
【０１５１】
４つのビデオストリームの映像とも同様にしてダウンコンバートが行われることにより、スクリーン３には、サイズは違うものの、送信装置１側が想定したものと同じ映像が表示されることになる。
【０１５２】
以上においては、受信装置２側に設けられるスクリーンの数が１台である場合について説明したが、複数台設けられるようにしてもよい。
【０１５３】
図１４は、提供システムの他の構成例を示す図である。
【０１５４】
図１４の例においては、受信装置２側にスクリーン３−１乃至３−Ｓが設けられている。受信装置２においては、送信装置１から提供された多重化ストリームに付加されているコンポーズ情報に基づいて、それぞれのスクリーンに所定の数のウインドウが形成され、１つの番組を構成する複数の映像が表示される。
【０１５５】
コンポーズ情報を生成する送信装置１の管理者には、受信装置２に接続されるそれぞれのスクリーンの位置関係が知らされているものとする。また、それぞれのスクリーンの物理的な接続関係は、接続ネットワークIDなどによって受信装置２により管理されているものとする。
【０１５６】
図１５は、受信装置２側に設けられるスクリーンの数が６台である場合のそれぞれのスクリーンの配置の例を示す斜視図である。
【０１５７】
図１５の例においては、ほぼ立方体の空間を囲むようにスクリーン３−１乃至３−６が設けられている。スクリーン３−１乃至３−４は空間の内側に向けてその側面に設けられ、スクリーン３−５は空間の内側に向けてその上面に設けられている。スクリーン３−６は空間の内側に向けてその下面に設けられている。スクリーン３−１乃至３−６に囲まれる空間にいるユーザは、どの方向を向いても映像を見ることができることになる。
【０１５８】
図１５に示されるスクリーン３−１乃至３−６により囲まれる空間を、スクリーン３−３側から見た図を図１６に示す。
【０１５９】
図１５、図１６は、６台のカメラで撮影した１つの番組の映像をそれぞれ別のストリームとしてエンコードすることによって得られた６つのビデオストリームが多重化されて番組の提供が行われた場合の例を示している。
【０１６０】
この場合、多重化ストリームに付加されるコンポーズ情報に基づいて、スクリーン３−１乃至３−６のそれぞれに、表示領域全体にウインドウが１つずつ形成される。
【０１６１】
コンポーズ情報においては、スクリーン３−１に形成されるウインドウはWindow_ID（S0，T0，H0，V0）で識別され、スクリーン３−２に形成されるウインドウはWindow_ID（S1，T0，H0，V0）で識別される。スクリーン３−３に形成されるウインドウはWindow_ID（S2，T0，H0，V0）で識別され、スクリーン３−４に形成されるウインドウはWindow_ID（S3，T0，H0，V0）で識別される。スクリーン３−５に形成されるウインドウはWindow_ID（S4，T0，H0，V0）で識別され、スクリーン３−６に形成されるウインドウはWindow_ID（S5，T0，H0，V0）で識別される。
【０１６２】
それぞれのウインドウのWindow_IDに含まれるパラメータSnの値から、受信装置２においては、それぞれのウインドウを形成するスクリーンが異なることが検出される。また、パラメータHp，Vqの値から、それぞれのスクリーンに１つずつウインドウを形成すればよいということが検出される。
【０１６３】
コンポーズ情報に含まれるPIDとWindow_IDの対応関係が受信装置２により検出され、それぞれのウインドウのサイズがビデオストリームに含まれる映像のサイズの情報に基づいて検出される。
【０１６４】
これにより、図１５に示されるように、スクリーン３−１に形成されるウインドウには、所定のPIDで識別されるビデオストリームをデコードして得られた映像である映像R-0が表示される。スクリーン３−２乃至３−６に形成されるウインドウについても同様に、それぞれ所定のPIDで識別されるビデオストリームをデコードして得られた映像である映像R-１乃至R-5がそれぞれ表示される。
【０１６５】
映像R-0乃至R-5がそれぞれ同期を取りながら表示されることにより、例えば、複数のカメラで異なる位置から撮影された元の１つの番組の映像が表示されることになる。
【０１６６】
このように、コンポーズ情報を利用することにより、送信装置１は、複数のビデオカメラで撮影した異なる撮影位置からの映像を受信装置２側の複数のスクリーンに表示させることが可能になる。
【０１６７】
図１７は、複数のスクリーンが接続される受信装置２の構成例を示すブロック図である。図１０に示される構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１６８】
図１７に示される構成は、スクリーンの数に合わせて、表示制御部２５−１乃至２５−Ｓが設けられている点が図１０に示される受信装置２の構成と異なる。
【０１６９】
コンポーズ情報解析部２３は、受信部２１から供給されたコンポーズ情報を解析することによって、それぞれのスクリーンについて、どのタイミングで、どの位置にどのサイズのウインドウを形成すればよいのかを検出し、検出したタイミング、ウインドウの位置、およびウインドウのサイズを表す情報を表示制御部２５−１乃至２５−Ｓに出力する。
【０１７０】
また、コンポーズ情報解析部２３は、コンポーズ情報を解析することによってウインドウとビデオストリームの対応関係を検出し、どのウインドウに、どのビデオストリームをデコードすることによって得られた映像を表示させるのかを表す情報を表示制御部２５−１乃至２５−Ｓに出力する。
【０１７１】
デコーダ２４−１は、デマルチプレクサ２２から供給されたビデオストリームをデコードし、デコードして得られた映像信号を表示制御部２５−１に出力する。
【０１７２】
デコーダ２４−２乃至２４−ｎも同様に、それぞれ、デマルチプレクサ２２から供給されたビデオストリームをデコードし、デコードして得られた映像信号を表示制御部２５−２乃至２５−Ｓに出力する。
【０１７３】
図１７は、図１５に示されるように、それぞれのスクリーンに１つのウインドウを形成し、１つの映像を表示する場合の例を示している。１台のスクリーンに複数のウインドウを形成して複数の映像を表示させる場合、複数のデコーダからの出力が、１つの表示制御部に入力される。
【０１７４】
表示制御部２５−１は、コンポーズ情報解析部２３から供給された情報に従って、所定のタイミングで、スクリーン３−１にウインドウを形成し、形成したウインドウに、デコーダ２４−１から供給された信号に基づく映像を表示させる。
【０１７５】
表示制御部２５−２乃至２５−Ｓも同様に、コンポーズ情報解析部２３から供給された情報に従って、所定のタイミングで、スクリーン３−３乃至３−Ｓにウインドウを形成し、形成したウインドウに、デコーダ２４−２乃至２４−ｎから供給された信号に基づく映像を表示させる。
【０１７６】
このように、受信装置２側に複数のスクリーンが設けられるようにすることも可能である。
【０１７７】
なお、各ウインドウに対応するビデオストリームを含む多重化ストリームが複数あって、それらを再多重化（Remux）し、大きな１つのストリームを用いて番組の提供が行われる場合、再多重化に用いられるそれぞれの多重化ストリームを生成するときに、同期チェックの機能も兼ねて、個々の多重化ストリームを構成するビデオストリームの同時表示を行うオブジェクト（ウインドウに表示させる映像）に対して、新たな表示用タイムスタンプがマルチプレクサ１２などにより設定されるようにしてもよい。
【０１７８】
この場合、送信装置１においては、統一されたPCR(Program Clock Reference)がそれぞれの多重化ストリームの生成に用いられる。これにより、受信装置２側において、複数のビデオストリームに基づいて、矛盾なく同期がとれた形で映像を表示させることが可能になる。
【０１７９】
図１８は、コンポーズ情報の付加の概念を示す図である。
【０１８０】
図１８の矢印Ａ11乃至Ａ13，Ａ21乃至Ａ23，Ａ31乃至Ａ33に示されるように、ビデオストリーム、オーディオストリーム、およびその他のデータから、プログラム１のデータであるトランスポートストリームTS１、プログラム２のデータであるトランスポートストリームTS２、プログラム３のデータであるトランスポートストリームTS３がそれぞれ構成される場合、矢印Ａ41乃至Ａ43の先に示されるように、それらのトランスポートストリームTS１乃至TS３が再多重化（Re-multiplex）され、再多重化によって得られたストリームに対してコンポーズ情報が付加されることによってビッグTSが生成される。ビッグTSは受信装置２側に提供されるストリームである。
【０１８１】
図１９は、コンポーズ情報の挿入位置の例を示す図である。
【０１８２】
例えば、コンポーズ情報は、ISO/IEC規格13818-1で規定されているTS Private Sectionに挿入される。図１９に示されるように、TS Private Sectionは、TableID，Section Syntax Indicator，Private Indicator，'11'の固定値，Private Section長，Private_Dataから構成される。
【０１８３】
TableIDは、このセクションデータのペイロード中のデータタイプの識別子であり、Section Syntax Indicatorとして、例えばコンポーズ情報を表す0'の値が記述される。Private Indicatorとして例えば１'の値が記述され、Private Section長には、このセクションデータの長さが記述される。Private_Dataには、図８に示されるようなコンポーズ情報が記述される。
【０１８４】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１８５】
図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１８６】
CPU(Central Processing Unit)５１、ROM(Read Only Memory)５２、RAM(Random Access Memory)５３は、バス５４により相互に接続されている。
【０１８７】
バス５４には、さらに、入出力インタフェース５５が接続されている。入出力インタフェース５５には、キーボード、マウス、マイクロホンなどよりなる入力部５６、ディスプレイ、スピーカなどよりなる出力部５７、ハードディスクや不揮発性のメモリなどよりなる記憶部５８、ネットワークインタフェースなどよりなる通信部５９、光ディスクや半導体メモリなどのリムーバブルメディア６１を駆動するドライブ６０が接続されている。
【０１８８】
以上のように構成されるコンピュータでは、CPU５１が、例えば、記憶部５８に記憶されているプログラムを入出力インタフェース５５及びバス５４を介してRAM５３にロードして実行することにより、上述した一連の処理が行われる。
【０１８９】
CPU５１が実行するプログラムは、例えばリムーバブルメディア６１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部５８にインストールされる。
【０１９０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１９１】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１９２】
【図１】本発明の一実施形態に係る番組の提供システムの構成例を示す図である。
【図２】コンポーズ情報の概念を示す図である。
【図３】コンポーズ情報に基づいてスクリーンに表示される画面の例を示す図である。
【図４】コンポーズ情報に基づいてスクリーンに表示される画面の他の例を示す図である。
【図５】コンポーズ情報に基づいてスクリーンに表示される画面のさらに他の例を示す図である。
【図６】コンポーズ情報に基づいてスクリーンに表示される画面の例を示す図である。
【図７】映像の切り替えの例を示す図である。
【図８】コンポーズ情報の具体的な記述の例を示す図である。
【図９】送信装置の構成例を示すブロック図である。
【図１０】受信装置の構成例を示すブロック図である。
【図１１】送信装置の処理について説明するフローチャートである。
【図１２】受信装置の処理について説明するフローチャートである。
【図１３】図１２のステップＳ１３において行われるコンポーズ情報解析処理について説明するフローチャートである。
【図１４】提供システムの他の構成例を示す図である。
【図１５】スクリーンの配置の例を示す斜視図である。
【図１６】スクリーンの配置の例を示す図である。
【図１７】受信装置の他の構成例を示すブロック図である。
【図１８】コンポーズ情報の付加の概念を示す図である。
【図１９】コンポーズ情報の挿入位置の例を示す図である。
【図２０】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１９３】
１  送信装置,  ２  受信装置,  ３  スクリーン，  １１−１乃至１１−ｎ  エンコーダ,  １２  マルチプレクサ,  １３  コンポーズ情報付加部,  １４  送信部,  ２１  受信部,  ２２  デマルチプレクサ,  ２３  コンポーズ情報解析部,  ２４−１乃至２４−ｎ  デコーダ,  ２５  表示制御部
【図１】
0005018515.tif 000002
【図２】
0005018515.tif 000003
【図３】
0005018515.tif 000004
【図４】
0005018515.tif 000005
【図５】
0005018515.tif 000006
【図６】
0005018515.tif 000007
【図７】
0005018515.tif 000008
【図８】
0005018515.tif 000009
【図９】
0005018515.tif 000010
【図１０】
0005018515.tif 000011
【図１１】
0005018515.tif 000012
【図１２】
0005018515.tif 000013
【図１３】
0005018515.tif 000014
【図１４】
0005018515.tif 000015
【図１５】
0005018515.tif 000016
【図１６】
0005018515.tif 000017
【図１７】
0005018515.tif 000018
【図１８】
0005018515.tif 000019
【図１９】
0005018515.tif 000020
【図２０】
0005018515.tif 000021