(57)【特許請求の範囲】
【請求項１】
仮想的な視聴環境を構成する１以上の表示画面に表示すべく生成された映像情報を送信する映像送信装置であって、
前記仮想的な視聴環境を構成する表示画面に含まれる各画素の位置に関する仮想映像呈示システム情報を、前記映像情報に付加して送信する手段を備えたことを特徴とする映像送信装置。
【請求項２】
前記仮想的な視聴環境を構成する表示画面に含まれる各画素の位置は、前記仮想的な視聴環境空間内の視聴者の視点位置に対する相対位置であることを特徴とする前記請求項１に記載の映像送信装置。
【請求項３】
前記仮想映像呈示システム情報は、前記仮想的な視聴環境を構成する表示画面の各画素の大きさに関する情報を含むことを特徴とする前記請求項１又は２に記載の映像送信装置。
【請求項４】
前記仮想映像呈示システム情報は、前記仮想的な視聴環境を構成する表示画面の形状を表わす情報を含むことを特徴とする前記請求項１乃至３のいずれかに記載の映像送信装置。
【請求項５】
前記仮想映像呈示システム情報は、前記仮想的な視聴環境を構成する表示画面の配置位置及び方向を表わす情報を含むことを特徴とする前記請求項１乃至４のいずれかに記載の映像送信装置。
【請求項６】
前記仮想映像呈示システム情報は、前記仮想的な視聴環境を構成する表示画面の大きさ及び画素数を表わす情報を含むことを特徴とする前記請求項１乃至５のいずれかに記載の映像送信装置。
【請求項７】
１以上のカメラによって撮影された映像を用いて、前記映像情報を生成することを特徴とする前記請求項１乃至６のいずれかに記載の映像送信装置。
【請求項８】
コンピュータによって合成された映像を用いて、前記映像情報を生成することを特徴とする前記請求項１乃至６のいずれかに記載の映像送信装置。
【請求項９】
前記映像情報を放送によって送信することを特徴とする前記請求項１乃至８のいずれかに記載の映像送信装置。
【請求項１０】
前記映像情報をネットワークによって送信することを特徴とする前記請求項１乃至８のいずれかに記載の映像送信装置。
【請求項１１】
仮想的な視聴環境を構成する１以上の表示画面に表示すべく生成された映像情報を送信する映像送信方法であって、
前記仮想的な視聴環境を構成する表示画面に含まれる各画素の位置に関する仮想映像呈示システム情報を、前記映像情報に付加して送信することを特徴とする映像送信方法。
【請求項１２】
仮想的な視聴環境における１以上の表示画面に表示すべく生成された映像情報を受信して、実際の視聴環境における１以上の表示画面に表示する映像表示装置であって、
前記映像情報に付加されて送信された、前記仮想的な視聴環境における表示画面に含まれる各画素の位置に関する仮想映像呈示システム情報を受信して取得する手段と、
前記取得した仮想映像呈示システム情報と、前記実際の視聴環境における表示画面に含まれる各画素の位置に関する実映像呈示システム情報とを用いて、前記受信した映像情報から前記実際の視聴環境における表示画面に含まれる各画素に表示する映像情報を生成する手段とを備えたことを特徴とする映像表示装置。
【請求項１３】
前記仮想的な視聴環境を構成する表示画面に含まれる各画素の位置は、前記仮想的な視聴環境空間内の視聴者の視点位置に対する相対位置であることを特徴とする前記請求項１２に記載の映像表示装置。
【請求項１４】
前記実映像呈示システム情報は、前記実際の視聴環境空間内の視聴者の視点位置を表わす情報を含むことを特徴とする前記請求項１２又は１３に記載の映像表示装置。
【請求項１５】
前記仮想映像呈示システム情報は、前記仮想的な視聴環境を構成する表示画面の各画素の大きさに関する情報を含むことを特徴とする前記請求項１２乃至１４のいずれかに記載の映像表示装置。
【請求項１６】
前記実映像呈示システム情報は、前記実際の視聴環境を構成する表示画面の各画素の大きさに関する情報を含むことを特徴とする前記請求項１５に記載の映像表示装置。
【請求項１７】
前記仮想映像呈示システム情報は、前記仮想的な視聴環境を構成する表示画面の形状を表わす情報を含むことを特徴とする前記請求項１２乃至１６のいずれかに記載の映像表示装置。
【請求項１８】
前記実映像呈示システム情報は、前記実際の視聴環境を構成する表示画面の形状を表わす情報を含むことを特徴とする前記請求項１７に記載の映像表示装置。
【請求項１９】
前記仮想映像呈示システム情報は、前記仮想的な視聴環境を構成する表示画面の配置位置及び方向を表わす情報を含むことを特徴とする前記請求項１２乃至１８のいずれかに記載の映像表示装置。
【請求項２０】
前記実映像呈示システム情報は、前記実際の視聴環境を構成する表示画面の配置位置及び方向を表わす情報を含むことを特徴とする前記請求項１９に記載の映像表示装置。
【請求項２１】
前記仮想映像呈示システム情報は、前記仮想的な視聴環境を構成する表示画面の大きさ及び画素数を表わす情報を含むことを特徴とする前記請求項１２乃至２０のいずれかに記載の映像表示装置。
【請求項２２】
前記実映像呈示システム情報は、前記実際の視聴環境を構成する表示画面の大きさ及び画素数を表わす情報を含むことを特徴とする前記請求項２１に記載の映像表示装置。
【請求項２３】
仮想的な視聴環境における１以上の表示画面に表示すべく生成された映像情報を受信して、実際の視聴環境における１以上の表示画面に表示する映像表示方法であって、
前記映像情報に付加されて送信された、前記仮想的な視聴環境における表示画面に含まれる各画素の位置に関する仮想映像呈示システム情報を受信して取得し、
前記取得した仮想映像呈示システム情報と、前記実際の視聴環境における表示画面に含まれる各画素の位置に関する実映像呈示システム情報とを用いて、前記受信した映像情報から前記実際の視聴環境における表示画面に含まれる各画素に表示する映像情報を生成することを特徴とする映像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像生成側から送信される映像情報を、映像表示側で受信し広視野な映像を表示する広視野映像表示システムに関するものである。
【背景技術】
【０００２】
畑田らの研究（非特許文献１）によると、図１に示すように、人間の視野は視機能の働きにより、弁別視野１０１、有効視野１０２、誘導視野１０３、補助視野１０４に分類される。弁別視野１０１は、図形識別など高密度な情報を正確に受容できる範囲である。有効視野１０２は、弁別能力は弁別視野より低下するが眼球運動のみで自然な情報受容ができる範囲である。誘導視野１０３は、呈示刺激の存在や簡単な識別ができる程度の認識能力しかないが、全体的な外界情報を判断する際に影響を持つ範囲である。補助視野１０４は、刺激の存在のみが判別できる範囲である。
【０００３】
現在のハイビジョンテレビは、前記した視野のうち有効視野１０２を覆う範囲に映像（本発明では、この映像を有効視野映像と呼ぶ）を呈示するよう設計されている。つまり、誘導視野１０３や補助視野１０４には映像を呈示していない。誘導視野や補助視野にも映像（本発明では、このように誘導視野や補助視野に呈示する映像を周辺映像と呼ぶ）を呈示することで、より臨場感が高まることが期待できる。
【０００４】
周辺映像としては、有効視野映像と同等の解像度の映像や、より解像度を落とした映像や、超低解像度映像として照明を利用するものなどが考えられている。例えば特許文献１には、画像表示装置の画面に映し出された画像に連動して、鑑賞者が存在する鑑賞空間の照明を制御するものに関し、放送局側から送られてくる画像音響情報を基に、臨場感を高められる照明条件を算出して照明信号を作り出し、画像出力のタイミングと同期させて照明信号を出力することにより、適切な照明効果を生み出すものが開示されている。
【０００５】
また、特許文献２には、３つの表示装置を用いて広視野角の映像を提供するものに関して、中央の表示装置の他に、その前面の左右に表示装置が向かい合うように配設された一対の表示装置を有し、中央の映像の左右の一部を視野角の広い方にいくに従って、その水平解像度を徐々に落としながら表示することや、左右の表示装置に表示すべき情報も中央の映像情報とともに送受信する方法が開示されている。
【０００６】
さらに、特許文献３には、複数の表示装置を用いて高視野角映像を効果的に表示することが可能な表示システムに関し、ユーザを取り囲むような形式で表現された映像データを、ユーザの周囲に配された複数の表示装置に分割して表示するにあたり、それぞれの表示装置の位置を示す情報を表示装置に設けた位置センサ等から取得し、ユーザから見てその表示装置の方向に見えるべき映像を生成し、前記複数の表示装置に表示させるものが開示されている。
【特許文献１】
特開２０００−１７３７８３号公報，“照明制御方法及び照明装置”
【特許文献２】
特開平１１−３２７５３３号公報，“三次元映像表示装置及び三次元表示ゲーム装置”
【特許文献３】
特開２００５−９９０６４号公報，“表示システム、表示制御装置、表示装置、表示方法、およびユーザインタフェイス装置”
【非特許文献１】
畑田豊彦，坂田晴夫，日下秀夫，：“画面サイズによる方向感覚誘導効果‐大画面による臨場感の基礎実験‐”，テレビジョン学会誌，Ｖｏｌ．３３，Ｎｏ．５，ｐｐ．４０７−４１３（１９７９）
【非特許文献２】
加藤博一，Ｍａｒｋ  Ｂｉｌｌｉｎｇｈｕｒｓｔ，浅野浩一，橘啓八郎，：“マーカー追跡に基づく拡張現実感システムとそのキャリブレーション”，日本ＶＲ学会誌，Ｖｏｌ．４，Ｎｏ．４，ｐｐ．６０７−６１６（１９９９）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
前記のような広視野映像は、例えば、放送局やコンテンツ製作者、すなわち映像製作側によって作成される。その広視野映像は放送やパッケージメディアによって一般家庭などの再生側に伝送され、再生される。
【０００８】
映像製作側で広視野映像を製作する場合に、この広視野映像を再生するための表示システム（映像呈示システム）が定まっていなければ、製作者によって互いに互換性の無い広視野映像が作られることになり、再生する際に問題となる。また、有効視野映像および周辺映像を呈示するための表示装置の種類や大きさや解像度や配置は、再生側によってそれぞれ異なる場合があると考えられる。このため、同じ広視野映像データを受信しても、ある映像呈示システムでは正しく再生できるが、別の映像呈示システムでは正しく再生できないということが起こりうる。また、例えば、部屋の模様替えによって映像呈示システムを変えた場合にどう対応するかという問題も有る。
【０００９】
特許文献２では、中央画面に比べて左右の画面の画像解像度を落とした平面状の３画面からなる映像呈示システムを前提に広視野映像を送受信するものが開示されているが、上述のとおり有効視野映像および周辺映像を呈示するための表示装置の種類や大きさや解像度や配置は、視聴者それぞれの視聴環境によって異なるため、平面状の３画面からなる映像呈示システム以外の映像呈示システムでは、製作者が意図する広視野映像を正しく再生することができないという問題がある。
【００１０】
特許文献３では、表示装置それぞれに位置センサを設け、各表示装置の位置を示す情報を表示制御装置に送り、表示制御装置で解析し、それぞれの表示装置で表示すべき画像情報を生成することが開示されているが、広視野映像の製作時に用いた映像呈示システムに関する情報が送信されていないため、製作者がどのような映像呈示システムに表示することを前提に製作した広視野映像かが分からず、従って製作者の意図した広視野映像を正しく再生することができないという問題がある。
【００１１】
本発明は、前記のような問題点を解決するためになされたものであり、どのような映像呈示システムであっても、製作者の意図した広視野映像を正しく再生することが可能な映像送信装置、映像表示装置、映像送信方法、及び映像表示方法を提供するものである。
【課題を解決するための手段】
【００１２】
本発明は、次のような技術手段によって前記課題を解決する。
本願の第１の発明は、仮想的な視聴環境を構成する１以上の表示画面に表示すべく生成された映像情報を送信する映像送信装置であって、前記仮想的な視聴環境を構成する表示画面に含まれる各画素の位置に関する仮想映像呈示システム情報を、前記映像情報に付加して送信する手段を備えたことを特徴とする。
【００１３】
本願の第２の発明は、第１の発明において、前記仮想的な視聴環境を構成する表示画面に含まれる各画素の位置が、前記仮想的な視聴環境空間内の視聴者の視点位置に対する相対位置であることを特徴とする。
【００１４】
本願の第３の発明は、第１又は第２の発明において、前記仮想映像呈示システム情報は、前記仮想的な視聴環境を構成する表示画面の各画素の大きさに関する情報を含むことを特徴とする。
【００１５】
本願の第４の発明は、第１乃至第３のいずれかの発明において、前記仮想映像呈示システム情報が、前記仮想的な視聴環境を構成する表示画面の形状を表わす情報を含むことを特徴とする。
【００１６】
本願の第５の発明は、第１乃至第４のいずれかの発明において、前記仮想映像呈示システム情報が、前記仮想的な視聴環境を構成する表示画面の配置位置及び方向を表わす情報を含むことを特徴とする。
【００１７】
本願の第６の発明は、第１乃至第５のいずれかの発明において、前記仮想映像呈示システム情報が、前記仮想的な視聴環境を構成する表示画面の大きさ及び画素数を表わす情報を含むことを特徴とする。
【００１８】
本願の第７の発明は、第１乃至第６のいずれかの発明において、１以上のカメラによって撮影された映像を用いて、前記映像情報を生成することを特徴とする。
【００１９】
本願の第８の発明は、第１乃至第６のいずれかの発明において、コンピュータによって合成された映像を用いて、前記映像情報を生成することを特徴とする。
【００２０】
本願の第９の発明は、第１乃至第８のいずれかの発明において、前記映像情報を放送によって送信することを特徴とする。
【００２１】
本願の第１０の発明は、第１乃至第８のいずれかの発明において、前記映像情報をネットワークによって送信することを特徴とする。
【００２２】
本願の第１１の発明は、仮想的な視聴環境を構成する１以上の表示画面に表示すべく生成された映像情報を送信する映像送信方法であって、前記仮想的な視聴環境を構成する表示画面に含まれる各画素の位置に関する仮想映像呈示システム情報を、前記映像情報に付加して送信することを特徴とする。
【００２３】
本願の第１２の発明は、仮想的な視聴環境における１以上の表示画面に表示すべく生成された映像情報を受信して、実際の視聴環境における１以上の表示画面に表示する映像表示装置であって、前記映像情報に付加されて送信された、前記仮想的な視聴環境における表示画面に含まれる各画素の位置に関する仮想映像呈示システム情報を受信して取得する手段と、前記取得した仮想映像呈示システム情報と、前記実際の視聴環境における表示画面に含まれる各画素の位置に関する実映像呈示システム情報とを用いて、前記受信した映像情報から前記実際の視聴環境における表示画面に含まれる各画素に表示する映像情報を生成する手段とを備えたことを特徴とする。
［００２４］
本願の第１３の発明は、第１２の発明において、前記仮想的な視聴環境を構成する表示画面に含まれる各画素の位置が、前記仮想的な視聴環境空間内の視聴者の視点位置に対する相対位置であることを特徴とする。
［００２５］
本願の第１４の発明は、第１２又は第１３の発明において、前記実映像呈示システム情報が、前記実際の視聴環境空間内の視聴者の視点位置を表わす情報を含むことを特徴とする。
［００２６］
本願の第１５の発明は、第１２乃至第１４のいずれかの発明において、前記仮想映像呈示システム情報が、前記仮想的な視聴環境を構成する表示画面の各画素の大きさに関する情報を含むことを特徴とする。
［００２７］
本願の第１６の発明は、第１５の発明において、前記実映像呈示システム情報が、前記実際の視聴環境を構成する表示画面の各画素の大きさに関する情報を含むことを特徴とする。
［００２８］
本願の第１７の発明は、第１２乃至第１６のいずれかの発明において、前記仮想映像呈示システム情報が、前記仮想的な視聴環境を構成する表示画面の形状を表わす情報を含むことを特徴とする。
［００２９］
本願の第１８の発明は、第１７の発明において、前記実映像呈示システム情報が、前記実際の視聴環境を構成する表示画面の形状を表わす情報を含むことを特徴とする。
［００３０］
本願の第１９の発明は、第１２乃至第１８のいずれかの発明において、前記仮想映像呈示システム情報が、前記仮想的な視聴環境を構成する表示画面の配置位置及び方向を表わす情報を含むことを特徴とする。
［００３１］
本願の第２０の発明は、第１９の発明において、前記実映像呈示システム情報が、前記実際の視聴環境を構成する表示画面の配置位置及び方向を表わす情報を含むことを特徴とする。
［００３２］
本願の第２１の発明は、第１２乃至第２０のいずれかの発明において、前記仮想映像呈示システム情報が、前記仮想的な視聴環境を構成する表示画面の大きさ及び画素数を表わす情報を含むことを特徴とする。
［００３３］
本願の第２２の発明は、第２１の発明において、前記実映像呈示システム情報が、前記実際の視聴環境を構成する表示画面の大きさ及び画素数を表わす情報を含むことを特徴とする。
【００３４】
本願の第２３の発明は、仮想的な視聴環境における１以上の表示画面に表示すべく生成された映像情報を受信して、実際の視聴環境における１以上の表示画面に表示する映像表示方法であって、前記映像情報に付加されて送信された、前記仮想的な視聴環境における表示画面に含まれる各画素の位置に関する仮想映像呈示システム情報を受信して取得し、前記取得した仮想映像呈示システム情報と、前記実際の視聴環境における表示画面に含まれる各画素の位置に関する実映像呈示システム情報とを用いて、前記受信した映像情報から前記実際の視聴環境における表示画面に含まれる各画素に表示する映像情報を生成することを特徴とする。
発明の効果
［００３５］
本発明の映像送信装置によれば、広視野映像の製作時に用いた仮想映像呈示システムに関する情報を映像情報に付加して送信することで、視聴者側での実映像呈示システムに応じた映像情報を容易に生成することが可能になり、各視聴者の視聴環境に合わせた広視野映像を正しく再生することができる。
また、本発明の映像表示装置によれば、広視野映像の製作時に用いた仮想映像呈示システムに関する情報を用いて、視聴者側での実映像呈示システムに応じた映像情報を容易に生成することが可能になり、各視聴者の視聴環境に合わせた広視野映像を正しく再生することができる。
【図面の簡単な説明】
［００３６］
［図１］視野の分類を示す図である。
【図２】映像呈示システム例１を示す図である。
【図３】映像呈示システム例１を示す平面図である。
【図４】映像呈示システム例２を示す図である。
【図５】映像呈示システム例２を示す平面図である。
【図６】映像呈示システム例３を示す図である。
【図７】映像呈示システム例３を示す平面図である。
【図８】映像呈示システム例４を示す図である。
【図９】映像呈示システム例４を示す平面図である。
【図１０】映像呈示システム例５を示す図である。
【図１１】映像呈示システム例５を示す平面図である。
【図１２】映像呈示システム例６を示す図である。
【図１３】映像呈示システム例６を示す平面図である。
【図１４】第１の実施形態の広視野映像送受信システムにおける送信側装置を示すブロック図である。
【図１５】第１の実施形態の広視野映像送受信システムにおける受信側装置を示すブロック図である。
【図１６】仮想映像呈示システム情報の一例を示す図である。
【図１７】仮想映像呈示システム情報を用いて映像呈示システム例１から６を表現した図である。
【図１８】実映像呈示システム情報の一例を示す図である。
【図１９】実映像呈示システム情報を用いて映像呈示システム例１から６を表現した図である。
【図２０】（Ａ）は仮想視聴空間における座標系を示す図、（Ｂ）は実視聴空間における座標系を示す図である。
【図２１】映像変換処理の方法を説明するための図である。
【図２２】第２の実施形態の広視野映像送受信システムにおける送信側装置を示すブロック図である。
【図２３】第２の実施形態の広視野映像送受信システムにおける受信側装置を示すブロック図である。
【図２４】第３の実施形態の広視野映像送受信システムにおける受信側装置を示すブロック図である。
【図２５】実映像表示システム情報の取得方法を示す図である。
【図２６】映像表示装置情報検出部の内部および周辺を示すブロック図である。
【図２７】第４の実施形態の広視野映像送受信システムにおける送信側装置を示すブロック図である。
【図２８】第４の実施形態の広視野映像送受信システムにおける受信側装置を示すブロック図である。
【図２９】第５の実施形態の広視野映像送受信システムにおける受信側装置を示すブロック図である。
【符号の説明】
【００３７】
１０１…弁別視野、１０２…有効視野、１０３…誘導視野、１０４…補助視野、１０５〜１０７…映像表示装置、１０８…視聴者、１０９〜１１３…映像表示装置、１１４…映像表示装置、１１５…映像表示装置、１１６…映像表示装置、１１７〜１２３…照明装置、１２４…視聴者の視点位置、１２５，１２８…直線、１２６，１２７，１２９，１３０…点、２０１…カメラ、２０２…広視野映像データ生成部、２０３…メモリ、２０４…エンコード処理部、２０５…多重化処理部、２０６…送信部、２０７…映像処理装置、２０８…受信部、２０９…多重化データ分離処理部、２１０…デコード処理部、２１１…映像変換処理部、２１２…メモリ、２１３…表示部、２１４…映像表示装置情報検出部、２１５…カメラ、２１６…表示部情報読み取り部、２１７…表示部内メモリ、２１８…基準表示情報発生部、２１９…３次元位置算出部、２２０…受信部、２２１…映像処理装置、２２２…送信部
【発明を実施するための最良の形態】
【００３８】
以下、本発明の広視野映像送受信システムの実施形態について説明する前に、まず、本実施形態の中で用いる広視野映像呈示システムの例を、図２乃至図１３とともにいくつか示す。いずれも視聴者の視野を覆うように広視野の映像情報を呈示するシステムであるが、視聴環境を構成する１以上の表示画面の形状、大きさ、数、配置などがそれぞれ異なっている。
【００３９】
（映像呈示システム例１）
図２は広視野映像呈示システム例１を示す図である。図２の広視野映像呈示システムは、３台の平面状の映像表示装置（映像表示画面）１０５〜１０７が設置された部屋を後方から見た様子を示している。視聴環境を構成する１以上の映像表示装置として、部屋の中に映像表示装置１０５、映像表示装置１０６、映像表示装置１０７が設置されており、それらを視聴環境空間内の椅子に座った視聴者１０８が視聴している。映像表示装置１０５は視聴者１０８の正面の壁面に、映像表示装置１０６は視聴者１０８の左側の壁面に、映像表示装置１０７は視聴者１０８の右側の壁面に設置されている。これらの映像表示装置は、例えばプロジェクタによる投影によって実現される。
【００４０】
図３は広視野映像呈示システム例１を示す平面図であり、視聴者１０８の視野を覆うように、映像表示装置１０５〜１０７のそれぞれが視聴環境空間内の異なる位置、方向に設置されている様子を示している。尚、映像表示装置１０５、映像表示装置１０６、映像表示装置１０７は、予め決められた画面サイズ（大きさ）、画素数（解像度）などを有する同一のものであってもよいし、それぞれが異なる任意のものであってもよい。
【００４１】
（映像呈示システム例２）
図４は広視野映像呈示システム例２を示す図である。図４の広視野映像呈示システムは、５台の平面状の映像表示装置（映像表示画面）１０９〜１１３が設置された部屋を後方から見た様子を示している。視聴環境を構成する１以上の映像表示装置として、部屋の中に映像表示装置１０９、映像表示装置１１０、映像表示装置１１１、映像表示装置１１２、映像表示装置１１３が設置されており、それらを視聴環境空間内の椅子に座った視聴者１０８が視聴している。映像表示装置１０９は視聴者１０８の正面の壁面に、映像表示装置１１０は視聴者１０８の左斜め前方に、映像表示装置１１１は視聴者１０８の右斜め前方に、映像表示装置１１２は視聴者１０８の左側の壁面に、映像表示装置１１３は視聴者１０８の右側の壁面に設置されている。これらの映像表示装置１０９〜１１３は、例えばブラウン管テレビ、液晶テレビ、プラズマテレビ、リアプロジェクションテレビ、プロジェクタによる投影画面などによって実現される。
【００４２】
図５は広視野映像呈示システム例２を示す平面図であり、視聴者１０８の視野を覆うように、映像表示装置１０９〜１１３のそれぞれが視聴環境空間内の異なる位置、方向に設置されている様子を示している。尚、映像表示装置１０９、映像表示装置１１０、映像表示装置１１１、映像表示装置１１２、映像表示装置１１３は、予め決められた画面サイズ（大きさ）、画素数（解像度）などを有する同一のものであってもよいし、それぞれが異なる任意のものであってもよい。
【００４３】
（映像呈示システム例３）
図６は広視野映像呈示システム例３を示す図である。図６の広視野映像呈示システムは、円筒の一部を切り取ったような形状のアーチ型スクリーンを用いた映像表示装置（映像表示画面）１１４が設置された部屋を後方から見た様子を示している。視聴環境を構成する１以上の映像表示装置として、部屋の中に映像表示装置１１４が設置されており、それを視聴環境空間内の椅子に座った視聴者１０８が視聴している。映像表示装置１１４は、例えば複数のプロジェクタによる投影によって実現される。
【００４４】
図７は広視野映像呈示システム例３を示す平面図であり、アーチ型スクリーンを用いた映像表示装置１１４が視聴者１０８の視野を覆うように設置されている様子を示している。尚、映像表示装置１１４は、画面サイズ（大きさ）、画素数（解像度）などが予め決められたものであってもよいし、任意のものであってもよい。
【００４５】
（映像呈示システム例４）
図８は広視野映像呈示システム例４を示す図である。図８の広視野映像呈示システムは、球面の一部を切り取ったような形状のドーム型スクリーンを用いた映像表示装置（映像表示画面）１１５が設置された部屋を後方から見た様子を示している。視聴環境を構成する１以上の映像表示装置として、部屋の中に映像表示装置１１５が設置されており、それを視聴環境空間内の椅子に座った視聴者１０８が視聴している。映像表示装置１１５は、例えば複数のプロジェクタによる投影によって実現される。
【００４６】
図９は広視野映像呈示システム例４を示す平面図であり、ドーム型スクリーンを用いた映像表示装置１１５が視聴者１０８の視野を覆うように設置されている様子を示している。尚、映像表示装置１１５は、画面サイズ（大きさ）、画素数（解像度）などが予め決められたものであってもよいし、任意のものであってもよい。
【００４７】
（映像呈示システム例５）
図１０は広視野映像呈示システム例５を示す図である。図１０の広視野映像呈示システムは、平面状の映像表示装置（映像表示画面）に加え、照明装置を設置した部屋を後方から見た様子を示している。視聴環境を構成する１以上の映像表示装置として、部屋の中に映像表示装置１１６、照明装置１１７、照明装置１１８、照明装置１１９、照明装置１２０、照明装置１２１、照明装置１２２、照明装置１２３が設置されている。なお、図１０では視聴者を図示しなかった。映像表示装置１１６が視聴者の図によって隠れてしまうためである。映像表示装置１１６は、例えばブラウン管テレビ、液晶テレビ、プラズマテレビ、リアプロジェクションテレビ、プロジェクタによる投影画面などによって実現される。照明装置１１７〜１２３は、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の３色のＬＥＤを用いた照明装置によって実現される。
【００４８】
図１１は広視野映像呈示システム例５を示す平面図であり、映像表示装置１１６が視聴者１０８の正面に設置され、照明装置１１７〜１２３のそれぞれが視聴者１０８の誘導視野や補助視野を覆うように視聴環境空間内の異なる位置、方向に設置されている様子を示している。
【００４９】
ここで、照明装置１１７〜１２３は、非常に低解像度の映像表示装置（映像表示画面）として用いており、入力された映像信号に従って制御される。また、図１０，１１の広視野映像呈示システムでは、それぞれの照明装置の下側の壁面を照らすよう配置した例を示しているが、これはあくまで一例である。他に、部屋の下側（床側）に設置し照明装置の上部の壁面を照らすもの、照明装置の周りの壁面を照らすもの、照明装置自体が光るものなど、様々な照明装置が考えられ、それらのいずれを使用しても良いし、組み合わせて使用しても良い。また、これらの照明装置は、単に照明の輝度を変更できるだけのものの他、照明光の色相、彩度、輝度を制御可能なものなど、様々な種類の照明装置を使っても良い。さらに、照明装置１１７〜１２３は、予め決められた大きさ、解像度などを有する同一のものであってもよいし、それぞれが異なる任意のものであってもよい。
【００５０】
このように、本発明においては、液晶テレビ等の映像表示装置だけではなく照明装置も映像表示装置であり、表示可能な映像解像度が異なる装置であるとして扱っている。また、先に説明したように、人間の視野のうち誘導視野や補助視野においては弁別能力が低く、刺激の存在や簡単な識別ができる程度の認識能力しかない。よって、視野の周辺部分においては照明装置によって色の刺激を呈示するだけでも臨場感を高める効果が期待できる。
【００５１】
（映像呈示システム例６）
図１２は広視野映像呈示システム例６を示す図である。図１２の広視野映像呈示システムは、視聴環境を構成する１以上の映像表示装置として、部屋の中に映像表示装置１０９、映像表示装置１１０、映像表示装置１１１、照明装置１２２、照明装置１２３が設置されており、それらを視聴環境空間内の椅子に座った視聴者１０８が視聴している様子を示している。図４，５で示した映像呈示システム例２と、図１０，１１で示した映像呈示システム例５とを組み合わせた構成となっている。映像表示装置１０９は視聴者１０８の正面の壁面に、映像表示装置１１０は視聴者１０８の左斜め前方に、映像表示装置１１１は視聴者１０８の右斜め前方に、照明装置１２２は視聴者１０８の左側の壁面に、照明装置１２３は視聴者１０８の右側の壁面に設置されている。
【００５２】
図１３は広視野映像呈示システム例６を示す平面図であり、視聴者１０８の正面〜左右の前方には映像表示装置１０９〜１１１が設置され、視聴者１０８の視野の周辺部分には照明装置１２２，１２３が設置されている様子を示している。図４，５で示した映像呈示システム例２と、図１０，１１で示した映像呈示システム例５を組み合わせたものとなっている。このように、映像表示装置と照明装置を混在して用いてもかまわない。
【００５３】
以上のように、一概に広視野映像呈示システムと言っても、具体的には様々な種類、形状、大きさ、解像度、配置位置及び方向の映像表示装置や照明装置の組み合わせが考えられる。よって、どのような広視野映像呈示システムを前提にして広視野映像を作成するか、また、ある広視野映像呈示システムを前提にして作成した広視野映像を、他の広視野映像呈示システムに合わせて変換し、適切に表示するにはどうするか、ということが問題になる。尚、上述した６つの映像呈示システムはあくまで例であって、これら以外にも様々な映像呈示システムが考えられることは言うまでもない。
【００５４】
そこで、仮想的な視聴環境として上述した複数の映像呈示システムのいずれかを用いて製作された広視野映像情報を送信するとともに、この広視野映像情報を実際の視聴環境に応じて変換し正しく再生することが可能な広視野映像送受信システムについて、本発明の実施形態として以下詳細に説明する。
【００５５】
（第１の実施形態）
本発明の第１の実施形態に係る広視野映像送受信システムについて、図１４乃至図１６とともに説明する。
図１４は本実施形態の広視野映像送受信システムにおける送信側装置を示すブロック図である。本実施形態の広視野映像送受信システムにおける送信側装置は、１つ以上のカメラ２０１によって撮影された映像情報を元に、広視野映像データ生成部２０２で、上述した広視野映像呈示システムのいずれかを構成する１つ以上の映像表示装置のそれぞれに出力するための複数の映像情報を生成する。
【００５６】
このとき、複数の映像情報を生成するためには、映像出力先（視聴者側）の映像呈示システムを構成する１以上の表示画面の形状、大きさ、解像度、配置位置及び方向などが把握されていなければならない。しかし、それは放送局側（映像送信側）では把握することができない。そこで、広視野映像データ生成部２０２では、ある仮想的な視聴環境を構成する映像呈示システムを仮定し、仮想的な映像呈示システムを前提として複数の映像情報を生成する。この仮想的な映像呈示システム、すなわち、仮想的な視聴環境を構成する各表示画面の種類、形状、大きさ、解像度、配置位置及び方向などを表わす情報を、本明細書では仮想映像呈示システム情報と呼ぶことにする。
【００５７】
尚、仮想映像呈示システム情報は、後述するように、仮想的な視聴環境を構成する表示画面に含まれる各画素の位置及び大きさを特定することが可能な情報であり、この各画素位置及び大きさを直接的、間接的に表わすための情報を含んでいる限り、特定のものに限定されない。
この仮想映像呈示システム情報は、メモリ２０３に記録されており、広視野映像データ生成部２０２は、メモリ２０３に記録された仮想映像呈示システム情報に基づき、１つ以上のカメラ２０１によって撮影された映像情報を処理して、仮想映像呈示システムに応じた１つ以上の映像情報（広視野映像情報）を生成する。
【００５８】
この１以上の映像情報をエンコード処理部２０４で圧縮し、１以上の映像ストリームにする。多重化処理部２０５で１以上の映像ストリームを多重化して１つの多重化ストリームにする。送信部２０６は、放送電波にこの多重化ストリームデータを乗せる。
【００５９】
図１５は本発明の第１の実施形態に係る広視野映像送受信システムにおける受信側装置を示すブロック図である。本実施形態の広視野映像送受信システムにおける受信側装置の映像処理装置２０７の内部では、まず放送電波を受信部２０８で受信し多重化ストリームデータを取り出す。この多重化ストリームデータを多重化データ分離処理部２０９でそれぞれの映像ストリームに分離する。これらの映像ストリームは圧縮されたデータなので、デコード処理部２１０で展開する。
【００６０】
ここで、映像受信側（視聴者側）の視聴環境、すなわち、受信側で実際に設置されている広視野映像呈示システムにおける１以上の表示画面の形状、大きさ、解像度、配置位置及び方向について考える。この視聴者側の実際の映像呈示システム、すなわち、実際の視聴環境を構成する各表示画面の種類、形状、大きさ、解像度、配置位置及び方向などを表わす情報を、本明細書では実映像呈示システム情報と呼ぶ。
【００６１】
もし、実映像呈示システムが仮想映像呈示システムに等しければ、デコード処理部２１０で展開した映像データをそのまま表示部２１３に出力すればよい。例えば、仮想映像呈示システムが図２，３で示したものであり、実映像呈示システムも図２，３に示したものである場合や、仮想映像呈示システムが図１２，１３で示したものであり、実映像呈示システムも図１２，１３に示したものである場合である。
【００６２】
しかし、実映像呈示システムが仮想映像呈示システムと異なる場合は、デコード処理部２１０で展開した映像データをそのまま出力することができない。例えば、仮想映像呈示システムが図２，３で示したものであり、実映像呈示システムが図４，５に示したものである場合や、仮想映像呈示システムが図８，９で示したものであり、実映像呈示システムが図１２，１３に示したものである場合である。
【００６３】
このような場合は、仮想映像呈示システム情報に従って生成された映像データを、実映像呈示システムに合うように変換処理を行う必要がある。この変換処理を行うのが、映像変換処理部２１１である。メモリ２１２には、仮想映像呈示システム情報と実映像呈示システム情報を記録しておく。それら両情報を用いて映像変換処理部２１１で映像データの変換処理を行った後、表示部２１３に出力する。
【００６４】
ここで、上述した仮想映像呈示システム情報、実映像呈示システム情報について、以下詳細に説明する。
仮想映像呈示システム情報の一例を図１６に示す。仮想映像呈示システム情報は第一階層（視聴環境の概要情報）と第二階層（個々の画面の詳細情報）とに分けることができる。第一階層（視聴環境の概要情報）には、「画面数」情報が含まれており、いくつの画面で構成された仮想映像呈示システムなのかを識別するための情報が記述されている。
【００６５】
第二階層（個々の画面の詳細情報）には、「画面番号」、「画面形状」、「画面位置」、「画面方向」、「曲率半径」、「焦点角度」、「画面サイズ」、「画素数」情報が含まれており、これらの情報を組み合わせることにより、仮想映像呈示システムを構成する表示画面に含まれる各画素の三次元位置及び大きさを求めることができる。
【００６６】
「画面番号」情報は、仮想映像呈示システムにおける表示画面を特定するための情報であり、表示画面それぞれに識別番号が付されている。「画面形状」情報は、仮想映像呈示システムにおける表示画面の形状種別を表わす情報であり、ここでは平面、円柱、球面（ドーム状）等の形状種別が記述されている。「画面位置」情報は、仮想映像呈示システムにおける画面の配置位置を表わす情報であり、表示画面の中心位置の三次元座標が記述されている。「画面方向」情報は、仮想映像呈示システムにおける画面の配置方向を表わす情報であり、表示画面の中心から見た、映像を出力する方向を示すベクトル等が記述されている。
【００６７】
ここで、仮想映像呈示システム情報は、図２０（Ａ）に示すように、仮想視聴空間における観察者の視点位置を原点とし、観察者の背中側をｘ軸とした座標系を用いるものとする。
【００６８】
また、「画面サイズ」情報は、仮想映像呈示システムにおける表示画面の形状が平面である場合に、該表示画面の垂直方向及び水平方向の長さ（寸法）が記述されている。「画素数」情報は、仮想映像呈示システムにおける表示画面の画素数を表わす情報であり、表示画面の垂直方向及び水平方向の画素の数が記述されている。尚、「画面サイズ」情報と「画素数」情報とから、表示画面の解像度や各画素の大きさが分かる。
【００６９】
さらに、仮想映像呈示システムの表示画面の形状が曲面である場合、有効なパラメータとして「曲率半径」情報及び「焦点角度」情報が含まれている。「曲率半径」情報は、仮想映像呈示システムにおける曲面状の表示画面の形状を表わす情報であり、表示画面の曲線の曲がり具合が曲率半径で記述されている。「焦点角度」情報は、仮想映像呈示システムにおける曲面状の画面の大きさを表わす情報であり、表示画面の焦点から見た画面の大きさを焦点角度で記述されている。
【００７０】
図１７に、上記仮想映像呈示システム情報を用いて、前述した映像呈示システム例１から６を表現した表を例として示す。「画面数」、「画面形状」情報は、前述した映像呈示システム例１から６に従った値を記述した。「画面番号」、「画面位置」、「画面方向」、「曲率半径」、「焦点角度」、「画面サイズ」、「画素数」情報については、具体的な値を一例として与えた。また、「画面方向」情報は、長さ１０００ｍｍのベクトルの値として記述した。
【００７１】
映像呈示システム例１は、３台の平面状の映像表示装置（映像表示画面）１０５〜１０７からなるため、「画面数」は３である。「画面番号」０の情報が映像表示装置１０６に、「画面番号」１の情報が映像表示装置１０５に、「画面番号」２の情報が映像表示装置１０７に、それぞれ該当する。各表示装置はいずれも平面状であるため、「曲率半径」、「焦点角度」情報は無く、「画面サイズ」情報で画面の大きさを記述している。各映像表示装置の1画素の大きさは縦2mm、横2mmの場合を例としており、「画面サイズ」、「画素数」情報からこれを求めることができる。
【００７２】
映像呈示システム例２は、５台の平面状の映像表示装置（映像表示画面）１０９〜１１３からなるため、「画面数」は５である。「画面番号」０の情報が映像表示装置１１２に、「画面番号」１の情報が映像表示装置１１０に、「画面番号」２の情報が映像表示装置１０９に、「画面番号」３の情報が映像表示装置１１１に、「画面番号」４の情報が映像表示装置１１３に、それぞれ該当する。各表示装置はいずれも平面状であるため、「曲率半径」、「焦点角度」情報は無く、「画面サイズ」情報で画面の大きさを記述している。各映像表示装置の1画素の大きさは縦2mm、横2.5mmの場合を例としており、「画面サイズ」、「画素数」情報からこれを求めることができる。
【００７３】
映像呈示システム例３は、１台の、円筒の一部を切り取ったような形状のアーチ型スクリーンを用いた映像表示装置（映像表示画面）１１４からなるため、「画面数」は１である。「画面番号」０の情報が映像表示装置１１４に該当する。映像表示装置１１４は円筒状の形状であるため、「画面形状」情報は“円柱”である。横方向の画面サイズは「曲率半径」と「焦点角度」情報を用いて記述し、縦方向の画面サイズは「画面サイズ」情報を用いて記述している。映像表示装置１１４の１画素の大きさは縦1mm、横1mmの場合を例としており、「曲率半径」、「焦点角度」、「画面サイズ」、「画素数」情報からこれを求めることができる。
【００７４】
映像呈示システム例４は、１台の、球面の一部を切り取ったような形状のドーム型スクリーンを用いた映像表示装置（映像表示画面）１１５からなるため、「画面数」は１である。「画面番号」０の情報が映像表示装置１１５に該当する。映像表示装置１１５は球面状の形状であるため、「画面形状」情報は“球面”である。横方向および横方向の画面サイズは「曲率半径」と「焦点角度」情報を用いて記述している。「画素数」情報は、縦3000画素、横４０００画素の場合を例とした。球面において、このように縦横の数で画素数を指定した場合、画面上の場所によって画素の大きさが異なることになる。
【００７５】
映像呈示システム例５は、1台の平面状の映像表示装置（映像表示画面）１１６と、7台の照明装置１１７〜１２３からなるため、「画面数」は８である。「画面番号」０の情報が照明装置１２２に、「画面番号」１の情報が照明装置１２０に、「画面番号」２の情報が照明装置１１８に、「画面番号」３の情報が照明装置１１７に、「画面番号」４の情報が照明装置１１９に、「画面番号」５の情報が照明装置１２１に、「画面番号」６の情報が照明装置１２３に、「画面番号」７の情報が映像表示装置１１６に、それぞれ該当する。各映像表示装置はいずれも平面状であり、各照明装置が照明する領域も平面状であるため、「曲率半径」、「焦点角度」情報は無く、「画面サイズ」情報で画面の大きさを記述している。また、映像表示装置１１６は、画素数が横１３６６画素、縦７６８画素の、３７インチサイズのテレビを想定し、「画面サイズ」、「画素数」情報を記述した。さらに、照明装置１１７〜１２３は、１画素のみを持つ映像表示装置として扱っており、「画面サイズ」情報は、照明によって照らされる領域の大きさを、「画素数」情報は、縦１画素、横１画素と記述した。
【００７６】
映像呈示システム例６は、３台の平面状の映像表示装置（映像表示画面）１０９〜１１１と、２台の照明装置１２２〜１２３からなるため、「画面数」は５である。「画面番号」０の情報が照明装置１２２に、「画面番号」１の情報が映像表示装置１１０に、「画面番号」２の情報が映像表示装置１０９に、「画面番号」３の情報が映像表示装置１１１に、「画面番号」４の情報が照明装置１２３に、それぞれ該当する。各映像表示装置はいずれも平面状であり、各照明装置が照明する領域も平面状であるため、「曲率半径」、「焦点角度」情報は無く、「画面サイズ」情報で画面の大きさを記述している。映像表示装置１０９〜１１１の１画素の大きさは縦2mm、横2.5mmの場合を例としており、「画面サイズ」、「画素数」情報からこれを求めることができる。また、照明装置１２２〜１２３は、１画素のみを持つ映像表示装置として扱っており、「画面サイズ」情報は、照明によって照らされる領域の大きさを、「画素数」情報は、縦１画素、横１画素と記述した。
以上のように、仮想映像呈示システム情報を用いて、映像呈示システムを記述することが可能である。
【００７７】
尚、仮想映像呈示システム情報とは、上述したとおり、仮想映像呈示システムを構成する表示画面に含まれる各画素の視聴環境空間内の三次元位置及び大きさを特定するために必要な情報であり、もちろん上記以外の情報であってもよい。例えば、仮想映像呈示システムを構成する表示画面に含まれる各画素の三次元位置情報そのものを送信してもよいし、仮想映像呈示システムを構成する表示画面を三次元関数に近似して各画素の三次元位置が求まるようにしてもよいことは明らかである。さらに、各画素の大きさが予め規格化されて決められているような場合は、各画素の大きさを特定するために必要な情報は不要であることは言うまでもない。
【００７８】
次に、実映像呈示システム情報を図１８に示す。実映像呈示システム情報も上記仮想映像呈示システム情報と同様、第一階層（視聴環境の概要情報）と第二階層（個々の画面の詳細情報）とに分けることができる。第一階層（視聴環境の概要情報）には、「観察者位置」情報及び「画面数」情報が含まれている。「観察者位置」情報は、実際の観測者の位置を表わす情報であり、観測者の視聴環境空間内の三次元座標が記述されている。室内の椅子の位置など、観測者が存在する可能性の高い座標を指定しておいても良いし、カメラ等を用いて観測者の位置をセンシングし、その情報を随時「観測者位置情報」に反映させても良い。「画面数」情報は、いくつの画面で構成された実映像呈示システムなのかを識別するための情報が記述されている。
【００７９】
ここで、実映像呈示システム情報は、図２０（Ｂ）に示すように、実視聴空間（部屋）の向かって左下隅を原点とし（もちろん、他の点を原点としてもよい）、観察者の背中側をｘ軸とした座標系を用いるものとする。
【００８０】
第二階層（個々の画面の詳細情報）には、「画面番号」、「画面形状」、「画面位置」、「画面方向」、「曲率半径」、「焦点角度」、「画面サイズ」、「画素数」情報が含まれており、これらの情報を組み合わせることにより、実映像呈示システムを構成する表示画面に含まれる各画素の三次元位置及び大きさを求めることができる。
【００８１】
「画面番号」情報は、実映像呈示システムにおける表示画面を特定するための情報であり、表示画面それぞれに識別番号が付されている。「画面形状」情報は、実映像呈示システムにおける表示画面の形状種別を表わす情報であり、ここでは平面、円柱、球面（ドーム状）等の形状種別が記述されている。「画面位置」情報は、実映像呈示システムにおける画面の配置位置を表わす情報であり、表示画面の中心位置の三次元座標が記述されている。「画面方向」情報は、実映像呈示システムにおける画面の配置方向を表わす情報であり、表示画面の中心から見た、映像を出力する方向を示すベクトル等が記述されている。
【００８２】
また、「画面サイズ」情報は、実映像呈示システムにおける表示画面の形状が平面である場合に、該表示画面の垂直方向及び水平方向の長さ（寸法）が記述されている。「画素数」情報は、実映像呈示システムにおける表示画面の画素数を表わす情報であり、表示画面の垂直方向及び水平方向の画素の数が記述されている。尚、「画面サイズ」情報と「画素数」情報とから、表示画面の解像度や各画素の大きさが分かる。
【００８３】
さらに、実映像呈示システムの表示画面の形状が曲面である場合、有効なパラメータとして「曲率半径」情報及び「焦点角度」情報が含まれている。「曲率半径」情報は、実映像呈示システムにおける曲面状の表示画面の形状を表わす情報であり、表示画面の曲線の曲がり具合が曲率半径で記述されている。「焦点角度」情報は、実映像呈示システムにおける曲面状の画面の大きさを表わす情報であり、表示画面の焦点から見た画面の大きさを焦点角度で記述されている。
【００８４】
図１９に、上記実映像呈示システム情報を用いて、前述した映像呈示システム例１から６を表現した表を例として示す。「観察者位置」情報は、各映像呈示システム例の中央で、観察者が椅子に座った場合の目の位置を例として記述した。「画面数」、「画面形状」情報は、前述した映像呈示システム例１から６に従った値を記述した。「画面番号」、「画面位置」、「画面方向」、「曲率半径」、「焦点角度」、「画面サイズ」、「画素数」情報については、具体的な値を一例として与えた。また、「画面方向」情報は、長さ１０００ｍｍのベクトルの値として記述した。
各映像呈示システム例に関する記述の詳細については、「観察者位置」情報以外の項目は図１７の例と同一であるため、ここでは省略する。
【００８５】
尚、実映像呈示システム情報とは、上述したとおり、実映像呈示システムを構成する表示画面に含まれる各画素の視聴環境空間内の三次元位置及び大きさを特定するために必要な情報であり、もちろん上記以外の情報であってもよい。例えば、実映像呈示システムを構成する表示画面に含まれる各画素の三次元位置情報そのものを送受信するようにしてもよいし、実映像呈示システムを構成する表示画面を三次元関数に近似し、この三次元関数を送受信することで、各画素の三次元位置が求まるようにしてもよいことは明らかである。さらに、各画素の大きさが予め規格化されて決められているような場合は、各画素の大きさを特定するために必要な情報は不要であることは言うまでもない。
【００８６】
また、実映像呈示システムを構成する表示画面に含まれる各画素の視聴環境空間内の三次元位置及び大きさが予め決められた複数の代表モデル（例えば、上述した実映像呈示システム例１〜６）を定めておくことにより、この代表モデルを識別する情報を実映像呈示システム情報としてもよい。
また、本実施形態においては、観察者の位置に応じて実映像呈示システムで呈示する映像の位置を可変するため、上述したとおり、実映像呈示システム情報に「観察者位置」情報が含まれているが、観察者の位置に関わらず実映像呈示システムで呈示する映像の位置を一定にする場合は、この「観察者位置」情報は不要となる。
【００８７】
次に、映像変換処理部２１１における変換方法の一例について、以下説明する。
前述したように、仮想映像呈示システムを前提に生成された映像データを、実映像呈示システムに適合するように変換して表示する必要があり、映像変換処理部２１１では、観測者から見て、映像データを仮想表示画面上に表示したのと同じように見えるように、実表示画面上に表示する処理を行う。具体的には、仮想映像呈示システムを構成する表示画面の各画素の画素値から、実映像呈示システムを構成する表示画面の各画素に表示する最適な画素値を求める。
【００８８】
図２１を用いて、具体的な映像変換処理の方法の一例を説明する。
図２１は、図２，３に示した広視野映像呈示システム例１と、図６，７に示した広視野映像呈示システム例３とを重ねて図示している。ここでは、広視野映像呈示システム例３が仮想映像呈示システムであり、広視野映像呈示システム例１が実映像呈示システムである。なお、映像表示装置１１４は広視野映像呈示システム例３における仮想的な表示装置（表示画面）であり、映像表示装置１０５、映像表示装置１０６、映像表示装置１０７は広視野映像呈示システム例１における実際の表示装置（表示画面）である。
【００８９】
実映像呈示システムを構成する映像表示装置１０６（以下、実画面とする）上の画素１２７に表示すべき画素値は、仮想映像呈示システムを構成する映像表示装置１１４（以下、仮想画面とする）上の画素１２６の画素値から求めることができる。
【００９０】
まず、仮想映像呈示システムの座標系上で表現されている観察者１０８や仮想画面１１４を、実映像呈示システムの座標系上における表現に変換する。これは、座標系間の回転や平行移動によって成される。観察者が動いた場合は、相対的位置関係を変えることで、それを反映させることができる。
【００９１】
次に、仮想画面と、実画面の上の、各画素の座標位置を取得する。表示画面の大きさ、形状、配置と、画素配列方法、画素数がわかっていれば、表示画面上の各画素の三次元位置情報は関数で表すことができるため、画素１２７が実画面１０６上の水平h1、垂直v1の位置の画素であるとすれば、その位置座標は、(fx(h1,v1),fy(h1,v1),fz(h1,v1))と表すことができる。また、視聴者１０８の視点１２４の位置座標を(xv,yv,zv)とすれば、画素１２７と視点１２４を結ぶ直線を表す関数は、両点(fx(h1,v1),fy(h1,v1),fz(h1,v1))と(xv,yv,zv)とから求めることができ、この直線を直線１２５とする。
【００９２】
ここで、仮想画面１１４上の各画素の三次元位置情報も関数で表現することが可能であるため、本関数に直線１２５の式を代入して解けば、交点１２６の位置座標を算出することができ、仮想画面１１４上の交点１２６における画素値を実画面１０６上の画素１２７の画素値とすればよい。
【００９３】
もし、交点１２６が仮想画面１１４上の画素に一致しない場合、交点１２６の最近傍の画素値を取ってもよいし、近傍３点の画素値から内挿してもよいし、近傍４点の画素値から内挿してもよい。あるいは、もっと多くの画素値から内挿して、実画面１０６上の画素１２７に表示すべき画素値を決定してもよいし、さらには、他の方法で実画面１０６上の画素１２７に表示すべき画素値を決定してもよい。
【００９４】
また、直線１２５と仮想画面１１４との交点が存在しない場合は、画素値を０（黒い画素）にしてもよいし、背後の壁の色と同じにしてもよいし、直線１２５に最近傍の仮想画面１１４上の画素値を持ってきてもよい。さらには、他の方法で実画面１０６上の画素１２７に表示すべき画素値を決定してもよい。
実画面１０６のその他の点（画素）においても上記と同様の処理を行うことで、仮想画面１１４上の画素値を用いて、実画面１０６上の画素値を決定することが可能である。また、実画面１０５や実画面１０７上の各画素についても上記と同様の方法で、仮想画面１１４上の画素値を用いて、実画面上に表示すべき画素値を決定することが可能である。このような処理を行うことで、仮想映像呈示システムを構成する表示画面（仮想画面）に表示するための映像データから、実映像呈示システムを構成する表示画面（実画面）に表示するための映像データへの変換処理を行うことが可能である。
【００９５】
尚、視聴者（観察者）の視点位置１２４は、通常視聴者が座る位置における視点位置を定めておいても良いし、３次元位置センサを用いてリアルタイムに計測してもかまわない。後者の場合は、視聴者がその位置を移動したりしても、仮想映像呈示システム情報における観測者の視点位置（原点）からの実映像呈示システム情報の観測者視点位置のずれ幅を表示画面にも対応させて、各画素の位置を平行移動させることで、観測者の視聴位置に応じた広視野映像を表示することが可能である。
【００９６】
さらに、映像変換処理部２１１における変換方法の他の例について説明する。
ここでは、図４，５に示した広視野映像呈示システム例２が仮想映像呈示システムであり、図１２，１３に示した広視野映像呈示システム例６が実映像呈示システムである場合について考える。映像表示装置１０９〜１１１は、図４，５に示した広視野映像呈示システム例２でも図１２，１３に示した広視野映像呈示システム例６でも同じ配置で同じ装置であるため、映像データの変換処理の必要は無くそのまま出力すればよい。
【００９７】
一方、映像表示装置１１２に呈示するための映像データは、画面全体を平均化する処理を行い、照明装置１２２で呈示する。同様に映像表示装置１１３に呈示するための映像データも画面全体で平均化する処理を行い、照明装置１２３で呈示する。このような処理を行うことで、仮想映像呈示システムを構成する表示画面（仮想画面）に表示するための映像データから、実映像呈示システムを構成する表示画面（実画面）に表示するための映像データへの変換処理を行うことが可能である。
【００９８】
また、前記の例とは逆に、図１２，１３に示した広視野映像呈示システム例６が仮想映像呈示システム情報であり、図４，５に示した広視野映像呈示システム例２が実映像呈示システム情報である場合を考える。映像表示装置１０９〜１１１は、図１２，１３でも図４，５でも同じ配置で同じ装置であるため、変換処理の必要は無くそのまま出力すればよい。
【００９９】
一方、照明装置１２２に呈示するための情報は１ピクセル（画素）の映像データとみなせるため、これを高解像度化する変換処理を行い、映像表示装置１１２に呈示する。すなわち、これは、映像表示装置１１２の画面全体に同じ色を出すということである。同様に、照明装置１２３に呈示するための映像情報を高解像度化する変換処理を行い、映像表示装置１１３で呈示する。このような処理を行うことで、仮想映像呈示システムを構成する表示画面（仮想画面）に表示するための映像データから、実映像呈示システムを構成する表示画面（実画面）に表示するための映像データへの変換処理を行うことが可能である。
【０１００】
なお、上記本発明の実施形態は一例であり、広視野映像データ生成部２０２に入力する映像情報としてコンピューターグラフィックスを用いることも可能である。また、映像を圧縮せずに処理する方法、多重化しないで複数のストリームのまま送信する方法も考えられる。さらに、映像データの送受信に関して電波を用いた放送での例を示したが、有線による放送や、ネットワークによるストリーミング放送でも、同様のシステムを適用することが可能である。
【０１０１】
また、ここでは、本実施形態の広視野映像送受信システムを放送システムに適用した場合について説明したが、パッケージメディアに適用することも可能である。すなわち、広視野映像情報を放送波に乗せたり、ネットワークで送信したりする代わりに、一旦パッケージメディアに記録し、それを利用者側の再生装置で再生することも可能である。このように広視野映像情報の伝達手段が異なるだけであり、システムのその他の部分は上記と同様の手段を用いて実現することが可能である。
【０１０２】
（第２の実施形態）
次に、本発明の第２の実施形態に係る広視野映像送受信システムについて、図２２及び図２３とともに説明するが、上記本発明の第１の実施形態と同一部分には同一符号を付し、その説明は省略する。
【０１０３】
図２２は本実施形態の広視野映像送受信システムにおける送信側装置を示すブロック図である。本実施形態の広視野映像送受信システムにおける送信側装置は、図１４とともに上述した第１の実施形態における送信側装置とほぼ同じ構成であるが、異なる点はメモリ２０３から多重化処理部２０５への処理経路が追加されたことである。すなわち、メモリ２０３に記録されている仮想映像呈示システム情報を、多重化処理部２０５で映像情報に多重化して送信する構成としている。仮想映像呈示システム情報は、本発明の第１の実施形態で説明したものをそのまま用いることができるので、ここではその説明を省略する。
【０１０４】
図２３は本実施形態の広視野映像送受信システムにおける受信側装置を示すブロック図である。本実施形態の広視野映像送受信システムにおける受信側装置は、図１５とともに上述した第１の実施形態における受信側装置とほぼ同じ構成であるが、異なる点は多重化データ分離処理部２０９で仮想映像呈示システム情報を分離し、メモリ２１２に送る経路が追加されたことである。すなわち、映像変換処理部２１１は、この仮想映像呈示システム情報と実映像呈示システム情報とを用いて映像データの変換処理を行う。実映像呈示システム情報は、本発明の第１の実施形態で説明したものをそのまま用いることができるので、ここではその説明を省略する。また、映像データの変換処理は、本発明の第１の実施形態で説明したものをそのまま用いることができるので、ここではその説明を省略する。
【０１０５】
このように、仮想映像呈示システム情報を映像情報に付加して送信し、受信側ではその仮想映像呈示システム情報を取得し、この仮想映像呈示システム情報と予めメモリ１２１に記録されている実映像呈示システム情報とを用いて、映像データの変換処理を行うことで、受信側で仮想映像呈示システム情報を持つ必要が無くなる。また、もし複数の広視野映像データがあり、それらがそれぞれ異なる仮想映像呈示システム情報に従って生成されている場合などであっても、それぞれの広視野映像データの生成に用いた各仮想映像呈示システム情報を多重化ストリームから取り出して変換処理に用いることができるので、どのような仮想映像呈示システム情報に従って生成された広視野映像データにも対応することが可能となる。
【０１０６】
なお、上記本発明の実施形態は一例であり、広視野映像データ生成部２０２に入力する映像情報としてコンピューターグラフィックスを用いることも可能である。また、映像を圧縮せずに処理する方法、多重化しないで複数のストリームのまま送信する方法も考えられる。さらに、映像データの送受信に関して、電波を用いた放送での例を示したが、有線による放送や、ネットワークによるストリーミング放送でも、同様のシステムを適用することが可能である。
【０１０７】
また、ここでは、本実施形態の広視野映像送受信システムを放送システムに適用した場合について説明したが、パッケージメディアに適用することも可能である。すなわち、広視野映像情報を放送波に乗せたり、ネットワークで送信したりする代わりに、一旦パッケージメディアに記録し、それを利用者側の再生装置で再生することも可能である。このように広視野映像情報の伝達手段が異なるだけであり、システムのその他の部分は上記と同様の手段を用いて実現することが可能である。
【０１０８】
さらに、本実施形態の受信側装置においては、放送波に多重化された仮想映像呈示システム情報を取得して、映像変換処理を行うものについて説明したが、これに限らず、通信ネットワークを介して外部より仮想映像呈示システム情報を取得する構成や、パッケージメディアに記録された仮想映像呈示システム情報を取得する構成としてもよい。また、実映像呈示システム情報は、利用者が手動で入力設定するようにしてもよいし、後述するような自動入力手段を備えるようにしてもよい。
【０１０９】
（第３の実施形態）
次に、本発明の第３の実施形態に係る広視野映像送受信システムについて、図２４乃至図２６とともに説明するが、上記本発明の第１及び第２の実施形態と同一部分には同一符号を付し、その説明は省略する。なお、本実施形態における送信側装置は、図１４、図２２とともに上述した第１及び第２の実施形態のものを適用することが可能であるので、その説明は省略する。
【０１１０】
図２４は本実施形態の広視野映像送受信システムにおける受信側装置を示すブロック図である。本実施形態の広視野映像送受信システムにおける受信側装置は、図１５とともに上述した受信側装置とほぼ同じであるが、映像表示装置情報検出部２１４とカメラ２１５が追加されている。映像表示装置情報検出部２１４は、カメラ２１５で撮影した表示部２１３の画像を解析して実映像呈示システム情報を取得するものである。このように映像表示装置情報検出部２１４とカメラ２１５を備えることで、自動的に実映像呈示システム情報を取得して、仮想映像呈示システム情報との違いを比較し、両者が同一なら映像情報をそのまま出力し、異なっていれば映像変換処理部２１１で変換処理を加えてから映像情報を出力することが可能となる。
【０１１１】
よって、利用者は自分の視聴環境で利用している表示部の種類や配置などを意識することなく、自動的に利用者の視聴環境に応じた映像を出力することが可能となる。また、表示部を交換したり配置を変更したりした場合も、自動的にその変化を認識し、適切な映像変換処理を施して出力することが可能となる。
【０１１２】
ここで、映像表示装置情報検出部２１４とカメラ２１５による実映像呈示システム情報の取得方法の一例を説明する。
図２５は、実映像呈示システム情報の取得方法を示す図である。ここでは、図１２，図１３とともに上述した広視野映像呈示システム例６に、カメラ２１５が加えられた様子を示しており、部屋の後方にカメラ２１５を設置し、各表示部を撮影できるようにしている。なお、部屋の寸法やカメラ２１５の位置は予め計測されているものとする。映像表示装置情報検出部２１４は、カメラ２１５で撮影した画像から各表示部の位置を算出する。以下、その方法をさらに詳しく説明する。
【０１１３】
図２６は映像表示装置情報検出部２１４の内部および周辺を示すブロック図である。映像表示装置情報検出部２１４内の表示部情報読み取り部２１６は、表示部２１３内の表示部内メモリ２１７から表示部２１３の情報を読み込む。この表示部内メモリ２１７には、表示部の種類（映像表示装置か、照明装置か）、形状、大きさ、解像度の情報を予め記録しておく。読み込んだ情報を基準表示情報発生部２１８、３次元位置算出部２１９、メモリ２１２に送る。基準表示情報発生部２１８では、表示部２１３が映像表示装置であった場合は、表示部２１３に測定用のパターン画像を送る。表示部２１３の画面に表示された測定用パターン画像をカメラ２１５で撮影し、３次元位置算出部２１９に送る。３次元位置算出部２１９では送られてきた情報や画像から、カメラ２１５に対する表示部２１３の相対位置を算出する。
【０１１４】
表示部２１３が照明装置である場合には、該表示部の表面の４箇所にＬＥＤを取り付けておき、外部からの信号で点灯するようにしておく。該表示部におけるＬＥＤの位置情報も表示部内メモリ２１７に記録しておく。基準表示情報発生部２１８では、表示部が照明装置であった場合は、表示部２１３にＬＥＤを点灯するよう信号を送る。そのＬＥＤの光をカメラ２１５で撮影し、３次元位置算出部２１９に送る。３次元位置算出部２１９では送られてきた情報や画像から、カメラ２１５に対する表示部２１３の相対位置を算出する。１つ以上の表示部２１３が存在するときにはそれぞれに対して上記の操作を行う。算出された各表示部の位置情報はメモリ２１２に書き込む。
【０１１５】
３次元位置算出部２１９における表示部２１３の位置算出方法についてさらに説明する。大きさが既知である四角いマーカーをカメラで撮影し、撮影した画像における該マーカーの４隅の座標値からカメラとマーカーの３次元相対位置関係を求める技術が、例えば非特許文献２に示されている。この技術を用いれば、３次元位置算出部２１９において表示部２１３の位置を算出することが可能となる。表示部２１３が画像表示装置である場合、３次元位置算出部２１９は表示部内メモリ２１７から読み出した情報からその画面の形状や大きさ、解像度がわかっているため、表示部２１３に表示された測定用パターン画像の実寸や画面上での位置を正確に求めることができる。あるいは、表示部２１３が照明装置である場合も、該表示部上のＬＥＤの位置は既知である。すなわち測定用パターンは既知である。よって、上記技術を用いることで、カメラ２１５と表示部２１３の３次元相対位置関係を求めることができる。カメラ２１５の位置は既知であるため、表示部２１３が部屋の中でどの位置に置かれているかを算出することができる。
【０１１６】
なお、カメラ２１５の位置は図２５に示した位置に限るものではなく、別の場所に設置しても良い。また、カメラを複数用いてもかまわない。さらに、表示部情報読み取り部２１６が表示部内メモリ２１７から情報を読み取る方法については、特に限定するものではない。例えば、有線で行うもの、無線で行うもの、赤外線で行うものが考えられるが、他の手段を用いてももちろんかまわない。
【０１１７】
また、上記したようなカメラ２１５で撮影した画像を解析する手段以外の方法でもかまわない。例えばレーザーレンジファインダを用いて各表示部の形状を計測し、配置を求めることも可能である。本発明では、実映像呈示システム情報を取得する手段を特に限定するものではない。
【０１１８】
このようにして、映像表示装置情報検出部２１４によって実映像呈示システム情報を取得し、必要な映像変換処理を自動的に行うことが可能であるので、映像製作者が意図した広視野映像を、視聴者側の実映像呈示システムを用いてより正確に再生することができる。
【０１１９】
また、ここでは、本実施形態の広視野映像送受信システムを放送システムに適用した場合について説明したが、パッケージメディアに適用することも可能である。すなわち、広視野映像情報を放送波に乗せたり、ネットワークで送信したりする代わりに、一旦パッケージメディアに記録し、それを利用者側の再生装置で再生することも可能である。このように広視野映像情報の伝達手段が異なるだけであり、システムのその他の部分は上記と同様の手段を用いて実現することが可能である。
【０１２０】
尚、本実施形態においては、実映像呈示システム情報を自動的に設定することが可能なものについて説明したが、本発明はこれに限らず、実映像呈示システム情報の各種パラメータを利用者が直接入力するような構成としてもよいことは言うまでもない。
【０１２１】
（第４の実施形態）
次に、本発明の第４の実施形態に係る広視野映像送受信システムについて、図２７及び図２８とともに説明するが、上記本発明の第１乃至第３の実施形態と同一部分には同一符号を付し、その説明は省略する。本実施形態は、本発明の広視野映像送受信システムを放送に適用した場合の、前記第１乃至第３実施形態とは異なる手段を用いた例であり、受信者側（視聴者側）から実映像呈示システム情報を放送局側（映像送信側）に送信し、放送局側ではそれに合わせて広視野映像データを生成するものである。
【０１２２】
図２７は、本実施形態の広視野映像送受信システムにおける送信側装置を示すブロック図である。本実施形態の広視野映像送受信システムにおける送信側装置は、図１４とともに上述した第１の実施形態の送信側装置とほぼ同じであるが、異なる点は受信部２２０を備えることである。受信部２２０は、受信者側装置から送られてくる実映像呈示システム情報を受け、それをメモリ２０３に書き込む。広視野映像データ生成部２０２はこの実映像呈示システム情報を用いて広視野映像を生成する。
【０１２３】
図２８は、本実施形態の広視野映像送受信システムにおける受信側装置を示すブロック図である。本実施形態の広視野映像送受信システムにおける受信側装置は、図１５とともに上述した第１の実施形態の受信側装置とほぼ同じであるが、異なる点は映像変換処理部２１１が無くなったことと、送信部２２２が付け加えられたことである。メモリ２１２には予め実映像呈示システム情報が記録されている。その実映像呈示システム情報を送信部２２２から放送局側に向けて送信する。
【０１２４】
このような処理を行うことで、放送局側で生成される広視野映像データは常に実映像呈示システムに合わせた映像データとなり、受信側では変換を加えないでそのまま表示部２１３に出力することができる。よって、図１５に示す装置には必要であった映像変換処理部２１１を不要とすることができる。
【０１２５】
（第５の実施形態）
次に、本発明の第５の実施形態に係る広視野映像送受信システムについて、図２９とともに説明するが、上記本発明の第１乃至第４の実施形態と同一部分には同一符号を付し、その説明は省略する。本実施形態は、本発明の広視野映像送受信システムを放送に適用した場合の、第１乃至第４実施形態とは異なる手段を用いたさらに異なる例である。なお、本実施形態の広視野映像送受信システムにおける放送局側における処理のブロック図は、図２７に示す第４の実施形態の送信側装置と同一であるため省略する。
【０１２６】
図２９は、本実施形態の広視野映像送受信システムにおける受信側装置を示すブロック図である。本実施形態の広視野映像送受信システムにおける受信側装置は、図２７で説明した第４の実施形態の受信側装置とほぼ同じであるが、メモリ２１２を削除し映像表示装置情報検出部２１４とカメラ２１５を追加したものである。映像表示装置情報検出部２１４は、カメラ２１５で撮影した画像を用い実映像表示システム情報を取得するものである。この取得方法の具体例は、図２５，２６を用いて上述したものと同一であるため、ここでは省略する。
【０１２７】
このように、映像表示装置情報検出部２１４を備えることで、自動的に実映像表示システム情報を取得して、その実映像表示システム情報を送信部２２２から放送局側に送信する。このような処理を行うことで、利用者は自分の受信環境で利用している表示部の種類や配置を意識することなく、自動的にそれに合わせて映像を出力することが可能となる。また、表示部を交換したり配置を変更したりした場合も、自動的にその変化を認識し、適切に映像を出力することが可能となる。
【０１２８】
なお、上記本発明の実施形態は一例であり、広視野映像データ生成部２０２に入力する映像情報としてコンピューターグラフィックスを用いることも可能である。また、映像を圧縮せずに処理する方法、多重化しないで複数のストリームのまま送信する方法も考えられる。さらに、映像データの送受信に関して、電波を用いた放送での例を示したが、有線による放送や、ネットワークによるストリーミング放送でも、同様のシステムを適用することが可能である。受信側が多数存在する場合は、それぞれ異なる広視野映像データを送信しなければならないため、ストリーミング放送への適用の方が容易であると考えられる。
【０１２９】
また、広視野映像送受信システムの第４の実施形態および第５の実施形態を適用するためには、受信側から放送局側への何らかの上りの通信回線が必要である。ネットワークならば上りの通信も容易である。有線放送の場合はケーブルネットワークが利用可能かもしれないが、別途何らかの上り回線を用意する必要がある。電波による放送の場合も別途何らかの上り回線を用意する必要があるが、本発明においては、通信回線の種類は問わない。
【０１３０】
以上詳述したとおり、本発明の広視野映像送受信システムの各実施形態は、以下のような技術手段を有している。
広視野な映像を生成・表示する広視野映像表示システムにおいて、１以上の表示部から成る仮想的な映像呈示システムにおけるそれぞれの表示部の形状、大きさ、解像度、配置等の情報を設定し、該情報に基づいて１以上の映像情報を生成する映像データ生成部と、前記１以上の映像情報を表示するための１以上の表示部から成る実際の映像呈示システムを備えている。
【０１３１】
前記実際の映像呈示システムにおけるそれぞれの表示部の形状、大きさ、解像度、配置などが、前記仮想的な映像呈示システムのそれぞれの表示部の形状、大きさ、解像度、配置などと同一であってもよい。
【０１３２】
前記実際の映像呈示システムにおけるそれぞれの表示部の形状、大きさ、解像度、配置などが、前記仮想的な映像表示システムのそれぞれの表示部の形状、大きさ、解像度、配置などと異なっており、前記１以上の映像情報を前記実際の映像呈示システムのそれぞれの表示部で表示できるよう変換処理を行う映像変換処理部を備えている。
【０１３３】
前記１以上の映像情報と共に、前記仮想的な映像呈示システムのそれぞれの表示部の形状、大きさ、解像度、配置などの情報を前記実際の映像表示システムに送るようにしてもよい。
【０１３４】
前記実際の映像呈示システムのそれぞれの表示部の形状、大きさ、解像度、配置などを検出する手段と、検出された形状、大きさ、解像度、配置などが前記仮想的な映像呈示システムのそれぞれの表示部の形状、大きさ、解像度、配置などと同一であるかどうかを判定する手段を備え、判定結果が同一である場合は前記１つ以上の映像情報をそのまま前記実際の映像呈示システムに出力し、同一ではない場合は変換処理を行った後に前記実際の映像呈示システムに出力するようにしてもよい。
【０１３５】
前記１以上の映像情報および前記仮想的な映像呈示システムのそれぞれの表示部の形状、大きさ、解像度、配置などの情報を放送によって送信するようにしてもよい。
前記１以上の映像情報および前記仮想的な映像呈示システムのそれぞれの表示部の形状、大きさ、解像度、配置などの情報をネットワークによって送信するようにしてもよい。
前記１以上の映像情報および前記仮想的な映像呈示システムのそれぞれの表示部の形状、大きさ、解像度、配置などの情報を記録した記録媒体によって伝達するようにしてもよい。
【０１３６】
１以上のカメラによる映像を用いて、前記１以上の映像情報を生成するようにしてもよい。
コンピュータによって合成された映像を用いて、前記１以上の映像情報を生成するようにしてもよい。
【０１３７】
前記仮想的な映像呈示システムのそれぞれの表示部は、球面状の表示部であってもよい。
前記仮想的な映像呈示システムのそれぞれの表示部は、円筒状の表示部であってもよい。
前記仮想的な映像呈示システムのそれぞれの表示部は、複数の平面状の表示部の組み合わせであってもよい。
前記仮想的な映像呈示システムのそれぞれの表示部は、上述した仮想的な映像呈示システムの表示部を組み合わせたものであってもよい。
前記仮想的な映像呈示システムのそれぞれの表示部と前記実際の映像呈示システムのそれぞれの表示部のいずれかあるいは両方に、複数の画素を有する表示装置を用いてもよい。
前記仮想的な映像呈示システムのそれぞれの表示部と前記実際の映像呈示システムのそれぞれの表示部のいずれかあるいは両方に、照明装置を用いてもよい。
前記仮想的な映像呈示システムのそれぞれの表示部と前記実際の映像呈示システムのそれぞれの表示部のいずれかあるいは両方に、複数の画素を有する表示装置または照明装置を混在させて用いてもよい。
【０１３８】
映像表示側から映像生成側への情報伝達手段を備え、該情報伝達手段により前記映像表示側における１以上の表示部から成る実際の映像呈示システムの前記それぞれの表示部の形状、大きさ、解像度、配置などの情報を前記映像生成側へ伝達し、該映像生成側では前記情報に従って１以上の映像情報を生成するようにしてもよい。
【０１３９】
前記実際の映像呈示システムのそれぞれの表示部の形状、大きさ、解像度、配置などを検出する手段を備え、該手段によって検出された情報を前記映像生成側に送る処理を行うようにしてもよい。
【０１４０】
前記１以上の映像情報を放送によって送信するようにしてもよい。
前記１以上の映像情報をネットワークによって送信するようにしてもよい。
１以上のカメラによる映像を用いて、前記１以上の映像情報を生成するようにしてもよい。
１以上のカメラによる映像を用いて、前記１以上の映像情報を生成するようにしてもよい。
前記実際の映像呈示システムのそれぞれの表示部として、複数の画素を有する表示装置を用いるようにしてもよい。
前記実際の映像呈示システムのそれぞれの表示部として、照明装置を用いるようにしてもよい。
前記実際の映像呈示システムのそれぞれの表示部として、複数の画素を有する表示装置および照明装置を混在させて用いるようにしてもよい。
【０１４１】
そして、上述したような技術手段により、以下のような効果を奏する。
広視野な映像を生成・表示する広視野映像表示システムにおいて、ある１つ以上の表示部から成る仮想的な映像呈示システムのそれぞれの表示部の形状、大きさ、解像度、配置などを設定し、それに従って１以上の映像情報を生成する映像データ生成部と、前記１以上の映像情報を表示するための１以上の表示部から成る実際の映像呈示システムを備えることで、広視野映像の送受信の枠組みを提供することができる。
【０１４２】
実際の映像呈示システムのそれぞれの表示部の形状、大きさ、解像度、配置などを仮想的な映像呈示システムのそれぞれの表示部の形状、大きさ、解像度、配置などと同一にすることで、そのまま映像を出力するだけで広視野映像を再生することが可能となる。また、実際の映像呈示システムのそれぞれの表示部の形状、大きさ、解像度、配置などが仮想的な映像呈示システムのそれぞれの表示部の形状、大きさ、像度、配置などと異なっている場合でも、映像情報に変換処理を行うことで広視野映像を再生することが可能となる。
【０１４３】
１以上の映像情報と共に、仮想的な映像呈示システムのそれぞれの表示部の形状、大きさ、解像度、配置などの情報を送ることで、受信側で予め仮想的な映像呈示システムのそれぞれの表示部の形状、大きさ、解像度、配置などの情報を持っていなくても送られてきた情報を用いて映像情報に対し処理を行うことが可能となる。また、複数の広視野映像データがあり、それらがそれぞれ異なる仮想的な映像呈示システムのそれぞれの表示部の形状、大きさ、解像度、配置などに従って生成されている場合でも、それぞれの広視野映像データの生成に用いた仮想的な映像呈示システムのそれぞれの表示部の形状、大きさ、解像度、配置などの情報を取り出して変換処理を行うことができるので、どのような実際の映像呈示システムのそれぞれの表示部の形状、大きさ、解像度、配置などにも対応することが可能となる。
【０１４４】
実際の映像呈示システムのそれぞれの表示部の形状、大きさ、解像度、配置などを検出する手段と、検出された形状、大きさ、解像度、配置などが仮想的な映像呈示システムのそれぞれの表示部の形状、大きさ、解像度、配置などと同一であるかどうかを判定する手段を備え、同一である場合は前記１以上の映像情報をそのまま前記実際の映像呈示システムに出力し、同一でない場合は変換処理を行った後に前記実際の映像呈示システムに出力することで、利用者は自分の映像呈示システムで利用している映像表示装置の種類や形状や配置を意識する必要が無く、自動的にそれに合わせて映像を出力することが可能となる。もし、映像表示装置を交換したり、配置を変更したりした場合も、自動的にそれを認識し処理可能となる。
【０１４５】
さらに、広視野な映像を生成・表示するシステムにおいて、映像表示側から映像生成側への情報伝達手段を備え、該情報伝達手段により映像表示側における１以上の表示部から成る実際の映像呈示システムのそれぞれの表示部の形状、大きさ、解像度、配置などの情報を映像生成側へ伝達し、映像生成側では前記情報に従って１以上の映像情報を生成することによって、各利用者の映像表示環境に合わせた映像データを最初から得ることができ、変換処理が不要になる。
【０１４６】
実際の映像呈示システムのそれぞれの表示部の形状、大きさ、解像度、配置などを検出する手段を備え、該手段によって検出された情報を映像生成側に送る処理を行うことで、利用者は自分の映像呈示システムで利用している映像表示装置の種類、形状、配置などを意識する必要が無く、自動的にそれに合わせて映像を出力することが可能となる。もし、映像表示装置を交換したり、配置を変更したりした場合も、自動的にそれを認識し処理可能となる。
【図１】
0005144260.tif 000002
【図２】
0005144260.tif 000003
【図３】
0005144260.tif 000004
【図４】
0005144260.tif 000005
【図５】
0005144260.tif 000006
【図６】
0005144260.tif 000007
【図７】
0005144260.tif 000008
【図８】
0005144260.tif 000009
【図９】
0005144260.tif 000010
【図１０】
0005144260.tif 000011
【図１１】
0005144260.tif 000012
【図１２】
0005144260.tif 000013
【図１３】
0005144260.tif 000014
【図１４】
0005144260.tif 000015
【図１５】
0005144260.tif 000016
【図１６】
0005144260.tif 000017
【図１７】
0005144260.tif 000018
【図１８】
0005144260.tif 000019
【図１９】
0005144260.tif 000020
【図２０】
0005144260.tif 000021
【図２１】
0005144260.tif 000022
【図２２】
0005144260.tif 000023
【図２３】
0005144260.tif 000024
【図２４】
0005144260.tif 000025
【図２５】
0005144260.tif 000026
【図２６】
0005144260.tif 000027
【図２７】
0005144260.tif 000028
【図２８】
0005144260.tif 000029
【図２９】
0005144260.tif 000030