(57)【要約】【課題】多数のユーザが、各ユーザの視点から、動きのある高解像度の画像を視聴することを可能とする。【解決手段】ライトコントロールスクリーン２５を回転させ、プロジェクタ２１１乃至２１Ｎにおいて、ライトコントロールスクリーン２５に対して、複数の方向から撮像した画像データに対応する光を、その方向から照射する（図１０Ａ）。この場合、ライトコントロールスクリーン２５の正面方向が、プロジェクタ２１ｎの方向となったときに、そのプロジェクタ２１ｎが発する光に対応する画像が、ライトコントロールスクリーン２５に表示される（図１０Ｂ）。本発明は、例えば、画像を表示する表示装置に適用できる。【選択図】　　　図１０
2004012644.tif 000002
【特許請求の範囲】
【請求項１】
光を受光することにより、前記光に対応する画像を表示するスクリーンと、
前記スクリーンを、所定の回転軸を中心に回転駆動する駆動手段と、
前記スクリーンに対して、複数の方向から、前記画像に対応する光を照射する照射手段と
を備えることを特徴とする表示装置。
【請求項２】
前記スクリーンは、
受光した光を散乱する散乱板と、
前記散乱板で散乱された光のうち、所定の方向の光のみを通過させる光学フィルタと
を有する
ことを特徴とする請求項１に記載の表示装置。
【請求項３】
前記スクリーンは、平板形状の前記散乱板の両面または１つの面に、前記光学フィルタを配置したものである
ことを特徴とする請求項２に記載の表示装置。
【請求項４】
前記照射手段は、前記スクリーンの回転軸を囲むように、同一平面内に配置された、前記画像に対応する光を発光する複数の発光手段を有する
ことを特徴とする請求項１に記載の表示装置。
【請求項５】
前記複数の発光手段は、その光軸が、前記スクリーンの回転軸上の同一の点で交わるように配置されている
ことを特徴とする請求項４に記載の表示装置。
【請求項６】
前記照射手段は、
前記画像に対応する光を、広角に発光する広角発光手段と、
前記広角発光手段が発光した光を、前記スクリーンの方向に反射する反射手段と
を有する
ことを特徴とする請求項１に記載の表示装置。
【請求項７】
前記照射手段は、被写体を撮像する、前記被写体を囲むように、同一平面内に配置された複数の撮像手段によって撮像された前記被写体の画像に対応する光を照射する
ことを特徴とする請求項１に記載の表示装置。
【請求項８】
前記照射手段は、前記被写体に対する前記複数の撮像手段の位置それぞれに対応する前記複数の方向それぞれから、前記画像に対応する光を照射する
ことを特徴とする請求項７に記載の表示装置。
【請求項９】
前記照射手段は、前記複数の撮像手段それぞれによって撮像された前記被写体の画像に対応する光を発光する複数の発光手段を有する
ことを特徴とする請求項８に記載の表示装置。
【請求項１０】
前記複数の発光手段は、それぞれの光軸の位置関係が、前記複数の撮像手段それぞれの光軸の位置関係と相似になるように配置されている
ことを特徴とする請求項９に記載の表示装置。
【請求項１１】
前記照射手段は、
前記画像に対応する光を、広角に発光する広角発光手段と、
前記広角発光手段が発光した光を、前記スクリーンの方向に反射する反射手段と
を有し、
前記反射手段によって反射された光が前記スクリーンで受光されることにより表示される画像が、前記複数の撮像手段によって撮像された前記被写体の画像になるように、前記複数の撮像手段によって撮像された前記被写体の画像を変換する変換手段をさらに備え、
前記広角発光手段は、前記変換手段により変換された画像に対応する光を発光する
ことを特徴とする請求項７に記載の表示装置。
【請求項１２】
２以上のセットの前記複数の撮像手段の各セットで撮像された画像を合成し、合成画像を出力する合成手段をさらに備え、
前記照射手段は、前記合成画像に対応する光を照射する
ことを特徴とする請求項７に記載の表示装置。
【請求項１３】
前記複数の撮像手段をさらに備える
ことを特徴とする請求項７に記載の表示装置。
【請求項１４】
前記スクリーンは、所定の方向から入射する光のみを受光して散乱することにより、前記画像を表示する
ことを特徴とする請求項１に記載の表示装置。
【請求項１５】
前記スクリーンは、光を受光して散乱することにより、前記画像を表示し、その画像に対応する光のうちの所定方向のみの光を射出する
ことを特徴とする請求項１に記載の表示装置。
【請求項１６】
光を受光することにより、前記光に対応する画像を表示するスクリーンを、所定の回転軸を中心に回転駆動し、
前記スクリーンに対して、複数の方向から、前記画像に対応する光を照射する
ことを特徴とする表示方法。
【請求項１７】
光を受光することにより、前記光に対応する画像を表示する表示装置であって、
光を受光して散乱することにより、その光に対応する画像を表示する散乱板と、
前記散乱板で散乱された光のうち、所定の方向の光のみを透過させる光学フィルタと
を備えることを特徴とする表示装置。
【請求項１８】
前記散乱板は、平板形状のものであり、
前記光学フィルタは、前記散乱板の両面または１つの面に配置されている
ことを特徴とする請求項１７に記載の表示装置。
【請求項１９】
光を受光することにより、前記光に対応する画像を表示する表示方法であって、
受光した光を散乱する散乱板において、光を受光して散乱することにより、その光に対応する画像を表示し、
前記散乱板で散乱された光のうち、所定の方向の光のみを透過させる
ことを特徴とする表示方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、表示装置および表示方法に関し、特に、例えば、多数のユーザが、各ユーザの視点から、動きのある高解像度の画像を視聴することができるようにする表示装置および表示方法に関する。
【０００２】
【従来の技術】
多数のユーザに対して、各ユーザの視点から見た画像を提示する多視点提示を行うことができる空間提示系としては、例えば、ＮＨＫ（日本放送協会）が開発したＩＰ（Ｉｎｔｅｇｒａｌ　Ｐｈｏｔｏｇｒａｐｈｙ）立体画像システムがある。
【０００３】
図１は、ＩＰ立体画像システムの一例の構成を示している。
【０００４】
ＩＰ立体画像システムでは、カメラ（ビデオカメラ）２によって、被写体が、複眼レンズ２０１を介して撮像される。
【０００５】
ここで、複眼レンズ２０１は、図２Ａの平面図と、図２Ｂの断面図に示すように、多数の小レンズを平面状に配置して構成されるものであり、従って、カメラ２０２では、この多数の小レンズそれぞれ越しに見た被写体の画像が撮像される。
【０００６】
そして、ＩＰ立体画像システムでは、カメラ２０２で撮像された画像が、例えば、液晶ディスプレイなどの表示装置２０３で表示される。表示装置２０３の表示画面の前面には、複眼レンズ２０１と同一構成の複眼レンズ２０４が配置されており、ユーザは、その複眼レンズ２０４越しに、表示装置２０３に表示された画像を見る。これにより、ユーザは、その視点から見た被写体の像を見ることができる。
【０００７】
即ち、カメラ２０２で撮像される画像は、複眼レンズ２０１を構成する各小レンズから被写体を見たものであるから、各小レンズ越しに見える被写体の画像（以下、適宜、小レンズ画像という）の集合になっている。従って、表示装置２０３に表示される画像も、小レンズ画像の集合になっているが、これを、ある視点から、複眼レンズ２０１と同一構成の複眼レンズ２０４を介して見ることにより、その視点から見た被写体の画像（像）が、複眼レンズ２０４を構成する各小レンズを介して見える、各小レンズ画像を構成する画素によって形成される。
【０００８】
従って、ＩＰ立体画像システムによれば、多数のユーザに対して、各ユーザの視点から見た画像を提示することができる。
【０００９】
【発明が解決しようとする課題】
ところで、ＩＰ立体画像システムでは、簡単には（あるいは、観念的には）、ある視点から見た被写体の画像が、その画像を構成する各画素を、複眼レンズ２０４を構成する各小レンズによって、各小レンズ画像から集めることによって形成される。
【００１０】
従って、ユーザに提示される画像の解像度は、複眼レンズ２０１および２０４を構成する小レンズによって決まるが、小レンズの小型化や、複眼レンズ２０１および２０４を構成させる小レンズの個数には限界がある。従って、ユーザに提示される画像を、高解像度の画像とすることが困難であった。
【００１１】
そこで、多数のユーザに対して、各ユーザの視点から見た画像を提示する多視点提示を行うことができる他の空間提示系としては、例えば、ｚｅｂｒａ　ｉｍａｇｉｎｇと呼ばれるものがある。ここで、ｚｅｂｒａ　ｉｍａｇｉｎｇについては、例えば、ｚｅｂｒａ　ｉｍａｇｉｎｇ社のｗｅｂページであるｈｔｔｐ：／／ｗｗｗ．ｚｅｂｒａｉｍａｇｉｎｇ．ｃｏｍ／に開示されている。
【００１２】
ｚｅｂｒａ　ｉｍａｇｉｎｇは、ホログラフィを利用した方法であり、多数のユーザに対して、各ユーザの視点から見た高解像度の画像を提示することが可能である。しかしながら、ｚｅｂｒａ　ｉｍａｇｉｎｇによって表示される画像はホログラムであるため、その作成に多大の演算量と時間を要し、従って、動きのある画像を表示することは困難であった。
【００１３】
本発明は、このような状況に鑑みてなされたものであり、多数のユーザが、各ユーザの視点から、動きのある高解像度の画像を視聴することができるようにするものである。
【００１４】
【課題を解決するための手段】
本発明の第１の表示装置は、光を受光することにより、光に対応する画像を表示するスクリーンと、スクリーンを、所定の回転軸を中心に回転駆動する駆動手段と、スクリーンに対して、複数の方向から、画像に対応する光を照射する照射手段とを備えることを特徴とする。
【００１５】
本発明の第１の表示方法は、光を受光することにより、光に対応する画像を表示するスクリーンを、所定の回転軸を中心に回転駆動し、スクリーンに対して、複数の方向から、画像に対応する光を照射することを特徴とする。
【００１６】
本発明の第２の表示装置は、光を受光して散乱することにより、その光に対応する画像を表示する散乱板と、散乱板で散乱された光のうち、所定の方向の光のみを透過させる光学フィルタとを備えることを特徴とする。
【００１７】
本発明の第２の表示方法は、受光した光を散乱する散乱板において、光を受光して散乱することにより、その光に対応する画像を表示し、散乱板で散乱された光のうち、所定の方向の光のみを透過させることを特徴とする。
【００１８】
本発明の第１の表示装置および表示方法においては、光を受光することにより、光に対応する画像を表示するスクリーンが、所定の回転軸を中心に回転駆動され、そのスクリーンに対して、複数の方向から、画像に対応する光が照射される。
【００１９】
本発明の第２の表示装置および表示方法においては、受光した光を散乱する散乱板で散乱された光のうち、所定の方向の光のみが透過され、その光に対応する画像が表示される。
【００２０】
【発明の実施の形態】
図３は、本発明を適用した撮像表示システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かを問わない）の一実施の形態の構成例を示している。
【００２１】
撮像表示システムは、撮像装置１と表示装置２から構成されている。
【００２２】
撮像装置１は、被写体を撮像し、その結果得られる画像データを、例えば、地上波、衛星回線、ＣＡＴＶ（Ｃａｂｌｅ　Ｔｅｌｅｖｉｓｉｏｎ）網、電話回線、インターネットその他の伝送媒体３を介して伝送し、あるいは、例えば、半導体メモリ、光ディスク、磁気ディスクなどの記録媒体４に記録する。
【００２３】
表示装置２は、伝送媒体３から送信されてくる画像データ、あるいは記録媒体４から再生される画像データを受信して表示する。
【００２４】
図４は、図１の撮像装置１の構成例を示している。
【００２５】
撮像装置１は、撮像光学系１０と信号処理部１２から構成されている。
【００２６】
撮像光学系１０は、複数としてのＮ個のカメラ１１１乃至１１Ｎから構成されている。このＮ個のカメラ１１１乃至１１Ｎは、被写体の水平方向の周囲３６０度に、例えば、等間隔（等角度）で配置されている。さらに、Ｎ個のカメラ１１１乃至１１Ｎは、例えば、それぞれの光軸が、同一水平面内に含まれ、その水平面内の同一の点で交わるように配置されている。なお、Ｎ個のカメラ１１１乃至１１Ｎの配置位置は、上述したものに限定されるものではない。即ち、Ｎ個のカメラ１１１乃至１１Ｎは、例えば、異なる間隔で配置することなどが可能である。
【００２７】
カメラ１１ｎ（ｎ＝１，２，・・・，Ｎ）は、被写体を撮像し、即ち、被写体からの光を受光して光電変換することで、被写体の画像データを得て、その画像データを、例えば、１フレーム（または１フィールド）単位で、信号処理部１２に供給する。
【００２８】
信号処理部１２は、カメラ１１１乃至１１Ｎと同一の個数のストレージ３１１乃至３１Ｎ、符号化部３２、および多重化部３３から構成され、カメラ１１ｎから供給される画像データを処理して出力する。
【００２９】
即ち、ストレージ３１ｎは、カメラ１１ｎから供給される画像データを一時記憶する。符号化部３２は、ストレージ３１１乃至３１Ｎそれぞれから画像データを読み出し、例えば、ＤＶ（Ｄｉｇｉｔａｌ　Ｖｉｄｅｏ）方式などの所定の方式で圧縮符号化する。さらに、符号化部３２は、画像データを圧縮符号化することにより得られる符号化データを、多重化部３３に供給する。多重化部３３は、符号化部３２から供給される、Ｎ個のカメラ１１１乃至１１Ｎそれぞれで撮像された画像データに対応する符号化データを、１つのデータストリームに多重化し、伝送媒体３（図３）を介して伝送し、または記録媒体４（図３）に供給して記録する。
【００３０】
次に、図５のフローチャートを参照して、図４の撮像装置１の処理について説明する。
【００３１】
まず最初に、ステップＳ１において、カメラ１１ｎは、被写体を撮像し、その結果得られる１フレームの画像データを、信号処理部１２のストレージ３１ｎに供給して、ステップＳ２に進む。ステップＳ２では、ストレージ３１ｎが、カメラ１１ｎから供給される画像データを記憶し、ステップＳ３に進む。ステップＳ３では、符号化部３２が、ストレージ３１ｎに記憶された画像データを読み出して符号化し、その結果得られる符号化データを、多重化部３３に供給する。
【００３２】
そして、ステップＳ４に進み、多重化部３３は、符号化部３２から供給される、Ｎ個のカメラ１１１乃至１１Ｎそれぞれで撮像された画像データに対応する符号化データを、１つのデータストリームに多重化して出力する。多重化部３３が出力するデータストリームは、伝送媒体３（図３）を介して伝送され、あるいは記録媒体４（図３）に供給されて記録される。
【００３３】
その後、ステップＳ５に進み、ユーザによって、図示せぬ操作部が、画像データの撮像を終了するように操作（以下、適宜、撮像終了操作という）されたか否かが判定される。
【００３４】
ステップＳ５において、撮像終了操作がされていないと判定された場合、ステップＳ１に戻り、以下、同様の処理が繰り返される。
【００３５】
また、ステップＳ５において、撮像終了操作がされたと判定された場合、処理を終了する。
【００３６】
以上のようにして、撮像装置１では、Ｎ個のカメラ１１１乃至１１Ｎによって、被写体を、その周囲のＮ個の視点から見た画像、即ち、被写体を、その水平方向の周囲３６０度から見た連続的な画像が撮像される。
【００３７】
次に、図６は、図３の表示装置２の構成例を示している。
【００３８】
表示装置２は、表示光学系２０、信号処理部２２、およびコントローラ２３から構成されている。
【００３９】
表示光学系２０は、撮像光学系１０を構成するカメラ１１１乃至１１Ｎと同一の個数であるＮ個のプロジェクタ２１１乃至２１Ｎ、駆動部２４、およびライトコントロールスクリーン２５から構成されている。
【００４０】
Ｎ個のプロジェクタ２１１乃至２１Ｎは、ライトコントロールスクリーン２５の水平方向の周囲３６０度に配置されており、撮像光学系１０（図４）における、被写体に対するＮ個のカメラ１１１乃至１１Ｎの位置それぞれに対応する方向それぞれから、信号処理部２２より供給される画像データに対応する光を発し、これにより、その光を、ライトコントロールスクリーン２５に照射する。
【００４１】
即ち、Ｎ個のプロジェクタ２１１乃至２１Ｎは、それぞれの光軸の位置関係が、Ｎ個のカメラ１１１乃至１１Ｎそれぞれの光軸の位置関係と相似になるように配置されている。従って、Ｎ個のプロジェクタ２１１乃至２１Ｎは、図４で説明したＮ個のカメラ１１１乃至１１Ｎと同様に、ライトコントロールスクリーン２５の周囲３６０度に、例えば、等間隔（等角度）で配置されており、さらに、それぞれの光軸が、同一水平面内に含まれ、その水平面内の同一の点で交わるように配置されている。
【００４２】
プロジェクタ２１ｎ（ｎ＝１，２，・・・，Ｎ）は、信号処理部２２から供給される、カメラ１１ｎで撮像された被写体の画像データに対応する光線を発する。
【００４３】
駆動部２４は、コントローラ２３の制御にしたがい、ライトコントロールスクリーン２５を、例えば、等角速度で回転駆動する。
【００４４】
ライトコントロールスクリーン２５は、例えば、長方形状のスクリーンで、プロジェクタ２１が発する光線を受光することで、その光線に対応する画像を表示する。
【００４５】
なお、ライトコントロールスクリーン２５は、それを左右に二分する垂直方向の分割線に沿った軸２５Ａを回転軸として、駆動部２４によって回転駆動されるようになっている。
【００４６】
また、Ｎ個のプロジェクタ２１１乃至２１Ｎは、例えば、それぞれの光軸が、ライトコントロールスクリーン２５の軸２５Ａ上の同一の点で交わるように配置されている。
【００４７】
信号処理部２２は、ストレージ４１、分離部４２、および復号部４３で構成されている。
【００４８】
ストレージ４１は、伝送媒体３（図３）を介して伝送されてくるデータストリーム、あるいは記録媒体４（図３）から再生されたデータストリームを一時記憶する。分離部４２は、ストレージ４１に記憶されたデータストリームを読み出し、カメラ１１１乃至１１Ｎで撮像された画像データを符号化した符号化データそれぞれに分離して、復号部４３に供給する。復号部４３は、分離部４２から供給される符号化データを、カメラ１１１乃至１１Ｎで撮像された画像データそれぞれに復号し、カメラ１１ｎで撮像された画像データを、例えば、プロジェクタ２１ｎに供給する。
【００４９】
なお、復号部４３は、カメラ１１ｎで撮像された画像データを、例えば、１フレーム単位で、プロジェクタ２１ｎに供給するが、その供給は、他のカメラ１１ｎ’から他のプロジェクタ２１ｎ’への画像データの供給と同期をとって行われる。
【００５０】
コントローラ２３は、復号部４３からプロジェクタ２１１乃至２１Ｎへの画像データの供給タイミングに同期して、ライトコントロールスクリーン２５を回転駆動するように、駆動部２４を制御する。
【００５１】
次に、図７は、図６のライトコントロールスクリーン２５の構成例を示す断面図である。
【００５２】
図７の実施の形態では、ライトコントロールスクリーン２５は、両面スクリーン５１、並びに光学フィルタフィルム５５および５６で構成されている。
【００５３】
両面スクリーン５１は、平板形状の散乱板５２および５３、並びに遮光板５４で構成され、遮光板５４を、散乱板５２と５３との間に挟んだ構造（遮光板５４が、散乱板５２と５３でサンドイッチされた構造）となっている。
【００５４】
なお、図７の実施の形態では、両面スクリーン５１は、散乱板５３の上部に、遮光板５４が配置され、遮光板５４の上部に、散乱板５２が配置されている。
【００５５】
従って、両面スクリーン５１に対して、上方向（散乱板５２側）から入射した光線は、散乱板５２で受光、散乱され、これにより、両面スクリーン５１を上方向から見た場合、散乱板５２において、その光線に対応する画像が表示される。一方、両面スクリーン５１を下方向から見た場合、散乱板５２の手前に遮光板５４が配置されており、この遮光板５４によって散乱板５２を透過する光が遮断されるため、散乱板５２で散乱された光線に対応する画像を見ることはできない。
【００５６】
また、両面スクリーン５１に対して、下方向（散乱板５３側）から入射した光線は、散乱板５３で受光、散乱され、これにより、両面スクリーン５１を下方向から見た場合、散乱板５３において、その光線に対応する画像が表示される。一方、両面スクリーン５１を上方向から見た場合、散乱板５３の手前に遮光板５４が配置されており、この遮光板５４によって散乱板５３を透過する光が遮断されるため、散乱板５３で散乱された光線に対応する画像を見ることはできない。
【００５７】
従って、両面スクリーン５１によれば、散乱板５２側の面と、散乱板５３側の面の２つの面それぞれにおいて、いわば独立に、画像を表示することができる。
【００５８】
ここで、散乱板５２および５３としては、例えば、すりガラスその他の光を散乱させるものを採用することができる。
【００５９】
図７の実施の形態において、ライトコントロールスクリーン２５は、両面スクリーン５１の散乱板５２側と５３側に、光学フィルタフィルム５５と５６をそれぞれ配置することによって構成されている。
【００６０】
光学フィルタフィルム５５および５６は、例えば、図８の斜視図に示すように、いわゆるルーバー構造を有するシート状の光学フィルタで、遮光性を有する長方形状の多数の微小フィルムを、その面どうしが対向するように、微小間隔で配置することにより構成されており、これにより、微小フィルムどうしの間にスリットが形成されている。
【００６１】
いま、光学フィルタフィルム５５および５６を構成する多数の微小フィルムの面と平行な方向、つまりスリットの方向を、正面方向というものとすると、光学フィルタフィルム５５および５６は、例えば、図９に示すような光学特性を有する。
【００６２】
即ち、光学フィルタフィルム５５および５６は、正面方向の光線のみをそのまま透過させ、正面方向からずれた光線（微小フィルムの面と交わる光線）ほど、透過する光量を小さくする光学特性を有する。従って、光学フィルタフィルム５５や５６を、正面から見た場合には、向こう側が見えるが、正面からずれた方向（いわゆる斜め方向）から、光学フィルタフィルム５５や５６を見た場合には、向こう側が見えなくなる。
【００６３】
ここで、上述のような光学特性を有する光学フィルタフィルム５５および５６としては、例えば、住友スリーエム社のライトコントロールフィルムなどを採用することができる。
【００６４】
図７のライトコントロールスクリーン２５においては、両面スクリーン５１の散乱板５２側に、上述のような光学特性を有する光学フィルタフィルム５５が、そのスリットが垂直方向（ライトコントロールスクリーン２５の軸２５Ａと平行な方向）に並ぶように配置されている。また、両面スクリーン５１の散乱板５３側にも、上述のような光学特性を有する光学フィルタフィルム５６が、そのスリットが垂直方向に並ぶように配置されている。
【００６５】
従って、散乱板５２に入射した光線が、その散乱板５２で散乱されることにより得られる散乱光のうち、正面方向の光線は、光学フィルタフィルム５５を透過するが、他の方向の光は、（理想的には、そのすべてが）光学フィルタフィルム５５によって遮断される。その結果、ライトコントロールスクリーン２５を、光学フィルタフィルム５５の正面方向を視点として見た場合には、散乱板５２で散乱された光のうち、視点に向かう光は、光学フィルタフィルム５５を透過し、視点に到達することから、画像を見ることができる。一方、ライトコントロールスクリーン２５を、光学フィルタフィルム５５の正面方向から左または右に（水平方向に）ずれた位置を視点として見た場合には、散乱板５２で散乱された光のうち、視点に向かう光は、光学フィルタフィルム５５で遮断され、視点に到達しないから、画像を見ることができない。
【００６６】
散乱板５３でも、そこに入射した光線が散乱され、その散乱光のうち、正面方向の光線は、光学フィルタフィルム５６を透過するが、他の方向の光は、（理想的には、そのすべてが）光学フィルタフィルム５６によって遮断される。その結果、ライトコントロールスクリーン２５を、光学フィルタフィルム５６の正面方向を視点として見た場合には、散乱板５３で散乱された光のうち、視点に向かう光は、光学フィルタフィルム５６を透過し、視点に到達することから、画像を見ることができる。一方、ライトコントロールスクリーン２５を、光学フィルタフィルム５６の正面方向から左または右にずれた位置を視点として見た場合には、散乱板５３で散乱された光のうち、視点に向かう光は、光学フィルタフィルム５６で遮断され、視点に到達しないから、画像を見ることができない。
【００６７】
以上のように、図７のライトコントロールスクリーン２５によれば、（理想的には）その正面方向に位置するユーザにのみ、画像が提示され、正面方向から左または右にずれたユーザには、画像は提示されない。
【００６８】
従って、いま、ライトコントロールスクリーン２５において画像が表示される面を、表示面というものとすると、図７のライトコントロールスクリーン２５は、散乱板５２側と５３側との２つの表示面を有するが、この表示面が、プロジェクタ２１ｎの正面方向に位置した場合、そのプロジェクタ２１ｎが発する光線が、光学フィルタフィルム５５または５６を介して、散乱板５２または５３で受光、散乱されることにより、その光線に対応する画像が、表示面としての散乱板５２または５３に表示される。そして、この散乱板５２または５３に表示された画像は、表示面の正面方向に位置するユーザのみが、光学フィルタフィルム５５または５６を介して観察することができ、他の方向に位置するユーザは観察することができない。
【００６９】
また、プロジェクタ２１ｎでは、上述したように、カメラ１１ｎで撮像された被写体の画像データに対応する光線が発光される。従って、プロジェクタ２１ｎが、ライトコントロールスクリーン２５の表示面の正面方向に位置した場合にのみ、その正面方向に位置するユーザのみが、カメラ１１ｎの位置から見た被写体の画像を観察することができる。
【００７０】
即ち、Ｎ個のプロジェクタ２１１乃至２１Ｎそれぞれが発する光線は、図１０Ａに示すように、垂直方向の軸２５Ａを回転軸として回転するライトコントロールスクリーン２５の表示面の正面方向が、プロジェクタ２１１乃至２１Ｎそれぞれの光軸方向と一致したときに、図１０Ｂに示すように、ライトコントロールスクリーン２５の表示面で結像し、カメラ１１１乃至１１Ｎで撮像された被写体の画像がそれぞれ表示され、この画像は、表示面の正面方向にいるユーザのみが観察することができる。
【００７１】
従って、ライトコントロールスクリーン２５では、その表示面の方向ごとに、その方向から見た被写体の画像が表示される。その結果、ユーザは、ライトコントロールスクリーン２５を見る位置ごとに、その位置から見た被写体の画像を観察すること、即ち、多数のユーザに対して多視点の画像を提示することができる。
【００７２】
なお、ユーザは、例えば、図１０に示すように、プロジェクタ２１ｎの後側から、ライトコントロールスクリーン２５を見ることにより、その表示面に表示される画像を観察する。
【００７３】
また、コントローラ２３は、ライトコントロールスクリーン２５が、その表示面の回転レートが信号処理部２２から供給される画像データのフレームレート（またはフィールドレート）以上となる角速度で回転するように、駆動部２４を制御する。
【００７４】
従って、信号処理部２２から供給される画像データのフレームレートが、例えば、３０Ｈｚであるとすると、２つの表示面を有するライトコントロールスクリーン２５は、１５Ｈｚ以上の角速度で回転される。
【００７５】
この場合、プロジェクタ２１ｎは、少なくとも、フレーム周期内に１度は、ライトコントロールスクリーン２５の表示面の正面方向に位置することになり、いわゆるコマ落ちを防止することができる。
【００７６】
即ち、信号処理部２２から供給される画像データのフレームレート未満の角速度で、ライトコントロールスクリーン２５が回転する場合、あるプロジェクタ２１ｎに注目すると、そのプロジェクタ２１ｎが、表示面の正面方向に位置したときに、その表示面で、あるフレームの画像データが表示された後、次のフレームの画像データに対応する光線が発せられるまでの間に、表示面の正面方向が、プロジェクタ２１ｎの方向を向かないため、次のフレームの画像が表示されず、そのフレームは、コマ落ちすることになる。かかるコマ落ちを防止するためには、プロジェクタ２１ｎが、少なくとも、フレーム周期内に１度は、ライトコントロールスクリーン２５の表示面の正面方向に位置するように、即ち、信号処理部２２から供給される画像データのフレームレート以上の角速度で、ライトコントロールスクリーン２５を回転させる必要がある。
【００７７】
次に、図１１のフローチャートを参照して、図６の表示装置の処理について説明する。
【００７８】
まず最初に、ステップＳ１１において、コントローラ２３は、駆動部２４を制御することにより、ライトコントロールスクリーン２５の回転を開始させ、ステップＳ１２に進む。
【００７９】
ステップＳ１２では、ストレージ４１が、伝送媒体３または記録媒体４（図３）から供給される、例えば、１フレーム分のデータストリームを記憶し、ステップＳ１３に進む。ステップＳ１３では、分離部４２が、ストレージ４１に記憶されたデータストリームを読み出し、図４の撮像装置１のカメラ１１１乃至１１Ｎで撮像された画像データを符号化した符号化データそれぞれに分離して、復号部４３に供給する。
【００８０】
そして、ステップＳ１４に進み、復号部４３は、分離部４２から供給された符号化データを、カメラ１１１乃至１１Ｎで撮像された画像データそれぞれに復号し、カメラ１１ｎで撮像された画像データを、プロジェクタ２１ｎに供給して、ステップＳ１５に進む。
【００８１】
ステップＳ１５では、プロジェクタ２１ｎは、復号部４３から供給される画像データに対応する光線を、ライトコントロールスクリーン２５に向かって発光し、これにより、回転しているライトコントロールスクリーン２５の表示面において、その表示面の正面方向に位置するプロジェクタ２１ｎが発した光線に対応する画像が表示される。
【００８２】
その後、ステップＳ１６に進み、ユーザによって、図示せぬ操作部が、画像の表示を終了するように操作（以下、適宜、表示終了操作という）されたか否かが、コントローラ２３によって判定される。
【００８３】
ステップＳ１６において、表示終了操作がされていないと判定された場合、ステップＳ１１に戻る。そして、ステップＳ１１において、ストレージ４１が、そこに供給される、次の１フレーム分のデータストリームを記憶し、以下、同様の処理が繰り返される。
【００８４】
また、ステップＳ１６において、表示終了操作がされたと判定された場合、ステップＳ１７に進み、コントローラ２３は、駆動部２４を制御することにより、ライトコントロールスクリーン２５の回転を停止させ、処理を終了する。
【００８５】
以上のように、ライトコントロールスクリーン２５を回転させ、そのライトコントロールスクリーン２５に対して、複数の方向から撮像した画像データに対応する光を、その方向から照射するようにしたので、各方向から、ライトコントロールスクリーン２５を見ることにより、その方向から見た被写体の画像を観察することができる。また、ライトコントロールスクリーン２５は、その表示面に、光学フィルタフィルム５５および５６を有するため、その表示面の正面方向以外の方向に位置するユーザは、表示面に表示されている画像を観察することはできない。
【００８６】
従って、多数のユーザが、各ユーザの視点から被写体を見たときに、その視覚に映るのと同一の画像を視聴することができる。
【００８７】
さらに、カメラ１１ｎおよびプロジェクタ２１ｎとして、高解像度のものを採用するだけで、容易に、高解像度の画像を提供することができる。
【００８８】
また、画像の動きの有無によって、撮像装置１および表示装置２の処理量は、殆ど変化しないので、動きのある画像であっても、多数のユーザに対して、各ユーザの視点から見たの画像を提示することができる。
【００８９】
次に、図１２は、図６のライトコントロールスクリーン２５の第２の構成例を示している。なお、図中、図７における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【００９０】
図１２の実施の形態では、ライトコントロールスクリーン２５は、反射型スクリーン６１と光学フィルタフィルム５５から構成されている。
【００９１】
反射型スクリーン６１は、図１２において、遮光板５３の上部に散乱板５２を配置して構成されている。そして、散乱板５２の上部に、光学フィルタフィルム５５が配置されている。
【００９２】
即ち、図１２のライトコントロールスクリーン２５は、図７のライトコントロールスクリーン２５の散乱板５３および光学フィルタ５６を取り除いたものと同一構成となっている。
【００９３】
従って、図１２のライトコントロールスクリーン２５は、上方向（散乱板５２側）だけに１つの表示面を有するものとなっている。
【００９４】
即ち、図１２のライトコントロールスクリーン２５では、上方向から散乱板５２の面に向かって光線を照射することにより、その光線が散乱板５２で散乱され、その光線に対応する画像が表示される。この画像は、光学フィルタフィルム５５を介して観察することができる。従って、図１２のライトコントロールスクリーン２５では、光線が照射される散乱板５２の面側だけに、画像が表示され、表示面は、その面１つだけである。
【００９５】
ここで、図６および図１２のライトコントロールスクリーン２５によれば、そのライトコントロールスクリーン２５で反射された光線が、ユーザの網膜に結像することによって、ユーザにより画像が知覚される。従って、図６および図１２のライトコントロールスクリーン２５は、反射型のスクリーンであるということができる。
【００９６】
次に、図１３は、図６のライトコントロールフィルム２５の第３の構成例を示している。なお、図中、図７または図１２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【００９７】
図１３の実施の形態では、ライトコントロールスクリーン２５は、透過型スクリーン６２と光学フィルタフィルム５５から構成されている。
【００９８】
透過型スクリーン６２は、散乱板５２で構成されており、図１３において、その散乱板５２の上部に、光学フィルタフィルム５５が配置されている。
【００９９】
以上のように構成される透過型スクリーン６２では、下方向（散乱板５２側）から光線を照射することにより、その光線が散乱板５２で散乱され、その光線に対応する画像が表示される。この画像は、上方向から光学フィルタフィルム５５を介して観察することができる。なお、図１３では、散乱板５２に表示された画像は、下方向からでも観察することができる。しかしながら、この場合、下方向からは、その正面方向からだけではなく、任意の方向から画像を観察することができるため、ここでは、散乱板５２の下方向の面は、表示面として考えないものとする。従って、図１３のライトコントロールスクリーン２５では、光線が照射される散乱板５２の面と反対側の面側だけに、画像が表示され、表示面は、その面１つだけである。
【０１００】
ここで、図１３のライトコントロールスクリーン２５によれば、そのライトコントロールスクリーン２５を透過した光線が、ユーザの網膜に結像することによって、ユーザにより画像が知覚される。従って、図１３のライトコントロールスクリーン２５は、透過型のスクリーンであるということができる。
【０１０１】
なお、図７や図１２のライトコントロールスクリーン２５を用いる場合、上述したように、ライトコントロールスクリーン２５で反射される光線が、ユーザの網膜上に結像することによって画像が知覚されるため、ユーザは、ライトコントロールスクリーン２５から見て、視聴しようとしている画像に対応している光線を発するプロジェクタ２１ｎと同一方向に位置すれば、その画像を視聴することができる。
【０１０２】
これに対して、図１３のライトコントロールスクリーン２５を用いる場合、ライトコントロールスクリーン２５を透過する光線が、ユーザの網膜上に結像することによって画像が知覚されるため、ユーザは、画像を視聴するためには、図１４に示すように、ライトコントロールスクリーン２５から見て、その視聴しようとしている画像に対応している光線を発するプロジェクタ２１ｎと反対方向に位置する必要がある。
【０１０３】
ここで、図１４Ａでは、ライトコントロールスクリーン２５の周囲３６０度のうちの１８０度の範囲の各位置にプロジェクタ２１ｎが配置されており、ユーザは、残りの１８０度の範囲における、プロジェクタ２１ｎの反対側の位置で、画像を視聴することになる。この場合、ユーザは、その位置を、プロジェクタ２１ｎが配置されていない１８０度の範囲でしか移動することができないため、その範囲から見た被写体の画像しか観察することができない。
【０１０４】
そこで、プロジェクタ２１ｎは、例えば、図１４Ｂに示すように、ユーザの位置と交互になるように配置することができる。この場合、ユーザは、その位置を、３６０度の範囲で移動することができる。
【０１０５】
なお、ライトコントロールスクリーン２５は、上述した構成に限定されるものではない。即ち、ライトコントロールスクリーン２５は、上述した構成のものの他、所定の方向から入射する光のみを受光して散乱することにより、画像を表示するスクリーンや、光を受光して散乱することにより、画像を表示し、その画像に対応する光のうちの所定方向のみの光を射出するスクリーンであれば、どのような構成のものであってもかまわない。
【０１０６】
次に、図１５は、図６の表示光学系２０の他の構成例を示している。なお、図中、図６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１５の表示光学系２０は、Ｎ個のプロジェクタ２１１乃至２１Ｎに代えて、保持部７１、Ｎ個の平面ミラー７１１乃至７２Ｎ、および魚眼プロジェクタ７３が設けられている他は、基本的に、図６における場合と同様に構成されている。
【０１０７】
但し、図６の表示光学系２０においては、駆動部２４が、例えば、床などに固定され、ライトコントロールスクリーン２５を回転駆動するのに対して、図１５の表示光学系２０では、駆動部２４は、例えば、天井などに固定され、ライトコントロールスクリーン２５を回転駆動するようになっている。
【０１０８】
保持部７１は、略円筒形状をしており、ライトコントロールスクリーン２５を囲むように設置されている。なお、保持部７１は、ライトコントロールスクリーン２５に表示された画像の視聴を妨げない程度に、ライトコントロールスクリーン２５より下部に設置されている。
【０１０９】
また、円筒形状の保持部７１の内側には、その法線方向（正面方向）がライトコントロールスクリーン２５の軸２５Ａの方向を向くように、Ｎ個の平面ミラー７２１乃至７２Ｎが設置されており、保持部７１は、このＮ個の平面ミラー７２１乃至７２Ｎを保持するようになっている。
【０１１０】
ここで、保持部７１は、平面ミラー７２ｎを保持する役割を果たす他、後述する魚眼プロジェクタ７３が発する光線が、直接、ユーザの視覚に入ることを防止する役割も果たす。
【０１１１】
魚眼プロジェクタ７３は、プロジェクタ７４と魚眼レンズ７５で構成されており、プロジェクタ７４は、信号処理部２２から供給される画像データに対応する光線を発し、魚眼レンズ７５は、そのプロジェクタ７４からの光を、周囲に、広角に放射する。なお、魚眼プロジェクタ７３は、例えば、その光軸が、ライトコントロールスクリーン２５の軸２５Ａと一致するように配置されている。また、魚眼プロジェクタ７３は、保持部７１より下部に配置されている。
【０１１２】
以上のように構成される表示光学系２０では、魚眼プロジェクタ７３が、信号処理部２２から供給される画像データに対応する光線を、魚眼レンズ７５を介することにより広角に発する。魚眼プロジェクタ７３が発する光線は、図１６に示すように、その魚眼プロジェクタ７３の光軸を囲むように配置されている保持部７１に保持されている平面ミラー７２ｎに入射し、そこで、ライトコントロールスクリーン２５に向かって反射される。ライトコントロールスクリーン２５では、この光線が受光されることにより、その光線に対応する画像が表示される。
【０１１３】
従って、図１５の表示光学系２０では、平面ミラー７２ｎがライトコントロールスクリーン２５に向かって反射する光線が、図６のプロジェクタ２１ｎが発する光線と同一であれば、平面ミラー７２ｎは、プロジェクタ２１ｎと等価になるから、図６の表示光学系２０における場合と同一の画像が、ライトコントロールスクリーン２５で表示される。
【０１１４】
そこで、図１７は、表示光学系２０が図１５に示したように構成される場合の、図６の信号処理部２２の構成例を示している。なお、図中、図６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１７の信号処理部２２は、幾何変換合成部４４が新たに設けられている他は、図６における場合と同様に構成されている。
【０１１５】
幾何変換合成部４４は、復号部４３から供給される、カメラ１１１乃至１１Ｎそれぞれで撮像された画像データを幾何変換して合成することにより、平面ミラー７２ｎがライトコントロールスクリーン２５に向かって反射する、魚眼プロジェクタ７２からの光線が、図６のプロジェクタ２１ｎが発する光線に一致するものとなるような画像データ（以下、適宜、幾何変換画像データという）を生成し、魚眼プロジェクタ７３（図１５）に供給する。
【０１１６】
即ち、ここでは説明を簡単にするために、魚眼プロジェクタ７３の魚眼レンズ７５として、例えば、図１８に示すような等距離射影方式の魚眼レンズ（いわゆるｆθの魚眼レンズ）が採用されているものとする。
【０１１７】
ここで、等距離射影方式の魚眼レンズ７５によれば、その魚眼レンズ７５の光軸に対する入射光の入射角をθとするとともに、魚眼レンズ７５の焦点距離をｆとすると、像高ｙは、ｆθで表される。
【０１１８】
従って、いま、図１８に示すように、魚眼レンズ７５の光軸と垂直な２次元平面において、その光軸と交わる点を基準点Ｐ０と表す場合において、入射角θ１の入射光Ｒ１が魚眼レンズ７５に入射したときに、その入射光Ｒ１が２次元平面で受光される点Ｐ１と、基準点Ｐ０との間の距離ｒ１は、ｆθ１で表される。同様に、入射角θ２の入射光Ｒ２が魚眼レンズ７５に入射したときに、その入射光Ｒ２が２次元平面で受光される点Ｐ２と、基準点Ｐ０との間の距離ｒ２は、ｆθ２で表される。そして、光線Ｒ２の入射角θ２が、光線Ｒ１の入射角θ１の、例えば２倍の角度である場合には、距離ｒ２も、距離ｒ１の２倍となる。
【０１１９】
ところで、上述の魚眼レンズ７５の光軸と垂直な２次元平面上に、図１９に示す２次元座標系を考え、基準点Ｐ０の座標を、（ｘ０，ｙ０）と表すこととする。そして、この基準点Ｐ０を中心とする楕円を想定する。なお、この楕円の長軸または短軸のうちの一方は、２次元座標系のｘ軸またはｙ軸のうちの一方と平行に、長軸または短軸のうちの他方は、２次元座標系のｘ軸またはｙ軸のうちの他方と平行に、それぞれ配置するものとする。
【０１２０】
この場合、２次元座標系の楕円内のある点（画素）Ｐの座標（ｘ，ｙ）と、魚眼レンズ７５によって、点Ｐに射影される光線の光線方向との関係は、次式で表される。
【０１２１】
【数１】
2004012644.tif 000003
・・・（１）
【０１２２】
但し、式（１）において、ｒｘは、２次元座標系に想定した楕円の長径または短径のうちの、ｘ軸と平行な方の１／２の長さを表し、ｒｙは、長径または短径のうちの、ｙ軸と平行な方の１／２の長さを表す。
【０１２３】
また、式（１）において、θは、図２０に示すような、魚眼レンズ７５の光軸をｚ軸とするとともに、ｘ軸とｙ軸として、図１９の２次元座標系の原点を基準点Ｐ０としたときの、その２次元座標系のｘ軸とｙ軸を採用した３次元座標系において、魚眼レンズ７５に入射する光線Ｒと、ｘｙ平面とがつくる角度を表す。さらに、式（１）において、φは、魚眼レンズ７５に入射する光線Ｒをｘｙ平面に射影した線と、ｘ軸とがつくる角度を表す。なお、式（１）において、角度θとφの単位は、ラジアンである。
【０１２４】
式（１）から、ｔａｎφは、式（２）で表すことができる。
【０１２５】
【数２】
2004012644.tif 000004
・・・（２）
【０１２６】
式（２）から、角度φは、式（３）によって求めることができる。
【０１２７】
【数３】
2004012644.tif 000005
・・・（３）
【０１２８】
但し、式（３）の逆正接（ａｒｃｔａｎｇｅｎｔ）（ｔａｎ−１）を計算するにあたっては、点Ｐが位置する象限を考慮する必要がある。
【０１２９】
式（１）と式（３）から、角度θは、式（４）によって求めることができる。
【０１３０】
【数４】
2004012644.tif 000006
・・・（４）
【０１３１】
いま、幾何変換合成部４４が魚眼プロジェクタ７２に供給する幾何変換画像データを構成する画素における、ある位置（ｘ，ｙ）の画素に注目すると、その注目画素に対応する光線が、魚眼プロジェクタ７２から射出される光線方向（θ，φ）は、式（３）および（４）によって求めることができる。
【０１３２】
そして、この注目画素に対応する光線（以下、適宜、注目光線という）が、平面ミラー７２ｎで反射され、ライトコントロールスクリーン２５に向かうから、平面ミラー７２ｎの位置に、平面ミラー７２ｎの代えて、プロジェクタ２１ｎが配置されていると仮定した場合に、プロジェクタ２１ｎが発する光線のうち、平面ミラー７２ｎで反射された注目光線と一致する光線に対応する画素（の画素値）が、注目画素と一致していれば、平面ミラー７２ｎから、ライトコントロールスクリーン２５に対して、プロジェクタ２１ｎが発する光線と同一の光線が照射されることになる。
【０１３３】
そこで、幾何変換合成部４４（図１７）は、復号部４３から供給される、カメラ１１１乃至１１Ｎそれぞれで撮像された画像データを用い、上述したように、平面ミラー７２ｎの位置に、平面ミラー７２ｎの代えて、プロジェクタ２１ｎが配置されていると仮定した場合に、プロジェクタ２１ｎが発する光線のうち、平面ミラー７２ｎで反射された注目光線と一致する光線に対応する画素が注目画素と一致する画像データとしての幾何変換画像データを生成し、魚眼プロジェクタ７３に供給する。
【０１３４】
この場合、魚眼プロジェクタ７３が幾何変換合成部４４から供給される幾何変換画像データに対応して発光する光線が、平面ミラー７２ｎで反射されると、その反射光は、平面ミラー７２ｎの位置にプロジェクタ２１ｎが配置されている場合に、そのプロジェクタ２１ｎが発する光線と同様のものとなるから、図１５の表示光学系２０では、図６の表示光学系２０における場合と同様の画像の表示が行われることになる。
【０１３５】
なお、図１５の表示光学系２０では、保持部７１の内側に、平面ミラー７２ｎを保持し、その平面ミラー７２ｎによって、魚眼プロジェクタ７３が発する光線を、ライトコントロールスクリーン２５に向かって反射するようにしたが、その他、例えば、保持部７１の内側に、平面ミラー７２ｎを設ける代わりに、保持部７１の内側をミラーで構成し、そのミラーによって、魚眼プロジェクタ７３が発する光線を、ライトコントロールスクリーン２５に向かって反射するようにすることが可能である。
【０１３６】
また、図１５では、プロジェクタ７４のレンズとして、魚眼レンズ７５を採用することにより、プロジェクタ７４が発する光線を広角に射出するようにしたが、プロジェクタ７４のレンズとしては、魚眼レンズ７５以外の、光線を広角に射出するレンズを採用することが可能である。
【０１３７】
次に、図２１は、図４の撮像装置１における信号処理部１２の他の構成例を示している。なお、図中、図４における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２１の信号処理部１２は、幾何変換合成部３４が新たに設けられ、多重化部３３が設けられていない他は、図４における場合と同様に構成されている。
【０１３８】
幾何変換合成部３４は、ストレージ３１１乃至３１Ｎから、カメラ１１１乃至１１Ｎで撮像された画像データを読み出し、その画像データを用いて、図１７の幾何変換合成部４４における場合と同様の処理を行うことで、幾何変換画像データを生成する。
【０１３９】
この幾何変換画像データは、幾何変換合成部３４から符号化部３２に供給され、符号化部３２において、符号化データとされた後、伝送媒体３または記録媒体４（図３）を介して、表示装置２に供給される。
【０１４０】
次に、図２２は、撮像装置１の信号処理部１２が図２１に示したように構成される場合の、表示装置２における信号処理部２２の構成例を示している。なお、図中、図１７における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２２の信号処理部２２は、分離部４２および幾何変換合成部４４が設けられていない他は、図１７における場合と同様に構成されている。
【０１４１】
図２１の信号処理部１２によれば、上述したように、幾何変換画像データが生成され、その幾何変換画像データを符号化した符号化データが、伝送媒体３または記録媒体４を介して、図２２の信号処理部２２に供給される。図２２の信号処理部２２では、ストレージ４１において、その符号化データが一時記憶され、さらに、復号部４３において、その符号化データが、幾何変換画像データに復号され、図１５に示した表示光学系２０の魚眼プロジェクタ７３に供給される。
【０１４２】
次に、図２３は、本発明を適用した撮像表示システムの他の一実施の形態の構成例を示している。なお、図中、図３、図４、または図６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１４３】
図２３の実施の形態では、撮像装置１が、２つの撮像光学系１０１および１０２、２つの信号処理部１２１および１２２、並びに多重化部８１で構成されている。
【０１４４】
撮像光学系１０１と１０２は、いずれも、図４の撮像光学系１０と同様に構成されている。撮像光学系１０１は、被写体Ｓ１を撮像し、その結果得られる画像データを、信号処理部１２１に供給する。また、撮像光学系１０２は、被写体Ｓ１とは異なる被写体Ｓ２を撮像し、信号処理部１２２に供給する。
【０１４５】
即ち、図２４に示すように、撮像光学系１０１では、被写体Ｓ１の周囲に配置された多数のカメラ（本実施の形態では、図４で説明したように、Ｎ個のカメラ）によって、被写体Ｓ１が撮像され、また、撮像光学系１０２でも、被写体Ｓ２の周囲に配置された多数のカメラによって、被写体Ｓ２が撮像される。
【０１４６】
信号処理部１２１と１２２は、いずれも、図４の信号処理部１２と同様に構成されている。そして、信号処理部１２１と１２２は、撮像光学系１０１と１０２から供給される被写体Ｓ１とＳ２の画像データを、図４の信号処理部１２における場合と同様にそれぞれ処理し、その結果得られるデータストリームを、多重化部８１に供給する。
【０１４７】
多重化部８１は、信号処理部１２１と１２２それぞれから供給される２つのデータストリームを、１つのデータストリームに多重化し、伝送媒体３または記録媒体４を介して、表示装置２に供給する。
【０１４８】
図２３において、表示装置２は、表示光学系２０、２つの信号処理部２２１および２２２、コントローラ２３、分離部９１、並びに合成部９２から構成されており、撮像装置１（の多重化部８１）から供給されるデータストリームは、分離部９１で受信される。
【０１４９】
分離部９１は、撮像装置１からのデータストリームを、信号処理部１２１と１２２で得られた２つのデータストリームに分離し、それぞれを、信号処理部２２１と２２２に供給する。
【０１５０】
信号処理部２２１と２２２は、いずれも、図６の信号処理部２２と同様に構成されている。そして、信号処理部２２１と２２２は、分離部９１から供給される、信号処理部１２１と１２２それぞれで得られたデータストリームを、図６の信号処理部２２における場合と同様に処理し、その結果得られる被写体Ｓ１とＳ２の画像データを、合成部９２に供給する。
【０１５１】
合成部９２は、信号処理部２２１から供給される被写体Ｓ１の画像データと、信号処理部２２２から供給される被写体Ｓ２の画像データとを合成（スーパインポーズ）し、合成画像データを生成する。なお、図２４に示したように、信号処理部２２１と２２２から供給される被写体Ｓ１とＳ２の画像データは、被写体Ｓ１とＳ２を、その周囲に配置された多数のカメラで撮像されたものであり、合成部９２では、例えば、各方向から撮像された被写体Ｓ１の画像データと、その方向と同一方向から撮像された被写体Ｓ２の画像データとが合成される。
【０１５２】
ここで、合成部９２では、各方向から撮像された被写体Ｓ１の画像データと、その方向と異なる方向から撮像された被写体Ｓ２の画像データとを合成することも可能である。但し、この場合、合成する２つの被写体Ｓ１とＳ２の画像データの撮像方向は、同一角度だけずれている（同一位相だけずれている）必要がある。
【０１５３】
合成部９２で得られた合成画像データは、表示光学系２０に供給され、表示光学系２０では、図６における場合と同様にして、合成画像データが表示される。従って、図２３の表示光学系２０では、例えば、図２５に示すように、被写体Ｓ１の画像と、被写体Ｓ２の画像とを合成した画像が表示される。
【０１５４】
図２３の撮像表示システムによれば、例えば、被写体Ｓ１の画像データとして、プロゴルファーが素振りをしている様子を撮像した画像データを採用するとともに、被写体Ｓ２の画像データとして、ユーザがゴルフクラブの素振りをしている様子を撮像した画像データを採用することで、表示光学系２０では、その２つの画像データを合成した画像データが表示される。この場合、ユーザは、自身のスイングと、プロゴルファーのスイングとの違いを、詳細にチェックすることができる。
【０１５５】
ここで、図２３の実施の形態では、撮像装置１において、撮像光学系１０１と１０２それぞれで得られた画像データを、多重化部８１で多重化することにより、１つのデータストリームとして、表示装置２に供給するようにしたが、表示装置２には、図４に示した撮像装置１と同様に構成される複数の撮像装置を、遠隔地に設置し、その複数の撮像装置それぞれから、図２３の表示装置２に画像データを送信するようにすることも可能である。なお、この場合、図２３の表示装置２は、分離部９１を設けずに構成することができる。但し、表示装置２には、信号処理部２２と同様の信号処理部を、複数の撮像装置と同一個数だけ設ける必要がある。
【０１５６】
また、図２３の実施の形態では、合成部９２において、被写体Ｓ１とＳ２の画像データを単に合成するようにしたが、合成部９２では、被写体Ｓ１とＳ２の画像データを、その前後関係を考慮して合成したり、スケールを変えて合成したりすることが可能である。さらに、合成部９２では、Ｓ１とＳ２の画像データを、そのうちの一方または両方の位置をシフトして合成すること等も可能である。
【０１５７】
次に、図２６は、図６の表示光学系２０のさらに他の構成例を示している。なお、図中、図６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２６の表示光学系２０は、１セットの駆動部２４およびライトコントロールスクリーン２５に代えて、複数としての、例えば、７セットの駆動部２４１乃至２４７およびライトコントロールスクリーン２５１乃至２５７が設けられている他は、図６における場合と同様に構成されている。
【０１５８】
駆動部２４１乃至２４７は、コントローラ２３（図６）の制御の下、ライトコントロールスクリーン２５１乃至２５７を、例えば、同一位相で、かつ同一の角速度で回転駆動する。従って、ライトコントロールスクリーン２５１乃至２５７のうちの１つのライトコントロールスクリーン２５ｊ（ｊ＝１，２，・・・，７）の正面方向が、あるプロジェクタ２１ｎの光軸方向を向いた場合、他のライトコントロールスクリーン２５ｊ’（ｊ＝１，２，・・・，７：ｊ≠ｊ’）の正面方向も、そのプロジェクタ２１ｎの光軸方向を向くことになる。
【０１５９】
また、駆動部２４１乃至２４７およびライトコントロールスクリーン２５１乃至２５７は、ライトコントロールスクリーン２５１乃至２５７を、その正面方向に位置するプロジェクタ２１ｎの位置から見たときに、少なくとも３つのスクリーンの端部が重なり合って、その少なくとも３つのスクリーンを水平方向に並べたのと同程度の大きさのスクリーンが等価的に形成されるように配置されている。
【０１６０】
従って、図２６の表示光学系２０によれば、ライトコントロールスクリーン２５１乃至２５７それぞれの大きさが小さくても、等価的に形成される大きなスクリーンに、大きな画像を表示することができる。
【０１６１】
なお、本件発明者が行った実験によれば、Ａ５サイズの長手方向を回転軸としたスクリーンは、市販のモータによって、８Ｈｚ程度で回転させることができた。
【０１６２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１６３】
そこで、図２７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１６４】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
【０１６５】
あるいはまた、プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ　Ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０１６６】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０１６７】
コンピュータは、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０２を内蔵している。ＣＰＵ１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、ＣＰＵ１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０３に格納されているプログラムを実行する。あるいは、また、ＣＰＵ１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０４にロードして実行する。これにより、ＣＰＵ１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、ＣＰＵ１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０１６８】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１６９】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１７０】
なお、図３や図２３に示した撮像表示システムと、前述したＩＰ立体画像システム、およびｚｅｂｒａ　ｉｍａｇｉｎｇを比較すると、図２８に示すようになる。
【０１７１】
即ち、ＩＰ立体画像システムでは、図２８Ａに示すように、多数のユーザに対して、各ユーザの視点から見た画像を提示することができ、その提示する画像は、動きのあるものであっても問題ない。また、ＩＰ立体画像システムは、ユーザの視点の自由度も高い。しかしながら、ＩＰ立体画像システムでは、前述したように、高解像度の画像を提示することは困難である。
【０１７２】
また、ｚｅｂｒａ　ｉｍａｇｉｎｇでは、図２８Ｂに示すように、多数のユーザに対して、各ユーザの視点から見た画像を提示することができ、その提示する画像は、高解像度のものとすることができる。さらに、ｚｅｂｒａ　ｉｍａｇｉｎｇは、ＩＰ立体画像システムと同様に、ユーザの視点の自由度も高い。しかしながら、ｚｅｂｒａ　ｉｍａｇｉｎｇでは、前述したように、動きのある画像の提示が困難である。
【０１７３】
これに対して、図３や図２３に示した撮像表示システムでは、図２８Ｃに示すように、ユーザの視点の自由度が、ＩＰ立体画像システムやｚｅｂｒａ　ｉｍａｇｉｎｇと比較して多少劣るものの、多数のユーザに対して、各ユーザの視点から見た画像を提示することができる。そして、その提示する画像は、高解像度のものとすることができ、さらに、動きのある画像であっても、問題ない。
【０１７４】
ここで、本件出願人は、被写体の画像データを撮像したときの光線の軌跡とその光線に対応する画素値である光線情報を用いて、その画像データを、ユーザの視点から見える被写体の画像データに変換する方法について先に提案している。この方法によれば、ディスプレイにおける画像に表示された被写体をのぞき込むように、ユーザが視点を移動すると、現実世界において、その移動後の視点から被写体を見た場合に視覚に映るのと同様の画像データ、つまり、ユーザが覗き込んだ被写体の部分が見える状態となった画像データがディスプレイに表示されるので、「のぞけるテレビ」と呼ばれる。この「のぞけるテレビ」では、図２８Ｄに示すように、高解像度の画像を表示することができ、さらに、ユーザの視点の自由度も高い。但し、「のぞけるテレビ」では、多数のユーザに対して、各ユーザの視点から見た画像を提示することは想定されていない。
【０１７５】
なお、本実施の形態では、ライトコントロールスクリーン２５を１つのスクリーンで構成するようにしたが、ライトコントロールスクリーン２５は、例えば、図１２に示したライトコントロールスクリーン２５と同一構成の３枚のスクリーンを、その表示面が表側を向くように、３角柱状に接続して構成し、その底面の３角形の重心を通る軸を回転軸として回転させること等が可能である。
【０１７６】
【発明の効果】
以上の如く、本発明によれば、多数のユーザが、各ユーザの視点から、動きのある高解像度の画像を視聴することが可能となる。
【図面の簡単な説明】
【図１】ＩＰ立体画像システムの一例の構成を示す図である。
【図２】複眼レンズ１および４の構成例を示す平面図と断面図である。
【図３】本発明を適用した撮像表示装置の第１実施の形態の構成例を示す図である。
【図４】撮像装置１の構成例を示すブロック図である。
【図５】撮像装置１の処理を説明するフローチャートである。
【図６】表示装置２の構成例を示すブロック図である。
【図７】ライトコントロールスクリーン２５の第１の構成例を示す断面図である。
【図８】光学フィルタフィルム５５および５６を示す斜視図である。
【図９】光学フィルタフィルム５５および５６の光学特性を示す図である。
【図１０】表示光学系２０での画像の表示を説明するための図である。
【図１１】表示装置２の処理を説明するフローチャートである。
【図１２】ライトコントロールスクリーン２５の第２の構成例を示す断面図である。
【図１３】ライトコントロールスクリーン２５の第３の構成例を示す断面図である。
【図１４】プロジェクタ２１ｎとユーザの位置関係を示す図である。
【図１５】表示光学系２０の構成例を示す図である。
【図１６】表示光学系２０における光線の軌跡を示す図である。
【図１７】信号処理部２２の構成例を示すブロック図である。
【図１８】等距離射影方式の魚眼レンズを示す図である。
【図１９】魚眼レンズ７５によって射影された光線を示す図である。
【図２０】光線Ｒの光線方向を表す角度θとφを示す図である。
【図２１】信号処理部１２の構成例を示すブロック図である。
【図２２】信号処理部２２の他の構成例を示すブロック図である。
【図２３】本発明を適用した撮像表示システムの第２実施の形態の構成例を示すブロック図である。
【図２４】撮像光学系１０１と１０２で被写体Ｓ１とＳ２がそれぞれ撮像されている様子を示す図である。
【図２５】表示光学系２０で被写体Ｓ１とＳ２の画像を合成した画像が表示されている様子を示す図である。
【図２６】表示光学系２０の他の構成例を示す平面図である。
【図２７】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【図２８】本発明を適用した撮像表示システムと、ＩＰ立体画像システムおよびｚｅｂｒａ　ｉｍａｇｉｎｇとの比較結果を示す図である。
【符号の説明】
１　撮像装置，　２　表示装置，　３　伝送媒体，　４　記録媒体，　１０，１０１，１０２撮像光学系，　１１１乃至１１Ｎカメラ，　１２，１２１，１２２信号処理部，　２０　表示光学系，　２１１乃至２１Ｎプロジェクタ，　２２，２２１，２２２信号処理部，　２３　コントローラ，　２４，２４１乃至２４７駆動部，　２５，２５１乃至２５７ライトコントロールスクリーン，　２５Ａ軸，　３１１乃至３１Ｎストレージ，　３２　符号化部，　３３　多重化部，３４　幾何変換合成部，　４１　ストレージ，　４２　分離部，　４３　復号部，　４４　幾何変換合成部，　５１　両面スクリーン，　５２，５３　散乱板，　５４　遮光板，　５５，５６　光学フィルタフィルム，　６１　反射型スクリーン，　６２　透過型スクリーン，　７１　保持部，　７２１乃至７２Ｎ平面ミラー，　７３　魚眼プロジェクタ，　７４　プロジェクタ，　７５　魚眼レンズ，　８１　多重化部，　９１　分離部，　９２　合成部，　１０１　バス，　１０２　ＣＰＵ，　１０３　ＲＯＭ，　１０４　ＲＡＭ，　１０５　ハードディスク，　１０６　出力部，　１０７　入力部，　１０８　通信部，　１０９　ドライブ，
１１０　入出力インタフェース，　１１１　リムーバブル記録媒体
【図１】
2004012644.tif 000007
【図２】
2004012644.tif 000008
【図３】
2004012644.tif 000009
【図４】
2004012644.tif 000010
【図５】
2004012644.tif 000011
【図６】
2004012644.tif 000012
【図７】
2004012644.tif 000013
【図８】
2004012644.tif 000014
【図９】
2004012644.tif 000015
【図１０】
2004012644.tif 000016
【図１１】
2004012644.tif 000017
【図１２】
2004012644.tif 000018
【図１３】
2004012644.tif 000019
【図１４】
2004012644.tif 000020
【図１５】
2004012644.tif 000021
【図１６】
2004012644.tif 000022
【図１７】
2004012644.tif 000023
【図１８】
2004012644.tif 000024
【図１９】
2004012644.tif 000025
【図２０】
2004012644.tif 000026
【図２１】
2004012644.tif 000027
【図２２】
2004012644.tif 000028
【図２３】
2004012644.tif 000029
【図２４】
2004012644.tif 000030
【図２５】
2004012644.tif 000031
【図２６】
2004012644.tif 000032
【図２７】
2004012644.tif 000033
【図２８】
2004012644.tif 000034