(57)【要約】【課題】複数の視聴者に対して、解像度を低下させることなく、立体的な画像を表示することができるようにする。【解決手段】  ５台の異なるカメラから撮影された画像が、各カメラの位置と相似の形となる位置に配置された５台のプロジェクタ６３−１乃至６３−５により、スクリーン１０１に投影される。スクリーン１０１に投影された光は、スクリーン１０１の円柱レンズアレイを通過して屈折し、プロジェクタ６３−１乃至６３−５の位置に対応した、ユーザ１２０から見て視差のある画像を提供し、立体的な画像が提示される。本発明は、テレビジョン受像機に適用できる。【選択図】図６
2005123664.tif 000002
【特許請求の範囲】
【請求項１】
複数の異なる位置において撮影された画像の画像データに基づいて、スクリーンに立体画像を表示する表示装置であって、
前記複数の異なる位置と同数であり、前記画像が撮影された位置に基づいて設定される複数の異なる位置に配置され、前記スクリーンに画像を投影する複数の投影手段と、
前記複数の異なる位置において撮影された画像の画像データを補正する補正手段と、
前記補正手段により補正された前記複数の異なる位置において撮影された画像の画像データを、それぞれ前記画像が撮影された位置に対応する位置の前記投影手段に出力する出力手段と
を備えることを特徴とする表示装置。
【請求項２】
前記投影手段に入力される画像データの中の画素の位置と、前記スクリーンに表示される画像の中の画素の位置を対応付けて記憶する記憶手段をさらに備え、
前記補正手段は、前記記憶手段に記憶されている情報に基づいて、前記画像データを補正する
ことを特徴とする請求項１に記載の表示装置。
【請求項３】
前記投影手段は、前記スクリーンの前面から画像を投影する
ことを特徴とする請求項１に記載の表示装置。
【請求項４】
前記投影手段は、前記スクリーンの背面から画像を投影する
ことを特徴とする請求項１に記載の表示装置。
【請求項５】
前記投影手段は、投影する画像を、回転楕円体の一部分で構成される楕円ミラーに反射させ、前記楕円ミラーにより反射された画像を前記スクリーンに投影する
ことを特徴とする請求項４に記載の表示装置。
【請求項６】
複数の異なる位置において撮影された画像の画像データに基づいて、スクリーンに立体画像を表示する表示装置の表示方法であって、
前記複数の異なる位置において撮影された画像の画像データを取得する取得ステップと、
前記取得ステップの処理により取得された画像データを補正する補正ステップと、
前記補正ステップの処理により補正された画像データを、前記画像が撮影された位置と同数であり、前記画像が撮影された位置に基づいて設定される複数の異なる位置から投影する投影ステップと
を含むことを特徴とする表示方法。
【請求項７】
複数の異なる位置において撮影された画像の画像データに基づいて、スクリーンに立体画像を表示する表示装置のプログラムであって、
前記複数の異なる位置において撮影された画像の画像データの取得を制御する取得制御ステップと、
前記取得制御ステップの処理により取得された画像データの補正を制御する補正制御ステップと、
前記補正制御ステップの処理により補正された画像データを、前記画像が撮影された位置と同数であり、前記画像が撮影された位置に基づいて設定される複数の異なる位置から投影するように制御する投影制御ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項８】
複数の異なる位置において撮影された画像の画像データに基づいて、スクリーンに立体画像を表示する表示装置のプログラムが記録される記録媒体であって、
前記複数の異なる位置において撮影された画像の画像データの取得を制御する取得制御ステップと、
前記取得制御ステップの処理により取得された画像データの補正を制御する補正制御ステップと、
前記補正制御ステップの処理により補正された画像データを、前記画像が撮影された位置と同数であり、前記画像が撮影された位置に基づいて設定される複数の異なる位置から投影するように制御する投影制御ステップと
をコンピュータに実行させるプログラムが記録されていることを特徴とする記録媒体。
【請求項９】
複数の異なる位置において撮影された画像が投影され、ユーザに立体画像を提示するスクリーンであって、
画像の光が結像する平面状の表示板と、
前記表示板の前記ユーザが観察する面側に予め設定された距離だけ離れて配置され、前記画像の光を屈折させる平面状の光学素子とを備える
ことを特徴とするスクリーン。
【請求項１０】
前記スクリーンに投影される画像は、前記ユーザが観察する方向から投影される
ことを特徴とする請求項９に記載のスクリーン
【請求項１１】
複数の異なる位置において撮影された画像が投影され、ユーザに立体画像を提示するスクリーンであって、
投影される画像が結像する表示板と、
前記表示板の前記ユーザが観察する面と反対側に予め設定された距離だけ離れて配置され、入射された投影される画像の光を前記表示板に結像する第１の平面状の光学素子と、
前記表示板の前記ユーザが観察する面側に予め設定された距離だけ離れて配置され、前記表示板に結像した画像の光を出射する第２の平面状の光学素子とを備える
ことを特徴とするスクリーン。
【請求項１２】
前記第１と第２の平面状の光学素子は、円柱状のレンズを、水平方向に等間隔に並べて配置した円柱レンズアレイである
ことを特徴とする請求項１１に記載のスクリーン。
【請求項１３】
前記第１と第２の平面状の光学素子は、長方形の屈折率分布レンズを、水平方向に等間隔に並べて配置した屈折率分布レンズアレイである
ことを特徴とする請求項１１に記載のスクリーン。
【請求項１４】
前記第１と第２の平面状の光学素子は、球面レンズを、水平方向および垂直方向に等間隔に並べて配置した球面レンズアレイである
ことを特徴とする請求項１１に記載のスクリーン。
【請求項１５】
前記第１と第２の平面状の光学素子は、円形の屈折率分布レンズを、水平方向および垂直方向に等間隔に並べて配置した屈折率分布レンズアレイである
ことを特徴とする請求項１１に記載のスクリーン
【請求項１６】
複数の異なる位置において撮影された画像が投影され、ユーザに立体画像を提示するスクリーンであって、
投影される画像が結像する平面状の表示板と、
前記表示板を挟み込むように接合された２枚のライトコントロールフィルムとを有し、
前記表示板と前記２枚のライトコントロールフィルムは、前記ユーザが観察する方向またはその逆方向に突出した円筒部が、水平方向に等間隔に並べて形成されており、前記ライトコントロールフィルムは、前記円筒部の周方向に角度依存性を有するように配置されている
ことを特徴とするスクリーン。
【請求項１７】
前記表示板と前記２枚のライトコントロールフィルムの前記円筒部の凹面側に、円柱レンズが配置されている
ことを特徴とする請求項１６に記載のスクリーン。
【請求項１８】
前記表示板と前記２枚のライトコントロールフィルムは、前記ユーザが観察する方向と反対側に突出する円筒部がさらに形成され、全体として波型になるように形成されている
ことを特徴とする請求項１６に記載のスクリーン。
【請求項１９】
前記ユーザに対して凹面が指向する円筒部が、垂直方向に等間隔に繰り返し並べて形成されるとともに、その円筒部の周方向に角度依存性を有する他のライトコントロールフィルムが、前記ユーザにより観察される面と反対側にさらに配置され、
前記画像は、前記スクリーンを前記ユーザが観察する方向と反対の方向から投影される
ことを特徴とする請求項１６に記載のスクリーン。
【請求項２０】
円筒面が水平方向に等間隔に繰り返し並び、かつその円筒部の突出する面が前記ユーザの観察面側となるように形成された他のライトコントロールフィルムが、前記ユーザにより観察される面側にさらに配置され、
前記表示板と前記２枚のライトコントロールフィルムは、前記ユーザに対して凹面が指向する円筒部が、垂直方向に等間隔に繰り返し並べて配置され、
前記画像は、前記ユーザが観察する方向から投影される
ことを特徴とする請求項１６に記載のスクリーン。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置および方法、プログラム、記録媒体、並びにスクリーンに関し、特に、複数の視聴者に対して、解像度を低下させることなく、立体的な画像を表示することができるようにする表示装置および方法、プログラム、記録媒体、並びにスクリーンに関する。
【背景技術】
【０００２】
近年、テレビジョン表示装置において、画像を立体的に表示させる技術が開発されている。立体的な画像の表示は、被写体を異なる位置から撮影した複数の画像を同時にテレビジョン表示装置に表示し、視聴者がこれらの画像の視差を認識することにより、視聴者から見て被写体が立体的に表示される。このような場合、視聴者に特殊なメガネをかけさせてテレビジョン表示装置に表示される画像を観察させる方法もあるが、図１に示されるように視聴者に特殊なメガネをかけさせることなく画像を立体的に表示する方法もある。
【０００３】
図１において、テレビジョン表示装置１の前面に、偏向スクリーン２が設置されており、視聴者３は、偏向スクリーン２を介して、テレビジョン表示装置１に表示された画像を観察する。偏向スクリーン２は、特定の方向の光線のみを透過させる特性をもった、図中縦方向に長い円柱レンズが、横方向に複数並べられて構成される。
【０００４】
テレビジョン表示装置１には、図２に示されるように被写体を異なる位置から撮影した複数の画像が表示される。図２の例では、被写体を５つの異なる位置から撮影した画像が、横方向に分割されて表示されている。同図において、線A−１は、第１番目の位置から撮影された画像の最も左端に位置する、縦方向の走査線であり、線Ｂ−１は、第２番目の位置から撮影された画像の最も左端に位置する、縦方向の走査線であり、線Ｃ−１は、第３番目の位置から撮影された画像の最も左端に位置する、縦方向の走査線であり、線Ｄ−１は、第４番目の位置から撮影された画像の最も左端に位置する、縦方向の走査線であり、線Ｅ−１は、第５番目の位置から撮影された画像の最も左端に位置する、縦方向の走査線である。
【０００５】
これら、線Ａ−１乃至Ｅ−１が組み合わせられ、ブロック２１−１となる。ブロック２１−２も、同様に、線Ａ−２乃至Ｅ−２が組み合わせされたものであり、線Ａ−２乃至Ｅ−２は、それぞれ、線Ａ−１乃至Ｅ−１の１つ右側の走査線である。このようなブロック２１−１，ブロック２１−２，・・・が表示されたテレビジョン装置１を、偏向スクリーン２を介して観察することにより、視聴者３に画像の視差が認識され、視聴者３からみて、被写体が立体的に表示される。
【０００６】
また、パララックスバリアを利用して左眼用の映像と右目用の映像を分離して、立体映像を表示する技術が提案されている（例えば、特許文献１参照）。
【０００７】
【特許文献１】特開２００２−３００６１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、図２の例では、ブロック２１−１，ブロック２１−２，・・・は、それぞれ５つの異なる画像を表示するため、テレビジョン表示装置１に１つの画像を表示する場合（画像を平面的に表示する場合）と比較して、画像の解像度は５分の１となる。すなわち、従来の技術では、表示面を分割して、複数の画像を表示するため、画像の解像度が低下するという課題があった。また、特許文献１の技術では、複数の位置から画像を観察する複数の視聴者に、同時に立体画像を提供することができないという課題があった。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、複数の視聴者に対して、解像度を低下させることなく、立体的な画像を表示することができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の表示装置は、複数の異なる位置において撮影された画像の画像データに基づいて、スクリーンに立体画像を表示する表示装置であって、複数の異なる位置と同数であり、画像が撮影された位置に基づいて設定される複数の異なる位置に配置され、スクリーンに画像を投影する複数の投影手段と、複数の異なる位置において撮影された画像の画像データを補正する補正手段と、補正手段により補正された複数の異なる位置において撮影された画像の画像データを、それぞれ画像が撮影された位置に対応する位置の投影手段に出力する出力手段とを備えることを特徴とする。
【００１１】
前記投影手段に入力される画像データの中の画素の位置と、スクリーンに表示される画像の中の画素の位置を対応付けて記憶する記憶手段をさらに備え、補正手段は、記憶手段に記憶されている情報に基づいて、画像データを補正するようにすることができる。
【００１２】
前記投影手段は、スクリーンの前面から画像を投影するようにすることができる。
【００１３】
前記投影手段は、スクリーンの背面から画像を投影するようにすることができる。
【００１４】
前記投影手段は、投影する画像を、回転楕円体の一部分で構成される楕円ミラーに反射させ、楕円ミラーにより反射された画像を前記スクリーンに投影するようにすることができる。
【００１５】
本発明の表示方法は、複数の異なる位置において撮影された画像の画像データに基づいて、スクリーンに立体画像を表示する表示装置の表示方法であって、複数の異なる位置において撮影された画像の画像データを取得する取得ステップと、取得ステップの処理により取得された画像データを補正する補正ステップと、補正ステップの処理により補正された画像データを、画像が撮影された位置と同数であり、画像が撮影された位置に基づいて設定される複数の異なる位置から投影する投影ステップとを含むことを特徴とする。
【００１６】
本発明のプログラムは、複数の異なる位置において撮影された画像の画像データに基づいて、スクリーンに立体画像を表示する表示装置のプログラムであって、複数の異なる位置において撮影された画像の画像データの取得を制御する取得制御ステップと、取得制御ステップの処理により取得された画像データの補正を制御する補正制御ステップと、補正制御ステップの処理により補正された画像データを、画像が撮影された位置と同数であり、画像が撮影された位置に基づいて設定される複数の異なる位置から投影するように制御する投影制御ステップとをコンピュータに実行させることを特徴とする。
【００１７】
本発明の記録媒体は、複数の異なる位置において撮影された画像の画像データに基づいて、スクリーンに立体画像を表示する表示装置のプログラムが記録される記録媒体であって、複数の異なる位置において撮影された画像の画像データの取得を制御する取得制御ステップと、取得制御ステップの処理により取得された画像データの補正を制御する補正制御ステップと、補正制御ステップの処理により補正された画像データを、画像が撮影された位置と同数であり、画像が撮影された位置に基づいて設定される複数の異なる位置から投影するように制御する投影制御ステップとをコンピュータに実行させるプログラムが記録されていることを特徴とする。
【００１８】
本発明の表示装置および方法、並びにプログラムにおいては、複数の異なる位置において撮影された画像の画像データが取得され、取得された画像データが補正され、補正された画像データが、画像が撮影された位置と同数であり、画像が撮影された位置に基づいて設定される複数の異なる位置から投影される。
【００１９】
本発明の第１のスクリーンは、複数の異なる位置において撮影された画像が投影され、ユーザに立体画像を提示するスクリーンであって、画像の光が結像する平面状の表示板と、表示板のユーザが観察する面側に予め設定された距離だけ離れて配置され、画像の光を屈折させる平面状の光学素子とを備えることを特徴とする。
【００２０】
前記スクリーンに投影される画像は、前記ユーザが観察する方向から投影されるようにすることができる。
【００２１】
本発明の第１のスクリーンにおいては、画像の光が結像する平面状の表示板と、表示板のユーザが観察する面側に予め設定された距離だけ離れて画像の光を屈折させる平面状の光学素子が配置される。
【００２２】
本発明の第２のスクリーンは、複数の異なる位置において撮影された画像が投影され、ユーザに立体画像を提示するスクリーンであって、投影される画像が結像する表示板と、表示板のユーザが観察する面と反対側に予め設定された距離だけ離れて配置され、入射された投影される画像の光を前記表示板に結像する第１の平面状の光学素子と、表示板のユーザが観察する面側に予め設定された距離だけ離れて配置され、表示板に結像した画像の光を出射する第２の平面状の光学素子とを備えることを特徴とする。
【００２３】
前記第１と第２の平面状の光学素子は、円柱状のレンズを、水平方向に等間隔に並べて配置した円柱レンズアレイであるようにすることができる。
【００２４】
前記第１と第２の平面状の光学素子は、長方形の屈折率分布レンズを、水平方向に等間隔に並べて配置した屈折率分布レンズアレイであるようにすることができる。
【００２５】
前記第１と第２の平面状の光学素子は、球面レンズを、水平方向および垂直方向に等間隔に並べて配置した球面レンズアレイであるようにすることができる。
【００２６】
前記第１と第２の平面状の光学素子は、円形の屈折率分布レンズを、水平方向および垂直方向に等間隔に並べて配置した屈折率分布レンズアレイであるようにすることができる。
【００２７】
本発明の第２のスクリーンにおいては、投影される画像が結像する表示板と、表示板のユーザが観察する面と反対側に予め設定された距離だけ離れて入射された光を前記表示板に結像する第１の平面状の光学素子が配置され、表示板のユーザが観察する面側に予め設定された距離だけ離れて表示板に結像した投影される画像の光を出射する第２の平面状の光学素子が配置される。
【００２８】
本発明の第３のスクリーンは、複数の異なる位置において撮影された画像が投影され、ユーザに立体画像を提示するスクリーンであって、投影される画像が結像する平面状の表示板と、表示板を挟み込むように接合された２枚のライトコントロールフィルムとを有し、表示板と２枚のライトコントロールフィルムは、ユーザが観察する方向またはその逆方向に突出した円筒部が、水平方向に等間隔に並べて形成されており、ライトコントロールフィルムは、円筒部の周方向に角度依存性を有するように配置されていることを特徴とする。
【００２９】
前記表示板と前記２枚のライトコントロールフィルムの円筒部の凹面側に、円柱レンズが配置されているようにすることができる。
【００３０】
前記表示板と前記２枚のライトコントロールフィルムは、ユーザが観察する方向と反対側に突出する円筒部がさらに形成され、全体として波型になるように形成されているようにすることができる。
【００３１】
前記ユーザに対して凹面が指向する円筒部が、垂直方向に等間隔に繰り返し並べて形成されるとともに、その円筒部の周方向に角度依存性を有する他のライトコントロールフィルムが、ユーザにより観察される面と反対側にさらに配置され、画像は、スクリーンをユーザが観察する方向と反対の方向から投影されるようにすることができる。
【００３２】
円筒面が水平方向に等間隔に繰り返し並び、かつその円筒部の突出する面がユーザの観察面側となるように形成された他のライトコントロールフィルムが、ユーザにより観察される面側にさらに配置され、表示板と２枚のライトコントロールフィルムは、ユーザに対して凹面が指向する円筒部が、垂直方向に等間隔に繰り返し並べて配置され、画像は、ユーザが観察する方向から投影されるようにすることができる。
【００３３】
本発明の第３のスクリーンにおいては、投影される画像が結像する平面状の表示板と、表示板を挟み込むように接合された２枚のライトコントロールフィルムとが、ユーザが観察する方向に突出した円筒面が、水平方向に等間隔に並べて形成され、ライトコントロールフィルムは、円筒面の周方向に角度依存性を有するように配置される。
【発明の効果】
【００３４】
本発明によれば、複数の視聴者が同時に観察可能な立体的な画像を、解像度を低下させることなく、表示することができる。
【発明を実施するための最良の形態】
【００３５】
以下に本発明の実施の形態を説明するが、本明細書に記載した発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が明細書に記載されていることを確認するためのものである。従って、明細書には記載されているが、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００３６】
さらに、この記載は、明細書に記載されている発明が、全て請求されていることを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出願、または追加される発明の存在を否定するものではない。
【００３７】
本発明により表示装置が提供される。この表示装置は、複数の異なる位置（例えば、図５のカメラ６１−１乃至６１−５の位置）において撮影された画像の画像データに基づいて、スクリーン（例えば、図６のスクリーン１０１）に立体画像を表示する表示装置（例えば、図３の画像表示装置６０）であって、前記複数の異なる位置と同数であり、前記画像が撮影された位置に基づいて設定される複数の異なる位置に配置され、前記スクリーンに画像を投影する複数の投影手段（例えば、図３のプロジェクタ６３−１乃至６３−５）と、前記複数の異なる位置において撮影された画像の画像データを補正する補正手段（例えば、図３７のステップＳ４４の処理を実行する図３２の制御部５２４を有する図３の幾何補正部６２−１乃至６２−５）と、前記補正手段により補正された前記複数の異なる位置において撮影された画像の画像データを、それぞれ前記画像が撮影された位置に対応する位置の前記投影手段に出力する出力手段（例えば、図３２の入出力部５２６）とを備える。
【００３８】
この表示装置は、前記投影手段に入力される画像データの中の画素の位置（例えば、図３６のプロジェクタ画素位置５５１）と、前記スクリーンに表示される画像の中の画素の位置（例えば、図３６のスクリーン画素位置）を対応付けて記憶する記憶手段（例えば、図３２の幾何補正データベース５２３）をさらに備え、前記補正手段は、前記記憶手段に記憶されている情報に基づいて、前記画像データを補正するようにすることができる。
【００３９】
この表示装置は、前記投影手段が、投影する画像を、回転楕円体の一部分で構成される楕円ミラー（例えば、図１９の楕円ミラー３４２）に反射させ、前記楕円ミラーにより反射された画像を前記スクリーンに投影するようにすることができる。
【００４０】
本発明により表示方法が提供される。この表示方法は、複数の異なる位置（例えば、図５のカメラ６１−１乃至６１−５の位置）において撮影された画像の画像データに基づいて、スクリーン（例えば、図６のスクリーン１０１）に立体画像を表示する表示装置の表示方法であって、前記複数の異なる位置において撮影された画像の画像データを取得する取得ステップ（例えば、図３７のステップＳ４１）と、前記取得ステップの処理により取得された画像データを補正する補正ステップ（例えば、図３７のステップＳ４４）と、
前記補正ステップの処理により補正された画像データを、前記画像が撮影された位置と同数であり、前記画像が撮影された位置に基づいて設定される複数の異なる位置から投影する投影ステップ（例えば、図３７のステップＳ４５）とを含む。
【００４１】
本発明によりプログラムが提供される。このプログラムは、複数の異なる位置（例えば、図５のカメラ６１−１乃至６１−５の位置）において撮影された画像の画像データに基づいて、スクリーン（例えば、図６のスクリーン１０１）に立体画像を表示する表示装置のプログラムであって、前記複数の異なる位置において撮影された画像の画像データの取得を制御する取得制御ステップ（例えば、図３７のステップＳ４１）と、前記取得制御ステップの処理により取得された画像データの補正を制御する補正制御ステップ（例えば、図３７のステップＳ４４の処理を実行する図３２の制御部５２４）と、前記補正制御ステップの処理により補正された画像データを、前記画像が撮影された位置と同数であり、前記画像が撮影された位置に基づいて設定される複数の異なる位置から投影するように制御する投影制御ステップ（例えば、図３７のステップＳ４５）とをコンピュータに実行させる。
【００４２】
本発明により記録媒体が提供される。この記録媒体は、複数の異なる位置（例えば、図５のカメラ６１−１乃至６１−５の位置）において撮影された画像の画像データに基づいて、スクリーン（例えば、図６のスクリーン１０１）に立体画像を表示する表示装置のプログラムが記録される記録媒体であって、前記複数の異なる位置において撮影された画像の画像データの取得を制御する取得制御ステップ（例えば、図３７のステップＳ４１）と、前記取得制御ステップの処理により取得された画像データの補正を制御する補正制御ステップ（例えば、図３７のステップＳ４４）と、前記補正制御ステップの処理により補正された画像データを、前記画像が撮影された位置と同数であり、前記画像が撮影された位置に基づいて設定される複数の異なる位置から投影するように制御する投影制御ステップ（例えば、図３７のステップＳ４５）とをコンピュータに実行させるプログラムが記録されている。
【００４３】
本発明により第１のスクリーンが提供される。このスクリーンは、複数の異なる位置（例えば、図５のカメラ６１−１乃至６１−５の位置）において撮影された画像が投影され、ユーザに立体画像を提示するスクリーン（例えば、図８のスクリーン１０１）であって、画像の光が結像する平面状の表示板（例えば、図８の表示板１８２）と、前記表示板の前記ユーザが観察する面側に予め設定された距離だけ離れて配置され、前記画像の光を屈折させる平面状の光学素子（例えば、図８の円柱レンズアレイ１８１）とを備える。
【００４４】
このスクリーンに投影される画像は、前記ユーザが観察する方向から投影される（例えば、前面投影）ようにすることができる。
【００４５】
本発明により第２のスクリーンが提供される。このスクリーンは、複数の異なる位置において撮影された画像が投影され、ユーザに立体画像を提示するスクリーンであって、投影される画像が結像する表示板（例えば、図１２のデフューザ１８４）と、前記表示板の前記ユーザが観察する面と反対側に予め設定された距離だけ離れて配置され、入射された投影される画像の光を前記表示板に結像する第１の平面状の光学素子（例えば、図１２の円柱レンズアレイ１８３）と、前記表示板の前記ユーザが観察する面側に予め設定された距離だけ離れて配置され、前記表示板に結像した画像の光を出射する第２の平面状の光学素子（例えば、図１２の円柱レンズアレイ１８５）とを備える。
【００４６】
このスクリーンは、前記第１と第２の平面状の光学素子が、円柱状のレンズを、水平方向に等間隔に並べて配置した円柱レンズアレイ（例えば、図８の円柱レンズアレイ１８１）であるようにすることができる。
【００４７】
このスクリーンは、前記第１と第２の平面状の光学素子が、長方形の屈折率分布レンズを、水平方向に等間隔に並べて配置した屈折率分布レンズアレイ（例えば、図１１の屈折率分布レンズアレイ１９１）であるようにすることができる。
【００４８】
このスクリーンは、前記第１と第２の平面状の光学素子が、球面レンズを、水平方向および垂直方向に等間隔に並べて配置した球面レンズアレイ（例えば、図２１の球面レンズアレイ４０１または４０２）であるようにすることができる。
【００４９】
このスクリーンは、前記第１と第２の平面状の光学素子が、円形の屈折率分布レンズを、水平方向および垂直方向に等間隔に並べて配置した屈折率分布レンズアレイ（例えば、図２２の屈折率分布レンズアレイ４２１または４２２）であるようにすることができる。
【００５０】
本発明により第３のスクリーンが提供される。このスクリーンは、複数の異なる位置（例えば、図５のカメラ６１−１乃至６１−５の位置）において撮影された画像が投影され、ユーザに立体画像を提示するスクリーン（例えば、図２３のスクリーン１０１）であって、投影される画像が結像する平面状の表示板（例えば、図２３のデフューザ４６３）と、前記表示板を挟み込むように接合された２枚のライトコントロールフィルム（例えば、図２３のライトコントロールフィルム４６１または４６２）とを有し、前記表示板と前記２枚のライトコントロールフィルムは、前記ユーザが観察する方向またはその逆方向に突出した円筒部が、水平方向に等間隔に並べて形成されており、前記ライトコントロールフィルムは、前記円筒部の周方向に角度依存性を有するように配置されている。
【００５１】
このスクリーンは、前記表示板と前記２枚のライトコントロールフィルムの前記円筒部の凹面側に、円柱レンズ（例えば、図２８の円柱レンズ４６４）が配置されているようにすることができる。
【００５２】
このスクリーンは、前記表示板と前記２枚のライトコントロールフィルムが、前記ユーザが観察する方向と反対側に突出する円筒部がさらに形成され、全体として波型になるように形成されている（例えば、図２９のスクリーン１０１）ようにすることができる。
【００５３】
このスクリーンは、前記ユーザに対して凹面が指向する円筒部が、垂直方向に等間隔に繰り返し並べて形成されるとともに、その円筒部の周方向に角度依存性を有する他のライトコントロールフィルム（例えば、図３０のライトコントロールフィルム４７１）が、前記ユーザにより観察される面と反対側にさらに配置され、前記画像は、前記スクリーンを前記ユーザが観察する方向と反対の方向から投影される（例えば、背面投影）ようにすることができる。
【００５４】
このスクリーンは、円筒面が水平方向に等間隔に繰り返し並び、かつその円筒部の突出する面が前記ユーザの観察面側となるように形成された他のライトコントロールフィルム（例えば、図３１のライトコントロールフィルム４７１）が、前記ユーザにより観察される面側にさらに配置され、前記表示板と前記２枚のライトコントロールフィルムは、前記ユーザに対して凹面が指向する円筒部が、垂直方向に等間隔に繰り返し並べて配置され、前記画像は、前記ユーザが観察する方向から投影される（例えば、背面投影）ようにすることができる。
【００５５】
以下、図面を参照して、本発明の実施の形態について説明する。図３は、本発明を適用した表示装置６０の原理を表すブロック図である。この例では、ユーザ（視聴者）に、５つの異なる画像が提示され、画像が立体的に表示されるものとする。
【００５６】
同図において、カメラ６１−１乃至６１−５は、ビデオカメラなどにより構成され、それぞれ異なる位置に設置され、同一の被写体を同時に撮影する。幾何補正部６２−１乃至６２−５を有する画像処理部６４（その詳細は、図３２を参照して後述する）は、コンピュータなどにより構成され、画像データに対して所定の演算を行うことにより、画像データの幾何補正を行う。プロジェクタ６３−１乃至６３−５は、入力された画像データに対応する画像（光）を投影する。なお、カメラ６１−１乃至６１−５、幾何補正部６２−１乃至６２−５、またはプロジェクタ６３−１乃至６３−５を個々に区別する必要がない場合、単にカメラ６１、幾何補正部６２、またはプロジェクタ６３と称する。
【００５７】
カメラ６１−１乃至６１−５により撮影された画像は、デジタルデータ（画像データ）に変換され、それぞれ幾何補正部６２−１乃至６２−５に供給される。幾何補正部６２−１乃至６２−５は、カメラ６１−１乃至６１−５の画像データに対して、それぞれ幾何補正処理を行い、プロジェクタ６３−１乃至６２−５に出力する。なお、画像データの幾何補正処理については後述する。
【００５８】
プロジェクタ６３−１乃至６３−５は、それぞれ、幾何補正部６２−１乃至６２−５から出力された画像データをスクリーン１０１（後述する図６参照）に投影する。ここで、プロジェクタの投影方法として、スクリーンに対して、ユーザがスクリーンを観察する方向（ユーザからみてスクリーンの表側）から画像の光を投影する方法、すなわち、スクリーンの前面から光（画像）を投影（以下、前面投影と称する）する方法と、スクリーンに対して、ユーザがスクリーンを観察する方向と反対の方向（ユーザからみてスクリーンの裏側）から画像の光を投影する方法、すなわち、スクリーンの背面から光を投影（以下、背面投影と称する）する方法がある。
【００５９】
最初に、前面投影について説明する。図４は、前面投影の場合のカメラ６１とプロジェクタ６３の位置の関係を示す図である。図４Ａに示されるように、カメラ６１−１乃至６１−５は、それぞれ、矢印８２−１乃至８２−５の方向から、被写体８１を撮影する。そして、プロジェクタ６３−１乃至６３−５は、それぞれ、矢印１０２−１乃至１０２−５の方向から画像を投影し、ユーザ１２０により、投影された画像が観察される。
【００６０】
ここで、矢印８２−１乃至８２−５と、矢印１０２−１乃至１０２−５は、それぞれの矢印の間の角度が等しくなるように設定される。例えば、矢印８２−３と矢印８２−４の間の角度が、角度αであり、矢印８２−３と矢印８２−５の間の角度が、角度βである場合、矢印１０２−３と矢印１０２−４の間の角度が、角度αとなり、矢印１０２−３と矢印１０２−５の間の角度が、角度βとなるように設定される。
【００６１】
なお、この例では、矢印８２−１乃至８２−５と矢印１０２−１乃至１０２−５は、紙面と同一の平面上（図中上下の方向に並べられて）に示されているが、実際には、矢印８２−１乃至８２−５と矢印１０２−１乃至１０２−５は、紙面と垂直となる平面上（図中奥行きの方向に並べられて）に設定される。
【００６２】
図５と図６は、カメラ６１とプロジェクタ６３の具体的な配置例を示す図である。図５において、カメラ６１−１乃至６１−５は、例えば、被写体８１の図中縦方向の中心線に対して直角に交差する平面上（水平面上）に配置されている。図６において、プロジェクタ６３−１乃至６３−５は、スクリーン１０１と直角に交差する同一の平面上（水平面上）に配置されている。カメラ６１−１乃至６１−５、およびプロジェクタ６３−１乃至６３−５は、床（地面）からそれぞれ同一の高さとなるように、例えば、設置台の上に固定されてもよいし、天井から吊られるようにしてもよい。
【００６３】
図５のカメラ６１−１乃至６１−５により、撮影される画像（光）の光軸の中心線１４１−１乃至１４１−５は、すべて被写体８１上の１点において、交わるように設定されており、中心線１４１−１乃至１４１−５は、それぞれの中心線の間の角度が、例えば３０°となるように設定されている。
【００６４】
同様に、図６のプロジェクタ６３−１乃至６３−５により投影される画像（光）の光軸の中心線１６１−１乃至１６１−５は、すべてスクリーン１０１上の１点において、交わるように設定されており、中心線１６１−１乃至１６１−５は、それぞれの中心線の間の角度が、３０°となるように設定されている。
【００６５】
なお、図５のカメラ６１−１乃至６１−５と、図６のプロジェクタ６３−１乃至６３−５の位置は、一致していなくてもよい。本発明においては、カメラ６１−１乃至６１−５と、プロジェクタ６３−１乃至６３−５の位置は、相似の関係となるように設定される。これは、後述する背面投影の場合においても同様とされる。
【００６６】
なお、スクリーン１０１の形状は、図６に示されるような平面には限られず、例えば、図７に示されるように、平面を湾曲させ、スクリーン１０１が、ユーザ１２０に対して凹面となるように構成してもよい。このようにすることで、より広範囲に、ユーザ１２０がどの位置からスクリーンを観察しても、Ｓ／Ｎ比の高い画像を提供することができる。
【００６７】
図８は、スクリーン１０１の構成例を示す図である。この例では、スクリーン１０１は、一般的な拡散板（デフューザ）である表示板１８２と、光を屈折させる円柱レンズ（レンチキュラーレンズ）アレイ１８１により構成されている。円柱レンズアレイ１８１は、縦方向（図中奥行の方向）に長い円柱を、縦方向に切断した形状（いわゆるかまぼこ型）の半円柱型の円柱レンズを、図中横方向に等間隔に並べたものである。円柱レンズ１８１−ｉ（ｉ=１，２，３，・・・）は、その突面が表示板１８２を指向するように配置されている。
【００６８】
このように構成されるスクリーン１０１に対して、矢印２０１の方向（ユーザ１２０がいる方向）からプロジェクタ６３の光が投影され、投影された光が、円柱レンズアレイ１８１を介して、表示板１８２に入射されて結像する。表示板１８２に入射した光は、矢印２０２の方向に向かって反射し、円柱レンズアレイ１８１を介してユーザ１２０により観察される。
【００６９】
なお、円柱レンズアレイ１８１と表示板１８２の間の距離は、円柱レンズ１８１−ｉの焦点距離と等しくなるように設定される。
【００７０】
図９は、スクリーン１０１に光が入射して反射する様子を詳細に示した図である。いま、３つの異なるプロジェクタから、スクリーン１０１に向けて光が投影されているものとする。第１番目のプロジェクタから投影された光の方向を矢印２０１−１で表し、第２番目のプロジェクタから投影された光の方向を矢印２０１−２で表し、第３番目のプロジェクタから投影された光の方向を矢印２０１−３で表す。
【００７１】
円柱レンズアレイ１８１の図中最も左側の円柱レンズ１８１−１において、矢印２０１−１の方向から入射した光は、円柱レンズで屈折し、表示板１８２上の焦点２２１−１で結像する。焦点２２１−１で結像した光は、表示板１８２で反射し、再び円柱レンズアレイ１８１の図中最も左側の円柱レンズ１８１−１に入射する。そして、円柱レンズ１８１−１を通った光は、矢印２０２−１（矢印２０２−１と平行な方向）の方向に進む。矢印２０１−２の方向から入射した光は、円柱レンズ１８１−１で屈折し、表示板１８２上の焦点２２１−２で結像する。焦点２２１−２で結像した光は、表示板１８２で反射し、再び円柱レンズ１８１−１に入射し、円柱レンズ１８１−１を通った光は、矢印２０２−２の方向に進む。矢印２０１−３の方向から入射した光は、円柱レンズ１８１−１で屈折し、表示板１８２上の焦点２２１−３で結像する。焦点２２１−３で結像した光は、表示板１８２で反射し、再び円柱レンズ１８１−１に入射し、円柱レンズ１８１−１を通った光は、矢印２０２−３の方向に進む。
【００７２】
同様にして、３つの異なるプロジェクタから投影された光の入射と反射が、円柱レンズアレイ１８１の図中左から２番目（中央）の円柱レンズ１８１−２と、円柱レンズアレイ１８１の図中最も右の円柱レンズ１８１−３においても行われる。そして、ユーザは、反射板１８２で反射し、円柱レンズ１８１−ｉを通って進む光を観察する。
【００７３】
なお、円柱レンズアレイ１８１において、各円柱レンズ１８１−ｉは、レンズの半径と同程度の間隔を空けて（半径の約1.5倍のピッチで）配置される。このようにすることで、ある円柱レンズ１８１−ｉに入射して結像した光が、表示板１８２で反射するとき、反射した光が隣の円柱レンズ１８１−ｉ−１（または１８１−ｉ＋１）に入射し、その結果画像が不鮮明となる、いわゆるクロストークの発生を防止することができる。
【００７４】
このようにすることで、図１０に示されるように、スクリーン１０１に向かって左方向にいるユーザ１２１には、ユーザ１２１の右目１２１−１と左目１２１−２による視差に対応する光２４１−１と２４１−２がそれぞれ入射する。また、スクリーン１０１に向かって右方向にいるユーザ１２２には、ユーザ１２２の右目１２２−１と左目１２２−２による視差に対応する光２４２−１と２４２−２がそれぞれ入射する。従って、プロジェクタの数を充分多くすることで、ユーザがどこにいても、立体的な画像を提示することができる。
【００７５】
さらに、スクリーン１０１には、複数の異なる位置に設置されたプロジェクタから同時に画像が投影されるので、通常の画像（２次元的な画像（非立体画像））の投影または表示と比較して、画像の解像度を劣化させることが抑制できる。
【００７６】
なお、図８において、スクリーン１０１は、円柱レンズアレイ１８１と表示板１８２により構成されるようにしたが、円柱レンズアレイ１８１に代えて、図１１に示されるような、屈折率分布レンズアレイ１９１を用いて、スクリーン１０１が構成されるようにしてもよい。屈折率分布レンズアレイ１９１は、縦方向（図中奥行の方向）に長い、いわゆる短冊型の屈折率分布レンズ１９１−１，１９１−２，１９１−３，・・・を、図中横方向に等間隔に並べたものであり、それぞれの屈折率分布レンズ１９１−ｉは、そのレンズの各部において、レンズに入射する光の屈折率が、それぞれ異なる。これにより円柱レンズと同様の光学的特性が得られる。
【００７７】
同図において、屈折率分布レンズ１９１−ｉの中央付近は、濃度が薄く表示されており、左右端（外側）に近づくに従って濃度が濃く表示されている。屈折率分布レンズ１９１−ｉは、図中薄く表示された部分ほど光の屈折率が小さく、図中濃く表示された部分ほど光の屈折率が大きくなるように構成されている。
【００７８】
この他、屈折率分布レンズアレイ１９１の代わりに、屈折率分布レンズと同様の特性をもった短冊形のフレネルレンズを、図中横方向に等間隔に並べて、フレネルレンズアレイを構成し、フレネルレンズアレイと表示板１８２によりスクリーン１０１が構成されるようにしてもよい。
【００７９】
次に、プロジェクタの投影方法として、上述した前面投影とは別の投影方法である背面投影について説明する。
【００８０】
最初に、背面投影の場合に用いられるスクリーン１０１の構成について説明する。背面投影の場合、スクリーン１０１は、図１２に示されるように構成される。同図においては、半透明のすりガラスのような素材で構成されるデフューザ１８４が、図８を参照して上述した円柱レンズアレイ１８１と同等の構成の２つの円柱レンズアレイ１８３と１８５の間に配置されることによりスクリーン１０１が構成されている。円柱レンズアレイ１８３と１８５は、それぞれに包含される円柱レンズ１８３−１乃至１８３−３，１８５−１乃至１８５−３の突面が、デフューザ１８４を向くように配置される。
【００８１】
なお、円柱レンズアレイ１８３とデフューザ１８４の間の距離と、円柱レンズアレイ１８５とデフューザ１８４の間の距離は、それぞれの円柱レンズ１８３−ｉ，１８５−ｉの焦点距離と等しくなるように設定される。
【００８２】
同図において、プロジェクタから投影される画像（光）は、矢印２４１で示される方向からスクリーン１０１に入射し、スクリーン１０１を透過した光が、矢印２４２で示される方向に進み、ユーザ１２０に観察される。
【００８３】
図１３は、スクリーン１０１に入射した光が、スクリーン１０１を透過して進む様子を詳細に示した図である。いま、３つの異なるプロジェクタから、スクリーン１０１に向けて投影されているものとする。第１番目のプロジェクタから投影された光の方向を矢印２６１−１で表し、第２番目のプロジェクタから投影された光の方向を矢印２６１−２で表し、第３番目のプロジェクタから投影された光の方向を矢印２６１−３で表す。
【００８４】
円柱レンズアレイ１８３の図中最も左側の円柱レンズ１８３−１において、矢印２６１−１の方向から入射した光は、円柱レンズ１８３−１で屈折し、デフューザ１８４上の焦点２８１−１で一旦結像する。焦点２８１−１で結像した光は、半透明のデフューザ１８４を透過して、円柱レンズアレイ１８５の図中最も左側の円柱レンズ１８５−１に入射する。そして、円柱レンズ１８５−１を通った光は、矢印２６２−１の方向に進む。矢印２６１−２の方向から入射した光は、円柱レンズ１８３−１で屈折し、デフューザ１８４上の焦点２８１−２で一旦結像する。焦点２８１−２で結像した光は、デフューザ１８４を透過して、円柱レンズアレイ１８５の図中最も左側の円柱レンズ１８５−１に入射し、円柱レンズ１８５−１を通って、矢印２６２−２の方向に進む。矢印２６１−３の方向から入射した光は、円柱レンズ１８３−１で屈折し、デフューザ１８４上の焦点２８１−３で一旦結像してデフューザ１８４を透過し、円柱レンズアレイ１８５の円柱レンズ１８５−１に入射し、円柱レンズ１８５−１を通って、矢印２６２−３の方向に進む。
【００８５】
なお、矢印２６１−ｉと２６２−ｉとの関係は、図１５を参照して後述する関係となっている。
【００８６】
同様にして、円柱レンズアレイ１８３と円柱レンズアレイ１８５の図中左から２番目（中央）の円柱レンズ１８３−２，１８５−２と、円柱レンズアレイ１８１と円柱レンズアレイ１８５の図中最も右の円柱レンズ１８３−３，１８５−３においても、３つの異なるプロジェクタから投影された光が円柱レンズアレイ１８３の円柱レンズ１８３−ｉで屈折し、デフューザ１８４上の焦点で一旦結像して円柱レンズアレイ１８５の円柱レンズ１８５−ｉを通過する。そして、ユーザは、このようにスクリーン１０１（円柱レンズアレイ１８３、デフューザ１８４、および円柱レンズアレイ１８５）を通って進む光を観察する。
【００８７】
このようにすることで、図１０を参照して上述した場合と同様に、スクリーン１０１を監察する（見ている）ユーザに、右目と左目による視差に対応する光が照射され、その結果、ユーザから見て立体的な画像が提供される。また、図１０の場合と同様に、プロジェクタの数を充分多くすることで、ユーザがどこにいても、立体的な画像が観察される。さらに、スクリーン１０１には、複数の異なる位置に設置されたプロジェクタから同時に画像が投影されるので、通常の画像（２次元的な画像）の投影または表示と比較して、画像の解像度を劣化させることが抑制される。
【００８８】
なお、図１２において、スクリーン１０１は、円柱レンズアレイ１８３、デフューザ１８４、および円柱レンズアレイ１８５により構成されるようにしたが、図１１を参照して上述した場合と同様に、円柱レンズアレイ１８３と１８５に代えて、図１３に示されるような、屈折率分布レンズアレイ１９３と１９４を用いて、スクリーン１０１が構成されるようにしてもよい。屈折率分布レンズアレイ１９３と１９４は、図１１を参照して上述した屈折率分布レンズアレイ１９１と同様のものである。
【００８９】
この他、屈折率分布レンズアレイ１９３と１９４の代わりに、屈折率分布レンズと同様の特性をもった短冊形のフレネルレンズを、図中横方向に等間隔に並べて、２枚のフレネルレンズアレイを構成し、2枚のフレネルレンズアレイの間にデフューザ１８４を配置することによりスクリーン１０１が構成されるようにしてもよい。
【００９０】
次に、図１２または図１４に示されるようにして構成されるスクリーン１０１に対して背面投影を行う場合のプロジェクタ６３の配置について説明する。前面投影の場合のカメラ６１とプロジェクタ６３の位置の関係については、図４を参照して上述した通りであるが、背面投影の場合、カメラ６１とプロジェクタ６３の位置の関係は、これとは異なったものとなる。
【００９１】
図１５は、図１２の（または図１４の）スクリーン１０１に対して、２つの異なるプロジェクタから投影される光が進む方向（光軸）を示す図である。いま、１つのプロジェクタが、矢印３０１−１の方向から光をスクリーン１０１の背面（図中上方向、すなわちプロジェクタ側）に投影すると、その光は、スクリーン１０１を通過し、スクリーン１０１の前面（図中下方向、すなわちユーザ側）から矢印３０１−２の方向に進む。一方、別のプロジェクタが、矢印３０１−１の方向の図中右側に角度θだけ離れた方向３０２−１から光をスクリーン１０１の背面に投影すると、その光は、スクリーン１０１を通過し、スクリーン１０１の前面から矢印３０２−２の方向に進む。
【００９２】
図１２の（または図１４の）スクリーン１０１に対して、背面投影された光は、図１５のように進むので、背面投影の場合のカメラ６１とプロジェクタ６３の位置の関係は、図１６に示されるようになる。
【００９３】
すなわち、図１６Ａに示されるように、カメラ６１−１乃至６１−５は、それぞれ、矢印８２−１乃至８２−５の方向から、被写体８１を撮影する。このように撮影された画像は、図１６Ｂに示されるように、プロジェクタ６３−１乃至６３−５により、それぞれ、矢印１０２−１乃至１０２−５の方向から、スクリーン１０１に対して背面投影され、ユーザ１２０により、投影された画像が観察される。ここで、図１６Ａの矢印８２−１乃至８２−５と図１６Ｂの矢印１０２−１乃至１０２−５は、図１６Ａの被写体８１（その中心線）を、図１６Ｂに示されたスクリーン１０１に重ね合わせた場合に、スクリーン１０１（被写体８１）を中心として線対称の関係になっている。
【００９４】
また、図１６Ａの矢印８２−１乃至８２−５と、図１６Ｂの矢印１０２−１乃至１０２−５は、それぞれの矢印の間の角度が等しくなるように設定される。例えば、矢印８２−３と矢印８２−４の間の角度が、角度αであり、矢印８２−３と矢印８２−５の間の角度が、角度βである場合、矢印１０２−３と矢印１０２−４の間の角度が、角度αとなり、矢印１０２−３と矢印１０２−５の間の角度が、角度βとなるように設定される。
【００９５】
なお、この例では、矢印８２−１乃至８２−５と矢印１０２−１乃至１０２−５は、紙面と同一の平面上（図中上下の方向に並べられて）に示されているが、実際には、矢印８２−１乃至８２−５と矢印１０２−１乃至１０２−５は、紙面と垂直となる水平面上（図中奥行きの方向に並べられて）に設定される。
【００９６】
カメラ６１−１乃至６１−５とプロジェクタ６３−１乃至６３−５をこのような位置関係で配置することにより、背面投影の場合も、前面投影と同様の光（立体画像）がユーザ１２０により観察される。
【００９７】
次に、背面投影の場合のプロジェクタ６３の具体的な配置について説明する。図１７は、背面投影の場合のプロジェクタ６３の具体的配置の１つの例を示す図である。この例では、プロジェクタ６３−１乃至６３−５が、図１６Ｂに示される、矢印１０２−１乃至１０２−５の方向から、直接光を投影するように配置されている。プロジェクタ６３−１乃至６３−５がスクリーン１０１から充分に離れた距離に位置している場合、このようにプロジェクタ６３−１乃至６３−５から光を、直接スクリーン１０１に投影することにより画像を提供することもできるが、プロジェクタ６３−１乃至６３−５がスクリーン１０１から充分に離れた距離に位置していない場合、図１７に示される方法では、前面投影の場合と比較して、ユーザ１２０により観察される光の方向が微小にずれることがある。この現象について図１８を参照して説明する。
【００９８】
図１８は、スクリーン１０１を観察するユーザの視点と、ユーザの視点に入射する光の関係について、前面投影の場合と背面投影の場合の違いを説明する図である。図１８Ａは、前面投影により投影された画像を、ユーザの視点（眼）１２０−１で観察する場合の光の方向を示す図である。図１８Ａにおいて、スクリーン１０１上の点１０１−１に表示される画像（画素）の光は、矢印３２１−１の方向に進み、視点１２０−１に入射する。同様に、スクリーン１０１上の点１０１−２と１０１−３に表示される画像（画素）の光は、それぞれ矢印３２１−２と３２１−３の方向に進み、視点１２０−１に入射する。
【００９９】
前面投影の場合、図４を参照して上述したように、カメラ６１で被写体８１を撮影した方向と同じ方向からプロジェクタ６３の光が投影される。従って、ユーザの視点１２０−１には、視点１２０−１とほぼ同じ方向から撮影された画像の光が入射することになる。
【０１００】
これに対して図１８Ｂは、背面投影により投影された画像を、ユーザの視点（眼）１２０−１で観察する場合の光の方向を示す図である。背面投影の場合、図１６を参照して上述したように、カメラ６１で被写体８１を撮影した方向と、スクリーンを挟んで線対称となる方向からプロジェクタ６３の光が投影される。従って、プロジェクタ６３から直接スクリーン１０１に光を投影する場合、プロジェクタ６３の位置は、スクリーン１０１を挟んで線対称となる。
【０１０１】
このとき、スクリーン１０１には、プロジェクタ６３から投影された光（この例では、３方向の光）が、それぞれ矢印３３１乃至３３３の方向からスクリーン１０１に入射する。矢印３３１乃至３３３の方向から入射した光は、それぞれスクリーン１０１上の点１０１−１乃至１０１−３の画像（画素）となる。スクリーン１０１上の点１０１−１乃至１０１−３の画像（画素）の光は、本来、前面投影の場合と同様に、矢印３２１乃至３２３の方向に進み、視点１２０−１に入射し、ユーザに観察されるべきものであるが、背面投影の場合、プロジェクタ６３から投影された光が、スクリーン１０１を通過して進むため、点１０１−１と点１０１−３の画像（画素）の光は、それぞれ矢印３４１と３４３の方向に進むこととなる。しかし、ユーザは、矢印３２１と３２３の方向からの光を観察しているので結局、背面投影の場合、前面投影の場合と比較して、ユーザにより観察される光の方向がずれてしまう。
【０１０２】
そこで、本発明においては、背面投影の場合、プロジェクタから照射された光を、一度楕円ミラーに反射させ、楕円ミラーにより反射された光をスクリーン１０１に投影する。楕円ミラーは、楕円をその長軸（または短軸）を中心として回転させることにより得られる回転楕円体の所定の一部分を切り取り、その内部を鏡（ミラー）としたものである。
【０１０３】
図１９に楕円ミラーの構成例を示す。この例では、点線でしめされた楕円３４１が、その長軸３４１を中心として回転し、回転楕円体が得られ、その一部が切り取られて楕円ミラー３４２が構成されている。楕円ミラー３４２は、楕円の性質により、楕円３４１の長軸上に２つの焦点ｆ１とｆ２を有する。一方の焦点から照射された光は、任意の位置に配置された楕円ミラー３４２の内側（鏡面）の点に向かい、楕円ミラー３４２の鏡面で反射され、他方の焦点に入射する。
【０１０４】
ここで、図１９に示されるように、一方の焦点ｆ１の位置に、プロジェクタ６３の照射口を配置し、他方の焦点ｆ２の位置がユーザの視点となるように、楕円ミラー３４２とスクリーン１０１を配置すれば、ユーザにより観察される画像（光）は、あたかも焦点ｆ２から投影された画像と同等の画像、すなわち焦点ｆ２から前面投影された光がスクリーン１０１で反射し、ユーザにより観察された場合とほぼ同等の方向の光により得られる画像となり、背面投影の場合でも前面投影の場合と同じ画像を得ることができる。
【０１０５】
図２０は、プロジェクタから照射された光を、一度楕円ミラーに反射させ、楕円ミラーにより反射された光をスクリーン１０１に投影する場合における、プロジェクタの具体的な配置例を示す図である。同図に示されるように、プロジェクタ６３−１乃至６３−５は、自身が投影する光を、楕円ミラー３４２−１乃至３４１−５に反射させるように配置されている。そして、楕円ミラー３４２−１乃至３４２−５で反射された光が、スクリーン１０１を通って、ユーザ１２０により観察される。
【０１０６】
なお、プロジェクタ６３−１乃至６３−５、楕円ミラー３４２−１乃至３４２−５、およびスクリーン１０１は、図１９を参照して上述したように、各プロジェクタの照射口とユーザの視点が楕円ミラーの２つの焦点に対応する位置となるように配置される。
【０１０７】
この例では、スクリーン１０１の形状は、平面とされているが、図７と同様に、平面を湾曲させ、スクリーン１０１が、ユーザ１２０に対して凹面となるように構成してもよい。
【０１０８】
以上においては、カメラ６１またはプロジェクタ６３を、水平（床と平行）であり、床から同一の高さとなる水平面上に複数配置して、立体的な画像を提供する例について説明したが、カメラ６１またはプロジェクタ６３が、床と垂直になる垂直面上に複数個、さらに配置されるようにしてもよい。このようにすることで、ユーザに対して水平方向の視差だけでなく、垂直方向にも視差のある画像を提供することができ、その結果より立体的な画像を提供することができる。
【０１０９】
図２１と図２２に、水平方向と垂直方向に視差のある画像を提供する場合のスクリーン１０１の構成例を示す。
【０１１０】
図２１は、図１２に対応する例であり、図１２においては、円柱レンズアレイ１８１と１８３の間にデフューザ１８４が配置されることにより、スクリーン１０１が構成されるが、図２１では、球面レンズアレイ４０１と４０２の間にデフューザ１８４が配置されることにより、スクリーン１０１が構成されている。球面レンズアレイ４０１は、球状のレンズを、平面で分割した球面レンズが、縦方向および横方向に等間隔に並べられ、構成される。
【０１１１】
なお、球面レンズアレイ４０１とデフューザ１８４の間の距離と球面レンズアレイ４０２とデフューザ１８４の間の距離は、それぞれ球面レンズの焦点距離と等しくなるように設定される。
【０１１２】
図２２は、図１３に対応する例であり、図１３においては、複数の短冊状の屈折率分布レンズにより構成される屈折率分布レンズアレイ１８３と１８５の間にデフューザ１８４が配置され、スクリーン１０１が構成されているが、図２２においては、複数の円形の屈折率分布レンズにより構成される屈折率分布レンズアレイ４２１と４２２の間にデフューザ１８４が配置されることにより、スクリーン１０１が構成されている。同図において、円形の屈折率分布レンズは、濃度が濃く表示されている部分ほど光の屈折率が大きくなり、薄く表示されている部分ほど光の屈折率が小さくなるように構成されている。これにより球面レンズと同様の光学的特性が得られる。
【０１１３】
なお、屈折率分布レンズと同様の特性をもつ、複数の円形のフレネルレンズにより構成される２枚のフレネルレンズアレイの間に、デフューザ１８４を配置することによりスクリーン１０１が構成されるようにしてもよい。
【０１１４】
ここまで、円柱レンズアレイ、屈折率分布レンズアレイ、またはフレネルレンズアレイを利用してスクリーン１０１を構成する例について説明したが、次に、ライトコントロールフィルムを利用して、スクリーン１０１を構成する例について説明する。
【０１１５】
ライトコントロールフィルムは、いわゆるルーバー構造を有するシート状の光学フィルタで、遮光性を有する長方形状の多数の微小フィルムが、その面どうしが対向するように、微小間隔で配置されており、これにより、微小フィルムどうしの間にスリットが形成され、例えば、正面方向の光線のみをそのまま透過（通過）させ、正面方向からずれた光線（微小フィルの面と交わる光線）ほど、透過する光量を小さくする光学特性を有する。ライトコントロールフィルムは、軽量で加工しやすいので、円柱レンズアレイや屈折率分布レンズアレイを用いる場合と比較して、スクリーン１０１の形状をより自由に設定することができる。
【０１１６】
図２３は、ライトコントロールフィルムを用いたスクリーン１０１の第１の構成例である。同図に示されるように、スクリーン１０１は、本来平面状の部材を、繰り返し湾曲した形状とすることで多数の円筒部４６０−ｉ（ｉ＝１，２，３・・・）が形成されている。スクリーン１０１は、円筒部４６０−ｉが水平方向に並び、その突面がユーザ１２０に向くように形成されている。同図の右側の四角枠で囲まれた部分は、スクリーン１０１の右端部の円筒部４６０−４を拡大し、その内部の構成を表した図である。この例では、ライトコントロール４６１とライトコントロールフィルム４６２の間にデフューザ４６３が挟み込まれている。
【０１１７】
このように構成されるスクリーン１０１は、前面投影または背面投影のいずれにも利用できるが、前面投影の場合、ライトコントロールフィルム４６２はなくてもよい。前面投影の場合、矢印４８１の方向から（円筒部４６０−ｉの突面側から）プロジェクタ６３により光（画像）を投影し、スクリーン１０１で反射した光をユーザ１２０に観察させる。背面投影の場合、矢印４８２の方向から（円筒部４６０−ｉの凹面側から）プロジェクタ６３により光（画像）を投影し、スクリーン１０１を通過した光をユーザ１２０に観察させる。
【０１１８】
ライトコントロールフィルム４６１と４６２は、上述したように、光の入射方向に応じて、その光の透過率を変化させる角度依存性を有しており、この光の透過率が最も高くなる入射角をルーバー角と称する。この例では、ライトコントロールフィルム４６１と４６２には、それぞれルーバー角が０°のライトコントロールフィルムを採用する。従って、ライトコントロールフィルム４６１と４６２は、正面方向の光線をほぼそのまま透過させ、水平面内において正面方向からの角度が大きい光線ほど、透過する光量を（光の透過率を）小さくする。この光学的特性により、ライトコントロールフィルム４６１と４６２は、光の入射角が、ルーバー角から±３０°以上異なる角度となった場合、その光の透過率はゼロとし、光の入射角が、ルーバー角から±１５°程度異なる角度となった場合、その光の透過率を、最大透過率（ルーバー角のときの光の透過率）の約半分の値とする。
【０１１９】
次に、図２３に示されるスクリーン１０１を利用して画像を投影する場合のカメラ６１とプロジェクタ６３の位置の関係について説明する。
【０１２０】
同様に、図２４は、前面投影の場合のカメラカメラ６１−１乃至６１−５とプロジェクタ６３−１乃至６３−５の位置の関係を示す図である。同図は、図４に対応する図であり、それぞれの図において対応する部分には、同一の符号が付されている。図２４Ａにおいて、カメラ６１−１乃至６１−５は、矢印８２−１乃至８２−５の方向から被写体８１を撮影する。このようにして撮影された画像は、図２４Ｂに示されるように、プロジェクタ６３−１乃至６３−５により、矢印１０２−１乃至１０２−５の方向からスクリーン１０１に投影される。
【０１２１】
このとき、カメラ６１−１乃至６１−５の配置は、上述したライトコントロールフィルム４６１と４６２の光学特性に対応して設定される。例えば、ライトコントロールフィルム４６１と４６２は、ルーバー角から±３０°以上異なる角度から入射される光を透過させないので、±３０°の範囲の中で入射する光に対応する画像は、ライトコントロールフィルム４６１（または４６２）を介して観察することができる。従って、カメラ６１−１乃至６１−５のそれぞれの光軸（矢印８２−１乃至８２−５）の間の角度が３０°となるように、カメラ６１−１乃至６１−５が配置される。
【０１２２】
図２４Ｂにおいて、プロジェクタ６３−１乃至６３−５が投影する光の光軸（矢印１０２−１乃至１０２−５）の間の角度が３０°となるように、プロジェクタ６３−１乃至６３−５が配置される。
【０１２３】
なお、この例では、矢印８２−１乃至８２−５と矢印１０２−１乃至１０２−５は、紙面と同一の平面上（図中上下の方向に並べられて）に示されているが、実際には、矢印８２−１乃至８２−５と矢印１０２−１乃至１０２−５は、紙面と垂直となる水平面上（図中奥行きの方向に並べられて）に設定される。
【０１２４】
このようにすることで、図１０を参照して上述した場合と同様に、スクリーン１０１に向かって左方向にいるユーザ１２１には、ユーザ１２１の右目１２１−１と左目１２１−２による視差に対応する光２４１−１と２４１−２が入射する。また、スクリーン１０１に向かって右方向にいるユーザ１２２には、ユーザ１２２の右目１２２−１と左目１２２−２による視差に対応する光２４２−１と２４２−２が入射する。従って、プロジェクタ（カメラ）の数が充分多ければ、ユーザがどこにいても、立体的が画像を提示することができる。さらに、スクリーン１０１には、複数の異なる位置に設置されたプロジェクタから同時に画像が投影されるので、通常の画像（２次元的な画像）の投影または表示と比較して、画像の解像度を劣化させることを抑制することができる。
【０１２５】
次に、図２３に示されるスクリーン１０１に対して、背面投影を行う場合のカメラ６１とプロジェクタ６３の位置の関係について説明する。前面投影の場合のカメラ６１とプロジェクタ６３の位置の関係については、図２４を参照して上述した通りであるが、背面投影の場合、カメラ６１とプロジェクタ６３の位置の関係は、これとは異なったものとなる。
【０１２６】
図２５は、図２３のスクリーン１０１に対して、２つの異なるプロジェクタから投影される光（光軸）が進む方向を示す図である。いま、１つのプロジェクタが、矢印５０１−１の方向から光をスクリーン１０１の背面（図中上方向、すなわちプロジェクタ側）に投影すると、その光は、スクリーン１０１を通過し、スクリーン１０１の前面（図中下方向、すなわちユーザ側）から矢印５０１−２の方向に進む。一方、別のプロジェクタが、矢印５０１−１の方向の図中左側に角度θだけずれた方向（矢印５０２−１の方向）から光をスクリーン１０１の背面に投影すると、その光は、スクリーン１０１を通過し、スクリーン１０１の前面から矢印５０２−２の方向に進む。
【０１２７】
図２３のスクリーン１０１に対して、背面投影された光は、図２５のように進むので、前面投影の場合のカメラ６１とプロジェクタ６３の位置の関係は、図２６に示されるようになる。
【０１２８】
すなわち、図２６Ａに示されるように、カメラ６１−１乃至６１−５は、それぞれ、矢印８２−１乃至８２−５の方向から、被写体８１を撮影する。このように撮影された画像は、図２６Ｂに示されるように、プロジェクタ６３−１乃至６３−５により、それぞれ、矢印１０２−１乃至１０２−５の方向から、スクリーン１０１に対して背面投影され、ユーザ１２０により、投影された画像が観察される。ここで、図２６Ａの矢印８２−１乃至８２−５と図２６Ｂの矢印１０２−１乃至１０２−５は、図２６Ａの被写体８１上に黒点で示された中心点と、図２６Ｂに示されたスクリーン１０１に黒点で示された中心点を重ね合わせると、スクリーン１０１（被写体１８１）の中心点を中心として点対称の関係になっている。
【０１２９】
また、図２６Ａの矢印８２−１乃至８２−５と、図２６Ｂの矢印１０２−１乃至１０２−５は、それぞれの矢印の間の角度が等しくなるように設定される。この例では、矢印８２−１乃至矢印８２−５の間の角度は、それぞれ３０°なので、矢印１０２−１乃至１０２−５の角度もそれぞれ３０°となるように設定される。
【０１３０】
なお、この例では、矢印８２−１乃至８２−５と矢印１０２−１乃至１０２−５は、紙面と同一の平面上（図中上下の方向に並べられて）に示されているが、実際には、矢印８２−１乃至８２−５と矢印１０２−１乃至１０２−５は、紙面と垂直となる水平面上（図中奥行きの方向に並べられて）に設定される。
【０１３１】
カメラ６１−１乃至６１−５とプロジェクタ６３−１乃至６３−５をこのような位置関係で配置することにより、背面投影の場合も、前面投影と同様の光（画像）がユーザ１２０により観察される。
【０１３２】
次に、図２３に示されるスクリーン１０１に対して、背面投影を行う場合のプロジェクタ６３の具体的な配置例について説明する。背面投影を行う場合、プロジェクタ６３から直接スクリーン１０１に対して、光を投影してもよいが、図１８を参照して上述した理由により、プロジェクタ６３の光を一度、楕円ミラーに反射させ、楕円ミラーから反射された光をスクリーン１０１に投影することが望ましい。
【０１３３】
図２７は、図２３に示されるスクリーン１０１に対して、背面投影を行う場合のプロジェクタ６３−１乃至６３−５の具体的な配置例を示す図である。同図は、図２０に対応しており、それぞれの図において対応する部分には、同一の符号が付されている。図２７においては、図２０の場合と比較して、プロジェクタ６３−１乃至６３−５と楕円ミラー３４２−１乃至３４２−５が、それぞれ逆になるように配置されている。すなわち、図２０においては、図中右側から順に、プロジェクタ６３−１乃至６３−５と楕円ミラー３４２−１乃至３４２−５が配置されているのに対して、図２７においては、図中左側から順に、プロジェクタ６３−１乃至６３−５と楕円ミラー３４２−１乃至３４２−５が配置されている。
【０１３４】
これは、図１２（または図１４）のスクリーン１０１に対して背面投影を行う場合と、図２３のスクリーン１０１に対して背面投影を行う場合では、図１５と図２５に示されるように、それぞれの場合の光の進む方向がそれぞれ異なるためであり、この結果、図１２（または図１４）のスクリーン１０１に対して背面投影を行う場合、カメラ６１−１乃至６１−５と線対称となる位置にプロジェクタ６３−１乃至６３−５を配置する（図１６）のに対し、図２３のスクリーン１０１に対して背面投影を行う場合、カメラ６１−１乃至６１−５と点対称となる位置にプロジェクタ６３−１乃至６３−５を配置する（図２６）ためである。
【０１３５】
このようにすることで、背面投影の場合でも前面投影の場合と同じ画像を得ることができる。
【０１３６】
背面投影の場合、スクリーン１０１を、図２８に示されるように構成してもよい。同図の右側の四角枠で囲まれた部分は、スクリーン１０１の右端部の円筒部４６０−４を拡大し、その内部の構成を表した図である。この例においては、図２３と同様に、ライトコントロール４６１とライトコントロールフィルム４６２の間にデフューザ４６３が挟み込まれているが、図２３の場合と異なり、ライトコントロール４６１、４６２、およびデフューザ４６３の円筒部４６０−ｉの凹面側（ユーザ１２０から見て後方）に、円筒部４６０−ｉと平行に、円柱レンズ４６４−ｉ（ｉ＝１，２，３，・・・）が配置されている。円柱レンズ４６４−ｉは、円形の切断面が得られる平面と平行な光線を１つの焦点に集光する機能があり、ユーザ１２０が、円柱レンズ４６４を用いたスクリーン１０１を通して光（画像）を観察することにより、より高輝度の画像を得ることができる。
【０１３７】
なお、図２８に示されるスクリーン１０１において、円柱レンズ４６４−ｉとデフューザ４６３の間の距離が、円柱レンズ４６４−ｉの焦点距離と同じになるように、ライトコントロール４６１、４６２、デフューザ４６３、および円柱レンズ４６４−ｉが配置される。
【０１３８】
図２９は、図２３に示されるスクリーン１０１の、さらに別の構成例を示す図である。この例では、やはり、ライトコントロール４６１とライトコントロールフィルム４６２の間にデフューザ４６３が挟み込まれている。図２３の場合、スクリーン１０１は、ライトコントロール４６１、４６２およびデフューザ４６３が、ユーザ１２０側が突面となるように、水平方向に繰り返し湾曲され、同じ形状の円筒部４６０−ｉが水平方向にならべられた形状とされているのに対して、この例では、スクリーン１０１が、ライトコントロール４６１、４６２およびデフューザ４６３が、その水平方向に、前方（ユーザ１２０側）と後方（ユーザ１２０の反対側）にも交互に、円筒部が形成され、結局、全体として波型の形状とされている。このような形状にすることで、図２３の場合と比較して、スクリーン１０１をより簡単に加工することができる。
【０１３９】
なお、図２３、図２８または図２９に示されるスクリーン１０１の形状は、図７の場合と同様に、平面を湾曲させ、スクリーン１０１が、ユーザ１２０に対して凹面となるように構成してもよい。
【０１４０】
また、図２１または図２２を参照して上述したように、水平方向と垂直方向に視差のある画像を提供する場合、ライトコントロールフィルムを用いたスクリーン１０１は、図３０または図３１に示されるように構成される。図３０は、背面投影を行う場合のスクリーン１０１の構成例を示す図であり、同図においては、図２３と同様に、ライトコントロールフィルム４６１、４６２およびデフューザ４６３が配置され、その背面（ユーザ１２０の反対側）にライトコントロール４６１を９０°回転させた形状となるライトコントロールフィルム４７１が配置されている。すなわち、ライトコントロールフィルム４７１は、円筒部の凹面側がユーザ１２０を指向するように、かつ、円筒部が垂直方向に並ぶように形成されている。
【０１４１】
図３１は、前面投影を行う場合のスクリーン１０１の構成例を示す図であり、同図においては、図２３に示されたライトコントロールフィルム４６１、４６２およびデフューザ４６３を９０°回転させ（円筒部が垂直方向に並ぶように配置され）、さらに円筒部の凹面が、ユーザ１２０側を指向するように（図２３のスクリーン１０１を９０°回転させて、その裏と表を逆にしたように）配置される。そして、その前面（ユーザ１２０側）に、ライトコントロールフィルム４７１が、図２３と同様に、円筒部の突面がユーザ１２０側となるように、かつ、円筒部が水平方向に並ぶように配置されている。
【０１４２】
次に、図３の画像処理部６４の構成例について説明する。図３２は、画像処理部６４の構成例を示すブロック図である。同図において、表示部５２１は、プロジェクタ６３−１乃至６３−５に供給する画像信号を出力するブロックであり、表示部５２１には、複数のプロジェクタに画像信号を供給するための複数の端子（例えば５個）が設けられており、それぞれの端子にプロジェクタ６３−１乃至６３−５が接続される。
【０１４３】
撮像部５２２は、カメラ６１−１乃至６１−５から供給される画像信号を取得するブロックであり、複数のカメラの画像信号を取得するための複数の端子（例えば５個）が設けられており、それぞれの端子にカメラ６１−１乃至６１−５が接続される。
【０１４４】
なお、この例では、カメラ６１−１乃至６１−５とプロジェクタ６３−１乃至６３−５は、スクリーンの特性、および前面投影かまたは背面投影かが考慮され、上述したように配置される。すなわち、図８または図１１に示されるようなスクリーンに前面投影する場合、カメラ６１−１乃至６１−５とプロジェクタ６３−１乃至６３−５は、図４に示されるような位置の関係で配置され、背面投影する場合、カメラ６１−１乃至６１−５とプロジェクタ６３−１乃至６３−５は、図１６に示されるような位置の関係で配置される（楕円ミラーを利用する場合、プロジェクタ６３の具体的な配置は、図２０のようになる）。
【０１４５】
図２３、図２８または図２９に示されるようなスクリーンに前面投影する場合、カメラ６１−１乃至６１−５とプロジェクタ６３−１乃至６３−５は、図２４に示されるような位置の関係で配置され、背面投影する場合、カメラ６１−１乃至６１−５とプロジェクタ６３−１乃至６３−５は、図２６に示されるような位置の関係で配置される（楕円ミラーを利用する場合、プロジェクタ６３の具体的な配置は、図２７のようになる）。
【０１４６】
なお、立体的な画像を表示するスクリーンの例として、図８、図１１、図２３、図２８、または図２９を参照して上述したが、実際に用いられるスクリーンは、上述したようなものに限られるわけではなく、プロジェクタから投影した光（画像）を、ユーザが観察する場合、投影された光を、ユーザの水平方向の視差に対応するように反射するスクリーンであればどのようなものであっても構わない。
【０１４７】
幾何補正データベース５２３は、例えば、ハードディスク（HDD）などで構成され、後述する幾何補正を行うために必要となるデータが記憶されるデータベースである。
【０１４８】
ストレージ５２５は、撮像部５２２から供給される画像データを一時的に記憶するメモリであり、入出力部５２６は、外部から供給されるデータの入力を受け付け、または画像処理部６４により生成されるデータを外部の記録媒体または伝送媒体（ネットワークなど）に出力する。制御部５２４は、予め設定されるプログラム、または入出力部５２６を介して入力されるコマンドなどに基づいて、画像処理部６４の各部を制御し、各種の処理を実行する。
【０１４９】
撮像部５２２は、複数のカメラ６１−１乃至６１−５から供給される複数の画像信号を取得し、各画像信号をA/D変換し、複数の画像データとして、幾何補正処理（図３の幾何補正部６２−１乃至６２−５の処理）を行い、ストレージ５２５に出力する。制御部５２４は、ストレージ５２５に記憶されている各画像データを、所定の方式で圧縮符号化し、圧縮符号化された複数の画像データを、多重化し、１つのデータストリームとして、入出力部５２６に出力する。また、制御部５２４は、入出力部５２６に入力されたデータストリームを分離して、圧縮符号化された複数の画像データとし、それらの画像データを復号して表示部５２１に出力する。表示部５２１は、制御部５２４から供給された各画像データをD/A変化し、各画像信号を、その画像信号に対応するプロジェクタ６３−１乃至６３−５が接続される端子に出力する。
【０１５０】
次に、図３３を参照して、画像処理部６４による撮像処理について説明する。この処理は、例えば、ユーザにより、入出力部５２６を介して、撮像を指令するコマンドが入力されたとき実行される。
【０１５１】
ステップS１において、撮像部５２２は、被写体を撮影（撮像）する。このとき、カメラ６１−１乃至６１−５から取得された画像信号が、A/D変換され、５つの画像データとして、ストレージ５２５に出力される。なお、カメラ６１―１乃至６１−５により撮影される画像は、動画であってもよいし、静止画であってもよい。
【０１５２】
ステップS２において、ストレージ５２５は、ステップS１で生成された５つの画像データをカメラ６１−１乃至６１−５に対応付けて記憶する。ステップS３において、制御部５２４は、ストレージ５２５に記憶された各画像データを、例えば、MPEG（Moving Picture Expert Group）などの方式により、圧縮符号化する。この結果、カメラ６１−１乃至６１−５に対応付けられた、５つの圧縮符号化データが生成される。
【０１５３】
ステップS４において、制御部５２４は、ステップS３の処理で生成された５つの圧縮符号化データを多重化し、１つのデータストリームを生成し、データストリームを入出力部５２６に出力する。ステップS５において、入出力部５２６は、ステップS４で生成されたデータストリームを、例えば、ＤＶＤ（Digital Versatile Disc）などの記録媒体に記録する。なお、ステップS５においては、データストリームがネットワークなどを介して、他の装置に送信されるようにしてもよい。
【０１５４】
このようにして、複数のカメラで撮影された画像が、画像データとして出力される。
【０１５５】
次に、図３４を参照して、幾何補正データベース構築処理について説明する。この処理は、例えば、ユーザにより、入出力部５２６を介して、データベース構築処理を指令するコマンドが入力されたとき実行される。
【０１５６】
カメラ６１とプロジェクタ６３の位置の関係については上述したが、実際に画像を投影する場合、カメラ６１が３次元の被写体を撮影するときの被写体に対する画角と、プロジェクタ６３が２次元のスクリーンに画像を投影するときのスクリーンに対する投影角を一致させることは困難であり、実際にスクリーンに投影された画像を観察すると、画像が歪んで見えてしまう場合がある。
【０１５７】
このため、本発明においては、画像を投影するとき、カメラ６１が被写体を撮影したときの画角に対応して、プロジェクタ６３からスクリーンに投影された画像が、歪みなく観察されるように幾何補正処理を行う。この幾何補正処理を行うために、幾何補正データベース５２３が必要となる。幾何補正データベース５２３は、プロジェクタ６３に入力される画像信号における画素の位置と、スクリーンに投影された画像の画素の位置が、対応付けて記憶されることにより構成される。
【０１５８】
ステップS２１において、表示部５２１は、画像を投影する。このとき、プロジェクタ６３から、多数の画像センサが規則的に配置されたスクリーンに対して画像が投影される。スクリーンに配置された各画像センサは、制御部５２４と接続されており、スクリーン上に投影された画像の中の各点（画素）の光を検出し、それに対応する信号を出力する。これにより、制御部５２４は、プロジェクタ６３に入力される画像信号における画素が、スクリーン上のどの位置に投影されたかを検出することができる。
【０１５９】
ステップS２２において、制御部５２４は、プロジェクタ６３に入力される画像信号における画素に対応する、スクリーン上に投影された画像の中の画素の位置を検出する。例えば、図３５Aに示されるように、プロジェクタ６３に入力される画像信号の中に存在する、図中黒点、十字、または四角で示される３つの画素５４１、５４２、または５４３が、スクリーン上に投影された場合、図３５Ｂに示されるような位置に投影されたとする。このとき、スクリーン上での、画素５４１、５４２、または５４３の位置が検出される。
【０１６０】
ステップＳ２３において、制御部５２４は、ステップＳ２２で検出されたスクリーン上での画素の位置を、プロジェクタ６３に入力される画像信号における画素の位置と対応付けて、幾何補正データベース５２３に記憶する。これにより、例えば、図３６に示されるように、プロジェクタ６３に入力される画像信号における画素の位置（プロジェクタ画素位置５５１）と、スクリーン上での画素の位置（スクリーン画素位置５５２）が記憶される。この例では、プロジェクタ画素位置５５１として、２次元座標系で表される３つの点（（０，０），（０，１），（０，２））に対応付けられて、スクリーン画素位置５５２に、２次元座標系で表される３つの点（（６００，３００），（６００，２９９），（６００，２９８））が記憶されている。
【０１６１】
同様に、プロジェクタ画素位置５５１として、３つの点（（１００，２０），（１００，２１），（１００，２２））に対応付けられて、スクリーン画素位置５５２に、３つの点（（５０１，２９１），（５００，２９０），（４９９，２８９））が記憶され、プロジェクタ画素位置５５１として、３つの点（（７９９，５９７），（７９９，５９８），（７９９，５９９））に対応付けられて、スクリーン画素位置５５２に、３つの点（（２０，４），（２０，３），（２０，２））が記憶されている。
【０１６２】
このように、全ての画素について、プロジェクタ画素位置５５１とスクリーン画素位置５５２が記憶され、さらに、複数のプロジェクタの全て（例えば、プロジェクタ６３−１乃至６３−５）について、同様の処理が行われることにより、幾何補正データベース５２３が構築される。このようにすることで、画像を実際に投影する前に、幾何補正データベース５２３に基づいて、スクリーンに投影される画像を予測することができ、投影される画像に対して所望の幾何補正（例えば、画像の歪みの補正など）を行うことができる。
【０１６３】
なお、この例では、幾何補正データベース５２３のプロジェクタ画素位置５５１は、２次元座標系で表される点が記憶されるものとして説明したが、そのプロジェクタに投影される画像を取得したカメラの位置を、例えば、３次元座標系で表し、カメラの位置の情報を付加して、５次元（２次元＋３次元）座標系で表される点が、プロジェクタ画素位置５５１に記憶されるようにしてもよい。
【０１６４】
次に、図３７を参照して、画像処理部６４による表示処理について説明する。この処理は、例えば、ユーザにより、入出力部５２６を介して、表示を指令するコマンドが入力されたとき実行される。
【０１６５】
ステップＳ４１において、制御部５２４は、入出力部５２６に入力された画像データのデータストリームを読み出す。このとき、例えば、カメラ６１−１乃至６１−５により撮影された５つの画像データが圧縮符号化され、多重化されたデータストリームが記録されたＤＶＤから、データストリームが読み出される。
【０１６６】
ステップＳ４２において、制御部５２４は、ステップＳ４１の処理で読み出されたデータストリームを５つの圧縮符号化データに分離し、ステップＳ４３において、ステップＳ４２の処理により分離された５つの圧縮符号化データを復号し、５つの画像データを生成する。
【０１６７】
ステップＳ４４において、制御部５２４は、各画像データに対する幾何補正を行う。このとき、図３４を参照して上述した処理により構築された幾何補正データベース５２３に基づいて、５の画像データのそれぞれに対して、例えば、画角の補正、楕円ミラー、球面ミラー、各装置の位置による歪みの補正、などの処理が行われ、画像データが補正される。
【０１６８】
ステップＳ４５において、表示部５２１は、ステップＳ４４で、幾何補正された５の画像データを、それぞれの画像データに対応するプロジェクタ（プロジェクタ６３−１乃至６３−５）が接続される端子に出力する。
【０１６９】
このようにして立体的な画像が表示される。
【０１７０】
なお、この例では、図２３の撮像処理において撮影した画像データをDVDに記録し、図３７の表示処理において、表示する画像データをＤＶＤから読み出すようにしたが、図２３の撮像処理において撮影した画像データが、そのまま、図３７の表示処理における表示する画像データとして読み出されるようにしてもよい。すなわち、撮影した画像がリアルタイムで表示されるようにしてもよい。
【０１７１】
また、この例では、１台の装置で、撮像と表示の両方を行う例について説明したが、図３２（図３）の画像表示装置６０を、撮像装置と表示装置に分けて構成してもよい。
【０１７２】
なお、上述した一連の処理をハードウェアで実現するか、ソフトウェアで実現するかは問わない。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図３８に示されるような汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１７３】
図３８において、CPU（Central  Processing  Unit）９０１は、ROM（Read  Only  Memory）９０２に記憶されているプログラム、または記憶部９０８からRAM（Random  Access  Memory）９０３にロードされたプログラムに従って各種の処理を実行する。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１７４】
CPU９０１、ROM９０２、およびRAM９０３は、バス９０４を介して相互に接続されている。このバス９０４にはまた、入出力インタフェース９０５も接続されている。
【０１７５】
入出力インタフェース９０５には、キーボード、マウスなどよりなる入力部９０６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ（表示部）、並びにスピーカなどよりなる出力部９０７、ハードディスクなどより構成される記憶部９０８、モデム、ターミナルアダプタなどより構成される通信部９０９が接続されている。通信部９０９は、インターネットなどのネットワークを介しての通信処理を行う。
【０１７６】
入出力インタフェース９０５にはまた、必要に応じてドライブ９１０が接続され、ドライブ９１０には、本発明のプログラムが記録された記録媒体として、例えば、リムーバブルメディア９１１が装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部９０８にインストールされる。
【０１７７】
なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０１７８】
【図１】従来の立体的画像を表示するテレビジョン装置の構成例を示す図である。
【図２】図１のテレビジョン装置に表示される画像の構成例を示す図である。
【図３】本発明を適用した撮像表示装置の構成例を示す図である。
【図４】前面投影の場合のカメラとプロジェクタの位置の関係を表す図である。
【図５】カメラの具体的な配置例を示す図である。
【図６】前面投影の場合のプロジェクタの具体的な配置例を示す図である。
【図７】スクリーンの形状の１つの例を示す図である。
【図８】前面投影の場合のスクリーンの構成例を示す図である。
【図９】図８のスクリーンに光が入射して、反射する様子を示す図である。
【図１０】ユーザの視点と視差の関係を示す図である。
【図１１】スクリーンの別の構成例を示す図である。
【図１２】背面投影の場合のスクリーンの構成例を示す図である。
【図１３】図１２のスクリーンに光が入射して、スクリーンを通過する様子を示す図である。
【図１４】背面投影の場合のスクリーンの別の構成例を示す図である。
【図１５】図１２または図１４のスクリーンに背面投影された光が進む方向を示す図である。
【図１６】図１２または図１４のスクリーンに背面投影する場合のカメラとプロジェクタの位置の関係を示す図である。
【図１７】背面投影の場合のプロジェクタの具体的な配置の例を示す図である。
【図１８】前面投影の場合におけるユーザの視点と光線の方向の関係と、背面投影の場合におけるユーザの視点と光線の方向の関係を示す図である。
【図１９】楕円ミラーの構成例を示す図である。
【図２０】楕円ミラーを利用して背面投影を行う場合のプロジェクタの具体的な配置の例を示す図である。
【図２１】水平方向と垂直方向に視差のある画像を投影する場合のスクリーンの構成例を示す図である。
【図２２】水平方向と垂直方向に視差のある画像を投影する場合のスクリーンの別の構成例を示す図である。
【図２３】ライトコントロールフィルムを用いたスクリーンの構成例を示す図である。
【図２４】図２３のスクリーンに前面投影する場合のカメラとプロジェクタの位置の関係を示す図である。
【図２５】図２３のスクリーンに背面投影された光が進む方向を示す図である。
【図２６】図２３のスクリーンに背面投影する場合のカメラとプロジェクタの位置の関係を示す図である。
【図２７】楕円ミラーを利用して背面投影を行う場合のプロジェクタの具体的な配置の例を示す図である。
【図２８】ライトコントロールフィルムを用いたスクリーンの別の構成例を示す図である。
【図２９】ライトコントロールフィルムを用いたスクリーンのさらに別の構成例を示す図である。
【図３０】水平方向と垂直方向に視差のある画像を背面投影する場合の、ライトコントロールフィルムを用いたスクリーンの構成例を示す図である。
【図３１】水平方向と垂直方向に視差のある画像を前面投影する場合の、ライトコントロールフィルムを用いたスクリーンの構成例を示す図である。
【図３２】画像処理部の構成例を示す図である。
【図３３】撮像処理を説明するフローチャートである。
【図３４】幾何補正データベース構築処理を説明するフローチャートである。
【図３５】プロジェクタに入力される画像信号の中の画素位置と、スクリーン上に投影された画像の中の画素の位置を示す図である。
【図３６】幾何補正データベースに記憶されるデータの構成例を示す図である。
【図３７】画像表示処理を説明するフローチャートである。
【図３８】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１７９】
６０  画像表示装置，  ６１―１乃至６１−５  カメラ，  ６２―１乃至６２−５  幾何補正部，  ６３―１乃至６３−５  プロジェクタ，  ６４  画像処理部，  １０１  スクリーン，  １８１  円柱レンズアレイ，  １８２  表示板，  １８３  円柱レンズアレイ，  １８４  デフューザ，  １８５  円柱レンズアレイ，  １９１  屈折率分布レンズアレイ，  １９３，１９４  屈折率分布レンズアレイ，  ３４２  楕円ミラー，  ４０１，４０２  球面レンズアレイ，  ４２１，４２２  屈折率分布レンズアレイ，  ４６１，４６２  ライトコントロールフィルム，  ４６３  デフューザ，  ４６４  円柱レンズ，  ５２１  表示部，  ５２２  撮像部，  ５２３  幾何補正データベース，  ５２４  制御部
【図１】
2005123664.tif 000003
【図２】
2005123664.tif 000004
【図３】
2005123664.tif 000005
【図４】
2005123664.tif 000006
【図５】
2005123664.tif 000007
【図６】
2005123664.tif 000008
【図７】
2005123664.tif 000009
【図８】
2005123664.tif 000010
【図９】
2005123664.tif 000011
【図１０】
2005123664.tif 000012
【図１１】
2005123664.tif 000013
【図１２】
2005123664.tif 000014
【図１３】
2005123664.tif 000015
【図１４】
2005123664.tif 000016
【図１５】
2005123664.tif 000017
【図１６】
2005123664.tif 000018
【図１７】
2005123664.tif 000019
【図１８】
2005123664.tif 000020
【図１９】
2005123664.tif 000021
【図２０】
2005123664.tif 000022
【図２１】
2005123664.tif 000023
【図２２】
2005123664.tif 000024
【図２３】
2005123664.tif 000025
【図２４】
2005123664.tif 000026
【図２５】
2005123664.tif 000027
【図２６】
2005123664.tif 000028
【図２７】
2005123664.tif 000029
【図２８】
2005123664.tif 000030
【図２９】
2005123664.tif 000031
【図３０】
2005123664.tif 000032
【図３１】
2005123664.tif 000033
【図３２】
2005123664.tif 000034
【図３３】
2005123664.tif 000035
【図３４】
2005123664.tif 000036
【図３５】
2005123664.tif 000037
【図３６】
2005123664.tif 000038
【図３７】
2005123664.tif 000039
【図３８】
2005123664.tif 000040