(57)【要約】【課題】異なる画面サイズのディスプレイに対して、同一のレンズ間隔の再生用レンズアレイを使用しながら、解像度が共通のコンテンツを適切に表示させることのできる立体映像表示方法及び立体映像表示装置を提供する。【解決手段】カメラ１００（ＣＡＭ０１）が撮影した画像は、２次元ディスプレイ２００の領域Ａ０１に表示し、カメラ１００（ＣＡＭ０２）が撮影した画像は、２次元ディスプレイ２００の領域Ａ０２に表示する。領域Ａ０１とＡ０２、あるいは領域Ａ０１とＡ１１の間は隣接させずに、その間に補間領域（Ｂ０１、Ｃ０１、Ｄ０１）を設けるように表示画像を構成する。【選択図】      図１
2005026772.tif 000002
【特許請求の範囲】
【請求項１】
撮像の際には、複眼形状の立体像撮影用レンズの各眼の略焦点面にそれぞれ設置されたカメラにより被写体をそれぞれ分割して撮像し、当該撮像により取得した各分割画像を集合した画像群を２次元ディスプレイに表示させ、再生の際には、前記立体像撮影用レンズと同一構成の再生用レンズ、又は前記各眼と同一寸法の眼を複眼形状に配置し、撮像の際に用いる前記立体像撮影用レンズの外形寸法と同一の比率の外形を有する再生用レンズを用いて前記２次元ディスプレイ表示した前記画像群を結像させることにより、前記被写体の立体視を可能とする立体映像表示方法において、
前記立体像撮影用レンズを構成する複眼の内各眼にそれぞれ対応した撮像画像部分を撮像するステップと、
前記撮像画像部分に基づいて複数の補間画像部分を生成するステップと、
前記それぞれの眼に対応した撮像領域部分を細分割して前記撮像画像部分と前記複数の補間画像部分とを配置して表示画像を生成するステップと、
前記生成した表示画像を２次元ディスプレイに表示するステップと、
前記２次元ディスプレイに表示した前記表示画像を前記再生用レンズにより結像させる際、同一ピッチの再生用レンズを前記２次元ディスプレイのサイズに応じたサイズにして結像させるステップと、を有することを特徴とする立体映像表示方法。
【請求項２】
撮像の際には、複眼形状の立体像撮影用レンズの各眼の略焦点面をカメラを移動させることにより被写体をそれぞれ分割して撮像し、当該撮像により取得した各分割画像を集合した画像群を２次元ディスプレイに表示させ、再生の際には、前記立体像撮影用レンズと同一構成の再生用レンズ、又は前記各眼と同一寸法の眼を複眼形状に配置し、撮像の際に用いる前記立体像撮影用レンズの外形寸法と同一の比率の外形を有する再生用レンズを用いて前記２次元ディスプレイ表示した前記画像群を結像させることにより、前記被写体の立体視を可能とする立体映像表示に用いる立体映像の立体映像表示装置において、
前記物体を照明する照明手段と、
前記照明手段による前記物体からの散乱光を撮像素子上に結像させる撮像手段と、
前記立体像撮影用レンズを構成する複眼の内各眼にそれぞれ対応した撮像画像部分を取得するために前記撮像手段を移動させる移動手段と、
前記撮像画像部分に基づいて複数の補間画像部分を生成する補間画像部分生成手段と、
前記それぞれの眼に対応した撮像領域部分を細分割して前記撮像画像部分と前記複数の補間画像部分を配置して表示画像を生成する信号処理手段と、
前記信号処理手段より得られた前記表示画像を表示する平面表示手段と、
前記平面表示手段が放射する前記表示画像の光線を実空間上に結像させる結像手段と、を備え、前記結像手段は、同一ピッチの再生用レンズを前記平面表示手段のサイズに応じたサイズにして結像させることを特徴とする立体映像表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、立体映像表示方法及び立体映像表示装置に関わるものであり、裸眼による立体視が可能なＩＰ（Ｉｎｔｅｇｒａｌ  Ｐｈｏｔｏｇｒａｐｈｙ）方式の３次元ディスプレイに関する。
【０００２】
【従来の技術】
近年、液晶を中心とする表示デバイスやコンピュータによるデジタル信号処理技術などの進歩により、物体を立体的に見せる三次元（３Ｄ）ディスプレイの研究開発が活発化し、パソコン対応の３Ｄディスプレイや立体テレビが登場するなど応用も急速に進展している。
３Ｄディスプレイには以前から多くの表示方式が提案されているが、特別なメガネを必要とする立体ディスプレイ方式とメガネなし３Ｄディスプレイに大別できる。
【０００３】
特別なメガネを必要とする立体ディスプレイには、古くから立体写真や立体映画で使われている赤・青メガネをかけて見るアナグリフ方式、博覧会などでよく使われる偏光フィルタ方式や視覚のプルフリッヒ効果を利用した濃度差方式などがある。また、ゴーグル形の立体映像表示装置であるヘッドマウントディスプレイや立体テレビジョンとして液晶シャッタを用いた時分割立体テレビ方式が実用化されており、各方面で利用されている．
【０００４】
一方、メガネなし３Ｄディスプレイ方式もこれまでに数多く提案されている。代表的な方式としては、パララックスステレオグラム、パララックスパノラマグラムのほか、レンチキュラスクリーン方式などがある。これらはいずれも立体写真の分野で使われていたが、最近では立体テレビに応用する研究が活発化し、高画質な立体動画像表示ができるようになった。
また、最近になっていくつかの新しいメガネなし３Ｄディスプレイ方式が提案されるようになってきた。とりわけ、Ｌｉｐｐｍａｎｎが１９０８年に発表したＩＰ（Ｉｎｔｅｇｒａｌ  Ｐｈｏｔｏｇｒａｐｈｙ：インテグラルフォトグラフィー、あるいはインテグラルイメージングともいう）と呼ばれる立体写真技術は、立体感を生み出す視覚的要因である「輻輳」、「調節」、「両眼視差」、「運動視差」の４要因をすべて満足し得るために、理想的な３次元ディスプレイへの応用が期待されている（例えば、非特許文献１を参照。）。ＩＰは、２次元的に配列したレンズアレイ（フライアイレンズ、蝿の目レンズ、複眼レンズなどともいう）を利用して物体の奥行き情報を取得するものであるが、径および間隔の微小なレンズアレイの製造が困難であるために、実用化に向けた研究開発が活発化したのは１９８０年代以降のことである。
【０００５】
ＩＰ技術を実用化する初期の提案のひとつとして、本出願人による「ＸＹＺプロッタ」を挙げることができる（例えば、特許文献１を参照。）。同提案は、記録時においては、数値データとして入力した３次元物体の光強度分布を、移動可能なＸＹＺステージ上の点光源に出力して走査することにより、当該３次元物体を実空間上の点の軌跡として表現するとともに、当該３次元物体をフライアイレンズにより、各レンズを通して眺めた多視点の像（要素画像と呼ばれる）の群として結像させて写真乾板上に記録する。そして、再生時においては、適当な現像処理を施した、かかる要素画像群を背後から照明することにより、当該レンズアレイによる要素画像群の各々の像を、空間上に結像させる。このとき、光線の経路が可逆的であることから、もとの点光源の軌跡の位置に各光線が再現されるため、観察者は、要素画像群の各々の像を眼で積分して平滑化することにより、空間上に浮かぶ３次元物体の像として認識できることになる。同提案により得られる立体像は静止画であったが、同発明者の研究により医療応用への道が開拓され（例えば非特許文献２を参照。）、手術への応用を可能とする特許発明も提案されている（例えば、特許文献２を参照。）。
【０００６】
１９９０年代に入ると、従来の写真乾板による記録を電子技術で置き換えることにより、ＩＰによる動画を生成する技術が提案された（例えば特許文献３を参照。）。さらに、同発明者の手により、屈折率分布レンズアレイ（ＧＲＩＮレンズアレイともいう）とハイビジョンカメラとを用いて被写体を撮像して要素画像群を取得しながら、各画像を液晶ディスプレイにリアルタイムに伝送して表示して、フライアイレンズにより空間上に結像することに成功し、ＩＰ方式による３次元テレビジョン放送の実現可能性が示された（例えば、非特許文献３を参照。）。
現時点では、撮像素子や表示素子の画素間隔が粗いために、得られる立体映像の解像度が低く、実用化には至っていないが、現代のナノテクノロジーにより加速している高精細ディスプレイ技術の進歩により、遠くない将来にＩＰ方式の３次元ディスプレイが実用化されることが予想される。
【０００７】
【特許文献１】
特許第１８９７５３２号
【０００８】
【特許文献２】
特許第２８５６０５２号
【０００９】
【特許文献３】
特開平０８−２８９３２９号公報
【００１０】
【非特許文献１】
大越孝敬著「三次元画像工学」朝倉書店（１９９１年）
【００１１】
【非特許文献２】
Ｍ．  Ｉｗａｈａｒａ，  Ｙ．ＮＩＳＨＩ，  Ｎ．ＳＵＺＵＫＩ，  Ｍｅｄ．  Ｉｍａｇ．  Ｔｅｃｈ．  Ｖｏｌ．１１  Ｎｏ．５  Ｄｅｃｅｍｂｅｒ  １９９３  ”Ｔｏｕｃｈａｂｌｅ  Ｏｒｇａｎｉｃ  Ｉｍａｇｅ  ｉｎ  ｔｈｅ  Ａｉｒ  ｂｙ  Ｕｓｉｎｇ  ３−Ｄ  Ｐｌｏｔｔｅｒ”
【００１２】
【非特許文献３】
Ｂ．  Ｊａｖｉｄｉ，  Ｆ．  Ｏｋａｎｏ  Ｅｄｉｔｏｒｓ，  ”Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ  Ｔｅｌｅｖｉｓｉｏｎ，  Ｖｉｄｅｏ，  ａｎｄ  Ｄｉｓｐｌａｙ  Ｔｅｃｈｎｏｌｏｇｉｅｓ”  Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ  （２００２）  ，  Ｐ１０１〜Ｐ１２３
【００１３】
【発明が解決しようとする課題】
さて、上述した各文献によるＩＰ方式により再生される立体映像の（横方向の）解像度は、観察者からの距離によって異なり、像がフライアイレンズの近傍にあるときに最大となる。このような最大の解像度は、図１１に図示するように、フライアイレンズ３００のレンズ間隔Ｐｅと視距離（すなわち、フライアイレンズと観察者の間隔）Ｌにより決定されるものである。これをβ（単位視野角あたりのライン数）と表すとβ＝Ｌ／２Ｐｅの関係がある。この式より、解像度βが一定ならば、視距離Ｌとレンズ間隔Ｐｅは比例関係にあることがわかる。
【００１４】
ここで、視距離Ｌをフライアイレンズの構造が気にならなくなるような最小距離と定義すると、視距離Ｌはディスプレイの画面サイズに比例する。したがって、レンズ間隔Ｐｅは画面サイズに比例することになる。すなわち、画面の高さをＨとすれば、Ｐｅ∝Ｈという関係になり、画面サイズに応じて異なるレンズ間隔のフライアイレンズを用意しなくてはならないことになる。
【００１５】
しかしながら、フライアイレンズ製造の困難性を考慮すれば、異なる画面サイズのディスプレイに対しても、フライアイレンズのレンズ間隔が共通であることが好ましい。
ところが、ディスプレイのサイズは、テレビジョン、シアターシステム、パソコン、携帯情報端末等様々なものがあり、異なる画面サイズのディスプレイに対して、共通のレンズアレイを使用すると、当然のことながら、画面サイズが小さい場合には立体映像の解像度が不十分となるといった問題があった。
【００１６】
また、このような不都合を防ぐには、使用する画面サイズに応じた、解像度のコンテンツを用意すればよい。しかしながら、画面サイズに応じた解像度のコンテンツを用意するには、テレビ放送やインターネット配信等を行う際に、各家庭のディスプレイのサイズ情報を取得するための双方向接続が必要となるといった問題があった。
【００１７】
本発明は、以上の点に鑑みなされたもので、異なる画面サイズのディスプレイに対して、同一のレンズ間隔の再生用レンズアレイを使用しながら、解像度が共通のコンテンツを適切に表示させることのできる立体映像表示方法及び立体映像表示装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】
本発明は、上記課題を解決するために以下の１）〜２）記載の手段よりなる。
すなわち、
１）  撮像の際には、複眼形状の立体像撮影用レンズの各眼の略焦点面にそれぞれ設置されたカメラにより被写体をそれぞれ分割して撮像し、当該撮像により取得した各分割画像を集合した画像群を２次元ディスプレイに表示させ、再生の際には、前記立体像撮影用レンズと同一構成の再生用レンズ、又は前記各眼と同一寸法の眼を複眼形状に配置し、撮像の際に用いる前記立体像撮影用レンズの外形寸法と同一の比率の外形を有する再生用レンズを用いて前記２次元ディスプレイ表示した前記画像群を結像させることにより、前記被写体の立体視を可能とする立体映像表示方法において、
前記立体像撮影用レンズを構成する複眼の内各眼にそれぞれ対応した撮像画像部分を撮像するステップと、
前記撮像画像部分に基づいて複数の補間画像部分を生成するステップと、
前記それぞれの眼に対応した撮像領域部分を細分割して前記撮像画像部分と前記複数の補間画像部分とを配置して表示画像を生成するステップと、
前記生成した表示画像を２次元ディスプレイに表示するステップと、
前記２次元ディスプレイに表示した前記表示画像を前記再生用レンズにより結像させる際、同一ピッチの再生用レンズを前記２次元ディスプレイのサイズに応じたサイズにして結像させるステップと、を有することを特徴とする立体映像表示方法。
２）撮像の際には、複眼形状の立体像撮影用レンズの各眼の略焦点面をカメラを移動させることにより被写体をそれぞれ分割して撮像し、当該撮像により取得した各分割画像を集合した画像群を２次元ディスプレイに表示させ、再生の際には、前記立体像撮影用レンズと同一構成の再生用レンズ、又は前記各眼と同一寸法の眼を複眼形状に配置し、撮像の際に用いる前記立体像撮影用レンズの外形寸法と同一の比率の外形を有する再生用レンズを用いて前記２次元ディスプレイ表示した前記画像群を結像させることにより、前記被写体の立体視を可能とする立体映像表示に用いる立体映像の立体映像表示装置において、
前記物体を照明する照明手段と、
前記照明手段による前記物体からの散乱光を撮像素子上に結像させる撮像手段と、
前記立体像撮影用レンズを構成する複眼の内各眼にそれぞれ対応した撮像画像部分を取得するために前記撮像手段を移動させる移動手段と、
前記撮像画像部分に基づいて複数の補間画像部分を生成する補間画像部分生成手段と、
前記それぞれの眼に対応した撮像領域部分を細分割して前記撮像画像部分と前記複数の補間画像部分を配置して表示画像を生成する信号処理手段と、
前記信号処理手段より得られた前記表示画像を表示する平面表示手段と、
前記平面表示手段が放射する前記表示画像の光線を実空間上に結像させる結像手段と、を備え、前記結像手段は、同一ピッチの再生用レンズを前記平面表示手段のサイズに応じたサイズにして結像させることを特徴とする立体映像表示装置。
【００１９】
【発明の実施の形態】
以下、本発明の立体映像表示方法及び立体映像表示装置の発明の実施の形態につき、好ましい実施例により説明する。
図１は、本実施例に適用される要素画像の配置を示す図である。同図に示す２次元ディスプレイ２００には、複数のカメラ１００（ＣＡＭｍｎ  但しｍ、ｎ＝０，１，２，３・・・）で撮像された多視点画像Ａｍｎ，Ｂｍｎ，Ｃｍｎ，Ｄｍｎ（ｍ、ｎ＝０，１，２，３・・・）が表示されている。２次元ディスプレイ２００としては、ＬＣＤ、有機ＥＬ、あるいはＬＣＯＳのプロジェクター等の高精細ディスプレイを使用する。カメラ１００は、実写、すなわち実空間上の３次元物体５０を撮影する場合にはフライアイレンズ３００とビデオカメラを組み合わせて使用するが、本実施例では、ＣＧ（コンピュータグラフィックス）による仮想空間上の３次元物体５０からの光線を撮像する仮想的なカメラ１００を考える。
カメラ（ＣＡＭ００）が撮影した画像は、２次元ディスプレイ２００の領域Ａ００に表示する。一方、カメラ（ＣＡＭ０１）が撮影した画像は、２次元ディスプレイ２００の領域Ａ０１に表示する。同様に、カメラ（ＣＡＭｉｊ）（但し、ｉ，ｊ＝０，１，２，３・・・）が撮影した画像は、２次元ディスプレイ２００の領域Ａｉｊ（ｉ，ｊ＝０，１，２，３・・・）に表示する。
本実施例では、領域ＡｉｊとＡｉ＋１，ｊ、あるいは領域ＡｉｊとＡｉ，ｊ＋１の間は隣接させずに、その間にＡｉｊとは異なる画像を表示する補間領域（Ｂｉｊ、Ｃｉｊ、Ｄｉｊ）を設ける構成としている。
【００２０】
図２は、従来の要素画像の配置を示す図である。従来の要素画像の配置は、カメラ１００で撮像した要素画像Ａｉｊをそのまま、２次元ディスプレイ２００ａに表示させていた。そうすると、図１０に示すように、ディスプレイの大きさ異なる２００ｂあるいは２００ｃに対しては、最適な視距離において同一の解像度の立体映像を表示させるためには、要素画像Ａｉｊの大きさをディスプレイサイズに比例して変化させる必要がある。その結果、これらの要素画像Ａｉｊを結像させるフライアイレンズ３００を構成する要素レンズＬｉｊ（図７に図示）の大きさも変化させなくてはならないことになる。
【００２１】
図３は、本実施例に適用される立体映像表示装置の構成を示す図である。同図に示す立体映像表示装置は、光源１０、３次元物体５０、カメラ１００、２次元ディスプレイ２００、フライアイレンズ３００、３次元物体の再生像５００から構成される。
光源１０は、３次元物体５０を照明し、その散乱光がカメラ１００のレンズに入射する。カメラ１００は、３次元物体５０を複数の視点から撮影可能なカメラである。具体的には、複眼レンズを備えたカメラであっても良いし、複数の視点に移動可能な１台のカメラであってもよい。また、複数台の単眼レンズカメラであってもよい。２次元ディスプレイ２００は、カメラ１００が撮影した、３次元物体５０を異なる角度から眺めた像（要素画像Ａｉｊ）を一覧表示する素子である。フライアイレンズ３００は、２次元ディスプレイ２００上に表示された要素画像Ａｉｊの各々をレンズにより実空間上に投射する光学素子である。３次元物体の再生像５００は、かかる光学素子により投射され、実像（または虚像）として結像した要素画像の集合体である。
【００２２】
図４は、本実施例に適用される要素画像の生成のアルゴリズムを示すフローチャートである。ステップＳ１において、３次元物体５０のモデリングを行なう。これは、モデラーと呼ばれる３次元ＣＧ作成ソフトを用いて行なうことが一般的である。次にステップＳ２において、シーンファイルを作成する。シーンとは３次元ＣＧで作られる情景全体をいう。シーンには、ステップＳ１で作成した３次元物体５０（オブジェクト）の他に、光源１０、カメラ１００の３つの要素が最低限必要である。これらの座標系を決定するにあたっては、３次元物体５０とカメラ１００の相対的な位置関係が、後述する表示系（２次元ディスプレイ２００、フライアイレンズ３００、３次元物体の再生像５００）と同一になることに注意する必要がある。したがって、３次元物体５０とカメラ１００の相対的な位置関係をあまり遠くに設定してしまうと、表示の際に、３次元物体の再生像５００が、フライアイレンズ３００から離れて再生されることになるため、像が劣化するという問題が生じる。したがって、システム設計で決まる像の劣化のない領域の範囲内に３次元物体の再生像５００が収まるように、３次元物体５０の座標を決定するようにする。
【００２３】
シーンファイルの作成が終了すると、ステップＳ３において、３次元物体５０を撮影したいアングルに視点位置ＣＡＭｉｊ（ｉｊ＝０，１，２・・・）にカメラを移動する。また、出力するファイルサイズや、ファイルフォーマット等のレンダリング条件の設定を行なう。
【００２４】
カメラ位置その他のレンダリング条件の設定が完了すると、ステップＳ４において、シーンのレンダリングを開始する。具体的には、設定したカメラ位置に入射する光線をレイトレーシング（光線追跡法）により計算する。所望の画像サイズのレンダリングが終了すると、ステップＳ５において、要素画像Ａｉｊ（ｉｊ＝０，１，２・・・）をファイル出力する。ステップＳ３からステップＳ５の処理は、すべての視点において撮影が終わるまで繰り返し行なわれる（ステップＳ６におけるＮｏ）。
【００２５】
全視点の撮影が完了すると（ステップＳ６におけるＹｅｓ）、取得した要素画像から、新たな要素画像Ｂｉｊ、Ｃｉｊ、Ｄｉｊを画像変換Ｂｉｊ＝ＭＡｉｊ、Ｃｉｊ＝ＭＡｉｊ、Ｄｉｊ＝ＭＡｉｊ（Ｍは変換行列）により変換する。Ｍが単位行列の場合には、Ａｉｊ＝Ｂｉｊ＝Ｃｉｊ＝Ｄｉｊとなる（ステップＳ７）。そして、ステップＳ８において、これらの要素画像のジョイント（連結）を行なう。この処理を、すべての要素画像のジョイントが終了するまで反復させる（ステップＳ９におけるＮｏ）。最後に（ステップＳ９におけるＹｅｓ）、全要素画像の連結処理が終了すると、図１に図示する要素画像の配置が得られることになる。。
【００２６】
図５は、本実施例に適用される立体映像表示装置の撮像系を示す概念図である。同図に示す撮像系は、仮想的なＸＹＺ空間上に構築されたシステムであり、光源１０、３次元物体（円錐）５０ａ、３次元物体（立方体）５０ｂ、３次元物体（球）５０ｃ、カメラ１００から構成されている。
【００２７】
光源１０は、３次元物体５０ａ〜５０ｃを照明するためのものである。点光源、面光源、スポットライト等の種々のタイプの光源をつくりだすことができる。以下に述べるレイトレーシング（光線追跡法）による撮像では、カメラに入射した光線を、光源１０の方向に追跡することによって行なわれる。
【００２８】
３次元物体５０ａ〜５０ｃは、形状と質感（テクスチャ）から構成される。３次元物体（円錐）５０ａは、形状が円錐であって、質感が大理石である。一方、３次元物体（立方体）５０ｂは、形状が立方体であって、質感が木材である。３次元物体（立方体）５０ｃは、形状が球であって、質感が光沢のある金属である。これらの３次元物体のテクスチャは、物体内部にも情報を有し、中身の詰まったいわゆるソリッドモデルである。
【００２９】
カメラ１００は、ＣＡＭ００，ＣＡＭ０１，ＣＡＭ０２，ＣＡＭ１０，ＣＡＭ１１，ＣＡＭ１２，ＣＡＭ２０，ＣＡＭ２１，ＣＡＭ２２の計９個のカメラから構成されている。ここでは、便宜上９個のカメラのみを図示しているが、実際には、もっと多くのカメラを使用する。このカメラの数は、後で表示させたい立体映像の（横方向）解像度に等しい数だけ使用すればよい。例えば、ハイビジョン放送（有効画素数：水平１９２０画素×垂直１０８０画素）と同一の解像度を表示させたい場合には、水平１９２０台、垂直１０８０台のカメラを使用する。あるいは、１台のカメラ（ＣＡＭ００）を水平および垂直方向に平行移動させて、水平１９２０回×垂直１０８０回の撮影を行なうようにしてもよい。
【００３０】
これらのカメラのそれぞれは、ある１点を注視点として撮像を行なう。例えば、図５では、ＣＡＭ００〜ＣＡＭ０１のすべてのカメラが円錐の先端を注視している様子を示している。そうすると、円錐の先端を上下左右の９つの角度から眺めた像を撮影することができ、３次元物体５０ａの奥行き情報を取得することができる。
【００３１】
撮影は、レイトレーシング（光線追跡法）により行なう。カメラに入射する光は、光源１０から発せられた光線のうち、この円錐の先端で散乱され、カメラの入射瞳に入る光束である。したがって、光源１０が発する光のすべてを計算する必要はなく、カメラに入射した光束を逆向きに追跡することによって行なう。追跡する光線の数は、後で表示させる表示系の解像度（特にレンズ１個あたりに表示させる要素画像の解像度）によって決定する。例えば、１つのレンズあたり１００×１００画素の表示が可能な２次元ディスプレイ２００を使用した場合には、撮像においても、１つのカメラにつき１００×１００＝１００００本の光線を、追跡する。
【００３２】
図６は、本実施例に適用される表示系を示す概念図である。同図に示す表示系は、２次元ディスプレイ２００、フライアイレンズ３００から構成されている。さらに同図には、この表示系により表示される３次元物体（円錐）の再生像５００ａ、３次元物体（立方体）の再生像５００ｂ、３次元物体（球）の再生像５００ｃ、人間の眼４００が図示されている。
【００３３】
２次元ディスプレイ２００は、上述した複数のカメラ（ＣＡＭｉｊ）が撮像した要素画像（Ａｉｊ）をマトリクス状に表示する。その配列の仕方は、図１または図２に図示する規則により行なうことは先に述べた通りである。また、表示の際には、各要素画像の大きさを、レンズアレイ３００の要素レンズＬｉｊ（ｉ，ｊ＝０，１，２・・・）（図７に図示）の大きさに一致させることが必要である。
【００３４】
フライアイレンズ３００は、２次元ディスプレイ２００に表示された要素画像（Ａｉｊ）のそれぞれを、実空間上の実像（あるいは虚像）として結像させるための光学素子である。結像の機能を有するものであれば、図示するような凸レンズアレイのような屈折レンズでなくとも、ピンホールアレイや、ＧＲＩＮレンズアレイ等を使用することができる。ピンホールアレイは、液晶ディスプレイ（ＬＣＤ）などを使用すれば電子化することができるため一見有望ではあるが、光量のロスがあることと、高解像度化に課題があることが知られている。ＧＲＩＮレンズアレイは、正立像を結像させることができるため、実空間の３次元物体を撮像する場合に使用すれば、いわゆる偽像の問題や隣接レンズ間のクロストークを解消できる。また、屈折レンズの表面に回折光学素子を形成することにより、単一材料でありながらも、色収差を低減したレンズを製造することもできる。
【００３５】
尚、２次元ディスプレイ２００とフライアイレンズ３００の間には、図６に示すように空気層を設けることが好ましい。これにより、両者の相対間隔を調節可能となり、３次元物体の再生像５００ａ〜５００ｃを同図のように実像として表示させたり（フライアイレンズ３００の有効焦点距離よりも大きい場合）、あるいは、ディスプレイの向こう側に虚像として表示させることが可能となるからである（フライアイレンズ３００の有効焦点距離よりも小さい大きい場合）。
【００３６】
図７は、本実施例に適用されるフライアイレンズ３００の斜視図である。同図に示すフライアイレンズは、便宜上５×５個の要素レンズを有するレンズアレイとして図示してあるが、実際にはもっと多数のレンズアレイを使用する。かかる要素レンズ（Ｌｉｊ）数は、後で表示させたい立体映像の（横方向）解像度に等しい数だけ使用すればよい。例えば、ハイビジョン放送と同一の解像度で表示させたい場合には、水平１９２０個、垂直１０８０個の要素レンズを使用する。
【００３７】
本実施例においては、要素レンズの開口形状を正方形としている。これは、２次元ディスプレイ２００の画素の開口形状と一致させるためである。開口形状を円形にする場合に比べて、光量のロスを減らすことができたけでなく、システム設計を単純化することができる。
フライアイレンズの表面形状は以下のようにして決定する。すなわち、要素画像Ａｉｊからの光線を光線追跡法により求め、所望の位置に集光するスポット径がなるべく小さくなるようにレンズ形状を決定する。スポット径を大きくする原因として、単色収差に関するザイデルの５収差（球面収差、コマ収差、非点収差、像面湾曲、歪曲収差）があるが、フライアイレンズの場合は、特に軸外光線に対する像面湾曲が支配的である。各々の収差がバランスされるように最適化設計を行う。
尚、色収差に関しては、屈折率の異なる材料を組み合わせるか、上述した回折光学素子の分散特性を利用して色収差を相殺させるようにしてもよい。
【００３８】
図８は、本実施例に適用される仮想空間上の３次元物体を示す図である。３次元物体（円錐）５０ａは、大理石のテクスチャを有しており、３次元物体（立方体）５０ｂは、木のテクスチャを有している。そして、３次元物体（球）は、金属のテクスチャを有している。これらの３次元物体は、通常のレイトレーシングのソフトウェアで、予め用意されているプリミティブと呼ばれるものである。プリミティブの組み合わせにより、様々な形状のソリッドモデルをつくることができる。
【００３９】
図９は、本実施例に適用される２次元ディスプレイに表示する要素画像を示す図である。これらは、上述した３次元物体をカメラ１００により撮像して得た要素画像Ａｉｊを配列したものである。本実施例では、カメラレンズのＦ値が約６と大きいため、視野が狭く、したがって、各要素画像の一部ずつしか撮影されていないことがわかる。レンズの焦点距離を短くする、あるいは要素レンズＬｉｊの径を大きくすることにより、Ｆ値を小さくして広角撮影を行った場合には、要素画像Ａｉｊにより多くの情報が取り込まれて、再生時の視域角も拡大することができるが、レンズの収差の影響を受けやすくなる。
【００４０】
尚、本実施例では、レイトレーシングによる３次元ＣＧに限って説明したが、これに限定されるものではなく、他のレンダリング方式の場合にも適用することができ、さらにまた実空間上の物体をビデオカメラで撮影する場合にも、かかる信号処理を適用することが可能である。
【００４１】
【発明の効果】
以上詳述したように、本発明は、異なる画面サイズのディスプレイに対して、同一のレンズ間隔のレンズアレイを使用することができ、しかも、解像度が共通のコンテンツを適切に表示させることのできるという効果を奏する。
【図面の簡単な説明】
【図１】本実施例に適用される要素画像の配置を示す図である。
【図２】従来の要素画像の配置を示す図である。
【図３】本実施例に適用される立体映像表示装置の構成を示す図である。
【図４】本実施例に適用される要素画像の生成のアルゴリズムを示すフローチャートである。
【図５】本実施例に適用される立体映像表示装置の撮像系を示す概念図である。
【図６】本実施例に適用される表示系を示す概念図である。
【図７】本実施例に適用されるフライアイレンズの斜視図である。
【図８】本実施例に適用される仮想空間上の３次元物体を示す図である。
【図９】本実施例に適用される２次元ディスプレイに表示する要素画像を示す図である。
【図１０】従来の要素画像の配置を示す図である。
【図１１】ＩＰの原理を説明するための図である。
【符号の説明】
１０    光源
５０    ３次元物体
５０ａ  ３次元物体（円錐）
５０ｂ  ３次元物体（立方体）
５０ｃ  ３次元豚地（球）
１００  カメラ
２００  ２次元ディスプレイ
３００  フライアイレンズ（蝿の目レンズ、複眼レンズ、マイクロレンズアレイ）
４００  眼
５００  ３次元物体の再生像
５００ａ  ３次元物体（円錐）の再生像
５００ｂ  ３次元物体（立方体）の再生像
５００ｃ  ３次元物体（球）の再生像
Ａｉｊ    要素画像
Ｌｉｊ    要素レンズ
ＣＡＭｉｊ  カメラ
【図１】
2005026772.tif 000003
【図２】
2005026772.tif 000004
【図３】
2005026772.tif 000005
【図４】
2005026772.tif 000006
【図５】
2005026772.tif 000007
【図６】
2005026772.tif 000008
【図７】
2005026772.tif 000009
【図８】
2005026772.tif 000010
【図９】
2005026772.tif 000011
【図１０】
2005026772.tif 000012
【図１１】
2005026772.tif 000013