(57)【特許請求の範囲】
【請求項１】
Ｎ個（Ｎは４以上の自然数）の視点の画像を表示する多視点映像表示装置において、
配置間隔が中央部に比較して周辺部が粗になるように設けられたＮ個の撮像手段により撮像されたＮ枚の撮像画像を構成する各画素を、水平及び垂直方向に等間隔に配列された複数の画素表示素子からなる表示画面上に同時に表示する表示手段であり、前記Ｎ枚の撮像画像において互いに略同一の位置に位置するＮ個の画素を、前記撮像手段の配置の順序に対応する配列で前記画素表示素子に表示する処理を、前記Ｎ枚の撮像画像の各画素に対して実行することで、前記Ｎ枚の撮像画像を前記表示画面上に同時に表示する表示手段と、
前記表示手段によって前記表示画面上に同時に表示された前記Ｎ枚の撮像画像の前記Ｎ個の画素ごとに、このＮ個の画素の表示による出射光を、前記Ｎ個の撮像手段の配置に対応した位置間隔になるように偏向させる光偏向手段とを、
備えたことを特徴とする多視点映像表示装置。
【請求項２】
Ｎ個（Ｎは４以上の自然数）の視点の画像を表示する多視点映像表示装置において、
配置間隔が中央部に比較して周辺部が粗になるように仮想的に設けられたＮ個の撮像手段により撮像されたＮ枚の撮像画像と等価になるように生成されたＮ枚の生成画像を構成する各画素を、水平及び垂直方向に等間隔に配列された複数の画素表示素子からなる表示画面上に同時に表示する表示手段であり、前記Ｎ枚の生成画像において互いに略同一の位置に位置するＮ個の画素を、前記仮想的に設けられたＮ個の撮像手段の配置の順序に対応する配列で前記画素表示素子に表示する処理を、前記Ｎ枚の生成画像の各画素に対して実行することで、前記Ｎ枚の生成画像を前記表示画面上に同時に表示する表示手段と、
前記表示手段によって前記表示画面上に同時に表示された前記Ｎ枚の生成画像の前記Ｎ個の画素ごとに、このＮ個の画素の表示による出射光を、前記仮想的に設けられたＮ個の撮像手段の配置に対応した位置間隔になるように偏向させる光偏向手段とを、
備えたことを特徴とする多視点映像表示装置。
【請求項３】
前記光偏向手段は、前記Ｎ個の画素の表示による出射光を、水平・垂直・斜め方向に偏向させるレンズアレイであることを特徴とする請求項１又は２記載の多視点映像表示装置。
【請求項４】
前記光偏向手段は、前記Ｎ個の画素の表示による出射光を、水平方向に偏向させるレンチキュラシートであることを特徴とする請求項１又は２記載の多視点映像表示装置。
【請求項５】
配置間隔が中央部に比較して周辺部が粗になるように設けられた、Ｎ個（Ｎは４以上の自然数）の視点の画像を撮像するＮ個の撮像手段を有することを特徴とする多視点映像撮像装置。
【請求項６】
配置間隔が中央部に比較して周辺部が粗になるように設けられた、Ｎ個（Ｎは４以上の自然数）の視点の画像を撮像するＮ個の撮像手段によって撮像された画像と等価となるＮ枚の画像を生成する生成手段を有することを特徴とする多視点映像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察者の視点に応じて異なる視点からの画像を表示する多視点映像表示装置と、この多視点映像表示装置に表示する多視点映像を撮像する多視点映像撮像装置、及び多視点映像を生成する多視点映像生成装置に関する。
【背景技術】
【０００２】
特別メガネであるアナグリフメガネ、偏光メガネ、液晶シャッターメガネなどをかけなくても３次元映像を観察することができるメガネなし方式の立体ディスプレイについては盛んに研究されている。この方式は、カメラで物体を多方向から撮影した画像を表示できるため、観察者が見る位置を移動すれば、その移動に応じて異なる視点から立体画像を見ることができるという特徴がある。その研究成果として、例えば下記の非特許文献１により、レンチキュラ方式の原理を用いた「８眼式メガネなし３次元テレビジョン」が発表されている。
【０００３】
＜レンチキュラ３次元画像表示方式の原理＞
レンチキュラ方式の原理は、水平方向に配置された複数のレンズ部の各々が半円筒形の形状をしたレンチキュラスクリーンを用いて、複数のレンズ部のいずれか１つの焦点面に、多方向から撮影した画像をストライプ状に配置すると、レンチキュラレンズの指向性によってストライプ像からの光が屈折し、最適な位置で観察すると裸眼立体視できる仕組みである。図３は８方向の異なる視点から３次元映像を見る８眼式レンチキュラ方式による従来の３次元映像表示装置の原理を示したものである。図３において、多眼ストライプ状要素画像表示面２２は８つの視点ｉ、ｊ、ｋ、ｌ、ｍ、ｎ、ｏ、ｐから観察する多眼ストライプ状要素画像（画素２３、２４、２５、２６、２７、２８、２９、３０）を表示し、レンチキュラスクリーン２１は複数のシリンドリカルレンズ部のそれぞれが多眼ストライプ状要素画像の一部を拡大する。また、画素２３、２４、２５、２６、２７、２８、２９、３０は多眼ストライプ状要素画像表示面１に表示される多眼ストライプ状要素画像を構成する画素であり、それぞれ観察者の視点ｉ、ｊ 、ｋ、ｌ、ｍ、ｎ、ｏ、ｐに対応する。なお、図３では紙面の都合上、レンチキュラスクリーン２１の厚さに対して視距離は２倍弱となっているが、実際にはレンチキュラスクリーン２１の厚さに対して、視距離は十分に大きいものとする。
【０００４】
レンチキュラスクリーン２１の１ピッチ内の画素２３、２４、２５、２６、２７、２８、２９、３０の位置には、図２（ｂ）に示すように、水平方向に等間隔の８方向から撮影した画像を縦縞のストライプ状に配列して表示する。図４は８台から成る多眼式立体カメラで各方向から撮影した画像をストライプ状要素画像に形成する画素配列を示したものである。水平方向の画素のうち、８画素を単位としてレンチキュラスクリーン２１の１ピッチ内に各テレビカメラの画像を配列する。また、８眼式立体テレビカメラは、図２（ｂ）に示すように８台のカメラ（ｉ’、ｊ’ 、ｋ’、ｌ’、ｍ’、ｎ’、ｏ’、ｐ’）を水平に等間隔に配置し、撮影する。
【０００５】
レンチキュラスクリーン２１の作用によって８方向から撮影したストライプ像は分離されて左右の眼に入り、左右の眼でそれぞれ別の視点の映像を観察することで、メガネなしで３次元画像を観察することができる。さらに、視点を左右方向に移動すれば、異なる視点から見た３次元画像を見ることもできる。また、左右の眼の幅よりも視点間隔を広く設計した場合、左右の眼で同じ視点の映像を観察することになる。すなわち、視点を移動することにより異なる視点から見た２次元映像を観察することのできる多視点映像表示装置となる。
【０００６】
レンチキュラスクリーン２１から飛び出した光はメインローブとその周辺のサイドローブから成る。メインローブ内で観察者が観察中に左右に動くと観察できる視点が変化する。片方の目の視点がメインローブから外れると、外れた片方の目ではサイドローブを観察することになり、逆立体視になってしまい、違和感がある。メインローブの角度が広ければ広いほど、運動視差を広く取ることができ、自然な視点移動が可能となる。メインローブの角度を広げるためには、視点間隔を広げるか、レンチキュラスクリーン２１の１ピッチ内の視点数を増やす必要がある。しかし、図５に示すように視点間隔を広げると（Ｉｉｊ＜Ｉｑｒ、Ｉｊｋ＜Ｉｒｓ、Ｉｋｌ＜Ｉｓｔ、Ｉｌｍ＜Ｉｔｕ、Ｉｍｎ＜Ｉｕｖ、Ｉｎｏ＜Ｉｖｗ、Ｉｏｐ＜Ｉｗｘ）、隣接する視点画像間で画面上のずれが大きくなり、フリッピングが生じ、滑らかな視点移動が損なわれる。ここで、視点間隔を広げるには、レンチキュラスクリーン３１のそれぞれのレンズの曲率を大きくする（曲率半径を小さくする）か、又はレンチキュラスクリーン３１により大きな屈折率の材料を用いればよい。また、レンチキュラスクリーン２１、３１の１ピッチ内の視点数を増やすと水平解像度が低下する。レンチキュラ方式は多眼式になるほど立体視できる範囲が広くなり、多人数で同時に３次元映像を見ることができるようになる。
【非特許文献１】磯野春雄他「８眼式メガネなし３次元テレビジョン」テレビジョン学会誌Vol. 48, No. 10, pp. 1267〜1275(1994）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の多視点映像表示装置では、解像度、視点数を変更せずに、メインローブの視域角を広げるためには、視点間隔を広げる必要がある。その結果、滑らかな運動視差が損なわれることが課題であった。解像度、視点数を変更せずに、滑らかな運動視差を得るためには視点間隔を狭める必要がある。その結果、視点間隔を狭めると視域角が狭くなることが課題であった。
【０００８】
本発明は上記従来技術の問題点に鑑み、解像度、視点数を増やすことなく、観察する際に特に重要な中央部の運動視差を滑らかにすることができるとともに、メインローブ内の視域角（幅）を広げることができる多視点映像表示装置と、この多視点映像表示装置に表示する多視点映像を撮像する多視点映像撮像装置、及び多視点映像を生成する多視点映像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は上記目的を達成するために、Ｎ個（Ｎは４以上の自然数）の視点の画像を表示する多視点映像表示装置において、
配置間隔が中央部に比較して周辺部が粗になるように設けられたＮ個の撮像手段により撮像されたＮ枚の撮像画像を構成する各画素を、水平及び垂直方向に等間隔に配列された複数の画素表示素子からなる表示画面上に同時に表示する表示手段であり、前記Ｎ枚の撮像画像において互いに略同一の位置に位置するＮ個の画素を、前記撮像手段の配置の順序に対応する配列で前記画素表示素子に表示する処理を、前記Ｎ枚の撮像画像の各画素に対して実行することで、前記Ｎ枚の撮像画像を前記表示画面上に同時に表示する表示手段と、
前記表示手段によって前記表示画面上に同時に表示された前記Ｎ枚の撮像画像の前記Ｎ個の画素ごとに、このＮ個の画素の表示による出射光を、前記Ｎ個の撮像手段の配置に対応した位置間隔になるように偏向させる光偏向手段とを、
有することを特徴とする。
また、Ｎ個（Ｎは４以上の自然数）の視点の画像を表示する多視点映像表示装置において、
配置間隔が中央部に比較して周辺部が粗になるように仮想的に設けられたＮ個の撮像手段により撮像されたＮ枚の撮像画像と等価になるように生成されたＮ枚の生成画像を構成する各画素を、水平及び垂直方向に等間隔に配列された複数の画素表示素子からなる表示画面上に同時に表示する表示手段であり、前記Ｎ枚の生成画像において互いに略同一の位置に位置するＮ個の画素を、前記仮想的に設けられたＮ個の撮像手段の配置の順序に対応する配列で前記画素表示素子に表示する処理を、前記Ｎ枚の生成画像の各画素に対して実行することで、前記Ｎ枚の生成画像を前記表示画面上に同時に表示する表示手段と、
前記表示手段によって前記表示画面上に同時に表示された前記Ｎ枚の生成画像の前記Ｎ個の画素ごとに、このＮ個の画素の表示による出射光を、前記仮想的に設けられたＮ個の撮像手段の配置に対応した位置間隔になるように偏向させる光偏向手段とを、
備えたことを特徴とする。
【００１０】
また、本発明は上記目的を達成するために、前記光偏向手段として水平・垂直・斜め方向に偏向させるレンズアレイ、又は水平方向に偏向させるレンチキュラシートを、備えたことを特徴とする。
また、配置間隔が中央部に比較して周辺部が粗になるように設けられた、Ｎ個（Ｎは４以上の自然数）の視点の画像を撮像したものと等価となるＮ枚の画像を生成する多視点映像生成装置において、
の視点の画像を撮像するＮ個の撮像手段を有することを特徴とする。
更に、Ｎ個（Ｎは４以上の自然数）の視点の画像を撮像したものと等価となるＮ枚の画像を生成する多視点映像生成装置において、
配置間隔が中央部に比較して周辺部が粗になるように設けられた、Ｎ個（Ｎは４以上の自然数）の視点の画像を撮像するＮ個の撮像手段によって撮像された画像と等価となるＮ枚の画像を生成する生成手段を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、視点間隔を中央部では密に、周辺部では粗にすることで、解像度、視点数を変更せずに、中央部の運動視差を滑らかにすることができるとともに、メインローブ内の視域角を広げることができるという効果を得ることができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の実施の形態について説明する。図１は本発明に係る多視点映像表示装置の一実施の形態を示す説明図、図２は図１の多視点映像表示装置を実現するカメラと従来のカメラの各配列方法を示す説明図である。
【００１３】
図１は一例として、８方向の異なる視点ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈから３次元映像（画素３、４、５、６、７、８、９、１０）を見る８眼式レンチキュラ方式による３次元映像表示装置の原理を説明する図である。図１において、多眼ストライプ状要素画像表示面２は複数の視点ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈから観察する多眼ストライプ状要素画像を表示し、レンチキュラスクリーン１は多眼ストライプ状要素画像の一部を拡大する。また、画素３、４、５、６、７、８、９、１０は多眼ストライプ状要素画像表示面２に表示される多眼ストライプ状要素画像を構成する画素であり、それぞれ観察者の視点ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈに対応する。
【００１４】
また、Ｒａ、Ｒｂ、Ｒｃ、Ｒｄ、Ｒｅ、Ｒｆ、Ｒｇ、Ｒｈはそれぞれ視点ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈの画像が観察できる範囲であり、Ｒａ＞Ｒｂ＞Ｒｃ＞Ｒｄ＝Ｒｅ＜Ｒｆ＜Ｒｇ＜Ｒｈである。Ｉａｂは視点ａと視点ｂの間隔であり、Ｉｂｃ、Ｉｃｄ、Ｉｄｅ、Ｉｅｆ、Ｉｆｇ、Ｉｇｈはそれぞれ、視点ｂとｃ、ｃとｄ、ｄとｅ、ｅとｆ、ｆとｇ、ｇとｈの間隔である。したがって、Ｉａｂ＞Ｉｂｃ＞Ｉｃｄ＞Ｉｄｅ＜Ｉｅｆ＜Ｉｆｇ＜Ｉｇｈである。図１では紙面の都合上、レンズレンチキュラスクリーン１の厚さに対して視距離（レンチキュラスクリーン１から観察者までの距離）は２倍弱となっているが、実際にはレンズレンチキュラスクリーン１の厚さに対して、視距離は十分に大きいものとする。また、図１では、レンチキュラスクリーンから発せられた光線が観察者の眼球に集光したものであるが、レンチキュラスクリーンから発せられた光線がアフォーカルのものも含む。従来技術の図３、図５とは従来技術の視点間隔が等間隔であるのに対して、本発明の実施の形態の視点間隔Ｉａｂ、Ｉｂｃ、Ｉｃｄ、Ｉｄｅ、Ｉｅｆ、Ｉｆｇ、Ｉｇｈは中央部が密で、周辺部が疎である点が異なる。
【００１５】
多眼ストライプ状要素画像表示面２は例えば投射型のプロジェクタなどで投射された画像を拡散し、表示するスクリーンのような平面であり、多眼ストライプ状要素画像表示面２を構成する画素３、４、５、６、７、８、９、１０の水平間隔が等しいパネルである。ＬＣＤ、ＰＤＰ、有機ＥＬなどの直視型のパネルでもよい。従来技術と同様に、多眼ストライプ状要素画像表示面２にはレンチキュラスクリーン１の１ピッチ内の画素３、４、５、６、７、８、９、１０の位置に、８方向（視点ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ）から撮影した画像を縦縞のストライプ状に配列して表示するが、多眼ストライプ状要素画像表示面２に表示する画像の撮影方法が従来技術と異なる。
【００１６】
従来技術の図３（及び図５）に関しては、多眼ストライプ状要素画像表示面２２に表示する信号は図２（ｂ）に示すように等間隔の視点から撮影した画像を用いるが、本発明では図２（ａ）に示すように３次元映像表示装置の観察者の視点ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈに対応して、８台のカメラ（ａ’、ｂ’、ｃ’、ｄ’、ｅ’、ｆ’、ｇ’、ｈ’）を中央部の視点間隔を密に、周辺部の視点間隔を疎にして撮影し（Ｓａｂ＞Ｓｂｃ＞Ｓｃｄ＞Ｓｄｅ＜Ｓｅｆ＜Ｓｆｇ＜Ｓｇｈ）、その画像を用いる。このとき、観察者の視点間隔Ｉａｂ、Ｉｂｃ、Ｉｃｄ、Ｉｄｅ、Ｉｅｆ、Ｉｆｇ、Ｉｇｈの比率と、撮影するカメラの間隔Ｓａｂ、Ｓｂｃ、Ｓｃｄ、Ｓｄｅ、Ｓｅｆ、Ｓｆｇ、Ｓｇｈの比率を等しくする。すなわち、Ｉａｂ：Ｉｂｃ：Ｉｃｄ：Ｉｄｅ：Ｉｅｆ：Ｉｆｇ：Ｉｇｈ＝Ｓａｂ：Ｓｂｃ：Ｓｃｄ：Ｓｄｅ：Ｓｅｆ：Ｓｆｇ：Ｓｇｈとする。また、実写の映像ではなく、図１の３次元映像表示装置に合わせて中央部の視点間隔を密に、周辺部の視点間隔を疎に配置したカメラから撮影した画像をシミュレートしてレンダリングしたコンピュータグラフィックスを用いてもよい。
【００１７】
図１の本発明による３次元映像表示装置では、視点間隔は中央部が密で、周辺部が疎である。また、図３の３次元映像装置に対して図５の３次元映像装置では、視点間隔が大きくなり、メインローブの視域範囲が広くなっている。図３のレンチキュラスクリーン２１に対して図５のレンチキュラスクリーン３１の曲率を大きく（曲率半径を小さく）することにより、レンチキュラスクリーン３１の法線の傾きが大きくなり、出射角の傾きが大きくなることによる。ただし、隣接する視点画像間で画面上のずれが大きくなり、フリッピングが生じ、滑らかな視点移動が損なわれる。
【００１８】
図１では、中央部の視点ｄ、ｅの視点間隔Ｉｄｅが図３の視点ｌ、ｍの視点間隔Ｉｌｍと等しくなっている。また、図１の最も周辺部の視点ａ、ｂの視点間隔Ｉａｂが図５の視点ｑ、ｒの視点間隔Ｉｑｒと等しくなっている。このようにするには図１のレンチキュラスクリーン１の中央部は図３のレンチキュラスクリーン２１の中央部の曲率と同等にし、図１のレンチキュラスクリーン１の周辺部は図５のレンチキュラスクリーン３１の周辺部の曲率と同等にして、水平方向に等間隔に配列された複数のレンズ部の曲率又は屈折率が中央部では小さく、周辺部では大きくすればよい。
【００１９】
従来技術でも説明したのと同様に、レンチキュラスクリーン１の作用によって８方向から撮影したストライプ像は分離されて左右の眼に入り、左右の眼でそれぞれ別の視点の映像を観察することで、メガネなしで３次元画像を観察することができる。さらに、視点を左右方向に移動すれば、異なる視点から見た３次元画像を見ることもできる。また、左右の眼の幅よりも視点間隔を広く設計した場合、左右の眼で同じ視点の映像を観察することになる。すなわち、視点を移動することにより異なる視点から見た２次元映像を観察することのできる多視点映像表示装置となる。
【００２０】
また、視点間隔が密である中央部では左右の眼の幅よりも視点間隔を狭く設計し、視点間隔が疎である周辺部では左右の眼の幅よりも視点間隔を広く設計することで、中央から観察すると３次元映像を構成し、周辺から観察すると２次元映像を観察する表示装置を構成することができる。
【００２１】
超多眼ディスプレイは、ある視距離において、瞳孔径より細かい標本化ピッチで視差画像を表示する方式であり、単眼の瞳孔内に少なくとも２つの視差画像を提示すれば、連続的な運動視差を再現できるとともに輻輳調節矛盾が解消される事が知られている（通信・放送機構、高度三次元画像遠隔表示プロジェクト  最終報告書、平成１４年９月）。本方式においても中央部すなわち視点間隔が密な部分では、瞳孔径より細かい視点間隔とし、周辺部すなわち視点間隔が疎な部分では、瞳孔感覚より粗い視点間隔とすることで、観察者が中央から観察する場合、輻輳調節矛盾を解消できるディスプレイとして構成することもできる。
【００２２】
本実施例では水平のみに視差を持つレンチキュラ方式について説明したが、水平だけでなく、垂直、斜め方向を含む全方向に視差を持ち、任意の視点から自由に見られる多視点映像表示装置に適用することもできる。例えば、「三次元画像工学」（大越孝敬著、朝倉書店、１９９１）において任意の視点から自由に見られる３次元画像技術が紹介されている。その代表的な方式であるＩＰ（インテグラルフォトグラフィ）方式は１９０８年にＬｉｐｐｍａｎｎによって提案された。画像表示面の前に図６に示すようなフライアイレンズと呼ばれるレンズアレイを置く。本実施の形態のレンチキュラ方式は上下の視差情報を取り除いて水平方向に視差を限定して簡略化したＩＰである。インテグラルフォトグラフィ方式に本発明を適用する際には水平方向だけではなく、水平方向以外の視点間隔の中央部を密にし、周辺部を疎になるように画像を撮像し、レンズアレイを設計することで実現できる。
【図面の簡単な説明】
【００２３】
【図１】本発明に係る多視点映像表示装置の一実施の形態を示す説明図である。
【図２】図１の多視点映像表示装置を実現するカメラと従来のカメラの各配列方法を示す説明図である。
【図３】従来の多視点映像表示装置を示す説明図である。
【図４】ストライプ状要素画像の形成方法を示す説明図である。
【図５】他の従来の多視点映像表示装置を示す説明図である。
【図６】インテグラルフォトグラフィ方式に用いるレンズアレイを示す説明図である。
【符号の説明】
【００２４】
１、２１、３１  レンチキュラスクリーン
２、２２  多眼ストライプ状要素画像表示面
【図１】
0004631812.tif 000002
【図２】
0004631812.tif 000003
【図３】
0004631812.tif 000004
【図４】
0004631812.tif 000005
【図５】
0004631812.tif 000006
【図６】
0004631812.tif 000007