(57)【要約】【課題】形状の歪みのない、高画質の立体像が得られるインテグラルフォトグラフィである。【解決手段】３次元空間に、被写体となる３時元物体と、位置が異なる複数のカメラと、仮想的な凸レンズアレイまたはピンホールアレイと、仮想的なＩＰ画像を置く。仮想的なＩＰ画像のある画素を光源とし凸レンズまたはピンホールを通って３次元空間に出た光が通過するかまたは最も近くを通るカメラを求める。そのカメラから撮影された画像の画素のうちでピンホールの方向に対応する画素の値を、ＩＰ画像において光源として想定した画素の値として設定する。【選択図】図１
2005107463.tif 000002
【特許請求の範囲】
【請求項１】
３次元空間に、被写体となる３次元物体と、位置が異なる複数のカメラと、仮想的な凸レンズアレイまたはピンホールアレイと、仮想的なＩＰ画像が置かれていて、仮想的なＩＰ画像のある画素を光源とし凸レンズまたはピンホールを通って３次元空間に出た光が通過するかまたは最も近くを通るカメラから撮影された画像の画素のうちでピンホールの方向に対応する画素の値が、ＩＰ画像において光源として想定した画素の値となっていることを特徴とする、インテグラルフォトグラフィ。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、画面から飛び出したり引っ込んで見えるような立体表示方式の一つである、インテグラルフォトグラフィ（Ｉｎｔｅｇｒａｌ  Ｐｈｏｔｏｇｒａｐｈｙ，以下ＩＰと略す）に関するものである。
【背景技術】
【０００２】  立体表示については、従来から種々の発明があるが、中でも１９０８年にリップマンにより提案されたＩＰは、観察者が特別なメガネを着用する必要がなく、しかも任意の方向から立体像を観察することができる点で優れた方式である。【０００３】  ＩＰの実現方法としては、微小な凸レンズを二次元的に並べた蝿の目レンズ（フライアイレンズともいう）を用いる方法と、凸レンズをピンホール（針穴ともいう）で置き換えたピンホールアレイを用いた方法がある。ピンホールで凸レンズを代替できることは、針穴写真機（ピンホールカメラ）の例からも明らかである。またレンズの厚さが十分薄いなら、凸レンズの中心を通る光は直進するとみなせるので、その点からも、本発明の範囲内においては、凸レンズとピンホールは機能的には同等と言える。【０００４】  ＩＰでは、凸レンズアレイまたはピンホールアレイの後方に、概ね凸レンズの焦点距離相当の間隔を空けて、立体表示の元になる１枚の画像が置かれる。この画像を本明細書ではＩＰ画像と呼ぶ。１枚のＩＰ画像は多数の要素画像から構成され、１個の凸レンズないしピンホールに対し、１つの要素画像が対応する。要素画像はアナログ画像であることもあるが、要素画像がデジタル画像である場合、その画素数は多眼数に関係する。発明者らの実験では、要素画像の画素数は３２×３２＝１０２４とした。この場合多眼数は１０２４眼になる。【０００５】  従来、ＩＰ画像データを作成するためには、次の文献に記述されているように、表示に用いるのと同様の蝿の目レンズを用いる必要があった。
【非特許文献】吉田達哉、苗村健、原島博：“インテグラルフォトグラフィを用いた３次元ＣＧの合成”、映像情報メディア学会誌、Ｖｏｌ．５５，Ｎｏ．３，ｐｐ．４７４〜４７８，２００１．
【０００６】  「従来のインテグラルフォトグラフィでは、まず蝿の目レンズを通して被写体の多数の倒立像をフィルムに撮影する。このフィルムを蝿の目レンズを通して再生することにより、被写体の立体像を生成することができる。ただし、このままでは奥行きの逆転した像（偽像）が再生されるため、フィルムに写った倒立像を正立像にする必要がある。一般的にこの修正には、フィルム上の倒立像を、正立像として再び蝿の目レンズを通して別のフィルムに撮り直すという手法はとられる。」【０００７】  このように、非常に面倒な手順を踏まなければならなかった、さらに、表示できる物体は、物体全体が画面の手前にあるか、もしくは画面の後ろにあるかのいずれかしか許されず、１つの物体の一部を画面の手前に飛び出させ、別な部分は画面の奥に引っ込むような立体像を作ることはできなかった。【０００８】  本発明では、入力にはフライアイレンズは使わず、ＣＣＤ力メラで複数の方向から被写体を撮した。また入力した画像をそのまま使うのではなく、コンピュータで処理を行ってＩＰ画像を合成することにより、これらの問題を解決した。また、幾何学的な歪が原理的に生じないようにした。
【発明の開示】
【発明が解決しようとする課題】
【０００９】  本発明は、歪みのない、高品質なインテグラルフォトグラフィを実現することを課題とする。
【課題を解決するための手段】
【００１０】  上記課題を解決するために、３次元空間内において複数のカメラ位置から被写体である３次元物体を撮影した。また、同じ３次元空間内の既知の位置に、仮想的に凸レンズアレイまたはピンホールアレイを配置し、その僅か奥には、仮想的なＩＰ画像を配置した。ここで「仮想的」とは、計算上そこに凸レンズアレイなどがあると仮定して計算を行うという意味である。実物の凸レンズアレイをそこに置くのではない。【００１１】  ＩＰ画像の各要素画像から出た光が、近くの凸レンズまたはピンホールを通って、どのカメラに到達するのかということと、そのカメラから撮影した画像においてどの画素が、凸レンズまたはピンホールの方向に対応しているのかということは既知である（少なくとも計算で求めることができる）ので、凸レンズまたはピンホールの方向に対応する画素の値を読み取り、その値を、その凸レンズまたはピンホールの奥にある要素画像の値として設定した。この処理を、すべての要素画像について行うことによって、ＩＰ画像を作成した。この処理は、一種のレイトレーシングともみなせるが、通常のレイトレーシングがカメラ位置を基点として追跡するのに対し、本発明では、要素画像を基点とする点が異なる。
【発明の効果】
【００１２】  この結果、３次元物体の形状の歪が原理的に存在しない高品質のＩＰを実現した。また、凸レンズアレイなどはあくまで計算上の仮想的なものなので、たとえば球などの物体の内部にも置くことができ、この場合、球の一部が画面の手前に飛び出し、他の一部が画面より引っ込んで見えるようにすることもできる。【００１３】
【発明を実施するための最良の形態】
【００１４】    次に、発明を実施するための最良の形態について実施例に基づき述べる。
【実施例１】
【００１５】  図１は本発明の実施例１であり、実写にもとづいてＩＰ画像を作る場合である。図１はピンホールアレイを用いた方法について示しているが、凸レンズでも同様にできる。原点を中心としたＸＹ平面内に仮想的なピンホールアレイを置き、そのわずか後方に、仮想的なＩＰ画像を置く。発明者らの実験では１個のピンホールに対したとえば３２×３２＝１０２４画素が対応するが、図１では説明を簡単にするため３×３＝９画素が対応する。【００１６】  画素４を光源とする光はピンホール２を通って観察者の左目６に達し、画素５を光源とする光は同じピンホール２を通って観察者の右目７に達する。したがって、右目と左目で異なる像を見るので両眼視差により立体視ができる。ここで、物体８がこの位置に浮かんでいるように見せたいとする。この場合、視線と物体８との交点９における物体表面の色を画素４に、また視線と物体８との交点１０における物体表面の色を画素５に、それぞれ書き込めばよい。観察者の目にとっては、その光が、ＩＰ画像の画素から出たものなのか、それとも３次元物体から出たものなのか区別がつかないので、実際にそこに物体があるように見える。【００１７】  もし、左目６または右目７の位置にカメラがあれば、交点９または交点１０における物体の色を得ることは容易である。カメラの位置や向き、視野角などが既知なら、カメラが撮影した画像のうちのどの画素がピンホール２の向きかがわかる。この場合カメラから見て、ピンホール２と、交点９または交点１０は、同じ位置に見えるので、その画素値をサンプルすれば、交点９または交点１０の色を得ることができるので、これを画素４や画素５に書き込めばよい。【００１８】  このことから、物体８の像をその位置に浮かび上がらせたいのなら、ＩＰ画像のすべての画素から発してすべてのピンホールを通って進むようなすべての光線の進む先にカメラを取りつけて、カメラから見てピンホールの方向に物体があれば、その物体の色を、ピンホールの先の画素６に塗ればよいことがわかる。しかし、それではカメラ位置の数が無限に必要になってしまう。【００１９】  しかし実際には、カメラ位置の数は有限である。図１においては、カメラ１１からカメラ３３までの９台しかカメラはない。そこで、ＩＰ画像の各要素画像を出た光がピンホールを通過して、どのカメラにもっとも接近するかを求める。カメラ位置は既知であるので、これは計算で求めることが可能である。たとえば、画素４からピンホール２を通って左目６に達する光線が最も近くを通るカメラは、カメラ１１である。次に、カメラ１１から撮影した画像４１のどの画素が、ピンホール２の方向に対応するかを求める。カメラが向いている方向とカメラの視野角が既知であるので、これも計算可能である。この例では、画素Ｐ４２がそれにあたる。【００２０】  この際、カメラが撮影した画像の画素は離散的なので、ちょうど画素Ｐ４２の位置には実は画素が存在しないこともあるが、その場合には、最も近傍の画素を用いるか、または近傍の複数画素の単純平均または重みつき平均を用いる。このようにして求めた画素値を、ピンホールの向こう側の、光の発信源と想定したＩＰ画像の画素の値として決定する。この例では画素Ｐ４２の��を、画素５に書き込む。この処理を繰り返すことによって、ＩＰ画像の全ての画素値を決定し、ＩＰ画像を完成させる。【００２１】  なお、「カメラの位置」は複数必要になるが、被写体が静止していて、入力に時間をかけても良いのなら、物理的なカメラ自体は１台でも良い。発明者は、ＣＣＤカメラを製図などに使うＸＹプロッタのペンの代わりに取り付け、パソコンでＸＹプロッタを制御することで、ＣＣＤカメラを縦横に移動させた。このようにＸＹプロッタを用いる方法のほか、工作機械などで使われているロボットアームの先端にＣＣＤカメラを取り付ける方法もある。【００２２】  なお、仮想的なピンホールアレイやＩＰ画像は、現実のピンホールアレイやＩＰ画像と必ずしも同じ大きさでなくても良い。ただし、立体像の形状に歪が生じないためには、仮想的なピンホールアレイやＩＰ画像は、現実のピンホールアレイやＩＰ画像と、それらの間隔も含め相似形でなければならない。その場合には、立体像の大きさが現実の物体と異なることはあっても、形状は歪まない。【００２３】  立体像を再生する場合は、「仮想」と「実在」の関係が逆になる。すなわち、ピンホールアレイ１とＩＰ画像３の位置に物理的に実在するピンホールアレイとＩＰ画像を置くと、物体８の位置に、物体の像が浮かび上がって見える。
【実施例２】
【００２４】  図２は本発明の実施例２であり、コンピュータグラフィックス（ＣＧ）を用いた場合である。ＰＯＶ−Ｒａｙ（ポブレイ）というフリーソフトウェアを用いた場合について述べる。まずシーンファイルを呼ばれる、物体の配置をＰＯＶ−Ｒａｙの様式に従ってテキストで記述したものを作り、その中には視点の位置や方向も記述する。次にこれをレンダリングする。一般にＣＧでは、視点のことをカメラと呼ぶので、本実施例でもそう呼ぶこととする。この場合のカメラは、物理的に存在するカメラではなく、ＰＯＶ−Ｒａｙというソフトの中に論理的に存在するものである。【００２５】  図２に示すように、カメラをＰＯＶ−Ｒａｙの３次元空間内で縦横に動かすようシーンファイルに記述し、各カメラ位置から原点を見た方向を撮影し、これを静止画として出力させる。この際、ＰＯＶ−Ｒａｙにはアニメーションの機能が用意されており、ｃｌｏｃｋという実数値をとる変数が０から１まで等間隔で自動的に変化するので、この変数でカメラの位置を制御することにより、カメラ位置の異なる複数の静止画像を一度にレンダリングすることができるので、大変便利である。【００２６】  また、異なる要素画像内で同じ位置にある画素から出てピンホールを通った光は互いに平行になる。ＰＯＶ−Ｒａｙではカメラとして「平行投影カメラ」が用意されているので、これを用いると、それらの光を一括してカメラでとらえることができ、大変便利である。もし「平行投影カメラ」が使用できない場合には、カメラを原点からなるべく遠くに置き、視野角をなるべく小さくすれば、近似的に平行投影になる。次に、これらの静止画を、発明者が開発した独自のソフトで合成して、求めるＩＰ画像を得る。【００２７】  図２において、ピンホールアレイはＸＹ平面上に、原点を中心として置かれていると想定する。ＩＰ画像は、それと平行に、わずかの距離ｄだけ後ろ側に置かれる。一方、カメラの位値を（ａ，ｂ，ｃ）とする。本実施例では、ｃは固定とし、ａとｂは等間隔で変化させることにより、格子点にカメラが位置するようにしている。またカメラがどの位置にあっても、カメラの向きは常に原点を向いており、カメラは横方向には傾いていないものとする。また計算を容易にするため、カメラが撮影した画像すなわち視平面の中心が原点になるようにする。このとき、視平面は、原点（０，０，０）とカメラ（ａ，ｂ，ｃ）を結ぶ直線と直交することより、その方程式は次のようになる。【００２８】
【数１】
2005107463.tif 000003
また、図３に示すように、視平面内の任意の点をＸＹＺ座標系で表したものを（ｘ，ｙ，ｚ）とし、視平面内のＵＶ座標系で表したものを（ｕ，ｖ）とすると、次の関係が成り立つ。【００２９】
【数２】
2005107463.tif 000004
2005107463.tif 000005
【００３０】  あるピンホールの座標を（ｘ０，ｙ０，ｚ０）とする。ただしピンホールはＸＹ平面内にあるので、ｚ０は常に０である。そのピンホールから出て、視線に平行に進む光が視平面と交わる点の座標は、【００３１】
【数３】
2005107463.tif 000006
【００３２】  数３を数２に代入すると、各ピンホールが、カメラがとらえた静止画像のどの位置に対応するかが（ｕ，ｖ）として得られる。もっとも、ピンホール自体は、仮想的に置かれたものなので、カメラには写らないのであって、実際には、その方向におかれた３次元物体、たとえば球とか円錐とかチェッカーボードなどの表面の色が見える。【００３３】  そこで、カメラがとらえた静止画像の中で、ちょうど（ｕ，ｖ）の位置にある画素の値を取り出し、そのピンホールの先にあるＩＰ画像の画素値として設定する。この場合、（ｕ，ｖ）は連続的な値をとるのに対し、画素は離散的なので、ちょうどその位置には画素が存在しないこともあるが、その場合には、最も近傍の画素を用いるか、または近傍の複数の画素の平均値を用いる。この処理を、すべてのカメラ位置について行うことにより、求めるＩＰ画像の全ての画素値を決めることができる。
【産業上の利用可能性】
【図面の簡単な説明】
【００３４】
【図１】本発明の実施例１の斜視図である。
【図２】本発明の実施例２の斜視図である。
【図３】本発明の実施例２における座標系の関係を示す図である。
【図４】本発明の実施例２におけるＩＰ画像の合成法である。
【符号の説明】
【００３５】    １  ピンホールアレイ
２  ピンホール
３  ＩＰ画像
４  画素
５  画素
６  右目
７  左目
８  物体
９  交点
１０  交点
１１  カメラ
１２  カメラ
１３  カメラ
２１  カメラ
２２  カメラ
２３  カメラ
３１  カメラ
３２  カメラ
３３  カメラ
４１  カメラ１１が撮影した画像
４２  画素Ｐ
２０１  仮想ピンホールアレイ
２０２  仮想ＩＰ画像
２０３  物体
２０４  カメラ
３０１  仮想ピンホールアレイ
３０２  カメラ位置
３０３  カメラが撮影した静止画像（視平面）
３０４  ピンホール
３０５  交点
【図１】
2005107463.tif 000007
【図２】
2005107463.tif 000008
【図３】
2005107463.tif 000009
【手続補正書】
【提出日】平成15年12月8日(2003.12.8)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
【図１】本発明の実施例１の斜視図である。
【図２】本発明の実施例２の斜視図である。
【図３】本発明の実施例２における座標系の関係を示す図である。