(57)【要約】【課題】多数の視差画像を必要とする手法であっても、元となる画像の取得に要する工程を抑えることができる立体画像生成システムを提供すること。【解決手段】同一の被写体に対する複数の異なる視点からの画像を撮像する画像撮像部と、撮像した画像間の取得画像視差ベクトルを算出する取得画像視差ベクトル算出部と、取得画像視差ベクトルを算出した画像の視点間の取得画像変位ベクトルと、取得画像視差ベクトルを算出した画像のうちの一つの画像の視点と所望の視点との間の所望画像変位ベクトルとの間の関係、および、取得画像視差ベクトルを用いて、前記一つの画像と所望の視点からの画像との間の所望画像視差ベクトルを算出する所望画像視差ベクトル算出部と、所望画像視差ベクトルに基づき、前記一つの画像を変換して所望の視点からの画像を生成する所望画像生成部と、生成した画像を用いた立体画像を出力する立体画像出力部とを具備する。【選択図】図２
2011015227.tif 000002
【特許請求の範囲】
【請求項１】
同一の被写体に対する複数の異なる視点からの画像を撮像する画像撮像部と、
前記撮像した画像間の取得画像視差ベクトルを算出する取得画像視差ベクトル算出部と、
該取得画像視差ベクトルを算出した画像の視点間の取得画像変位ベクトルと、該取得画像視差ベクトルを算出した画像のうちの一つの画像の視点と所望の視点との間の所望画像変位ベクトルとの間の関係、および、前記算出した取得画像視差ベクトルを用いて、前記一つの画像と前記所望の視点からの画像との間の所望画像視差ベクトルを算出する所望画像視差ベクトル算出部と、
前記算出した所望画像視差ベクトルに基づき、前記一つの画像を変換して前記所望の視点からの画像を生成する所望画像生成部と、
前記生成した画像を用いた立体画像を出力する立体画像出力部と
を具備することを特徴とする立体画像生成システム。
【請求項２】
前記所望画像視差ベクトル算出部は、前記取得画像変位ベクトルと、前記所望画像変位ベクトルと、前記取得画像視差ベクトルとを、各々２方向の成分に分解し、各方向成分について、前記取得画像変位ベクトルと前記所望画像変位ベクトルとの間の関係、および、前記取得画像視差ベクトルを用いて、前記所望画像視差ベクトルを算出することを特徴とする請求項１に記載の立体画像生成システム。
【請求項３】
前記画像撮像部が撮像する画像の視点が、直線上または円弧上に配置されていることを特徴とする請求項１に記載の立体画像生成システム。
【請求項４】
前記画像撮像部は、前記視点の各々に、撮像装置が配置されていることを特徴とする請求項３に記載の立体画像生成システム。
【請求項５】
前記画像撮像部は、前記直線上または円弧上を撮像装置を移動させ、前記視点の各々において前記被写体を撮像することを特徴とする請求項３に記載の立体画像生成システム。
【請求項６】
同一の被写体に対する複数の異なる視点からの画像を撮像する画像撮像部が接続されたコンピュータを、
前記撮像した画像間の取得画像視差ベクトルを算出する取得画像視差ベクトル算出部、
該取得画像視差ベクトルを算出した画像の視点間の取得画像変位ベクトルと、該取得画像視差ベクトルを算出した画像のうちの一つの画像の視点と所望の視点との間の所望画像変位ベクトルとの間の関係、および、前記算出した取得画像視差ベクトルを用いて、前記一つの画像と前記所望の視点からの画像との間の所望画像視差ベクトルを算出する所望画像視差ベクトル算出部、
前記算出した所望画像視差ベクトルに基づき、前記一つの画像を変換して前記所望の視点からの画像を生成する所望画像生成部、
前記生成した画像を用いた立体画像を出力する立体画像出力部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像生成装置およびプログラムに関する。
【背景技術】
【０００２】
立体画像の表示方法として、立体画像を観察する際に特殊な立体めがねを必要とする手法が知られている。この手法は、奥行きのある三次元空間を見た場合に、左目で見る情報と右目で見る情報との違いである水平視差が、空間の奥行きを知覚する上で大きな要因となっていることを利用している。したがって、あらかじめ左目で見える情報に相当する映像と、右目で見える情報に相当する映像を取得しておく、そして立体画像を表示する際には、左目用の映像と右目用の映像を表示し、観察者は左目用の映像は左目でのみ観察し、右目用の映像は右目でのみ観察するように特殊な立休めがねを装着する。立体めがねとしては液晶シャッターや偏光の働きを利用するものが知られている。
【０００３】
また立体画像を表示する別の手段として、開口配列やレンチキュラスクリーンを用いることで、観察者が左目用の映像は左目でのみ観察し、右目用の映像は右目でのみ観察できるように構成した表示装置も知られている。このような表示装置では、観察者は特殊な立体めがねを必要としない。
【０００４】
上記で説明した立体画像表示手法は、左目用および右目用の画像を取得・表示する場合について記載したが、水平方向に二種類以上の視差画像を取得・表示する手法も知られている。ただし、水平方向にのみ視差情報を提示する立体画像表示手法では、両眼の位置が水平方向に保持されていないと、立体感を知覚することができない。両眼が任意の方向に傾いた場合でも立体感を知覚することができる手法として、例えば微小なレンズ配列を用いるインテグラルフォトグラフィが知られている（非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】大越孝敬著、「三次元画像工学」、朝倉書店、１９９１年発行
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、水平・垂直方向に視差情報を必要とするインテグラルフォトグラフィなど、多数の視差画像を必要とする手法では、元となる画像を取得する際に、水平・垂直方向の視差情報を取得するために多数の視点からの画像が必要となり、水平方向のみの視差情報を利用する手法と比較して、元となる画像を取得する工程が煩雑であるという問題がある。
【０００７】
本発明は、このような事情に鑑みてなされたもので、その目的は、インテグラルフォトグラフィなど、多数の視差画像を必要とする手法であっても、元となる画像の取得に要する工程を抑えることができる立体画像生成システムおよびプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様による立体画像生成システムは、同一の被写体に対する複数の異なる視点からの画像を撮像する画像撮像部と、前記撮像した画像間の取得画像視差ベクトルを算出する取得画像視差ベクトル算出部と、該取得画像視差ベクトルを算出した画像の視点間の取得画像変位ベクトルと、該取得画像視差ベクトルを算出した画像のうちの一つの画像の視点と所望の視点との間の所望画像変位ベクトルとの間の関係、および、前記算出した取得画像視差ベクトルを用いて、前記一つの画像と前記所望の視点からの画像との間の所望画像視差ベクトルを算出する所望画像視差ベクトル算出部と、前記算出した所望画像視差ベクトルに基づき、前記一つの画像を変換して前記所望の視点からの画像を生成する所望画像生成部と、前記生成した画像を用いた立体画像を出力する立体画像出力部とを具備することを特徴とする。
【０００９】
（２）また、本発明の一態様による立体画像生成システムは、上述の立体画像生成システムであって、前記所望画像視差ベクトル算出部は、前記取得画像変位ベクトルと、前記所望画像変位ベクトルと、前記取得画像視差ベクトルとを、各々２方向の成分に分解し、各方向成分について、前記取得画像変位ベクトルと前記所望画像変位ベクトルとの間の関係、および、前記取得画像視差ベクトルを用いて、前記所望画像視差ベクトルを算出することを特徴とする。
【００１０】
（３）また、本発明の一態様による立体画像生成システムは、上述の立体画像生成システムであって、前記画像撮像部が撮像する画像の視点が、直線上または円弧上に配置されていることを特徴とする。
【００１１】
（４）また、本発明の一態様による立体画像生成システムは、上述の立体画像生成システムであって、前記画像撮像部は、前記視点の各々に、撮像装置が配置されていることを特徴とする。
【００１２】
（５）また、本発明の一態様による立体画像生成システムは、上述の立体画像生成システムであって、前記画像撮像部は、前記直線上または円弧上を撮像装置を移動させ、前記視点の各々において前記被写体を撮像することを特徴とする。
【００１３】
（６）また、本発明の一態様によるプログラムは、同一の被写体に対する複数の異なる視点からの画像を撮像する画像撮像部が接続されたコンピュータを、前記撮像した画像間の取得画像視差ベクトルを算出する取得画像視差ベクトル算出部、該取得画像視差ベクトルを算出した画像の視点間の取得画像変位ベクトルと、該取得画像視差ベクトルを算出した画像のうちの一つの画像の視点と所望の視点との間の所望画像変位ベクトルとの間の関係、および、前記算出した取得画像視差ベクトルを用いて、前記一つの画像と前記所望の視点からの画像との間の所望画像視差ベクトルを算出する所望画像視差ベクトル算出部、前記算出した所望画像視差ベクトルに基づき、前記一つの画像を変換して前記所望の視点からの画像を生成する所望画像生成部、前記生成した画像を用いた立体画像を出力する立体画像出力部として機能させる。
【発明の効果】
【００１４】
この発明によれば、取得画像変位ベクトルと所望画像変位ベクトルとの間の関係、および、取得画像視差ベクトルを用いて、撮影した画像を基に所望の視点からの画像を生成するので、インテグラルフォトグラフィなど、多数の視差画像を必要とする手法であっても、元となる画像の取得に要する工程を抑えることができる。
【図面の簡単な説明】
【００１５】
【図１】この発明の一実施形態による立体画像生成システム１０の概略構成を示す概念図である。
【図２】同実施形態における立体画像生成システム１０の構成を示す概略ブロック図である。
【図３】同実施形態における画像撮影部２０における撮影装置の配置を示す図である。
【図４】同実施形態における取得画像視差ベクトル算出部３２による取得画像視差ベクトル算出を説明する図である。
【図５】同実施形態における取得画像変位ベクトル２６ａと所望画像変位ベクトル４３ａとを説明する図である。
【図６】同実施形態における取得画像変位ベクトル２６ａと、所望画像変位ベクトル４３ａとを２方向の成分に分解した様子を示す図である。
【図７】同実施形態における取得画像視差ベクトル６１ａと、所望画像視差ベクトル６２ａとを２方向の成分に分解した様子を示す図である。
【図８】同実施形態における所望視点画像生成部３４が生成した所望の視点の画像群のうち、７つの画像を示す図である。
【図９】同実施形態における要素画像Ｇ９１〜Ｇ９７を並べた立体画像を示す図である。
【図１０】同実施形態における画像撮影部２０の変形例３を説明する図である。を変えた画像撮影部２０の変形例１を説明する図である。
【図１１】同実施形態における画像撮影部２０の変形例２を説明する図である。
【図１２】同変形例における撮像装置２１が取得する光学像情報を示す図である。
【図１３】同変形例における開口部に対応する取得画像領域Ｇ５ａ、Ｇ５ｂ、…Ｇ５ｎを示す図である。
【図１４】同実施形態における画像撮影部２０の変形例３を説明する図である。
【図１５】同実施形態における画像撮影部２０における撮影装置の別の配置を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による立体画像生成システム１０の概略構成を示す概念図である。図１に示すように、本実施形態における立体画像生成システムは、被写体を撮像する複数の撮影装置からなる画像撮影部２０と、画像撮影部２０が撮像した被写体の画像に基づき、任意の視点からの立体画像を生成する画像処理装置３０とを有する。ここで、任意の視点には、頭を横に傾けている場合など、左目の視点と右目の視点とが同じ水平面に無い場合を含む。立体画像表示装置４０は、この立体画像生成システム１０の画像処理装置３０が生成した立体画像を表示する立体画像表示装置である。なお、立体画像表示装置４０は、立体めがねを用いることで、立体視が可能な画像表示装置であってもよい。
【００１７】
図２は、本実施形態における立体画像生成システム１０の構成を示す概略ブロック図である。図１を用いて説明したように、立体画像生成システム１０は、画像撮影部２０と画像処理装置３０とを備える。画像撮影部２０は、同一の被写体に対する複数の異なる視点からの画像を撮像する。画像撮影部２０は、撮像する視点毎に、撮影装置２１ａ、２１ｂ、・・・２１ｎを備える。これらの撮影装置の配置については、後述する。
【００１８】
画像処理装置３０は、画像撮影部２０が撮影した画像を用いて、所望の視点からの画像を生成し、該画像を用いた立体画像を立体画像表示装置４０に出力する。画像処理装置３０は、撮影画像受付部３１、取得画像視差ベクトル算出部３２、所望画像視差ベクトル算出部３３、所望視点画像生成部３４、立体画像出力部３５を備える。撮影画像受付部３１は、画像撮影部２０が撮影した各視点からの画像の入力を受け付ける。取得画像視差ベクトル算出部３２は、撮影画像受付部３１が受け付けた画像間の動きベクトルである取得画像視差ベクトルを算出する。
【００１９】
所望画像視差ベクトル算出部３３は、取得画像変位ベクトルと所望画像変位ベクトルとの間の関係、および、取得画像視差ベクトルを用いて、所望画像視差ベクトルを算出する。ここで、取得画像変位ベクトルとは、取得画像視差ベクトルを算出した画像間の視点間のベクトルである。また、所望画像変位ベクトルとは、取得画像視差ベクトルを算出した画像のうちの一つの画像の視点から所望の視点へのベクトルである。また、所望画像視差ベクトルとは、上述の一つの画像と所望の視点からの画像との間の動きベクトルである。
【００２０】
所望視点画像生成部３４は、所望画像視差ベクトルに基づき、上述の一つの画像を変換して所望の視点からの画像を生成する。この画像の生成方法は、上述の一つの画像に、所望画像視差ベクトルを動きベクトルとして適用して動き補償により生成する公知の方法（例えば、「動画像符号化におけるグローバル動き補償法」（上倉一人、渡辺裕、電子情報通信学会論文誌B-I、Vol. J76-B-1、No. 12、pp.944-952、1993）を参照）を用いる。例えば、後述するように、所望画像視差ベクトルは、撮影画像を分割したブロック毎に算出される。つまり、所望視点画像生成部３４は、所望画像視差ベクトルを検出したブロック毎に、上述の一つの画像を、所望画像視差ベクトルだけ移動した場所に割り当てることで、所望の視点からの画像を生成する。
【００２１】
立体画像出力部３５は、生成した画像を用いた立体画像を出力する。立体画像出力部３５は、所望視点画像生成部３４が生成した所望の視点からの画像群を用いた立体画像を、立体ディスプレイに入力し、インテグラルフォトグラフィ方式など、画像撮影部２０による撮影結果よりも、広い範囲かつ緻密に配置された視点から見た、視差を有する立体像を表示させる。
【００２２】
図３は、画像撮影部２０における撮影装置の配置を示す図である。図３に示すように、画像撮影部２０は、複数の撮影装置２１ａ、２１ｂ、…２１ｎを、一次元方向ベクトル２３で表される一次元方向（直線上）に変位量２５毎に一列に配置して構成されている。これにより、画像撮像部２０が撮像する画像の視点は、一次元方向ベクトル２３で表される一次元方向（直線上）に変位量２５毎に一列に配置されたものとなる。なお、この変位量２５は、画像処理装置３０において既知である。また、撮像装置２１ａ、２１ｂ、…２１ｎは、立体画像生成システム１０が生成する立体画像の視点が分布する領域の対角線上に配置されると好ましい。ここで、撮影装置２１ａ、２１ｂ、…２１ｎは、三次元空間を二次元平面に投影するレンズ等の光学素子（図示せず）、および投影された光学像情報を取得する撮像素子（図示せず）から構成される。撮影装置２１ａ、２１ｂ、…２１ｎの光軸は、互いに平行である。一次元方向ベクトル２３は、撮影装置２１ａ、２１ｂ、…２１ｎの撮像面内の水平方向のベクトルである基準ベクトル２２との間で方位角２４をなし、光軸に対して垂直なベクトルである。
なお、画像撮影部２０は、単一の撮影装置２１を一次元方向ベクトル２３の方向に移動させながら、時間的に異なるそれぞれの位置で撮影する構成としても良い。
【００２３】
図４は、取得画像視差ベクトル算出部３２による取得画像視差ベクトル算出を説明する図である。取得画像視差ベクトル算出部３２は、撮影装置２１ａ、２１ｂ、…２１ｎの各々が撮影した画像である撮影画像Ｇ１ａ、Ｇ１ｂ、…Ｇ１ｎを用いて、視点が一次元方向にずれている２画像間の動きベクトルである取得画像視差ベクトルＶ１ａ、Ｖ１ｂ、…Ｖ１ｍを算出する。例として、図４においては、撮影画像Ｇ１ａとＧ１ｂ間の動きベクトルとして、取得画像視差ベクトルＶ１ａが記載されている。同様にして、取得画像視差ベクトル算出部３２は、撮影画像Ｇ１ｂとＧ１３間の動きベクトルとして、取得画像視差ベクトルＶ１ｂを算出し、撮影画像Ｇ１ｃとＧ１ｄ間の動きベクトルとして、取得画像視差ベクトルＶ１ｃを算出する。
【００２４】
算出される取得画像視差ベクトルは、撮影画像内の各画素において、該画素が対象としている被写体の奥行き位置によって異なる。そこで、取得画像視差ベクトル算出部３２は、撮影画像を複数のブロックに分割し、該ブロック毎に、取得画像視差ベクトルを算出する。このブロックを画素とし、画素毎に取得画像視差ベクトルを検出しても良いし、予め決められた画素数で区切られた複数画素領域とし、該複数画素領域毎に取得画像視差ベクトルを検出しても良い。なお、本実施形態では、取得画像視差ベクトルＶ１ａの検出の際に、撮影画像Ｇ１ａ、Ｇ１ｂのみを用いるとして説明したが、さらに他の撮影画像のペア、あるいは３個以上の撮影画像を用いても良い。
【００２５】
なお、取得画像視差ベクトル算出部３２は、動きベクトルの算出方法として、勾配法（例えば、B.K.P. Horn, B.G. Schunk,“Determining optical flow”,Artificial Intelligence, vol.17, pp.85-203, 1981参照）、ブロックマッチング法（例えば、小松隆，斎藤隆弘，「不連続な動き場にも適用可能なブロックマッチング法の提案」，信学技報, OFS93-16, IE93-48, pp.49-56, 1993参照）、位相相関法（例えば、小栗知義，池原雅章，トロン グエン，「位相相関動き補償を用いた動画像三次元符号化法」，信学論A, vol.J88-A，no.4, pp.528-534, 2005）など公知の方法を用いる。
【００２６】
図５は、所望画像視差ベクトル算出部３３が用いる取得画像変位ベクトル２６ａと所望画像変位ベクトル４３ａとを説明する図である。ここでは、所望画像視差ベクトル算出部３３が、所望の画像として、図５に示す仮想撮影装置４１ａにて撮影したときに得られる画像を生成するために、撮影装置２１ａと２１ｂが撮影した撮影画像Ｇ１ａとＧ１ｂに基づき、所望画像の撮影画像Ｇ１ａからの動きベクトルである所望画像視差ベクトルを算出する場合を説明する。このとき、取得画像変位ベクトル２６ａは、図５に示すように、撮影装置２１ａの設置位置から撮影装置２１ｂの設置位置までのベクトルである。また、所望画像変位ベクトル４３ａは、撮影装置２１ａの設置位置から仮想撮影装置４１ａの仮想設置位置までのベクトルである。
【００２７】
所望画像視差ベクトル算出部３３は、取得画像変位ベクトル２６ａと、所望画像変位ベクトル４３ａと、取得画像視差ベクトルＶ１ａとを、各々２方向の成分に分解し、各方向成分について、取得画像変位ベクトル２６ａと所望画像変位ベクトル４３ａとの間の関係、および、取得画像視差ベクトルＶ１ａを用いて、所望画像視差ベクトルを算出する。このとき、これら２方向の各々は、撮影装置２１ａ、２１ｂ、…２１ｎが配列されていた一次元方向とは異なる方向とする。
【００２８】
図６は、取得画像変位ベクトル２６ａと、所望画像変位ベクトル４３ａとを２方向の成分に分解した様子を示す図である。図６において、上述の２方向は、基準ベクトル２２の方向（水平方向）と、基準ベクトル２２に直交する方向（垂直方向）である。所望画像視差ベクトル算出部３３は、取得画像変位ベクトル２６ａを、基準ベクトル２２方向の成分である水平変位成分２６ｈと、基準ベクトル２２と直交する方向の成分である垂直変位成分２６ｖとに分解する。また、所望画像視差ベクトル算出部３３は、所望画像変位ベクトル４３ａについても、基準ベクトル２２方向の成分である所望水平成分４３ｈと、基準ベクトル２２と直交する方向の成分である所望垂直成分４３ｖとに分解する。
【００２９】
所望画像視差ベクトル算出部３３は、取得画像変位ベクトル２６ａと所望画像変位ベクトル４３ａとの間の関係として、水平変位成分２６ｈ（ｄｈ）に対する所望水平成分４３ｈ（ｇｈ）の比率（Ｍｈ）を、以下の（１）式により算出する。
Ｍｈ ＝ ｇｈ／ｄｈ  ・・・（１）
同様に、垂直変位成分２６ｖ（ｄｖ）に対する所望垂直成分４３ｖ（ｇｖ）の比率（Ｍｖ）を、以下の（２）式により算出する。
Ｍｖ  ＝  ｇｖ／ｄｖ  ・・・（２）
【００３０】
図７は、ある領域の取得画像視差ベクトル６１ａと、所望画像視差ベクトル６２ａとを２方向の成分に分解した様子を示す図である。取得画像視差ベクトル６１ａは、取得画像視差ベクトル算出部３２がブロック毎に算出した撮影画像Ｇ１ａからＧ１ｂへの動きベクトルである。図７に示すように、所望画像視差ベクトル算出部３３は、取得画像視差ベクトル６１ａを、基準ベクトル２２方向の成分である水平視差成分６１ｈと、基準ベクトル２２と直交する方向の成分である垂直視差成分６１ｖとに分解する。
【００３１】
また、所望画像視差ベクトル６２ａは、基準ベクトル２２方向の成分である所望水平視差成分６２ｈと、基準ベクトル２２と直交する方向の成分である所望垂直視差成分６２ｖとに分解されている。所望画像視差ベクトル算出部３３は、所望水平視差成分６２ｈを、水平視差成分６１ｈに比率Ｍｈを乗じた値とし、所望垂直視差成分６２ｖを、垂直視差成分６１ｖに比率Ｍｖを乗じた値とし、これらを成分とする所望画像視差ベクトル６２ａを算出する。これらの演算を、所望画像視差ベクトル算出部３３は、すべてのブロックについて行い、画像全体の所望画像視差ベクトルを算出する。
【００３２】
所望視点画像生成部３４において生成された所望視点画像群を、立体ディスプレイに出力することで、全方位に視差を有する立体像を表示することができる。本実施形態では、所望視点画像群を、インテグラルフォトグラフィ方式における要素画像群に変換して出力する。図８は、所望視点画像生成部３４が生成した所望の視点の画像群のうち、７つの画像を示す図である。図８において、点線で囲まれた部分（Ｇ８１、Ｇ８３、Ｇ８４、Ｇ８６）は所望視点画像生成部３４により生成された各視点からの視差画像を示しており、実線で囲まれた部分（Ｇ８２、Ｇ８５、Ｇ８７）は画像撮影部２０により撮影された視差画像を示している。また、画像Ｇ８１、Ｇ８２、Ｇ８７中の○、△、□印は、それぞれの画像内での相対的な位置を示している。なお、○、△、□印が表記されていない領域にも、光学像情報は存在している。
【００３３】
立体画像出力部３５は、これらの視差画像群（Ｇ８１〜Ｇ８７）を、図９に示すように要素画像Ｇ９１〜Ｇ９７を並べた立体画像に変換して出力する。この変換は、視差画像を分割した分割画像を、該視差画像の視差画像群の中における位置と、該分割画像の要素画像内における位置が点対称となるように、配置することで行う。例えば、図８において視差画像Ｇ８７を中心と考えた場合、視差画像Ｇ８２は、視差画像Ｇ８７に対して右上に存在する。
【００３４】
この場合、要素画像においては、視差画像Ｇ８７の各分割画像（図中の△）は、各要素画像において中心の位置に配置され、視差画像Ｇ８２の各分割画像（図中の○）は、各要素画像において△の位置の左下に配置される。同様に、視差画像Ｇ８１を分割した画像（図中の□）は、各要素画像において、△の位置の右下に配置される。このとき、各要素画像に配置される分割画像は、該分割画像の視差画像中の位置と、該要素画像の要素画像群中の位置とが対応するように配置される。例えば、視差画像Ｇ８２中で右上の領域の分割画像は、要素画像Ｇ９７の右上である要素画像Ｇ９２に配置される。
【００３５】
このように、水平・垂直方向に分布する視差画像を必要とするインテグラルフォトグラフィなど、多数の視差画像を必要とする立体画像であっても、限られた視点で取得した画像に基づいて、所望の視点からの視差画像を生成するので、全ての視点について画像を撮影する必要がなくなり、元となる画像の取得に要する工程を抑えることができる。
さらに、所望画像視差ベクトル算出部３３は、各ベクトルを２方向の成分に分解し、各方向成分について演算するので、撮影画像の視点を２次元方向に分布させる必要がなくなり、元となる画像の取得に要する工程を抑えることができる。
【００３６】
＜画像撮影部２０の変形例１＞
上述の実施形態では、画像撮影部２０は、撮影装置２１ａ〜２１ｎを、図３に示すように配置したものとして説明したが、その他に以下に示すような構成であってもよい。
図１０は、撮影装置２１ａ〜２１ｎの配置を変えた画像撮影部２０の変形例１を説明する図である。図１０（１）、図１０（２）において、基準ベクトル２２（水平方向）と一次元方向ベクトル２３とが、上述の実施形態とは異なる例を示す。本変形例では、図１０（２）に示すように、撮影装置２１ａ、２１ｂ、…２１ｎは、基準ベクトル２２に対して傾斜角ωだけ傾斜して設置されている。そして各撮影装置２１ａ、２１ｂ、…２１ｎは、基準ベクトル２２に対して傾斜角ωだけ傾斜した方向の一次元方向ベクトル２３に沿って配置されている。各撮影装置２１ａ、２１ｂ、…２１ｎは、図１０（３）の取得画像領域Ｇ２に示すように、水平方向に対して傾斜角ωだけ傾いた矩形領域について光学像情報を取得する。図１０（３）に示すように、撮影画像受付部３１などにおいて、取得画像領域Ｇ２の  周辺部に任意の情報を埋めることで処理画像領域Ｇ３ａ(実線で囲まれた領域)を生成して、撮影画像としても良いし、取得画像領域Ｇ２の周辺部の情報を削除することで処理画像領域Ｇ３ｂ(実線で囲まれた領域) を生成して、撮影画像としても良い。なお、撮影画像受付部３１ではなく、取得画像視差ベクトル算出部３２、所望画像視差ベクトル算出部３３、所望視点画像生成部３４、立体画像出力部３５のいずれかで、同様の処理を行うようにしてもよい。
【００３７】
＜画像撮影部２０の変形例２＞
図１１は、画像撮影部２０の変形例２を説明する図である。変形例２では、画像撮影部２０は、単一の撮影装置２１と、一次元方向ベクトル２３の方向に複数の開口部を有する遮蔽物（開口配列）２００とを具備する。遮蔽物２００は、開口部以外においては、画像撮影部２０に入射する光を光学的に遮蔽するものであり、開口部では光を透過させる。この遮蔽物２００を、撮影装置２１の光学素子の前に配置することで、撮影装置２０は、一次元方向ベクトル２３の方向に視差を有する複数の画像を取得する。
【００３８】
図１２は、本変形例における撮像装置２１が取得する光学像情報を示す図である。撮像装置２１により取得される光学像における遮蔽物２００の各開口部を通過して生成される光学像の領域の位置関係を表している。図１２の例では、撮影装置２１の水平方向が基準ベクトル２２と一致している。本変形例では、撮影装置２１が取得した光学像の情報Ｇ４は、遮蔽物２００の開口部の各々を通して取得される光学像の領域Ｇ４ａ、Ｇ４ｂ、…Ｇ４ｎからなる。この光学像の情報Ｇ４を、撮影画像受付部３１などが、図１３に示すように、各開口部に対応する取得画像領域Ｇ５ａ、Ｇ５ｂ、…Ｇ５ｎに分割する。図１３において、取得画像領域Ｇ５ａは、各開口部を通して取得される光学像の内、一次元方向ベクトル２３の方向に対して左端に生成される情報を配置したものである。符号ａ１１、ａ１２、…ｎ１ｖを付した領域は、それぞれ、取得画像領域Ｇ５ａにおいて、基準ベクトル２２と基準ベクトル２２に直交する方向を表わすベクトルとの交点を原点とした場合の、光学情報の相対的な位置を表わしている。
【００３９】
図１３において、取得画像領域Ｇ５ａは、図３の撮影装置２１ａで取得する光学像の情報に相当する。同様に、図１３において、取得画像領域Ｇ５ｎは、各開口部を通して取得される光学像の内、１次元方向ベクトル２３の方向に対して右端に生成される情報を配置したものである。取得画像領域Ｇ５ａ、Ｇ５ｂ、…Ｇ５ｎは、図１０（３）の取得画像領域Ｇ２と等価であるので、図１０（３）と同様に、撮影画像受付部３１が、処理画像領域Ｇ３ａあるいはＧ３ｂを設定するようにしてもよい。
【００４０】
＜画像撮影部２０の変形例３＞
図１４は、画像撮影部２０の変形例３を説明する図である。変形例３では、画像撮影部２０は、単一の撮影装置２１と、図１４に示すような一次元方向ベクトル２３の方向に曲率が変化する複数の光学素子を有する光学素子配列２０１とを具備する。この光学素子配列２０１を、撮影装置２１の光学素子の前に配置することで、撮影装置２０は、一次元方向ベクトル２３の方向に視差を有する複数の画像を取得する。
【００４１】
光学素子配列２０１は、一次元方向ベクトル２３の方向に曲率が変化するシリンドリカルレンズを一次元方向ベクトル２３の方向に複数配列したものである。光学素子配列２０１を通して撮影装置２１で取得される光学像の情報は、変形例２のように遮蔽物２００を通して撮影装置２１で取得される光学像の情報と等価である。したがって光学素子配列２０１を用いる場合の処理として、遮蔽物２００を用いた場合の処理が適用できる。
なお、本実施形態では、これら一次元方向に視差を有する画像は、画像撮影部２０が撮影するとして説明したが、これらに相当する画像情報を、計算機が３Ｄモデルからレンダリングするなどして生成するようにしても良い。
【００４２】
なお、上記の実施形態では、画像撮影部２０において各々の撮影画像を取得する際に、光軸の方向が平行となる構成について記載したが、図１５に示すように、光軸がある１点で交差する構成としても良い。この場合、基準ベクトル２２は、撮影装置２１の内、中央に位置する撮影装置２１ｆの撮像素子を含む平面内における、ある任意のベクトルである。この場合、画像撮像部２０は、複数の撮影装置２１ａ、２１ｂ、…２１ｎを、光軸が交差する点を中心とする円弧上に一定の変位量毎に一列に配置して構成されている。これにより、画像撮像部２０が撮像する画像の視点は、円弧上に一定の変位量毎に一列に配置されたものとなる。なお、このように円弧上に配置する場合も、画像撮影部２０は、単一の撮影装置２１を円弧上を移動させながら、時間的に異なるそれぞれの位置で撮影する構成としても良い。
【００４３】
また、画像処理装置３０は、図２における撮影画像受付部３１、取得画像視差ベクトル算出部３２、取得画像視差ベクトル算出部３３、所望画像生成部３４、立体画像出力部３５の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行うようにしてもよいし、これらの各部の処理を行う専用のハードウェアにより実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００４４】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００４５】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００４６】
１０…立体画像生成システム
２０…画像撮影部
２１ａ、２１ｂ、・・・２１ｎ…撮影装置
３０…画像処理装置
３１…撮影画像受付部
３２…取得画像視差ベクトル算出部
３３…取得画像視差ベクトル算出部
３４…所望画像生成部
３５…立体画像出力部
４０…立体画像表示装置
【図１】
2011015227.tif 000003
【図２】
2011015227.tif 000004
【図３】
2011015227.tif 000005
【図４】
2011015227.tif 000006
【図５】
2011015227.tif 000007
【図６】
2011015227.tif 000008
【図７】
2011015227.tif 000009
【図８】
2011015227.tif 000010
【図９】
2011015227.tif 000011
【図１０】
2011015227.tif 000012
【図１１】
2011015227.tif 000013
【図１２】
2011015227.tif 000014
【図１３】
2011015227.tif 000015
【図１４】
2011015227.tif 000016
【図１５】
2011015227.tif 000017