(57)【要約】【課題】斜投影を用いて、３次元モデルデータから、要素画像の生成速度の低下を抑えつつ、誤差が少ない要素画像を生成することが可能な要素画像生成装置を提供する。【解決手段】要素画像生成装置１は、立体表示装置の表示面に対して分割領域を設定する分割領域設定手段１０と、分割領域ごとに、仮想カメラから、分割領域の中央の要素画像に対応する要素レンズのレンズ中心への方向を撮影方向として、３次元モデルデータを投影面に斜投影変換し、分割領域内の要素画像の画素値を演算する分割領域別要素画像生成手段２０と、分割領域ごとの要素画像群を連結して、立体表示装置の表示面に表示する要素画像群を生成する要素画像統合手段３０と、を備える。【選択図】図３
2018067750.tif 000002
【特許請求の範囲】
【請求項１】
要素レンズを２次元配置したレンズアレーを備えたインテグラル立体方式の立体表示装置に表示する要素画像を、３次元モデルデータから生成する要素画像生成装置であって、
前記立体表示装置の表示面に対して分割領域を設定する分割領域設定手段と、
予め定めた視距離に仮想的に仮想カメラを配置し、前記分割領域ごとに、当該仮想カメラから、前記分割領域の中央の要素画像に対応する要素レンズのレンズ中心への方向を撮影方向として、前記３次元モデルデータを予め定めた投影座標系の投影面に斜投影変換し、前記分割領域内の要素画像の画素値を演算する分割領域別要素画像生成手段と、
この分割領域別要素画像生成手段で生成された前記分割領域ごとの要素画像群を連結して、前記立体表示装置の表示面に表示する要素画像群を生成する要素画像統合手段と、
を備えることを特徴とする要素画像生成装置。
【請求項２】
前記分割領域別要素画像生成手段は、
前記レンズアレーのレンズ中心から、前記分割領域設定手段で設定された分割領域の中央の要素画像に対応する要素レンズのレンズ中心へのシフト量を算出するレンズ中心シフト量算出手段と、
前記レンズアレーの中央の要素レンズに対応する要素画像の画素位置ごとに、当該要素レンズのレンズ中心を通る延長線上に配置された前記仮想カメラから、前記シフト量だけシフトしたレンズ中心への方向を撮影方向として、前記３次元モデルデータを斜投影変換し、前記分割領域内の要素画像の前記画素位置の画素値を演算する斜投影手段と、
を備えることを特徴とする請求項１に記載の要素画像生成装置。
【請求項３】
前記分割領域設定手段は、前記表示面の縦分割数および横分割数を奇数とし、前記表示面を縦方向および横方向において、それぞれ等分割した分割領域を設定することを特徴とする請求項１または請求項２に記載の要素画像生成装置。
【請求項４】
前記分割領域設定手段は、前記表示面の周辺部よりも中央部でより分割領域の大きさを小さく設定することを特徴とする請求項１または請求項２に記載の要素画像生成装置。
【請求項５】
前記分割領域設定手段は、重複領域を持たせて前記表示面に分割領域を設定し、
前記要素画像統合手段は、前記分割領域で重複する同一の要素画像について、その要素画像の各画素の画素値を平均化することで、当該要素画像の画素値とすることを特徴とする請求項１から請求項４のいずれか一項に記載の要素画像生成装置。
【請求項６】
コンピュータを、請求項１から請求項５のいずれか一項に記載の要素画像生成装置の各手段として機能させるための要素画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元モデルから、インテグラル立体方式の要素画像を生成する要素画像生成装置およびそのプログラムに関する。
【背景技術】
【０００２】
従来、立体像を表示する方式として、インテグラル立体方式が知られている。
このインテグラル立体方式は、図１２に示すように、撮像装置によって、２次元配列された複数の要素レンズＬｐからなるレンズアレーＬａを介して、被写体Ｏから出た光を撮像する。このとき、要素レンズＬｐの焦点距離だけ離間した撮像面Ｅにおいて、要素レンズＬｐのレンズ間隔で、要素画像Ｇが撮像されることになる。
そして、インテグラル立体方式は、図１３に示すように、撮像時と同じ仕様のレンズアレーＬａを介して、表示装置（ディスプレイ）の表示面Ｄに図１２で撮像した要素画像Ｇを表示する。このとき、撮像された被写体空間と同様の光線が再生され、観察者Ｍは、被写体Ｏ（図１２参照）を、立体像Ｔとして視認することができる。
【０００３】
このインテグラル立体方式では、実体のある被写体を撮像して要素画像を生成する以外にも、仮想空間中の３次元モデルから要素画像を生成する手法が提案されている。
例えば、光線追跡により、３次元モデルから要素画像を生成する手法（以下、光線追跡法）が提案されている（特許文献１参照）。この光線追跡法は、図１４に示すように、表示面Ｄの要素画像Ｇの画素値を光線追跡により１画素ずつ求める手法である。
【０００４】
図１４に示すように、光線追跡法は、まず、要素画像Ｇ（ここでは、Ｉｎ，ｍ）に含まれるローカル座標（ここでは、（ｕ，ｖ））の画素（Ｉｎ，ｍ（ｕ，ｖ））の画素値を求める場合、画素Ｉｎ，ｍ（ｕ，ｖ）の位置から、焦点距離Ｆだけ離れた対応する要素レンズＬｐのレンズ中心Ｈを向く単位ベクトルｉを求める。
そして、光線追跡法は、単位ベクトルｉの延長線上で、レンズアレーＬａ面から視距離Ｌだけ離れた位置に仮想カメラＶを配置し、仮想カメラＶを画素Ｉｎ，ｍ（ｕ，ｖ）の方向に向けて撮影した中心で撮影された３次元モデルの表面Ａの画素（図１４中、黒丸）の値を、画素Ｉｎ，ｍ（ｕ，ｖ）の画素値とする。
そして、光線追跡法は、他の要素画像Ｇ（ここでは、Ｉｎ′，ｍ′））についても、同様に、単位ベクトルｉ′を求め、単位ベクトルｉ′の延長線上に配置した仮想カメラＶ′で撮影した３次元モデルの表面Ｂの画素（図１４中、黒丸）の値を、画素Ｉｎ′，ｍ′（ｕ，ｖ）の画素値とする。
【０００５】
このように、光線追跡法は、すべての要素画像Ｇの画素について１画素ずつ画素値を演算するため、高精度に要素画像を生成することができるが、演算量が多く、要素画像の生成に時間がかかってしまう。
そこで、他の手法として、斜投影により、３次元モデルから要素画像を生成する手法（以下、斜投影法）が提案されている（特許文献２、非特許文献１参照）。この斜投影法は、図１５に示すように、表示面Ｄの要素画像Ｇの画素値を、３次元モデルの斜投影変換により求める手法である。
【０００６】
図１５に示すように、斜投影法は、まず、レンズアレーＬａの中心に対応する要素画像Ｇ（ここでは、Ｉ０，０）に含まれるローカル座標（ここでは、（ｕ，ｖ））の画素（Ｉ０，０（ｕ，ｖ））から、焦点距離Ｆだけ離れた対応する要素レンズＬｐのレンズ中心Ｈを向く単位ベクトルｉを求める。
そして、斜投影法は、単位ベクトルｉの延長線上で、レンズアレーＬａ面から視距離Ｌだけ離れた位置に仮想カメラ（斜投影仮想カメラ）ＶＣを配置し、レンズアレーＬａに対して傾いた仮想カメラＶＣの撮影方向に沿って３次元モデルを斜投影（正射影も含む）する。
【０００７】
ここで、斜投影法は、レンズアレーＬａの中心から、レンズアレーＬａ面の垂線上で視距離Ｌだけ離れた位置に配置された撮影方向がレンズアレーＬａに対して正対して配置された仮想カメラＶＯと、撮影方向が傾いた仮想カメラＶＣとの関係から、３次元モデルを表示面Ｄに斜投影する変換行列を求め、平行な光線群とみなせる画素の画素値を一括して求める。すなわち、斜投影法は、それぞれの要素画像Ｇ内のローカル座標（ｕ，ｖ）が同じ画素については、仮想カメラＶＣからの撮影方向が同じ（平行）であるとして、同一の変換行列によって画素値を求める。
これによって、斜投影法は、すべての要素画像Ｇの画素値を１画素ずつ演算する光線追跡法に比べて高速に要素画像を生成することができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−１７５８６６号公報
【特許文献２】特開２０１２−８４１０５号公報
【非特許文献】
【０００９】
【非特許文献１】岩舘、片山、「斜投影によるインテグラル立体像の生成方法」、社団法人映像情報メディア学会技術報告、ｖｏｌ．３４、Ｎｏ．４３、ｐｐ．１７−２０、２０１０年１０月
【発明の概要】
【発明が解決しようとする課題】
【００１０】
前記したように、斜投影法は、光線追跡法に比べて高速に要素画像を生成することができる。
この斜投影法は、要素画像ごとの同じローカル画素位置においては、平行な光線群で投影されるものとみなして要素画像を生成している。そのため、この手法で生成された要素画像を観察者がレンズアレーを介して視認した場合、観察者は、厳密には、歪んだ光線を観察することになる。
【００１１】
例えば、２３〜２４インチ程度の小さめの表示面を有する立体表示装置を対象として要素画像を生成する場合、図１６（ａ）に示すように、斜投影によって、観察者の視点位置Ｖｐまでの投影面Ｕに光を投影する表示面Ｄの画素位置（図１６中、○）と、観察者が視点位置Ｖｐで実際にレンズアレーＬａを介して表示面Ｄを観察したときの画素位置（図１６中、●）の間での誤差は少ない。
【００１２】
しかし、例えば、５０インチを超えるような大きい表示面を有する立体表示装置を対象として要素画像を生成する場合、図１６（ｂ）に示すように、斜投影によって投影面Ｕに光を投影する表示面Ｄの画素位置（図１６中、○）と、観察者が視点位置Ｖｐで実際にレンズアレーＬａを介して表示面Ｄを観察したときの画素位置（図１６中、●）との間での誤差が大きくなってしまう。
このように、斜投影を用いた手法は、表示面が大きくなるほど、周辺部分で誤差が大きくなり、実際の３次元モデルに対して歪を持った立体像を観察者に視認させてしまうという問題がある。
【００１３】
本発明は、このような問題に鑑みてなされたものであり、斜投影を用いて、３次元モデルデータから、要素画像の生成速度の低下を抑えつつ、誤差が少ない要素画像を生成することが可能な要素画像生成装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【００１４】
前記課題を解決するため、本発明に係る要素画像生成装置は、要素レンズを２次元配置したレンズアレーを備えたインテグラル立体方式の立体表示装置に表示する要素画像を、３次元モデルデータから生成する要素画像生成装置であって、分割領域設定手段と、分割領域別要素画像生成手段と、要素画像統合手段と、を備える構成とした。
【００１５】
かかる構成において、要素画像生成装置は、分割領域設定手段によって、立体表示装置の表示面に対して分割領域を設定することで、斜投影を行って要素画像を生成する範囲を分割する。なお、この分割領域は、等分割であっても、非等分割であっても構わない。
【００１６】
そして、要素画像生成装置は、分割領域別要素画像生成手段によって、予め定めた視距離に仮想的に仮想カメラを配置し、分割領域ごとに、当該仮想カメラから、分割領域の中央の要素画像に対応する要素レンズのレンズ中心への方向を撮影方向として、３次元モデルデータを予め定めた投影座標系の投影面に斜投影変換し、分割領域内の要素画像の画素値を演算する。これによって、周辺部分での誤差を少なくすることができる。
【００１７】
そして、要素画像生成装置は、要素画像統合手段によって、分割領域別要素画像生成手段で生成された分割領域ごとの要素画像群を連結することで、立体表示装置の表示面に表示する要素画像群を生成する。
【００１８】
このように、要素画像生成装置は、分割領域ごとに斜投影により３次元モデルデータから要素画像を生成することで、表示面全体の要素画像を一括して斜投影により生成する場合に比べて、生成する画像領域の周辺の誤差を少なくすることができる。
なお、要素画像生成装置は、コンピュータを、前記した各手段として機能させるための要素画像生成プログラムで動作させることができる。
【発明の効果】
【００１９】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、立体表示装置の表示面を分割した領域ごとに、斜投影変換により要素画像を生成することができる。これによって、本発明は、分割領域ごとに、レンズ中心をシフトさせた状態で要素画像を生成することができ、従来の１つのレンズ中心で斜投影により要素画像を生成する場合に比べて、領域周辺における要素画像の画素位置の誤差を抑えることができる。また、本発明は、斜投影法を用いることで、従来の光線追跡法に比べて、高速に要素画像を生成することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係る要素画像生成装置を含む立体像表示システムの構成を示す構成図である。
【図２】投影座標系を示す図であって、（ａ）はＸＹ平面図、（ｂ）はＹＺ平面図である。
【図３】本発明の実施形態に係る要素画像生成装置の構成を示すブロック構成図である。
【図４】表示面の分割の例を示す図であって、（ａ）は分割前、（ｂ）は分割後の状態を示す図である。
【図５】基準となる仮想カメラの配置位置とレンズ中心のシフト量を説明するための説明図である。
【図６】要素画像内の画素からレンズ中心を通る単位ベクトルを説明するための説明図である。
【図７】斜投影法を説明するための説明図であって、（ａ）は正射影、（ｂ）は斜投影を示す図である。
【図８】斜投影後の低域フィルタ処理を説明するための説明図である。
【図９】本発明の実施形態に係る要素画像生成装置の動作を説明するための説明図である。
【図１０】表示面の分割の他の例を示す図である。
【図１１】重複領域を含んで表示面を分割する例を示す図である。
【図１２】従来のインテグラル方式の撮像系を説明するための説明図である。
【図１３】従来のインテグラル方式の表示系を説明するための説明図である。
【図１４】従来の光線追跡法による要素画像生成手法を説明するための説明図である。
【図１５】従来の斜投影法による要素画像生成手法を説明するための説明図である。
【図１６】従来の斜投影法の表示面の大きさにより発生する問題点を説明するための説明図であって、（ａ）よりも（ｂ）の方が、表示面が大きい状態を示す。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態について図面を参照して説明する。
〔立体像表示システムの構成〕
まず、図１を参照して、本発明の実施形態に係る要素画像生成装置１を含む立体像表示システムＳの構成について説明する。
【００２２】
要素画像生成装置１は、立体像表示装置２で、インテグラル立体方式で立体像Ｔを観察者Ｍに視認させる複数の要素画像（要素画像群）を生成するものである。この要素画像生成装置１は、ＣＧ等の３次元モデルデータから、図２に示すような立体像表示装置２の画面中心を原点とする投影座標系（Ｘ，Ｙ，Ｚ）で立体像Ｔを表示するための要素画像群を生成する。
【００２３】
この要素画像生成装置１は、３次元モデルデータから、斜投影変換により、要素画像群を生成する。このとき、要素画像生成装置１は、表示面を複数の領域に仮想的に分割して、その領域ごとに、斜投影変換により要素画像群を生成する。
これによって、要素画像生成装置１は、観察者Ｍが観察する画素と、斜投影変換により観察者Ｍの位置に平行光を発光する画素とのずれを抑えた要素画像を生成することができる。なお、この要素画像生成装置１については、後で詳細に説明する。
【００２４】
この要素画像生成装置１は、生成した要素画像（要素画像群）を立体像表示装置２に出力する。もちろん、要素画像生成装置１で生成された要素画像は、ハードディスク、ＤＶＤ等の記録媒体に記録された後、立体像表示装置２が要素画像を読み込む形態であっても構わない。
【００２５】
立体像表示装置２は、インテグラル立体方式で立体像Ｔを表示する一般的な表示装置である。すなわち、立体像表示装置２は、図１３に示したように、要素レンズＬｐを２次元配列したレンズアレーＬａを備え、表示面Ｄに表示した要素画像Ｇを、レンズアレーＬａを介して、観察者Ｍに立体像Ｔとして視認させる。
【００２６】
〔要素画像生成装置の構成〕
次に、図３を参照（適宜図１参照）して、本発明の実施形態に係る要素画像生成装置１の構成について説明する。
図３に示すように、要素画像生成装置１は、分割領域設定手段１０と、分割領域別要素画像生成手段２０と、要素画像統合手段３０と、を備える。
【００２７】
分割領域設定手段１０は、立体像を表示する対象となる立体像表示装置２のパラメータと画面分割情報とに基づいて、立体像表示装置２の表示面Ｄに分割領域を設定するものである。
【００２８】
パラメータは、立体像表示装置２の表示面の縦横の画素数および画素間隔、レンズアレーの縦横のレンズ数およびレンズ間隔ならびに焦点距離等である。また、パラメータには、観察者が立体像を視認するための立体像表示装置２からの距離（視距離）が含まれる。
【００２９】
画面分割情報は、表示面Ｄをどのように分割するかを示す情報である。例えば、縦分割数および横分割数、個々の分割領域の位置および大きさ等である。なお、表示面Ｄの分割は、等分割でもよいし、非等分割でもよい。ただし、観察者が表示面Ｄの中心を基準に観察を行うことから、画面中心に分割の境界が存在しないことが好ましい。例えば、等分割で表示面Ｄを分割するのであれば、縦分割数および横分割数は、それぞれ奇数であることが好ましい。
【００３０】
なお、表示面Ｄの分割数は、その数が多いほど、要素画像の誤差を抑えることができるが、斜投影を行うための演算量が多くなる。また、分割数を少なくすれば、演算量を抑えることができるが、誤差が大きくなってしまう。そこで、表示面Ｄの分割数は、誤差を許容できる範囲で予め要素画像の制作者が定めればよい。
【００３１】
ここでは、説明を簡略化し、縦分割数および横分割数をそれぞれ“３”とする。すなわち、図４（ａ）に示すように、表示面Ｄが、縦画素数Ｈｅｉｇｈｔ、横画素数Ｗｉｄｔｈの場合、分割領域設定手段１０は、図４（ｂ）に示すように、縦画素数Ｈｅｉｇｈｔ／３、横画素数Ｗｉｄｔｈ／３で分割領域Ｒを設定する。
図４（ｂ）は、各分割領域Ｒを左下から右上に向かって、ｎ＝１，…，Ｎ、ｍ＝１，…，Ｍとしたとき、表示面Ｄが分割領域Ｒ（ｎ，ｍ）に分割された状態を示している。
この分割領域設定手段１０は、分割領域情報（例えば、分割領域の左上座標および縦横画素数）を、入力されたパラメータとともに、分割領域別要素画像生成手段２０に出力する。
【００３２】
分割領域別要素画像生成手段２０は、分割領域設定手段１０で設定される分割領域ごとに要素画像群を生成するものである。
この分割領域別要素画像生成手段２０は、図５に示すように、表示面Ｄを分割した分割領域Ｒごとに、仮想カメラ（基準仮想カメラ）ＶＯを基準として、斜投影（正射影を含む）により要素画像群を生成する。この仮想カメラＶＯは、レンズアレーＬａのレンズ中心からレンズアレーＬａ面の垂直方向に予め定めた距離（視距離）Ｌだけ離間して配置したものである。ここでは、レンズアレーＬａのレンズ中心Ｈ０，０が、図４（ｂ）の中央の分割領域Ｒ（２，２）のレンズ中心〔ピンホール中心位置〕）と一致するものとして説明する。
この分割領域別要素画像生成手段２０は、図３に示すように、レンズ中心シフト量算出手段２１と、斜投影演算手段２２と、を備える。
【００３３】
レンズ中心シフト量算出手段２１は、表示面Ｄを分割した分割領域Ｒごとに、レンズアレーＬａのレンズ中心から、分割領域Ｒ内のレンズ中心までのシフト量を算出するものである。
【００３４】
ここで、図５を参照（適宜図４（ｂ）参照）して、レンズ中心シフト量算出手段２１が算出する分割領域Ｒごとのシフト量について説明する。
レンズアレーＬａのレンズ中心のＸＹ平面上の座標を（ＸＲ，ＹＲ）とすると、分割領域Ｒごとのレンズ中心は、分割領域の分割区分に応じて（ＸＲ＋Ｈｓｈｉｆｔ，ＹＲ＋Ｖｓｈｉｆｔ）だけシフトした位置となる。
ここで、Ｈｓｈｉｆｔは、レンズアレーＬａのレンズ中心Ｈ０，０からの水平方向（Ｘ方向）のシフト量である。また、Ｖｓｈｉｆｔは、レンズアレーＬａのレンズ中心Ｈ０，０からの垂直方法（Ｙ方向）のシフト量である。
【００３５】
例えば、分割領域Ｒ（１，１）のシフト量はＨｓｈｉｆｔ＝−Ｗｉｄｔｈ／３，Ｖｓｈｉｆｔ＝−Ｈｅｉｇｈｔ／３、分割領域Ｒ（１，２）のシフト量は、Ｈｓｈｉｆｔ＝−Ｗｉｄｔｈ／３，Ｖｓｈｉｆｔ＝０、等となる。なお、ここでは、分割領域Ｒ（２，２）のシフト量は、Ｈｓｈｉｆｔ＝０，Ｖｓｈｉｆｔ＝０である。
【００３６】
すなわち、レンズ中心シフト量算出手段２１は、パラメータで入力される表示面Ｄの縦横の画素数と画面分割情報とに基づいて、レンズアレーＬａのレンズ中心から、分割領域Ｒ内のレンズ中心までのシフト量を算出する。
このレンズ中心シフト量算出手段２１は、算出した分割領域Ｒごとのシフト量を、斜投影演算手段２２に出力する。
【００３７】
斜投影演算手段２２は、分割領域Ｒごとに、３次元モデルデータを投影面（表示面）に斜投影変換する変換行列により、要素画像内座標の画素値を算出するものである。ここで、斜投影演算手段２２は、レンズ中心シフト量算出手段２１で算出されたシフト量だけシフトした分割領域Ｒ個別のレンズ中心を介して３次元モデルデータを投影面に斜投影変換する。
【００３８】
以下、図６を参照して、具体的に、斜投影演算手段２２の処理について説明する。なお、図６は、分割境界Ｄｉｖで分割領域が区分されているものとする。
まず、説明を簡易にするため、レンズアレーＬａのレンズ中心Ｈ０，０を分割領域のレンズ中心とする分割領域Ｒ（２，２）について説明する。
【００３９】
図６に示すように、レンズアレーＬａのレンズ中心（分割領域Ｒ（２，２）のレンズ中心）Ｈ０，０に対応する要素画像Ｇ０，０内の３次元空間上の画素位置をＩ０，０（ｕ，ｖ）とする。ここで、（ｕ，ｖ）は、要素画像Ｇの中心を原点（０，０）とするローカル座標である。すなわち、パラメータで入力される表示面Ｄの横の画素間隔をＰＨ、表示面の縦の画素間隔をＰＶ、焦点距離をＦとしたとき、Ｉ０，０（ｕ，ｖ）＝（ＸＰ，ＹＰ，−Ｆ）＝（ｕＰＨ，ｖＰＶ，−Ｆ）となる。なお、（ＸＰ，ＹＰ）は、要素画像Ｇ０，０のローカル座標（ｕ，ｖ）のＸＹ座標である。
【００４０】
ここで、要素レンズＬｐが図１３に示したようなデルタ配列であれば、パラメータで入力される表示面Ｄの横の画素数をレンズアレーＬａの横のレンズ数で割った要素画像の横画素数をＧＨ、表示面Ｄの縦の画素数をレンズアレーＬａの縦のレンズ数で割って２／√３倍した要素画像の縦画素数をＧＶとしたとき、−ＧＨ／２＜ｕＰＨ≦ＧＨ／２、−Ｇｖ／２＜ｕＰｖ≦Ｇｖ／２である。なお、要素レンズＬｐが正方配列であれば、ＧＶは、表示面Ｄの縦の画素数をレンズアレーＬａの縦のレンズ数で割った値となる。
【００４１】
このとき、レンズ中心Ｈ０，０の３次元座標Ｈ（０，０）＝（ＸＲ，ＹＲ，０）＝（０，０，０）となる。なお、（ＸＲ，ＹＲ）は、レンズ中心Ｈ０，０のＸＹ座標である。
また、仮想カメラＶＣの位置（ＸＣ，ＹＣ，ＺＣ）は、視距離をＬとしたとき、以下の式（１）で表すことができる。
【００４２】
【数１】
2018067750.tif 000003
【００４３】
分割領域Ｒの中央の要素画像Ｇ０，０内の画素の画素位置Ｉ０，０（ｕ，ｖ）から、レンズ中心Ｈ０，０を通る延長線上に存在する仮想カメラＶＣの位置（ＸＣ，ＹＣ，ＺＣ）への単位ベクトルｉ（ｉｘ，ｉｙ，ｉｚ）は、以下の式（２）で表すことができる。なお、式（２）中、｜ａ｜は、ベクトルａの長さを示す。
【００４４】
【数２】
2018067750.tif 000004
【００４５】
そして、斜投影演算手段２２は、仮想カメラ（基準仮想カメラ）ＶＯ（図５参照）と、撮影方向が傾いた仮想カメラＶＣとの関係から、３次元モデルデータを表示面Ｄに斜投影する変換行列を求め、平行な光線群とみなせる画素の画素値を一括して求める。
これによって、分割領域Ｒ（２，２）の要素画像群が生成される。
【００４６】
次に、分割領域Ｒ（２，２）以外の分割領域Ｒについて説明する。以下、分割領域Ｒ（２，２）以外の分割領域Ｒのレンズ中心をＨ′０，０、レンズ中心Ｈ′０，０に対応する要素画像をＧ′０，０で表し、要素画像Ｇ′０，０内の３次元空間上の画素位置をＩ′０，０（ｕ，ｖ）とする。
ここで、斜投影演算手段２２は、レンズ中心シフト量算出手段２１で算出されるシフト量だけ、レンズ中心をシフトさせて、画素位置Ｉ′０，０（ｕ，ｖ）から、仮想カメラＶＣの位置（ＸＣ，ＹＣ，ＺＣ）への単位ベクトルを求める。
【００４７】
このとき、レンズ中心Ｈ′０，０の３次元座標Ｈ′（０，０）＝（ＸＲ＋Ｈｓｈｉｆｔ，ＹＲ＋Ｖｓｈｉｆｔ，０）＝（Ｈｓｈｉｆｔ，Ｖｓｈｉｆｔ，０）となる。なお、（Ｈｓｈｉｆｔ，Ｖｓｈｉｆｔ）は、レンズ中心シフト量算出手段２１で算出されたシフト量である。また、（ＸＲ，ＹＲ）は、レンズアレーＬａのレンズ中心Ｈ０，０のＸＹ座標である。
また、パラメータで入力される表示面Ｄの横の画素間隔をＰＨ、表示面Ｄの縦の画素間隔をＰＶ、焦点距離をＦとしたとき、Ｉ′０，０（ｕ，ｖ）＝（ＸＰ＋Ｈｓｈｉｆｔ，ＹＰ＋Ｖｓｈｉｆｔ，−Ｆ）＝（ｕＰＨ＋Ｈｓｈｉｆｔ，ｖＰＶ＋Ｖｓｈｉｆｔ，−Ｆ）となる。なお、（ＸＰ，ＹＰ）は、要素画像Ｇ０，０のローカル座標（ｕ，ｖ）のＸＹ座標である。
【００４８】
よって、要素画像Ｇ′０，０内の画素の画素位置Ｉ′０，０（ｕ，ｖ）から、レンズ中心Ｈ′０，０を通る延長線上に存在する仮想カメラＶＣの位置（ＸＣ，ＹＣ，ＺＣ）への単位ベクトルｉ′（ｉｘ，ｉｙ，ｉｚ）′は、以下の式（３）で表すことができる。
【００４９】
【数３】
2018067750.tif 000005
【００５０】
すなわち、斜投影演算手段２２は、要素画像の座標（ｕ，ｖ）ごとに、式（１）で示した位置に仮想カメラＶＣを配置し、分割領域Ｒ（２，２）については、前記式（２）の単位ベクトルの逆ベクトルで表される方向、分割領域Ｒ（２，２）以外については、前記式（３）の単位ベクトルの逆ベクトルで表される方向を、それぞれ仮想カメラＶＣの撮影方向として、斜投影変換を行い、要素画像群を求める。
【００５１】
このように、斜投影演算手段２２は、分割領域Ｒごとに、シフト量を考慮して撮影方向を変えて斜投影変換を行う。なお、斜投影を用いる手法は、従来の図１５で説明した手法を用いることができる。
この斜投影演算手段２２は、分割領域ごとの要素画像群を、分割領域情報とともに、要素画像統合手段３０に出力する。この分割領域情報は、例えば、分割領域ごとの左上座標位置、横画素数、縦画素数である。
【００５２】
ここで、図７を参照して、斜投影演算手段２２が用いる従来手法に基づく変換行列について簡単に説明しておく。
斜投影を用いる手法は、図７（ａ）に示すように、投影座標系（Ｘ，Ｙ，Ｚ）において、レンズアレーＬａに正対する仮想カメラＶＯの視点位置による撮影（正射影）を基準として、図７（ｂ）に示すように、仮想カメラＶＣから撮影したときに、３次元モデルデータの視野範囲ＶＲを投影面に投影する手法である。なお、図７（ｂ）において、仮想カメラＶＣの位置は、レンズ中心をシフトさせたときの仮想カメラＶＣ（図６参照）の位置をＸＹ平面に平行に移動したものである。
【００５３】
斜投影演算手段２２は、３次元モデルデータを投影面に斜投影する変換行列として、以下の式（４）に示す変換行列ＭＦを用いる。
【００５４】
【数４】
2018067750.tif 000006
【００５５】
ここで、ＭＣは、３次元モデルデータのオブジェクト座標系を仮想カメラＶＣの視点位置を原点とするカメラ座標系に変換するモデルビュー行列である。このモデルビュー行列ＭＣは、以下の式（５）に示すように、各要素ｃ１１からＣ３４で表される回転成分と平行移動成分とを含む４×４行列である。
【００５６】
【数５】
2018067750.tif 000007
【００５７】
なお、モデルビュー行列ＭＣは、投影座標系（Ｘ，Ｙ，Ｚ）における仮想カメラＶＣの位置、投影座標系の原点（仮想カメラＶＣの注視点）、上方向（Ｙ軸）をパラメータとして、ＯｐｅｎＧＬ（登録商標）のｇｌｕＬｏｏｋＡｔ関数を用いて求めることができる。
また、式（４）のＰは、視野範囲ＶＲを正規化し、カメラ座標系で定義される空間中の点を投影座標系に変換するプロジェクション行列である。このプロジェクション行列Ｐは、以下の式（６）で表すことができる。
【００５８】
【数６】
2018067750.tif 000008
【００５９】
ここで、ＴＣは、仮想カメラＶＯの視点位置から仮想カメラＶＣの視点位置への座標変換行列である。式（５）と同様に、オブジェクト座標系を仮想カメラＶＯの視点位置を原点とするカメラ座標系に変換するモデルビュー行列ＭＯを、以下の式（７）に示すように、各要素ｏ１１からｏ３４で表される回転成分と平行移動成分とを含む４×４行列としたとき、座標変換行列ＴＣは、以下の式（８）で表すことができる。
【００６０】
【数７】
2018067750.tif 000009
【数８】
2018067750.tif 000010
【００６１】
また、式（６）のＯｒｔｈｏは、以下の式（９）に示す正射影行列である。
【００６２】
【数９】
2018067750.tif 000011
【００６３】
ここで、ｆは視野範囲ＶＲの奥端位置（ｆａｒ）、ｎは視野範囲ＶＲの手前端位置（ｎｅａｒ）、ｔは視野範囲ＶＲの上端位置（ｔｏｐ）、ｂは視野範囲ＶＲの下端位置（ｂｏｔｔｏｍ）、ｌは視野範囲ＶＲの左端位置（ｌｅｆｔ）、ｒは視野範囲ＶＲの右端位置（ｒｉｇｈｔ）である。ただし、ｌおよびｒは、図７（ａ）では図示していない。
また、式（６）のＴＺは、以下の式（１０）に示すように、投影面を、ＸＹ面からレンズアレーＬａ面にその距離Ｌｄｉｓｔだけ平行移動させる平行移動行列である。
【００６４】
【数１０】
2018067750.tif 000012
【００６５】
なお、前記式（６）では、ＴＺ−１を乗算することで、最終的に、投影面をＸＹ面に戻している。
また、式（６）のＯｂｌｉｑｕｅは、以下の式（１１）に示すように、仮想カメラＶＯから仮想カメラＶＣへ視点位置を変化させたときの、斜投影行列である。
【００６６】
【数１１】
2018067750.tif 000013
【００６７】
ここで、（ＸＣ，ＹＣ，ＺＣ）は、仮想カメラＶＣの座標（視点位置）を示す。
このように、斜投影演算手段２２は、分割領域ごとに、１つの変換行列ＭＦ（前記式（４））によって、３次元モデルデータを投影面に投影することで、要素画像内の仮想カメラＶＣの方向から撮影されるレンズ中心に対応する画素の画素値を算出することができる。
【００６８】
なお、斜投影演算手段２２によって、投影面に投影した画像は、例えば、図８に示すように、レンズ中心Ｈに対応する画素を含んだ画像（投影面画像Ｊ）となり、レンズ中心Ｈに対応する画素は、当該画素を中心とする所定範囲をフィルタ領域ＡＲとして、低域フィルタ処理を施すことが好ましい。例えば、斜投影演算手段２２は、レンズ中心Ｈに対応する画素の画素値を、フィルタ領域ＡＲ内における平均値、重み付け加算値、メディアン値等とする。
そして、斜投影演算手段２２は、要素画像内のすべての画素値を算出し、分割領域ごとの要素画像群を生成する。
図３に戻って、要素画像生成装置１の構成について説明を続ける。
【００６９】
要素画像統合手段３０は、分割領域別要素画像生成手段２０で生成された分割領域ごとの要素画像群を統合するものである。すなわち、要素画像統合手段３０は、分割領域別要素画像生成手段２０で分割領域ごとに生成された要素画像群を、分割前の領域に割り当てて連結することで、１つの要素画像群を生成する。
ここでは、要素画像統合手段３０は、斜投影演算手段２２から入力される分割領域情報で特定される位置に、斜投影演算手段２２で生成される個々の分割領域の要素画像群を割り当てることで、１つの要素画像群を生成する。
【００７０】
以上説明したように要素画像生成装置１を構成することで、要素画像生成装置１は、分割領域ごとに、斜投影を用いて要素画像を生成することで、光線追跡を用いた手法に比べて高速に要素画像を生成することができる。また、要素画像生成装置１は、立体像表示装置の表示面が大きくなっても、分割領域ごとに斜投影を行うことで、要素画像の誤差を低く抑えることができる。
なお、要素画像生成装置１は、コンピュータを、前記した各手段として機能させるためのプログラム（要素画像生成プログラム）で動作させることができる。
【００７１】
〔要素画像生成装置の動作〕
次に、図９を参照（構成については、適宜図３参照）して、本発明の実施形態に係る要素画像生成装置１の動作について説明する。
まず、要素画像生成装置１は、立体像表示装置２のパラメータと、画面分割情報とを入力する（ステップＳ１）。
そして、要素画像生成装置１は、分割領域設定手段１０によって、パラメータおよび画面分割情報により、立体像表示装置２の表示面Ｄに分割領域を設定し、個々の分割領域を特定する（ステップＳ２）。
【００７２】
そして、要素画像生成装置１は、分割領域別要素画像生成手段２０によって、ステップＳ２で特定された分割領域ごとに要素画像群を生成する。
すなわち、要素画像生成装置１は、分割領域別要素画像生成手段２０のレンズ中心シフト量算出手段２１によって、レンズアレーＬａのレンズ中心から、分割領域のレンズ中心までのシフト量を算出する（ステップＳ３）。
【００７３】
そして、要素画像生成装置１は、斜投影演算手段２２によって、ステップＳ３で算出されたシフト量だけシフトしたレンズ中心に対応する要素画像内の各画素位置から、当該レンズ中心を通って視距離だけ離間した仮想カメラで撮影される３次元モデルデータを投影面（表示面）に斜投影することで、要素画像内の画素値を算出する（ステップＳ４）。
これによって、分割領域のすべての要素画像の同一画素位置についての画素値が算出される。
そして、要素画像生成装置１は、分割領域の要素画像内のすべての画素について画素値の算出が完了したか否かを判定する（ステップＳ５）。
【００７４】
ここで、要素画像内のすべての画素について画素値の算出が完了していない場合（ステップＳ５でＮｏ）、要素画像生成装置１は、ステップＳ４に戻って、要素画像内の他の画素を対象として、順次、要素画像内の画素値を算出する。
【００７５】
一方、要素画像内のすべての画素について画素値の算出が完了している場合（ステップＳ５でＹｅｓ）、要素画像生成装置１は、すべての分割領域に対して、要素画像群を生成したか否かを判定する（ステップＳ６）。
【００７６】
ここで、すべての分割領域に対して、要素画像群の生成が完了していない場合（ステップＳ６でＮｏ）、要素画像生成装置１は、ステップＳ２に戻って、次の分割領域を特定し、その分割領域に対応する要素画像群を生成する。
一方、すべての分割領域に対して、要素画像群の生成が完了した場合（ステップＳ６でＹｅｓ）、要素画像生成装置１は、要素画像統合手段３０によって、分割領域ごとの要素画像群を統合（連結）して、１つの要素画像群を生成する（ステップＳ７）。
【００７７】
以上の動作によって、要素画像生成装置１は、立体像表示装置の表示面を分割した分割領域ごとに、斜投影により要素画像群を生成することができる。
以上、本発明の実施形態に係る要素画像生成装置１の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
【００７８】
〔変形例１〕
例えば、ここでは、分割領域設定手段１０において、図４（ｂ）に示すように、画面分割情報によって、表示面Ｄを等分割する例を示した。しかし、斜投影を用いた要素画像群は、図１６で説明したように、画面が大きくなれば周辺部分で誤差が大きくなる。
そこで、本発明は、図１０に示すように、表示面Ｄの中央部と周辺部とで大きさを変えるように分割してもよい。
これによって、観察者がより注視する表示面中央の分割領域に対して、誤差が小さくなるため、観察者が注視しやすい領域の誤差を抑えることができる。
【００７９】
〔変形例２〕
また、ここでは、分割領域設定手段１０において、図４（ｂ）に示すように、画面分割情報によって、表示面Ｄの各分割領域を境界線によって区分する例を示した。
しかし、図１１に示すように、分割領域Ｒごとに、重複領域Ｑを設けて分割してもよい。このとき、画面分割情報そのものが、重複領域Ｑを設けた分割領域を指定するものであってもよいし、境界線で区分した画面分割情報に対して、分割領域設定手段１０が、重複領域Ｑを付加して分割領域を設定することとしてもよい。
この場合、分割領域別要素画像生成手段２０では、重複領域Ｑにおいて、同一位置の要素画像を生成する。そして、要素画像統合手段３０は、分割領域で重複する同一の要素画像については、その要素画像の各画素の画素値を平均化する。
これによって、分割領域Ｒの周辺部分における要素画像の誤差を抑えることができる。
【００８０】
〔変形例３〕
また、ここでは、図５に示すように、図４（ｂ）の中央の分割領域Ｒ（２，２）のレンズ中心を、レンズアレーＬａのレンズ中心と一致するものとして説明したが、必ずしも一致する必要はない。
すなわち、レンズアレーＬａのレンズ中心と一致しないレンズ中心を持つ分割領域は、図４（ｂ）の分割領域Ｒ（２，２）以外と同様に、レンズ中心のシフト量に応じて斜投影変換を行えばよい。
【符号の説明】
【００８１】
１      要素画像生成装置
１０    分割領域設定手段
２０    分割領域別要素画像生成手段
２１    レンズ中心シフト量算出手段
２２    斜投影演算手段
３０    要素画像統合手段
【図１】
2018067750.tif 000014
【図２】
2018067750.tif 000015
【図３】
2018067750.tif 000016
【図４】
2018067750.tif 000017
【図５】
2018067750.tif 000018
【図６】
2018067750.tif 000019
【図７】
2018067750.tif 000020
【図８】
2018067750.tif 000021
【図９】
2018067750.tif 000022
【図１０】
2018067750.tif 000023
【図１１】
2018067750.tif 000024
【図１２】
2018067750.tif 000025
【図１３】
2018067750.tif 000026
【図１４】
2018067750.tif 000027
【図１５】
2018067750.tif 000028
【図１６】
2018067750.tif 000029