"二次元的に複数の画素が配列されている二次元画像表示装置と、これらの画素に表示された画像情報が観察される領域を画素ごとに異ならせるように前記画素からの光線を制御する複数の射出瞳を有する光線制御素子と、を備え、前記射出瞳の一つに対して水平方向に複数の画素が対応させられ、これらの対応する複数の画素を要素画像表示用画素群とした場合に、各要素画像表示用画素が前記射出瞳を経由して観察される方向に応じた画像情報を各要素画像表示用画素に割り当てることにより、水平方向に視差情報を発生させ、観察者に三次元画像を認識させる水平パララックス方式の三次元画像表示装置の表示面を投影面として水平方向に異なる方向から取得した多視点画像の画素情報を、対応した位置の前記射出瞳の、投影方向に応じた要素画像表示用画素に配することにより三次元画像表示用要素画像アレイを作成する三次元画像表示用要素画像アレイの作成方法であって、二次元画像の水平解像度を操作するステップと、解像度変換後の前記二次元画像の切り出す位置を水平方向に一定間隔でずらし多視点画像を得るステップと、前記多視点画像を、前記射出瞳と前記投影方向との相対位置関係に応じて並び替えるステップと、を備えたことを特徴とする三次元画像表示用要素画像アレイの作成方法。視点画像、または要素画像アレイを縦方向に伸縮するステップを有することを特徴とする請求項1記載の三次元画像表示用要素画像アレイの作成方法。前記二次元画像の解像度が前記三次元画像表示装置の解像度のk倍であり、前記二次元画像を表示する位置の前記三次元画像表示装置の表示面からの距離をx、射出瞳と二次元画像表示部との空気換算ギャップをg、射出瞳ピッチをPe、画素ピッチをPpとした場合に、x:g=m/k/n×Pe:Ppを満たすように、二次元画像の水平方向の解像度をn倍にし、その後切り出し位置の水平方向のずらし量を各視点画像毎にm画素とすることを特徴とする請求項1記載の三次元画像表示用要素画像アレイの作成方法。各視点画像、または要素画像アレイを縦方向に伸縮するステップを有することを特徴とする請求項3記載の三次元画像表示用要素画像アレイの作成方法。前記二次元画像を表示する位置の前記三次元画像装置の表示面からの距離をx、前記三次元画像表示装置の設定視距離をLとした場合に、前記各視点画像または前記要素画像アレイの高さyを、解像度を変換する前の元の二次元画像の高さy’に対して、y=y’×L/L-xとなるように縦方向を伸縮したことを特徴とする請求項4記載の三次元画像表示用要素画像アレイの作成方法。前記三次元画像表示装置の奥行き表示限界をx_farとした場合に、x_far:g=m/k/n×Pe:Ppを満足するようにm、nを選択し、前記二次元画像を背景ボードとして表示することを特徴とする請求項3記載の三次元画像表示用要素画像アレイの作成方法。二次元スプライト画像の奥行き方向の位置の変化量をx_shiftとした場合に、x_shift:g=m/k/n×Pe:Ppを満足するようにm、nを選択して前記二次元スプライト画像の奥行き方向を連続的に変えて表示することを特徴とする請求項3記載の三次元画像表示用要素画像アレイの作成方法。前記射出瞳から同時に観察できる画素をc個の画素とした場合に、m/k/n=1/cとすることにより、前記射出瞳から観察できる複数の画素を利用して、前記三次元画像表示装置の解像度以上の解像度の前記二次元画像を表示できるようにしたことを特徴とする請求項3記載の三次元画像表示用要素画像アレイの作成方法。二次元的に複数の画素が配列されている二次元画像表示装置と、これらの画素に表示された画像情報が観察される領域を画素ごとに異ならせるように前記画素からの光線を制御する複数の射出瞳を有する光線制御素子と、を備え、前記射出瞳の一つに対して水平方向に複数の画素が対応させられ、これらの対応する複数の画素を要素画像表示用画素群とした場合に、各要素画像表示用画素が前記射出瞳を経由して観察される方向に応じた画像情報を各要素画像表示用画素に割り当てることにより、水平方向に視差情報を発生させ、観察者に三次元画像を認識させる水平パララックス方式の三次元画像表示装置の表示面を投影面として水平方向に異なる方向から取得した多視点画像の画素情報を、対応した位置の前記射出瞳の、投影方向に応じた要素画像表示用画素に配することにより三次元画像表示用要素画像アレイを作成する三次元画像表示用要素画像アレイの作成装置であって、二次元画像の水平解像度を操作する水平解像度変更部を有する画像処理部と、解像度変換後の前記二次元画像の切り出す位置を水平方向に一定間隔でずらし多視点画像を得る多視点画像生成処理部と、前記多視点画像を、前記射出瞳と前記投影方向との相対位置関係に応じて並び替える並び替え処理部と、を備えたことを特徴とする三次元画像表示用要素画像アレイの作成装置。前記画像処理部は、視点画像または要素画像アレイを縦方向に伸縮する伸縮部を更に備えていることを特徴とする請求項9記載の三次元画像表示用要素画像アレイの作成装置。前記画像処理部は、前記水平解像度変更部の出力および前記伸縮部の出力とに基づいて、前記二次元画像の表示位置に応じて前記二次元画像を補間する画像補間部を更に備えていることを特徴とする請求項10記載の三次元画像表示用要素画像アレイの作成装置。二次元的に複数の画素が配列されている二次元画像表示装置と、これらの画素に表示された画像情報が観察される領域を画素ごとに異ならせるように前記画素からの光線を制御する複数の射出瞳を有する光線制御素子と、を備え、前記射出瞳の一つに対して水平方向に複数の画素が対応させられ、これらの対応する複数の画素を要素画像表示用画素群とした場合に、各要素画像表示用画素が前記射出瞳を経由して観察される方向に応じた画像情報を各要素画像表示用画素に割り当てることにより、水平方向に視差情報を発生させ、観察者に三次元画像を認識させる水平パララックス方式の三次元画像表示装置の表示面を投影面として水平方向に異なる方向から取得した多視点画像の画素情報を、対応した位置の前記射出瞳の、投影方向に応じた要素画像表示用画素に配することにより三次元画像表示用要素画像アレイを作成する三次元画像表示用要素画像アレイの作成プログラムであって、二次元画像の水平解像度を操作する手順と、解像度変換後の前記二次元画像の切り出す位置を水平方向に一定間隔でずらし多視点画像を得る手順と、前記多視点画像を、射出瞳と投影方向との相対位置関係に応じて並び替える手順と、をコンピュータに実行させる三次元画像表示用要素画像アレイの作成プログラム。二次元画像情報の水平移動のみで要素画像アレイを作成しようとした場合、元画像の解像度と三次元画像表示装置の解像度が等しいかまたは近い場合に、その表示位置が離散的になるという問題があった。元画像の解像度が三次元画像表示装置の解像度に比較して十分高い場合にはこのような問題は生じないが、レンダリング効率を考えると、元画像の解像度は必要最低限、すなわち三次元画像表示装置と同等である場合が多く、二次元画像情報の水平移動をピクセル単位でしか実施できないとなると、表示可能な奥行き位置が著しく制限される。画像レンダリングの負荷低減を目的としたスプライト処理が知られているが、フレームごとに複数視点を必要とする三次元画像表示にとってはスプライト表示の有効性は高い。しかしながら、奥行き位置が離散的にしか取れないとなると、連続的に奥行き位置を変えるようなアニメーションを実現できない。さらなる問題点として、前述のような二次元画像の左右シフトによって要素画像アレイを作成した場合に、垂直方向については視差情報がないことから、二次元画像を手前に表示するに従って幅が広がり、奥に表示するに従って幅が狭くなる、という水平方向の正しい挙動に対して、高さが普遍であることから、二次元画像のアスペクト比が歪むという問題があることが判明した。すなわち、手前に表示した二次元画像は水平方向に伸びた画像、奥に表示した二次元画像は垂直方向に伸びた画像になってしまい、違和感が生じる。最後に、補間効果を実現する要素画像アレイを作成するにあたり、前述した最も効果的に補間効果が得られる奥行き表示位置が不明確であり、奥行き方向の表示位置を変えた複数の要素画像アレイを目視で観察し、最適な奥行きまたは飛び出し表示位置を求めるという作業を行って、奥行き位置を変えた要素画像アレイを用意しようとしても離散的な値しかとれず、最適位置かどうかの確認が不明瞭であった。本発明は、上記事情を考慮してなされたものであって、任意の位置に二次元画像を表示することが可能で、表示された画像のアスペクト比を維持し、かつ補間効果を最大に発揮するための要素画像アレイを作成することのできる、水平パララックス方式三次元画像表示装置における三次元画像表示用要素画像アレイの作成方法、作成装置、および作成プログラムを提供することを目的とする。本発明の第1の態様による三次元画像表示用要素画像アレイの作成方法は、二次元的に複数の画素が配列されている二次元画像表示装置と、これらの画素に表示された画像情報が観察される領域を画素ごとに異ならせるように前記画素からの光線を制御する複数の射出瞳を有する光線制御素子と、を備え、前記射出瞳の一つに対して水平方向に複数の画素が対応させられ、これらの対応する複数の画素を要素画像表示用画素群とした場合に、各要素画像表示用画素が前記射出瞳を経由して観察される方向に応じた画像情報を各要素画像表示用画素に割り当てることにより、水平方向に視差情報を発生させ、観察者に三次元画像を認識させる水平パララックス方式の三次元画像表示装置の表示面を投影面として水平方向に異なる方向から取得した多視点画像の画素情報を、対応した位置の前記射出瞳の、投影方向に応じた要素画像表示用画素に配することにより三次元画像表示用要素画像アレイを作成する三次元画像表示用要素画像アレイの作成方法であって、二次元画像の水平解像度を操作するステップと、解像度変換後の前記二次元画像の切り出す位置を水平方向に一定間隔でずらし多視点画像を得るステップと、前記多視点画像を、前記射出瞳と前記投影方向との相対位置関係に応じて並び替えるステップと、を備えたことを特徴とする。また、本発明の第2の態様よる三次元画像表示用要素画像アレイの作成装置は、二次元的に複数の画素が配列されている二次元画像表示装置と、これらの画素に表示された画像情報が観察される領域を画素ごとに異ならせるように前記画素からの光線を制御する複数の射出瞳を有する光線制御素子と、を備え、前記射出瞳の一つに対して水平方向に複数の画素が対応させられ、これらの対応する複数の画素を要素画像表示用画素群とした場合に、各要素画像表示用画素が前記射出瞳を経由して観察される方向に応じた画像情報を各要素画像表示用画素に割り当てることにより、水平方向に視差情報を発生させ、観察者に三次元画像を認識させる水平パララックス方式の三次元画像表示装置の表示面を投影面として水平方向に異なる方向から取得した多視点画像の画素情報を、対応した位置の前記射出瞳の、投影方向に応じた要素画像表示用画素に配することにより三次元画像表示用要素画像アレイを作成する三次元画像表示用要素画像アレイの作成装置であって、二次元画像の水平解像度を操作する水平解像度変更部を有する画像処理部と、解像度変換後の前記二次元画像の切り出す位置を水平方向に一定間隔でずらし多視点画像を得る多視点画像生成処理部と、前記多視点画像を、前記射出瞳と前記投影方向との相対位置関係に応じて並び替える並び替え処理部と、を備えたことを特徴とする。また、本発明の第3の態様による三次元画像表示用要素画像アレイの作成プログラムは、二次元的に複数の画素が配列されている二次元画像表示装置と、これらの画素に表示された画像情報が観察される領域を画素ごとに異ならせるように前記画素からの光線を制御する複数の射出瞳を有する光線制御素子と、を備え、前記射出瞳の一つに対して水平方向に複数の画素が対応させられ、これらの対応する複数の画素を要素画像表示用画素群とした場合に、各要素画像表示用画素が前記射出瞳を経由して観察される方向に応じた画像情報を各要素画像表示用画素に割り当てることにより、水平方向に視差情報を発生させ、観察者に三次元画像を認識させる水平パララックス方式の三次元画像表示装置の表示面を投影面として水平方向に異なる方向から取得した多視点画像の画素情報を、対応した位置の前記射出瞳の、投影方向に応じた要素画像表示用画素に配することにより三次元画像表示用要素画像アレイを作成する三次元画像表示用要素画像アレイの作成プログラムであって、二次元画像の水平解像度を操作する手順と、解像度変換後の前記二次元画像の切り出す位置を水平方向に一定間隔でずらし多視点画像を得る手順と、前記多視点画像を、射出瞳と投影方向との相対位置関係に応じて並び替える手順と、をコンピュータに実行させる。以上述べたように、本発明の各実施形態によれば、三次元画像表示装置において、元画像である二次元画像の伸縮と並び替えのみで、略任意の位置に二次元画像を表示することが可能で、また、表示された画像のアスペクト比が維持させ、かつ、補間効果を最大に発揮するための要素画像アレイを作成することが可能である。また、これとは別に,レンズアレイと二次元画像表示用画素との距離がレンズの焦点距離より長い場合は、シリンドカルレンズ越しに観察される複数の視差情報は反転して観察されるが,これを利用する補完効果も可能なことが新たに判明した。すなわち、要素画像アレイの視差情報の並びが二次元画像の並びに対して反転している飛び出し位置に二次元画像を表示することによって、シリンドカルレンズ越しに観察された複数の視差情報がシリンドカルレンズ間の情報を補間する関係を満たすことができる。以下、本発明の実施形態について、図面を参照しながら説明する。なお、各図において、同様または類似する機能を有する構成要素には同一の参照符号を付し、重複する説明は省略する。第1実施形態本発明の第1実施形態による三次元画像表示用要素画像アレイの作成方法を図1乃至図4を参照して説明する。まず、本実施形態の三次元画像表示用要素画像アレイの作成方法の原理を図2乃至図4を参照して説明する。本実施形態の作成方法は、水平パララックス方式の三次元画像表示装置に用いられる。この水平パララックス方式の三次元画像表示装置の水平断面を図2に示す。この水平パララックス方式の三次元画像表示装置1は、例えば液晶パネルからなる二次元画像表示装置2と、複数の射出瞳を備えた、例えばレンチキュラーシートからなる光線制御素子3とを備えている。二次元画像表示装置2は、二次元的に複数の画素が配列され、これらの画素に表示された画像情報が光線制御素子3によって観察される領域を画素ごとに異なるようにされる。射出瞳一つに対応して水平方向に複数の画素が対応させられており、この画素群を要素画像の表示用画素とした場合に、要素画像の各表示用画素が射出瞳3を経由して観察される方向に応じた画像情報を要素画像の各表示用画素に割り当てることにより、水平方向に視差情報を発生させ、観察者に三次元画像を認識させる。図2に示すように、レンチキュラーシート2のある射出瞳30の真後ろにある画素を2A、その左隣の画素を2B、画素2Aに対峙した射出瞳30に対応する三次元画像表示画素以下、3D画素ともいうを3D0、右隣の射出瞳31に対応した3D画素を3D1、左隣の射出瞳3-1に対応した3D画素を3D-1とする。すると、図2からわかるように、画素2Aと画素2Bに表示する画像情報の関係によって、二次元画像の表示位置が定まる。すなわち、画素2Bに画素2Aと同一の、3D画素3D0の情報を表示すると、二次元画像は位置4_0に表示される。位置4_0は、レンチキュラーシート2の表面位置となる。画素2Bに3D画素3D1の情報を表示すると、二次元画像は位置4_4/4に表示される。この位置4_4/4は、レンチキュラーシート2の表面から前側2次元画像表示装置2と反対側にh=g×Pe/Ppの距離にある。ここで、Peは射出瞳のピッチ、Ppは二次元画像表示装置の画素のピッチを示す。したがって、三次元画像表示装置1と同じ解像度の二次元画像元画像を用いる場合、二次元画像の表示位置はhの整数倍に限られる。ところが、図2からわかるように、元画像の解像度をn倍、例えば4倍に上げることにより、表示位置をh/4まで細かくすることができる。例えば、3D画素3D1の画像情報と、3D画素3D0の画像情報との変移量=3D画素3D1の画像情報-3D画素3D0の画像情報の1/4を3D画素3D0の画像情報に加えた画像情報を画素2Bに表示したら、二次元画像を位置4_1/4に表示することができる図2参照。ここで、位置4_1/4は、レンチキュラーシート2の表面から前側にh/4の距離にある。以下同様に、上記変移量の2/4を3D画素3D0の画像情報に加えた画像情報を画素2Bに表示したら位置4_2/4に表示することが可能で、上記変移量の3/4を3D画素3D0の画像情報に加えた画像情報を画素2Bに表示したら位置4_3/4に表示することが可能である。ここで、位置4_2/4は、レンチキュラーシート2の表面から前側に2h/4の距離にあり、位置4_3/4は、レンチキュラーシート2の表面から前側に3h/4の距離にある。また、上記変移量の-1/4を3D画素3D0の画像情報に加えた画像情報を画素2Bに表示したら位置4_-1/4に表示することが可能で、上記変移量の-2/4を3D画素3D0の画像情報に加えた画像情報を画素2Bに表示したら位置4_-2/4に表示することが可能である。ここで、位置4_-1/4は、レンチキュラーシート2の表面から奥側二次元画像表示装置と同じ側にh/4の距離にあり、位置4_-2/4は、レンチキュラーシート2の表面から奥側に2h/4の距離にある。したがって、奥側の表示位置もより細かく変えることができる。以上説明したことからわかるように、mを自然数、nを0と異なる整数としたとき、x:g=m/n×Pe:Pp1を満たすように、元画像をn倍、mピクセルずつ切り出し位置を変えて各視点画像を作成、要素画像アレイを作成することで、位置xに二次元画像を表示することができる。次に、表示位置に応じた縦方向の伸縮について図3a、bを参照して説明する。図3aは飛び出し位置に表示した二次元画像の例を示す斜視図、図3bは、上記二次元画像の水平断面図である。視距離L、レンチキュラーシート2の表面からの表示位置をxとした場合に、視点に位置する観察者は透視投影的に観察するので、表示位置xに表示された二次元画像は、表示位置が手前にきたぶん、水平方向が拡大されて認識される。しかしながら、垂直方向については二次元画像の大きさは変化しない。すなわち、手前に表示された二次元画像は水平方向に伸びて表示され、そのアスペクト比の1からのずれは飛び出し量が大きくなるほど大きくなる。アスペクト比を横/縦とすると、表示位置xに表示された二次元画像のアスペクト比は1より大きくなる。例えば、図3bに示すように、ディスプレイ面上の表示領域の半幅をW/2、視距離をLとすると、飛び出し位置の二次元画像の表示領域の半幅はW/2×L-x/Lとなり、ここに表示される二次元画像のアスペクト比は1より大きくなる。奥側についても同様で、奥の表示位置x’に表示された二次元画像は水平方向のみが縮んで表示され、そのアスペクト比の1からのずれは、奥行き方向に遠ざかるにつれて拡大し、1より小さくなる。例えば、図3bに示すように、奥行き表示位置の二次元画像表示領域の半幅はW/2×Lx’/Lであることからここに表示される二次元画像のアスペクト比は1より小さくなる。このように、拡大縮小は図3bからわかるように、元画像のオリジナルの高さをH、各視点画像に望まれる高さをH’とすると、H’=H×L/L-x2を満たすように伸縮することにより、アスペクト比を維持することができる。最後に、補間効果を得るための要素画像アレイの作成方法について述べる。図4a、bにクロストーク量cが2ピクセルの場合の、射出瞳越しの画素の見え方を示した。図4aは観察者がある射出瞳31の正面にいて水平解像度が2倍のときの射出瞳越しの画素の見え方を示す図であり、図4bは観察者が左に移動したときの射出瞳越しの画素の見え方を示す図である。図4aに示すように、ある射出瞳31=3D画素の中心に見える画像情報をIn、隣接した射出瞳32の中心に見える画像情報をIn2とした場合に、その間に見える画素に表示されるべき画像はIn1であることが望まれる。このとき、観察者が左に移動すると、図4bに示すように射出瞳31の中心に見える画像情報がIn1、隣接した射出瞳32の中心に見える画像情報がIn4とした場合に、その間に見える画素に表示されるべき画像がIn2となり、結果的に奥行き側に表示される。このような条件を満たすように視差情報を並べることで、観察者の位置にかかわらず、射出瞳越しに観察された複数画素に表示された画像情報は補間するデータになる。このような要素画像アレイを作成するためには、m/n=1/c3を満たすように、n倍に拡大した元画像を、mピクセルピッチで利用位置をシフトさせて視差画像を作成、要素画像アレイを作成すればいい。表示位置は結果的に1式に従う。ちなみに,背景技術に記載した,焦点距離よりレンズ厚みが薄い場合補完1の補完を実現する場合は,レンズ越しの視差情報の並びがそのまま観察されることを考慮して,図2の画素2Bに表示される視差画像は,3D画素3D0と3D1の間を補完する方向にシフトさせる.これに対し,本発明における焦点距離よりレズ厚みが厚い場合の補完補完2を実現する場合は,レンズ越しの視差情報の並びが反転することを考慮して,図2の画素2Bに表示される視差画像は,3D画素3D0と3D-1の間を補完する方向にシフトさせる。以上述べたことからわかるように、本実施形態の三次元画像表示用要素画像アレイの作成方法は、図1に示したフローチャートに示す手順を有する。すなわち、元となる三次元画像表示装置と同一または同程度k倍の解像度を有する二次元画像元画像の解像度をn倍に変換する工程図1のステップS1と、解像度変換後の画像の切り出す位置を水平方向に一定間隔でずらすことmピクセルシフトにより多視点画像とする工程図1のステップS2と、この多視点画像を射出瞳と投影方向の相対位置関係に応じてアスペクト比を修正する,または並び替える、すなわち垂直伸縮およびインターリーブする工程図1のステップS3、S4とを備えている。図1では,垂直伸縮操作はmピクセルシフトの次に記載しているが,垂直伸縮操作は,元画像の後ならどこに入ってもよい.これにより、二次元画像の表示位置を任意に設定し、アスペクト比を維持できる。また、用いた光線制御素子の性能を考慮した補完効果を最大に発現できる要素画像アレイを作成できる。なお、本実施形態においては、解像度を変更する前の元の二次元画像元画像の解像度は三次元画像表示装置の解像度と同じであるとして説明したが、元画像の解像度が三次元画像表示装置の解像度のk倍である場合は、1式のnをn×kに置き換えた4式、すなわちx:g=m/k/n×Pe:Pp4を満たす必要がある。また、解像度変換または画像サイズ変更ステップにおいては、ニアレストネイバー法、バイリニア法、バイキュービック法、といった画像フィルタを用いてもよく,水平解像度n倍図1のステップS1と垂直伸縮図2のステップS3は,個別のフィルタを用いてもよい。以上、三次元画像表示装置1における二次元画像の表示位置を任意に設定するためには要素画像を作成するための二次元画像のサンプリングピッチを三次元画像表示装置の射出瞳ピッチPeより短くする必要があり、このために、三次元画像表示装置の解像度と同程度の二次元画像については、一旦拡大してリサンプリングする方法について述べた。すなわち、元画像のm/n倍の水平ピッチでリサンプリングしたい場合には、水平方向の解像度をn倍にしたうえで、m/nになるようにリサンプリングした。これを図18a、18b、18cを参照して説明する。図18aが元画像の水平方向の解像度とすると、例えば、画素ピッチの2/3倍=m/n倍のピッチでリサンプリングしたい場合には、画像補間を利用して水平方向の解像度を3倍にしたうえで、2画素ごとにサンプリングする方法を説明した図18b。このようなリサンプリングについては、画像補間で直接作成する場合もある。すなわち、所望のリサンプリング位置のデータを画像補間で直接作成する図18c。図18b、18cでは,最も単純な線形補間の場合の元画像の占有率を示したが、サンプリングピッチを変えるための画像補間に使用するフィルタは一般的に用いられるものなら何でも良く、例えば、画像情報BとCの間のデータを作成するために利用される画像データは、画像情報BとCに制限するものではない。以上説明したように、本実施形態によれば、三次元画像表示装置において、元画像である二次元画像の伸縮と並び替えのみで、略任意の位置に二次元画像を表示することが可能となり、また表示された画像のアスペクト比が維持させ、かつ補間効果を最大に発揮するための要素画像アレイを作成することができる。ちなみに,補完1と補完2では,補完2のデータがより自然でかつレンズ厚み変化,すなわち観察位置の変化に対してロバストな様子が確認された。第2実施形態次に、本発明の第2実施形態による三次元画像表示用要素画像アレイの作成装置を図5乃至図15を参照して説明する。本実施形態の三次元画像表示用要素画像アレイの作成装置は、第1実施形態の三次元画像表示用要素画像アレイの作成方法を実施する装置であって、図5にその構成を示す。本実施形態の作成装置は、画像処理部20と、画像情報並び替え処理部22と、要素画像アレイ合成処理部24と、各視点画像処理部26と、各視点画像合成処理部28と、並び替え処理部30とを備えている。背景追加処理部32は、元画像情報40と、奥行き情報42とに基づいて、図9に示すように、二次元画像として表示したい元画像図では星型形状として表示の表示面積が、二次元画像表示装置の表示面図では破線で表示の面積に比較して小さく、他の画像図では斜線で示す画像と合成して表示したい場合や、他の三次元画像と合成するためにブルーバックにしたい場合など、元画像に背景画像を追加、合成する処理を行う。画像処理部20は、図6に示すように、水平解像度変更部20aと、垂直方向伸縮部20bと、画像補間部20cとを備えており、背景追加処理部32の出力と、奥行き情報42とに基づいて、画像処理を行う。水平解像度変更部20aは、奥行き情報42と、背景追加処理部32の出力に基づいて、図10に示すように元画像の水平解像度を上げる処理を行う。垂直方向伸縮部20bは、奥行き情報42と、水平解像度変更部20aの出力に基づいて、図11に示すように、垂直方向に画像を伸縮する処理を行う。画像補間部20cは、水平解像度変更部20aの出力と、垂直方向伸縮部20の出力とに基づいて、第1実施形態で説明した補間処理を行う。画像情報並び替え処理部22は、奥行き情報42と、画像処理部20の出力とに基づいて、1枚の入力画像を、射出瞳に対応させた並び順に変えて要素画像アレイにする処理を行う。なお、必要ならば、後述する図14に示すように、並び替えのために水平方向に画素画像を追加する処理を含んでいてもよい。要素画像アレイ合成処理部24は、画像情報並び替え処理部22の出力と、他の要素画像アレイ情報44とに基づいて、図12に示すように要素画像アレイ同士を合成する処理を行い、合成した要素画像アレイを要素画像アレイ情報46として記憶する。各視点画像生成処理部26は、画像処理部20の出力と、奥行き情報42とに基づいて、図13に示すように、1枚の入力画像から、切り出し位置を変えた画像を視点数分作成する処理を行う。この各視点画像生成処理部26は、図7に示すように、水平ピクセル追加部26aと、サンプリング部26bとを備えている。水平ピクセル追加部26aは、図14に示すように、切り出し位置をシフトさせるために、水平方向に画素画像を増やす必要があれば、これを増やす処理を行う。サンプリング部26bは切り出し処理を行う。各視点画像合成処理部28は、各視点画像生成処理部26の出力と、他の各視点画像情報48と、各視点画像を獲得するためのカメラの配置情報50とに基づいて、図15に示すように、各視点画像と他の各視点画像とを合成する。並び替え処理部30は、各視点画像複数枚から、射出瞳に対応した並び順にした要素画像アレイを作成する処理を行う。なお、二次元画像を背景ボードとして表示するためには、三次元画像表示装置の奥行き表示限界をx_farとした場合に、4式のxをx_farに置き換えた式x_far:g=m/k/n×Pe:Ppを満足するようにm、nを選択することが必要となる。また、二次元スプライト画像の奥行き方向を連続的に変えて表示するためには、二次元スプライト画像の奥行き方向の位置の変化量をx_shiftとした場合に、4式のxをx_shiftに置き換えた式x_shift:g=m/k/n×Pe:Ppを満足するようにm、nを選択する必要がある。本実施形態の三次元画像表示用要素画像アレイの作成装置は、第1実施形態と同様に、元画像である二次元画像の伸縮と並び替えのみで、略任意の位置に二次元画像を表示することが可能となり、また表示された画像のアスペクト比を維持させ、かつ補間効果を最大に発揮するための要素画像アレイを作成することができる。第3実施形態次に、本発明の第3実施形態による三次元画像表示用要素画像アレイの作成プログラムを図16乃至図17を参照して説明する。本実施形態の作成プログラムは、第1実施形態による三次元画像表示用要素画像アレイの作成方法を実行するプログラムである。図16および図17は、本実施の形態の作成プログラムを実行するコンピュータシステム130の一例を示す斜視図およびブロック図である。図16において、コンピュータシステム130は、CPUを含むコンピュータ本体131と、例えばCRT等の表示装置132と、キーボードやマウス等の入力装置133と、印刷を実行するプリンタ134と、を備えている。コンピュータ本体131は、図17に示すように、RAMより構成される内部メモリ135と、内蔵または外付け可能なメモリユニット136と、を備えており、メモリユニット136としてはフレキシブルまたはフロッピディスクFDドライブ137,CD-ROMドライブ138,ハードディスクドライブHDユニット139が搭載されている。図16に示すように、これらのメモリユニット136に用いられる記録媒体140としては、FDドライブ137のスロットに挿入されて使用されるフレキシブルディスクまたはフロッピディスクFD141と、CD-ROMドライブ138に用いられるCD-ROM142等が用いられる。図16および図17に示すように、一般的なコンピュータシステムに用いられる記録媒体140としては、FD141やCD-ROM142が考えられる。また、記録媒体としては、FD、CD-ROM、MOディスク、DVD、その他の光学的記録ディスク、カードメモリ、磁気テープ等の、コンピュータで読み取り可能な記録媒体であっても良いことは云うまでもない。本実施形態の作成プログラムは、図1に示す手順を示すステップS1~S4を少なくとも備えるように構成したものである。また、本実施形態にかかる三次元画像表示用要素画像アレイの作成プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態にかかる三次元画像表示用要素画像アレイの作成プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。実施例1図2における二次元画像表示装置2は液晶表示装置であって、その前面に光線制御子3が設けられ、後面にバックライト図示せずを設けた。具体的には液晶表示装置として、W-UXGA-LCDパネル画素数1920×1200、画面サイズ331.2mm×207.0mm等を使用した。ピクセルサイズは172.5μm×172.5μmの正方形で、赤、緑、青色の各サブピクセルの水平幅は57.5μm、垂直幅は172.5μm、サブピクセルは独立して駆動可能である。通常の二次元画像表示装置2では、横に並んだ赤、緑、青色の3つのサブピクセルで1つのピクセルを構成するが、ここではこの制約を解いて用いた。カラーフィルタ配列はモザイク配列とした。光線制御素子3としては、液晶パネルの画素位置が焦点距離より少し短くなるように設計、クロストーク量を2としたレンチキュラーシートを用いた。すなわち、水平方向にのみ視差情報を付与することが可能である。この三次元画像表示装置の視差数を18としたところ、三次元画像表示装置の水平解像度は、1920×3/18=320となる。垂直方向の解像度は、モザイク配列の縦に連続した3つのサブピクセルで1つの3D画素として用い、1200/3=400画素となる。よって、元画像として、サイズがディスプレイと等しく、横×縦の解像度が320×400、画素のアスペクト比が1.33333の画像を用意した。この元画像の横解像度をバイキュービック法のフィルタを用いて水平方向のみ4倍に拡大、各視点画像ごとに1ピクセルごとずらした元画像を利用して要素画像アレイを作成した。切り出し位置をずらす必要があったことから、元画像の両側に1×視点分余剰を設けた。この各視点画像の並び替えにより要素画像アレイを作成、表示したところ、1式にしたがって、x=m/n×Pe/Pp×g=1/4×18×0.0575/0.0575×1.5=6.75mmと、飛び出し6.75mmの位置に元画像が表示されることを確認した。比較例1実施例1と同じ条件において、水平方向のn倍の伸張を行なわずに、元画像のピクセル単位での切り出し位置の変更により各視点画像を作成、表示位置を変えたところ、1式に従い、2.7cmの倍数でしか表示位置を選択できなかった。実施例2実施例1と同じ条件において、飛び出し限界である5cmの位置に二次元画像を表示しようとしたところ、m/n=x×Pp/Pe/g=50×0.0575/0.0575×18/1.5=1.85~9/5すなわち、バイキュービック法によるフィルタを用いて水平方向に5倍に伸張した。このときに、2式にしたがって、垂直方向についても1.08倍に拡大した。H’/H=L/L-x=700/700-50=1.08このように、図1に示す手順に従って各視点画像を作成、これを並び替えて要素画像アレイを作成、表示したところ、二次元画像をこのディスプレイの表示限界である5cmのまさにその位置に、アスペクト比を維持した二次元画像を表示することができた。比較例2実施例2において、垂直方向の伸張の処理を行わなかったところ、縦に比較して横が8伸びた二次元画像となり、横に伸びた印象を与えた。"