(57)【要約】【課題】本発明の課題は、立体視画像の生成過程で扱うデータ量を削減することおよび立体視画像の生成過程を簡略化することである。【解決手段】立体視画像Ｚの解像度に対して、解像度を下げてｎ眼分の個別視点画像（以下、略個別視点画像という。）を生成する。  各略個別視点画像（Ｒ0、Ｒ1、Ｒ2、Ｒ3、Ｒ4）に対して、更に、立体視画像Ｚを生成する際にサンプリングされるピクセルおよびサブピクセルの特定を行う。そして、この特定された略個別視点画像から順番に輝度をサンプリングすることにより、立体視画像Ｚの生成を行う。【選択図】図１１
2006187007.tif 000002
【特許請求の範囲】
【請求項１】
複数設定された視点からみた複数の個別視点画像を生成する個別視点画像生成手段と、前記個別視点画像に基づいて立体視画像を生成する立体視画像生成手段と、を備える立体視画像生成装置であって、
前記個別視点画像生成手段は、前記各個別視点画像を前記立体視画像における１眼分の解像度で生成し、
前記立体視画像生成手段は、前記各個別視点画像を構成する各ピクセルから色情報をサンプリングすることにより立体視画像を生成する、
ことを特徴とする立体視画像生成装置。
【請求項２】
請求項１記載の立体視画像生成装置は、レンチキュラレンズを利用した立体視表示装置用の立体視画像を生成する装置であって、
前記個別視点画像生成手段は、前記レンチキュラレンズのレンズ数に応じた解像度で前記各個別視点画像を生成することを特徴とする立体視画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ｎ個の個別視点画像に基づいて、両眼視差を利用したｎ眼式の立体視画像を生成する立体視画像生成装置に関するものである。
【背景技術】
【０００２】
通常、レンチキュラレンズ等を用いた多眼式立体視表示の為の画像、すなわち立体視画像の生成は以下に示すような過程を経て行われる。
なお説明を簡明にするため、立体視映像表示装置は、１つの画素（ピクセル）が赤青緑の３つの色要素（サブピクセル）を水平方向に並べて構成されたカラーの画像表示装置に、レンチキュラレンズを組み合わせた５眼式の表示装置として説明する。
５眼式の立体視映像表示装置は、表示装置の５ピクセル（１５サブピクセル）に対して、レンチキュラレンズのレンズ３個が対応するよう構成される。
説明を簡明にするため、画像表示装置のサイズは５ピクセル×１ピクセルであることとして説明する。実際の実施ではより多い画素数の画像表示装置を使用することとなるが、以下の説明は実際の立体視映像表示装置上で５ピクセル×１ピクセルの部分領域に注目したことに相当する。
【０００３】
まず、仮想三次元空間にモデルを配置し、５つの視点位置を定め、それぞれの視点から見た画像（以下、個別視点画像という。）を生成する。このとき生成される個別視点画像のサイズは、立体視画像と同じ５ピクセル×１ピクセルである。
図１３に示すように、右から遠右個別視点画像Ｄ0、右個別視点画像Ｄ1、中央個別視点画像Ｄ2、左個別視点画像Ｄ3、遠左個別視点画像Ｄ4と視点数の数だけ生成される。
【０００４】
次に、個別視点画像からサブピクセルのサンプリングを行い、インターリーブすることにより、立体視画像を生成する。このときの立体視画像は、図１７に示すように立体視映像表示装置に表示される。
レンチキュラレンズを介してこの立体視画像を見ると、当該レンズの屈折により、図１８に示すように左右の眼に異なる画像が映り、立体視映像としてとらえられることになる。
【０００５】
説明を簡明にするため、ここで、行列Ｐを定義する。図１４は、行列Ｐを示す図である。遠右個別視点画像Ｄ0、右個別視点画像Ｄ1、中央個別視点画像Ｄ2、左個別視点画像Ｄ3、遠左個別視点画像Ｄ4を上から順に縦に並べたものである。これを行列Ｐとする。
図１５は、行列Ｐのサブピクセルの構成を表した図である。ここで、例えば、遠右個別視点画像Ｄ0のピクセルＰ00は、サブピクセルＳ00、サブピクセルＳ01とサブピクセルＳ02の３つのサブピクセルで構成されている。
【０００６】
個別視点画像から立体視画像を生成するインターリーブの手法、即ち、個別視点画像のサンプリング方法は、種々考案されている。その中で代表的なダイレクトサンプリングと呼ばれる方法について説明する。
【０００７】
図１６は、遠右個別視点画像Ｄ0、右個別視点画像Ｄ1、中央個別視点画像Ｄ2、左個別視点画像Ｄ3、遠左個別視点画像Ｄ4から、ダイレクトサンプリングを行い、立体視画像Ｚを生成する場合を示したものである。
【０００８】
ダイレクトサンプリングについて、より具体的に説明すると、図１６において、立体視画像Ｚの５つのピクセルＰZ0、ＰZ1、ＰZ2、ＰZ3、ＰZ4に属するサブピクセルＳZ0、ＳZ1、ＳZ2、…、ＳZ12、ＳZ13、ＳZ14の輝度は、順番に遠右個別視点画像Ｄ0、右個別視点画像Ｄ1、中央個別視点画像Ｄ2、左個別視点画像Ｄ3、遠左個別視点画像Ｄ4のサブピクセルの輝度に基づいて決まる。
【０００９】
即ち、立体視画像Ｚについて、サブピクセルＳZ0の輝度は遠右個別視点画像Ｄ0からサンプリングされ、サブピクセルＳZ1の輝度は右個別視点画像Ｄ1からサンプリングされ、サブピクセルＳZ2の輝度は中央個別視点画像Ｄ2からサンプリングされ、サブピクセルＳZ3の輝度は左個別視点画像Ｄ3からサンプリングされ、サブピクセルＳZ4の輝度は遠左個別視点画像Ｄ4からサンプリングされる。そして、サブピクセルＳZ5の輝度は再び遠右個別視点画像Ｄ0からサンプリングされる。以降も同様にサンプリングが行われる。
【００１０】
なお、立体視画像ＺのサブピクセルＳZ0は、Ｒ（赤）のサブピクセルであるため、遠右個別視点画像Ｄ0のピクセルＰ00の内、Ｒを表すサブピクセルＳ00がサンプリングされる。同様に、サブピクセルＳZ1はＧ（緑）のサブピクセルであるため、右個別視点画像Ｄ1のピクセルＰ10の内、Ｇを表すサブピクセルＳ11がサンプリングされ、サブピクセルＳZ2はＢ（青）のサブピクセルであるため、中央個別視点画像Ｄ2のピクセルＰ20の内、Ｂを表すサブピクセルＳ22がサンプリングされる。
【００１１】
また、立体視画像ＺのサブピクセルＳZ3は、Ｒのサブピクセルであるため、左個別視点画像のピクセルＤ3のピクセルＰ31の内、Ｒを表すサブピクセルＳ33がサンプリングされ、サブピクセルＳZ4はＧのサブピクセルであるため、遠左個別視点画像Ｄ4のピクセルＰ41の内、Ｇを表すサブピクセルＳ44がサンプリングされる。以降も同様にサンプリングが行われる。
【００１２】
そして、各個別視点画像からサンプリングされたサブピクセルの輝度を、立体視画像を構成する各サブピクセルの輝度とすることにより、立体視画像を生成する。
レンチキュラレンズを介してこの立体視画像を見ると、立体視映像としてとらえられることになる。
なお、本願の原出願時において、記載すべき先行技術文献がなかったため、先行技術文献情報は記載していない。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、従来の立体視画像生成装置では、前記のダイレクトサンプリング方法のみならず、他のサンプリング方法を用いた場合であっても、立体視画像に反映されない、即ち、サンプリングされないサブピクセルの輝度情報が個別視点画像に含まれる。このため、個別視点画像の生成においては無駄な処理が発生しており、且つ、個別視点画像を記憶するために必要以上にメモリを占有してしまうという問題があった。
【００１４】
本発明は、これらの課題に鑑みてなされるものであり、画像の最適化および画像生成過程の簡略化に関するものである。
【課題を解決するための手段】
【００１５】
以上の課題を解決するため、第１の発明は、複数設定された視点からみた複数の個別視点画像を生成する個別視点画像生成手段と、前記個別視点画像に基づいて立体視画像を生成する立体視画像生成手段と、を備える立体視画像生成装置であって、前記各個別視点画像を構成するピクセルの内、前記立体視画像の各サブピクセルに対応するサブピクセルを含むピクセルを特定する特定手段を備え、前記個別視点画像生成手段は、前記特定手段により特定されたピクセルの色情報（例えば、ピクセルがＲＧＢのサブピクセルにより構成される場合には、各サブピクセルの輝度情報）を決定することにより前記個別視点画像を生成する立体視画像生成装置である。
【００１６】
ここで、立体視画像の各サブピクセルに対応するサブピクセルを含むピクセルを特定するとは、後述する第１の実施の形態および第２の実施の形態において、各個別視点画像を構成するピクセルの内、サンプリングされるピクセルはどれであるか、特定を行うことをいう。
【００１７】
第１の発明によれば、立体視画像の各サブピクセルに対応するサブピクセルを含むピクセルで構成された個別視点画像を生成するので、従来の個別視点画像よりデータ量が小さい。また、データ量が少ない分、メモリ容量を削減できるとともに、個別視点画像の生成を高速に行うことができる。
尚、ここで、本発明の実施の形態の概念図を図１９に示す。
【００１８】
第２の発明は、複数設定された視点からみた複数の個別視点画像を生成する個別視点画像生成手段と、前記個別視点画像に基づいて立体視画像を生成する立体視画像生成手段と、を備える立体視画像生成装置であって、前記各個別視点画像を構成するサブピクセルの内、前記立体視画像の各サブピクセルに対応するサブピクセルを特定する特定手段を備え、前記個別視点画像生成手段は、前記特定手段により特定されたサブピクセルの色情報を決定することにより前記個別視点画像を生成する立体視画像生成装置である。
【００１９】
ここで、各個別視点画像を構成するサブピクセルの内、立体視画像の各サブピクセルに対応するサブピクセルを特定するとは、後述する第１の実施の形態および第２の実施の形態において、サンプリングされるピクセルを特定した後に、更に、それらのピクセルについてサンプリングされるサブピクセルの特定を行うことをいう。
【００２０】
第２の発明によれば、立体視画像の各サブピクセルに対応するサブピクセルで構成された個別視点画像を生成するので、従来の個別視点画像よりデータ量が小さい。また、データ量が少ない分、メモリ容量を削減できるとともに、個別視点画像の生成を高速に行うことができる。
【００２１】
第３の発明は、複数設定された視点からみた複数の個別視点画像を生成する個別視点画像生成手段と、前記個別視点画像に基づいて立体視画像を生成する立体視画像生成手段と、を備える立体視画像生成装置であって、前記個別視点画像生成手段は、前記各個別視点画像を前記立体視画像における１眼分の解像度で生成し、前記立体視画像生成手段は、前記各個別視点画像を構成する各ピクセルから色情報をサンプリングすることにより立体視画像を生成する立体視画像生成装置である。
【００２２】
ここで、各個別視点画像を立体視画像における１眼分の解像度で生成するとは、立体視画像全体の内、１眼分の画像が占めるピクセル数（解像度）で、各個別視点画像を生成することをいう。より具体的には、レンチキュラレンズの１つのマイクロレンズが、１眼分の画像にとっては１サブピクセルに相当する。従って、レンチキュラレンズのマイクロレンズの数をもって１眼分の解像度と解釈できる。
【００２３】
第３の発明によれば、立体視画像における１眼分の解像度に合わせて個別視点画像を生成するので、従来の個別視点画像よりデータ量が小さい。また、データ量が少ない分、メモリ容量を削減できるとともに、個別視点画像の生成を高速に行うことができる。
【００２４】
この第３の発明の立体視画像生成装置が、レンチキュラレンズを利用した立体視表示装置用の立体視画像を生成する装置である場合には、第４の発明として、前記個別視点画像生成手段が、前記レンチキュラレンズのレンズ数に応じた解像度で前記各個別視点画像を生成してもよい。
【００２５】
第５の発明は、立体視画像を生成する立体視画像生成手段を備える立体視画像生成装置であって、複数設定された視点からみた複数の個別視点画像（例えば、図７の個別視点画像Ｄ0〜Ｄ4）において、当該各個別視点画像を構成するピクセルの内、前記立体視画像の各サブピクセルに対応するサブピクセルを含むピクセルを特定する特定手段と、前記特定手段により特定されたピクセル毎の色情報を連結して記憶する記憶手段と、を備え、前記立体視画像生成手段は、立体視画像の各サブピクセルに対応するサブピクセルを、前記記憶手段に記憶されたピクセルから順次サンプリングして立体視画像を生成する立体視画像生成装置である。
【００２６】
第６の発明は、立体視画像を生成する立体視画像生成手段を備える立体視画像生成装置であって、複数設定された視点からみた複数の個別視点画像（例えば、図７の個別視点画像Ｄ0〜Ｄ4）において、当該各個別視点画像を構成するサブピクセルの内、立体視画像の各サブピクセルに対応するサブピクセルを特定する特定手段と、前記特定手段により特定されたサブピクセル毎の色情報を連結して記憶する記憶手段と、を備え、前記立体視画像生成手段は、前記記憶手段に記憶されたサブピクセルから順次サンプリングして立体視画像を生成する立体視画像生成装置である。
【００２７】
第５または第６の発明によれば、立体視画像の各サブピクセルに対応するサブピクセルを含むピクセル、または、立体視画像の各サブピクセルに対応するサブピクセルで構成された個別視点画像を記憶するので、従来の様に、個別視点画像全てを記憶する必要がないため、メモリ容量が少なくて済む。また、この記憶手段に対する新たなサンプリング方法が必要であるが、順番にサンプリングするだけでよいため、立体視画像の生成（インターリーブ等）において、処理遅延を招くようなことはない。
【発明の効果】
【００２８】
本発明により生成される最適化個別視点画像および最適化略個別視点画像は、立体視画像を生成する際にサンプリングされるサブピクセルのみで構成されるため、従来の個別視点画像よりもデータ量が小さくなるので、メモリ容量を削減できるとともに、個別視点画像の生成を高速に行うことができる。また、立体視画像の生成課程が簡略化できる。
【発明を実施するための最良の形態】
【００２９】
以下、図を参照して本発明の実施の形態を詳細に説明する。
なお、説明を簡明にするため、立体視映像表示装置はカラーの表示装置であって、５眼のレンチキュラ方式であること、個別視点画像のサイズは５ピクセル×１ピクセルであることとして説明する。
【００３０】
１．第１の実施の形態
第１の実施の形態は、従来の技術において説明したダイレクトサンプリングに対して、本発明を適用したものである。
【００３１】
従来の技術において、ダイレクトサンプリングの原理について図１６を参照して説明した。
【００３２】
この図１６において、サンプリングされるピクセルに着目すると、各個別視点画像について、５つのピクセルの内、サンプリングされるピクセルは３つだけである。例えば、遠右個別視点画像Ｄ0からは、ピクセルＰ00、ピクセルＰ01、ピクセルＰ03の３つがサンプリングされている。
そこで、各個別視点画像について、５つのピクセルの内、サンプリングされる３つのピクセルはどれであるか、特定を行うものとする。
【００３３】
サンプリングされるピクセルが特定された状態を図１に示す。例えば、遠右個別視点画像Ｄ0からは、ピクセルＰ00、ピクセルＰ01、ピクセルＰ03の３つが、右個別視点画像Ｄ1からは、ピクセルＰ10、ピクセルＰ12、ピクセルＰ13の３つが、中央個別視点画像Ｄ2からは、ピクセルＰ20、ピクセルＰ22、ピクセルＰ24の３つが、左個別視点画像Ｄ3からは、ピクセルＰ31、ピクセルＰ32、ピクセルＰ34の３つが、遠左個別視点画像Ｄ4からは、ピクセルＰ41、ピクセルＰ43、ピクセルＰ44の３つが特定されている。
【００３４】
また更に、サンプリングされるピクセルのサブピクセルに着目すると、各ピクセルの内、サンプリングされるピクセルはＲＧＢの何れか１つだけである。例えば、図１６において遠右個別視点画像Ｄ0のピクセルＰ00からは、サブピクセルＳ00１つがサンプリングされている。
そこで、サンプリングされるピクセルについて、３つのサブピクセルの内、サンプリングされるサブピクセルはどれであるか、特定を行うものとする。
【００３５】
サンプリングされるサブピクセルが特定された状態を図２に示す。
例えば、遠右個別視点画像Ｄ0において、ピクセルＰ00からはサブピクセルＳ00が、ピクセルＰ01からはサブピクセルＳ05が、ピクセルＰ03からはサブピクセルＳ010がサンプリングされるサブピクセルとして特定されている。
【００３６】
前記の課程において特定されたサブピクセルの輝度を、各個別視点画像から順番に取り出し、一列に並べたもの（即ち、インターリーブしたもの）が立体視画像Ｚである。
【００３７】
従って、個別視点画像のサイズと視点数が予め決定されていれば、立体視画像の個々のサブピクセルに対応する個別視点画像のサブピクセルを特定することが可能となる。
本第１の実施の形態においては、この関係性を用いて、立体視画像を生成する際にサンプリングされるサブピクセルのみで構成された個別視点画像（以下、最適化個別視点画像という。）を生成し、これを元に立体視画像の生成を行う。
【００３８】
立体視画像の分野においては、サンプリングを含むインターリーブに係わる処理を高速に行う技術や、個別視点画像の色の再現性を向上させる技術等について、改良・改善がなされている。しかしながら、立体視画像の生成に至るまでの全体の処理の最適化を行うものとして、個別視点画像の生成時点に着目した技術は開発されていない。
【００３９】
本第１の実施の形態において生成される最適化個別視点画像は、立体視画像を生成する際にサンプリングされるサブピクセルのみで構成されるため、従来の個別視点画像よりもデータ量が小さい。
例えば、従来の個別視点画像の大きさが、５ピクセル×１ピクセルであるとき、そのデータ量は５ピクセル分であった。本第１の実施例において生成される最適化個別視点画像のサイズは、サブピクセル３つ分（例えば、図２の遠右個別視点画像Ｄ0は、サブピクセルＳ00、Ｓ05、Ｓ010の３つ分）であるため、データ量は１ピクセル分である。結果として、従来の１／５、即ち、視点数分の１のデータ量となる。
従って、データ量が少ない分、メモリ容量を削減できるとともに、個別視点画像の生成を高速に行うことができる。何故ならば、一般的に個別視点画像の生成は通常の画像生成と同様、Ｚバッファ等を用いて各画像毎に色を決定するものだからである。
【００４０】
２．第２の実施の形態
第２の実施の形態は、エリアサンプリングに対して、本発明を適用したものである。
【００４１】
エリアサンプリングとは、サンプリングするサブピクセルの数を増やし、個別視点画像全体の明るさを立体視画像に反映させることを目的としたサンプリング方法であって、本出願人が出願した特許出願（特開２０００−２０２５３７号）に詳述しているが未公開であるため、まず、その概略について説明する。
【００４２】
図３は、エリアサンプリングの原理を説明するための図である。
本第２の実施の形態も５眼式であるため、各レンズブロックＬ0〜Ｌ2には、立体視画像Ｚの５つのサブピクセルが含まれる。このレンズブロックを単位として、サブピクセルの輝度計算を行う。
【００４３】
例えば、立体視画像Ｚにおいて、レンズブロックＬ0は、“０”番目のピクセルＰZ0と、“１”番目のピクセルＰZ1にまたがっている。
従って、各個別視点画像の内、“０”番目のピクセルＰ00、Ｐ10、Ｐ20、Ｐ30、Ｐ40と、“１”番目のピクセルＰ01、Ｐ11、Ｐ21、Ｐ31、Ｐ41から、輝度情報をサンプリングする。
【００４４】
具体的には、立体視画像ＺのサブピクセルＳZ0の輝度は、遠右個別視点画像Ｄ0のサブピクセルＳ00と、サブピクセルＳ03の輝度に基づいて決まり、立体視画像ＺのサブピクセルＳZ1の輝度は、右個別視点画像Ｄ1のサブピクセルＳ11と、サブピクセルＳ14の輝度に基づいて決まり、立体視画像ＺのサブピクセルＳZ2の輝度は、中央個別視点画像Ｄ2のサブピクセルＳ22と、サブピクセルＳ25の輝度に基づいて決まり、立体視画像ＺのサブピクセルＳZ3の輝度は、左個別視点画像Ｄ3のサブピクセルＳ30と、サブピクセルＳ33の輝度に基づいて決まり、立体視画像ＺのサブピクセルＳZ4の輝度は、遠左個別視点画像Ｄ4のサブピクセルＳ41と、サブピクセルＳ44の輝度に基づいて決まる。
【００４５】
また、立体視画像Ｚにおいて、レンズブロックＬ0は、“０”番目のピクセルＰZ0の内、サブピクセルＳZ0と、サブピクセルＳZ1と、サブピクセルＳZ2と、“１”番目のピクセルＰZ1の内、サブピクセルＳZ3と、サブピクセルＳZ4にまたがっている。
従って、サンプリングする“０”番目と“１”番目のピクセルの輝度を３：２の割合で合成することにより、レンズブロックＬ0に係る立体視画像ＺのサブピクセルＳZ0〜ＳZ4の輝度を決定する。
【００４６】
具体的には、遠右個別視点画像Ｄ0のピクセルＰ00のサブピクセルＳ00の輝度に３／５をかけたものと、ピクセルＰ01のサブピクセルＳ03の輝度に２／５をかけたものの合計が、立体視画像ＺのサブピクセルＳZ0の輝度となり、
右個別視点画像Ｄ1のピクセルＰ10のサブピクセルＳ11の輝度に３／５をかけたものと、ピクセルＰ11のサブピクセルＳ14の輝度に２／５をかけたものの合計が、立体視画像ＺのサブピクセルＳZ1の輝度となり、
中央個別視点画像Ｄ2のピクセルＰ20のサブピクセルＳ22の輝度に３／５をかけたものと、ピクセルＰ21のサブピクセルＳ25の輝度に２／５をかけたものの合計が、立体視画像ＺのサブピクセルＳZ2の輝度となり、
左個別視点画像Ｄ3のピクセルＰ30のサブピクセルＳ30の輝度に３／５をかけたものと、ピクセルＰ31のサブピクセルＳ33の輝度に２／５をかけたものの合計が、立体視画像ＺのサブピクセルＳZ3の輝度となり、
遠左個別視点画像Ｄ4のピクセルＰ40のサブピクセルＳ41の輝度に３／５をかけたものと、ピクセルＰ41のサブピクセルＳ44の輝度に２／５をかけたものの合計が、立体視画像ＺのサブピクセルＳZ4の輝度となる。
【００４７】
次に、立体視画像Ｚにおいて、レンズブロックＬ1は、“１”番目のピクセルＰZ1と、“２”番目のピクセルＰZ2と、“３”番目のピクセルＰZ3にまたがっている。
従って、各個別視点画像の内、“１”番目のピクセルＰ01、Ｐ11、Ｐ21、Ｐ31、Ｐ41と、“２”番目のピクセルＰ02、Ｐ12、Ｐ22、Ｐ32、Ｐ42と、“３”番目のピクセルＰ03、Ｐ13、Ｐ23、Ｐ33、Ｐ43から、輝度情報をサンプリングする。
【００４８】
具体的には、立体視画像ＺのサブピクセルＳZ5の輝度は、遠右個別視点画像Ｄ0のサブピクセルＳ05と、サブピクセルＳ08と、サブピクセルＳ011の輝度に基づいて決まり、
立体視画像ＺのサブピクセルＳZ6の輝度は、右個別視点画像Ｄ1のサブピクセルＳ13と、サブピクセルＳ16と、サブピクセルＳ19の輝度に基づいて決まり、
立体視画像ＺのサブピクセルＳZ7の輝度は、中央個別視点画像Ｄ2のサブピクセルＳ24と、サブピクセルＳ27と、サブピクセルＳ210の輝度に基づいて決まり、
立体視画像ＺのサブピクセルＳZ8の輝度は、左個別視点画像Ｄ3のサブピクセルＳ35と、サブピクセルＳ38と、サブピクセルＳ311の輝度に基づいて決まり、
立体視画像ＺのサブピクセルＳZ9の輝度は、遠左個別視点画像Ｄ4のサブピクセルＳ43と、サブピクセルＳ46と、サブピクセルＳ49の輝度に基づいて決まる。
【００４９】
また、立体視画像Ｚにおいて、レンズブロックＬ1は、“１”番目のピクセルＰZ1の内、サブピクセルＳZ5と、“２”番目のピクセルＰZ2の内、サブピクセルＳZ6と、サブピクセルＳZ7と、サブピクセルＳZ8と、“３”番目のピクセルＰZ3の内、サブピクセルＳZ9にまたがっている。
従って、サンプリングする“１”番目と“２”番目と“３”番目のピクセルの輝度を１：３：１の割合で合成することにより、レンズブロックＬ1に係る立体視画像ＺのサブピクセルＳZ5〜ＳZ9の輝度を決定する。
【００５０】
具体的には、遠右個別視点画像Ｄ0のピクセルＰ01のサブピクセルＳ05の輝度に１／５をかけたものと、ピクセルＰ02のサブピクセルＳ08の輝度に３／５をかけたものと、ピクセルＰ03のサブピクセルＳ011に１／５をかけたものの合計が、立体視画像ＺのサブピクセルＳZ5の輝度となり、
右個別視点画像Ｄ1のピクセルＰ11のサブピクセルＳ13の輝度に１／５をかけたものと、ピクセルＰ12のサブピクセルＳ16の輝度に３／５をかけたものと、ピクセルＰ13のサブピクセルＳ19の輝度に１／５をかけたものの合計が、立体視画像ＺのサブピクセルＳZ6の輝度となり、
中央個別視点画像Ｄ2のピクセルＰ21のサブピクセルＳ24の輝度に１／５をかけたものと、ピクセルＰ22のサブピクセルＳ27の輝度に３／５をかけたものと、ピクセルＰ23のサブピクセルＳ210の輝度に１／５をかけたものの合計が、立体視画像ＺのサブピクセルＳZ7の輝度となり、
左個別視点画像Ｄ3のピクセルＰ31のサブピクセルＳ35の輝度に１／５をかけたものと、ピクセルＰ32のサブピクセルＳ38の輝度に３／５をかけたものと、ピクセルＰ33のサブピクセルＳ311の輝度に１／５をかけたものの合計が、立体視画像ＺのサブピクセルＳZ8の輝度となり、
遠左個別視点画像Ｄ4のピクセルＰ41のサブピクセルＳ43の輝度に１／５をかけたものと、ピクセルＰ42のサブピクセルＳ46の輝度に３／５をかけたものと、ピクセルＰ43のサブピクセルＳ49の輝度に１／５をかけたものの合計が、立体視画像ＺのサブピクセルＳZ9の輝度となる。
【００５１】
レンズブロックＬ2についても同様にサンプリングを行う。
以上が、エリアサンプリングの概要である。
【００５２】
本第２の実施の形態のエリアサンプリングにおいて、図３からも明らかな通り、各個別視点画像の５つのピクセルの内、サンプリングされるピクセルは、５つ全部であると特定できる。サンプリングされるピクセルが特定された状態を図４に示す。
【００５３】
また更に、サンプリングされるピクセルのサブピクセルに着目すると、各ピクセルの内、サンプリングされるサブピクセルは１つまたは２つだけである。例えば、図３において、遠右個別視点画像Ｄ0のピクセルＰ00からは、サブピクセルＳ00１つがサンプリングされている。遠右個別視点画像Ｄ0のピクセルＰ01からは、サブピクセルＳ03とサブピクセルＳ05の２つがサンプリングされている。
そこで、サンプリングされるサブピクセルについて、特定を行うものとする。
【００５４】
サンプリングされるサブピクセルが特定された状態を図５に示す。
例えば、遠右個別視点画像Ｄ0において、ピクセルＰ00からはサブピクセルＳ00１つが、ピクセルＰ01からはサブピクセルＳ03とサブピクセルＳ05の２つが、ピクセルＰ02からはサブピクセルＳ08の１つが、ピクセルＰ03からはサブピクセルＳ010とサブピクセルＳ011の２つが、ピクセルＰ04からはサブピクセルＳ013の１つが、サンプリングされるサブピクセルとして特定されている。
【００５５】
前記の課程において特定されたサブピクセルの輝度を、各個別視点画像から順番に取り出し、所与の比率で合成し、一列に並べたもの（即ち、インターリーブしたもの）が立体視画像Ｚである。
【００５６】
従って、個別視点画像のサイズと視点数が予め決定されていれば、立体視画像の個々のサブピクセルに対応する個別視点画像のサブピクセルを特定することが可能となる。
本第２の実施の形態においては、この関係性を用いて、立体視画像を生成する際にサンプリングされるサブピクセルのみで構成された個別視点画像（以下、最適化個別視点画像という。）を生成し、これを元に立体視画像の生成を行う。
【００５７】
本第２の実施の形態において生成される最適化個別視点画像は、立体視画像の生成に必要なサブピクセルのみで構成されるため、従来の個別視点画像よりもデータ量が小さい。
例えば、従来の個別視点画像の大きさが、５ピクセル×１ピクセルであるとき、そのデータ量は５ピクセル分、即ち、１５サブピクセル分であった。本第２の実施の形態において生成される最適化個別視点画像のサイズは、サブピクセル７つ分（例えば、図５の遠右個別視点画像Ｄ0は、サブピクセルＳ00、Ｓ03、Ｓ05、Ｓ08、Ｓ010、Ｓ011、Ｓ013の７つ分）であるため、従来の７／１５のデータ量となる。
従って、第１の実施の形態と同様に、データ量が少なくなる分、メモリ容量を削減できるとともに、個別視点画像の生成を高速に行うことができる。
【００５８】
なお、本発明は、第１および第２の実施の形態で用いた視点数や個別視点画像のサイズが異なる場合の他、サンプリング方法が異なる場合にも同様に適用が可能である。また、表示装置がカラーでない白黒等の場合でも、同様に適用が可能である。
【００５９】
３．第１および第２の実施の形態に対する実施例
図６は、本発明を適用した立体視画像生成装置１０００の概略構成を示す図である。同図において、立体視画像生成装置１０００は、仮想空間設定部１００と画像生成部２００から構成され、立体視画像生成装置１０００によって生成された立体視画像Ｚは表示部３００に表示される。
【００６０】
仮想空間設定部１００は、仮想空間と視点とを設定する機能部である。仮想空間とは、仮想的に定義された三次元空間のことである。仮想空間設定部１００は、この三次元空間内に種々のモデル（オブジェクト）を配置したり、光源（例えば、太陽光の方向）を決定したり、ｎ眼分の視点（即ち、第１の実施の形態および第２の実施の形態においては、５つの視点）を配置したりすることにより、仮想空間を決定する。そして、仮想空間内に設定した各モデルの座標情報や色情報、光源に係る情報、各視点の座標情報や視点方向情報等を画像生成部２００に出力する。以下、これらの情報を仮想三次元空間の情報という。
また、仮想空間設定部１００は、この仮想空間の設定処理を、所与の時間単位（例えば、１／６０秒間隔）で行う。即ち、ゲーム画像を生成する場合であれば、毎フレーム単位で仮想空間の設定を行う。
【００６１】
画像生成部２００は、画像情報特定部１０と画像情報記憶部２０と画像情報操作部３０とから構成される。
【００６２】
画像情報特定部１０（個別視点画像生成手段；特定手段）は、仮想空間設定部１００から入力される仮想三次元空間の情報に基づいて、最適化個別視点画像を生成する。即ち、画像情報特定部１０は、各視点に基づいて、仮想三次元空間を透視投影変換し、レンダリングすることにより、個別視点画像を生成するのであるが、個別視点画像を構成する全ての画素に対する色情報を決定することはしない。第１の実施の形態および第２の実施の形態において説明した通り、インターリーブにおいてサンプリングされるサブピクセルを画像情報特定部１０が特定し、この特定したサブピクセルに対応する色情報（輝度情報）のみを決定し、連結することにより、最適化個別視点画像を生成する。生成した最適化個別視点画像は、画像情報記憶部２０内に各視点毎に対応づけて記憶される。
【００６３】
画像情報記憶部２０は、画像情報（即ち、最適化個別視点画像）を一時的に記憶する機能部であり、ＲＡＭ等で構成される。
【００６４】
画像情報操作部３０は、画像情報記憶部２０に記憶された画像情報を元に、インターリーブを行い立体視画像を生成する。
より具体的には、第１の実施の形態におけるインターリーブとは、特定されたサブピクセルの輝度を、各個別視点画像から順番に取り出し、１列に並べることである。従って、この場合において、画像情報操作部３０は、画像情報記憶部２０に記憶された各最適化個別視点画像を構成するサブピクセルの輝度を順番に読み出し、インターリーブすることにより、立体視画像を生成する。
【００６５】
第２の実施の形態におけるインターリーブとは、特定されたサブピクセルの輝度を、各個別視点画像から順番に取り出し、所与の比率で合成したものを１列に並べることである。
従って、この場合において、画像情報操作部３０は、画像情報記憶部２０に記憶された各最適化個別視点画像を構成するサブピクセルの輝度を順番に読み出すとともに、所与の比率で合成した上でインターリーブすることにより、立体視画像を生成する。
【００６６】
表示部３００は、液晶表示装置等からなるレンチキュラレンズを備えた立体視ディスプレイである。表示部３００は、画像生成部２００により生成された立体視画像を表示する。ユーザーは、レンチキュラレンズを介して表示部３００に表示された立体視画像を、立体視映像としてとらえる。
【００６７】
立体視画像生成装置１０００は専用の装置として実現することとしてもよいし、汎用のコンピュータシステム上にソフトウェア的に実現することとしても良い。仮想空間設定部１００と画像生成部２００とは、ＣＰＵ、ＡＳＩＣ、ＤＳＰ等のハードウェアと演算処理用の一時記憶であるＲＡＭ等と組み合わせにより実現することも可能であるし、それらの機能を内蔵したＬＳＩ等の１チップ上に実現することとしてもよい。このため、仮想空間設定部１００と画像生成部２００とを別個独立の装置としたり、１つの装置で仮想空間設定部１００と画像生成部２００とを実現することも可能である。
また、仮想空間設定部１００と画像生成部２００とが行う処理をプログラム化し、ＣＰＵにより、当該プログラムを読み出して実現することとしてもよい。
【００６８】
なお、仮想空間設定部１００が、仮想空間と視点とを設定し、画像情報特定部１０が最適化個別視点画像を生成することとして説明したが、立体視画像生成装置１０００の外部からｎ個の個別視点画像が入力されるものであってもよい。図７は、５眼式の立体視画像生成装置１０００において、外部から５個の個別視点画像が入力される例を示したものである。
【００６９】
この場合において、画像情報特定部１０は、外部から入力される個別視点画像をもとに、サブピクセル（即ち、立体視画像を生成する際にサンプリングされるサブピクセル）の特定を行い、その特定されたサブピクセルの色情報（輝度情報）のみで構成された最適化個別視点画像を生成する。
【００７０】
また図６および図７の場合において、画像情報特定部１０は、直接、最適化個別視点画像を画像情報操作部３０に出力することとして、画像生成部２００は、画像情報記憶部２０をもたず、画像情報特定部１０と画像情報操作部３０とから構成されるものであってもよい。
【００７１】
本発明の具体的な例としては、立体視画像生成装置１０００がゲーム装置であって、ゲーム画像を生成する場合や、三次元ＣＡＤに適用する場合等が考えられる。
【００７２】
４．第３の実施の形態
従来の技術において、生成される個別視点画像の解像度は、立体視画像と同じ５ピクセル×１ピクセルである。
【００７３】
本第３の実施の形態においては、立体視画像の解像度に対して、個別視点画像の解像度を下げて、より具体的にはレンチキュラレンズのレンズ数に合わせた解像度として、個別視点画像を生成する。以下、この解像度を下げて生成された個別視点画像を略個別視点画像という。なお、レンチキュラレンズのレンズ数は“３”であるため、各略個別視点画像の解像度は３ピクセル×１ピクセルである。
【００７４】
説明を簡明にするため、従来の技術を説明したときと同様に、各略個別視点画像を遠右略個別視点画像Ｒ0、右略個別視点画像Ｒ1、中央略個別視点画像Ｒ2、左略個別視点画像Ｒ3、遠左略個別視点画像Ｒ4を上から順に縦に並べて行列を定義する。その時のサブピクセルの構成を図８に示す。
ここで、例えば、遠右略個別視点画像Ｒ0のピクセルＰ00は、サブピクセルＳ00と、サブピクセルＳ01と、サブピクセルＳ02の３つのサブピクセルで構成されている。
【００７５】
ここで、略個別視点画像を元に立体視画像の生成を行うが、立体視画像の解像度は５ピクセル×１ピクセルであるため、新しいサンプリング方法を導入する。以下、この新しいサンプリング方法をコンパクトサンプリングという。
【００７６】
図９は、遠右略個別視点画像Ｒ0、右略個別視点画像Ｒ1、中央略個別視点画像Ｒ2、左略個別視点画像Ｒ3、遠左略個別視点画像Ｒ4から、コンパクトサンプリングを行い、立体視画像Ｚを生成する場合を示したものである。
【００７７】
コンパクトサンプリングについて、より具体的に説明すると、図９において、立体視画像Ｚの５つのピクセルＰZ0、ＰZ1、ＰZ2、ＰZ3、ＰZ4に属するサブピクセルＳZ0、ＳZ1、ＳZ2、…、ＳZ12、ＳZ13、ＳZ14の輝度は、遠右略個別視点画像Ｒ0、右略個別視点画像Ｒ1、中央略個別視点画像Ｒ2、左略個別視点画像Ｒ3、遠左略個別視点画像Ｒ4のサブピクセルの輝度に基づいて決まる。
【００７８】
即ち、立体視画像ＺのサブピクセルＳZ0の輝度は、遠右略個別視点画像Ｒ0からサンプリングされ、立体視画像ＺのサブピクセルＳZ1の輝度は、右略個別視点画像Ｒ1からサンプリングされ、立体視画像ＺのサブピクセルＳZ2の輝度は、中央略個別視点画像Ｒ2からサンプリングされ、立体視画像ＺのサブピクセルＳZ3の輝度は、左略個別視点画像Ｒ3からサンプリングされ、立体視画像ＺのサブピクセルＳZ4の輝度は、遠左略個別視点画像Ｒ4からサンプリングされる。そして、立体視画像ＺのサブピクセルＳZ5の輝度は、再び遠右略個別視点画像Ｒ0からサンプリングされる。以降も同様にサンプリングが行われる。
【００７９】
なお、立体視画像ＺのサブピクセルＳZ0はＲ（赤）のサブピクセルであるため、遠右略個別視点画像Ｒ0のピクセルＰ00内、Ｒを表すサブピクセルＳ00がサンプリングされる。同様に、立体視画像ＺのサブピクセルＳZ1はＧ（緑）のサブピクセルであるため、右略個別視点画像Ｒ1のピクセルＰ10の内、Ｇを表すサブピクセルＳ11がサンプリングされ、立体視画像ＺのサブピクセルＳZ2はＢ（青）のサブピクセルであるため、中央略個別視点画像Ｒ2のピクセルＰ20の内、Ｂを表すサブピクセルＳ22がサンプリングされる。
【００８０】
また、立体視画像ＺのサブピクセルＳZ3はＲのサブピクセルであるため、左略個別視点画像Ｒ3のピクセルＤ3のピクセルＰ30の内、Ｒを表すサブピクセルＳ30がサンプリングされ、立体視画像ＺのサブピクセルＳZ4はＧのサブピクセルであるため、遠左略個別視点画像Ｒ4のピクセルＰ40の内、Ｇを表すサブピクセルＳ41がサンプリングされる。以降も同様にサンプリングが行われる。
【００８１】
そして、各略個別視点画像からサンプリングされたサブピクセルの輝度を、立体視画像のサブピクセルの輝度とすることにより、立体視画像を生成する。
レンチキュラレンズを介してこの立体視画像を見ると、立体視映像としてとらえられることになる。
【００８２】
前記のサンプリング方法を適用することにより、予め解像度を下げて生成した略個別視点画像から、高解像度の立体視画像を生成することができる。
【００８３】
また、本第３の実施の形態においては、このコンパクトサンプリングに対しても、立体視画像を生成する際にサンプリングされるピクセルおよびサブピクセルの特定を行う。
【００８４】
本第３の実施の形態において、各個別視点画像からサンプリングされるピクセルが特定された状態を図１０に示す。各個別視点画像から全てのピクセルがサンプリングされる状態にあり、個別視点画像生成手段によって演算された全てのピクセルの色情報が有効に利用される状態にある。
【００８５】
また、サンプリングされるサブピクセルが特定された状態を図１１に示す。サンプリングされるピクセルのサブピクセルは、前記において特定されたピクセルの内、ＲＧＢの何れか１つだけであると特定することができる。
【００８６】
前記の課程において特定されたサブピクセルの輝度を、各略個別視点画像から順番に取り出し、一列に並べたもの（即ち、インターリーブしたもの）が立体視画像Ｚである。
【００８７】
従って、略個別視点画像のサイズと視点数が予め決定されていれば、立体視画像の個々のサブピクセルに対応する略個別視点画像のサブピクセルを特定することが可能となる。
本第３の実施の形態は、この関係性を用いて、立体視画像の生成に必要なサブピクセルのみで構成された略個別視点画像（以下、最適化略個別視点画像という。）を生成し、これを元に立体視画像を生成するものである。
【００８８】
本第３の実施の形態における、各個別視点画像のピクセルは、画像表示装置のピクセル数より少なくなる。画像表示装置は水平方向に５ピクセルで構成された領域が、各個別視点画像では３ピクセルで構成されることになるため、各個別視点画像の１ピクセルが受け持つ領域は画像表示装置に比して横長となる。
この点にかんがみ、各視点画像生成手段は横長な画素を想定して各視点画像を生成するか、もしくは、画像表示装置自体のピクセルを縦長な画素で構成することとしてもよい。
【００８９】
また、第１の実施の形態および第２の実施の形態における効果と同様に、本第３の実施の形態において生成される最適化略個別視点画像は、従来の個別視点画像に比べデータ量が少なくなるので、メモリ容量を削減できるとともに、個別視点画像の生成を高速に行うことができる。結果としてエリアサンプリングを行ったのと同等の画像を、より少ないメモリ容量と処理負荷あるいは小さい回路規模で得ることができる。
【００９０】
５．第３の実施の形態に対する実施例
図１２は、本発明を適用した立体視画像生成装置２０００の概略構成を示す図である。なお、図６の立体視画像生成装置１０００と同じ部分については、同じ符号を付し、同一となる説明を省略する。図１２において、立体視画像生成装置２０００は、仮想空間設定部１００と画像生成部４００とから構成され、立体視画像生成装置２０００によって生成された立体視画像Ｚは表示部３００に表示される。画像生成部４００は、画像情報特定部４０と、画像情報記憶部２０と、画像情報操作部３０とから構成される。
図６の立体視画像生成装置１０００との違いは、画像情報特定部４０であるため、以下では、画像情報特定部４０を中心に説明する。
【００９１】
画像情報特定部４０は、仮想空間設定部１００から入力される仮想三次元空間の情報に基づいて、略個別視点画像を生成する。即ち、画像情報特定部４０は、各視点に基づいて、仮想三次元空間を透視投影変換し、レンダリングすることにより、略個別視点画像を生成するのであるが、全ての画素に対する色情報を決定することはしない。第３の実施の形態において説明した通り、レンチキュラレンズのレンズ数に応じた解像度で略個別視点画像を生成するとともに、その際に、インターリーブにおいてサンプリングされるサブピクセルを特定し、この特定したサブピクセルに対応する色情報（輝度情報）のみを決定し、連結することにより、最適化略個別視点画像を生成する。そして、生成した最適化略個別視点画像は、画像情報記憶部２０内に各視点毎に対応づけて記憶される。
【００９２】
画像情報操作部３０は、画像情報記憶部２０にて記憶された画像情報を元に、インターリーブを行い立体視画像を生成する。
より具体的には、画像情報操作部３０は、画像情報記憶部２０に記憶された、各最適化略個別視点画像を構成するサブピクセルの輝度情報を順番に読み出し、１列に並べることによりインターリーブを行う。
【００９３】
本第３の実施の形態においては、５ピクセル×１ピクセルの立体視画像を生成するにあたって、従来の様に５ピクセル×１ピクセルの個別視点画像を５視点分生成するのではなく、３ピクセル×１ピクセルの個別視点画像を５視点分生成することになるので、描画負荷が３／５に軽減される。また、個別視点画像生成手段と立体視画像生成手段の間に何らかの記憶手段（例えば図１２における画像記憶部２０）を設ける場合、最適化略個別視点画像を記憶手段に記憶することにより、５ピクセル×１ピクセルの個別視点画像を５視点分生成し、生成した個別視点画像を全て記憶する方式に比べると、記憶手段の容量が１／５で済むこととなる。
【図面の簡単な説明】
【００９４】
【図１】ダイレクトサンプリングにおいて、サンプリングされるピクセルが特定された状態を説明するための図。
【図２】ダイレクトサンプリングにおいて、サンプリングされるサブピクセルが特定された状態を説明するための図。
【図３】エリアサンプリングの原理を説明するための図。
【図４】エリアサンプリングにおいて、サンプリングされるピクセルが特定された状態を説明するための図。
【図５】エリアサンプリングにおいて、サンプリングされるサブピクセルが特定された状態を説明するための図。
【図６】第１および第２の実施の形態に対する実施例における立体視画像生成装置の概略構成図。
【図７】第１および第２の実施の形態に対する実施例において、個別視点画像を外部から入力する場合の立体視画像生成装置の概略構成図。
【図８】略個別視点画像におけるサブピクセルの構成を説明するための図。
【図９】コンパクトサンプリングの原理を説明するための図。
【図１０】コンパクトサンプリングにおいて、サンプリングされるピクセルが特定された状態を説明するための図。
【図１１】コンパクトサンプリングにおいて、サンプリングされるサブピクセルが特定された状態を説明するための図。
【図１２】第３の実施の形態に対する実施例における立体視画像生成装置の概略構成図。
【図１３】仮想三次元空間から生成される個別視点画像を説明するための図。
【図１４】個別視点画像のピクセルによって構成される行列Ｐを説明するための図。
【図１５】行列Ｐにおけるサブピクセルの構成を説明するための図。
【図１６】ダイレクトサンプリングの原理を説明するための図。
【図１７】立体視映像表示装置の断面図。
【図１８】立体視の原理を説明するための図。
【図１９】実施の形態の概念図。
【符号の説明】
【００９５】
１０００、２０００ 立体視画像生成装置
１００ 仮想空間設定部
２００、４００ 画像生成部
１０、４０ 画像情報特定部
２０ 画像情報記憶部
３０ 画像情報操作部
３００ 表示部
Ｚ 立体視画像
Ｄ0 遠右個別視点画像
Ｄ1 右個別視点画像
Ｄ2 中央個別視点画像
Ｄ3 左個別視点画像
Ｄ4 遠左個別視点画像
Ｒ0 遠右略個別視点画像
Ｒ1 右略個別視点画像
Ｒ2 中央略個別視点画像
Ｒ3 左略個別視点画像
Ｒ4 遠左略個別視点画像
Ｐ ピクセル
Ｓ サブピクセル
Ｌ レンズブロック
【図１】
2006187007.tif 000003
【図２】
2006187007.tif 000004
【図３】
2006187007.tif 000005
【図４】
2006187007.tif 000006
【図５】
2006187007.tif 000007
【図６】
2006187007.tif 000008
【図７】
2006187007.tif 000009
【図８】
2006187007.tif 000010
【図９】
2006187007.tif 000011
【図１０】
2006187007.tif 000012
【図１１】
2006187007.tif 000013
【図１２】
2006187007.tif 000014
【図１３】
2006187007.tif 000015
【図１４】
2006187007.tif 000016
【図１５】
2006187007.tif 000017
【図１６】
2006187007.tif 000018
【図１７】
2006187007.tif 000019
【図１８】
2006187007.tif 000020
【図１９】
2006187007.tif 000021