(57)【特許請求の範囲】
【請求項１】
ｎ眼式の１つの立体視画像を生成するのに必要な第１〜第ｎの個別視点画像を入力して前記立体視画像を生成することを毎フレーム単位で行う立体視画像生成装置であって、
１フレーム分の前記立体視画像を格納可能なサイズのフレームバッファを備え、
前記第１〜第ｎの個別視点画像を直列的に順次に入力することと、
入力順に当該入力された個別視点画像と、前記フレームバッファに既に記憶されている画像とをインターリーブして当該フレームバッファの画像を更新記憶することと、
を毎フレーム単位で実行する、
ことを特徴とする立体視画像生成装置。
【請求項２】
入力された個別視点画像が当該フレームに対する最初の個別視点画像であった場合に、当該個別視点画像を前記フレームバッファに上書き記憶することを更に含み、
前記更新記憶することは、入力された個別視点画像が当該フレームに対する最初の個別視点画像ではなかった場合に、当該入力された個別視点画像と、既に前記フレームバッファに記憶されている画像とをインターリーブして、当該フレームバッファの画像を更新記憶することである、
請求項１に記載の立体視画像生成装置。
【請求項３】
１フレーム分のｎ眼式の立体視画像を格納可能なサイズのフレームバッファを備え、１つの前記立体視画像を生成するのに必要な第１〜第ｎの個別視点画像を入力して前記立体視画像を生成することを毎フレーム単位で行う立体視画像生成装置が実行する立体視画像生成方法であって、
前記第１〜第ｎの個別視点画像を直列的に順次に入力することと、
入力順に当該入力された個別視点画像と、前記フレームバッファに既に記憶されている画像とをインターリーブして当該フレームバッファの画像を更新記憶することと、
を毎フレーム単位で実行する、立体視画像生成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ｎ眼式の立体視映像表示装置に表示するための立体視画像を毎フレーム単位で生成する立体視画像生成装置等に関する。
【０００２】
【従来の技術】
近年では、画面から映像が浮き出て見える立体視映像表示装置の開発が進んでいる。この立体視映像は、右目と左目との間隔によって生じる両眼視差を意図的に生成することで実現される。すなわち、映像を見る人の左右の眼に異なる画像を与えることで映像が浮き出て見えるような立体感を表現している。両眼視差を与える方法としては、レンティキュラ方式やパララックスバリア方式がある。
【０００３】
これら立体視映像表示装置において表示される立体視画像は、ｎ眼式であればｎ眼分の画像を合成して生成される。この画像生成手法は、例えば「レンティキュラ板の標本化効果を考慮した３次元画像処理アルゴリズム」（３次元画像コンファレンス講演論文集（１９９６））等、広く知られた技術であるため、説明を省略する。
【０００４】
【発明が解決しようとする課題】
さて、上記立体視画像の生成手法は、予め定まった静止画像に基づいて、時間という概念に拘泥されずに、立体視画像を生成する手法である。従って、毎フレーム単位でリアルタイムに立体視画像を生成し、いわゆるパラパラ漫画のような動画としての表示を実現させるといった実用化においては種々の発明なくして実現できない。
【０００５】
立体視映像表示装置において、リアルタイムに、動画像を生成・表示させることは可能か否か。このことは、次の命題にかかっている。即ち、毎フレーム単位で立体視画像を生成できるかどうか、である。より具体的には、立体視画像の生成アルゴリズムを、単にソフトウェア処理することとして立体視画像生成装置を構成する場合には、各フレームそれぞれのｎ眼分の原画像に対するアクセス頻度が大きくなり、これがボトルネックとなる可能性がある。また、立体視画像を生成しようとする時点において、ｎ眼分の画像全てが揃っていない場合もあり得る。
【０００６】
さらに、ゲーム装置や３次元ＣＡＤシステム等においては、立体視画像の生成のみならず、ｎ眼分の原画像の生成をも行う必要があるため、時間的な制約がさらに大きなものとなる。
【０００７】
本発明の課題は、ｎ眼式の立体視映像表示装置に表示させる立体視画像の毎フレーム単位の生成を可能ならしめ、当該立体視映像表示装置に動画像を表示させることである。
【０００８】
【課題を解決するための手段】
以上の課題を解決するための第１の発明は、外部から毎フレーム単位で入力されるｎ個の個別視点画像（例えば、図３の原画像９０）をインターリーブすることにより、ｎ眼式の立体視映像表示装置に表示させる立体視画像を毎フレーム単位で生成する立体視画像生成装置（例えば、図３の立体視画像生成装置１０）であって、前記入力された前記個別視点画像ｎ個それぞれに対応する格納エリアを有する入力画像記憶メモリ（例えば、図３の原画像記憶部２０）と、前記インターリーブのために、前記個別視点画像の中からサンプリングする画像データを、前記入力画像記憶メモリの所与の記憶位置から読み出すことにより、当該インターリーブを並列的に行うインターリーバ（例えば、図３のインターリーバ３０）と、を備える立体視画像生成装置である。
【０００９】
ここで、並列的なインターリーブは、個別視点画像が特定の格納場所に格納されることにより実現される。即ち、例えば、特定の個別視点画像の特定のサブピクセル（原画像および合成画像が白黒の場合にあってはピクセル）に対応する画像データ（色情報）が格納される番地は必ず一定の番地となる。このため、インターリーブの際のサンプリングは、対象となる番地から機械的に画像データ（色情報）を読み出すだけでよく、Ｈ／Ｗ回路であるインターリーバにおいて、フェッチ等を利用することにより、容易にサンプリング（ひいてはインターリーブ）を実現することができる。
【００１０】
この第１の発明によれば、原画像の記憶と、インターリーブとを流れ作業的に実現できるためメモリアクセス頻度を低減させることができる。また、原画像の記憶に対するメモリと、インターリーブを専用に行うインターリーバとを備えるＨ／Ｗ構成であるため、Ｓ／Ｗによりインターリーブを行う場合に比べてより高速な処理を実現することができる。
【００１１】
また、第２の発明は、毎フレーム単位で、外部からｎ個の個別視点画像が直列的に入力され、入力された個別視点画像をインターリーブすることにより、ｎ眼式の立体視映像表示装置に表示させる立体視画像を毎フレーム単位で生成する立体視画像生成装置（例えば、図５の立体視画像生成装置２１０）であって、１フレーム分の立体視画像を記憶するフレームバッファ（例えば、図５のフレームバッファ２２０）を備え、前記直列的に入力される個別視点画像を順次前記フレームバッファに更新記憶する際に、当該フレームバッファに記憶された画像とのインターリーブを行って更新記憶することにより、１フレーム分の立体視画像を生成する立体視画像生成装置である。
【００１２】
この第２の発明によれば、個別視点画像が全て揃わずとも、適宜入力される順にインターリーブを行って、立体視画像を生成することができる。このため、個別視点画像の生成側（例えば、図５の画像生成部１１４）は、生成された個別視点画像を順次立体視画像生成装置に出力することができるとともに、立体視画像生成装置にとって、全ての個別視点画像が揃うまでの待ち時間を省略することができる。また、第２の発明によれば、個別視点画像全てを記憶する必要がないため、装置を構成するメモリ容量を削減することができる。
【００１３】
また、第３の発明は、第１または第２の発明の立体視画像生成装置と、ｎ眼式の立体視映像表示装置（例えば、図４の表示部４０；図５の表示部４０）とを備えた、立体視動画像のゲームを実行するゲーム装置（例えば、図４のゲーム装置１００；図５のゲーム装置２００）であって、毎フレーム単位で、ｎ個の視点に対応するゲーム画像を生成するとともに（例えば、図４または図５の画像生成部１１４によるゲーム画像の生成）、当該ゲーム画像に基づいて前記立体視画像生成装置が立体視画像を生成し、当該立体視画像を前記立体視映像表示装置に表示することにより、立体視動画像のゲームを実行するゲーム装置である。
【００１４】
この第３の発明によれば、立体視画像の生成は立体視画像生成装置が、ゲームの実行およびゲーム画像の生成はゲーム装置が行えばよいため、処理の分散化および並列化を図ることができる。また、立体視画像生成装置において、ゲーム画像の安定的な供給が行われるため、安定した速度で立体視画像の生成を行うことができる。
【００１５】
なお、ゲーム装置は、携帯用ゲーム装置、家庭用ゲーム装置、あるいは業務用ゲーム装置の何れであってもよい。また、立体視映像表示装置の方式としては、例えば、レンティキュラ方式やパララックスバリア方式が挙げられ、何れの方式であってもよい。
【００１６】
【発明の実施の形態】
以下、図を参照して本発明の実施の形態を詳細に説明する。尚、本実施の形態において、立体視映像表示装置はカラーの表示装置を用いた４眼のレンティキュラ方式であることとして説明するが、本発明が適用されるものはこれに限られるものではない。
【００１７】
まず、本実施の形態におけるインターリーバについて簡単に説明する。図１は、インターリーバの動作原理（インターリーブ）を簡単に説明するための図である。本実施の形態におけるインターリーバは、複数の異なる視点から見た画像（以下、原画像という。）２をサブピクセル毎に順番に割り振ることにより立体視用の画像（レンティキュラ板を通して、立体視映像として表示される画像）（以下、合成画像という。）を生成するサブピクセルインターリーバである。一般に、複数の異なる視点から見た画像は、それぞれ異なる画像となるが、図１においては、説明を簡明とするため、全ての視点から見た画像を同じものとしている。また、図１において、原画像２には、４つの原画像（遠左原画像２−０、左原画像２−１、右原画像２−２、遠右原画像２−３）が含まれる。インターリーバは、これら４つの原画像から合成画像を生成する。
【００１８】
また、４眼式の場合には、４ピクセルづつインターリーブし、それを繰り返すことにより、全体の合成画像を生成するが、この図１では、簡明のため原画像２として４ピクセルのみを示している。また、以下説明においても、簡明のため４ピクセルのみを対象として説明する。
【００１９】
複数の原画像から、合成画像を生成する方法としては種々考案されており、本実施形態においては何れの方法を採ることとしてもよいが、最も簡易なものとして知られるダイレクトサンプリングについてここに簡単に説明する。
【００２０】
ダイレクトサンプリングとは、図２のように合成画像の各サブピクセル（以下、合成画像サブピクセルという。）に対応する各原画像のサブピクセルを選択し、その選択したサブピクセルの輝度を合成画像サブピクセルの輝度とする方法である。具体的には、４つの合成画像ピクセルＰ0、Ｐ1、Ｐ2、Ｐ3に含まれる各合成画像サブピクセルｒ0、ｇ0、ｂ0、…、ｒ3、ｇ3、ｂ3は、順番に遠右原画像２−３、右原画像２−２、左原画像２−１、遠左原画像２−０のサブピクセルの輝度に基づいて決まる。即ち、合成画像サブピクセルｒ0の輝度は、遠右原画像２−３のサブピクセルｒ30から決まり、合成画像サブピクセルｇ0の輝度は、右原画像２−２のサブピクセルｇ20から決まり、合成画像サブピクセルｂ0の輝度は、左原画像２−１のサブピクセルｂ10から決まり、合成画像サブピクセルｒ1の輝度は、遠左原画像２−０のサブピクセルｒ01から決まる。
【００２１】
以上のように、合成画像の生成において、合成画像の各サブピクセルに対応する原画像はどれか、その原画像の内のどのサブピクセルの輝度が対応するのかは、既知である。本発明は、この点を利用することにより、より高速な立体視画像の生成を可能ならしめる。以下、２つの実施の形態に基づいて、本発明を適用した立体視画像生成装置について説明する。
【００２２】
〔第１の実施の形態〕
図３は、本発明を適用した第１の実施の形態における立体視画像生成装置１０の概略構成を示す図である。立体視画像生成装置１０は、外部入力される原画像に基づいて立体視画像を生成するものであり、入力画像記憶メモリである原画像記憶部２０と、立体視画像を生成する専用回路であるインターリーバ３０とを備えており、生成した立体視画像は４眼レンティキュラ方式の立体視映像表示装置である表示部４０に表示される。
【００２３】
原画像記憶部２０は、立体視画像生成装置１０に毎フレーム単位、例えば１／６０秒間隔で外部から入力される、４つの視点から見た原画像９０（遠右原画像、右原画像、左原画像、及び遠左原画像）を記憶するメモリであり、ＲＡＭ等により構成される。
【００２４】
また、原画像記憶部２０において、遠右原画像、右原画像、左原画像、および遠左原画像それぞれを格納する番地は予め定められており、対応する格納エリアに、毎フレーム単位で入力される原画像９０が更新・記憶される。従って、例えば遠右原画像であれば、遠右原画像が格納されるエリアの他、さらに、遠右原画像のどのサブピクセルに対応するデータ（より詳細には色情報であるが）がどこに格納されるのかは予め決定されている。
【００２５】
インターリーバ３０は、原画像記憶部２０に記憶された原画像９０それぞれの内、立体視画像の各サブピクセルに対応するサブピクセルを、原画像９０の中から選択（サンプリング）して、並列的にインターリーブを行うことにより立体視画像を生成する。ここで、並列的なインターリーブを実現する手法は以下の通りである。即ち、原画像記憶部２０に記憶された原画像９０は、所与の格納エリアの所与の番地に格納されることとなる。従って、インターリーバ３０が行う原画像９０（より正確にはサンプリング対象のサブピクセルの色情報）の読み出し番地は、固定的なものとなる。例えば、遠右原画像の特定のサブピクセルに対応する画像データ（色情報）が格納される番地は必ず一定の番地となる。このため、インターリーブの際のサンプリングは、対象となる番地から機械的に画像データ（色情報）を読み出すだけで済む。
【００２６】
尚、サンプリング等を含めたインターリーブの手法自体、即ち立体視画像の生成自体については、上述した「レンティキュラ板の標本化効果を考慮した３次元画像処理アルゴリズム」（３次元画像コンファレンス講演論文集（１９９６））等において広く知られたものであるため、説明は省略する。また、インターリーバ３０は、インターリーブ専用の回路としてＣＰＵや、ＡＳＩＣ、ＤＳＰ等により構成されるものである。
【００２７】
表示部４０は、液晶表示装置等から構成されるレンティキュラ板を備えた４眼レンティキュラ方式の立体視映像表示装置である。表示部４０は、インターリーバ３０により生成された立体視画像を表示することにより、レンティキュラ板を介して立体視となる映像を表示する。
【００２８】
以上の構成により、立体視画像生成装置１０は、毎フレーム単位で原画像９０が入力されると、所与の格納エリアに原画像９０を格納するとともに、インターリーバ３０が並列的なインターリーブを行うことにより、毎フレーム単位での立体視画像の生成が行われる。
【００２９】
次に、この立体視画像生成装置１０を用いたゲーム装置１００について説明する。図４は、ゲーム装置１００の機能ブロックの一例を示す図である。図４において、ゲーム装置１００は、操作部１２０と、ＣＰＵ１１０と、情報記憶媒体１３０と、立体視画像生成装置１０と、表示部４０とから構成される。
【００３０】
操作部１２０は、ゲームにおける自キャラクタの操作や、ゲームの開始／中止の指示等を入力するためのものであり、操作ボタンなどにより実現される。
情報記憶媒体１３０は、ゲームプログラムや、立体視画像生成用の仮想カメラ位置を計算するためのプログラム等を記憶する。この情報記憶媒体１３０の機能は、ＣＤ−ＲＯＭ、メモリ、ハードディスク等のハードウェアにより実現できる。
【００３１】
ＣＰＵ１１０は、主に、ゲーム演算部１１２と、画像生成部１１４とから構成され、ＣＩＳＣ型やＲＩＳＣ型のＣＰＵ、ＤＳＰ、画像取込用のＩＣ等のハードウェアにより実現できる。
【００３２】
ゲーム演算部１１２は、操作部１２０からの入力指示に応じて情報記憶媒体１３０からゲームプログラムを読み出し、ゲーム空間を構築する。また、操作部１２０からの操作指示に応じて、構築したゲーム空間中の自キャラクタや敵キャラクタの位置、ゲーム空間における仮想カメラ位置などを演算し、ゲームを実行する。そして、ゲーム空間中における各種座標データを画像生成部１１４に出力する。なお、この際の仮想カメラ位置は、視点４つ分の位置となるが、１つの視点の仮想カメラ位置のみを決定することとし、ゲーム空間の左右方向あるいは上下方向に所与の距離ずらした位置に他の視点の仮想カメラを設定することとしてもよい。
【００３３】
画像生成部１１４は、ゲーム演算部１１２からゲーム空間における各種座標データが入力されると、４つの視点それぞれに対応する仮想カメラ位置に応じた画像を生成する。そして、生成した画像を原画像９０として、立体視画像生成装置１０の原画像記憶部２０に記憶する。
【００３４】
立体視画像生成装置１０は、原画像記憶部２０に記憶された原画像９０に基づいて、インターリーバ３０が上記処理により立体視画像を生成し、表示部４０に表示出力する。ここで、原画像９０の生成に関する処理はＣＰＵ１１０の処理であり、生成された原画像９０に基づく立体視画像の生成に関する処理は立体視画像生成装置１０の処理となる。従って、ＣＰＵ１１０は、原画像９０の生成までを行えばよいため、立体視画像を生成する処理から解放され、ＣＰＵ１１０によるメモリアクセス等が発生することもない。一方、立体視画像生成装置１０においては、原画像９０は毎フレーム単位でＣＰＵ１１０により生成されるため、４つの視点それぞれに対応する原画像９０全てが入力されるタイミングが安定することとなり、立体視画像を安定的に生成することが可能である。
【００３５】
〔第２の実施の形態〕
図５は、本発明を適用した第２の実施の形態における立体視画像生成装置２１０を組み込んだゲーム装置２００の概略構成を示す図である。図５において、第１の実施の形態のゲーム装置１００と同一の部分に対しては同一の符号を付し、同一となる説明は省略する。また以下説明においても同一符号を用いて説明する。
【００３６】
まず、立体視画像生成装置２１０について説明する。
立体視画像生成装置２１０は、各視点に対する原画像９０がシリアル（直列的）に入力される場合、即ち原画像９０が全て同時に揃わない場合における、立体視画像の生成を実現する装置である。立体視画像生成装置２１０は、フレームバッファ２２０と、インターリーバ２３０とを備える。
【００３７】
フレームバッファ２２０は、１フレーム分の立体視画像を格納するメモリであり、立体視画像として完成された画像は表示部４０において表示される。ここで、「完成」されたとは、フレームバッファ２２０には「未完成」の画像が格納されている時点があるためである。以下、分かり易くするため、フレームバッファ２２０には「合成画像」が記憶され、「完成」された「合成画像」を「立体視画像」と呼ぶこととする。
【００３８】
インターリーバ２３０は、入力された原画像と、フレームバッファ２２０に格納された合成画像とをインターリーブし、フレームバッファ２２０に格納する一連の処理を、順次繰り返し行うことにより、立体視画像を生成する。具体的には、１フレームに対する処理として図６に示す処理を行う。
【００３９】
即ち、まず、入力された原画像（ステップＳ１）が当該フレームに対する最初の原画像か否かを判別する（ステップＳ２）。次いで、最初の原画像であれば、その原画像をそのままフレームバッファ２２０に上書き格納する（ステップＳ３）。
【００４０】
またステップＳ２において最初の原画像でないと判断した場合には、インターリーバ２２０は、フレームバッファ２２０に格納されている画像を読み出して（ステップＳ４）、入力された原画像とのインターリーブを行った後（ステップＳ５）、インターリーブした合成画像をフレームバッファ２２０に上書き格納する（ステップＳ６）。
【００４１】
ステップＳ３またはステップＳ６の処理の後、インターリーバ２３０は、１フレーム分の原画像（即ち、原画像４つ分）に対する処理が終了したか否かを判定し、終了するまでステップＳ１〜Ｓ７の処理を繰り返し行う（ステップＳ７）。
以上の処理により、フレームバッファ２２０には最終的に立体視画像が格納される。
【００４２】
なお、ステップＳ５におけるインターリーブは、上述したインターリーブの手法により当業者が容易に想到し得るものであるが、念のため再度簡単に説明する。図７は、インターリーブの概略図であり、説明を簡単にするために、サブピクセルを縦状のストライプとし、サブピクセルの色情報を単に並べることにより立体視画像を構成することを示している。図７において、立体視画像は、原画像９１、９２、９３、９４の中から、サンプリングしたサブピクセル９１−１、９２−１、９３−１、９４−１、・・・を合成することにより生成される。
【００４３】
従って、それぞれの原画像において、立体視画像に用いられるサブピクセルは予め定められている。即ち、図６のステップＳ５におけるインターリーブは、原画像が遠右原画像、右原画像、左原画像、及び遠左原画像の内、何れの原画像であるかによって、サンプリングするサブピクセルを決定し、インターリーブすることが可能である。
【００４４】
次に、第２の実施の形態におけるゲーム装置２００について説明する。ゲーム装置２００を構成する、ＣＰＵ１１０、操作部１２０および情報記憶媒体１３０については第１の実施の形態におけるゲーム装置１００と同様のものであるが、ＣＰＵ１１０の処理において若干の違いがある。
【００４５】
即ち、ＣＰＵ１１０の画像生成部１１４は、遠右原画像、右原画像、左原画像、及び遠左原画像を同時に生成する必要はなく、生成した順に立体視画像生成装置２１０に出力する。そして、立体視画像生成装置２１０は、入力された原画像に基づいて順次インターリーブを行い、１フレーム分の原画像全てに対するインターリーブを行った時点で、フレームバッファ２２０に格納された合成画像（立体視画像）を表示部４０に出力する。
【００４６】
したがって、第１の実施の形態と同様に、原画像の生成と、立体視画像の生成との処理の分散化を図ることができるが、本第２の実施の形態においては、さらに、パイプライン処理的な、画像生成の並行処理が可能である。即ち、図５において、例えば、画像生成部１１４が遠右原画像、右原画像、左原画像、遠左原画像を順次生成する（▲１▼〜▲４▼）場合を考える。この際、右原画像がインターリーバ２３０に入力されると、インターリーバ２３０は、右原画像と、フレームバッファ２２０に格納された画像とのインターリーブを実行するが、この間、画像生成部１１４は、左原画像を生成することが可能である。
【００４７】
換言すれば、インターリーバ２３０は全ての原画像が揃うのを待つことなく、先取り的に画像の生成処理を行うことができるため、インターリーバ２３０において処理待ち時間を削減し、立体視画像生成時間の短縮化を図ることができる。
尚、本第２の実施の形態においては、原画像全てを記憶する容量のメモリが不要となる点は言うまでもない。
【００４８】
以上、本発明を適用した第１の実施の形態および第２の実施の形態について説明したが、本発明が適用されるものは上記実施の形態に限られるものではない。例えば、ゲーム装置１００は、家庭用ゲーム装置、携帯用ゲーム装置、および業務用ゲーム装置の何れであってもよいし、３次元ＣＡＤシステム（例えば、ウォークスルーモデルにおける立体視映像表示等に適用可能である。）であってもよい。
【００４９】
また、表示部４０として、４眼式以外の多眼式や蝿の目方式の立体視映像表示装置に対しても本発明の適用が可能である他、立体視画像の生成に際してインターリーブが必要とされる他の立体視画像生成方式（例えばパララックスバリア方式）に対しても適用が可能である。
【００５０】
尚、上記実施の形態においては、カラーの表示装置を用いることとして説明したが、白黒の表示装置であってもよい。その場合には、インターリーバは、サブピクセル単位でのインターリーブではなく、ピクセル単位でのインターリーブを行うこととなる。
【図面の簡単な説明】
【図１】インターリーブを説明するための図。
【図２】ダイレクトサンプリングによるインターリーブを説明するための図。
【図３】第１の実施の形態における立体視画像生成装置の概略構成図。
【図４】第１の実施の形態におけるゲーム装置の機能ブロック図。
【図５】第２の実施の形態における立体視画像生成装置の概略構成図。
【図６】第２の実施の形態におけるインターリーバ２３０の処理を示すフローチャート。
【図７】インターリーブの概略図。
【符号の説明】
１００、２００    ゲーム装置
１１０            ＣＰＵ
１１４            画像生成部
１０、２１０      立体視画像生成装置
３０、２３０      インターリーバ
２０              原画像記憶部
２２０            フレームバッファ
４０              表示部
【図１】
0004629838.tif 000002
【図２】
0004629838.tif 000003
【図３】
0004629838.tif 000004
【図４】
0004629838.tif 000005
【図５】
0004629838.tif 000006
【図６】
0004629838.tif 000007
【図７】
0004629838.tif 000008