【手続補正書】
【提出日】平成19年11月6日(2007.11.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の第１の視点画像から該第１の視点画像のサイズに関する第１のサイズ情報および、前記複数の第１の視点画像間の視差に関する視差情報を取得する第１の情報取得ステップと、
立体画像の観察に使用される立体表示デバイスに関するデバイス情報を取得する第２の情報取得ステップと、
前記第１のサイズ情報、前記視差情報および前記デバイス情報に基づいて、前記立体表示デバイスに対応した複数の視点を決定する視点決定ステップと、
前記第１の視点画像を用いて、前記視点決定ステップで決定された複数の視点に対応する複数の第２の視点画像を生成し、該複数の第２の視点画像を用いて前記立体画像を生成する画像生成ステップとを有することを特徴とする、コンピュータ上で動作する立体画像生成プログラム。
【請求項２】
前記第２の情報取得ステップにおいて、前記立体画像のサイズに関する第２のサイズ情報を取得し、
前記視点決定ステップにおいて、前記第１および第２のサイズ情報、前記視差情報および前記デバイス情報に基づいて前記複数の視点を決定することを特徴とする請求項１に記載の立体画像生成プログラム。
【請求項３】
物体の三次元モデル情報と、視点画像に対応する視点に仮想的に配置される仮想カメラの撮影パラメータに関するパラメータ情報と、該仮想カメラのビューサイズに関する第１のサイズ情報とを取得する第１の情報取得ステップと、
立体画像の観察に使用される立体表示デバイスに関するデバイス情報を取得する第２の情報取得ステップと、
前記パラメータ情報、前記第１のサイズ情報および前記デバイス情報に基づいて、前記立体表示デバイスに対応した複数の視点を決定する視点決定ステップと、
前記三次元モデル情報を用いて、前記視点決定ステップで決定された複数の視点に対応する複数の視点画像を生成し、該複数の視点画像を用いて前記立体画像を生成する画像生成ステップとを有することを特徴とする、コンピュータ上で動作する立体画像生成プログラム。
【請求項４】
前記第２の情報取得ステップにおいて、前記立体画像のサイズに関する第２のサイズ情報を取得し、
前記視点決定ステップにおいて、前記パラメータ情報、前記第１のサイズ情報、前記デバイス情報および前記第２のサイズ情報に基づいて、前記複数の視点を決定することを特徴とする請求項３に記載の立体画像生成プログラム。
【請求項５】
前記視点決定ステップにおいて、前記立体表示デバイスの視差許容範囲において最大の視差が得られるように前記複数の視点を決定することを特徴とする請求項１から４のいずれか１つに記載の立体画像生成プログラム。
【請求項６】
前記視点決定ステップにおいて、前記立体表示デバイスの視差許容量に基づいて前記複数の視点を決定することを特徴する請求項５に記載の立体画像生成プログラム。
【請求項７】
前記視点決定ステップにおいて、前記立体表示デバイスの解像力に基づいて前記複数の視点を決定することを特徴する請求項５に記載の立体画像生成プログラム。
【請求項８】
複数の第１の視点画像から該第１の視点画像のサイズに関する第１のサイズ情報および、前記複数の第１の視点画像間の視差に関する視差情報を取得する第１の情報取得手段と、
立体画像の観察に使用される立体表示デバイスに関するデバイス情報を取得する第２の情報取得手段と、
前記第１のサイズ情報、前記視差情報および前記デバイス情報に基づいて、前記立体表示デバイスに対応した複数の視点を決定する視点決定手段と、
前記第１の視点画像を用いて、前記視点決定手段で決定された複数の視点に対応する複数の第２の視点画像を生成し、該複数の第２の視点画像を用いて前記立体画像を生成する画像生成手段とを有することを特徴とする立体画像生成システム。
【請求項９】
物体の三次元モデル情報と、視点画像に対応する視点に仮想的に配置される仮想カメラの撮影パラメータに関するパラメータ情報と、該仮想カメラのビューサイズに関する第１のサイズ情報とを取得する第１の情報取得手段と、
立体画像の観察に使用される立体表示デバイスに関するデバイス情報を取得する第２の情報取得手段と、
前記パラメータ情報、前記第１のサイズ情報および前記デバイス情報に基づいて、前記立体表示デバイスに対応した複数の視点を決定する視点決定手段と、
前記三次元モデル情報を用いて、前記視点決定手段で決定された複数の視点に対応する複数の視点画像を生成し、該複数の視点画像を用いて前記立体画像を生成する画像生成手段とを有することを特徴とする立体画像生成システム。
【請求項１０】
複数の第１の視点画像から該第１の視点画像のサイズに関する第１のサイズ情報および、前記複数の第１の視点画像間の視差に関する視差情報を取得する第１の情報取得ステップと、
立体画像の観察に使用される立体表示デバイスに関するデバイス情報を取得する第２の情報取得ステップと、
前記第１のサイズ情報、前記視差情報および前記デバイス情報に基づいて、前記立体表示デバイスに対応した複数の視点を決定する視点決定ステップと、
前記第１の視点画像を用いて、前記視点決定ステップで決定された複数の視点に対応する複数の第２の視点画像を生成し、該複数の第２の視点画像を用いて前記立体画像を生成する画像生成ステップとを有することを特徴とする立体画像生成方法。
【請求項１１】
物体の三次元モデル情報と、視点画像に対応する視点に仮想的に配置される仮想カメラの撮影パラメータに関するパラメータ情報と、該仮想カメラのビューサイズに関する第１のサイズ情報とを取得する第１の情報取得ステップと、
立体画像の観察に使用される立体表示デバイスに関するデバイス情報を取得する第２の情報取得ステップと、
前記パラメータ情報、前記第１のサイズ情報および前記デバイス情報に基づいて、前記立体表示デバイスに対応した複数の視点を決定する視点決定ステップと、
前記三次元モデル情報を用いて、前記視点決定ステップで決定された複数の視点に対応する複数の視点画像を生成し、該複数の視点画像を用いて前記立体画像を生成する画像生成ステップとを有することを特徴とする立体画像生成方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
画像を立体的に観察する方法として、インテグラルフォトグラフィを用いる方法や、パララックスバリヤ、レンチキュラ板等の立体表示デバイスを用いた方法が知られている。そして、このような立体観察可能な画像（立体画像）を生成するためには、被写体を複数の視点から撮影した画像（視点画像）群を用意する必要がある。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
上記の目的を達成するために、１つの観点としての本発明の立体画像生成プログラムおよび方法（システム）は、複数の第１の視点画像から該第１の視点画像のサイズに関する第１のサイズ情報および、複数の第１の視点画像間の視差に関する視差情報を取得する第１の情報取得ステップ（第１の情報取得手段）と、立体画像の観察に使用される立体表示デバイスに関するデバイス情報を取得する第２の情報取得ステップ（第２の情報取得手段）と、該第１のサイズ情報、視差情報およびデバイス情報に基づいて、立体表示デバイスに対応した複数の視点を決定する視点決定ステップ（視点決定手段）と、第１の視点画像を用いて、視点決定ステップ（視点決定手段）で決定された複数の視点に対応する複数の第２の視点画像を生成し、該複数の第２の視点画像を用いて立体画像を生成する画像生成ステップ（画像生成手段）とを有する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
また、他の観点としての本発明の立体画像生成プログラムおよび方法（システム）は、物体の三次元モデル情報と、視点画像に対応する視点に仮想的に配置される仮想カメラの撮影パラメータに関するパラメータ情報と、該仮想カメラのビューサイズに関する第１のサイズ情報とを取得する第１の情報取得ステップ（第１の情報取得手段）と、立体画像の観察に使用される立体表示デバイスに関するデバイス情報を取得する第２の情報取得ステップ（第２の情報取得手段）と、該パラメータ情報、第１のサイズ情報およびデバイス情報に基づいて、立体表示デバイスに対応した複数の視点を決定する視点決定ステップ（視点決定手段）と、三次元モデル情報を用いて、視点決定ステップ（視点決定手段）で決定された複数の視点に対応する複数の視点画像を生成し、該複数の視点画像を用いて立体画像を生成する画像生成ステップ（画像生成手段）とを有する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
２０４は操作入力部であり、マウス、キーボード、ジョイスティック等により構成され、ユーザーがディスプレイ２０３上に表示されたメニュー画像を見ながらメニューを選択するのに用いられる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
なお、該入出力部２０５は、イーサネット(登録商標)等のネットワークに接続されたネットワークポートやフロッピー(登録商標)ディスク、ＭＯ（登録商標）、ＺＩＰ（登録商標）、ＣＤ−ＲＯＭ等の固定記録メディアで構成してもよい。なお、入出力部２０５を画像入力装置２０１と同じ機器により構成してもよく、この場合は画像入力装置２０１と入出力部２０５とを共用することができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
２０２２は大容量記憶装置であり、画像入力装置２０１等から読み込まれたステレオ画像や生成された仮想視点画像や立体画像データを保存したり、立体表示ディスプレイ２１０や像数に関連して経験的若しくは解析的に設定される表示視差範囲のパラメータの値を記憶したりする。該大容量記憶装置２０２２は、ハードディスク等により構成される。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
ステップＳ１０１では、ＣＰＵ２０２１は、ステレオ画像を画像入力装置２０１から入力し、大容量記憶装置２０２２に蓄積する。該入力ステレオ画像を構成する複数の視点画像（第１の視点画像）は、例えば図３に示すように、静止している被写体３０３〜３０５に対して、撮像機器３０１の視点（撮影位置）及び視線方向（撮影方向）を変化させながら被写体３０３〜３０５を撮影することにより得られる。図３においては、撮像機器３０１はデジタルカメラ若しくはビデオカメラである。３０２は視点および視線方向を変化させた後の撮像機器３０１を示している。なお、このように撮像機器を移動させながら撮影する代わりに、２眼以上の多眼カメラを用いてステレオ画像を撮影したり、カメラの撮影光学系にいわゆるステレオアダプタを装着又は組み込んだりしたステレオカメラを用いてもよい。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
次に、大まかな視点の移動量やカメラの手振れによる視点および視線方向の変動を考慮して、参照画像５０２中での対応点探索領域５０７を任意に定める。そして、対応点探索領域５０７内に存在する特徴点である参照点５０５を順次選択するとともに、該参照点５０５を中心とした、上記テンプレート５０３と同一のサイズのウィンドウ領域５０６について、基準画像５０１中のテンプレート５０３との相関値を求めていく。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
立体表示デバイスのそれぞれの仕様に対応する表示視差許容量は、事前に、実験的もしくは解析的に求められた、立体表示デバイスが有する個々の光学素子（例えば、レンチキュラ板を構成するレンチキュラレンズ）の解像力に基づいて計算される。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
ステップＳ１０４では、入力ステレオ画像から新たに生成する視点画像（第２の視点画像、以下、仮想視点画像という）の視点（以下、仮想視点という）の位置を決定する。仮想視点位置とは、仮想視点画像を仮想的に撮影したカメラ（仮想カメラ）による撮影位置を示す。本実施例では、仮想視点画像を立体画像に変換したときに、立体表示デバイス２１０を通して提示される立体像の全域において隣接する視点画像間での視差が表示視差許容量を超えない範囲で最大の視差となるという条件下で、仮想視点位置を決定する。具体的には、以下のように、基準となる仮想視点位置を決定した後、順次、上記条件のもとで他の仮想視点位置を決定していく。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
次に、求めた変倍率と、ステップＳ１０２により得られた基準となる視点画像の存在視差範囲、ステップＳ１０３により得られた隣接視点間の表示視差許容量を用いて、次段のステップＳ１０５で生成する仮想視点画像に対応する仮想視点位置を決定する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正の内容】
【００８３】
ここでは、まず隣接する仮想視点間の表示視差許容量に変倍率の逆数を積算することにより、入力ステレオ画像のスケールに対応する隣接視点間の視差許容量の範囲を求める。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【００８４】
次に、基準となる仮想視点を決定する。基準となる仮想視点の位置はどのような位置でもよいが、本実施例では、入力ステレオ画像の各視点を結ぶ基線上の中間点を基準仮想視点とする。そして、ステレオ画像のスケールに対応した隣接視点間の視差許容量を超えない範囲で仮想視点位置の変位を取り、順次、他の仮想視点位置を決定していく。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
このようにして得られる、隣接した仮想視点画像間での視差値が、入力ステレオ画像のスケールにおける隣接視点間の視差許容量に収まる範囲内で仮想視点位置の変位を取りながら、仮想視点位置を順次決定していく。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００９２
【補正方法】変更
【補正の内容】
【００９２】
図８（ａ）は、表示視差許容量が小さい場合において決定された仮想視点位置を、図８（ｂ）は表示視差許容量が大きい場合において決定された仮想視点位置である。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００９３
【補正方法】変更
【補正の内容】
【００９３】
９０１は入力ステレオ画像のうち一方の視点画像、９０２は他方の視点画像である。９０３，９０４は図８（ａ），（ｂ）のそれぞれの場合の仮想視点群である。９０５は入力ステレオ画像の２つの視点を結んだ中点に取った仮想視点の基準位置である。仮想視点群９０３，９０４の位置は、基準仮想視点を中心に水平方向に均等に分布するように決定している。当然、（ａ）の表示視差許容量が小さい場合の仮想視点群の広がりよりも、（ｂ）の表示視差許容量が大きい場合の仮想視点群の広がりの方が大きくなる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００９５
【補正方法】変更
【補正の内容】
【００９５】
本実施例においては、ビューモーフィング(View Morphing,Steven M.Seitz,C. R. Dyer,Proc. SIGGRAPH 96(1996))の原理を用いて、入力ステレオ画像から直接、仮想視点画像を生成する。ここでは、特開２００１−３４６２２６号公報において提案されている仮想視点の生成手法を用いた場合について、図９のフローチャートを用いて説明する。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０１０８
【補正方法】変更
【補正の内容】
【０１０８】
次に、図１におけるステップＳ１０６では、ステップＳ１０５において生成された仮想視点画像群を合成して立体画像を生成する。そして、生成された立体画像は、プリンタ２０６に出力されて印刷されたり、操作ディスプレイ２０３に出力されて表示されたりする。また、入出力部２０５から立体画像データとして出力される場合もある。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０１２４
【補正方法】変更
【補正の内容】
【０１２４】
上記実施例１においては、ステレオ画像を入力として、表示サイズ若しくは立体表示デバイスの種類や像数が変更されるごとに、観察者にクロストークによる不快感を与えない範囲で最も大きな立体感（視差）を与えるように、立体画像を生成するための仮想視点画像の視点位置を自動的に調整し、適切な立体感を感じさせる立体画像を生成したが、入力を三次元モデル情報とすることも可能である。
本実施例の立体画像生成システム構成は、実施例１のシステム構成と基本的に同じであるので、本実施例において共通する構成要素には実施例１と同符号を付す。但し、立体画像合成装置２０２における処理が図１０に示すフローチャートのように変更される。なお、該処理は、立体画像合成装置２０２のＣＰＵ２０２１内に格納されたコンピュータプログラムである立体画像合成プログラムに従って実行される。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】０１２７
【補正方法】変更
【補正の内容】
【０１２７】
更に、入力された三次元モデルの形状や配置を変更したい場合には、操作ディスプレイ２０３に仮想空間における三次元モデルの配置を表示し、操作入力部２０４を介して変形、移動、回転、反転、拡大・縮小等の操作を行う。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】０１４０
【補正方法】変更
【補正の内容】
【０１４０】
【図１】本発明の実施例１である立体画像生成システムの処理を示すフローチャート。
【図２】実施例１の立体画像生成システムの構成を示す図。
【図３】実施例１における入力ステレオ画像の撮影方法を説明する図。
【図４】実施例１において行われるステレオマッチングの方法を説明する図。
【図５】実施例１における立体表示デバイスと立体画像サイズを選択する様子を説明する図。
【図６】実施例１におけるクロストークの影響と表示視差許容量の関係を説明する図。
【図７】実施例１における入力ステレオ画像と仮想視点位置との関係を示す図。
【図８】実施例１における立体表示デバイスの違いによる仮想視点位置の違いを説明する図。
【図９】実施例１における仮想視点画像の生成手順を説明するフローチャート。
【図１０】本発明の実施例２である立体画像生成システムの処理を示すフローチャート。
【図１１】実施例２における三次元モデルからの仮想視点画像の生成を説明する図。
【図１２】立体表示デバイスの例を示す図。
【図１３】立体画像を構成する視点画像数の変化と射出される光束との関係を説明する図。
【図１４】立体表示デバイスの光学素子の形状による射出光束の変化を説明する図。
【図１５】立体画像の最適観察位置とクロストークの発生との関係を説明する図。
【図１６】立体画像を構成する視差画像数の変化と観察眼に入射する光束の幅との関係を説明する図。
【手続補正２３】
【補正対象書類名】図面
【補正対象項目名】図９
【補正方法】変更
【補正の内容】
【図９】
2006115198.tif 000001
【手続補正２４】
【補正対象書類名】図面
【補正対象項目名】図１２
【補正方法】変更
【補正の内容】
【図１２】
2006115198.tif 000002
【手続補正２５】
【補正対象書類名】図面
【補正対象項目名】図１３
【補正方法】変更
【補正の内容】
【図１３】
2006115198.tif 000003
【手続補正２６】
【補正対象書類名】図面
【補正対象項目名】図１６
【補正方法】変更
【補正の内容】
【図１６】
2006115198.tif 000004