【手続補正書】
【提出日】平成19年11月2日(2007.11.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
立体表示デバイスを用いた立体像観察を可能とする立体画像を生成する、コンピュータ上で動作する画像処理プログラムであって、
第１の立体表示デバイスにおける立体表示に関するパラメータである第１のパラメータおよび該第１のパラメータに対応した第１の立体画像を取得する第１のステップと、
第２の立体表示デバイスにおける立体表示に関するパラメータである第２のパラメータを取得する第２のステップと、
前記第１の立体画像と前記第１および第２のパラメータとに基づいて、前記第２のパラメータに対応した第２の立体画像を生成する第３のステップとを有することを特徴とする画像処理プログラム。
【請求項２】
前記第２の立体画像は、前記第１の立体画像に対して少なくとも画素配列が異なることを特徴とする請求項１に記載の画像処理プログラム。
【請求項３】
前記第１および第２のパラメータは、視点数、視点間隔、画素配列方式および視差量のうち少なくとも１つを含むことを特徴とする請求項１又は２に記載の画像処理プログラム。
【請求項４】
前記第３のステップにおいて、前記第２の立体画像を構成する画素のうち前記第１の立体画像に対応画素がない画素を生成する画素生成処理を行うことを特徴とする請求項１から３のいずれか１つに記載の画像処理プログラム。
【請求項５】
前記画素生成処理は、前記第１の立体画像を構成する画素の情報を用いた補間処理により行われることを特徴とする請求項４に記載の画像処理プログラム。
【請求項６】
前記第３のステップにおいて、前記第１の立体画像に基づいて該第１の立体画像の複数視点に対応する複数の視点画像を生成し、該複数の視点画像のうち少なくとも一部と前記第１および第２のパラメータとに基づいて前記第２の立体画像を生成することを特徴とする請求項１から５のいずれか１つに記載の画像処理プログラム。
【請求項７】
前記第３のステップにおいて、前記第１の立体画像に基づいて該第１の立体画像の複数視点に対応する複数の視点画像を生成し、かつ任意視点画像生成手法を用いて前記第２の立体画像の複数視点のうち前記第１の立体画像の視点に含まれない視点に対応する新規視点画像を生成し、前記複数の視点画像と前記新規視点画像と前記第１および第２のパラメータとに基づいて前記第２の立体画像を生成することを特徴とする請求項１から５のいずれか１つに記載の画像処理プログラム。
【請求項８】
前記第３のステップにおいて、前記複数の視点画像のうち少なくとも一部を、任意視点画像生成手法を用いて生成した、前記第２の立体画像の複数視点のうち前記第１の立体画像の視点に含まれない視点に対応する新規視点画像で置換することを特徴とする請求項６又は７に記載の画像処理プログラム。
【請求項９】
請求項１から８のいずれか１つに記載の画像処理プログラムが動作するコンピュータ部と、
前記第１の立体画像が入力される入力部と、
前記第２の立体画像が出力される出力部とを有することを特徴とする画像処理装置。
【請求項１０】
立体表示デバイスを用いた立体像観察を可能とする立体画像を生成する画像処理装置であって、
第１の立体表示デバイスにおける立体表示に関するパラメータである第１のパラメータ、該第１のパラメータに対応した第１の立体画像、および第２の立体表示デバイスにおける立体表示に関するパラメータである第２のパラメータを取得するデータ取得部と、
前記第１の立体画像と前記第１および第２のパラメータとに基づいて、前記第２のパラメータに対応した第２の立体画像を生成する画像生成部とを有することを特徴とする画像処理装置。
【請求項１１】
請求項１０に記載の画像処理装置と、
前記第２の立体画像を出力する立体表示デバイスとを有することを特徴とする立体表示システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、立体表示のための画像を生成する画像処理プログラム、画像処理装置およびこれを備えた立体表示システムに関するものである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
２次元ディスプレイ１２０３は、液晶パネル（ＬＣＤ）等の表示素子により構成される。画像処理装置１２０２は、２次元ディスプレイ１２０３上での表示を通じて、ユーザから対話的に合成画像変換や立体表示のために必要な情報を取得したり、該情報の取得をアシストしたりする。また、このディスプレイ１２０３には、画像処理装置１２０２での処理状況や各種操作メニューも表示される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
この立体ディスプレイ１２０５については、特開平１０−２３２６６５号公報にて提案されているように、２次元ディスプレイを３次元ディスプレイとして兼用してもよい。この場合、合成画像のみ３次元表示し、合成画像以外のデータは２次元表示する等、任意の使い分けを行うことができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
１２０６は別の第２の立体表示デバイスとしてのプリンタであり、画像処理装置１２０２で変換された合成画像を印刷する。プリンタ１２０６は、紙やフィルム等の通常媒体に限らず、レンチキュラシートやインテグラルフォトシート等、立体像を観察するための偏向光学素子に印刷することもできる。また、プリンタ１２０６として、合成画像をホログラム情報に変換して立体情報を印刷する、ホログラフィックステレオグラムプリンタ等、立体画像印刷を目的としたプリンタにより構成してもよい。なお、プリンタ１２０６としては、上記偏向光学素子と重ねることによって立体観察ができる紙等に印刷を行うプリンタであってもよい。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
ファイルヘッダに立体表示パラメータが含まれていない場合でも、対象となる立体表示デバイス名等をキーワードとしてヘッダ情報に含ませた立体表示パラメータのデータベースもしくはデータファイルを生成しておき、合成画像データファイルの読み込み時に該ファイルヘッダ中のキーワードに基づき、上記データベースもしくはデータファイル中から対応する立体表示パラメータを呼び出し、取得するようにしてもよい。データファイルやデータベースは、記憶メディアや端末の固定記憶領域、若しくは図１２に示したネットワーク１２０７上のデータベース１２０８に保有されていていればよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
立体表示パラメータを含むファイルヘッダが存在しない場合には、Ｓ２０３において、ユーザが入力合成画像に対応する立体表示パラメータを操作入力部１２０４を通じて入力する。例えば、立体表示パラメータを示す数値を直接入力したり、画素配列方式に関しては、その配列パターンを入力したり、配列を表す数式を入力したり、２次元ディスプレイ１２０３に表示された画素配列の候補から該当する画素配列を選択したりする。具体的には、図３のような画素配置を示す画素配列パターン又はその全体を類推可能とする部分パターン、数式等を入力する。また、立体表示デバイスの製造誤差を補正するピッチ合わせに関連する変倍情報等がある場合には、必要に応じて入力する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
入力合成画像では、実際の空間上で１画素を構成する赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つのサブ画素を、ディスプレイ上の異なる画素内に配置するようにしているが、出力合成画像では、実際の空間上で１画素を構成する赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つのサブ画素を、ディスプレイ上の同じ画素内に配置するようにしている。すなわち出力合成画像データは、図６に示すように、各色のサブ画素のみが集まった赤（Ｒ）レイヤー６０１、緑（Ｇ）レイヤー６０２および青（Ｂ）レイヤー６０３を１サブ画素分ずつずらして重ねたものに相当する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
ここで、図４の４０１の画素配列を持った合成画像を視点ごとに注目して見てみると、図７（ａ）に示すように、合成画像７０１上での各視点画像（ここでは第１視点に対応するＲ，Ｇ，Ｂの視点画像を示す）７０２は、該合成画像が生成される際の画素欠落によって画素情報（画素の色情報や輝度情報）を失った、まばらなサンプリングによる画像とみなすことができる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】変更
【補正の内容】
【００６９】
２２０５は視差マップであり、欠落画素を含む視点画像２２０３，２２０４間の個々の画素の視差量情報を示している。ここでは、隣接視点画像間の視差マップが隣接視点画像間のマッチングにより既に得られているとして説明する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１０７
【補正方法】変更
【補正の内容】
【０１０７】
Ｓ１３０３のマルチプレックス処理は、実施例１のＳ５０２と同様である。本実施例においてもＳ１３０１において、多視点画像内の欠落画素補間を適切に行うことにより、マルチプレックス処理が円滑に実施できる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１１３
【補正方法】変更
【補正の内容】
【０１１３】
図１６には、（ａ）に示す７視点の入力合成画像の視点位置を基準として９視点位置を選択および決定する例を示す。図中の点線は視点の移動軌跡を、丸印は入力合成画像の視点の相対的な位置を示す。また、二重丸印は、新規に生成が必要と決定された視点位置である。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１１６
【補正方法】変更
【補正の内容】
【０１１６】
多視点画像を入力とする新規視点画像の生成手法としては、背景技術の欄でも触れたように、イメージベースドレンダリングと呼ばれる技術がある。具体的には、入力多視点画像群から画像シーンのデプスもしくは視差分布情報を算出し、該デプスもしくは視差分布情報を利用し、入力多視点画像群の個々の画素を新たな（任意の）視点位置で観察したときに適切となる画面内位置にマップすることにより、任意の新規視点画像を生成することができる（例えば、特開２００３−２０９８５８号公報参照）。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１１７
【補正方法】変更
【補正の内容】
【０１１７】
また、任意の新規視点画像を生成する方法には、入力多視点画像群の各視点画像内に存在する個々のオブジェクトのモデル情報を抽出し、該オブジェクトモデルを用いてＣＧ空間にシーンを構築することにより、ＣＧ上の仮想カメラを任意の位置に想定することで任意の新規視点画像を生成することのできる、イメージベースドモデリングとＣＧとを組み合わせた手法を用いてもよい。なお、本発明で用いる任意視点画像生成方法としては、入力合成画像を構成する多視点画像群を入力として、任意の視点に対応する視点画像を生成することのできる手法であれば、どのような手法を用いてもよい。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１２０
【補正方法】変更
【補正の内容】
【０１２０】
実施例３では、入力合成画像から生成された入力多視点画像群に任意視点画像生成手法により生成した新規視点画像を加えた多視点画像群から出力合成画像を生成したが、本実施例４では、入力合成画像から生成された多視点画像群の一部を任意視点画像生成手法によって生成した新規視点画像に置き換えて、第２の立体表示デバイスの視点数に対応した数の多視点画像群を用意し、出力合成画像を生成する。これにより、立体像の立体感や見えを調整した立体像を表示することができる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１２１
【補正方法】変更
【補正の内容】
【０１２１】
ここでは、出力合成画像の視点数が入力合成画像の視点数より多く、かつ入力合成画像から生成した多視点画像群の一部を上述した任意視点画像生成手法により生成した新規視点画像によって置き換え、さらに該任意視点画像生成手法により生成した出力合成画像における新規な視点に対応した視点画像をこれに加えて、出力合成画像を生成する場合について説明する。なお、本実施例に係る立体表示システムの構成は、実施例１と同様である。また、入力合成画像から生成した多視点画像群の全てを任意視点画像生成手法により生成した新規視点画像によって置き換えるようにしてもよい。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１３６
【補正方法】変更
【補正の内容】
【０１３６】
１７０５は、第２の立体表示デバイスとしての時分割立体ディスプレイであり、２つの視点画像を時系列的に（交互に）表示するＬＣＤ等の２次元ディスプレイ１７０５ａに、観察者の左右の眼に２次元ディスプレイ１７０５ａからの光を交互に導くように２つの領域で遮光状態と透光状態とが交互に切り換わる液晶シャッタ１７０５ｂを組み合わせたものである。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１３７
【補正方法】変更
【補正の内容】
【０１３７】
また、入力合成画像から１枚の視点画像を出力し、２次元ディスプレイ１７０３に２次元画像を表示したり、プリンタ１７０６で印刷したりしてもよい。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０１３９
【補正方法】変更
【補正の内容】
【０１３９】
図２０には、本実施例における画像変換手順を示している。Ｓ１９０１（入力合成画像の入力ステップ）およびＳ１９０２（入力合成画像の立体表示パラメータ取得ステップ）については、実施例１のＳ１０１およびＳ１０２と同様である。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０１４１
【補正方法】変更
【補正の内容】
【０１４１】
本実施例６では、実施例５で説明した多視点画像群への変換処理において、上述した任意視点画像生成手法を用いて新規視点画像を生成し、入力合成画像から直接生成した視点画像を置き換えたり該多視点画像群に追加したりすることができる場合について説明する。これにより、実施例５で説明した時分割立体ディスプレイ１７０５における立体像の見えを変更することができる。また、時分割立体ディスプレイ１７０５と頭部位置の検出装置とを組み合わせた立体表示デバイスを用いる場合に、立体表示パラメータとして該検出装置からの頭部位置情報を取得して、任意の２視点に対応した視点画像を生成することもできる。生成した新規視点画像は、実施例５の２次元ディスプレイ１７０３に２次元画像として表示させたり、プリンタ１７０６で印刷したりすることもできる。なお、本実施例の構成は実施例５と同様である。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】０１４２
【補正方法】変更
【補正の内容】
【０１４２】
本実施例における画像変換手順を図２０に示す。このうち、Ｓ１９０１（入力合成画像の入力ステップ）、Ｓ１９０２（入力合成画像の立体表示パラメータ取得ステップ）については実施例５と同じである。
【手続補正２２】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2006115246.tif 000001
【手続補正２３】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2006115246.tif 000002
【手続補正２４】
【補正対象書類名】図面
【補正対象項目名】図１２
【補正方法】変更
【補正の内容】
【図１２】
2006115246.tif 000003
【手続補正２５】
【補正対象書類名】図面
【補正対象項目名】図１３
【補正方法】変更
【補正の内容】
【図１３】
2006115246.tif 000004
【手続補正２６】
【補正対象書類名】図面
【補正対象項目名】図１５
【補正方法】変更
【補正の内容】
【図１５】
2006115246.tif 000005
【手続補正２７】
【補正対象書類名】図面
【補正対象項目名】図１９
【補正方法】変更
【補正の内容】
【図１９】
2006115246.tif 000006
【手続補正２８】
【補正対象書類名】図面
【補正対象項目名】図２１
【補正方法】変更
【補正の内容】
【図２１】
2006115246.tif 000007