(57)【要約】      【課題】  編集された立体画像情報から印刷装置に適した立体印刷画像を生成し、これを印刷することが可能な立体画像印刷システムを提供する。      【解決手段】  立体画像印刷システムは、立体画像生成に用いられる第１の立体画像情報を保存した管理装置１０５と、立体画像編集を行う編集装置１０１と、立体画像印刷を行う印刷装置１０４とを用いる。編集装置は、管理装置から受け取った第１の立体画像情報を立体編集操作（１０２）に応じて編集する。管理装置は、編集装置において編集された第２の立体画像情報を受け取り、該第２の立体画像情報と印刷装置の立体印刷に関する立体印刷情報とに基づいて立体印刷画像を生成し、印刷装置に該立体印刷画像の印刷を行わせる。    【選択図】  図１
2006107213.tif 000002
【特許請求の範囲】
【請求項１】
立体画像生成に用いられる第１の立体画像情報を保存した管理装置と、
立体画像編集を行う編集装置と、
立体画像印刷を行う印刷装置とを有し、
前記編集装置は、前記管理装置から受け取った前記第１の立体画像情報を立体編集操作に応じて編集し、
前記管理装置は、前記編集装置において編集された第２の立体画像情報を受け取り、該第２の立体画像情報と前記印刷装置の立体印刷に関する立体印刷情報とに基づいて立体印刷画像を生成し、前記印刷装置に該立体印刷画像の印刷を行わせることを特徴とする立体画像印刷システム。
【請求項２】
前記編集装置は、前記第１の立体画像情報を用いて立体画像を生成し、該立体画像を立体ディスプレイデバイスに表示することを特徴とする請求項１に記載の立体画像印刷システム。
【請求項３】
前記管理装置は、前記第２の立体画像情報と、前記立体ディスプレイデバイスの立体表示に関する立体表示情報と前記立体印刷情報とに基づいて前記立体印刷画像を生成することを特徴とする請求項２に記載の立体画像印刷システム。
【請求項４】
前記管理装置は、前記第２の立体画像情報又は前記立体印刷画像を保存し、その後の前記編集装置からの要求に応じて前記印刷装置に前記立体印刷画像の印刷を行わせることを特徴とする請求項１から３のいずれか１つに記載の立体画像印刷システム。
【請求項５】
管理装置と、
立体画像編集を行う編集装置と、
立体画像印刷を行う印刷装置とを有し、
前記編集装置は、撮影装置から取得した撮影画像を用いた立体編集操作に応じて、立体画像生成に用いられる立体画像情報を生成し、
前記管理装置は、前記編集装置から前記立体画像情報を受け取り、該立体画像情報と前記印刷装置の立体印刷に関する立体印刷情報とに基づいて立体印刷画像を生成し、前記印刷装置に該立体印刷画像の印刷を行わせることを特徴とする立体画像印刷システム。
【請求項６】
前記編集装置は、前記立体画像情報を用いて立体画像を生成し、該立体画像を立体ディスプレイデバイスに表示することを特徴とする請求項５に記載の立体画像印刷システム。
【請求項７】
前記管理装置は、前記立体画像情報と、前記立体ディスプレイデバイスの立体表示に関する立体表示情報と前記立体印刷情報とに基づいて前記立体印刷画像を生成することを特徴とする請求項６に記載の立体画像印刷システム。
【請求項８】
前記管理装置は、前記立体画像情報に基づいて、前記編集装置において前記立体画像を生成するために用いられる視点画像を生成することを特徴とする請求項５から７のいずれか１つに記載の立体画像印刷システム。
【請求項９】
前記管理装置は、前記立体画像情報又は前記立体印刷画像を保存し、その後の前記編集装置からの要求に応じて前記印刷装置に前記立体印刷画像の印刷を行わせることを特徴とする請求項５から８のいずれか１つに記載の立体画像印刷システム。
【請求項１０】
前記立体印刷情報が異なる複数の印刷装置を有し、
前記編集装置は、前記複数の印刷装置のうち前記立体印刷画像の印刷を行わせる印刷装置を前記管理装置を介して指定することを特徴とする請求項１から９のいずれか１つに記載の立体画像印刷システム。
【請求項１１】
前記管理装置、前記編集装置および前記編集装置は、通信網を介して相互に通信が可能であることを特徴とする請求項１から１０のいずれか１つに記載の立体画像印刷システム。
【請求項１２】
前記管理装置は、前記立体印刷画像の生成又は印刷に対して課金することを特徴とする請求項１から１１のいずれか１つに記載の立体画像印刷システム。
【請求項１３】
前記管理装置は、前記印刷装置に、前記立体印刷画像を印刷する媒体に対してマークを印刷させることを特徴とする請求項１から１２のいずれか１つに記載の立体画像印刷システム。
【請求項１４】
印刷装置より印刷される立体印刷画像を生成する立体画像編集装置であって、
立体画像生成に用いられる第１の立体画像情報を保存する記憶部と、
前記記憶部から読み出した前記第１の立体画像情報を編集操作に応じて編集する編集部と、
前記編集部において編集された第２の立体画像情報と前記印刷装置の立体印刷に関する立体印刷情報とに基づいて前記立体印刷画像を生成する画像生成部とを有することを特徴とする立体画像編集装置。
【請求項１５】
印刷装置より印刷される立体印刷画像を生成する立体画像編集装置であって、
撮影装置から撮影画像を取得する画像取得部と、
前記撮影画像を用いた立体編集操作に応じて、立体画像生成に用いられる立体画像情報を生成する情報生成部と、
前記立体画像情報と前記印刷装置の立体印刷に関する立体印刷情報とに基づいて前記立体印刷画像を生成する画像生成部とを有することを特徴とする立体画像編集装置。
【請求項１６】
該立体画像編集装置は、前記立体画像情報に基づいて生成した立体画像を立体ディスプレイデバイスに表示し、
前記画像生成部は、前記立体画像情報と前記立体ディスプレイデバイスの立体表示に関する立体表示情報と前記立体印刷情報とに基づいて前記立体印刷画像を生成することを特徴とする請求項１４又は１５に記載の立体画像編集装置。
【請求項１７】
立体画像生成に用いられる第１の立体画像情報を保存する管理装置と、立体画像編集を行う編集装置と、立体画像印刷を行う印刷装置とを有する立体画像印刷システムを用いた立体画像印刷方法であって、
前記編集装置において、前記管理装置から受け取った前記第１の立体画像情報を立体編集操作に応じて編集するステップと、
前記管理装置において、前記編集装置で編集された第２の立体画像情報を受け取り、該第２の立体画像情報と前記印刷装置の立体印刷に関する立体印刷情報とに基づいて立体印刷画像を生成するステップと、
前記印刷装置において、該立体印刷画像の印刷を行うステップとを有することを特徴とする立体画像印刷方法。
【請求項１８】
管理装置と、立体画像編集を行う編集装置と、立体画像印刷を行う印刷装置とを有する立体画像印刷システムを用いた立体画像印刷方法であって、
前記編集装置において、撮影装置から取得した撮影画像を用いた立体編集操作に応じて、立体画像生成に用いられる立体画像情報を生成するステップと、
前記管理装置において、前記編集装置から前記立体画像情報を受け取り、該立体画像情報と前記立体画像印刷装置の立体印刷に関する立体印刷情報とに基づいて立体印刷画像を生成するステップと、
前記印刷装置において、該立体印刷画像の印刷を行うステップとを有することを特徴とする立体画像印刷方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像の印刷システムに関し、特に立体画像情報を編集し、該編集結果を立体印刷するシステに関する。
【背景技術】
【０００２】
立体画像を立体表示する手法としては様々な方式が開発されているが、その中でも、左右両眼に視差のある画像を提示して観察者に立体視させるという、両眼視差を利用した立体表示装置が広く用いられている。特に異なる２つの視点で取得／生成された画像を提示する二眼式立体表示方式は、多数実用化されている。さらに、多数の視点を含む視域を持ち、滑らかな運動視差を実現する多眼式立体画表示方式も検討されている。
【０００３】
例えば、特許文献１にて提案の画像処理装置においては、立体写真アダプタを有するカメラにて撮影されたステレオ画像の奥行き分布を示す視差マップを抽出し、該視差マップとステレオ画像とに基づいて、撮影していない複数視点からの被写体の多視点画像シーケンスを作成する。そして、作成した多視点画像シーケンスから所定の光学部材に応じた画素配列を有する多眼合成画像を作成し、該多眼合成画像を印刷装置により印刷する。そして、印刷された多眼合成画像を所定の光学部材を用いて観察することで、滑らかな運動視差を観察できる。
【０００４】
図１６には、４台のカメラを用いて多眼式立体表示方式のための二次元画像を取得している様子を模式的に表している。この図では、基線１６０５上に、4台のカメラ１６０１〜１６０４が、それらの光学中心（撮影光軸）が互いに平行になるように所定の間隔を空けて配置されている。そして、各カメラで取得した二次元画像（視点画像）から、図１７に示すようなレンチキュラーレンズ１７０２を利用して観察した場合に立体視できる画素配列を有する多眼合成画像を生成する。
【０００５】
ここで、ｊ番目視点の画素値をＰｊｍｎ（ただし、ｍ、ｎはそれぞれ水平、垂直方向の画素配列のインデックスとする）としたとき、ｊ番目の画像データは以下のような二次元配列として表される。
【０００６】
【数１】
2006107213.tif 000003
【０００７】
観察する光学系としてレンチキュラーレンズを考えているため、合成画像の画素配列はそれぞれの視点画像を垂直方向に１ライン毎に短冊（ストライプ）状に分解し、これらの短冊状の画素ラインを視点の並び順とは逆の順序で水平方向に視点数分並べたものになる。従って、多眼合成画像は以下に示すような画素配列を有したストライプ画像となる。
【０００８】
【数２】
2006107213.tif 000004
【０００９】
ここでは、視点１に対応した視点画像の画素（図１６の丸囲み数字１）が左端に、視点４に対応した視点画像の画素（図１６の丸囲み数字４）が右端に並べられ、これらが循環的に繰り返される場合を示している。
【００１０】
ここで、視点画像の並び順を視点の並び順の逆にするのは、レンチキュラーレンズにより観察する際、該レンチキュラーレンズのレンズ部の１ピッチ内で画像が左右逆に観察されるためである。
【００１１】
この多眼合成画像は、元の各視点画像がＨ×ｖのサイズのＮ視点画像である場合、Ｘ（＝Ｎ×Ｈ）×ｖのサイズとなる。
【００１２】
次に、この多眼合成画像に対して、レンチキュラーレンズの各レンズ部のピッチ合せを行う。１ピッチにはＲＰｄｐｉの画素がＮ画素分存在するので、１ピッチはＮ／ＲＰｉｎｃｈとなるが、レンチキュラーレンズのピッチがＲＬｉｎｃｈとすると、画像を水平方向にＲＬ×ＲＰ／Ｎ倍してピッチを合せる。
【００１３】
またこのとき、垂直方向の画素数は（ＲＬ×ＲＰ／Ｎ）×Ｙ画素となる必要があるので、垂直方向に（ＲＬ×ＲＰ×Ｙ）／（Ｎ×ｖ）倍にして倍率を合せる。
【００１４】
従って、多眼合成画像に以上のような水平・垂直方向の変倍処理を行った画像を生成して印刷し、図１７のような印刷結果１７０１にレンチキュラーレンズ１７０２を重ね合わせて観察することで立体像として観察することができる。
【００１５】
なお、ここでは説明のため、視点画像を撮影するカメラを４台用いる場合について説明するが、この場合よりカメラ台数が多い場合や１台のカメラを移動させて撮影した場合、さらには特許文献１にて提案されているステレオアダプタ付きカメラによりステレオ画像を入力し、そのステレオ画像から対応点抽出を行い、該抽出結果から奥行きを表す視差マップを作成して、該視差マップをフォワードマッピングすることで、撮影していない位置（新規視点）に対応した二次元画像を作成した場合でも同様に多眼合成画像は生成される。
【００１６】
一方、立体表示装置の中で、従来用いられているレンチキュラーレンズを使用したものの一例を図１８に示す。
【００１７】
図１８に示す立体表示装置では、レンチキュラーレンズ１８０１の背後に液晶ディプレイ部１８０２が配置されている。液晶ディスプレイ部１８０２は、ガラス基板１８０２１，１８０２３の間に液晶による表示画素部１８０２２が配置されて構成されている。表示画素部１８０２２は、レンチキュラーレンズ１８０１の焦点面に配置されている。
【００１８】
表示画素部１８０２２に、図１７に示したように所定の撮影位置で取得・生成された二次元のストライプ画像を描画することで、観察者の両眼１８０３，１８０４に視差のある画像を提示することで立体視が可能である。さらに本出願人は、マトリクス状に多眼合成画像を形成し、その前面にマトリクス配列に対応した開口マスクを配置し、横方向のレンチキュラーレンズなどを利用して各画素水平列が対応するマスクの水平列のみに入射するようにすることで、多眼合成画像の解像度劣化を目立たせなくした立体表示装置も提案している。
【特許文献１】特開２００１−３４６２２６号公報（段落００１２等）
【発明の開示】
【発明が解決しようとする課題】
【００１９】
ところで、これまで説明したような立体表示装置や立体画像印刷装置には、同様の立体視技術を用いているが、立体視に用いられる光学部材や画素解像度、さらには表示サイズ等の違いから、立体視するための立体画像に関しては個々の装置に特化した形で作成されるのが一般的である。
【００２０】
このため、ある立体表示装置で立体画像を立体視しながら編集しても、立体画像印刷装置で同様の立体感を有する立体画像を印刷することが難しい。
【００２１】
本発明は、編集された立体画像情報から印刷装置に適した立体印刷画像を生成し、これを印刷することが可能な立体画像印刷システムを提供することを目的の１つとする。
【課題を解決するための手段】
【００２２】
１つの観点としての本発明の立体画像印刷システム（又はこれを用いた立体画像印刷方法）は、立体画像生成に用いられる第１の立体画像情報を保存した管理装置と、立体画像編集を行う編集装置と、立体画像印刷を行う印刷装置とを用いる。編集装置は、管理装置から受け取った前記第１の立体画像情報を立体編集操作に応じて編集する。管理装置は、編集装置において編集された第２の立体画像情報を受け取り、該第２の立体画像情報と印刷装置の立体印刷に関する立体印刷情報とに基づいて立体印刷画像を生成し、前記印刷装置に該立体印刷画像の印刷を行わせる。
【００２３】
また、他の観点としての本発明の立体画像印刷システム（又はこれを用いた立体画像印刷方法）は、管理装置と、立体画像編集を行う編集装置と、立体画像印刷を行う印刷装置とを用いる。編集装置は、撮影装置から取得した撮影画像を用いた立体編集操作に応じて、立体画像生成に用いられる立体画像情報を生成する。管理装置は、編集装置から立体画像情報を受け取り、該立体画像情報と印刷装置の立体印刷に関する立体印刷情報とに基づいて立体印刷画像を生成し、印刷装置に該立体印刷画像の印刷を行わせる。
【発明の効果】
【００２４】
本発明によれば、立体画像編集装置での立体編集操作により得られた立体画像情報と立体印刷情報とに基づいて、印刷装置に対応した立体印刷画像を容易に生成および印刷することができる。
【００２５】
また、立体ディスプレイデバイスでの立体視を行いながら立体編集を行う場合において、立体画像情報と立体印刷情報と立体表示情報とに基づいて立体印刷画像を生成および印刷するようにすれば、立体ディスプレイデバイスにより観察した立体像と同様の立体像を立体印刷画像を用いて観察することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００２７】
図１には、本発明の実施例１である立体画像印刷システムの構成を示す。本実施例の立体画像印刷システムは、立体ディスプレイデバイス１０３に立体表示させる立体表示制御端末１０１および立体画像情報を管理する立体画像管理サーバー１０５および立体画像印刷装置１０４がネットワーク１０６を介して相互に接続されて構成されている。
【００２８】
立体画像管理サーバー１０５は、立体画像情報記憶部１０５１と、データ送受信部１０５２と、立体画像生成部１０５３とを有し、例えば汎用コンピュータにより構成される。
【００２９】
立体画像情報記憶部１０５１では、一般的な三次元モデル作成ソフトなどによって作成された三次元シーンや三次元モデルといった立体画像生成に用いられる立体画像情報が記憶されている。三次元モデルは、頂点、表面の反射特性およびテクスチャなどから構成される。また、表示解像度を立体表示制御端末１０１や通信網の通信速度に対応させるため、同一の三次元シーンや三次元モデルであっても頂点数やテクスチャの細かさなどが異なる三次元モデルや三次元シーンを複数記憶するようにしてもよい。
【００３０】
立体画像生成部１０５３は、後述する立体画像印刷装置１０４に好適な立体印刷画像を生成する。データ送受信部１０５２は、ネットワーク１０６を介して立体表示制御端末１０１や立体画像印刷装置１０４と各種データの送受信を行う。
【００３１】
立体表示制御端末１０１は、特定の光学系を介して立体視を行う立体ディスプレイデバイス１０３および利用者が立体表示制御端末１０１に対して対話的に操作を入力するための操作入力装置１０２と接続されている。この立体表示制御端末１０１は、例えば汎用コンピュータにより構成され、操作入力装置１０２を介して、立体画像管理サーバー１０５より取得した三次元シーンや三次元モデルを選択したり、対話的に立体感や三次元モデルの位置、向き、視点位置を変更したりすることにより、立体ディスプレイデバイス１０３上で立体視を行いながら立体的な調整・加工等の編集を行うことができる立体画像編集装置として機能する。
【００３２】
立体表示制御端末１０１は、データ送受信部１０１１と、立体画像情報一時記憶部１０１４と、立体表示情報記憶部１０１５と、立体表示画像生成部１０１２と、立体情報管理部１０１３とを有する。
【００３３】
データ送受信部１０１１は、立体画像管理サーバー１０５とネットワーク１０６を介して画像データ等を送受信する。立体画像情報一時記憶部１０１４は、三次元シーン、三次元モデルなどの立体画像情報を記憶する。立体表示情報記憶部１０１５は、立体ディスプレイデバイス１０３の立体表示に関する該ディスプレイ固有のパラメータ、すなわち立体表示情報を記憶する。立体表示画像生成部１０１２は、立体ディスプレイデバイス１０３に表示させる立体表示画像を生成する。立体情報管理部１０１３は、三次元シーン、三次元モデル等の立体画像情報および利用者が入力した三次元シーンに対する調整・加工等の立体編集操作に係る情報（立体編集情報）の全てを管理する。
【００３４】
操作入力装置１０２は、利用者が立体表示制御端末１０１に対する操作コマンドを指示したり、立体表示している三次元モデルを移動させたり視点位置を移動させたりするためのポインティングデバイスであり、ボタン、マウス、ジョイスティック、キーボード等から構成される。
【００３５】
立体ディスプレイデバイス１０３は、特定の光学部材を介して立体表示制御端末１０１で作成された立体画像を表示し立体視させるデバイスであり、例えば図１８に示した構成のレンチキュラーレンズを利用したステレオディスプレイなどで構成される。
【００３６】
立体画像印刷装置１０４は、データ送受信部１０４１、立体印刷情報記憶部１０４２および印刷部１０４３を有する。データ送受信部１０４１は通信網を介して立体画像管理サーバー１０５と各種データの送受信を行う。立体印刷情報記憶部１０４２は、立体画像印刷装置１０４の立体印刷に関するパラメータである装置固有の情報を記憶する。印刷部１０４３は、立体画像管理サーバー１０５より転送された立体印刷画像を所定の媒体に印刷し、最終的に印刷結果に対して所定の光学部材を介して立体視することで立体像を観察することが可能になる。
【００３７】
ネットワーク１０６は、立体表示制御端末１０１、立体画像管理サーバー１０５および立体画像印刷装置１０４を結ぶ通信網であり、インターネットなどのオープンネットワークやＬＡＮなどのクローズドネットワーク、あるいはそれらの組み合わせであるイントラネット、若しくは有線、無線などいずれの形態のものであってもよい。このネットワークにおけるデータの送受信は、公知のデータ転送技術を用いることが好適である。
【００３８】
次に、図２を用いて本実施例における立体表示制御端末１０１および立体画像管理サーバー１０５の物理的構成を示す。立体表示制御端末１０１は、前述したように汎用コンピュータにて構成されており、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、キーボード２０４およびマウス２０５が接続されたインターフェース（Ｉ／Ｆ）２０６と、立体ディスプレイデバイス１０３が接続された表示コントローラ２０８と、ハードディスク（ＨＤ）２０９およびフロッピー（登録商標）ディスク（ＦＤ）２１０が接続されたディスクコントローラ２１１と、ネットワークコントローラ２１２とがシステムバス２１３を介して互いに通信可能に接続された構成を有する。システムバス２１３は、ネットワークコントローラ２１２を介してネットワーク２１４（図１の１０６）と接続される。
【００３９】
ＣＰＵ２０１は、ＲＯＭ２０２或いはＨＤ２０９に記憶されたソフトウェア、或いはＦＤ２１０から供給されるソフトウェアを実行することで、システムバス２１３に接続された各構成部を統括的に制御する。即ち、ＣＰＵ２０１は、所定の処理プログラムをＲＯＭ２０２或いはＨＤ２０９あるいはＦＤ２１０から読み出して実行することで、本実施例での各機能を実現するための制御を行う。
【００４０】
ＲＡＭ２０３は、ＣＰＵ２０１の主記憶部或いはワークエリア等として機能する。Ｉ／Ｆ２０６は、キーボード２０４やマウス２０５のようなポインティングデバイスからの指示入力を制御する。
【００４１】
表示コントローラ２０８は立体表示装置２０７の表示、例えばＧＵＩ表示などを制御する。ディスクコントローラ２１１は、ブートプログラム、種々のアプリケーション、編集ファイル、ユーザーファイル、ネットワーク管理プログラムおよび本実施例における上記処理プログラム等を記憶するＨＤ２０９およびＦＤ２１０とのアクセスを制御する。ネットワークコントローラ２１２は、ネットワーク２１４上の機器と双方向のデータの送受信を制御する。
【００４２】
以上の各部の動作により、立体表示制御端末１０１に接続されている立体ディスプレイデバイス１０３で立体視による立体画像の観察を行うことが可能となる。なお、本発明では、立体表示制御端末１０１として上述の構成を有するコンピュータに限定されるものではない。例えば、立体ディスプレイデバイス１０３や操作入力装置１０２と一体になった携帯情報端末や携帯電話などの携帯型情報処理装置、さらには本処理に特化した専用処理ボードやチップなどであってもよい。
【００４３】
次に、本実施例の立体画像印刷システムにおける全体の処理の流れを図３のフローチャートおよび図４のシーケンス図を用いて詳細に説明する。
【００４４】
まず、ステップＳ３０１において、立体表示制御端末１０１は、操作入力装置１０２からの入力に応じて、立体画像管理サーバー１０５に登録されている３次元シーンおよび３次元モデル等の立体画像情報の一覧を要求する（図４の４０１）。そして、操作入力装置１０２に該一覧を表示する。図５に、一覧表示画面の例を示す。図５において、ウィンドウ５０１は、立体画像管理サーバー１０５に登録されている３次元シーンおよび３次元モデル５０２の一覧を表示する。
【００４５】
そして、立体表示制御端末１０１は、操作入力装置１０２からの選択入力に応じて、選択された三次元シーンや三次元モデルを立体画像管理サーバー１０５からダウンロードする（図４の４０２）。この際、立体ディスプレイデバイス１０３の表示画素数などの表示性能から、ダウンロードする三次元モデルの詳細度（頂点数）などを利用者に選択させるようにしてもよい。また、立体画像管理サーバー１０５と立体表示制御端末１０１との通信時に、立体表示制御端末１０１の立体表示性能に関わる情報の送信を受けた立体画像管理サーバー１０５が、自動的に転送すべき立体画像情報の詳細度を変更するようにしてもよい。さらには、通信網の帯域や通信負荷状況などの情報から、三次元シーンや三次元モデルが順次高精細になるよう段階的に転送してもよい。
【００４６】
次に、ステップＳ３０２において、立体表示制御端末１０１は、立体画像管理サーバー１０５からダウンロードした三次元シーン、三次元モデルの立体表示を行う。このステップの処理の流れを図６のフローチャートおよび図７を用いて説明する。
【００４７】
まず、ステップＳ６０１では、ダウンロードした三次元シーン、三次元モデルを図７のように配置する。図７の場合は、三次元モデルを三次元シーンの概略中心として初期配置する。このステップの処理の結果、図８に示すように、三次元シーン、三次元モデルの全ての情報を統一的に管理するツリー構造が作成される。図８のツリー構造は、三次元シーン、三次元モデルおよび各三次元データの諸属性や三次元モデルに対する操作（移動、回転、拡大・縮小）などの情報の全てを管理するのに好適なデータ構造であり、一般的なコンピュータグラフィクスソフトウェアで採用されているデータ形式である。
【００４８】
図８において、８０１はツリー構造のルートノードであり、三次元シーン中の全てのオブジェクトがこのルートノードより下に作成される。８０２は節であり、その節８０２以下にオブジェクトが存在することを意味している。例えば、三次元モデルのモデル情報８０３およびそのモデルの三次元中の位置情報８０４などが管理されている。８０５は三次元シーンの大きさなどの属性を示している。このように、三次元シーン中の全てのオブジェクトをツリー構造で表現することで、対話的なソフトウェアの作成が容易となる。
【００４９】
次に、ステップＳ６０２においては、三次元シーン内に配置された三次元モデル全体が入るように仮想視点中心および視線を決定する。仮想視点中心とは、実際にその位置に仮想視点を配置するのではなく、そこを中心に立体ディスプレイデバイス１０３に適した視差を有する立体画像を取得するための中心を意味する。仮想視点中心が決定した後、視線を決定するが、ここでは、三次元シーンの中心点を注目点とし、仮想視点中心から該注目点に向かう方向を視線とする（図７中の７０３）。
【００５０】
次に、ステップＳ６０３においては、ステップＳ６０２において決定した仮想視点中心を中心として、立体ディスプレイデバイス１０３で立体観察に好適な視差を有するように仮想視点位置（仮想カメラの位置）を設定する。立体ディスプレイデバイス１０３の立体表示方式が、例えば２眼式ステレオ方式であれば、図７に示すように、仮想視線中心７０２を中心とした７０４および７０５の位置に仮想視点位置を設定する。また、ステップＳ６０２で指定した注目点を向くように各仮想視点からの視線を設定する。
【００５１】
次に、ステップＳ６０４において、ステップＳ６０３で設定した複数の仮想カメラをレンダリングし、立体画像を生成する。ここで、立体画像とは、立体ディスプレイデバイス１０３の表示形式に好適な形式で合成された画像であり、例えばレンチキュラーレンズを利用した立体ディスプレイデバイスに対しては、各視点の画像を短冊状に分割し、視点の並び順とは逆の順序で短冊（ストライプ）画像を並べて合成した画像になる。
【００５２】
そして、最終的にステップＳ６０５にて、ステップＳ６０４で作成した立体画像を立体ディスプレイデバイス１０３に転送する。立体ディスプレイデバイス１０３に表示された立体画像は、所定の光学系を介することにより立体視することができる。
【００５３】
なお、ここでは説明を簡単にするために、立体ディスプレイデバイス１０３をステレオ方式とした場合について説明したが、それ以上の視点数を有する多眼立体方式であってもよい。また、本出願人が提案している多眼合成画像がマトリクス状に配置される表示方式でもよい。この場合、その表示方式に応じた仮想カメラ位置が設定される。このように、本発明は、複数の視点から見た二次元画像で構成可能な立体画像を表示する全ての立体表示方式に適用可能である。
【００５４】
次に図３のステップＳ３０３においては、立体ディスプレイデバイス１０３で立体視を行いながら立体表示制御端末１０１において３次元モデル、仮想視点位置などの編集を行う（図４の４０３）。この編集作業の概念を図９に示す。図９において、立体ディスプレイデバイス１０３の表示領域９０１内には、３次元シーン表示領域９０２と、操作対象選択ボタン９０４（９０４１〜９０４３）と、操作内容指示ボタン９０５（９０５１〜９０５５）と、増減ボタン９０６，９０７とが表示されている。
【００５５】
三次元シーン表示領域９０２は、ステップＳ３０１で選択してダウンロードした三次元シーンおよび三次元モデルが該立体ディスプレイデバイス１０３に適した形で立体表示されている。また、操作対象選択ボタン９０４１〜９０４３のうち、９０４１はライトを、９０４２は三次元モデルを、９０４３は仮想視点中心を示している。これらのうち、何れかを選択した後、操作内容指示ボタン９０５１〜９０５４を指定する。操作内容指示ボタン９０５１〜９０５４のうち９０５１は立体表示されている立体感の調整を選択するボタンであり、９０５２は選択対象物体の回転を、９０５３は平行移動を、９０５４は拡大・縮小を選択するボタンである。操作対象選択ボタン９０４１〜９０４３および操作内容指示ボタン９０５１〜９０５４のいずれかを操作し、増減ボタン９０６（Ｘ−Ｙ方向）および９０７（奥行き方向）を操作することで、利用者の好みに応じて三次元モデルの配置変更や加工等を行うことができ、視点位置さらには立体感を変更することも可能となる。
【００５６】
この説明で、仮想視点の移動・回転などの操作は、先に説明した図７における仮想視点中心７０２の移動・回転を指し、付随的に立体表示のための仮想視点位置（図７における７０４，７０５）が移動・回転されることとなる。
【００５７】
また、操作内容指示ボタンの１つである立体感ボタン９０５２で立体感を変更することは、先に説明した図７の仮想視点７０４，７０５の間隔、すなわち基線長や、ステップＳ６０２で設定した三次元シーンの注目点を変更し、仮想視点７０４，７０５からの視線を輻輳させることで実現できる。この立体感を調整した際には、立体ディスプレイデバイス１０３上で立体感が即時に変更され、確認することが可能である。
【００５８】
このようにして編集された３次元シーンや三次元モデル（以下、まとめて三次元シーンという）の立体画像情報は、後述するステップＳ３０４において確定され、立体表示制御端末１０１から立体画像管理サーバー１０５に転送される。
【００５９】
次に、図３のステップＳ３０４においては、立体画像管理サーバー１０５は、立体表示制御端末１０１から転送された立体画像情報を元に立体画像印刷装置１０４に好適な立体印刷画像を生成する。このステップの詳細なフローチャートを図１０に示す。ただし、ここでは説明を簡単にするために、立体画像印刷装置１０４を図１８に示すようなレンチキュラーレンズを用いた４眼立体表示タイプの立体印刷画像を印刷する装置とする。
【００６０】
まず、ステップＳ１００１では、立体表示制御端末１０１において立体視を行いながら編集した三次元シーンの情報（編集済みの立体画像情報）を確定する。
【００６１】
次に、ステップＳ１００２では、立体表示制御端末１０１において、どの立体画像印刷装置で立体印刷を行いたいかを指定する（図４の４０４、４０５）。例えば、立体表示制御端末１０１（立体ディスプレイデバイス１０３）の図９に示した表示画面中の印刷ボタン９０３を押すことで、ネットワーク１０６上に存在する立体画像印刷装置の一覧が立体ディスプレイデバイス１０１に表示される。利用者は操作入力装置１０２を介してその一覧から印刷を希望する立体画像印刷装置を選択する。
【００６２】
立体画像印刷装置が選択されると、立体表示制御端末１０１は、立体画像管理サーバー１０５に選択された立体画像印刷装置１０４で立体印刷を行うための要求を転送する。その際に、立体ディスプレイデバイス１０３の立体表示に関するパラメータである立体表示情報を立体画像管理サーバー１０５に転送する。この立体表示情報は、立体ディスプレイデバイス１０３のデバイス固有の情報であり、デバイスモデル名（製造者およびモデル名）、立体表示方式（例えば、２眼ステレオ方式）、表示画像形式（画素配列方式、例えばストライプ画像方式）、画面サイズ、解像度、最大／最小視差量、最適観察距離等で構成される。
【００６３】
立体画像管理サーバー１０５では、この立体表示情報を受信すると共に、立体印刷が希望された立体画像印刷装置１０４を示すＩＤおよび装置タイプ（製造者名、モデル名）、さらには立体印刷を行いたい媒体サイズ情報、印刷の向き（縦、横）などの印刷設定情報を受信する。ここにいうＩＤは、所望の立体画像印刷装置を一意に指定できるものであればよい。
【００６４】
次にステップＳ１００３では、立体画像管理サーバー１０５は、指定された立体画像印刷装置１０４の立体印刷に関するパラメータである、該装置固有の立体印刷情報を取得する（図４の４０６）。この立体印刷情報は、立体表示方式（例えば、４眼式ステレオ方式）、画素配列方式、印刷解像度、最適観察距離、最大視差／最小視差量、印刷可能な媒体サイズ（Ａ４、はがきなど）、装置タイプ（製造者名、モデル名）等を含み、装置タイプにより一意に決定される情報である。なお、各タイプの立体画像印刷装置に固有の立体印刷情報は、立体画像管理サーバー１０５内に登録されている。
【００６５】
但し、立体画像管理サーバー１０５内に立体印刷情報が存在しない場合は、指定された立体画像印刷装置１０４と通信して立体印刷情報を取得してもよい。また、立体印刷情報が取得できない場合は、ネットワーク１０６を介して立体表示制御端末１０１にその旨を表示させ、所望の立体画像印刷装置の製造者を指定して該製造者のホームページ等から取得するようにしてもよい。それでもなお、指定された立体画像印刷装置の立体印刷情報が取得できない場合は、ステップＳ１００８にて立体表示制御端末１０１にその旨を表示して、本処理を終了する。
【００６６】
ステップＳ１００５では、立体表示制御端末１０１から立体画像管理サーバーへ立体印刷を希望する編集済みの三次元シーンの情報を送信する（図４の４０７）。ここで、編集済みの三次元シーンの情報は、立体表示制御端末１０１で管理されているツリー構造で表現されるデータ構造および立体感などを調整する仮想視点位置および注目点から構成される。ツリー構造で表現されている三次元シーンの中で、３次元モデルの頂点情報が、立体表示制御端末１０１と立体画像管理サーバー１０５に保存されているものと同一である場合には、元の３次元モデルを示す情報を転送する方が転送容量を削減することができる。また、同一でない場合、特に立体表示制御端末１０１側に頂点数の少ない３次元モデルのデータが転送されている場合には、自動的に立体画像管理サーバー１０５で高精細な３次元モデルに変更するようにしてもよい。これにより、立体画像印刷装置１０４で立体印刷を行った際に高品位な印刷画像を得ることが可能となる。
【００６７】
次に、ステップＳ１００６では、立体画像管理サーバー１０５は、立体表示制御端末１０１から転送された立体画像情報を再構築する（図４の４０８）。このとき、先に取得した立体印刷情報を元に、仮想視点数および仮想視点位置を決定する。仮想視点位置は、立体印刷情報である立体表示方式に対応した仮想視点数、視点配置、最大／最小視差量と、立体印刷を行う媒体サイズや向きなどの印刷設定情報から決定することが可能である。
【００６８】
この仮想視点数および仮想視点位置を決定は、図７に示した立体表示制御端末１０１における仮想視点７０４，７０５の設定と類似している。このように立体画像印刷装置１０４に対応した仮想視点を設定し、各視点位置においてレンダリングを行い、立体印刷情報の立体表示方式に応じた画素配列で立体印刷画像を生成する。立体印刷画像は、４眼式レンチキュラーレンズを利用する立体画像印刷装置の場合は、図１８の１８０１に示すような各視点位置のストライプ画像を合成した画像となる。
【００６９】
次に、ステップＳ１００７において、指定された立体画像印刷装置１０４が立体印刷画像のデータを転送可能な状態にあるか否かを確認し、転送可能でなければステップＳ１００８にて立体表示制御端末１０１にエラーを通知する。転送可能な場合は、ステップＳ１００９にて立体印刷画像を立体画像印刷装置１０４へ転送する（図４の４０９）。この際、立体印刷画像データをそのまま転送してもよいし、立体画像印刷装置１０４において可逆の圧縮データ受信機能を有している場合は、所定の可逆圧縮方式で圧縮した立体印刷画像データを転送してもよい。
【００７０】
立体画像印刷装置１０４が非可逆の圧縮データ受信機能しか有していない場合は、データ圧縮をせずにそのまま立体印刷画像データを転送するほうが好ましい。これは、非可逆圧縮による画像劣化は主に画素値強度が大きく変化するようなエッジ付近で顕著に目立つため、立体印刷画像における短冊状の部分のようなエッジ部にそのような劣化が発生してしまい、立体視を行った際に立体感の低下の招く可能性があるためである。しかし、通信帯域などに制限されるような場合や、立体画像そのものを対象にしたような専用の非可逆圧縮方式であればこの限りではない。
【００７１】
次に、ステップＳ１００８においては、立体画像印刷装置１０４に立体印刷画像が転送されたか否かを判断し、転送されていない場合はＳ９０９において、立体表示制御端末１０４にその旨を通知し、正常に印刷が終了した場合は、本処理を終了する。
【００７２】
こうして立体印刷画像を受信した立体画像印刷装置１０４は、該画像を印刷する。そして、その印刷結果の画像に所定の光学部材を重ね合わせることにより、立体表示制御端末１０１で編集した立体画像（立体ディスプレイデバイス１０３で観察した立体像）とほぼ同じ立体感を有する立体像を観察することができる。
【００７３】
以上説明したように、本実施例によれば、立体表示制御端末１０１上で立体画像管理サーバー１０５からダウンロードした三次元シーンおよび三次元モデル、仮想視点位置などの立体画像情報を立体表示制御端末１０１（立体ディスプレイデバイス１０３）上で立体的に観察しながら編集（加工・調整）し、立体画像管理サーバー１０５において該編集された立体画像情報から立体画像印刷装置１０４に対応した立体印刷画像を作成し、立体画像印刷装置１０４に立体印刷を行わせることで、立体表示制御端末１０１で編集され、立体ディスプレイデバイス１０３で観察した立体像とほぼ同様な立体像を観察することができる。したがって、立体印刷の利用者の利便性を向上させることができる。
【００７４】
また、立体表示制御端末１０１は、立体ディスプレイデバイス１０３に好適な簡略化された三次元モデルをダウンロードして利用するため、表示用の立体画像を生成するための処理能力が高くなくても編集作業を快適に行うことが可能となる。
【００７５】
また、立体画像印刷装置１０４に好適で、かつ精細な三次元モデルを用いて立体画像を生成するため、高品質な立体画像を印刷することができる。
【００７６】
さらに、立体表示制御端末１０１（立体ディスプレイデバイス１０３）および立体画像印刷装置１０４の固有の情報および立体画像に対する立体編集情報を相互に通信し合うため、煩わしい装置毎の調整作業を省くことができる。
【００７７】
なお、本実施例においては、立体表示制御端末１０１、立体画像印刷装置１０４および立体画像管理サーバー１０５が互いに独立した装置であることを想定して説明したが、立体表示制御端末１０１と立体画像管理サーバー１０５とをネットワーク１０６を介さない１まとまりの立体画像編集装置（例えば、汎用コンピュータ）として構成してもよい。
【００７８】
また、本実施例においては、立体表示制御端末１０１で３次元シーンを調整した後、立体画像印刷装置１０４に立体印刷を行わせるよう立体画像管理サーバー１０５への要求を行う場合について説明したが、必ずしもこのように構成する必要はなく、以下に説明するように処理の流れを変更することも可能である。
【００７９】
変形例の処理全体の流れを示すフローチャートを図１１に示す。このフローチャートは図３に示したフローチャート概ね同一であるが、ステップＳ１１０４が追加されている点で異なる。ここでは、ステップＳ１１０４とステップ１１０５についてのみ説明し、他のステップの説明は省略する。
【００８０】
ステップＳ１１０４では、立体表示制御端末１０１（立体ディスプレイデバイス１０３）上で立体像を観察しながら編集した３次元シーン（立体画像情報）を立体画像管理サーバー１０５に登録する。この登録を行うことで、立体画像管理サーバー１０５から登録ＩＤなどが立体表示制御端末１０１に発行される。この時点で、立体画像管理サーバー１０５は、編集済み３次元シーンが登録されただけであり、立体画像印刷装置１０４への印刷は指示されなくてもよい。
【００８１】
次に、ステップＳ１００５において、印刷を行わせる立体画像印刷装置１０５および登録した編集済み３次元シーンを同時に指定する。このことで、立体画像管理サーバー１０５は、立体表示制御端末１０１から要求を受けてから、立体印刷画像装置１０４に好適な立体画像を生成する処理を開始させる。この処理は、図３のフローチャートのステップＳ３０５と同様である。
【００８２】
このような処理の流れにすることで、ネットワーク１０６に接続されている様々な立体画像印刷装置１０４に対して何度でも、登録（保存）された編集済み三次元シーンの立体画像印刷が可能になり、さらに、立体画像印刷装置も適宜選択できるなど、利用者の利便性がさらに向上する。なお、編集済み三次元シーンに代えて又はこれとともに、生成した立体印刷画像を登録しておいてもよい。
【実施例２】
【００８３】
上述した実施例のシステムは、立体画像管理サーバー１０５に保存されている三次元シーンや三次元モデルを利用して、好みに応じてそれを編集し、編集後の三次元シーンに対応する立体印刷画像を取得するというシステムである。このため、立体画像管理サーバー１０５の管理者ないし運営者は、元となる三次元シーンや三次元モデルに基づいて作成された立体印刷画像の使用に対して課金することも可能である。
【００８４】
この場合、立体画像管理サーバー１０５は、まず該システムの利用者の登録を要求し、立体画像管理サーバー１０５に対して編集済み三次元シーンと立体印刷画像の作成要求又は画像印刷要求が送信された時点で該登録された利用者に料金請求を行う。具体的には、このような課金ステップを図３や図１１のフローチャートに追加する。
【００８５】
また、立体画像管理サーバー１０５は、立体印刷画像データが送信された立体画像印刷装置１０４に、規定の料金が支払われた上でしか実際の印刷を行わせないようにしてもよい。
【実施例３】
【００８６】
図１２には、本発明の実施例２である立体画像印刷システムの構成を示す。本実施例における立体画像印刷システムでは、立体ディスプレイデバイス１２０３に立体表示させる立体表示制御端末１２０１および立体画像情報を管理する立体画像管理サーバー１２０５および立体画像印刷装置１２０６がネットワーク１２０７を介して相互に接続されている。また、本実施例における立体表示制御端末１２０１には、画像撮影装置１２０４で撮影された画像を取り込む機能を有する。
【００８７】
立体表示制御端末１２０１は、例えば汎用のコンピュータより構成され、特定の光学系を介して立体視を行う立体ディスプレイデバイス１２０３と、利用者が立体表示制御端末１２０１に対して対話的に操作を入力するための操作入力装置１２０２と、画像を撮影する画像撮影装置１２０４とに接続されている。
【００８８】
立体表示制御端末１２０１は、撮影された画像の付与する奥行き感を対話的に変更し、立体ディスプレイデバイス１２０３上で立体視を行いながら立体的な調整・加工等の編集を行うことができる立体画像編集装置である。
【００８９】
該立体表示制御端末１２０１は、データ送受信部１２１と、画像情報一時記憶部１２３と、立体表示情報記憶部１２５と、立体表示画像生成部１２４と、画像取り込み部１２２とを有する。
【００９０】
データ送受信部１２１は、立体画像管理サーバー１２０５とネットワーク１２０７を介してデータを送受信する。画像情報一時記憶部１２３は、撮影した画像などの画像情報を記憶する。立体表示情報記憶部１２５は、立体ディスプレイデバイス１２０３の立体表示に関する該デバイス固有のパラメータである立体表示情報を記憶する。立体表示画像生成部１２４は、立体ディスプレイデバイス１２０３に表示させる立体画像を生成する。
【００９１】
画像取り込み部１２２は、画像撮影装置１２０４と公知の接続方式（例えばＵＳＢなど）又は専用の接続方式で接続され、撮影された画像のデータを取り込む。なお、画像撮影装置１２０４は、立体画像表示端末１２０１に内蔵されていてもよい。
【００９２】
画像情報記憶部１２３は、画像取り込み部１２２で取り込まれた画像データおよび取り込み時に画像撮影装置１２０４から取得した撮影時の焦点距離などの撮影情報および操作入力装置１２０２を介して利用者が入力する調整・加工等の立体編集操作に係る情報（立体編集情報）を統合的に記憶する。
【００９３】
立体画像生成部１２４は、立体ディスプレイデバイス１２０３に対応した立体画像を生成する。データ送受信部１２１は、ネットワーク１２０７を介して立体画像管理サーバー１２０５と立体画像情報（これについては後述する）の送受信を行う。
【００９４】
操作入力装置１２０２、立体ディスプレイデバイス１２０３、立体画像印刷装置１２０６およびネットワーク１２０７は実施例１と同様であるため説明を省略する。
【００９５】
立体画像管理サーバー１２０５は、例えば汎用コンピュータにより構成され、データ送受信部１２６、画像情報記憶部１２７および立体画像生成部１１８を有する。
【００９６】
データ送受信部１２６は、ネットワーク１２０７を介して立体表示制御端末１１０１および立体画像印刷装置１２０６との間で画像データ等の通信を行う。
【００９７】
画像情報記憶部１２７は、立体表示制御端末１２０１において取得された画像情報、利用者が操作入力装置１２０２を介して行った立体編集情報、立体表示制御端末１２０１（立体ディスプレイデバイス１２０３）の立体表示に関するパラメータである該デバイスに固有の情報および所望の立体画像印刷装置１２０６の立体印刷に関するパラメータである該装置に固有の情報などを記憶する。
【００９８】
立体画像生成部１２８では、立体表示制御端末１２０１から転送された立体画像情報を立体画像印刷装置１２０６に好適な形態に変換した立体画像を生成し、立体画像印刷装置１２０６へ転送する。
【００９９】
立体画像印刷装置１２０６は、データ送受信部１２９、立体印刷情報記憶部１３０および印刷部１３１を有する。データ送受信部１２９はネットワーク１２０７を介して立体画像管理サーバー１２０５と各種データの送受信を行う。
【０１００】
立体印刷情報記憶部１３０は、立体画像印刷装置１２０６の立体印刷に関する該装置固有の情報（立体印刷情報）を記憶する。印刷部１３１は、立体画像管理サーバー１２０５から転送された立体印刷画像を所定の媒体に印刷する。利用者は、その印刷結果の画像を所定の光学部材を介して見ることで、立体像を観察することができる。
【０１０１】
次に、本実施例の立体画像印刷システム全体の処理の流れを図１３に示すフローチャートおよび図１５に示すシーケンス図を用いて詳細に説明する。
【０１０２】
まず、ステップＳ１３１において、立体表示制御端末１２０１は、該端末１２０１に接続されている画像撮影装置１２０４で撮影された画像を画像取り込み部１２２から取り込む（図１５の１５１）。ここで、画像撮影装置１２０４は一般的なデジタルカメラであってもよいし、本出願人が提案している特開２００１−３４６２２６号公報に記載の画像処理装置にステレオアダプタを装着した立体写真撮影用デジタルカメラであってもよい、また、単純に複数のデジタルカメラにより撮影された画像を取り込んでもよい。これ以降では、説明を簡単にするため、一般的なデジタルカメラを用いた場合について説明する。
【０１０３】
ステップＳ１３２では、立体表示制御端末１２０１は、取り込んだ画像に基づいて、立体ディスプレイデバイス１２０３に表示させるための立体画像を生成する。ここで、図１４を用いて立体画像生成方法の概略を説明する。
【０１０４】
図１４（ａ）において、ウィンドウ１４０内には、画像撮影装置１２０４で撮影された画像１４１が表示されている。この画像１４１は２次元画像である。この状態で、利用者は、例えば、立体視した際に飛び出しも沈み込みもしない領域として主被写体を含む主被写体領域１４２と、立体視した際に飛び出して表示される飛び出し領域１４３と、立体視した際に沈み込んで表示される沈み込み領域１４１とを操作入力装置１２０２により指定する。このようにして指定（立体編集）した領域の情報に基づいて、図１４（ｂ）に示すような奥行きマップ（奥行き情報）を生成することが可能となる。
【０１０５】
この奥行きマップおよび取得した画像から、新たな視点位置の画像データをフォワードマッピングにより生成することが可能である。ここで、撮影した画像を元画像とすると、元画像の各画素をマッピングする新規視点画像中の画素位置（ｘＮ，ｙＮ）は、元画像の画素位置を（ｘ，ｙ）とし、新規視点画像と元画像中との視差をｄとし、視点位置を表す比率をｒとし、遠近の視差調整量をｓｈとし、さらに元画像のサイズをｈとし、新規視点画像のサイズをＨとして、式（１）を用いて求める。
【０１０６】
ｘＮ＝Ｈ／ｈ×（ｘ＋ｒ×（ｄ−ｓｈ））
ｙＮ＝ｙ                                    …（１）
この式における視差ｄは、立体ディスプレイデバイス１２０３の立体表示に関する固有の情報としての最大／最小視差量から決定される。
【０１０７】
そして、元画像の画素位置（ｘ，ｙ）での画素を新規視点画像の（ｘＮ，ｙＮ）の位置にコピーする。この処理を元画像の全画素について繰り返し、新規視点画像の画素のうち元画像から画素が割り当てられなかった画素に対しては穴埋め（補間）処理を行う。このようにして作成された複数視点の画像データを、立体ディスプレイデバイス１２０３の立体表示形式に対応した形態で合成して立体画像を生成し、立体ディスプレイデバイス１２０３に表示する。これにより、立体像を得ることができる。
【０１０８】
次に、ステップＳ１３３においては、立体ディスプレイデバイス１２０３に表示された立体像を観察しながら、操作入力装置１２０２を介して対話的に立体感を調整する。立体感の調整（立体編集）は、ステップＳ１３２で利用者が指示した飛び出し／沈み込み領域を修正したり、新規視点画像の生成の際に設定した視差量を調整したりすることで行う。ここで、上述した奥行きマップや立体感の調整バラメータ等が本実施例における立体画像情報である。
【０１０９】
ステップＳ１３４では、編集された立体画像情報を所望の立体画像印刷装置１２０６に印刷させる要求を立体画像管理サーバー１２０５に発行する（図１５の１５３〜１５５）。この際、立体画像管理サーバー１２０５に送信する情報は、画像撮影装置１２０４で撮影した画像情報および利用者が指定した視差マップおよび立体感調整パラメータといった立体画像生成に用いられる編集済み立体画像情報、さらに立体表示制御端末１２０１（立体ディスプレイデバイス１２０３）の立体表示に関する立体表示情報、立体画像印刷装置１２０５の立体印刷に関する立体印刷情報である。
【０１１０】
立体画像印刷装置１２０５の立体印刷に関する立体印刷情報としては、該装置の機種を示す情報のみであってもよいし、該装置に固有の立体表示に関する個々の情報であってもよい。
【０１１１】
次にステップＳ１３５では、立体画像管理サーバー１２０５において、立体表示制御端末１２０１から転送された撮影画像、編集済み立体画像情報、立体表示情報および立体印刷情報に基づいて、立体ディスプレイデバイス１２０３で立体視した際と同様の立体感を再現できるような立体印刷画像を生成する（図１５の１５６）。具体的な立体画像の生成方法は、ステップＳ１３２において立体ディスプレイデバイス１２０３に表示するために生成した立体画像生成方法であるフォワードマッピングをそのまま適用することができる。このとき、立体画像印刷装置１２０５に好適な視差範囲と立体ディスプレイデバイス１２０３に好適な視差範囲および利用者が設定した立体感パラメータを加味した視差を有するように、新規視点の画像を生成する。すなわち、式（１）における視差調整量ｓｈを変更するか、視差調整量の変換関数ｆ（α）を立体表示制御端末１２０１および立体画像印刷装置１２０５に関して定義しておき、
ｘＮ＝Ｈ／ｈ×（ｘ＋ｒ×ｆ（ｄ−ｓｈ））
ｙＮ＝ｙ                                 …（２）
としてもよい。このようにして生成した複数の視点位置の画像を立体画像印刷装置１２０５の立体表示方式に応じて合成し、立体印刷画像を生成する。
【０１１２】
ステップＳ１３６では、ステップＳ１３５で生成した立体印刷画像を立体画像印刷装置１２０５へ転送する。
【０１１３】
次に、ステップＳ１３７では、立体画像印刷装置１２０６は、転送されてきた立体印刷画像を受信し、これを印刷する。利用者は、印刷された画像を所定の光学系を介して立体観察する。このとき得られる立体感は、立体ディスプレイデバイス１２０３で観察したときと同様な立体感である。
【０１１４】
以上説明したように、本実施例によれば、立体表示制御端末１２０１に接続されている又は内蔵されている画像撮影装置１２０４で撮影した画像に対して、立体表示制御端末１２０１上で立体視可能なように加工・調整等の編集を行い、立体画像管理サーバー１２０５において該編集された立体画像情報を用いて立体画像印刷装置１２０６に対応した立体印刷画像を作成し、立体画像印刷装置１２０６で立体印刷することで、立体表示制御端末１２０１で編集したものと同様な立体感を有する立体印刷画像を得ることができる。これにより、立体印刷画像の利用者の利便性が向上する。
【０１１５】
なお、本実施例においては、立体表示制御端末１２０１、立体画像印刷装置１２０６および立体画像管理サーバー１２０５が互いに独立した装置であることを想定して説明したが、立体表示制御端末１２０１と立体画像管理サーバー１２０５とをネットワーク１２０７を介さない１まとまりの立体画像編集装置（例えば、汎用コンピュータ）として構成してもよい。
【０１１６】
また、本実施例でも、実施例１で説明したのと同様に、立体画像管理サーバー１２０５は、編集済みの立体画像情報又は生成した立体印刷画像を登録（保存）しておき、その後の立体表示制御端末１２０１からの要求に応じて、何度でも立体印刷画像の生成および印刷が行えるようにしてもよい。
【０１１７】
また、本実施例においても、実施例２で説明したような課金システムを導入することが可能である。
【実施例４】
【０１１８】
本実施例は、実施例３の変形例である。実際に撮影した画像に基づいて立体画像を生成するには計算量が大きくなる。このため、立体表示制御端末１２０１の計算能力が乏しい場合は、利用者の利便性が低くなる。そこで、実施例３において、図１３のフローチャートのステップＳ１３２で行った立体ディスプレイデバイスに表示させる立体画像の生成処理のうち、新規視点画像の生成処理を立体画像管理サーバー１２０５において行う（すなわち、依頼する）ことも可能である。この場合、撮影した画像、視差マップおよび立体表示情報を立体画像管理サーバー１２０５に送信することで実現可能となる。
【０１１９】
本実施例の場合、一旦、立体画像管理サーバー１２０５へ撮影した画像等を転送しているため、立体画像印刷装置１２０６で立体印刷を行う場合は、立体表示制御端末１２０１で変更した立体感などの調整結果と、立体画像管理サーバー１２０５に登録した登録ＩＤのみを転送すればよい。
【実施例５】
【０１２０】
上記各実施例において、立体画像印刷装置によって印刷された画像（媒体）を見ただけでは、通常の二次元画像か立体印刷画像かが明確に判断できない場合もあり得る。このため、少なくとも立体印刷画像を印刷した媒体に、立体印刷画像であることを示すマーク、例えば「３Ｄ」を印刷させるように立体画像管理サーバーが立体画像印刷装置に要求を送信するようにしてもよい。
【０１２１】
なお、本発明は、上述した各実施例の構成に限定されず、複数の機器から構成されるシステムに適用しても、１つの機器から構成される装置に適用してもよい。
【０１２２】
また、前述した実施例の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、本発明は実現される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１２３】
プログラムコードを供給するための記憶媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭを用いることができる。
【０１２４】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も本発明に含まれる。
【０１２５】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、次のプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵなどが処理を行って実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も本発明に含まれる。
【０１２６】
また、上記各実施例から以下の発明又は実施形態を導くことができる。
【０１２７】
（１）立体画像情報を管理する立体画像管理サーバーと、通信網を介して前記立体画像管理サーバーから立体画像情報を取得して立体表示を行い、対話的に立体画像情報の編集を行う立体表示制御端末と、前記立体表示制御端末で編集された立体画像情報に基づいて立体印刷画像を立体印刷する立体画像印刷装置とを有する立体印刷システムであって、
前記立体表示制御端末は、前記立体表示に関する立体表示情報を記憶する立体表示情報記憶手段と、前記立体表示を行う立体画像情報を管理する立体画像情報管理手段と、前記立体画像情報を前記立体画像管理サーバーへ送信する立体画像情報送信手段とを有し、
前記立体画像管理サーバーは、前記立体表示制御端末から送信された立体画像情報を受信する立体画像情報受信手段と、前記立体画像印刷装置の立体印刷に関する立体印刷情報を取得する立体印刷情報取得手段と、前記立体印刷情報を用いて前記立体画像情報から前記立体画像印刷装置に対応した立体印刷画像を生成する立体印刷画像生成手段とを有し、
前記立体画像印刷装置は、前記立体印刷情報を記憶する立体印刷情報記憶手段を有する。
【０１２８】
（２）立体画像情報を管理する立体画像管理サーバーと、通信網を介して前記立体画像管理サーバーから前記立体画像情報を取得して立体表示を行い、対話的に立体画像情報の編集を行う立体表示制御端末と、前記立体表示制御端末で編集された立体画像情報に基づいて立体印刷画像を立体印刷する立体画像印刷装置とを有する立体画像印刷システムであって、
前記立体表示制御端末は、前記立体表示に関する立体表示情報を記憶する立体表示情報記憶手段と、前記立体表示を行う立体画像情報を管理する立体画像情報管理手段と、前記立体画像情報を前記立体画像管理サーバーへ送信する立体画像情報送信手段とを有し、
前記立体画像管理サーバーは、前記立体表示制御端末から送信された立体画像情報を受信する立体画像情報受信手段と、前記立体表示情報から前記立体表示制御端末に対応した立体画像を生成する立体表示画像生成手段と、前記立体画像印刷装置の立体印刷に関する立体印刷情報を取得する立体印刷情報取得手段と、前記立体印刷情報を用いて前記立体画像情報から前記立体画像印刷装置に対応した立体印刷画像を生成する立体印刷画像生成手段とを有し、
前記立体画像印刷装置は、前記立体印刷情報を記憶する立体印刷情報記憶手段を有する。
【０１２９】
（３）（１）又は（２）の立体画像印刷システムにおいて、前記立体表示情報は、立体表示を行う装置の種別、立体表示方式、画素配列方式、画面サイズ、画面解像度、最適観察距離、最大／最小視差量のうち少なくとも１つを含む。
【０１３０】
（４）（１）又は（２）の立体画像印刷システムにおいて、前記立体表示制御端末から前記立体画像管理サーバーへ転送される立体画像情報は、立体画像管理サーバーから取得した立体画像情報との差分情報、仮想視点中心、視線および注目点のうち少なくとも１つを含む。
【０１３１】
（５）（１）又は（２）の立体画像印刷システムにおいて、前記立体印刷情報は、印刷装置の種別、立体表示方式、画素配列方式、印刷媒体サイズ、印刷解像度、最適観察距離、最大／最小視差量のうち少なくとも１つを含む。
【０１３２】
（６）（１）又は（２）の立体画像印刷システムにおいて、前記立体画像情報送信手段にから前記立体画像管理サーバーに送信する立体画像情報は、立体画像管理サーバーから取得した幾何情報を含まない。
【０１３３】
（７）（１）又は（２）の立体画像印刷システムにおいて、前記立体画像情報送信手段は、立体画像情報に対して変更可能な部分のデータのみを選択し、立体画像管理サーバーへその差分情報のみを送信する。
【０１３４】
（８）（１）又は（２）の立体画像印刷システムにおいて、前記立体画像管理サーバーは、立体印刷画像を生成する際には高精細な幾何情報に置き換えて立体画像をレンダリングして立体印刷画像を生成する。
【０１３５】
（９）（１）又は（２）の立体画像印刷システムにおいて、前記立体画像サーバーから立体画像印刷装置へ立体印刷画像を転送する際に、可逆圧縮を行って転送する。
【０１３６】
（１０）画像データを取得し、取得した画像データから立体表示用の立体画像を作成し、該立体表示を行う立体表示制御端末と、該立体画像を受信して立体印刷を行うための立体印刷画像を生成する立体画像管理サーバーと、前記立体画像管理サーバーで生成された前記立体印刷画像を立体印刷する立体画像印刷装置とを有する立体画像印刷システムであって、
前記立体表示制御端末は、立体表示に関する立体表示情報を記憶する立体表示情報記憶手段と、取得した画像データと該画像データを立体表示するための立体表示付属情報および立体感を調整する立体感調整パラメータとを含む立体画像情報を管理する立体画像情報管理手段と、前記立体表示情報および前記立体画像情報を前記立体画像管理サーバーへ送信する送信手段とを有し、
前記立体画像管理サーバーは、前記立体表示制御端末から送信された立体画像情報を受信する立体画像受信手段と、前記立体画像印刷装置の立体印刷に関する立体印刷情報を取得する立体印刷情報取得手段と、前記立体印刷情報を用いて前記立体画像情報から前記立体画像印刷装置に対応した立体印刷画像を生成する立体印刷画像生成手段とを有し、
前記立体画像印刷装置は、前記立体印刷情報を記憶する立体印刷情報記憶手段を有する。
【０１３７】
（１１）画像データを取得し、取得した画像データから立体表示用の立体画像を作成し、該立体表示を行う立体表示制御端末と、該立体画像を受信して立体印刷を行うための立体印刷画像を生成する立体画像管理サーバーと、前記立体画像管理サーバーで生成された前記立体印刷画像を立体印刷する立体画像印刷装置とを有する立体画像印刷システムであって、
前記立体表示制御端末は、立体表示に関する立体表示情報を記憶する立体表示情報記憶手段と、取得した画像データと該画像データを立体表示するための立体表示付属情報および立体感を調整する立体感調整パラメータとを含む立体画像情報を管理する立体画像情報管理手段と、前記立体表示情報および前記立体画像情報を前記立体画像管理サーバーへ送信する送信手段とを有し、
前記立体画像管理サーバーは、前記立体表示制御端末から送信された立体画像情報を受信する立体画像受信手段と、前記立体画像情報から前記立体表示制御端末に応じた立体画像を生成する立体画像生成手段と、前記立体画像印刷装置の立体印刷に関する立体印刷情報を取得する立体印刷情報取得手段と、前記立体印刷情報を用いて前記立体画像情報から前記立体画像印刷装置に対応した立体印刷画像を生成する立体印刷画像生成手段を有し、
前記立体画像印刷装置は、前記立体印刷情報を記憶する立体印刷情報記憶手段を有する。
【０１３８】
（１２）（１０）又は（１１）の立体画像印刷システムにおいて、前記立体表示情報は、立体表示を行う装置の種別、立体表示方式、画素配列方式、画面サイズ、画面解像度、最適観察距離、最大／最小視差量のうち少なくとも１つを含む。
【０１３９】
（１３）（１０）又は（１１）の立体画像印刷システムにおいて、前記立体印刷情報は、印刷装置の種別、立体表示方式、画素配列方式、印刷媒体サイズ、印刷解像度、最適観察距離、最大／最小視差量のうち少なくとも１つを含む。
【０１４０】
（１４）（１０）又は（１１）の立体画像印刷システムにおいて、前記立体表示付属情報は、取得した画像データの各画素に対応する奥行き情報である。
【０１４１】
（１５）（１０）又は（１１）の立体画像印刷システムにおいて、前記立体画像情報は、前記立体画像表示端末に表示可能な合成された形態の立体合成画像と該立体合成画像の画素配列情報を含む。
【０１４２】
（１６）立体ディスプレイデバイスの立体表示に関する立体表示情報を記憶する立体表示情報記憶手段と、立体画像印刷装置の立体印刷に関する立体印刷情報を記憶する立体印刷情報記憶手段と、前記立体ディスプレイデバイスに立体表示させる立体画像を生成する立体表示画像生成手段と、前記立体ディスプレイデバイスで立体視を行いながら編集した立体画像から、前記立体表示情報および前記立体印刷情報を用いて立体印刷画像を生成する立体印刷画像生成手段とを有する立体画像編集装置。
【０１４３】
（１７）立体ディスプレイデバイスの立体表示に関する立体表示情報を記憶する立体表示情報記憶手段と、立体画像印刷装置の立体印刷に関する立体印刷情報を記憶する立体印刷情報記憶手段と、取得した画像データから前記立体ディスプレイデバイスに対応した立体画像を生成する立体画像生成手段と、前記立体画像生成手段によって生成された立体画像を前記立体ディスプレイデバイス上で立体感などを調整する立体表示調整手段と、前記立体ディスプレイデバイスで立体視を行いながら編集した立体画像から、前記立体表示情報および前記立体印刷情報を用いて立体印刷画像を生成する立体印刷画像生成手段とを有する立体画像編集装置。
【０１４４】
（１８）（１）〜（１７）の立体画像印刷システムおよび立体画像編集装置の機能により立体印刷を行う方法およびコンピュータプログラム。
【図面の簡単な説明】
【０１４５】
【図１】本発明の実施例１である立体画像印刷システムの構成を示す図である。
【図２】実施例１の立体画像印刷システムの物理的な構成を示す図である。
【図３】実施例１の立体画像印刷システム全体の処理を示すフローチャートである。
【図４】実施例１の立体画像印刷システムのシーケンス図である。
【図５】実施例１における３次元シーンおよび３次元モデルの一覧例を示す図である。
【図６】実施例１における立体表示制御端末の処理を示すフローチャートである。
【図７】実施例１における三次元シーンの例を説明する図である。
【図８】三次元シーンおよび三次元モデルを管理するためのデータ構造を説明する図である。
【図９】実施例１における三次元シーンを編集する画面を説明する図である。
【図１０】実施例１における立体画像管理サーバーの処理を示すフローチャートである。
【図１１】実施例１の変形例である立体画像印刷システム全体の処理を示すフローチャートである。
【図１２】本発明の実施例３である立体画像印刷システムの構成を示す図である。
【図１３】実施例３の立体画像印刷システム全体の処理を示すフローチャートである。
【図１４】実施例３において取得した画像データの立体表示編集を説明する図である。
【図１５】実施例３の立体画像印刷システムのシーケンス図である。
【図１６】従来の４眼式立体画像撮影におけるカメラ配置を説明する図である。
【図１７】従来の４眼式立体画像印刷を説明する図である。
【図１８】従来の液晶素子を用いた立体ディスプレイデバイスの構成を説明する図である。
【符号の説明】
【０１４６】
１０１，１２０１  立体画像表示端末
１０２，１２０２  操作入力装置
１０３，１２０３  立体ディスプレイデバイス
１０４，１２０６  立体画像印刷装置
１０５，１２０５  立体画像管理サーバー
１２０４  画像撮影装置
【図１】
2006107213.tif 000005
【図２】
2006107213.tif 000006
【図３】
2006107213.tif 000007
【図４】
2006107213.tif 000008
【図５】
2006107213.tif 000009
【図６】
2006107213.tif 000010
【図７】
2006107213.tif 000011
【図８】
2006107213.tif 000012
【図９】
2006107213.tif 000013
【図１０】
2006107213.tif 000014
【図１１】
2006107213.tif 000015
【図１２】
2006107213.tif 000016
【図１３】
2006107213.tif 000017
【図１４】
2006107213.tif 000018
【図１５】
2006107213.tif 000019
【図１６】
2006107213.tif 000020
【図１７】
2006107213.tif 000021
【図１８】
2006107213.tif 000022