(57)【要約】【課題】立体映像が持つ多彩な情報を利用した立体印刷を容易に実行可能とする。【解決手段】複数の位置から複数の撮像装置（１３）によって撮影された映像は一時記憶部１００に格納される。入力装置１４より、上記複数の位置のうちの所望の位置と所望の撮影時刻が指定されると、映像選択部１０６により、指定された所望の位置と所望の撮影時刻、及び一時記憶部１００に格納された映像に基づいて、撮影時刻の異なる複数のフレーム画像が選択される。そして、選択された複数のフレーム画像は、立体画像形成部１０８により、所定の光学系を介して観察した場合に観察視点位置の移動に従って順次観察できるように合成され、立体印刷装置１２へ出力される。【選択図】  図１
2006165795.tif 000002
【特許請求の範囲】
【請求項１】
複数の位置から複数の撮像手段によって撮影された映像を格納する格納手段と、
前記複数の位置のうちの所望の位置と所望の撮影時刻を指定する指定手段と、
前記指定手段で指定された所望の位置と所望の撮影時刻、及び前記格納手段に格納された映像に基づいて、撮影時刻の異なる複数のフレーム画像を取得する取得手段と、
前記取得手段で取得された複数のフレーム画像を、所定の光学系を介して観察した場合に観察視点位置の移動に従って順次観察できるように合成して画像を形成する形成手段とを備えることを特徴とする画像形成装置。
【請求項２】
前記撮像手段によっては撮影されていない時刻のフレーム画像を、前記格納手段に格納された映像に基づいて生成する第１生成手段を更に備え、
前記取得手段は、更に前記第１生成手段で生成されるフレーム画像を取得の対象に含めることを特徴とする請求項１に記載の画像形成装置。
【請求項３】
前記指定手段は、前記所望の撮影時刻として前記生成手段で生成されるフレーム画像に対応する時刻を指定可能であることを特徴とする請求項２に記載の画像形成装置。
【請求項４】
前記撮像手段の存在しない位置からのフレーム画像を前記格納手段に格納された映像に基づいて生成する第２生成手段を更に備え、
前記取得手段は、更に前記第２生成手段で生成されるフレーム画像を取得の対象に含めることを特徴とする請求項１乃至３のいずれかに記載の画像形成装置。
【請求項５】
前記取得手段は、フレーム画像の時間的変動を解析し、該解析の結果に基づいて取得すべきフレームを決定することを特徴とする請求項１乃至４のいずれかに記載の画像形成装置。
【請求項６】
前記時間的変動の解析は、フレーム画像同士の差分、フレーム画像間の動きベクトル、フレーム画像中の奥行き方向の動きの少なくともいずれかを用いて行なわれることを特徴とする請求項５に記載の画像形成装置。
【請求項７】
任意の視点からのコンピュータグラフィックス映像をレンダリングするレンダリング手段と、
所望の視点位置と前記映像中の所望の時刻を指定する指定手段と、
前記指定手段で指定された所望の位置と所望の時刻、及び前記コンピュータグラフィックス映像に基づいて、複数の視点位置と時刻を選択する選択手段と、
前記選択手段で選択された複数の視点位置と時刻に対応する前記コンピュータグラフィックス映像のフレーム画像を前記レンダリング手段によりレンダリングさせて複数のフレーム画像を取得する取得手段と、
前記取得手段により取得された複数のフレーム画像を、所定の観察光学系を介して観察した場合に観察視点位置の移動に従って順次観察できるように合成して画像を形成する形成手段とを備えることを特徴とする画像形成装置。
【請求項８】
所定の視点位置と所定の更新時刻刻みを設定する設定手段と、
前記設定手段で設定された視点位置と更新時刻刻みで前記レンダリング手段に前記コンピュータグラフィックス映像をレンダリングさせ、表示させる表示制御手段を更に備えることを特徴とする請求項７に記載の画像形成装置。
【請求項９】
前記選択手段は、前記コンピュータグラフィックス映像より時刻及び／又は視点位置の移動により得られるフレーム画像の時間的変動を解析し、該解析の結果に基づいて複数の視点位置及び時刻を選択することを特徴とする請求項７又は８に記載の画像形成装置。
【請求項１０】
前記解析では、前記コンピュータグラフィックス映像に含まれるオブジェクトのうち、レンダリング画像上における移動量が最大となるオブジェクトの運動が解析されることを特徴とする請求項９記載の画像形成装置。
【請求項１１】
前記解析では、前記コンピュータグラフィックス映像に含まれるオブジェクトのバウンディングボックスの変動量が解析されることを特徴とする請求項９に記載の画像形成装置。
【請求項１２】
前記取得手段で取得されたフレーム画像を時系列順に切り替えて表示することにより、前記形成手段で形成される画像のプレビュー表示を行なうプレビュー手段を更に備えることを特徴とする請求項１乃至１１のいずれかに記載の画像形成装置。
【請求項１３】
複数の位置から複数の撮像手段によって撮影された映像を格納手段に格納する格納工程と、
前記複数の位置のうちの所望の位置と所望の撮影時刻を指定する指定工程と、
前記指定工程で指定された所望の位置と所望の撮影時刻、及び前記格納手段に格納された映像に基づいて、撮影時刻の異なる複数のフレーム画像を取得する取得工程と、
前記取得工程で取得された複数のフレーム画像を、所定の観察光学系を介して観察した場合に観察視点位置の移動に従って順次観察できるように合成して画像を形成する形成工程とを備えることを特徴とする画像形成方法。
【請求項１４】
任意の視点からのコンピュータグラフィックス映像をレンダリングするレンダリング工程と、
所望の視点位置と前記映像中の所望の時刻を指定する指定工程と、
前記指定工程で指定された所望の位置と所望の時刻、及び前記コンピュータグラフィックス映像に基づいて、複数の視点位置と時刻を選択する選択工程と、
前記選択工程で選択された複数の視点位置と時刻に対応する前記コンピュータグラフィックス映像のフレーム画像を前記レンダリング工程によりレンダリングさせて複数のフレーム画像を取得する取得工程と、
前記取得工程により取得された複数のフレーム画像を、所定の観察光学系を介して観察した場合に観察視点位置の移動に従って順次観察できるように合成して画像を形成する形成工程とを備えることを特徴とする画像形成方法。
【請求項１５】
互いに異なる複数の位置から複数の撮像手段によって撮影された映像を格納する格納手段と、
所望の位置と所望の撮影時刻を指定する指定手段と、
前記指定手段で指定された所望の位置と所望の撮影時刻、及び前記格納手段に格納された映像に基づいて、互いに撮影時刻の異なる複数のフレーム画像を取得する取得手段と、
前記取得手段で取得した複数のフレーム画像を、所定の光学系を介して観察した場合に観察視点位置の移動に従って順次立体画像として観察できるような画像を形成する形成手段とを備えることを特徴とする画像形成装置。
【請求項１６】
請求項１３又は１４に記載の画像形成方法をコンピュータに実行させるための制御プログラム。
【請求項１７】
請求項１３又は１４に記載の画像形成方法をコンピュータに実行させるための制御プログラムを格納したコンピュータ可読メモリ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は複数の撮像手段によって得られた映像から多眼式の観察光学系を介した立体観察が可能な画像を形成するための方法および装置に関する。
【背景技術】
【０００２】
従来より、立体画像を表示する手法として様々な方式が開発されている。その手法の中でも、左右両眼に視差のある画像を提示して観察者に立体視を行わせるという両眼視差を用いた立体表示方法が広く利用されている。また、近年では、その視域を広げて滑らかな運動視差を実現する多眼式立体画像表示方式が多数検討されている。この多眼式立体画像表示方式とは、多数の視点位置で取得あるいは生成された画像を用いて、特定の光学系に対応した画素配列に並び替えた多眼合成画像（以下、合成画像と略する）を作成し、その合成画像を特定の光学系を介して観察することで立体像として知覚することができる立体画像表示方式である。ここで、特定の光学系としてレンチキュラー板を利用した場合の画素配列の並び替えについて、図２５、図２６を用いて説明する。
【０００３】
図２５では４台のカメラを用いて多眼式立体表示方式のための画像を取得している様子を模式的に表している。４台のカメラ２５００〜２５０３が、それらの光学中心が互いに平行視となるよう、基線２５０４上に所定の間隔（基線長）をあけて整列されているとする。そして、各カメラ位置で取得した二次元画像を用いて、図２６に示すようなレンチキュラー板を介して観察した場合に立体視できるような画素配列の合成画像を生成する。
【０００４】
今、ｊ番目視点の画素値をPjmn（ただし、ｍ、ｎはそれぞれ水平、垂直方向の画素配列のインデックス）としたとき、ｊ番目の画像データは以下のような二次元配列として表される。
【０００５】
Pj11 Pj21 Pj31・・・・
Pj12 Pj22 Pj32・・・・
Pj13 Pj23 Pj33・・・・。
【０００６】
観察する光学系としてレンチキュラー板を考えているため、合成するための画素配列はそれぞれの視点の画像を垂直方向に１ライン毎に短冊状に分解し、視点位置の逆順に視点数分並べ替えたものになる。従って、多眼合成画像は以下に示すようなストライプ状の画像となる。
【０００７】
P411 P311 P211 P111 P421 P321 P221 P121 P431 P331 P231 P131・・
P412 P312 P212 P112 P422 P322 P222 P122 P432 P332 P232 P132・・
P413 P313 P213 P113 P423 P323 P223 P123 P433 P333 P233 P133・・。
【０００８】
但し、ｊ＝１の視点が左端（図２５の(1)）、ｊ＝４の視点が右端（図２５の(4)）の画像を表す。ここで、視点位置をカメラ配置順の逆にするのは、レンチキュラー板により観察する際、レンチキュラーの１ピッチ内で画像が左右逆に観察されるためである。このようにして並び替えられて作成された合成画像を図２６のようにレンチキュラー板を介して観察することで立体像を観察することが可能となる。
【０００９】
また、上述とは異なる多眼式立体表示方式として、本出願人より出願の特許文献１（特開２００４−００７５６６）に記載の立体表示装置について簡単に説明する。この立体表示装置は観察位置での表示光のずれ、いわゆるクロストークが生じない多眼式立体表示装置である。図２７に示すように画像表示ユニットとしてのディスプレイ２７００と、ディスプレイ２７００の前面に配置された横レンチキュラーレンズ２７０１と、この横レンチキュラーレンズ２７０１の前面に配置されたマスク２７０２とが、ディスプレイ２７００から観察位置２７０３に向かってこの順番で配置されて構成される。
【００１０】
今、視点数を９視点とした場合のディスプレイ２７００の各画素にどのように原画像の画素を表示するかを図２８に示す。画素の配列方法は、画素の各水平列（以下、画素水平列）に９視点に対応するＤ１からＤ９までの画素をこの順で循環的に繰り返し配置し、画素水平列が垂直方向に１列異なるごとに３画素分だけＤ１からＤ９までの画素の水平方向位置をずらし、かつ垂直方向に３列異なるごとに同じ画素配列となるようにしている。これにより、図２８中に点線２８０１で囲んだ、Ｄ１からＤ９までの９個の画素を３個（行）×３個（列）のマトリクス状に配置した画素ブロックが形成される。そして、この画素ブロックを垂直方向および水平方向に複数配置した形に表示画像２８００が形成されている。
【００１１】
そして、これら複数の画素ブロックのそれぞれにおける１つずつの画素（つまりは、Ｄ１の画素群、Ｄ２の画素群、Ｄ３の画素群、Ｄ４の画素群、Ｄ５の画素群、Ｄ６の画素群、Ｄ７の画素群、Ｄ８の画素群およびＤ９の画素群）を用いて上記９視点に対応する９個の画像が表示される。このように作成された表示画像がディスプレイ２７００に表示され、その光束がディスプレイ２７００の前面に配置されている横レンチキュラーレンズ２７０１ならびにマスク２７０２を介して観察位置２７０３に到達する。このため、観察位置２７０３では、９視点に対応する各画素からの光束のみが到達し、Ｅ１〜Ｅ９までの観察位置２７０３が水平方向に繰り返し形成され、９視点の立体画像表示を行うことが可能となる。また、１画素をＲＧＢの３色のサブ画素により構成したカラータイプのディスプレイの場合においても、ディスプレイ２７００に表示する画素配列、横レンチキュラー２７０１、マスク２７０２の構成を変更することで、観察面での色分離を生じないような立体表示装置を構成可能である。
【００１２】
一方、立体写真プリントシステムとして本出願人より提案の特許文献２（特開２００１−３４６２２６号公報）に開示された立体写真プリントシステムがある。この提案は、カメラにステレオアダプタを装着してステレオ画像を入力し、そのステレオ画像を処理して所定の光学系に応じた画素配列を有する多眼合成画像を生成し、この合成画像を印刷することで容易に立体写真をプリントすることができる立体写真プリントシステムである。この印刷結果を所定の光学系を介して観察することで、立体画像を観察することができる。ステレオ画像に対する処理は、ステレオ画像から対応点抽出を行い、対応点抽出結果から奥行きを表す視差マップを作成し、作成した視差マップを利用してフォワードマッピングすることで、撮影していない位置での新規視点二次元画像を作成する処理である。以上説明したように、立体表示装置並びに立体写真プリントシステムが存在する。
【００１３】
一方、動きのある立体映像を印刷するシステムとして、特許文献３（特開平０９−１４６０４５号公報）に提案がある。この提案は、レンチキュラー板と偏光板および偏光板に対応した画像シートに立体映像の各時刻、各視点位置での画像を記録し、偏光眼鏡を介して観察することで、動画的に立体映像を観察することができるというものである。
【特許文献１】特開２００４−００７５６６号公報
【特許文献２】特開２００１−３４６２２６号公報
【特許文献３】特開平０９−１４６０４５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかし、上記特許文献３においては、立体映像中の各時刻の画像を単純に取り出してそのまま画像シートを作成しているため、ユーザは立体映像そのものが持つ多くの情報を利用した魅力的な立体映像を立体印刷することはできなかった。
【００１５】
本発明は、上記問題点に鑑み、立体映像が持つ多彩な情報を利用した立体印刷を容易に実行可能とすることを目的とする。
【課題を解決するための手段】
【００１６】
上記の目的を達成するための本発明の一態様による画像形成装置は以下の構成を備える。即ち、
複数の位置から複数の撮像手段によって撮影された映像を格納する格納手段と、
前記複数の位置のうちの所望の位置と所望の撮影時刻を指定する指定手段と、
前記指定手段で指定された所望の位置と所望の撮影時刻、及び前記格納手段に格納された映像に基づいて、撮影時刻の異なる複数のフレーム画像を取得する取得手段と、
前記取得手段で取得された複数のフレーム画像を、所定の光学系を介して観察した場合に観察視点位置の移動に従って順次観察できるように合成して画像を形成する形成手段とを備える。
【００１７】
また、上記の目的を達成するための本発明の他の態様による画像形成装置は以下の構成を備える。即ち、
任意の視点からのコンピュータグラフィックス映像をレンダリングするレンダリング手段と、
所望の視点位置と前記映像中の所望の時刻を指定する指定手段と、
前記指定手段で指定された所望の位置と所望の時刻、及び前記コンピュータグラフィックス映像に基づいて、複数の視点位置と時刻を選択する選択手段と、
前記選択手段で選択された複数の視点位置と時刻に対応する前記コンピュータグラフィックス映像のフレーム画像を前記レンダリング手段によりレンダリングさせて複数のフレーム画像を取得する取得手段と、
前記取得手段により取得された複数のフレーム画像を、所定の観察光学系を介して観察した場合に観察視点位置の移動に従って順次観察できるように合成して画像を形成する形成手段とを備える。
【００１８】
また、本発明によれば、上記画像形成装置による画像形成方法、および該画像形成方法をコンピュータによって実行するための制御プログラムおよび該制御プログラムを格納した記憶媒体が提供される。
【発明の効果】
【００１９】
本発明によれば、立体映像が持つ多彩な情報を利用した立体印刷を容易に実行することが可能となる。
【発明を実施するための最良の形態】
【００２０】
以下、添付の図面を参照して本発明の好適な実施形態を詳細に説明する。
【００２１】
＜第１実施形態＞
図１は、第１実施形態に係る立体画像形成装置を用いた立体映像印刷システムの機能構成を示すブロック図である。
【００２２】
立体画像形成装置１０は、複数の異なる視点位置で撮影された立体映像を立体表示装置１１で表示したり、立体印刷装置１２で印刷したりするための合成画像を形成する。立体映像入力装置１３は立体表示装置１１に適するように配置された複数のカメラからの動画像を入力する（これら複数の動画像により立体映像が構成される）。立体映像入力装置１３で取得された立体映像は立体画像形成装置１０において立体視観察のための光学系に適するように合成され、立体表示装置１１によって立体表示される。入力装置１４は、ユーザからの各種設定などを入力する。立体印刷装置１２は、立体画像形成装置１０で合成された合成画像を印刷する。
【００２３】
次に、立体画像形成装置１０の内部ブロック構成を説明する。一時記憶部１００は立体映像入力装置１３から入力した立体映像を一定の時間記録しておくための記憶領域である。記憶部１０１は事前に入力された立体映像がファイルとして保存されている。なお、そのようなファイルは公知の圧縮技術（ＭＰＥＧ２のMulti View Profileなど）で圧縮されて保存されてもよい。立体表示情報記憶部１０３は、立体表示装置１１の立体表示に関する装置固有のパラメータを記憶しておく記憶領域である。立体画像合成部１０４は一時記憶部１００に格納されている立体映像より立体表示情報記憶部１０３に記憶されているパラメータを参照して立体表示装置１０に対応した合成画像を生成する。入力情報記憶部１０５は、ユーザが指定した立体印刷を行うべき映像を特定するための時刻など、ユーザによって入力、設定された各種パラメータを記憶する領域である。
【００２４】
映像選択部１０６は、入力情報記憶部１０５に記憶されている入力情報に応じて、立体印刷すべき立体映像内のフレームを、一時記憶装置１００あるいは記憶部１０１に格納されている立体映像より選択する。立体印刷情報記憶部１０７は、立体印刷装置１２の立体印刷に関する装置固有のパラメータを記憶しておく領域である。立体画像形成部１０８は、映像選択部１０６によって選択された立体映像内のフレームと立体印刷情報記憶部１０７に記憶されている立体印刷情報とに基づいて立体画像の形成を行う。また、立体表示制御部１０９は、立体印刷装置１２に立体印刷を行う立体映像を立体表示装置１１でプレビューするための制御を行う。
【００２５】
次に、図２を用いて本実施形態の立体画像形成装置１０の物理的な構成例を説明する。立体画像形成装置１０は例えば汎用パーソナルコンピュータ２００で構成される。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、インターフェース（Ｉ／Ｆ）２０６と、表示コントローラ２０８、ディスクコントローラ２１１およびネットワークコントローラ２１２がシステムバス２１３を介して互いに通信可能に接続された構成となっている。そして、システムバス２１３がネットワークコントローラ２１２を介してネットワーク２１４と接続される。また、表示コントローラ２０８には立体表示装置１１が接続され、インターフェース２０６にはキーボード２０４、マウス２０５および立体印刷装置１２が接続され、ディスクコントローラ２１１にはハードディスク（ＨＤ）２０９及びフレキシブルディスク（ＦＤ）２１０が接続されている。
【００２６】
ＣＰＵ２０１はＲＯＭ２０２或いはＨＤ２０９に記憶されたソフトウェア、或いはＦＤ２１０より供給されたソフトウェアを実行することで、システムバス２１３に接続された各構成部を統括的に制御する。即ち、ＣＰＵ２０１は所定の処理プログラムをＲＯＭ２０２或いはＨＤ２０９或いはＦＤ２１０から読み出して実行することで、本実施形態での各機能を実現するための制御を行う。ＲＡＭ２０３は、ＣＰＵ２０１の主記憶或いはワークエリアなどとして機能する。立体画像形成装置１０における一時記憶部１００、記憶部１０１、入力情報記憶部１０５、立体表示情報記憶部１０３、立体印刷情報記憶部１０７が、ＲＯＭ２０２或いはＨＤ２０９或いはＦＤ２１０により実現される。なお、これら記憶部は、外部の記憶装置からネットワーク２１４を介してデータを取得する構成によっても実現され得るものである。また、立体画像合成部１０４、立体表示制御部１０９、映像選択部１０６、立体画像形成部１０８の各機能は、ＣＰＵ２０１が所定の制御プログラムを実行することによって実現される。また、入力装置１４はキーボード２０４及びマウス２０５によって実現される。
【００２７】
表示コントローラ２０８は立体表示装置１１と接続されており、立体画像合成部１０４で立体映像を合成して得られた合成画像を立体表示装置１１へ転送し、立体表示を行わせる。ディスクコントローラ２１１は、ブートプログラム、種々のアプリケーション、編集ファイル、ユーザファイル、ネットワーク管理プログラム、及び本実施形態における上記処理プログラムなどを記憶するＨＤ２０９並びにＦＤ２１０とのアクセスを制御する。ネットワークコントローラ２１２はネットワーク２１４上の機器と双方向にデータをやり取りする。以上の各部の動作により、立体印刷装置２１５に印刷する立体映像を形成することが可能となる。なお、立体画像形成装置１０、入力装置１４はＵＳＢなどのインターフェースを用いて接続され、立体画像形成装置１０と立体表示装置１１とはＤＶＩ（Digital Visual Interface）などの映像用インターフェースを介して接続される。
【００２８】
次に、図３のフローチャートを用いて本実施形態の立体映像印刷システムの処理の流れを詳細に説明する。
【００２９】
まず、ステップＳ３００では立体映像入力装置１３から入力された立体映像（複数の動画像）を合成して立体表示装置１１へ表示する。この処理の詳細を、図４のフローチャットを用いて詳細に説明する。
【００３０】
まず、ステップＳ４００において、立体画像合成部１０４は立体表示装置１１の立体表示パラメータに関する情報を取得する。取得した立体表示パラメータは、図１の立体表示情報記憶部１０３に記憶される。ここでいう立体表示パラメータとしては、立体表示装置１１に特有の光学系に起因する合成画像の画素配列や、推奨する観察距離、画像間の最大／最小の視差量などがある。なお、本例では、立体映像入力装置１３の各カメラの配置は立体表示装置１１に対応した配置がなされているものとする。
【００３１】
次にステップＳ４０１では、図１における立体映像入力装置１３から立体映像の入力を開始する。このとき、動画像取得時刻を同期させる同期装置（不図示）と立体映像入力装置１３とを接続し、各カメラ映像（すなわち、複数の動画像）が同期して取得される。このようにして取得された立体映像は、図１の一時記憶部１００に時系列に、カメラ毎に一定量、すなわち所定期間分だけ記憶される。一時期億部１００におけるこの一定量の記憶は、時間的に古い映像から破棄し、新しいものを上書きしていくという記憶動作により実現される。なお、立体映像入力装置１３より得られた立体映像の全て或いは一部を立体映像ファイルとして記憶部１０１に記録するようにしてもよい。
【００３２】
次にステップＳ４０２において、立体画像合成部１０４は、立体映像入力装置１３から入力した立体映像を立体表示装置１１の合成画像の画素並びに並び替えて合成画像を生成する。なお、このとき、立体表示装置１１に適応した合成画像を生成するために、立体表示情報記憶部１０３に記憶されている立体表示パラメータが参照される。合成画像の生成の概略を図１３を用いて説明する。今、立体映像入力装置１３が図２５に示すように光軸が水平に配置された４台のカメラ２５００〜２５０３から構成されており、また、立体表示装置１１が図２６に示すように４眼式でレンチキュラーレンズを介して観察するタイプとする。今、時刻ｔにおけるカメラｃの位置ｘ、ｙにおける画素値をｆ（t,c,x,y）とすると、合成画像の画素並びは図１３のようになる。
【００３３】
次に、ステップＳ４０３では、ステップＳ４０２で合成された合成画像が立体表示装置１１へ転送され、立体映像が表示される。なお、図４の処理では、立体映像入力装置１３から入力した立体映像を表示するとしたが、図１の記憶部１０１に保存されている立体映像ファイルに関しても同様に処理することが可能である。但し、記憶部１０１に保存されている立体映像ファイルを用いる場合は一時記憶部１００を用いなくてもよい。
【００３４】
次に、図３に戻り、ステップＳ３０１において、ユーザからの立体印刷要求があるか否かを判断する。要求が無ければステップＳ３００へ移り、次の時刻の立体映像を表示する。一方、立体印刷要求があれば、ステップＳ３０２へ移動する。ステップＳ３０２では、当該装置を立体動画再生印刷モードに設定する。このモードでは、先に説明したように一時記憶装置１００への立体映像記憶方式が変更され、新しい立体映像は一時期記憶装置１００へ記憶されない。このことによって、ユーザが立体印刷を要求した時刻までの上記所定期間の立体映像を用いて立体印刷を行うことが可能となる。
【００３５】
次に、ステップＳ３０３へ移り、立体印刷装置１２が指定されているかを確認する。もし設定されていない場合は、図１２に示すような警告ダイアログをユーザへ表示する。ここで、「キャンセル」ボタン１２０１が押される（クリックされる）と図３のステップＳ３００へ戻り立体映像の表示が継続される（不図示）。「設定する」ボタン１２００が押されるとステップＳ３０４に処理を移し、立体印刷装置の設定を行う。立体印刷装置の設定を行うダイアログ例を図１１に示す。ここで、リストボックス１１００では接続されている立体印刷可能な装置一覧より立体印刷を行いたい装置を選択するこができる。１１０１には１１００で選択した立体印刷装置固有の立体印刷パラメータが表示される。ここでいう立体印刷パラメータとしては、印刷可能な画像数や推奨する観察距離や画像間の最大／最小視差量などがある。この立体印刷パラメータは立体印刷情報記憶部１０７に記憶される。
【００３６】
次に、ステップＳ３０５で立体映像印刷に関する各種パラメータを設定し、立体印刷に用いるフレームを選択する。このステップの処理内容を図５のフローチャートを用いて詳細に説明する。まず、ステップＳ５００では立体印刷モード、即ち、立体映像をどのように立体印刷装置１２に印刷するのかを指定する。その設定ダイアログ例を図７に示す。図７において、リストボックス７００により、どのように立体印刷を行うか（立体印刷モード）を選択する。立体印刷モードの選択後、「次へ」ボタン７０１が押されると、選択された立体印刷モードに付随するパラメータの設定を行う。本実施形態では、立体印刷モードとして、「通常立体印刷」「スローモーション」「微小移動」「ホログラフィックステレオグラム」の４種類から選択することができる。
【００３７】
ここで、各種立体印刷モードについて、図１６、図１７を用いて詳細に説明する。ここでいう印刷モードとは、立体映像の中から印刷すべきフレームを選択するにおいて、どの時刻およびどのカメラのフレームとするかなどを工夫することで様々な効果を持つ立体映像印刷を得るためのバリエーションのことである。図１６では、本実施形態で想定している立体映像入力装置１１を用いた撮影を上から見た概念図である。撮影空間において、物体１６００、１６０１が立体映像入力装置１６０５に向かって、それぞれ軌跡１６０２、１６０３に沿って近づいてきている様子を表している。また、物体１６００、１６０１の移動速度は異なっているものとする。
【００３８】
図１７は縦軸に撮影時刻（ｔ）を、横軸に立体映像入力装置１１の各カメラ（Ｃ１〜Ｃ４）を記述し、立体印刷モードによってどのように映像（フレーム）を選択するかを概念的に表現した表である。「通常立体印刷」、「スローモーション立体印刷」、「微小移動立体印刷」、「ホログラフィックステレオグラム印刷」などの各立体印刷モードに応じて様々な映像の選択方法が存在する。以下、各印刷モードにおける映像選択の組み合わせを図１７を用いて説明する。また、各印刷モードにおけるパラメータ指定ダイアログ例について図８（ａ）〜（ｃ）を用いて説明する。ただし、説明の簡単のため、立体観察のための構成は８眼式のレンチキュラーレンズを備えた光学系とし、立体印刷装置１２はそのような観察系に対応した立体画像を形成するものとする。
【００３９】
［通常立体印刷モード］
このモードは、図１７の「○」印のように所定のカメラペアの同一時刻の映像を選択していくことで実現される。このとき、立体印刷結果を図１４のように視点位置を変化させながら観察することで、同一カメラペアの映像を時間軸方向に、かつ、立体的に観察することが可能となる。このときのパラメータ設定ダイアログ例を図８（ａ）に示す。図８（ａ）のダイアログは図７のダイアログのリストボックス７００において通常立体印刷を選択することで表示される。図８（ａ）において、８０１は基準フレーム（通常立体印刷に用いる先頭フレーム）とすべきフレームの撮影時刻ｔを、８０２は基準カメラを、８０３は基準カメラと隣り合う隣接カメラを指定するための設定ボックスである。ウインドウ８００には、ボックス８０２で選択した基準カメラの、ボックス８０１で指定した時刻ｔにおけるフレームの映像が表示されている。このようなダイアログ例によってパラメータを設定することで、図１７の「○」で示すような映像フレームを選択可能となり、通常立体印刷を実行できることとなる。なお、選択されるフレーム数は、立体印刷装置で表示可能な眼数の１／２となる。
【００４０】
［スローモーション立体印刷モード］
スローモーション立体印刷モードでは、図１７の「△」印のように所定のカメラペアの同一時刻の映像を選択していく際に、実際の立体映像の時間間隔よりも微小間隔の映像を画像処理によって生成し、その生成した画像から合成画像を生成する。これにより、見かけ上スローモーションのような立体映像の効果をもつ合成画像を作成できる。立体映像の時間間隔より微小間隔の映像を生成するには、公知のモーフィング技術を利用して生成することが可能である（例えば、"Feature-Based Image Metamorphosis," Computer Graphics Proc. Vol.29, pp.35-42, (1992)や「射影変換に基づく画像間の補間」(電子情報通信学会、信学技報 IE94-14 (1994-05) pp.29-36を参照)。
【００４１】
スローモーション立体印刷モードにおけるパラメータ設定ダイアログ例を図８（ｂ）に示す。図８（ｂ）のダイアログは図７のダイアログのリストボックス７００において「スローモーション」を選択することで表示される。図８（ａ）のダイアログとの違いは、選択するフレームの時刻として、開始フレームの時刻（８０５）と終了フレームの時刻（８０６）を設定する点である。特に終了フレームの時刻は開始フレームの時刻に比して、図に示すように連続的に指定可能（本実施形態では小数第１位まで指定できるものとする）な点である。なお、開始フレームについても終了フレームと同様に連続的な指定を可能としてもよいであろう。ここで、開始フレームと終了フレームの時刻によって指定された期間に存在するフレーム数が立体印刷可能なフレーム数を超えている場合は、当該指定された期間より等間隔に時刻を設定しても良いし、その間隔もユーザに設定するようなＧＵＩを追加してもよい。（例えば、４眼式の表示装置において、ＧＵＩとして開始フレームを０、終了フレームを０．８で０．１刻みとした場合、８フレームが選択されるが、８眼分の表示は持っていない。このような場合は、例えば、０、０．２、０．４、０．６、０．８という４フレームを選択することで、見かけ上はスローモーション的な効果を持つ映像を作成可能である。また、選択のためのフレーム間隔は、上記例では０．２で一定であるが、この間隔をユーザが指定できるようにしてもよい。）このように間隔をユーザが設定する場合も、ちょうどその間隔になる映像が無ければ、前述のモーフィング技術などを利用して映像を生成することで、立体印刷は可能となる。図８(ｂ)に示すようなダイアログによってパラメータを設定することにより、図１７の「△」で示すような映像フレームを選択可能となり、スローモーション立体印刷を実行できることになる。
【００４２】
［微小移動立体印刷モード］
微小移動立体印刷モードでは、図１７の「▽」印のように、カメラの存在しないカメラ位置における映像を生成し、その映像を利用した立体印刷を行うことで、視点位置が微小に移動した効果の立体印刷を作成することができる。新たな映像を画像処理により生成する点においては前述したスローモーション立体印刷モードと同様であるが、微小移動立体印刷モードは時間間隔を可変にするものではない。なお、カメラの存在しない撮影位置に関しては、図中の例だけに関わらずカメラＣ１〜Ｃ４の間であれば様々な位置における組み合わせを指定可能である。このような、カメラの存在しない撮影位置での映像生成には、例えば、本出願人より提案の特開２００１−３４６２２６号公報に記載の任意視点画像生成技術を利用することができる。この際、同時刻の全てのカメラ映像を利用することで高品質の任意視点画像を生成する（前述のカメラ位置から撮影した映像に基づいて、カメラが置かれたカメラ位置以外から撮影したかのような映像を生成する）ことが可能となる。また、微小移動であるため、そのままの生成した映像を観察しても視差が不足して立体感が不足する場合も考えられるが、そのような場合も前記提案に記載の視差量を立体印刷装置に適した形に変換することで、適当な立体感を有する映像を生成することが可能となる。
【００４３】
微小移動立体印刷モードのパラメータ設定ダイアログ例を図８（ｃ）に示す。図８（ｃ）のダイアログは図７のダイアログのリストボックス７００において「微小移動」を選択することで表示される。図８（ｃ）のダイアログ例が図８（ｂ）と異なるのは、フレーム指定の部分（８０１）が図８（ａ）と同様になったこと、基準カメラおよびこれと隣あうカメラに相当するカメラ位置を図中に示したように連続的に選択できる（本実施形態では小数第１位まで指定できるものとする）点である。このようなダイアログにより微小移動立体印刷のパラメータを設定することが可能となる。そして、このようなパラメータを設定することにより、図１７の「▽」で示すような映像フレームを選択可能となり、微小移動立体印刷を実行できることになる。
【００４４】
［ホログラフィックステレオグラム印刷モード］
ホログラフィックステレオグラム印刷モードは、図１７の「☆」印のように、時刻およびカメラ位置が順次移動する画像を選択し、合成画像を生成することにより、ホログラフィックステレオグラムのような効果がある立体画像を形成する印刷モードである。図１７においては、全て実際のカメラ映像を選択するように記述したが、前述のスローモーション立体印刷モードや微小移動立体印刷モードのように実際の撮影画像が存在しない時刻／カメラ位置で生成された映像を利用することも可能である。
【００４５】
ホログラフィックステレオグラム印刷モードのパラメータ設定ダイアログ例を図８（ｄ）に示す。図８（ｄ）のダイアログは図７のダイアログのリストボックス７００において「ホログラフィックステレオグラム」を選択することで表示される。リストボックス８０１では、図８（ａ）と同様に先頭フレームとなる基準フレームを選択し、リストボックス８０９には映像選択を開始するカメラを指定し、リストボックス８１０には映像選択を終了するカメラを指定する。上記の設定によって、基準フレーム８０１で指定した先頭フレームの時刻のリストボックス８０９で指定した開始するカメラ映像から、リストボックス８１０で指定した終了するカメラに向けて図１７の「☆」印のように、映像を選択していくことによって、ホログラフィックステレオグラム印刷モードのパラメータを設定することが可能となる。以上で、ホログラフィックステレオグラム印刷モードの説明を終える。
【００４６】
以上のようにして、各立体印刷モードに応じたパラメータ設定を行い、次にステップＳ５０２移動する。
【００４７】
再び図５において、ステップＳ５０２では、各立体印刷モードに応じたダイアログによって設定した基準時刻に対して、どのフレームを立体印刷の対象とするのかを決定する。この決定方法としては、自動的に決定する方法と手動で決定する方法があり、自動で決定する場合はステップＳ５０３に移動して立体印刷対象となる時刻を自動選択し、手動で決定する場合は、ステップＳ５０４に移動して手動で立体印刷対象となる時刻を選択する。上記の設定をおこなうダイアログ例を図９に示す。
【００４８】
図９において、９００は設定された基準時刻を基準としてそれ以外の立体印刷対象となる映像時刻を自動設定するか手動設定するかを選択するラジオボタンである。ラジオボタン９００により自動設定を選択した場合は、フレーム選択で囲まれた領域が選択できなくなり、手動設定が選択された場合には、フレーム選択で囲まれた領域が選択できるようになる。自動設定が選択された場合は、後述するフレーム選択を自動設定するための基準を９０１により選択できるようになる。一方、手動設定が選択された場合は、フレーム選択９０２内に表示されている時刻９０２を増減ボタン９０３にて変更して所望する時刻を選択し、追加ボタン９０４ａを押すことで、選択リスト９０５に追加される。また、選択リスト９０５に表示されている時刻を選択し、削除ボタン９０４ｂを押すと、選択された時刻が削除させる。このようにして、登録した時刻を編集することができる。これらを立体印刷装置１２に応じて決定される所定数のフレームが選択リスト９０５に登録されると、「次へ」ボタン９０７が選択可能となり、ステップＳ５０５へ移ることができる。なお、時刻９０２を増減するのに応じて対応するフレーム画像を表示するようにしてもよい。
【００４９】
次にステップＳ５０３における自動選択手法について、図１７および図１８を用いて説明する。図１８において、（ａ）〜（ｅ）は図１６のシーンを撮影したカメラＣ２から取得された連続する時刻の映像とし、撮影された時刻はそれぞれ図１７の表におけるｔ−２、ｔ−１、ｔ、ｔ＋１、ｔ＋２とする。（ａ）−（ｂ）間の映像は被写体距離も遠いため見かけ上の運動量は微小であるが、（ｂ）−（ｅ）に関しては各映像間に動きがある。このように、単純に連続する時間の映像をそのまま利用してしまうと、（ａ）−（ｂ）間のように動きの少ない映像を選択して、立体映像印刷として動きの無い結果となってしまう。このような場合は、図１７の表でいうと、ｔ−２の映像の次にｔの映像を選択するといったように時間的に不連続な映像を選択することで、ある程度動きの存在するような映像を選択することが立体映像印刷としては好ましい。逆に、（ｃ）−（ｄ）や（ｄ）−（ｅ）に関しては、物体の移動量が大きすぎて滑らか運動として観察できないような場合も存在する。このような場合は、図１７の表でいうとｔ、ｔ＋０．５、ｔ＋１というような映像を生成・選択したほうが滑らかな立体映像印刷が可能になる。
【００５０】
以上説明したように、立体印撮影の効果としては、時間的に良好な動きや奥行き感の変化のある映像を容易に選択できることが望ましい。そこで、このステップＳ５０３では映像間の動きを自動的に検出して映像の選択を行う。映像間の動きを検出する手法としては、基準カメラの連続する時刻間の映像の単純な画像間差分やテンプレートマッチングやオプティカルフロー検出を利用した動きベクトルを利用することが考えられる。また、奥行き方向の動きは、基準カメラと隣接するカメラとの同一時刻の映像間のテンプレートマッチングによる対応点抽出結果より視差・距離を算出することが可能である。どちらの基準も画像全体の値の平均的な値を基準として利用してもよいし、主被写体が存在するような画面付近のみの領域であってもよい。
【００５１】
このようにして算出した映像の動き情報を用いて、図９の９０１で設定された基準値を利用し、後述するステップＳ３０６／ステップＳ５０６で画像形成を行う。基準値９０１において「動き量（最前オブジェクト）」を選択した場合は、先に述べた動き情報のうち、最も手前に存在する物体が、立体印刷を行った際に最も浮き上がって見えるよう視差を各時刻毎に左右にずらして調整する。なお、最前のオブジェクトの判断は、周知の技術で実現でき、例えば、動きベクトルの大きさを利用したり、ステレオ画像計測などで奥行きを推定することなどで実現できる。また、基準値９０１を「動き量（画面全体）」を指定した場合は、各時刻全ての映像の持つ動き情報を立体印刷で可能な立体表示範囲に対応させるように画像形成を行う。このような基準値を利用することで、立体印刷を行った際の効果をより明確に指定できることになる。
【００５２】
以上説明したように、立体印撮影の効果としては、時間的に良好な動きや奥行き感の変化のある映像を容易に選択できることが望ましい。そこで、このステップＳ５０３では映像間の動きを自動的に検出して映像の選択を行う。例えば、通常立体印刷モードであれば、図８（ａ）のＵＩによって指定された基準フレームを先頭フレームとして、印刷すべき映像の選択を行う。映像間の動きを検出する手法としては、基準カメラの連続する時刻間の映像の単純な画像間差分やテンプレートマッチングやオプティカルフロー検出を利用した動きベクトルを利用した基準が考えられる。また、奥行き方向の動きは、基準カメラと隣接するカメラとの同一時刻の映像間のテンプレートマッチングによる対応点抽出結果より視差・距離を算出することが可能である。どちらの基準も画像全体の値の平均的な値を基準として利用してもよいし、主被写体が存在するような画面付近のみの領域であってもよい。
【００５３】
上記のような時間的・空間的動きを検出するに当たって、一時記憶部１００に記憶されている立体映像は有限であるので、その範囲以内を探索し印刷対象となる映像を決定する。また同様に、記憶部１０１にファイルとして保存されている立体映像もそのファイル内で印刷対象となる映像の探索を行う。一方、ステップＳ５０４では、上述したように手動で映像の選択を行う。
【００５４】
以上の動作で、ステップＳ５０３あるいはＳ５０４にて立体印刷を行う映像が選択され、確認ダイアログ例として図１０に示すような表示がユーザになされる。
【００５５】
次に、図５のステップＳ５０５において、設定された立体印刷パラメータで立体印刷を行った際の様子を立体印刷装置１１でプレビューするか否かをユーザに問い合わせる。プレビューする場合は、ステップＳ５０６へ進み、立体印刷パラメータに基づいてプレビュー用の映像を生成し、ステップＳ５０７にて立体表示装置１１にこれを表示する。一方、プレビューしない場合は本フローチャートを終了し、図３のフローチャートステップＳ３０６へ移動する。
【００５６】
ここで、立体印刷装置１２への立体印刷内容を立体表示装置１１でプレビューする具体的な合成画像を図１５を用いて説明する。プレビューを行う際は、図１４のように立体印刷結果観察時と同様な視点位置移動は、立体表示装置１１と立体印刷装置１２の眼数が同一の場合しか行えない。したがって、本実施形態のプレビューでは、ユーザから入力装置への入力イベント（例えば、キーボードから特定のキー入力やマウスへのクリック動作など）毎に表示するフレームが切り替わる立体映像によってプレビュー機能を達成する。図１５には立体表示装置１１に表示する合成画像の画素並びを示す。今、立体表示装置１１は４眼式であるとしたので、立体視させる画像ペアを図のように並べることで、通常の２眼の立体映像として観察することが可能となる。このとき、実際の立体印刷結果を観察する場合と、立体表示装置１１でプレビューした場合とでは立体感が異なるため、立体感を調整するよう、視差量を調整しても良い。具体的には、左右方向に画像を平行移動させたりすることで実現可能である。或いはその視差量、調整量をユーザに入力させるようにしてもよい。このプレビュー画面を順次変更する立体映像を観察して、ユーザが所望の立体印刷の効果が得られていないと判断した場合は、ステップＳ５００に戻って、再び立体印刷パラメータの設定を行う。プレビュー結果が良いと判断した場合は、このフローチャートを終了し、図３のステップＳ３０６へ進む。
【００５７】
図３に戻り、ステップＳ３０６では、ステップＳ３０５で決定した立体印刷パラメータを用いて立体印刷を行う。この処理の流れを図６のフローチャートを用いて説明する。
【００５８】
まず、ステップＳ６００で、ステップＳ３０５において選択された映像（フレーム）を映像選択部１０６で選択する。次に、ステップＳ６０１において、ステップＳ６００で選択された映像並びに立体印刷情報記憶部１０７に記憶されている立体印刷パラメータに基づいて、立体印刷装置１２の合成画像を生成する。そして、ステップＳ６０２において、立体印刷装置１２へ生成された合成画像を転送し、ステップＳ３０７へ戻る。このとき、立体印刷する画像の視差量を立体印刷装置１２の装置固有の情報である最大／最小視差量に変換することで、より見えのよい立体印刷が可能となる。また、このとき、立体印刷結果に対して、時系列的に飛び出し／沈み込み量が一貫していることが好ましいため、視差調整量は立体印刷の対象となった画像全て同一の調整量で調整を行う。
【００５９】
以上のようにして立体印刷がなされると、ステップＳ３０７に移り、一時記憶部１００の記憶モードを立体映像入力装置１３からの立体映像の通常記憶モードに戻す。この際、立体印刷に利用した映像群（所定の選択した時刻映像）あるいは、一時記憶装置１００に記憶されている立体映像を記憶部１０１に所定の圧縮方式によって圧縮することで記憶するようにしてもよい。
【００６０】
以上説明したように、第１実施形態によれば、立体映像入力装置１３から入力した立体映像を観察しながら、ユーザの所望する場面の立体印刷を行う際に、時間的／空間的に様々なパラメータを設定することで、多様な効果を有する立体映像印刷を容易に行えるという効果がある。例えば、観察時の視点位置を変更することにより、動きのある画像を観察することができる。また、その際に、時間的に動きがある映像を自動的に選択する用に構成したので、より効果のある立体印刷を簡便に作成できるという利点もある。また、立体表示装置１３において立体印刷する内容をプレビューすることで、実際に印刷することなく立体印刷の効果を確認することが可能となり利便性が向上するという効果がある。
【００６１】
＜第２実施形態＞
第２実施形態では、三次元コンピュータグラフィックス（以下、３ＤＣＧと略する）を利用した３ＤＣＧリアルタイムアニメーションに対して本発明の立体画像形成装置を適用した例について詳細に説明する。
【００６２】
図１９は第２実施形態の機能構成を表すブロック図であり、図１の符号と同一の構成は第１実施形態と同様の動作を行うので詳細な説明は省略する。
【００６３】
立体画像形成装置１９０は、３ＤＣＧシーン内に複数の仮想カメラを配置し、その複数の仮想カメラで生成した立体３ＤＣＧアニメーションを立体表示装置１１に表示したり、立体印刷装置１２に立体印刷したりするための合成画像を形成する装置である。立体画像形成装置１９０の内部ブロック構成を説明する。
【００６４】
３Ｄオブジェクト記憶部１９０２およびアニメーション情報記憶部１９０１にはそれぞれ３ＤＣＧのキャラクタの幾何座標情報、表面属性情報、テクスチャなどから構成されるオブジェクトデータやオブジェクトの動き情報やカメラワークといったアニメーション情報がそれぞれ記憶されている。３Ｄシーン管理部１９０４は３Ｄシーン全体を管理し、時刻管理部１９０６はアニメーションを実施するための３Ｄシーンの時刻を管理する。レンダリング部１９０５は３Ｄシーン管理部１９０４によって管理されている３Ｄシーンの立体映像のレンダリングを行い、一時記憶部１９００へ時系列・仮想カメラ毎に記憶する。立体画像合成部１０４は、一時期億部１９００に記憶された３Ｄシーンより、立体表示装置１１に応じた画素並びの合成画像を生成し、立体表示装置１１に表示させる。仮想カメラ配置決定部１９０３は立体表示装置記憶部１０３に記憶されている立体表示装置１１の装置固有の立体表示パラメータや、立体印刷情報記憶部１０７に記憶されている立体印刷装置１２固有の立体印刷パラメータに適応させた仮想カメラ数並びに配置を自動的に決定する。
【００６５】
ここで説明を行わなかった図１に記載のブロック図と同符号のものは第１実施形態と同様の動作を行う。また、立体画像形成装置１９０の物理的な構成は、図２と概略同様であるので説明は省略する。
【００６６】
次に、図２０のフローチャートを用いて第２実施形態による立体画像形成装置１９０の処理の流れを詳細に説明する。
【００６７】
ステップＳ２０００では３ＤＣＧアニメーションを再生するための処理を行う。この処理の流れを図２１のフローチャートおよび図２４を用いて説明する。
【００６８】
まず、ステップＳ２１００では３Ｄシーンを構築・初期化し、所定の位置に３ＤＣＧオブジェクトおよび仮想主カメラを配置する。その概要を図２４に示す。図２４において、仮想主カメラ２４００を設置し、３ＤＣＧオブジェクト２４０５を所定の位置に配置する。また、３Ｄシーンのクリッピングプレーンとして最近／最遠距離がそれぞれ２４０３／２４０４に定義されている。
【００６９】
次に、ステップＳ２１０１にて、立体表示装置１１に適した立体動画を再生するための仮想カメラを配置する。図２４においては、仮想主カメラ２４００を中心に、仮想カメラを配置する。本実施形態では、立体表示情報記憶部１０３に記憶されている立体表示パラメータが、眼数＝４眼であるとし、仮想カメラ２４０１が４台配置されるものとする。このとき、仮想カメラ２４０１は仮想主カメラ２４００の光軸に合わせて配置する。また、カメラ間の基線長は、立体表示装置１１で推奨されている最大／最小視差と３ＤＣＧシーンの最近面２４０３／最遠面２４０４とを適合させて得られる仮想カメラ間隔に設定する。ステップＳ２１０２においては、ステップＳ２１０１にて設置した仮想カメラからの画像をレンダリング部１９０６にてレンダリングする。レンダリング結果は、一時記憶部１９００へ順次転送される。
【００７０】
ステップＳ２１０３では、ステップＳ２１０２でレンダリングされ一時記憶部１９００に記憶されている各仮想カメラのレンダリング結果を用いて、立体表示装置１１で立体表示するための合成画像を生成する。ステップＳ２１０４では、ステップＳ２１０３で生成された合成画像を立体表示装置１１へ転送して立体表示を行う。そして、ステップＳ２１０５で、時刻管理部１９０６の時刻を更新し、Ｓ２１０６ではアニメーション情報記憶部１９０１に記憶されているアニメーションデータに基づいて、３Ｄシーンを更新する。このとき、ステップＳ２１０１で作成した、立体表示のための仮想カメラに関しては、仮想主カメラ２４００に追随する動作を行う。
【００７１】
以上のステップＳ２１００〜Ｓ２１０６の処理を終了した後、図２０のフローチャートのステップＳ２００１に戻る。
【００７２】
ステップＳ２００１における動作は、第１実施形態の図３のステップＳ３０１と同様である。すなわち、印刷要求があった場合は、ステップＳ２００２に移動し、時刻管理部１９０６の時刻の更新を停止させることで、３Ｄアニメーションの再生を止める。次にステップＳ２００３，Ｓ２００４にて立体印刷装置が指定されている否かを確認する。その動作やユーザへの表示ダイアログなどは、第１実施形態のステップＳ３０３、Ｓ３０４と同様である。
【００７３】
次に、ステップＳ２００５で立体映像印刷パラメータ設定及びフレームの選択を行う。これを図２２のフローチャートで説明する。このフローチャートにおけるステップＳ２２００、Ｓ２２０２、Ｓ２２０５〜Ｓ２２０７に関しては図５のＳ５００，Ｓ５０２、Ｓ５０５〜Ｓ５０７と同一であるため説明は省略し、以下ではステップＳ２２０１，Ｓ２２０３、Ｓ２２０４について説明する。
【００７４】
ステップＳ２２０１では、「通常立体印刷」、「スローモーション立体印刷」、「微小移動立体印刷」、「ホログラフィックステレオグラム立体印刷」の各立体印刷モードに対応してパラメータを設定する。３ＤＣＧアニメーションの場合は、仮想カメラ間隔や立体印刷用の時刻更新単位を任意に設定することが可能であるので、そのようなダイアログを形成、提示することで、図５のステップＳ５０１と同様のパラメータ設定が可能となる。
【００７５】
ステップＳ２２０３においては、３ＤＣＧアニメーションにおいて、動きのある時刻を特定する。この場合は、第１実施形態とは異なり、３Ｄシーンにおける仮想カメラ位置ならびに３Ｄオブジェクトおよびそれらに移動パラメータなどは全て既知であるため、
閾値＜MAX_obj( P_obj(t) − P_obj(t+i) )
となるような時刻t+iのフレームを立体印刷のフレームとする。なお、MAX()は最大値を有するものを選択することを意味し、添え字objは３Ｄシーンに存在するオブジェクト、Pはそのオブジェクト中心のワールド座標を画像座標へ射影した座標値を意味する。
【００７６】
また、上記の判定方法以外に、３ＤＣＧオブジェクトの位置が移動せず、オブジェクトが変形するような場合（例えば、キャラクタのアニメーションなど）などにも対応する場合は、３ＤＣＧオブジェクトのバウンディングボックスの変形の度合いを判定基準としたり、さらには第１実施形態のようにレンダリング結果の画像間差分や動きベクトル量などを判定基準としたりしてもよい。
【００７７】
ステップＳ２２０４では仮想カメラの移動可能なステップ並びに設定可能な時刻間隔を設定できるようなＧＵＩを介することで、ユーザが設定可能である。
【００７８】
以上の処理によって、ユーザは３ＤＣＧアニメーションの立体印刷パラメータを設定が可能となり、図２０のフローチャートのステップＳ２００６へ戻る。ステップＳ２００６においては、立体印刷装置１２へ印刷するための合成画像を作成する。この処理の流れを図２３のフローチャート及び図２４を利用して説明する。
【００７９】
ステップ２３００においては、立体印刷情報記憶部１０７に記憶されている立体印刷に関するパラメータを取得する。このパラメータとしては、立体印刷装置１２の合成画像の画素配列や推奨される観察距離、画像間の最大／最小視差などがある。ステップＳ２３０１では、ステップＳ２３００で収集した設定情報から３Ｄシーンに変更を加える。例えば、立体印刷装置１２に適するように仮想カメラ間隔を調整したり、図２４において最近面２４０３／最遠面２４０４を実際にオブジェクトが存在する２４０６／２４０７のように変更したりすることでより立体感を向上させるように変更する。
【００８０】
次に、ステップＳ２３０２において、設定された仮想カメラから観察される画像についてレンダリングを行い、ステップＳ２３０４で時刻を更新し、ステップＳ２３０５で３ＤＣＧシーンを更新する。これらの処理を所定のフレーム数について行い、一時記憶部１９００にレンダリング毎にレンダリング画像を記憶する（ステップＳ２３０３）。
【００８１】
ステップＳ２３０３で所定のフレーム数をレンダリングしたか否かを判定し、レンダリングが終了していれば、ステップＳ２３０６へ移動し、合成画像を生成する。これは、第１実施形態における、図６のフローチャートのステップＳ６０１と同様である。最後にステップＳ２３０７にて合成画像を立体印刷装置１２へ転送することで本処理を終了し、図２０のフローチャートに戻る。
【００８２】
ステップＳ２００７においては、立体印刷が終了したので、３ＤＣＧアニメーションの再生を再開させるため、時間管理部１９０６の時間更新を再開させ、このフローチャートを終了する。
【００８３】
以上説明したように、３ＤＣＧの立体アニメーションにおいても多様な効果を有する立体映像印刷を容易に行うことが可能になる。その際に、仮想カメラの配置を自動化するなどの動作を付け加えることで、容易に立体印刷装置１２においても立体感の高い印刷結果を得ることが可能となる。
【００８４】
以上詳述したように、上記第１実施形態の立体画像形成装置によれば、実際に撮影された立体映像に対して様々な効果を有する立体印刷を容易に作成することが可能となる。また、第２実施形態の立体画像形成装置によれば、立体３ＤＣＧアニメーション映像においても、様々な効果を有する立体印刷を容易に作成することが可能となる。
【００８５】
また、上記各実施形態によれば、立体印刷に用いるべく選択された映像を事前に確認するプレビュー画像を生成、表示するようにしたので、立体印刷の効果を印刷前に確認することが可能となり、ユーザの利便性が向上するという効果がある。
【００８６】
また、本発明は、上述した実施形態の装置に限定されず、複数の機器から構成されるシステムに適用しても、１つの機器から成る装置に適用してもよい。前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、完成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭを用いることが出来る。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、次のプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵなどが処理を行って実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００８８】
【図１】第１実施形態に係る立体画像形成装置の論理的な構成を示す図である。
【図２】第１実施形態に係る立体画像形成装置の物理的な構成を示す図である。
【図３】第１実施形態に係る処理の主たるフローチャートである。
【図４】第１実施形態に係る立体表示に関するフローチャートである。
【図５】第１実施形態に係る立体映像印刷パラメータ設定に関するフローチャートである。
【図６】第１実施形態に係る立体映像印刷に関するフローチャートである。
【図７】第１実施形態に係る映像選択のＧＵＩ例を示す図である。
【図８】第１実施形態に係る映像選択のＧＵＩ例を示す図である。
【図９】第１実施形態に係る映像選択のＧＵＩ例を示す図である。
【図１０】第１実施形態に係る映像選択のＧＵＩ例を示す図である。
【図１１】第１実施形態に係る立体印刷装置選択のＧＵＩ例を示す図である。
【図１２】第１実施形態に係る立体印刷装置選択のＧＵＩ例を示す図である。
【図１３】立体表示装置への合成画像の画素並びを説明する図である。
【図１４】立体印刷装置への合成画像の画素並び及び立体印刷の観察形態を説明する図である。
【図１５】立体表示装置を用いて立体印刷結果のプレビューを行う場合の、立体表示装置への合成画像の画素並びを説明する図である。
【図１６】立体映像入力および撮影対象を模式的に説明する図である。
【図１７】立体映像選択と立体印刷効果を説明する図である。
【図１８】立体映像の自動選択を説明するための図である。
【図１９】第２実施形態に係る立体画像形成装置の論理的な構成を示す図である。
【図２０】第２実施形態に係る処理の主たるフローチャートである。
【図２１】第２実施形態に係る立体表示に関するフローチャートである。
【図２２】第２実施形態に係る立体映像印刷パラメータ設定に関するフローチャートである。
【図２３】第２実施形態に係る立体映像印刷に関するフローチャートである。
【図２４】三次元シーンおよび仮想カメラ、三次元オブジェクトの関係を説明するための図である。
【図２５】従来の多眼立体画像の撮影を説明するための模式図である。
【図２６】従来の多眼立体表示方式としてレンチキュラー板を用いた場合の模式図である。
【図２７】本出願人提案の特開２００４−００７５６６記載の立体表示装置における構成例を示す図である。
【図２８】本出願人提案の特開２００４−００７５６６記載の立体表示装置における画素配列を示す図である。
【図１】
2006165795.tif 000003
【図２】
2006165795.tif 000004
【図３】
2006165795.tif 000005
【図４】
2006165795.tif 000006
【図５】
2006165795.tif 000007
【図６】
2006165795.tif 000008
【図７】
2006165795.tif 000009
【図８】
2006165795.tif 000010
【図９】
2006165795.tif 000011
【図１０】
2006165795.tif 000012
【図１１】
2006165795.tif 000013
【図１２】
2006165795.tif 000014
【図１３】
2006165795.tif 000015
【図１４】
2006165795.tif 000016
【図１５】
2006165795.tif 000017
【図１６】
2006165795.tif 000018
【図１７】
2006165795.tif 000019
【図１８】
2006165795.tif 000020
【図１９】
2006165795.tif 000021
【図２０】
2006165795.tif 000022
【図２１】
2006165795.tif 000023
【図２２】
2006165795.tif 000024
【図２３】
2006165795.tif 000025
【図２４】
2006165795.tif 000026
【図２５】
2006165795.tif 000027
【図２６】
2006165795.tif 000028
【図２７】
2006165795.tif 000029
【図２８】
2006165795.tif 000030