(57)【要約】所与の仮想スタジオ空間内で、複数の現実イメージ又はアクションイメージを合成して多重合成イメージを構成することによって、操り人形芝居ビデオ／映画製作において、現実感のあるアクションイメージを一段と向上させること。仮想スタジオセット内で、操り人形（１０３）のアクションシーケンスの現実イメージ／アクションイメージのイメージフレームまたはイメージシーケンスを、その仮想スタジオセット内で、その操り人形（１０３）と、同一の操り人形または別の操り人形の現実イメージ／アクションイメージの別のイメージフレームまたは別のイメージシーケンスと合成することによって、最終的に多重合成イメージを生成する。
2004523965.tif 000002
【特許請求の範囲】
【請求項１】
アクション人物が、仮想スタジオセット上で人形師によって操作される竿で操られる操り人形である映画作品および／またはビデオ作品の生成のための改良された映画用システムであって、
Ａ．キーカラーの背景スクリーン、舞台、および仮想スタジオセット上で、人形師によって操作される少なくとも１つのアクション操り人形キャラクタを含む仮想製作セットと、
Ｂ．異なるカメラアングルから前記仮想スタジオセット上の前記操り人形キャラクタのアクションイメージを記録するように、該操り人形キャラクタに対してそれぞれが位置決めされた少なくとも２つのカメラと、
Ｃ．前記２つのカメラのそれぞれからの前記イメージのそれぞれを、仮想イメージまたはデジタル式に生成されたバックプレートと合成することによって、それぞれ合成イメージを生成するための手段と、
Ｄ．前記合成された合成イメージのそれぞれを互いに合成して、多重合成イメージを生成する手段と
を具えたことを特徴とする改良されたシステム。
【請求項２】
前記２つのカメラにおいて、
一方のカメラは、前記仮想スタジオセットに対してマスタカメラアングルから前記操り人形キャラクタのアクションイメージを記録し、
他方のカメラは、前記仮想スタジオセットに対する異なるカメラアングルから前記操り人形キャラクタのアクションイメージを記録することを特徴とする請求項１記載の改良されたシステム。
【請求項３】
前記操り人形キャラクタのそれぞれの前記合成イメージのそれぞれが、同一のイメージフレーム内で統合されて、前記操り人形キャラクタのそれぞれの互いに対する補完的なアクションイメージが生成されるようになることを特徴とする請求項２記載の改良されたシステム。
【請求項４】
前記合成イメージが、別々の合成モジュールによって統合されることにより、
それぞれの合成された合成イメージは、所与のイメージフレームの割り振られた部分内に現れ、
前記イメージフレームのそれぞれの割り振られた部分が、互いに対して調整されて、一方の合成された合成イメージの他方の合成された合成イメージに対する奥行きおよび／または遠近感が生成されるようになることを特徴とする請求項３記載の改良されたシステム。
【請求項５】
前記イメージフレームのそれぞれの割り振られた部分が、互いに対して調整されて、
所与のイメージフレームで、１つの合成された合成イメージからの１つの操り人形キャラクタと、別の合成された合成イメージからの別の操り人形キャラクタとの相互やりとりおよび／または補完的なアクションが生成されることを特徴とする請求項４記載の改良されたシステム。
【請求項６】
アクション人物が、仮想スタジオセット上で人形師によって操作される竿で操られる操り人形である映画用アクション合成を生成するための改良された方法であって、
Ａ．（１）キーカラーの背景スクリーン、舞台、および仮想スタジオセット上で人形師によって操作される少なくとも１つのアクション操り人形キャラクタを含む仮想製作セットと、
（２）異なるカメラアングルから前記仮想スタジオセット上のアクション操り人形キャラクタのアクションイメージを記録するように、該操り人形キャラクタに対してそれぞれが位置決めされた少なくとも２つのカメラと
を提供するステップと、
Ｂ．前記操り人形キャラクタのアクションイメージまたはアクションイメージシーケンスを、前記２つのカメラのそれぞれで記録するステップと、
Ｃ．記録された各イメージを、仮想イメージまたはデジタル式に生成されたイメージと合成することによって、それぞれ合成イメージを生成するステップと、
Ｄ．前記合成された合成イメージのそれぞれを互いに合成して、多重合成イメージを生成するステップと
を具えたことを特徴とする方法。
【請求項７】
前記ステップＢは、
２つの異なるカメラで同時に前記操り人形キャラクタのアクションイメージを記録するステップを含むことを特徴とする請求項６記載の改良された方法。
【請求項８】
前記ステップＢは、
前記仮想スタジオセットに対するマスタカメラアングルから一方のカメラで、第１の操り人形キャラクタのアクションイメージを記録し、
前記仮想スタジオセットに対する異なるカメラアングルから別のカメラで、別の操り人形キャラクタイメージの別のアクションを記録するステップを含むことを特徴とする請求項６記載の改良された方法。
【請求項９】
前記ステップＤは、
同一のイメージフレーム内で前記操り人形アクションキャラクタのそれぞれの前記合成イメージのそれぞれを統合して、前記操り人形キャラクタのそれぞれの互いに対するインタラクティブなアクションイメージを生成するステップを含むことを特徴とする請求項６記載の改良された方法。
【請求項１０】
前記ステップＤは、
別々の合成モジュールから前記合成イメージのそれぞれを統合して、それぞれの合成された合成イメージは、所与のイメージフレームの割り振られた部分内に現れ、
前記イメージフレームのそれぞれの割り振られた部分が、互いに対して調整されて、一方の合成された合成イメージの他方の合成された合成イメージに対する奥行きおよび／または遠近感が調整されるようになるステップを含むことを特徴とする請求項６記載の改良された方法。
【請求項１１】
前記イメージフレームの部分を前記イメージフレームの互いの部分に対して割り振り、
所与のイメージフレームで、１つの合成されたイメージからの１つの操り人形キャラクタと、別の合成された合成イメージからの別の操り人形キャラクタとの相互やりとりおよび／または補完的なアクションが生成されるようになるステップを含むことを特徴とする請求項１０記載の改良された方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操り人形芝居ビデオおよび映画製作において、現実イメージ／アクションイメージを多重合成するための改良されたシステム、および、方法に関し、具体的には、同一の操り人形または別の操り人形の現実イメージ／アクションイメージのイメージフレームまたはイメージシーケンスを使用して、操り人形キャラクタのイメージフレームまたはイメージシーケンスを仮想環境内で多重合成して多重合成イメージを生成するためのシステム、および、方法に関する。
【背景技術】
【０００２】
本出願は、２０００年３月８日に出願したＣＧＩで機能強化された操り人形芝居（CGI ENHANCED PUPPETRY）という名称の仮特許出願番号６０／１８７，８１４の優先権を主張する１９９９年３月２９日に出願した「機能強化された操り人形芝居、または仮想セットを利用する類似タイプのパフォーマンスのための改良された方法および装置（AN IMPROVED METHOD AND APPARATUS FOR ENHANCED PUPPETRY OR SIMILAR TYPES OF PERFORMANCES UTLIZING A VIRTUAL SET）」という名称の同時係属の実用特許出願番号０９／５３７，５２９の一部継続出願である。
【０００３】
操り人形ショーは、世界のほとんどすべての国で古代から存在してきた。ほとんどの形態で、操り人形は、手で直接に、あるいは竿、ひも、またはワイヤで操作される。また、操り人形の影も、ときとして、パフォーマンスで使用される。
【０００４】
おそらく、最も進んだ形態の操り人形芝居は、文楽人形芝居である。この形態は、最初、１６世紀末に日本で創り出され、後に、１９世紀初期の有名な日本の興行主である植村文楽軒からその名前をとった。文楽人形芝居は、３名から４名の人形師のチームが、各操り人形の背後に立ち、竿および人形師自身の手を使用して腕、脚、口、および胴体を動かすことを必要とする。通常、操り人形の動きを操作する操り師の頭と２名またはそれより多くの助手が存在する。３名または４名の人々が操り人形の異なる部分を扱うので、操り師の間で正確なタイミング調整なしに生きているような動きを実現することはできない。すべての動きに関して、従うべき詳細な決め事および型が存在する。どの操り師も、独自に動くことは許されない。
【０００５】
日本では、このタイプの操り人形を舞台上で操作する際、操り師は一般に、黒の長上着を着て、黒の頭巾を被る。これは、操り人形が主演者であり、操り師は、舞台裏に留まり、かつ／または背景に溶け込むことを意味する。日本の芝居の伝統では、黒の衣装は、不可視の物、または無を表す。
【０００６】
今日のビデオおよび映画の環境で、操り人形芝居は、生き残っており、生き栄え続けている。より具体的には、アニメーションにおける進展にもかかわらず、操り人形芝居は、より生きているような現実的なアクションイメージを提供し続けている。これは、ある程度、人形師の技能、高度なカメラ技術、現実のイメージのデジタル処理、および仕上がりのビデオ／映画シーケンスにおける現実のイメージと仮想のイメージの合成によって実現されている。この芸術形態の進展、および最新のイメージング媒体への適合を可能にした撮影技術の１つは、映画業界で、「ブルースクリーンプロセスまたはキーカラープロセス（ｂｌｕｅ  ｓｃｒｅｅｎ  ｏｒ  ｋｅｙ−ｃｏｌｏｒ  ｐｒｏｃｅｓｓ）」として知られている。より具体的には、２つまたはそれより多くのイメージを結合して１つのシーンにすることが一般的な慣行である。イメージを結合するこの技術は、主に、１つのイメージが、一様のキーカラーの背景（ブルー、グリーン、グレーなどの）で撮影され、そのキーカラーの背景が第２のイメージで置き換えられるキーカラープロセスの使用を介して実現される。また、背景は、様々な他の色であることが可能であること、また置換えは、電子式に、または光学写真技術を介して行うことが可能であることも知られている。このプロセスは、「キーイング」プロセスまたは「クロマキー（Ｃｈｒｏｍａ  ｋｅｙ）」プロセスとしても知られている。
【０００７】
例えば、ブルースクリーンの前のアナウンサのイメージ（例えば、ライブのイメージ）をライブカメラで前景イメージとして撮影することが一般的である。次に、高速コンピュータによって行われるグラフィックス処理の結果、背景イメージがリアルタイムで生成され、前景イメージの上に重ね合わされる。背景イメージと前景イメージの重なり合った部分は、キーイングプロセスによって消去され、合成イメージが、前景イメージの被写体のイメージ部分を背景イメージの空白部分にはめ込むことによって得られる。
【０００８】
標準のキーカラープロセスを使用することに多くの利点が存在するが、いくつかの欠点も存在する。例えば、キーカラープロセスは、一般に、完成品、つまり結合されたファイルまたはビデオが、合成される、つまり「事後に融合され（ｍａｒｒｉｅｄ  ｉｎ  ｐｏｓｔ）」、プロセス全体が完了するまで評価のために見ることができない反復プロセスである。この結果、映画製作者は、しばしば、完成品を見て、前景部分または背景部分に変更を必要とし、シーケンス全体を「撮影しなおす」ことが必要とされる。
さらに、このプロセスは、リアルタイムで事後にレンダリングされるため、例えば、動いている操り人形と操り人形の環境の間で実際の相互作用を行うことが困難である。「ブルースクリーン」映画製作の通常のサイクルは、このプロセスの数回の反復を要する可能性がある。
【０００９】
以下の特許は、関連した技術を表し、したがって、本発明の主題に関連していると考えられる限りで、以下に概要を述べる。
例えば、特許文献１（１９８７年８月２５日にエフロン（Ｅｆｒｏｎ）に発行された）が、合成イメージの、特に、背景イメージまたは塗りつぶりイメージ（ｆｉｌｌ  ｉｍａｇｅ）を有するブルースクリーンの背景で撮影された現実のイメージのリアルタイム合成およびリアルタイム編集を可能にするイメージ合成システムを開示している。
そのようなシステムの例が、背景情報が、実物大のシーンではなく、ミニチュアモデルを撮影することによって提供される場合である。
特許文献１によれば、役者が、ブルースクリーンの前で活動を進め、ミニチュアモデルを撮影する別個のカメラによって背景情報が供給される。最終的な合成は、それぞれの背景入力および前景入力をスケール変更することによって形成されて、前景の被写体と背景の被写体の間で適切な釣合いが提供される。
例えば、特許文献１のシステムでは、前景の被写体、つまり役者のパフォーマンスを撮影するカメラの動きは、背景シーン情報を撮影するカメラによって再現されなければならない。つまり、前景撮影における役者が右側に動き、カメラがその動きを見せるように役者とともに動いた場合、提供する例では、ミニチュアモデルを撮影するカメラの対応する動きが存在しなければならない。２次カメラのこの調整された動き、つまり従属させられた動きを提供するのは、前景イメージを撮影するカメラの機能である。
【００１０】
アクションイメージと背景イメージとをリアルタイムで合成することにより、テレビジョン製作者または映画製作者が、シーンが行われる際にシーンを見せること、および見ることが可能になる。さらに、（例えば、特許文献１参照）によって提供されるイメージ処理機能強化により、テレビジョン製作者または映画製作者が、結果の合成されたシーンをその合成されたシーンが生じる際に見て、合成して最終の完成されたシーンの描写にするためにそのイメージ情報を適宜、変更し、向上させ、または装飾することが可能になる。合成イメージのリアルタイム編集のこの利点の重要性は、いくら強調しても、強調しすぎることはない。さらに、合成されたシーンをリアルタイムで評価できることにより、以前の映画のブルースクリーンプロセスが機能していた反復プロセス、および付随する遅延および費用が無しで済まされる。
【００１１】
例えば、特許文献２（１９９５年１２月２６日にフェラス（Ｆｅｌｌｏｕｓ）に発行された）が、撮影システムの一部を成す現実のカメラのパラメータモデルを有する仮想カメラを開示している。
特許文献２によれば、合成（仮想）イメージが、イメージ合成ソフトウェア、および現実と仮想の２つのカメラの間の動的結合を備え、一連のイメージの各現実イメージと各仮想イメージの間で完全な整合性を確保するグラフィックスコンピュータを介して得られる。この動的結合により、現実のカメラによる仮想のカメラの制御、ならびに仮想のカメラによる現実のカメラの制御が可能になる。
したがって、特許文献２の仮想のカメラにより、現実イメージを仮想セットと結合することが可能になり、これにより、比較的控えめな施設と費用で生きているような品質の合成イメージの生成が可能になる。
【００１２】
例えば、特許文献３（１９９８年６月９日にステファノ（Ｓｔｅｆｆａｎｏ）に発行された）が、入信するビデオ信号の指定された背景部分を代替の背景で、リアルタイムで置き換えることを可能にする方法を開示している。
特許文献３の方法は、基準として、またイメージ内の背景要素および前景要素を特定するための根拠として実際の背景イメージを利用し、最終結果は、従来のブルースクリーンプロセス（クロマキー技術およびＵｌｔｉｍａｔｔｅ技術）と同等であるが、パーソナルコンピュータ、ビデオカメラ、およびソフトウェアだけを要する。
例えば、特許文献３の方法では、基準背景イメージは、カメラによってキャプチャされる十分な安定した光源を有する任意の適度に静的なシーンであることが可能である。次に、ビデオデータストリームが、基準背景イメージとの比較によってリアルタイムで変更された後、もとの宛先に転送される。複数の信号−雑音処理アルゴリズムがリアルタイムで信号に対して適用されて、視覚的に許容できるマット（ｍａｔｔｅ）が達せられる。
【００１３】
特許文献４（１９９９年９月７日にクロツ（Ｋｌｏｔｚ）に発行された）が、ズーム制御の指示を含むカメラの特性を表すカメラ位置データを生成するステップと、前記位置データに応答して合成されたイメージを生成するステップと、ズーム制御調整に応答して前記合成されたイメージの知覚された焦点を調整して、現実イメージの一部分と前記合成されたイメージの一部分の間の焦点合わせの差をもたらすようにするステップとを含む前記カメラによって生成された現実イメージデータが合成されたイメージデータと結合されるイメージデータを処理するための方法を開示している。
したがって、特許文献４の方法のイメージ処理能力により、映画監督が、シーン内のその他の被写体内の被写体との釣合いで、シーンの内側、または外側に仮想イメージを投影することが可能になる。
【００１４】
例えば、特許文献５（２０００年３月７日にミツイ他に発行された）が、イメージングされる３次元空間における視点の対応する視角と、その３次元空間内の視点の視座（ｖｉｅｗ  ｐｏｓｉｔｉｏｎ）をそれぞれが有する、被写体の記録されたイメージ、および複数の背景イメージの記録されたイメージを含む、キーイングシステムを有する単純で安価な不揮発性メモリ記憶デバイスを開示している。
メモリデバイスの中に記憶された複数の背景イメージからの背景イメージは、被写体のイメージに従って事前に定義された視角および視座に応じて選択的に読み取ることができる。背景イメージと被写体のイメージの間のクロマキーイング合成が行われ、合成イメージがもたらされる。
【００１５】
特許文献５によれば、このシステムは、メモリデバイス（例えば、単純なディスクアレイユニット）に事前に記憶された複数の背景イメージを含むため、合成イメージのクロマキーイング合成は、高度な高速（高パフォーマンス）グラフィックス処理および高速（高パフォーマンス）イメージ処理を使用することも、必要とすることもない。したがって、通常のパフォーマンス（速度）のＣＰＵを有するパーソナルコンピュータなどの小型コンピュータで、このシステム構成のためのコントローラとして十分である。
したがって、特許文献５は、高度な技能も大規模な施設もなしで、システム構成の単純化と費用の削減をともに達することができることを報告している。
【００１６】
【特許文献１】
米国４，６８９，６８３
【特許文献２】
米国５，４７９，５９７
【特許文献３】
米国５，７６４，３０６
【特許文献４】
米国５，９４９，４３３
【特許文献５】
米国６，０３４，７４０
【特許文献６】
実用特許出願番号０９／５３１５２９
【特許文献７】
米国特許第５，５１５，１０９号
【特許文献８】
米国特許第５，７４２，３５４号
【特許文献９】
米国特許第５，８３１，６８５号
【特許文献１０】
米国特許第５，９７１，５４４号
【発明の開示】
【発明が解決しようとする課題】
【００１７】
イメージ処理技術および合成イメージ技術の進展にもかかわらず、操り人形芝居に対するそのような技術の適用は、依然として、十分に有利に適用されていない。具体的には、所与のアクションシーケンスの中の異なる操り人形の現実イメージの合成は、これまで解決不可能な問題を有する。
より具体的には、１つのチームの人形師による仮想スタジオセットの前景における操り人形キャラクタの操作は、その背後に位置するアクション操り人形キャラクタの人形師の交差を必然的にもたらす。したがって、同一の仮想スタジオセット上で同時に複数の操り人形の人物を人形師が操作することは、仮想スタジオセット内の非常に狭い空間的制約によって、つまり、そのような操り人形が、仮想製作セットの平行な平面に基本的に閉じ込められることにより、ひどく制限されてきた。このような制約により、所与の仮想スタジオ空間内における２つまたはそれより多くの操り人形の間の現実感のある／生きているようなやりとりが妨げられる。
以上述べたように、従来においては、所与の仮想スタジオ内で操り人形のより現実感のある、生きているようなやりとりを可能としたものはなく、しかも、一方の操り人形が他方の操り人形に交差することに関連する操り人形間の干渉を回避するように仮想スタジオ空間をより効果的に適合させたようなシステムも存在していない。その結果、操り人形芝居ビデオおよび映画製作において、現実感のあるアクションイメージをより一段と向上させることが望まれている。
【００１８】
そこで、本発明の目的は、従来の技術における前述した欠点、および関連する欠点を解消することにある。
【００１９】
具体的には、本発明の主要な目的は、所与の仮想スタジオ空間内で複数の現実イメージ／アクションイメージを合成して多重合成イメージとして構成することによって、操り人形芝居ビデオ／映画製作において、現実感のあるアクションイメージを向上させることが可能な、映画用の改良されたシステムおよび方法を提供することにある。
【００２０】
本発明の他の目的は、アクション操り人形キャラクタが仮想スタジオ空間の所与の空間内の２つの異なるカメラアングルから撮影され、カメラアングルのそれぞれからのイメージが、所与のイメージ内で、または所与のイメージシーケンスの中で選択的に合成されて、アクション操り人形キャラクタの向上したアクションシーケンスが提供される、所与の仮想スタジオ空間内で現実イメージ／アクションイメージを合成して多重合成イメージとして構成することによって、操り人形芝居ビデオ／映画製作において現実感のあるアクションイメージをさらに向上させるための映画用のシステムおよび方法を提供することにある。
【００２１】
本発明のさらに他の目的は、２つまたはそれより多くのアクション操り人形キャラクタのそれぞれが、仮想スタジオ空間内で異なるカメラを使用して撮影され、カメラのそれぞれからのイメージが、仮想背景イメージと合成され、結果の合成されたイメージが、所与のイメージフレーム内で統合されて、同イメージフレーム内でアクション操り人形キャラクタの補完関係または相互関係が提供される、所与の仮想スタジオ空間内で現実イメージ／アクションイメージを合成して多重合成イメージとして構成することによって、操り人形芝居ビデオ／映画製作の現実感のあるアクションイメージを向上させるための映画用のシステムおよび方法を提供することにある。
【００２２】
本発明のさらなる目的は、本発明のシステムおよび方法に従って準備された合成された現実イメージおよび仮想イメージを生成することを含む。
【発明の効果】
【００２３】
本発明は、操り人形の現実イメージ／アクションイメージが、第１のカメラを使用して仮想スタジオセット上で撮影されてマスタカメラアングルショットで記録され、また、その操り人形と同一の操り人形の第２の現実イメージ／アクションイメージが、同一の現実シーケンス／アクションシーケンスで、異なるカメラアングルで別のカメラを使用して記録されて、第２のカメラアングルショット（例えば、異なるカメラアングルからの同一の操り人形のクローズアップショット）が提供され、マスタショットと仮想背景とのイメージ合成および第２のイメージとバックプレートとのイメージ合成がそれぞれなされ、所与のイメージフレームの所与のバックプレートに関して様々な背景の異なるフレームがスワップアウト（ｓｗａｐ  ｏｕｔ）されるようになり、これら２つの合成されたイメージが最終的に合成されて多重合成イメージとして１つのシーン内で統合されるようにしたので、所与の仮想スタジオ内で操り人形のより現実感のある、まるで生きているようなスムーズなやりとりが可能となる。
また、本発明によれば、一方の操り人形が他方の操り人形に交差することに関連する操り人形間の干渉を回避するように、仮想スタジオ空間をより効果的に適合させたようなシステムを構築することができるので、操り人形芝居ビデオおよび映画製作において、現実感のあるアクションイメージをより一段と向上させることができる。
【課題を解決するための手段】
【００２４】
本発明は、映画プロセスのイメージ合成技術を高度な操り人形芝居技術に適合させる、具体的には、１つの操り人形の現実イメージ／アクションイメージを同一の操り人形または別の操り人形の１つまたは複数の現実イメージ／アクションイメージと合成して多重合成イメージとして構成することに適合させるための、映画用の改良されたシステムおよび方法を提供することによって達せられる。
【００２５】
本発明の好ましい実施形態の１つでは、操り人形の現実イメージ／アクションイメージが、第１のカメラを使用して仮想スタジオセット上で撮影されてマスタカメラアングルショットが記録され、また、同一の操り人形の第２の現実イメージ／アクションイメージが、同一の現実シーケンス／アクションシーケンスで、異なるカメラアングルで別のカメラを使用して記録されて、第２のカメラアングルショット（例えば、異なるカメラアングルからの同一の操り人形のクローズアップショット）が作成される。
マスタカメラアングルショットの撮影では、操り人形アクションの人物に対する仮想スタジオ内の第１のカメラの位置も記録される。
第１の記録されたイメージ／シーケンス（本明細書で、「マスタショット」とも呼ぶ）は、適切な仮想背景イメージと合成される。同様に、第２の記録されたイメージ／シーケンスは、デジタル式に生成された静止イメージ（例えば、「バックプレート（ｂａｃｋ  ｐｌａｔｅ）」とも呼ばれる）と合成される。
そして、これら２つの合成されたイメージのそれぞれが、具体的には、マスタショットと仮想背景とのイメージ合成、および、第２のイメージとバックプレートとのイメージ合成が、それぞれなされて、次に結合されて、所与のイメージフレームの所与のバックプレートに関して様々な背景の異なるフレームがスワップアウト（ｓｗａｐ  ｏｕｔ）されるようになり、これらイメージが最終的に合成されて多重合成イメージとして１つのシーン内で統合される。
【００２６】
本発明の好ましい他の実施形態として、２つの別個のカメラが、異なる操り人形キャラクタの補完的な現実イメージ／アクションイメージおよびイメージシーケンスを記録するのに使用され、１つのイメージ／シーケンスの各操り人形キャラクタのアクションが、別の操り人形キャラクタ（または一群の操り人形キャラクタ）のイメージ／シーケンスとインタラクティブ（ｉｎｔｅｒａｃｔｉｖｅ）であるように計算される。
したがって、２つの別個のインタラクティブなイメージシーケンスは、独立に生成され、人形師が密集すること、および／または操り人形に別の操り人形が交差する、または人形師の１人が交差することなく、同一の仮想スタジオ空間内で合成される。
この合成は、基本的に、上述した場合と同様に、具体的には、プラットフォームを合成する合成プラットフォーム（例えば、Ｕｌｔｉｍａｔｔｅ９およびＵｌｔｉｍａｔｔｅ８）の部分的統合によって達成され、それぞれの合成されたイメージは、イメージフレームの所与の部分内で現れ、イメージフレームのそれぞれの割り振られた領域は、一方の合成されたイメージの他方の合成されたイメージに対する奥行きおよび遠近感を生成するように調整される。Ｕｌｔｉｍａｔｔｅ（商標）９およびＵｌｔｉｍａｔｔｅ（商標）８は、この機器とともに提供される独自のソフトウェアプログラム、Ｃｉｎｅｆｕｓｉｏｎ（商標）を介して２つの合成された合成イメージの合成を行うことによって、最終的に統合された多重合成イメージが生成される。
【００２７】
本発明の好ましい他の実施形態として、２つの異なるカメラからの現実イメージ／アクションイメージおよびイメージシーケンスのイメージの合成は、リアルタイムで作成されることによって、操り人形キャラクタのそれぞれが、自らの補完的なアクションを互いのアクションにより緊密に調和させることが可能になる。
【発明を実施するための最良の形態】
【００２８】
本明細書に示した図、具体的には、図１、図２、および図３は、本出願と同じ譲受人に譲渡された２０００年３月２９日に出願の（例えば、特許文献６参照）から取られている。本明細書の「背景技術」と以下の説明の両方で述べる映画用イメージ処理技術（例えば、イメージ合成）は、参照により全体が本明細書に組み込まれている（例えば、特許文献７参照）（１９９６年５月７日にブラホス（Ｖｌａｈｏｓ）他に発行された）、（例えば、特許文献８参照）（１９９８年４月２１日にブラホス他に発行された）、（例えば、特許文献９参照）（１９９８年１１月３日にブラホス他に発行された）、および（例えば、特許文献１０参照）（１９９９年１０月２６日にペリー（Ｐｅｒｒｙ）に発行された）でより十分に説明されている。
【００２９】
本明細書で説明する本発明は、映画プロセスで用いられるイメージ合成技術を高度な操り人形芝居技術に適合させる、単純で効果的なシステムおよび方法を提供する。
具体的には、１つの操り人形に別の操り人形が干渉する、または交差することなく、あるいは操り人形キャラクタ、またはいずれかの人形師による製作セット小道具のいずれも交差することなく、仮想スタジオの限られた空間内で同一の操り人形および／または異なる操り人形の異なるカメラで撮影された現実イメージ／アクションイメージを合成することに適合させることができる。
【００３０】
次に、本明細書で例示する本発明の特定の実施形態について述べると、図１は、操り人形芝居を対象とする本発明の一実施形態による仮想セットを描いたものである。
具体的には、図１は、文楽操り人形芝居を描いたものであり、操り人形１０３がくまのプーさん（Ｗｉｎｎｉｅ  Ｔｈｅ  Ｐｏｏｈ）（商標）のイメージであり、３名の人形師／操り師１００、１０１、および１０２がその操り人形を生きているように操作する。
操り人形は、テーブル１０４上に留まり、背景は、完全にキーカラーの背景スクリーン１０５から成る。竿１０６〜１０９等が、人形師によって操り人形１０３のすべての動きを制御するのに使用される。
【００３１】
図１に示すように、人形師は、頭から足までの極めて反射率の高いキーイング可能な色の衣服１１０、１１１、および１１２を身に着ける。衣服は、頭巾、手袋、足の覆い、および目に被せるガーゼ、または同様の材料を含む。人形師を完全に覆う材料のキーカラーは、キーカラースクリーン１０５の色に完全に一致する。同様に、テーブル１０４、竿１０６〜１０９、スタジオの床、および操り人形１０３を除くセット内のすべての他の被写体も、キーカラースクリーン１０５の色に完全に一致する。
【００３２】
反対に、操り人形１０３は、キーカラーに一致する色を操り人形の本体に含まないように特別の注意を払って設計され、作られている。操り人形１０３が、着色および陰影付けにキーカラーを含まないことを確実にするよう、特別の注意が払われている。現実シーン／アクションシーンおよび現実シーケンス／アクションシーケンスでキーカラーのセット小道具を使用し、現実シーン／アクションシーンおよび現実シーケンス／アクションシーケンスをキーカラーの小道具の仮想イメージと後に合成することにより、人形師の動きの自由がより大きくなり、操り人形と操り人形の環境の相互作用が高まり、操り人形がより生き生きし、アクションイメージがより生きているようになることが可能になる。
【００３３】
キーカラースクリーン１０５は、通常、構築され、反射率の高いキーイング可能な色に塗装された硬質の円形パノラマの形状である。この色は、反射率の高いグリーンまたはブルーであること、あるいは極めて反射率の高いグレーであることさえ可能である。円形パノラマは、基本的に、セット内の影を生じさせる可能性があるあらゆるきつい線をなくすように基部で湾曲した高い壁である。理想的には、操り人形１０３のアクションを撮影する際、「撮影（ｓｈｏｏｔ）」は、２つの円形パノラマ壁の湾曲した隅に向けられる。
【００３４】
テーブル１０４は、およそ高さ３６インチ（９１．４４ｃｍ）であるように設計されているが、もちろん、様々な形状および形態であることが可能であり、複数のテーブルを使用することができる。セット上で使用されるすべてのテーブルは、高さおよびサイズを調整することができ、スクリーン１０５と同じキーイング可能な色に塗装される。図３、４、および５に関連してより十分に説明するとおり、テーブルは、１つまたは複数のセット小道具を含むことが可能であり、また操り人形は、セット小道具の上、または周囲に置くこと、および／またはそこで操ることができる。
【００３５】
このテーブルおよび同様のプラットフォームは、仮想セットにおいて地面がある場所をシミュレートするように人形師によって使用される。テーブルは、操り人形が仮想セット内で歩く際、歩く動作がもっともらしいように踏みつける本物の何かを操り人形に与える。テーブルは、テーブル内部に光源を有し、キャラクタがテーブル表面に触れる場所の影をさらになくすために、下方からの照明を生成する。また、テーブルの上に反射率の高い材料を置くことも可能である。
【００３６】
照明戦略は、本発明の技術の成功に非常に重要である。影またはキーカラーの問題なしに２つのイメージ、すなわち、ライブの操り人形と仮想背景をリアルタイムでうまく融合させることが、技術的プロセスの成功の尺度である。影の全体的な欠如をもたらす満たされた照明が、照明技術の基礎である。光を放つテーブルを使用することが、影をなくすことの第２の鍵である。紫外線の使用が、影のすべての領域にカメラが読み取らない光をうまく当てる別の技術である。というのは、カメラは、紫外線の周波数を記録しないからである。そのような照明戦略は、周知であり、従来技術のキーカラースキームで使用されており、本明細書でさらに詳述することはしない。
【００３７】
図１の仮想セット上に示すすべての被写体は、操り人形１０３を除き、スクリーン１０５と全く同じキーカラーであるので、すべてのそのような被写体は、周知のキーカラー技術を利用して撮影される図１に示した仮想セットのショットからなくすことができることを理解されたい。これにより、操り人形１０３は、最終の撮影されたシーンにおいて、自律的で、人形師の操作から自由で独立しているように見える。
【００３８】
次に、図２を参照すると、図１に示した仮想セットのショットが実際に撮影される仕方が示されている。セット２００は、図１に示したのと同じ仮想セットである。
具体的には、仮想セット上のパフォーマンスのショットが、デジタルカメラ２０４を使用して撮影され、カメラ２０４のデジタル出力が、ビデオ合成器２０２に送られる。もちろん、デジタルカメラの代わりに、標準の映画カメラまたはビデオカメラを使用することも可能であるものと理解し、パフォーマンスは、周知の仕方でデジタル化される。このビデオ合成器は、例えば、Ｕｌｔｉｍａｔｔｅ（商標）デバイスであることが可能である。Ｕｌｔｉｍａｔｔｅ（商標）合成技術は、ビデオ合成で２０年間、使用されてきており、当技術分野で周知であり、本明細書でさらに詳述することはしない。
【００３９】
デジタルカメラ２０４によって撮影された実際のパフォーマンスと結合される仮想背景は、仮想背景発生器２０１によって生成される。仮想背景は、コンピュータ内部で任意の様々な仮想ソフトウェアプログラムにおいて設計することができる。ＥｌｓｅｔおよびＭａｙａが２つの例であるが、このソフトウェアは、常に変化しており、革新されている。重要なことは、仮想システムが、スタジオビデオスイッチングシステムがライブの操り人形イメージとコンピュータ化された仮想製作セットを同時に合成することができるように、リアルタイムでセットをストリーミングするリアルタイムのシステムであることである。
通常、この目的でＯｎｙｘ（高性能の非常に高速なコンピュータ）が使用されるが、いくつかのリアルタイムの仮想合成システムが市販されており、すべて使い易さの度合いが異なる。本発明で使用されるスタジオ自体は、制御室設備に関する限り、従来どおりであることが可能であり、テープマシン、スイッチャ（ｓｗｉｔｃｈｅｒ）、ならびに良好なキーカラー技術のために最大限に活用されるが、通常どおりであるすべての要素を含む。
【００４０】
デジタルカメラ２０４および仮想背景生成器２０１の出力がビデオ合成器２０２に結合された後、結合された出力が、デジタルモニタ２０３に送られる。有利には、デジタルモニタ２０３上に示されるのは、仮想背景生成器２０１によって生成された仮想背景上に重ね合わされた操り人形１０３の動きだけである。図１に示した実際のセット上で操り人形を操作していた人形師は、最終結果から完全に除かれ、操り人形と仮想背景だけが見られる。
【００４１】
図３は、操り人形１０３を操作している最中に人形師に何が見えるかを示す図１のセットの背面図である。図３において、人形師は、アクションが行われている最中に、モニタ２０３上で最終結果を容易に見ることができる。
最も重要なこととして、実際のパフォーマンスがデジタルカメラ２０４によって撮影されるのにつれて最終イメージが生成され、リアルタイムで合成されるので、人形師は、合成された最終イメージをモニタ上で、リアルタイムで見ることができる。したがって、人形師たちは、環境内のあらゆる仮想の被写体および現実の被写体を含む環境と相互作用し、また互いにやりとりをする完全な能力を有する。
【００４２】
次に、図４を参照すると、カメラ４０１および４０２のそれぞれが、人形師１１０、１１１、および１１２（図１参照）によって操作される操り人形キャラクタ１０３のアクション人物に焦点が合わされた本発明のシステムのブロック図が示されている。
カメラ４０１（例えば、フィリップスプログレッシブスキャン（Ｐｈｉｌｌｉｐｓ  Ｐｒｏｇｒｅｓｓｉｖｅ  Ｓｃａｎ）カメラ）が、操り人形キャラクタ１０３に対して、カメラ４０２（やはりＴＶビデオカメラである）のカメラアングルとは別のカメラアングルに設定されている。操り人形キャラクタ１０３の人形師による操作が行われるにつれ、異なるカメラアングルのカメラのそれぞれからアクションイメージ／シーケンスが記録され、クローズアップカメラ４０２の場合、操り人形キャラクタから異なる焦点面／焦点距離で記録される。
また、カメラシステム（４０１）は、操り人形キャラクタのマスタショットのそれぞれの記録されたイメージフレームに関して、操り人形キャラクタに対するカメラ位置（角、操り人形キャラクタからの距離、カメラレンズの有効焦点距離、およびカメラのその他の「位置データ」）も記録／感知する。以下に説明するとおり、この位置データは、所与のイメージ空間内またはイメージフレーム内で独立に記録されたイメージのそれぞれを統合するための合成プロセスにおいて使用される。
【００４３】
各カメラからの記録されたイメージのそれぞれは、まず、以下のとおり、適切な背景と合成される。
【００４４】
・カメラ４０１からの記録されたイメージの場合、仮想背景シーン／セットが、Ｅｌｓｅｔモジュール４０３の中に記憶され、また、
・カメラ４０２からの記録されたイメージの場合、ＤＤＲモジュール４０４によってデジタル式に生成された静止イメージ（例えば、「バックプレート」イメージとも呼ばれる）と合成される。
【００４５】
各カメラアングルからのイメージは、所与のイメージフレームの所与のバックプレートに関して様々な背景の異なるフレームをスワップアウトするように、Ｕｌｔｉｍａｔｔｅ８ユニットおよびＵｌｔｉｍａｔｔｅ９ユニットによって結合され、１つの仮想スタジオセット内で２つのイメージが統合されて、最終的に多重合成された多重合成イメージが作成される。
図５および図６は、多重合成イメージの作成処理を説明するものである。
マスタショットのアクションシーケンスの仮想背景シーン内における操り人形キャラクタのクローズアップの結果の合成イメージにより、最終結果として多重合成された多重合成イメージが生成され、これにより、映画的な現実感が与えられる。
[第１の例]
図５の多重合成処理について説明する。
【００４６】
まず、同一の操り人形キャラクタの静止フレームイメージ５０１および５０２のそれぞれが、最初、仮想スタジオセット上で、異なるカメラアングルから異なるカメラ４０１および４０２（「Ａ」および「Ｂ」）を使用して記録される。
そして、これら記録された各場合において、静止フレームイメージ５０１および５０２が、最初、図１〜図３の基本的なキーカラープロセスおよび方法に従って、それぞれ、仮想背景イメージおよびバックプレートイメージとそれぞれ合成される。
図５では、図４に従って得られた代表的な一対のイメージ（マスタショットのイメージ、クローズアップのイメージ）と、イメージ（“仮想背景”のイメージ、“バックプレート”のイメージ）とが合成される。
この合成されたイメージのそれぞれはさらに、図４のプロセスおよび方法に従って互いに結合され、最終的に多重合成された多重合成イメージとしてイメージ５０３が形成される。
また、これら複数の合成イメージが操り人形キャラクタのアクションシーケンス（マスタショットカメラアングルから撮影された）内で現れた場合には、映画シーケンスは、さらに、クローズアップイメージの追加合成によって活気づけられる。
前述したとおり、マスタカメラアングル位置データは、クローズアップをマスタショットの仮想背景にマッチさせ、これにより、マスタショットイメージシーン内でクローズアップイメージを仮想背景と適切に合成するのに必要不可欠である。
以上説明により、多重合成イメージとして、異なるカメラアングルから撮影されたクローズアップイメージを含めることは、聴衆をシーンに引き込み、操り人形キャラクタの生きているような動きを一段と向上させる効果を有する。
【００４７】
ここで、多重合成処理についてまとめる。
【００４８】
図５の例では、第１のカメラ４０１を使用して、操り人形１０３に対する現実イメージが仮想スタジオセット上で撮影されて、マスタカメラアングルショットが記録される。
また、同一の現実シーケンスで、異なるカメラアングルで別のカメラ４０２を使用して、同一の操り人形１０３に対する第２の現実イメージ／アクションイメージが記録されて、第２のカメラアングルショット（例えば、異なるカメラアングルからの同一の操り人形のクローズアップショット）が記録される。
マスタカメラアングルショットの撮影では、操り人形アクションの人物に対する仮想スタジオ内の第１のカメラ４０１の位置も記録される。
第１の記録されたイメージ／シーケンス（マスタショット）は、適切な仮想背景イメージと合成される。
同様に、第２の記録されたイメージ／シーケンス（クローズアップショット）は、デジタル式に生成された静止イメージ（バックプレート（ｂａｃｋ  ｐｌａｔｅ））と合成される。
これら２つの合成されたイメージのそれぞれが、具体的には、マスタショットと仮想背景とのイメージ合成（Ａ）、および、第２のイメージ（クローズアップショット）とバックプレートとのイメージ合成（Ｂ）がそれぞれなされた後、次に結合されて、所与のイメージフレームの所与のバックプレートに関して様々な背景の異なるフレームがスワップアウト（ｓｗａｐ  ｏｕｔ）されるようになり、これらイメージが最終的に合成されて多重合成イメージとして１つのシーン内で統合される。
[第２の例]
次に、図６は、アクションシーケンスの単一のイメージフレーム内、または一続きのイメージフレーム内で異なる操り人形キャラクタのイメージを多重合成することに適合された図４および５のプロセスおよび方法の代表的な例を示す。
図６では、イメージフレーム６０３内で統合されるアクションイメージ６０１および６０２のそれぞれが、同一のシーン内のそれぞれ別個のキャラクタの補完的な場面、またはインタラクティブな場面を提供する。
具体的には、カメラ４０１および４０２のそれぞれが、同一の仮想スタジオセット上で異なる時点に異なるキャラクタを撮影するのに使用されるか、または複製の仮想スタジオセット上で一度に補完的な操り人形キャラクタまたはインタラクティブな操り人形キャラクタを同時に撮影するのに使用される。キャラクタのそのような独立の撮影により、同一の仮想スタジオ上で一度に補完的な操り人形キャラクタのアクションまたはインタラクティブな操り人形キャラクタのアクションを同時に動かし、記録する作業が行われた場合に生じる人形師の密集がなくなる。さらに、２つのカメラを使用することにより、特定のシーンを撮影する時間、ならびに製作費用の大幅な節約がもたらされる。
図６に示したシステムおよび方法は、異なる操り人形キャラクタの補完的でインタラクティブなアクションシーケンスを別々に撮影することにより、この競合および密集の可能性を回避するものである。
図６の多重合成処理について説明する。
図６では、２つのアクションシーケンス６０１および６０２が、仮想製作スタジオ内で独立に記録され、記録されたイメージが、適切な仮想背景イメージとそれぞれ合成される。すなわち、図４に従って得られた代表的な一対のイメージ（“ＷＩＮＮＩＥ”のアクションイメージ、“ＴＩＧＲＥ”のアクションイメージ）と、イメージ（“仮想背景”のイメージ、“仮想背景”のイメージ）とが合成される。
その後、Ｕｌｔｉｍａｔｔｅコーポレーションから入手可能なソフトウェア（Ｃｉｎｅｆｕｓｏｉｎ（商標））を使用して単一のイメージフレーム６０３内で統合されて、最終的に多重合成イメージが生成される。
２つのアクションシーケンスは別々に、また好ましくは、同一の、または複製の仮想スタジオセットの同じセット上で記録されるため、この２つの記録されるアクションシーケンスのそれぞれに関して同一のカメラを利用できる可能性がある。
また、結合された多重合成イメージ内のそれぞれのイメージの相対サイズをイメージフレーム内で調整して、一方のイメージの他方のイメージに対するサイズを変更することによって、イメージフレームに遠近感と奥行きを与え、奥行きの効果またはその他の視覚的効果を提供することが可能である。
同一のイメージフレーム内で２つのアクションイメージを統合すること、または、多重合成することにより、同一の仮想スタジオセット上の同時の製作から得られるような人形師の密集なしに、同一のシーン内で補完的なシーケンスまたはインタラクティブなシーケンスを結合することが可能になる。
【００４９】
ここで、多重合成処理について説明する。
【００５０】
図６の例では、２つの別個のカメラ４０１，４０２が、異なる操り人形キャラクタの補完的なアクションイメージおよびイメージシーケンスを記録するのに使用される。すなわち、１つのイメージ／シーケンスの各操り人形キャラクタのアクションが、別の操り人形キャラクタ（または一群の操り人形キャラクタ）のイメージ／シーケンスとインタラクティブ（ｉｎｔｅｒａｃｔｉｖｅ）であるように計算される。
したがって、２つの別個のインタラクティブなイメージシーケンスは、独立に生成され、人形師が密集すること、および／または操り人形に別の操り人形が交差すること、または人形師の１人が交差することなく、同一の仮想スタジオ空間内で合成される。
この合成は、基本的に、上述した第１の例と同様に、プラットフォームを合成する合成プラットフォーム（例えば、Ｕｌｔｉｍａｔｔｅ（商標）９およびＵｌｔｉｍａｔｔｅ（商標）８）の部分的統合によって達成され、それぞれの合成されたイメージは、イメージフレームの所与の部分内で現れ、イメージフレームのそれぞれの割り振られた領域は、一方の合成されたイメージの他方の合成されたイメージに対する奥行きおよび遠近感を生成するように調整される。Ｕｌｔｉｍａｔｔｅ９およびＵｌｔｉｍａｔｔｅ８は、この機器とともに提供される独自のソフトウェアプログラム、Ｃｉｎｅｆｕｓｉｏｎ（商標）を介して２つの合成された合成イメージの合成を行って、最終的に統合された多重合成イメージを作成する。
【００５１】
また、２つの異なるカメラ４０１，４０２からの現実イメージ／アクションイメージおよびイメージシーケンスのイメージの合成を、リアルタイムで作成することによって、操り人形キャラクタのそれぞれが、自らの補完的なアクションを互いのアクションにより緊密に調和させることが可能となる。
【００５２】
以上説明したように、本発明に係る映画用のシステムおよび方法は、仮想スタジオセット内で、操り人形（１０３）のアクションシーケンスの現実イメージ／アクションイメージのイメージフレームまたはイメージシーケンスを、その仮想スタジオセット内で、その操り人形（１０３）と、同一の操り人形または別の操り人形の現実イメージ／アクションイメージの別のイメージフレームまたは別のイメージシーケンスと合成することによって、最終的に多重合成イメージを生成する。
すなわち、本発明に係るシステムおよび方法は、第１の例のように同一の操り人形キャラクタに対するマスタカメラアングルイメージ（４０１）とクローズアップイメージ（４０２）との多重合成処理、および、第２の例のように１つのアクション操り人形キャラクタのマスタカメラアングルイメージと別の操り人形アクションキャラクタの別のカメラアングルからの第２のイメージとの多重合成処理にそれぞれ適用されることにより、同一のイメージフレーム内で各イメージのキャラクタのそれぞれのインタラクティブなイメージシーケンスを提供することが可能となる。
【００５３】
本明細書に示した説明は、例示および理解を簡単にするため、数名の人形師による操り人形の連係された操作、および現実イメージ／アクションイメージを後に１つまたは複数の仮想イメージと合成することを描く添付の図を参照して行った。しかしながら、本明細書で達せられるイメージのさらなる合成は、可能であるだけでなく、本発明の範囲内で企図されており、具体的には、図２、図５、および／または図６の合成イメージをさらに別の現実イメージ／アクションイメージ（例えば、ライブの役者または他のキャラクタのアニメートされたイメージ）と合成することも企図されているものと理解されている。
【図面の簡単な説明】
【００５４】
【図１】本発明のシステムおよび方法において使用される仮想セットを描いた図である。
【図２】図１の現実イメージと仮想背景イメージを合成するためのシステムおよび方法を描いた図である。
【図３】人形師の観点から本発明の仮想セットを描いた背面図である。
【図４】異なるカメラアングルから同一の操り人形キャラクタのアクションイメージを記録するのに、または別法として、異なるアクションキャラクタの複数のアクションイメージを記録するのに２つのカメラが使用され、それぞれの場合で、別々に記録されたアクションイメージが、単一のシーン内、または単一のイメージフレーム内でさらに合成される、または統合される仮想セットを描いた図である。
【図５】操り人形キャラクタのアクションイメージのマスタショットを同一の操り人形キャラクタのクローズアップショットと合成するための本発明のシステムおよび方法を描いた図である。
【図６】同一のイメージフレーム内で異なる操り人形キャラクタの２つの補完的な、またはインタラクティブなアクションイメージを統合するためのシステムおよび方法を描いた図である。
【図１】
2004523965.tif 000003
【図２】
2004523965.tif 000004
【図３】
2004523965.tif 000005
【図４】
2004523965.tif 000006
【図５】
2004523965.tif 000007
【図６】
2004523965.tif 000008
【国際公開パンフレット】
2004523965.tif 000009
2004523965.tif 000010
2004523965.tif 000011
2004523965.tif 000012
2004523965.tif 000013
2004523965.tif 000014
2004523965.tif 000015
2004523965.tif 000016
2004523965.tif 000017
2004523965.tif 000018
2004523965.tif 000019
2004523965.tif 000020
2004523965.tif 000021
2004523965.tif 000022
2004523965.tif 000023
2004523965.tif 000024
2004523965.tif 000025
2004523965.tif 000026
2004523965.tif 000027
2004523965.tif 000028
2004523965.tif 000029
2004523965.tif 000030
2004523965.tif 000031
2004523965.tif 000032
2004523965.tif 000033
2004523965.tif 000034
2004523965.tif 000035
2004523965.tif 000036
2004523965.tif 000037
【国際調査報告】
2004523965.tif 000038
2004523965.tif 000039