10232特集

日本バーチャルリアリティ学会誌第 15 巻 2 号 2010 年 6 月

新しい飛躍の時代を迎えた複合現実感

特集 ■ 新しい飛躍の時代を迎えた複合現実感

映画制作を支援する複合現実型可視化技術

田村秀行

立命館大学

TAMURA HIDEYUKI

一刈良介

立命館大学

ICHIKARI RYOSUKE

1．はじめにベルの映画への本格的な適用，撮影現場のプロ集団の中での試験運用により，MR 技術が解決すべき課題が浮か

医療・福祉，建築・防災・都市計画，工業製品の設計・組立・保守等，複合現実感 (Mixed Reality; MR) 技術の応び上がり，実用に耐え得る技術が生まれつつある．

用分野は多岐に渡っている．芸術・娯楽分野でも空間型紙数の制限が有るため，MR-PreViz 技術の意義とプロMR アトラクションは注目を集め，メディアアート展示，ジェクトの概要は文献 [2] に，基幹システムや主要ソフ

テーマパーク，博覧会等で MR アトラクションは人気

トウェアツールの機能・整備に関しては [3] に譲る．本を博してきた．

稿では，本プロジェクトから生まれ，MR 研究の視点から価値があり，他分野への適用・発展が期待できる二つ

ところが，同じ娯楽分野でも，映画制作での利用となの要素技術について詳しく記述する．

ると，ほとんど応用事例がない．ほぼ唯一の例は，筆者らが約 10 年前に試みた文献 [1] のシステムだと言えるだろう．映画における視覚効果 (VFX) では，実写と CG

2．CREST/MR-PreViz プロジェクトの概要の合成は日常茶飯事であるのに，同じ概念を実時間対話

2.1 PreViz にとっての MR 技術の存在意義型で実現しようという MR 技術の利用が他に見当たら

PreViz ( PreVis，pre-vis と書かれることもある ) は，映ないのである．これは，映画というリニア型コンテンツ画制作のプリプロダクション段階で利用するものであに対する VFX は，ポストプロダクション過程で付与すり，現在ハリウッドの大作映画では，キャメラワークがるのが普通であり，これまで対話型の MR 技術を導入

複雑なシーン，派手で危険なアクションシーンを事前にするきっかけがなかったと考えられる．あるいは，まだ可視化して撮影計画を立てるのに採用されている．通常コストや信頼性の面で未熟な MR 技術は，要求水準が高の PreViz はフル CG のムービーであるが，我々の MR-い映画業界の期待に応えられるレベルに達していなかっ

PreViz には以下のような意義がある．
(1) サウンドステージ内の実セット，屋外のオープンたからだと考えることもできる．
本稿では，MR 技術の最先端の応用事例の一つとして，セット，ロケ地等の光景をバックに，CG オブジェクト ( 俳

映画制作での PreViz (Pre-Visualization の略，事前可視化 )優の想定演技や，恐竜やエイリアン等の CG キャラクタ )に MR 技術を活用する CREST/MR-PreViz プロジェクトを融合する ( 図 1)．VR 分野から見れば，キャメラ視点での研究成果を紹介する．これは，JST の戦略的創造研究の視覚的 MR 合成であり，映画制作的には，撮影現場推進事業 ( CREST タイプ ) の一つとして現在進行形ので行う実時間 3D マッチムーブであると言える．

研究プロジェクト ( 名称は，本稿の表題と同じ ) であり，

(2) 従来から TV 局で用いられているバーチャルスタ

立命館大学，京都大学，奈良先端科学技術大学院大学がジオ (VS) と比べれば，屋外でも利用できる VS の一般参加している．文献 [1] の発展形として，筆者らが敢え形だと考えられる．て困難な映画制作分野を応用対象に選んだのは，対象が(3) Pitch-Viz から Post-Viz に至る多段階の PreViz の中難しく，目標がハイエンドであればあるほど，MR 技術で，本番撮影に近い段階で利用され，キャメラリハーサの進歩に繋がると考えたからである．実際，劇場公開レル，セットシミュレーションに適している．

32

特集 新しい飛躍の時代を迎えた複合現実感

JVRSJ Vol.15 No.2 June, 201033
103

間の幾何位置合わせが必要であり，これは映画的キャメラワークに追随できるキャメラの実時間位置姿勢推定問題である．
TV 局レベルのスタジオであれば，超音波センサや高精度の光学式センサを採用して，キャメラの位置姿勢を求める方法が採用されてきたが，映画撮影用の大きなスタジオや屋外までを対象にすると，この種のセンサ利用は難し
く，MR-PreViz プロジェクトでは，当初から，自然特徴点追跡を利用したビジョンベースの 6 自由度キャメラトラッ

図 1 MR-PreViz のコンセプト図

キング法を用いる方針を選択した．映画撮影という事情

2.2 ワークフローとオーサリングツール

を考えると，人工的なマーカなどを貼り付けて撮影現場

文献 [2][3] では，MR-PreViz のワークフローは四つのの外観を変化させず，出来るだけ簡便な処理で高精度なフェーズに分けて記していたが，その後の研究開発・試位置あわせを可能にする幾何位置合わせ手法が望まれる．

験利用により，五つに分けて考えるようになった ( 図 2)．

環境中の自然特徴点を用いた MR 位置合わせ手法と即ち，追加して考えるべきフェーズは，次の通りである．

しては，近年 Klein らの PTAM [4] が注目を集めている．
PTAM では，現実環境の自然特徴点の 3 次元復元とト● Phase 4: MR-PreViz 映像の加工・再調整撮影された MR-PreViz 撮影の結果は，実写映像とキャラッキングの両方を実時間で行うことで，高精度なキャメラワーク情報とを分けて収録しておくことで，HDメラ位置姿勢推定を実現しているが，現実世界に対する(High Definition) 画質の MR-PreViz 映像を生成可能とな

絶対的なキャメラ位置姿勢やスケール情報を取得できなる．その際，合成する CG を差し替えることもできる．

い．MR-PreViz に用いるには，CG を所望の位置に配置

また，再照明付与を施すことで，光学的外観の変更・調したい場合に問題が生じる．

整を行い，監督の完成イメージに近づける．

絶対的なキャメラ位置姿勢やスケールを取得できる手

図 2 に示したワークフロー中で用いる各種オーサリン法として，武富らの手法 [5] を採用することにした．こ

グツールや MR-PreViz システムは，独自の方法で自主の手法では，撮影対象となる現実環境中に存在する自然開発し，必要に応じて改良を加えている．研究プロジェ

特徴点周辺の画像情報や 3 次元位置からなるランドマー

クト終了後，それらは一般公開され，希望者は入手できクデータベース ( 以下，LMDB ) を事前に構築することる予定である．

により，実時間での位置合わせを実現している．しかし，LMDB 構築の手順に手動による基準点位置の計測を含

3．屋内外の撮影現場での幾何位置あわせ技術

む点や，初期位置合わせの処理時間やトラッキング時にMR-PreViz 撮影において，実背景と CG オブジェクト破綻から復帰できないという問題があった．の合成には，通常の AR/MR と同じく現実空間と仮想空

我々は，この方法を改良し，LMDB 構築時と位置合

図 2 MR-PreViz を用いた映画制作フロー

33

34
104

特集 新しい飛躍の時代を迎えた複合現実感

日本バーチャルリアリティ学会誌第 15 巻 2 号 2010 年 6 月

わせ利用時で近いキャメラパスを辿るように制限することで，高精度・高性能な位置合わせを実現する「リハーサル・パス法 (Rehearsal Path Method; RPM)」を考案した．
図 3 に示すように，RPM 法では，動物体の存在しない屋内外の任意の環境において，撮影前に大まかなキャメラパスが既知として，一度のその大まかなキャメラパスに沿ってシーンを撮影するリハーサルフェーズにおいて，撮影環境の情報を自動的に収集する．その情報を用いて，実行フェーズでキャメラトラッキングを行う．
RPM 法の流れは下記の通りである．
リハーサルフェーズでは，人為的マーカを写しながら想定されるキャメラパスで撮影し，自然特徴点の世界座標系での 3 次元位置と局所不変特徴量である SIFT 特徴量を自動的に LMDB に登録する．自然特徴点の 3 次元位置の推定の流れを図 4 に示す．まず前処理で数フレームの映像を用いて，エピポーラ幾何により特徴点とキャメラとの相対的な関係を求め，順次処理において全フ

図 4 自然特徴点の 3 次元位置の推定の流れ

レームでの特徴点の追跡とカメラ位置姿勢の推定の後，後処理において特徴点の座標はマーカから求まる座標系とで，初期位置あわせの高速化，トラッキング破綻へのへと変換される．

対応も可能としている [6]．RPM 法により実時間でキャメ実行フェーズでは，前フェーズで配置した人為的マーラ位置姿勢の推定，MR 合成を行った結果を図 5 に示す．

カを取り除いて撮影を行う．前フェーズで構築された

RPM 法の開発により，物理センサを用いずにキャメLMDBを利用して，実時間でキャメラ位置姿勢推定を行い，ラ映像のみを用いたキャメラ位置姿勢推定が可能になっ現実背景に CG を重畳表示し，MR 合成を行う．リハーサたことから，キャメラと PC のみで構成される可搬型のルフェーズ時のキャメラパス上にいくつかのキーフレー撮影合成システムが実現可能となり，システムの機動力ムを設け，SIFT 特徴の高速なマッチング処理を用いるこを増すことが可能となった．
RPM 法は，映画撮影のキャメラワークという制約をうまく用いることで，トラッキングの精度を向上させることができたが，他の用途であっても，同じように事前のパスを利用できるような用途には威力を発揮する．

撮影された画像推定されたキャメラパス

ランドマークの再投影結果

MR合成画像図 3 RPM 法の二つのフェーズ

図 5 RPM 法による MR-PreViz 結果

34

特集 新しい飛躍の時代を迎えた複合現実感

JVRSJ Vol.15 No.2 June, 2010

35105

4．再照明付与によるルックの事前可視化技術
幾何学的整合性に続くもう一つの話題は，現実と仮想の光学的整合性である．CG 的な照明効果が映画制作に活用された有名な例として，米国南カリフォルニア大学 Paul Debevec 博士らの Virtual Cinematography [7] がある．これは，事前に観測した一連の映像を蓄えておき，実際の撮影現場の照明環境に合致した映像を再構成する
Image-Based Lighting 技術を基にしている．Light Stage [8]はこの目的のために開発された装置であり，図 6 に示すような系統的な光照射を行うことで実物体に対して任意

図 6 系統的な照明付与を実現する Light Stageの照明条件を適用することを可能にしている．これまで規模を変えた数種類の Light Stage が開発され，映画『スタラクティブに照明条件を変更することは困難である．

パイダーマン 2』(04)『アバター』(09) 等への技術的貢献

MR 分野で光学的整合性の実現を目指す研究として，により，2010 年にアカデミー賞が与えられた．

照明計測などの光学的条件の推定により，仮想世界と現この光学的整合がポストプロダクションでオフライン実世界の光学的条件を一致させて写実的な陰影付けを行的に行われているのに対して，我々の MR-PreViz では，う研究が行われてきた．我々は，単に光学的条件を一致照明や色調補正に由来する完成映像のルックを事前にさせるだけに留まらず，一歩進んで，意図的にルックを確認できる可視化技術に挑戦している．即ち，監督や撮変更することも目標とした [9]．例えば，昼間時の PreViz

影監督が持つルックのイメージを事前可視化するのに，撮影で，夜間撮影のような効果を与えることもできるの

MR-PreViz 映像に対する再照明付与 (Relighting) を行うである．具体的には，実時間制約の下，写実的に再照明試みである．仮想照明による照明効果を実物体・仮想物付与を行う上で課題となったのは，いかにして現実世界体双方に対して矛盾なく付与することで，MR-PreViz 映の光学条件を効率よくモデル化するかであった．
MR-PreViz における再照明付与では，屋内外のシーン像中の照明条件を任意に変更することができる．
Debevec 氏らの Light Stage は背景に合成される人物像の映像に対する再照明付与処理を考慮して，図 7 に示すへの再照明付与を対象としているが，MR-PreViz では再手順で，簡便な処理で効率的に再照明付与を実現する手照明付与の対象は屋内外の背景の情景全体である．その法を採用した．

ため Light Stage のように，周りから系統的な照明をあStep1 目立つ影が存在しない実写画像の準備てるアプローチを用いることはできない．また，事前のこのステップでは，実世界中の陰影と仮想照明効果にルック・シミュレーションを目的とした MR-PreViz のよる陰影の違いによる違和感を防ぐため，照明機材など再照明付与では，試行錯誤のためのインタラクティブ性を用いて，できるだけ目立つ陰影がない映像を準備する．

も求められる．

ここでは，画像処理を用いて影を消す手法も有効である．
Step2 色調補正

その他の再照明付与を実現可能な研究としては，詳細な実シーンの幾何形状，反射特性を推定することで，ラこのステップでは，再照明付与後の色調など環境光のジオシティにより再照明付与を行う研究がある [8]．しか影響を，画像全体に対して適用する色調補正で近似する．

し，この手法では，屋外など多様なシーンに対してインStep3 推定した反射特性，幾何形状に基づく照明付与

Step 1 背景画像の入力

Step 2 色調補正

図 7 再照明付与処理の手順

35

Step 3 再照明付与

36106

特集 新しい飛躍の時代を迎えた複合現実感

日本バーチャルリアリティ学会誌第 15 巻 2 号 2010 年 6 月

旅 − 複合現実感技術の映像製作分野への応用 −，日本

実世界の反射特性，幾何形状を推定し，それに応じた

VR 学会論文誌，Vol.7, No.2, pp. 219-226 (2002)

仮想照明効果を適用する．ここで，厳密な反射特性ではなく，照明により変化する照度と元画像の明るさをモデ[2] 田村，柴田：可視化技術で創造力を高める映画制作

ル化する照度 -RGB モデルを反射特性として採用する．

支援，情報処理，Vol.48, No.12, pp. 1365-1372 (2007)

これらの処理の結果，図 7 の Step3 に示す最終的な再[3] 一刈他：映画制作を支援する複合現実型プレビジュ

照明付与結果が得られ，仮想照明により効果的に演出

アリゼーションとキャメラワーク・オーサリング，日できていることが分かる．またこれらの処理は DirectX9

本 VR 学会論文誌，Vol.12, No.3, pp. 343-354 (2007)

環境で HLSL (High Level Shader Language) を用いて実装[4] G. Klein, et al.: Parallel tracking and mapping for small AR
workspaces, Proc. ISMAR 07, pp. 225-234 (2007)

され，実時間での試行錯誤も可能となっている．
本再照明付与法もまた，映画制作支援を目的として開[5] 武富他：拡張現実感のための優先度情報を付加した発されたものであるが，一般的な MR アトラクション

自然特徴点ランドマークデータベースを用いた実時間の照明演出法として利用できるものである．

カメラ位置・姿勢推定 , 信学論 (D), Vol.J92-D, No.8, pp.
1440-1451 (2009)[6] 樋下他：ランドマークデータベースに基づくカメラ

5．むすび
MR-PreViz プロジェクトは，CREST 研究領域「デジトラッキング法の高速化と安定化，信学技報，Vol.109,No.373, PRMU2009-192, pp. 255-260 (2010)

タルメディア作品の制作を支援する基盤技術」の中でも，技術的にかなり挑戦的なテーマとして採択されたもので[7] P. Debevec : Virtual cinematography: Relighting throughある．2005 年 10 月からの開始時期には，「今後 5 年間

computation, IEEE Computer, Vol.39, No.8, pp. 57-65 (2006)の映画産業の進展を見据えた上での先行的技術開発を行[8] C. Loscos, et al.: Interactive virtual relighting of real scenes,う」ことが強く意識されていた．MR-PreViz は，PreVizIEEE Trans. on Visualization and Comput. Graph., Vol.6,

技術一般の中でかなり用途が限定された特殊形であった

No.4, pp. 289-305 (2000)

が，過去 5 年間で大作映画に PreViz を用いるのは当た[9] 一刈他：再照明付与による複合現実空間のルック変更り前のようになり，一歩進んだ MR-PreViz の存在価値の試み − MR-PreViz 映像への映画的照明演出を例としが上がり，映画制作業界の関心も高まっている．

Vol.15, No.2 , pp. 213-220 (2010)て −，日本 VR 学会論文誌，

本研究成果の技術実証実験として製作した短編映画『カクレ鬼』( 齊藤勇貴監督作品 ) は，既に国内外の短編【略歴】映画祭で観客賞や最優秀外国語映画賞を受賞している．

田村秀行（TAMURA Hideyuki）

また，2010 年 8 月公開の劇場用映画『怪談レストラン』

1970 年京都大学工学部電気工学科卒．工業技術院電子では，実際の撮影現場で MR-PreViz 撮影を実施し，キャ技術総合研究所，キヤノン ( 株 ) 等を経て，2003 年 4 月

メラリハーサルや VFX コンテンツの事前確認に有用でより立命館大学理工学部教授．現在，同大学情報理工学あることを実証した．映画制作支援用に開発したこの技部メディア情報学科教授．工学博士．1997 年より 2001

術は，直ちにコマーシャル・フィルムやテレビ番組制作

年まで，MR システム研究所にて「複合現実感研究プに転用できることは容易に想像できる．この種の事前可ロジェクト」を率いた．本学会元理事，現在，評議員，

視化技術は，舞台演劇の演出や屋外でのライブイベント

複合現実感研究委員会顧問．本学会及び情報処理学会論のビジュアル・シミュレーションにも活用できる．

文賞，人工知能学会功労賞等を受賞．

本稿は，特集号の趣旨を汲んで，そうした応用面での意義よりも，先端的な応用事例から生まれた最新の MR

一刈良介（ICHIKARI Ryosuke）技術に関して述べた．

2005 年 立 命 館 大 学 理 工 学 部 情 報 学 科 卒，2010 年 同 大

謝辞 CREST/MR-PreViz に参加される京都大学・松山学院理工学研究科博士後期課程修了．現在，同大学総研究室，NAIST・横矢研究室，立命館大学の関連部門の合理工学研究機構ポストドクトラルフェロー．博士 ( 工皆様に，日頃のご協力を感謝いたします．

学 )．2007 年より 2010 年まで日本学術振興会特別研究員(DC1)．複合現実感の研究に従事．IEEE，
ACM SIGGRAPH，参考文献

電子情報通信学会，映像情報メディア学会の会員．2009[1] 大島，黒木，小林，山本，田村：2001 年 MR 空間の年デジタルコンテンツシンポジウム船井賞受賞．

36