Cinematized Reality :自由視点映像に対する映画的カメラワーク
田中 郁*1*2 坂本 竜基*1 北原 格*1*1

ATR 知能ロボティクス研究所*3

里見 美香*1*3 土川 仁*1 小暮 潔*1

國藤 進*2*2北陸先端科学技術大学院大学 知識科学研究科

情報科学芸術大学院大学

1. はじめに
近年，複数のカメラの映像を統合して３次元空間を構築する仮想化現実技術の研究が盛んである[1][2]．
この技術を用いて作成される自由視点映像では，実際のカメラでは撮影が不可能な視点位置からのレンダリングが可能である（図 1）．しかし，従来の自由視点映像生成に関する研究では，作成される映像の編集や演出に関してあまり深く言及されていないため，自由に視点を設定可能であるというメリットを十分に活用した映像が生成されているとは言い難い．

図 1．自由視点映像の概念図

一方，映画の撮影技法を体系化したものとしては映画の文法[3]が知られている．以前からこうした映画の撮影技法を３次元 CG 映像のカメラワークに適用するシステムがいくつか提案されてきた[4-6]．カメラプラン
ニングの決定には映像内のイベントをキー情報とする手法が一般的だが，これらの研究では事前に決められた映像のシナリオ記述からイベントを抽出している．
さらには，撮影対象となる CG キャラクタがシナリオに即する形で予め配置されていることが前提となっている．ところが，自由視点映像の場合は明確なシナリオに即して作成されるとは限らない．かつ，映像内の人物像などに意味的な区別がついておらず，どの部分にカメラを向けるべきかに関する判断材料に欠ける．
このため，純粋な CG 世界における研究で提案されてきた手法を自由視点映像の演出に用いることは困難であると考えられる．
本研究では，自由視点映像内で生じた出来事とその関連人物などの，映像の内容を示す注釈情報（アノテーション）を用いて上記の問題に対処する．具体的には，（ⅰ）カメラプランニング決定のキーとなるイベントの取得，（ⅱ）撮影対象の識別，という 2 つの課題をアノテーション記述によって解決する．さらに，映画の撮影技法に基づいたカメラワークパターンを多数用意することで，ひとつの自由視点映像に様々な演出方
Cinematized Reality: A Cinematographic Camera Control in Virtualized Reality
Kaoru TANAKA*1*2, Ryuuki SAKAMOTO*1, Itaru KITAHARA*1, MikaSATOMI*1*3, Megumu TSUCHIKAWA*1, Kiyoshi KOGURE*1, Susumu
KUNIFUJI*2*1 ATR Intelligent Robotics and Communication Laboratories*2 Japan Advanced Institute of Science and Technology*3 Institute of Advanced Media Arts and Science

法を適用可能な環境を実現する．多くの専門家がこの環境を利用すれば映像演出の知識が蓄積され，それらの抽出や再利用も期待できる．

2. 自由視点映像へのカメラワーク適用方針
本システムではアノテーションによって映像内のイベントと撮影対象の情報を表現する．イベント情報の作成方法としては，アノテーションベースの処理以外にも映像の特徴量解析による自動抽出（コンテンツベース処理）が考えられる．しかし，処理が複雑になる上，変化が乏しい映像では自動解析が困難となってしまうなどの欠点があるため，本システムではアノテーションベースの処理方法を選択した．
われわれは，アノテーションを用いて映画的カメラワークを実現するシステムには（1） イベントと撮影対象に関するアノテーションの作成と管理（2） イベントへの演出指定と映画撮影技法に基づいた制約の充足という 2 つの機能が必要だと考えた．提案システムでは，（1）を アノテーション付与インタフェース，（2）をカメラワーク決定部，というサブシステムとしてそれぞれ実装している．
3. アノテーション付与インタフェース
カメラワークを目的としたアノテーションに必須となる情報としては，（a）イベントの名称，（b）該当するフレームの番号，（c）撮影対象の中心座標，（d）撮影対象の領域，が挙げられる．（a）（b）はイベントの管理，（c）はカメラの注視点，（d）は構図の決定に用いる．
本システムではこれらのアノテーションを作成するための付与インタフェースを作成した．そのスクリーンショットを図 2 に示す．

図 2．アノテーション付与インタフェース

この付与インタフェースでは GUI 操作によってフレーム単位での対象領域指定が可能である．また，ひとつのイベントは多数のフレームから構成されており，その一枚一枚にアノテーションを付与していくことは非常に手間のかかる作業となる．そのため，ひとつのイベント内で連続するフレーム間においては，対象の中心座標と対象領域情報を自動で補完する機能を備える．この付与インタフェースで作成されたアノテーションはデータベースに蓄積され，次回の付与作業時に読み込まれる．同じ自由視点映像を対象とするのであれば，付与作業の繰り返しによって作業コストの低減が期待できる．

4. カメラワーク決定部
4.1 カメラワークの指定
カメラプランニングの生成にはアノテーションによるイベントの記述と，システム利用者によるカメラワークパターン指定を用いる．カメラワークパターンとは，イベントを撮影するためのカメラ演出に抽象的な名前をつけたものである．例えば，「プレーン」や「サスペンス」，「ドラマティック」といった名称を用いて表現される．
同一監督がカメラワークパターンを複数作成していけば，それらを統合することで，その映画監督の知識としてのパッケージング･再利用が期待できる．
4.2 カメラ配置とカメラワークの作成
ある映像シーンに登場する 2 人の人物を結んだ直線はイマジナリラインと呼ばれている．もしイマジナリラ
インをまたぐ形でカメラの切り替えや移動をおこなうと，画面上での人物の位置関係や動作が逆となってしまうために視聴者は映像に違和感を覚えることが知られている．
イマジナリラインの原則を計算機上で扱うための方法としては，行為者間の作用方向をベクトルで表現したイマジナリベクトルに基づくカメラプランニングシステ
ム[7]が提案されている．本システムではアノテーション情報として撮影対象の座標点と領域情報しか与えていないため，撮影対象の向きを考慮したカメラワー
クの適用は困難である．そこでイマジナリベクトルの考え方を基に，撮影対象を中心とする球状のカメラ配置モデルを考案することで，撮影対象の方向性に基づくカメラワークを実現した． このカメラ配置モデルは，撮影対象の座標を中心とする球体上のカメラ位置を抽象的に表現したものである．図 3 にそのモデルを示す．

図 4．映像の出力例

カメラの高さを 6 つのキーワードで表現する．ただし，縦方向の標準位置（REGULAR）をイマジナリベクトルの傾きと連動させてしまうと，対象を真上から見下ろすためのカメラ配置である「BIRDSEYE」などの指定に傾きが生じてしまうため，標準の向きを常に空間の垂直軸と直交させる．
カメラワーク決定部ではこのモデルを用いて指定されたカメラワークパターンとアノテーションに記述された対象情報を基にイベントに対するカメラプランを作成する．

5. プロトタイプの作成と実験
本システムのプロトタイプを，約 27 平米の部屋にUSB カメラとキャプチャユニット付き PC を接続したものを 6 セット配置した環境へと適用した．この環境から作成された映像から作成された自由視点映像を実験に用いた．実験結果のスクリーンショットを図４に示す．
この映像では，実験室に入ってきた撮影対象が部屋の奥まで移動するところを，後方からのドリー（カメラの直線移動）とズームアップ（1 コマ目）を組み合わせて撮影している．撮影対象が移動を停止した時点で，そのままスピン･アラウンド（撮影対象の周りを 1 回転するカメラワーク）に切り替わっている（2～4 コマ）．
6. まとめ
本稿では，イベントと撮影対象の位置座標を記述したアノテーションを用いて自由視点映像に映画的カメラワークを適用するシステムを提案した．今後は複数のカメラワークパターンの接合や，組みあわせによる上位概念の演出についても扱っていきたい．
謝辞
本研究の機会を与えて頂いた ATR 知能ロボティク
ス研究所萩田紀博所長に感謝する．本研究は情報通信研究機構の委託研究により実施したものである．
参考文献

図 3．カメラレイアウトモデル

このモデルでは，まず地面に水平な円を考える．イマジナリベクトルで示される方向を 0 度として，イマジナリベクトルとカメラの位置がなす角を 45 度単位で区切った 8 つのポイントを配置している．これは実際にこの角度にカメラを配置するためのものではなく，撮影対象に対する横方向のカメラ位置を抽象的に表現したものである．この横方向のカメラ位置を基準として，[1] T.kanade et.al, "Virtualized Reality: Constructing Time-Varying VirtualWorlds from Real Events", Proc. of IEEE Visualization, pp.277-283, 552,1997.
[2] I.Kitahara, et.al., "Large-scale Virtualized Reality", Proc. of IEEE Computer
Society Conference on CVPR Technical Sketches, 2001.
[3] D.アリホン, "映画の文法 実作品にみる撮影と編集の技法", 紀伊国屋書店,
1980.
[4] B.Adams, et.al., "Weaving stories in digital media: when Spielberg makes
home movies", ACM Multimedia, pp.207-210, 2003.
[5] N. Courty,et.al., "A Cinematography System for Virtual Storytelling", ICVS'03,
2003.
[6] 宮崎ほか, "シナリオドリブンによる CG カメラワークの自動生成"，映像情報メディア学会誌，第 58 巻，NO.7，pp.966-973，2004.
[7] L.He, et.al., "The Virtual Cinematographer Paradigm for Automatic Real-TimeCamera Control and Directing", Computer Graphics, Vol.30, 1996.