デジタル・アーカイブ化のための１６方向同時撮影法に関する基礎研究[Ⅰ]―１６方向の多視点同時撮影システムの開発―

Fundamental researches about 16 direction photography method for a digital archive [Ⅰ]

*１久世

*2

*3*4

*5

均／久田由莉／後藤忠彦／三宅茜巳／林知代

*6

*10

*7

*8

*9

田口機子／岩田彩見／谷口知司／橋詰惠雄／松野光暢
多視点からの静止画の撮影方法については，これまで８方向からの多視点同時撮影方法を開発してきたが 1)，その活用の１つの方法として，その動きの表示方法の開発がデジタル・アーカイブとして必要とされている．そこでの課題は，提示のスムーズ性の問題であり，各利用分野によってその移動のスムーズ性の要求の程度に違いがある．今回１６方向からのデジタルカメラを用いた多視点同時撮影が可能なシステムを構成し，各分野で必要とする画像移動について検討をし，その記録法を開発した．これにより，芸能を始め各種の動作をともなう文化活動，伝統的な手工芸技術などの１６方向からの多視点同時記録が可能になった．
＜キーワード＞デジタル・アーカイブ，多視点同時撮影，記録，自由視点映像教材，１６方向
１．はじめに文化財の保護を目的としたデジタルコンテンツ化の研究が，近年盛んに行われている．その中でも，伝統舞踊や能といった無形文化財は，後継者不足などの理由から失われつつあるのが現状である．2)そのために，舞踊動作を単に映像として保存するだけでなく，移動情報も同時に保存しておく重要性が増している．
一方，従来から人物の動作を獲得する手段として，高品位のビデオカメラやデジタルカメラでの連続したデジタル・アーカイブ化が広く用いられている．3)しかし，舞踊動作のコンテンツ化を考えた場合，多方向からの人物の動作情報のみならず，身に付けている衣装や装飾品なども舞踊の一部として重要な情報と考えられ，多視点で撮影することが必要になる．
この目的を達成するために，多視点同時撮影システムを用いた研究がなされている．1)2)3)4)5)
これらの手法は，時系列の人物動作と細かい手の動きなどを同時に獲得できるため，舞踊動作のコンテンツ化に適している．5)
しかし，獲得した舞踊動作をコンテンツ化する際には，舞踊動作の意味づけや加工・編集等さらなる応用に利用可能な形で保存することが望ましいと考えられ，これらに関する検討を同時に行う必要がある．
そこで，本研究では多視点同時撮影システムを入力手段として，動作の動作情報と全体の情報を同時に獲得して，各分野で必要とする画像移動について検討をし，その記録法を開発することを目指した．
このため本稿では，１方向から１６方向の同時撮影の画像データを記録しその記録方法と提示方法について検討経過を報告する．
２．多視点同時撮影映像
多視点映像とは，図１のように，ある撮影対象を多数のカメラで同時に撮影した映像デー

論文受理日：平成 19 年 5 月 21 日
*1
*8

KUZE,Hitoshi,*2HISADA,Yuri,*3GOTO,Tadahiko,*4MIYAKE,Akemi,*5HAYASHI,Tomoyo,*6TAGUCHI,Noriko，*7IWATA,Ayami
TANIGUCHI,Tomoji,*9HASIZUME,Yasuo:岐阜女子大学 ,*10MATSUNO,Koucho: NPO 法人地域資料情報化コンソーシアム

タである．例えば，スポーツ中継において，野球の投手を，スタンド側から，バックネット裏側から，ベンチ方向からなど，様々な場所から競技の様子を撮影した映像である．他の例としては，多数のビデオカメラ使用したビルの監視，運動会などで多数の保護者がビデオカメラで自分達の子供を撮影したような映像などが挙げられる．

カメラ

図１

多視点同時撮影システム

多視点映像は以下のような特徴がある．
①一台のカメラでは撮影できない広い範囲の撮影対象を複数のカメラで撮影している．
②一台のカメラでは撮影できない同じ被写体を別のアングルから複数のカメラで撮影している．
また，多視点映像を扱う際の問題点として以下のような事が挙げられる．
①複数の場所から撮影しているので，各カメラの撮影場所を把握するのが困難．
②映像量が大量であるので，注釈付けや管理が困難．
③多視点の映像データから必要な映像を検索する方法が困難④自由視点映像を提示する方法が困難
多視点映像が必要とされる場面には，教材開発がある．例えば，教材開発に必要な素材の収集管理での条件として，①学習の目標に適した内容をもつこと．
②多様な視点から素材が取り出せること．
③一連の学習プロセスに対応した素材であること．などが必要であると報告している．4)
すなわち，今後，必要とされる映像教材は，学習者が，教材において自分の興味関心がある静止画を見たい場合，自由な視点で素材から検索して見ることが可能な教材である．また，その教材を見ている学習者が，その時点で必要な静止画をいろいろな角度で見たい場合に，また，この様子を拡大した静止画が欲しいと要求が有れば，蓄積したメタデータを元に，映像を検索してその映像がオンデマンドで受信される教材である．
このような映像検索を実現するためには，以下のような問題点が指摘されている．
①大量のデータから，必要な映像を探すのが困難である．
②ユーザが被写体の名前などの知識を持っていないと，検索をすることが難しい．
③被写体の情報を人手や画像処理で大量の多視点映像に付加するのは現実的に不可能である．
このために，これらの大量のデータを管理する場合，これらの撮影は，何ステップも記録されるため，1 ステップで多視点数のデータをステップ毎に記録・管理するデータベースの構成が必要である．このため，データ管理として，各ステップの番号と多視点のカメラ番号等がメタデータとして記録するデータベースを構築した．4)
このことにより，ステップ間の変化や，同じステップ内の映像画面の違いから，所作の動きなどを知ることができる．
同時に多視点のデータを，短時間に何ステップも撮影する場合，データに時間的なステップを撮影した位置（方向）の情報が記録されている必要がある．たとえば，舞などの文化活動を撮影するとき，速い動きのあるものは，短時間に何画面ものデータの記録形式を整理し管理し必要に応じて，目的とする内容のデータを取り出せるようにするべきである．このためには，少なくとも次のような情報を撮影データに付加して管理する．
①撮影内容の情報
舞であれば，その題名および撮影した内容を簡単な記号，コード化などを用いて，区別，取り出し可能にする必要がある．
②撮影のステップ何番目に記録したデータか，撮影のステップ番号を記録する．
③撮影の位置多方向のどの位置から撮影したか，位置番号の情報を記録する．

④時間（撮影時間）
撮影の最初から時間を記録しておき映像の提示，映像分析（時間やステップと関係のある）などを行うとき必要な情報を記録する．
これらのメタ情報としては，内容，ステップ番号，位置番号（撮影の位置），時間について記録し，共通化する必要がある．4)
３．自由視点映像技術の検討
これまでのデジタル・アーカイブ化においての撮影方法や記録方法は，一方向からの撮影・記録が主なものであり，撮影方向は記録者の撮影意図が多く反映されていた．
しかし，文化活動や，無形文化財などをデジタル・アーカイブ化する本来の目的を考えると，これまでの芸術性を主として撮影・記録されてきたものから，記録者の意図を可能な限り除く必要がある．そこで，多視点同時撮影することにより客観的に記録する技術について検討を進めた．
このような研究は京都大学・松山隆司「大型有形・無形文化財の高精度デジタル化ソフトウェアの開発」，埼玉大学・中村明夫「ビデオ及びモーションデータを用いた舞踊のデジタルコンテンツ化」で研究されている．これらの研究は，主として多視点映像からの３次元映像を生成するものである．6)
今回の一連の研究は，多様な環境の中で，文化活動の状況を確実に，事実に基づいて記録し，後世に正しく伝承することと，更にそれらの情報を用いて研究・教育での教材や観光情報としての利用の総合的なデジタル・アーカイブ化の開発を目的としている．1)2)3)4)5)
例えば，｢郡上踊｣などの動作がともなう文化活動を記録し残すには，全方向から所作等理解できる映像が要求される．しかも，その映像は，時間的に同時であることが要求される．本学では何台かのカメラを図１のように配置し同時に撮影する工夫をしている．その方法は，８台のカメラを４５度間隔で配置し，レリーズで同時にシャッターを動作させ，撮影する方法である．
多視点同時撮影技術における撮影可能範囲は図２のように被写体存在領域によって決定され，被写体存在領域が大きくなればなるほど，カメラの位置は遠くになり，撮影範囲領域を撮影可能範囲

被写体

カメラ
被写体存在領域

図２

被写体存在領域と移動可能領域

Camera1

A1

ObjectAi：Subject (aspect i）

図３

１方向（Ｘ―Ｙ軸）の多視点同時撮影

Camera1

A1

ObjectA2

Camera2

Ai：Subject (aspect i）

図４

２方向（Ｘ―Ｙ軸）の多視点同時撮影

広く取る必要が出てくる．その結果，手の動きの変化や体の一部分の拡大映像などを撮影することが困難になる．また，その動きが部分的になり，スムーズ性に欠けるという問題も出てくる．
図３から図６に郡上踊を例にして１方向から８方向の多視点同時撮影の映像データを示す．
この結果からもわかるとおり，特に文化活動など動きを伴う活動を撮影する場合には，１方向（図３），２方向（図４）４方向（図５）より８方向（図６），１６方向へとより多視点同時撮影に移行することが重要である．その中から，３次元物体による隠れの影響や物体の表面方向を考慮に入れ，自由視点からの見え方に最も適していると思われるものを選択し，自由視点映像上の観測位置に注目し，効果的な見え方を再現することが可能になる．

であった．4)
さらに，映像を撮影する場合，撮影者は被写体に合わせてズームアップを行うと考えられる．本稿で用いた映像では，ズームアップなどを行わず一定の焦点距離で撮影を行った．従って，ズームアップについては，撮影カメラから映像データを取得して図６のようにスケールを変えることで対応した．

Camera1

３D Space
A1
Camera2

A4

Camera4

ObjectA2
A3

Camera3

図７Ｚ軸方向の多視点同時撮影

Ai：Subject (aspect i）

図５Z

４方向（Ｘ－Ｙ軸）の多視点同時撮影

視点Location (X,Y,Z)
注視点Look_at(X,Y,Z)

Ai：Subject (aspect i）

XY

Camera1

Camera2

A８A1
Camera3

Camera８A2拡大・縮小（scale）

Camera７
A７
ObjectA3

A６
A4A５
Camera4

図６

Camera５

Camera６８方向（Ｘ―Ｙ軸）の多視点同時撮影

また，教材などのデジタルコンテンツを作成する場合にも，このような自由視点映像が要求とされ，学習者が必要な資料を選んで提示できるシステムが求められる．特に，教材の開発の場合には，図３～図６に示す横の移動だけではなく，図７のように縦の座標に沿った映像が必要となる．特に，紙おもちゃの教材指導教材については特に上部からの視点撮影教材が重要

図８

拡大・縮小（scale）

このように，従来のデジタル・アーカイブで行われてきた１方向からのデジタルアーカイブから，多視点からのデジタルアーカイブの技術的手法が必要とされてきている．
この多視点同時撮影技術の注意点は，多視点のカメラが同時に且つ多方向（Ｘ－Ｙ軸）から正しく動くように，カメラの高さ（Ｚ軸）を同じにする必要がある．また，多視点の撮影デー
タを用いて，一連の連続性がある提示をしたり，多方向から見た文化活動の研究等をしたりするときには，ある程度の正確性が要求される．

以上のように，従来は８台のカメラで８方向の映像を撮影し，研究開発を行ってきたが，更に細かい動作や文化活動を記録管理するために，図９のように１６方向からの同時撮影法を開発した．
この方法によると，Ｘ－Ｙ－Ｚ軸のあらゆる動作を正確に記録でき，学習者が，映像教材において自分の興味関心がある静止画を見たい
場合，多様な視点での素材から自由に検索して見ることが可能な自由視点映像教材を開発することが可能となる．

図９１６方向多視点同時撮影システム

４．多視点同時撮影における記録方法
映像のデジタル記録・配信機能を備えた小型で低価格なビデオカメラの登場，モバイルを含むネットワーク技術の進展に伴い，多数のカメラで撮影され相互に時間同期した多視点映像を用いたアプリケ－ションが色々な分野で増加すると思われる．
ここで，撮影の位置情報と時間に関しては，撮影対象を３次元で捉える必要がある．特に，多視点からの同時撮影の場合には，今後多視点映像から３次元映像を生成することを考えると，画面に写る被写体の大きさや撮影アングルといった捕捉状態度が重要となる．
捕捉状態度として以下の 3 種類がある．
① 被写体の画面上での大きさ
基本カメラに写る被写体と比較し，“もっと大きく写っている映像”，”もっと広い範囲を写している映像”など，被写体の画面上での大きさに関する測度．
② 被写体の撮影方向

カメラとは“反対の方向から写している映像”，“色々な角度から撮影した映像”など，被写体の撮影方向に関する測度．
③ 被写体の撮影時間短時間の映像区間から構成される“ハイライトシーン”，“被写体を一つのカメラでじっくり追ったシーン”など，被写体の撮影時間に関する測度．
これら３つの要素は一つの要素のみを指定することも，複数の要素を指定することもできる．
自由視点映像教材における時空間検索では，この捕捉状態度を計算するために必要な問合せ範囲と多視点映像のメタデータが，抽出された映像区間とともに映像として出力されることが望ましい．
ここで，①と②については，カメラの位置と方向に関する情報で，図９のように次の３つのパラメータで構成される．
① 視点（location），注視点（look_at）
location は視点であるカメラの位置である．
位置は x，y，z 座標で指定する．look_at は注視点であり，見つめたい点または，その方向上にある適当な１点を指定する． カメラの位置と向きは基本的にこの 2 つの点によって決定される．
② 拡大・縮小（scale）
scale は物体をスケール（拡大・縮小）するために使用する．
③ 画角（angle）
angle はカメラの視野の広さを指定するために使用する．角度が小さいと望遠レンズになり，角度が大きいと広角レンズになる．
この３つのパラメータと時間のパラメータを追加することにより補足状態度を表すことができる．
Z

視点Location(X,Y,Z)
注視点Look_at(X,Y,Z)

画角（angle）
X
拡大・縮小（scale）

Y

図 10 補足状態度のパラメータ

今後，３次元空間での表示を考えたときに，下記のようにのパラメータをメタデータとして記録管理することが必要となる．
Camera1 {location <50, 50, 100>
look_at <0, 0, 0>
scale<3,3,3>
angle 45}
図 11 補足状態度のパラメータの表示例
５．時空間検索による提示方法の検討
多視点映像は各映像フレームの撮影時刻および撮影された被写体が存在する領域をメタデータとして有する．この被写体存在領域と上述の問合せ情報を時空間上で比較し，注目した被写体を“より良く”写す映像区間を検索する．
この“より良く”とは，例えば，基本カメラに写る被写体と比べ大きく写っているとか，反対のアングルから写っているなどを意味する．
検索結果は映像区間の集合と，各映像フレームが注目被写体をどのように写しているかという捕捉状態度に関する情報から構成される．
この，時空間検索の例を図１１に示す．

６．おわりに以上，文化財や文化活動の記録方法として，多視点同時撮影により，文化活動の状況を後世に正しく伝承するため，そしてそれらの情報を用いて研究・提示利用の総合的なデジタル・アーカイブズの開発について研究を行った．
特に，今回１６方向からのデジタルカメラを用いた多視点同時撮影が可能なシステムを構成し，各分野で必要とする画像移動について検討をし，その記録法を検討した．これにより，芸能を始め各種の動作をともなう文化活動，伝統的な手工芸技術などの１６方向からの多視点同時記録が可能になった．
尚この研究は，主に後藤忠彦と久田由莉，久世均，松野光暢が１６方向の同時撮影法の研究・調査・資料収集，三宅茜巳,林知代が｢郡上踊｣「紙おもちゃ」のデータ処理を担当し，久世均が論文のまとめを担当した．
また，この１６方向同時撮影法の開発について，教材開発では“紙おもちゃ”の制作指導で水野政雄氏に，“郡上踊”の指導では郡上おどり保存会，また，ＮＰＯ法人地域資料情報化コンソーシアムには撮影の機会を与えていただ
いたことに厚く感謝の意を表す．
参考文献
1)久田･白木･根本･大澤･張･三宅･谷口･加藤･後藤：
文化活動等のデジタル・アーカイブ化のための多方向同時撮影について日本教育情報学会第 22 回年会
Aug26-27, 2000, PP246-247
2)久田･林･松野･久世：文化情報のデジタル・アーカイブの実証的研究[Ⅰ]日本教育情報学会

教情研究 Ｅ07-1 (2007-02) P1-P63) 久世･久田･林･松野：文化情報のデジタル・アーカ

画像を選択

イブの実証的研究[Ⅱ]
教情研究

日本教育情報学会
Ｅ07-1 (2007-02) P7-P124) 後藤・久田・久世：教材作成のための８方向静止画と４方向動画映像のデジタル・アーカイブズの開発

拡大画像を表日本教育情報学会
教情研究Ｅ07-2 (2007-04) P33-P40

5) 久田・久世・林 ：文化活動におけるオーラル・ヒストリーの実践的研究
教情研究

日本教育情報学会
Ｅ07-2 (2007-04) P55-P60

6)松山隆司：大型有形・無形文化財の高精度デジタル化ソフトウェアの開発

図１１

時空間検索の例

告書

文部科学省研究委託事業報