  

応用論文

実写映像を利用した花火演出支援システム

山本 光重 佐藤智和 £

横矢 直和 £              ¶½ ½ ½ 
                   Æ   Æ                                                   Æ                                                        
 ! "    !  #      Æ                                             $          

はじめに! 表現できる花火玉の種類がシステムに依存する

近年 複数の花火同士の同期や花火と音楽の同期を行

特に ! の問題に起因して シミュレーション時と実際うようなエンターテイメント性を重視した花火ショーの打ち上げ時で花火の見え方が大きく異なる可能性がが増加している このような花火大会では 一つの花火の美しさに加えて 空間をどのように彩るかという演出が重要である  この演出作業においては 花火の種類・打ち上げ位置・音楽のタイミングなど 花火師が決定すべき要素が多い しかし 危険性や金銭的あるため 花火師がこれらのシステムを用いて演出作業を行うことは困難である

そこで筆者らは 実際の地図や打ち上げ会場の画像を用い 計算機上で花火の演出と打ち上げ結果の確認作業を行うことによって これらの問題点を解決するなコストの面から試し打ちをすることは難しく 実際

花火演出支援システムについて検討してきた $  本の打ち上げ結果を確認できないために 花火師は演出

論文では 従来からの検討結果をふまえて設計・実装し作業を円滑に行うことが困難であった

これに対し 花火師による一連の作業工程 花火玉の製作 打ち上げの演出 打ち上げ! のシミュレーションを計算機を用いて行う試みがある " # このようなシステムでは ユーザは花火玉に火薬を配置するモデリング作業を行い 打ち上げタイミングや打ち上げ位置を設定することで 花火の打ち上げシミュレーションを行う しかし 花火師が演出作業に利用する
場合には以下のような問題がある

た花火演出支援システム %&'(& について述べる

%&'(& では ユーザは計算機上で音楽との同期を考慮しながら 花火の種類・打ち上げ位置・音楽を時間の経過に沿って組み立て その結果をリアルタイムに確認することにより低コストで効率的に演出作業を進めることが可能である また 実際の花火大会における花火映像や 他のソフトを用いて作成された )*による花火映像を利用することで 特殊な花火や 新作の花火なども容易にシステムに追加することができる 演出結果は 全方位カメラ + を用いて取得した花! 従来から花火師が用いてきた地図や実際の打ち上げ場所の背景画像を利用できない

火打ち上げ現場の背景画像にパノラマ重畳表示するこ! 音楽との同期が考慮されていない

イロセンサで計測し パノラマ画像から視線追従画像¶½ 奈良先端科学技術大学院大学 情報科学研究科¶½          とで可視化される 加えて ユーザの頭の動きをジャを切り出して ,- に表示することで ユーザは没入空間内で演出結果を確認することができる
以下章では花火師による従来の花火演出作業に

日本バーチャルリアリティ学会論文誌

ついて簡単に述べる

章では花火演出支援システム%&'(& の設計方針および システムの諸機能とその操作について述べ " 章で %&'(& を用いた花火演出のシミュレーション例を示す # 章では %&'(&の有効性・妥当性を検証するための花火師による主観評価実験の結果を示しついて述べる

$ 章でまとめと今後の課題に   
A 花火映像の加工と花火情報の入力
B 地図画像と背景画像の設定(a) 地図画像の入力と縮尺の設定(b) 背景画像の入力と視点の位置設定(c) 地図画像上での背景画像の方位の設定花火師による従来の花火演出作業

花火師による従来の花火演出作業は 以下のような手順で行われている

(d) 視線方向の設定(e) 打ち上げ地点の入力

! 地図上でのメイン会場の決定
C 花火演出の編集! 地図上での花火打ち上げ場所の決定! 打ち上げる花火の種類 場所 タイミングの決定
音楽との同期を含む!
作業 ! と音楽の設定
花火の打ち上げタイミングの入力! において 花火師は打ち上げ場所とメ
D 演出結果の確認

イン会場の間の距離 打ち上げ場所の広さ 打ち上げ場所と近くの建物との距離を考慮する これは 法律で定められた花火の打ち上げに関する保安距離と 建物やオブジェクトなどの配置に合わせて花火の演出を行う場合があるためである 作業
業 ! と! においては 作

パノラマ表示プレビュー表示再生

HMD 表示再生! で決定した内容に基づいて メイン会場から見える花火の打ち上げ場所と音楽との同期を考慮して 打ち上げる花火の種類・場所・タイミングを決図ユーザの作業手順     

定し 花火演出のタイムシートを作成する

このような花火師による従来の花火演出作業では危険性や金銭的なコストの面から試し打ちをすることが難しく 上記の作業手順で作成した花火の演出結果をそのまま実際の花火大会に使用する このため 打ち上げ場所の調整 花火と音楽の同期の考慮 打ち上げる花火の選択が難しく 花火師が想像した演出内容と実際の打ち上げ結果に見え方の違いが生じるという問題がある

花火演出支援システム

方針を以下にまとめる
システムの支援機能¯ 花火師による従来の花火演出の作業工程の再現¯ 音楽と花火の同期の実現¯ 計算機上での演出結果の可視化

本章では 花火師による従来の花火演出作業を考慮した花火演出支援システム %&'(& の設計方針および 実際に作成したシステムの諸機能とその操作について述べる



援機能と効率的な作業のためのインタフェースの設計

システムの設計方針

システムに必要な支援機能を考えるにあたり 前述
した花火師による従来の花火演出作業における問題点と 従来の計算機を用いた花火演出作業における問題点を解決することが必要である また花火演出においては効率的な作業を実現することが求められる これらを踏まえ 本研究の基本方針に沿ったシステムの支インタフェースの設計方針¯ 演出結果のリアルタイムでの修正・確認のためのインタラクティブ性の提供¯ 従来の演出作業で用いる情報の利用による使い易さの提供¯ 演出結果に基づく花火ショーの 没入型! 仮想体
験の提供 システムの概要
図  で示すように ユーザの作業手順は 「 .! 花火映像の加工と花火情報の入力」 「 /! 地図画像と背山本・佐藤・横矢

実写映像を利用した花火演出支援システム

 

上げタイミングを入力するスケジューリング表から成る

! は 入力した地図画像 視点位置 視線方向 打!

ち上げ位置を表示する位置情報ウィンドウである

は 花火の打ち上げタイミング入力時に 選択した花火の情報を表示する花火プロパティウィンドウである

(1)

!

!

! のいずれも 花火を打ち上げるタイミン

グや打ち上げ位置を考える編集作業において常にユーザに必要な情報であることから 演出の編集作業時に常時表示する その他の情報は システムが乱雑にな(2)図らないように情報入力時に情報入力用のダイアログを(3)表示する これによって ユーザは効率的な作業を行うことが可能となる 以下 ユーザの作業手順と それに沿ったシステムの処理について詳述する

   のメインインタフェース画面
          

花火画像の加工と花火情報の入力

本プロセスでは 前処理として花火画像の加工と花景画像の設定」 「 )! 花火演出の編集」 「 -! 演出結果の確認」の " つのプロセスから成る 以下 各手順について概要を述べる

映像ソースから 演出作業に用いる花火の領域を切り出し その花火の大きさや名前などの情報を入力する ただし 演出作業時に毎回すべての花火情報を入力する必要はなく 予め登録されている花火情報を利用することもできる

/! 地図画像と背景画像の設定0 地図画像と背景画像を入力し 同時に地図画像の縮尺を入力する
次に 地図画像上で背景画像の撮影地点 観察視
点位置! 視線方向および打ち上げ地点を設定する この作業は 前述した従来の作業手順

!

同期のタイミングを考慮しながら花火の打ち上げタイミングを設定する この作業は 従来の作! に対応する

-! 演出結果の確認0 入力した演出情報に沿って 花
火がモニタや ,- 上に可視化され ユーザは演出結果を確認する ここで ユーザは演出の編集作業と確認作業のプロセスを繰り返し行うことで 演出した結果を逐次確認 修正することができる ただし 花火情報や打ち上げ地点に関して修正を行いたい場合には 再度 .!
ロセスを行うまたは )* による花火映像ソースから花火領域を静止画として切り出し それらの静止画の 値画像（以下マスク画像）の作成を行う マスク画像は 切り出した静止画の輝度値を任意の値で閾値処理することにより作成し 花火シミュレーションにおける透過処理に用いる

次に 花火情報の入力では 図に示すダイアログを用いて 花火の実際の大きさ 名前 カテゴリ アイコン 開花時間の設定を行う 花火の実際の大きさは ビューワに表示する花火の大きさの算出に利用する 花火のカテゴリ分けは ユーザが独自の花火データベースを作成し 後の演出作業において効率的に作業するために行う 花火アイコンの作成では ユーザ
は花火画像内で任意の範囲を選択し 花火の打ち上げ)! 花火演出の編集0 音楽を入力し 音楽と花火を同期させるタイミングを決定する 次に 決定した業手順

いては 連続した花火画像のアニメーションによって違和感なく花火を表現するための前処理として 実写.! 花火映像の加工と花火情報の入力0 ユーザは実際の花火大会や )* による花火映像などの花火! に対応する

火情報の入力を行う 図  中 .! 花火画像の加工にお/! のプ

図 に提案システムのメインインタフェースを示す

同図中 ! は パノラマ表示用ビューワと花火の打ちタイミング入力時に使用するアイコンを作成する このようなユーザの意思を反映したアイコンを利用することで 作業効率を上げることができる 花火の開花時間の設定では スケジューリング表で花火アイコンを入力した時間に花火が開花するように 花火映像中での開花時間を指定する これにより ユーザは花火の打ち上げから開花までの時間差を考慮せずに花火のスケジューリングを行うことができる 例えば それぞれの花火アイコンをスケジューリング表の同じ時間に入力することで 複数の種類の花火を同時に開花させるといったことが可能となる



地図画像と背景画像の設定

本プロセスでは 図! のパノラマ表示用ビューワ! の位置情報ウィンドウの地図画像の設定を行う 図  中 /! 以下 順にユーザの作業
手順について詳述するの背景画像と同図

日本バーチャルリアリティ学会論文誌

   

! 音楽操作ダイアログ

1! スケジューリング表におけるタイミングのマーク
図  音楽と打ち上げタイミングの同期
   !      図  花火情報入力ダイアログ            

合には 地図画像上で視点位置からその方位に合わせて直線を引き 背景画像上でその方位を指定すること

 地図画像の入力と縮尺の設定
花火師による従来の演出作業と同様に 地図を用いてメイン会場や打ち上げ地点を設定する まずユーザ
は スキャナなどで取り込んだ手持ちの地図画像を入力する また同時に 地図画像上で実際の距離が既知である任意の設定する

地点間の距離を入力し 地図の縮尺を

 背景画像の入力と視点の位置設定
実際の花火大会のメイン会場で撮影した全周パノラマ画像を背景画像として入力する これは 演出作業において建物の位置を考慮し メイン会場から見える花火の打ち上げ位置を考慮して演出作業を行うためである また 実際の風景を背景画像に用いることで ユーザに臨場感を与えることができるという利点がある
続いて 位置情報ウィンドウの地図画像上でメイン会で位置合わせを行う

 視線方向の設定

パノラマビューワで表示される背景画像の中心となる視線方向の設定を行う 実際には 地図画像上で観察視点位置から花火の打ち上げ場所の方向に直線を引くことでパノラマビューワに表示される背景画像の中心を設定する

 打ち上げ地点の入力
地図画像上で打ち上げ地点を表すオブジェクト（以下 地点キャラ）を移動させて打ち上げ地点の位置設定を行う 地点キャラを移動させると 背景画像上に表示される打ち上げ位置を示すアイコンも同時に移動するので 打ち上げ位置の調節を容易に行うことがで
きる

!

花火演出の編集

本プロセスでは 音楽の設定 花火の打ち上げタイ場を指定することによって シミュレーション時の観ミングの入力を行う 図  中 )! 前述したように ユー 地図画像上での背景画像の方位の設定
後述する !「打ち上げ地点の入力」の作業で入力

ザは本プロセスにおいて演出の編集を行い 次節で述べる編集結果の確認をするという作業を何度も繰り返する花火の打ち上げ位置を背景画像上に反映するためを同期させるために ユーザは図 " ! に示す音楽操作

察視点位置を設定するに 背景画像の方位を地図画像上で指定する 背景画
像と地図画像で共通の目印がある場合には 地図画像上で観察視点位置とその目印を結ぶ直線を引き 背景

画像上でその目印の場所を指定する また 背景撮影
時に方位磁石などを用いて撮影方向を測定している場

して演出を組み立てる 音楽の設定では 音楽と花火ダイアログを用いて 音楽を聞きながら花火と同期させたいタイミングをチェックする チェックしたタイミ

ングは 同図中 1! に示すように 自動的にスケジューリング表にマークされ マークに合わせて花火アイコンをスケジューリング表に入力することで 音楽と花

山本・佐藤・横矢

実写映像を利用した花火演出支援システム

 

! スクロールバー移動前

! 移動前図"

1! 移動後
1! スクロールバー移動後

花火アイコン一覧ダイアログにおけるアイコンの配置

 " #図 $ 演出結果のプレビュー表示 $  %             

火の同期を行うことができる さらに

 節で述べた花火の開花時間が自動的に考慮されるために より正ング表の下のスライドバーを使用することで 任意の花火の打ち上げタイミングの入力では ユーザは図により ユーザは演出の途中の状況をいつでも把握で確な同期を実現することが可能である

# に示す花火アイコン一覧ダイアログを用いて 事前に設定した花火データベースから花火のカテゴリを選択
し 使用する花火アイコンを図! に示すスケジューリング表に入力する 加えて ダイアログ内でユーザ時間の編集結果をプレビューすることができる これ

き 演出内容を効率的に確認できる ,- 表示ではユーザはジャイロセンサを取り付けた ,- を装着する ,- に表示する画像は ジャイロセンサにより取得される頭部の方位情報に基づき パノラマ画像かがアイコンを自由に移動させることで アイコンの利ら切り出された視線追従画像である この画像を用い用頻度や類似性に基づいたユーザ独自の配置を行えることによって ユーザは水平方向の自由な見回しが作業効率の向上を図ることが可能である

"

演出結果の確認

本プロセスでは 入力された演出情報を基にして花火大会のシミュレーションを行い ビューワに表示することで 編集した演出を確認する 図  中 -! 音楽と花火の同期は 花火のシミュレーションと同時に音可能となる ただし ,- 表示では一度にパノラマ画像の一部分しか見ることができないために 全体的な演出結果の把握が必要な演出作業の編集にはパノラ
マ表示を用いる を用いた花火演出シミュレーション

画像を用いる マスク画像によってマスクされた花火%&'(& を用いて実際に行った花火演出作業の例を紹介する 使用機材は 計算機に ') '("2(*, ¢ & */! ,- に 345'6 社製 75 & ジャイロセンサに 8 77 7社製 8(& &9 を利用した 背景画像は 全方位視覚
センサ ,:&3( (+ をデジタルカメラに装画像上の領域は ビューワ上に描画されないために 複着して撮影した全方位画像をパノラマ画像に変換して楽を再生することにより確認する シミュレーション
における花火は )* や実際の花火ショーの花火映像

から切り出した複数枚の花火画像をアニメーションさせることで表現する 加えて 複数の花火同士の重なりを違和感なく表現するために

 節で述べたマスク数の花火を同時に表示しても違和感なく表示できる

ビューワとして ユーザはパノラマ表示と ,- 表

示を用いることができる パノラマ表示では 実際の打ち上げ現場の全周パノラマ画像を背景画像として用いることで 演出範囲の制限なく 広範囲の演出結果を確認できる また 図 $ に示すように スケジューリ用いた また 地図画像は株式会社アルプス社製の電子地図 プロアトラス

全国 --; より 付属のツールによる地図の切り出し機能を用い 地図画像の一部を切り出して入力とした

図  に示すように 花火の打ち上げ地点数は４地点. / ) -! とし 観察視点を同図中の×印の位置に   

日本バーチャルリアリティ学会論文誌

500m

A× D
B

開始時

C

" 秒後

+ 秒後
図&

花火演出シミュレーションに用いた花火の打ち上げ位置と観察視点位置

 & '    %        秒後図)

パノラマ表示での花火演出シミュレーショ
ンの可視化結果

 ) *             % " , & ; /）を利用した以外は 前章
におけるシミュレーションと同様の構成である 以下
図(

花火演出シミュレーションに用いたスケジューリング

 (         

システムの評価方法 ならびに評価とその考察について述べる

!

評価方法

システム使用前に システムの概要と具体的な操作設定した 使用した花火は )* の花火と淀川花火大会

方法についてジューリング表を図 + に示す これらの入力から得らえた 花火映像 地図画像 背景画像 音楽はあらか

可視化結果の ,- 表示とその時のユーザの様子を図システムの使用感と花火演出支援方針に関する質問をの映像からの花火の " 種類を利用した 演出例のスケれたシミュレーション結果のパノラマ表示を図 ; に に示す パノラマ表示と ,- 表示のフレームレー
トは ともに約 <: であった シミュレーションを行うことで リアルタイムに花火演出の編集結果が確認でき 効率的な作業が可能であることを確認した ま
た パノラマ表示を利用することによって 広範囲の演出が可能であることを確認した ,- 表示においては 頭部の向きの変化から対応する画像の表示までの時間遅延は ;  以下であり ほとんど時間遅延を感じることなく滑らかな見回しが行え 没入型環境で違和感なく演出結果を確認することができた!

花火師による主観評価実験%&'(& の妥当性・有効性を検証するために 実際に淀川花火や天神祭花火の演出を担当している花火師 古賀 郁郎氏に依頼し 提案システムの評価を行った 使用した機材は 計算機にノート型 ')（'(分程度の説明を行い その後 システムの作業手順に沿って約  時間程度使用する機会を与じめ用意したものである システム使用後 被験者に行い # 段階評価（良い #〜 悪い）で回答させた システムの使用感に関しては 図  に示す作業手順 .!

〜 -! のそれぞれのプロセスに対する使い易さ 分か

り易さ 正確さについての評価と システム全体の使用感についての評価である また 評価シートの記入に加えて 実験後に各項目についてのインタビューも行った!

花火師による評価結果とその考察

システムの使用感に対する評価は 表  に示すようにほぼ良好であり 加えて 「使い易い」 「業務で使いたい」という意見も得られたことから 本システム

に対する花火師の評価は高いと考えられる ただし

作業手順 .!「花火映像の加工と花火情報の入力」のプロセスに対する評価が低い これに関しては 花火映像加工において映像中の任意の場面選択が難しいというインタビュー結果であった この原因として 花

山本・佐藤・横矢

実写映像を利用した花火演出支援システム

表 

システムの使用感についての評価結果

3 2

4%   2

質問内容
使い易さ
分かり易さ
正確さ
使い易さ
地図画像と分かり易さ
背景画像の設定
正確さ
使い易さ
花火演出の分かり易さ
編集
正確さ
使い易さ
演出結果の分かり易さ
確認
正確さ
全体の使用感花火映像の加工と花火情報の入力

" 秒後

開始時

表

システムの支援方針についての評価結果

3 2  4% 

+ 秒後

 秒後

図 +,- 表示での花火演出シミュレーショ
ンの可視化結果とユーザの様子 .上部/ 提示画像0 下部/ユーザの様子1 + *             ,- %     ./    02 /    1

評価
１
３４４４４５５４
５５４３

     

質問内容

評価

（計算機を用いて演出作業をシミュレートすることは）意味がある

５（花火の表現は）花火映像を利用した方が良い

５（音楽の同期の設定ができることは）
有用である

５

（実際の演出作業や実際に利用する情報を用いることは）実用的である

５の危険性や金銭的なコストを削減することができる
火映像の再生・戻し・送りを行いながら 徐々に選択

また 花火師によるシステムの評価において良好な評したい場面に近づけていくという作業を行わなければ価が得られたことから 実際の演出作業における本シならず 使い難いということが考えられる 今後 この問題点を解決する方法の検討が必要である

システムの花火演出作業支援方針に関しては 表に示すようにすべての項目で # という評価が得られた
ことから 本システムによる演出作業の支援方針は妥ステムの利用が有用であることを確認した

今後は 花火師による評価で明らかになった問題点の解決が課題である さらに 大型の没入型投影ディスプレイを用いて その中で複数人が議論しながら演出作業を行う方法や 実際の打ち上げ現場において当であると判断できる しかし インタビューにおい,- を用いて現実環境と花火映像を実時間でビデオて 同じ形で色だけが異なる花火は それぞれの色にシースルー合成表示する拡張現実感による演出結果の対して花火映像を用意しなければならず 手間がかかるという意見があった 今後 作業手順 .! における花火の色変換機能の追加等を検討する必要がある

"

提示方法について検討する

謝辞 最後に 花火演出における具体的な作業項目と問題点を教示頂くとともに関連資料を提供して頂いた
花火師・丸玉屋の諸氏 ならびにシステムの評価実験おわりにに協力頂いた花火師・古賀郁朗氏に感謝する また 電本研究では 効率的な花火演出作業を実現するため

子地図の使用と本論文への掲載を許諾下さった株式会に 計算機上で編集した演出結果をリアルタイムに確認することのできる花火演出支援システム %&'(&を構築した これにより 現実環境における試し打ち社アルプス社に感謝する日本バーチャルリアリティ学会論文誌

参考文献

5 6 武藤0 小野里0 川上/ 花火大会に行こう0 新潮社0 ))&56 魔法株式会社/ 花火職人になろうの究極版 ユーザマ
ニュアル0 ++ 56 有限会社 片貝煙火工業/ 花火開花シミュレーション
はーなびげいしょんユーザマニュアル0 +++
56 中山0 板橋/ 7打ち上げ花火ＣＡＤシステム80 情報処理学会第 $+ 回全国大会論文集0 9 0  (": ($0+++
5"6 ,; 0 <;  0 <<   <=  /7# - 9   4%    >   ;  08    #> 9*3)$0  :"+0))$
5$6 山本0 佐藤0 横矢/ 7?* による描画を利用した花火
演出支援システム80 日本バーチャルリアリティ学会
第 $ 回全国大会論文集0  ": $0 ++ 5&6 山本0 佐藤0 横矢/ 7実写映像を利用した花火演出支援
システム80 電子情報通信学会技術研究報告0 9 + 0; $"0  "":$+0 ++
5(6 山澤0 八木0 谷内田/ 7移動ロボットのための全方位視覚センサ , @  9 の提案80 電子情報通信学会論文誌 -0 9 A&)-0 ; "0  $)(:&+&0))$5)6 株式会社アルプス社/ プロアトラス ++ 全国 -9/BB  CB

年 # 月  日受付!
［著 者 紹 介］
山本 光重 （学生会員）
+++ 年関西学院大・理・物理卒 ++
年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了 現在0 大日本印刷 .株1 勤務佐藤 智和))) 年阪府大・工・情報工卒 ++ 年
奈良先端科学技術大学院大学情報科学研
究科博士前期課程修了 現在0 同大学博士後期課程に在学中 コンピュータビジョンの研究に従事 ++ 年電子情報通信学会学術奨励賞受賞 電子情報通信学会0 情報処理学会各会員

横矢 直和 （正会員）)& 年阪大・基礎工・情報工卒 )&)年同大大学院博士後期課程了 同年電子技術総合研究所入所 以来0 画像処理ソフトウェア0 画像データベース0 コンピュー
タビジョンの研究に従事 )($〜(& 年マッギル大・知能機械研究センター客員教授 )) 年奈良先端科学技術大学院大学・情報科学センター教授 現在0 同大情報科学研究科教授 ))+ 年情報処理学会
論文賞受賞 工博 電子情報通信学会0 情報処理学会0 人工知能学会0 日本認知科学会0 映像情報メディア学会0 444 各会員   