NAIST-IS-MT0051116

修士論文

実写映像を利用した花火演出支援システム

FirePainter山本 光重

2002 年 2 月 8 日

奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
山本 光重

審査委員：

横矢 直和 教授
千原 國宏 教授

実写映像を利用した花火演出支援システム

FirePainter∗
山本 光重

内容梗概
花火大会の演出作業において，花火師は花火の打ち上げ位置，タイミング，音楽との同期などの多くの要素を決定する必要がある．しかし従来，花火師は危険性や金銭的なコストの問題から演出結果を視覚的に確認することができず，演出作業を円滑に行うことが困難であった．そこで，本研究では，効率のよい花火演
出作業を実現するための花火演出支援システムを提案する．ユーザは計算機を用いて打ち上げ位置，花火の種類，打ち上げタイミング，音楽といった様々な情報を入力し，演出作業を行う．演出結果は入力されたデータに沿って，花火の実写映像を利用して計算機上でシミュレートされ，モニタや HMD 上に可視化される．
これによって，花火師は効率よく演出作業を進めることが可能となる．また，花火師による提案システムの評価を行うことで，システムの妥当性・有効性を検証
する．

キーワード
花火演出支援システム, 実写映像, インタフェース∗

奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 修士論文, NAIST-IS-

MT0051116, 2002 年 2 月 8 日.

iFirePainter - A Fireworks Production Support
System Using Images of Fireworks Movies∗
Mitsushige Yamamoto

Abstract
Pyrotechnicians must determine many factors such as timing, music, and placesin the production of a ﬁreworks show. However it is diﬃcult to work eﬃciently
because the results of production can not be easily conﬁrmed in a real environment due to the cost and danger. This paper proposes a ﬁreworks production
support system that realizes an eﬃcient work for ﬁreworks production. In the
proposed system, a user inputs information about ﬁreworks types, launch positions and timing, and music. The ﬁreworks show is simulated in a computerby using input information, and is visualized in a panorama viewer and on a
HMD(Head Mounted Display). The ﬁreworks show can be produced eﬃciently
with the low cost by using this system. The proposed system has been successfully demonstrated and evaluated by pyrotechnicians to show the validity of thesystem.

Keywords:
ﬁreworks production support system, ﬁreworks video, interface∗

Master’s Thesis, Department of Information Systems, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT0051116, February 8, 2002.

ii

目次
1. はじめに1

2. 花火演出作業における問題点と本研究の方針

3

2.1 実際の花火演出作業 . . . . . . . . . . . . . . . . . . . . . . . . .

3

2.2 実際の花火演出作業における問題点 . . . . . . . . . . . . . . . . .

5

2.3 従来の計算機を用いた花火演出作業とその問題点 . . . . . . . . .

5

2.4 本研究の方針 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

2.4.1

花火演出支援機能 . . . . . . . . . . . . . . . . . . . . . . .

7

2.4.2

インタフェースの設計方針 . . . . . . . . . . . . . . . . . .

8

3. 花火演出支援システム FirePainter

9

3.1 花火演出支援システム FirePainter の概要 . . . . . . . . . . . . . .

9

3.2 花火映像の加工と花火情報の入力 . . . . . . . . . . . . . . . . . .

14

3.3 地図画像と背景画像の入力 . . . . . . . . . . . . . . . . . . . . . .

16

3.4 花火演出の編集 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

3.5 編集結果の確認 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24

4. FirePainter を用いた花火演出シミュレーション

26

4.1 実行環境と演出情報の入力 . . . . . . . . . . . . . . . . . . . . . .

26

4.2 演出結果の可視化 . . . . . . . . . . . . . . . . . . . . . . . . . . .

28

4.2.1

パノラマ表示 . . . . . . . . . . . . . . . . . . . . . . . . .

28

4.2.2

HMD 表示 . . . . . . . . . . . . . . . . . . . . . . . . . . .

30

5. 花火師による主観的評価

32

5.1 評価方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

32. . . . . . . . . . . . . . . . . . . .

34

5.2 花火師による評価とその考察
6. まとめ

38

謝辞

39

iii

参考文献

40

iv

図目次
1

花火演出タイムシート . . . . . . . . . . . . . . . . . . . . . . . .

4

2

花火玉の構造 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

3

ユーザの作業手順 . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

4

花火演出支援システムのメインインタフェース . . . . . . . . . . .

11

5

ダ イアログの表示 . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

6

花火情報の加工 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

7

花火情報入力ダ イアログにおける花火アイコンの作成 . . . . . . .

168

地図画像の縮尺の設定 . . . . . . . . . . . . . . . . . . . . . . . .

17

9

視点の位置設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1810

地図画像上での背景画像の方位の設定. . . . . . . . . . . . . . .

19

11

視線方向の設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2012

地図画像上での地点キャラの移動による背景画像上での打ち上げ
位置の更新. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

13

音楽の設定

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

14

花火アイコン一覧ダ イアログとダ イアログ内のアイコンの移動 . .

23

15

プレビュー表示 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

25

16

ジャイロセンサを取り付けた HMD . . . . . . . . . . . . . . . . .

25

17

シミュレーション位置情報 . . . . . . . . . . . . . . . . . . . . . .

2618

淀川花火大会ビデオ映像 . . . . . . . . . . . . . . . . . . . . . . .

27

19

シミュレーション演出内容 . . . . . . . . . . . . . . . . . . . . . .

27

20

演出シミュレーションにおける可視化結果（パノラマ表示） . . .

29

21

演出シミュレーションにおける可視化結果（ HMD 表示） . . . . .

31

22

質問シート

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

質問シートの回答結果 . . . . . . . . . . . . . . . . . . . . . . . .

35

表目次
1

v

1. はじめに花火は日本の伝統工芸であり，世界で高い評価を受けている．花火の打ち上げにおいて花火師は，「 花火玉の製造」，「 打ち上げの演出」，「 打ち上げ 」の３つの工程を行うが，中でも美しい花火を作成することを目標に，「 花火玉の製造」工程に特に力を入れてきた [1]．このため，花火大会では主に個々の花火の美しさを見せることが基本であった．しかし近年では，欧米の影響を受けて，複数の花火同士の同期や花火と音楽の同期を行うようなエンターテイメント性を重視する花火大会が増加しており [2]，個々の花火の美しさに加えて，空間をどのように彩るかという「打ち上げの演出」工程での演出作業が重要視されてきている [3]．このような演出作業においては，花火師は花火の種類・打ち上げ位置・音楽のタイミングなど ，多くの要素を決定しなければならない．しかし，危険性や金銭的なコストの面から試し打ちをすることは難しく，実際の打ち上げ結果を確認できないために，花火師は演出作業を円滑に行うことが困難であった．
そこで従来我々は，計算機上で花火の演出と打ち上げ結果の確認作業を行うことによって，これらの問題点を解決するシステムを提案した [4]．本論文では，このシステムを改良したより効率的で有用な新しい花火演出支援システム FirePainterを提案する．FirePainter では，ユーザは計算機上で音楽との同期を考慮しながら，花火の種類・打ち上げ位置・音楽を時間の経過に沿って組み立て，その結果をリアルタイムに確認する．本システムでは実際の花火大会から抜き出した花火の映像を利用することで，従来の CG を用いた花火玉のモデリングシステムでは困難であった特殊な花火や，新作の花火なども容易にシステムに追加することができる．演出結果は，全方位カメラ [5] を用いて取得した背景画像をパノラマ表
示することで可視化される．加えて，ユーザの頭の動きをジャイロセンサで取得
し，パノラマ画像から視線追従画像を切り出して HMD に表示することで，ユーザは没入型仮想空間内で演出結果を確認することができる．本システムは，実際の花火師の演出作業手順を参考に構成しているため，花火師は本システムを利用して容易に，かつ低コストで効率的に演出作業を進めることができる．本論文では，このような特長を持つ FirePainter の妥当性・有効性を検証するために，提案システムを用いて花火師による評価を行う．

1

以下，2 章では，実際の花火演出作業と従来の計算機を用いた花火演出作業における問題点を挙げ，その問題点を解決するための本研究の方針について述べる．3 章では花火演出支援システム FirePainter について詳細を述べ，4 章ではFirePainter を用いた花火演出のシミュレーション例を示す．5 章では花火師による主観的評価を行い，考察する．最後に，6 章で本論文のまとめと今後の課題を述べる．

2

2. 花火演出作業における問題点と本研究の方針
2.1 実際の花火演出作業
本節では，花火師が行う実際の花火演出作業について述べる．実際の花火演出作業における一般的な作業工程は，以下のような手順で行われる．

(1) メイン会場の決定(2) 花火の打ち上げ場所の決定(3) 打ち上げる花火の種類・場所・タイミングの決定作業（ 1 ）と（ 2 ）において，花火師は実際の花火大会開催場所付近の地図上で，観覧者用のメイン会場と花火を打ち上げる場所を決定する．その際に，打ち上げ場所とメイン会場の間の距離，打ち上げ場所の広さ，打ち上げ場所と近くの建物との距離を考慮する．これは，法律で定められた花火の打ち上げに関する保安距
離と，建物やオブジェクトなどの配置に合わせて花火の演出を行う場合があるためである．
作業（ 3 ）においては，作業（ 1 ）と（ 2 ）で決定した内容に基づいて，メイン会場から見える花火の打ち上げ場所を考慮し，打ち上げる花火の種類・場所・タイ
ミングを決定して，図 1 に示すような花火演出のタイムシートを作成する．タイ
ムシートにおいては，縦軸が打ち上げ開始からの時間となっており，横軸に花火の名前や打ち上げ場所などの打ち上げ情報が書き込まれている．ただし紙面の都合上，図 1 においては実際のタイムシートを９０度回転させたものを掲載している．さらに花火師は，花火を打ち上げるタイミングを決定する際に，音楽との同期を考慮する．音楽との同期に関しては，音楽が盛り上がる箇所や音楽の最後の箇所などのポイントとなる箇所において花火の打ち上げタイミングを詳しく決定し，それ以外の箇所においては音楽のテンポや雰囲気に合わせて打ち上げタイミ
ングを大まかに決定する．以上のように花火師は地図上でメイン会場や打ち上げ場所を定め，音楽に合わせて打ち上げる花火の種類・場所・タイミングを決定するという手順で演出案を作成する．

3

(>&

8

(>&

6'A
@

('& ('&
%
%
&';
&'&
8

=>= =>=2<; 2<;
8:9 8:9%& %&('& ('&
%
%



(>&

(>&

6'A
@

('& ('&
%
%
&';
&'&
8

%& %&('& ('&%%=>= =>=2<; 2<;
8:9 8:98?'; ?';?'& ?'&Y5 X W

 

(>&

(;6




?;6
7&



7A

ML
,

??

/.210N/.210/.-

FE6 7?

43
43

6'A
@

,Q0ML

(>&

`L0/.-



DCB#"!

?

('& ('&%%

7;SR0/.-

,Q0PO
43



&';
&'&

;

8
_:^]\<

FE; 7(
7&
6

7&

8

/.210/.8[Z=>= =>=2<; 2<;
8:9 8:9




,+
FE?) 76*)/.210/.-



43

KJIH0/G-

DCB#"!

%& %&('& ('&%%8?'; ?';?'& ?'&

Y5XW



$#"!  5666VUT6?

 





 



 

4

?'; ?';?'& ?'&

Y5XW
 

図 1 花火演出タイムシート

2.2 実際の花火演出作業における問題点
実際の花火演出作業においては，危険性や金銭的なコストの面から試し打ちによる演出の確認が困難である．このため，打ち上げ場所の調節，花火と音楽との同期の調節，打ち上げる花火の選択が難しく，想像した演出内容と実際に打ち上げた時の花火の見え方に違いが生じる．また，花火師は演出内容を花火大会の主催者や花火玉製造者，ならびに花火打ち上げ業者に対して説明しなければならな
い．しかしその際に，考案した演出の視覚的なプレゼンテーションが行えないた
めに，イメージを的確に伝えることが困難である．
以上のように，実際の花火演出作業においては，試し打ちによる演出内容の確認が困難であることから，演出結果の明確なイメージを持つことが難しく，演出に関する作業が効率的でないという問題がある．

2.3 従来の計算機を用いた花火演出作業とその問題点
花火の一連の作業工程（花火玉の製造，打ち上げの演出，打ち上げ ）を計算機を用いてシミュレートすることにより，実際の打ち上げにおける危険性，金銭的なコスト，労力，所要時間を削減する試みが近年行われている [6][7][8][9]．このようなシステムにおいては，花火玉に火薬を配置するモデリング作業を行い，これにより表現される花火を設定した打ち上げタイミングや位置に描画する．文献 [6]のシステムおいてはゲームの要素が強く，実際に演出作業に利用することは難し
い．また文献 [7][8][9] のシステムにおいても，演出作業を重視したものではなく，• 実際の演出作業に用いる情報を利用することができない• 音楽との同期を考慮していないという問題点が挙げられる．前者に関して，従来のシステムにおいては，実際の地図や背景を用いないために，打ち上げ位置の保安距離や建物の位置を考慮して演出作業を行えず，計算機シミュレーションと実際に打ち上げた花火との見え方が大きく異なる可能性がある．加えて，システムで設定したデータをそのまま打ち上げ作業に利用することが困難なため実用的ではない．また，花火玉のモデリ

5









図 2 花火玉の構造「 小割り物」，「 ポカ物」，「型
ングに関して，花火は図 2 に示すように「割り物」，
物」に分類することができ，それぞれの花火玉の構造が異なる [10] が，花火玉の構造によっては，従来のシミュレーション手法では表現できない花火が存在する．
例えば，割り物や小割り物においては火薬の配置が比較的規則的であるが，ポカ
物や型物においては火薬の配置が規則的ではなく，花火玉の中に詰め物をする場
合もある．したがって，花火玉のモデリングではポカ物や型物といった花火を表現できず，十分な演出を行うことができない．
このように，花火の一連の作業工程を計算機を用いてシミュレートする従来のシステムにおいては，多数の問題があり，実際に演出作業を支援するには不十分である．

6

2.4 本研究の方針
本研究の基本方針は，花火演出作業における効率的な作業の実現である．以下，
前述した現状を踏まえて，この基本方針に沿ったシステムに必要な支援機能とインタフェースの設計方針を述べる．

2.4.1 花火演出支援機能
システムに必要な支援機能を考えるにあたり，前述した実際の花火演出作業における問題点と，従来の計算機を用いた花火演出作業における問題点を解決することが必要である．これらを踏まえ，本研究の基本方針に沿った支援機能を以下にまとめる．

• 演出結果の可視化– 実際の演出作業における試し打ちによる問題点を，計算機を用いて可視化することにより解決し，危険性や金銭的なコストを削減する．また，前節における従来の計算機を用いた花火演出作業の問題「花火玉の構造によって表現できない花火が存在する」について，花火の爆発をシミュレートするのではなく，打ち上げられた花火の映像をそのまま用いて花火を表現することにより解決する．花火玉のモデリングとは異なり，花火の映像があればすべての花火を表現することができ，多様な演出構成を考えることが可能である．

• 実際の花火演出の作業工程の再現– 従来の計算機シミュレーションは，実際の演出作業のように地図を用いて，メイン会場や打ち上げ位置を決定できないために実用的ではな
い．本研究においては，実際の演出作業で用いる情報を利用し，加えて実際の演出作業の工程に近い作業手順を用いることによって，効率的な作業を行うことができる．

7

• 音楽との同期– 従来の計算機シミュレーションでは，前節で述べたように音楽との同期を考慮していない．近年の花火大会の動向として，花火と音楽を同期させる花火大会の増加が報告されており，本研究においては花火と音楽との同期を支援する．

2.4.2 インタフェースの設計方針
花火演出における効率的な作業を実現するためのインタフェースの設計方針を以下に述べる．

• 演出結果の確認におけるインタラクティブ性を提供する．
– 入力した情報をリアルタイムに演出結果に反映させることによって，入力情報の調節を容易に行うことができ，効率的に作業を進めることが可能である．

• 実際の演出作業で用いる情報を利用することにより，実用性と使い易さを提供する．

– 実際の演出作業で用いる地図の利用や，実際のメイン会場から見える
背景の利用によって，花火師は提案システムに容易に移行することができる．また，演出した情報を実際の打ち上げに容易に利用することができる．

• 演出結果の現実感を提供する．
– 没入型表示装置を用いて演出結果の提示を行うことにより，ユーザは臨場感を得ることができ，演出の創造を促すことが可能である．

8

3. 花火演出支援システム FirePainter
前章で述べた本研究の方針にしたがって花火演出支援システム FirePainter を開発した．本章では以下，FirePainter の諸機能と操作の実際について述べる．

3.1 花火演出支援システム FirePainter の概要
前章で述べたように，実際の花火の演出作業において，花火師は花火大会の開催場所付近の地図をもとに建物などの位置を考慮しながら，観覧者用のメイン会
場，花火の打ち上げ場所，打ち上げタイミングを決定する．本研究では，このような実際の花火演出のプロセスを考慮に入れ，ユーザの作業手順とインタフェー
スを設計した．
「 花火映像の加工と花火情報の入力」，
図 3 に示すように，ユーザの作業手順は，「地図画像と背景画像の設定」，「 花火演出の編集」，「 演出結果の確認」の４つのプロセスから成る．初めに，(A) ユーザは実際の花火映像から連続した静止画を切り出し，その花火の大きさや名前などの情報を入力する．次に，(B) 地図画像と背景画像を入力し，同時に地図画像の縮尺，地図画像上での背景画像の撮影地
点（ 視点位置），視線方向および打ち上げ地点を設定する．３番目のプロセスでは，(C) 入力した音楽に合わせて花火の打ち上げタイミングを編集する．最後に，(D) 入力した演出情報に基づいて，花火がモニタや HMD 上に可視化され，ユー
ザは演出結果を確認する．ここで，ユーザは演出の編集作業と確認作業のプロセ
スを繰り返し行うことで，演出した結果を逐次確認，修正することができる．ただし，花火情報や打ち上げ地点に関して編集を行いたい場合には，再度 A，B のプロセスを行う．

9

A  
B 

!"#$%&(b)'("#$) *+(c)!"#,'("#-*(d)).-/(e) 
(a)

C

 

D




 

HMD

図 3 ユーザの作業手順

10

(1)

(2)

(3)

図 4 花火演出支援システムのメインインタフェース(1)：パノラマ表示用ビューワとスケジューリング表(2)：位置情報ウィンド ウ(3)：花火プロパティウィンド ウ

図 4 に FirePainter のメインインタフェースを示す．同図中 (1) は，パノラマ表
示用ビューワと花火の打ち上げタイミングを入力するスケジューリング表から成る．(2) は，入力した地図画像，視点位置，視線方向，打ち上げ位置を表示する位
置情報ウィンド ウである．(3) は，花火の打ち上げタイミング入力時に，選択した花火の情報を表示する花火プロパティウィンド ウから成る．一般的に画面のインタフェースデザインを行う上で，「 見やすさ」や「情報の関係性」を考慮することが望ましい [11]．FirePainter において，(1)，(2)，(3) のいずれも，花火を打ち

11

上げるタイミングや打ち上げ位置を考える編集作業において常にユーザに必要な情報であることから，演出の編集作業時に常時表示し，その他の情報は，システ
ムが乱雑にならないように情報入力時に情報入力用のダ イアログを表示する．また各ダ イアログは，メインインタフェースにおいて関係のある箇所をマウスで右クリックすることにより表示する．例えば図 5(a)(b) に示すように，スケジュー
リング表を右クリックすることによって，スケジューリング表に花火の打ち上げタイミングを入力するために使用するダ イアログを表示することができる．これによって，ユーザは効率的な作業を行うことが可能となる．以降の節ではユーザの作業手順と，それに沿ったシステムの処理について詳述する．

12

(a) マウス右クリック前(b) マウス右クリック後

図 5 ダ イアログの表示

133.2 花火映像の加工と花火情報の入力
本プロセスでは，前処理として花火画像の加工と花火情報の入力を行う．花火
画像の加工においては，連続した花火画像のアニメーションによって違和感なく花火を表現するための前処理として，図 6 に示すように花火映像からの連続した
静止画の切り出しと，それらの静止画の２値画像（ 以下，マスク画像）の作成を行う．
次に，花火情報の入力では，花火の実際の大きさ，名前，カテゴ リ，アイコン，
開花時間の設定を行う．花火の実際の大きさは，ビューワに表示する花火の大きさの算出に利用する．花火のカテゴ リ分けは，ユーザが独自の花火データベースを作成し，後の演出作業において効率的に作業するために行う．花火アイコンの作成では，図 7 に示すように，ユーザは花火情報入力ダ イアログの花火画像内で任意の範囲を選択し，花火の打ち上げタイミング入力時に使用するアイコンを作成する．このようなユーザの意思を反映したアイコンを利用することで，作業効率を上げることができる [12]．ただし，アイコンだけでは提示できる情報に限界があるので，図 4(3) の花火プロパティウィンド ウにおいて，アイコンが示す花火の情報を常に確認することができる．花火の開花時間の設定では，スケジューリ
ング表で花火アイコンを入力した時間に花火が開花するように，花火映像中での開花時間を指定する．FirePainter においては，基本的に花火の打ち上げ場面から始まる花火映像を使用するが，開花時間を設定することによって，ユーザは花火の打ち上げから開花までの時間差を考慮せずに花火のスケジューリングを行うことができる．例えば，それぞれの花火アイコンをスケジューリング表の同じ時間に入力することで，複数の種類の花火を同時に開花させるといったことが可能と
なる．

14


 








図 6 花火情報の加工

15

図 7 花火情報入力ダ イアログにおける花火アイコンの作成

3.3 地図画像と背景画像の入力
本プロセスでは，図 4(1) のパノラマ表示用ビューワの背景画像と同図 (2) の位
置情報ウィンド ウの地図画像の設定を行う．以下，順にユーザの作業手順について詳述する．

16

(a) 縮尺入力用の直線の指定(b) 縮尺入力ダ イアログ

図 8 地図画像の縮尺の設定(a) 地図画像の入力と縮尺の設定
実際の演出作業と同様に，会場周辺の地図を用いてメイン会場や打ち上げ地点を設定する．まずユーザは，スキャナなどで取り込んだ実際の演出作業で使用する手持ちの地図画像を入力する．また同時に，図 8(a) に示すように地図画像上で実際の距離が既知である任意の２地点間を指定し，その間の距離を図 8(b) の縮尺
入力ダ イアログに入力することで，地図画像の縮尺を設定する．

17

(a) 移動前(b) 移動後
図 9 視点の位置設定(b) 背景画像の入力と視点の位置設定
実際の花火大会のメイン会場で撮影した全周パノラマ画像を背景画像として入力する．これは，実際の演出作業において建物の位置や，メイン会場から見える
花火の打ち上げ位置を考慮して演出作業を行うためである．また，実際の風景を背景画像に用いることで，ユーザに臨場感を与えることができるという利点がある．続いて，図 9(a)(b) に示すように，位置情報ウィンド ウの地図画像上で，○印で示されるメイン会場である視点の位置をマウス操作で移動することによって，シミュレーション時の視点位置を設定する．

18

(a) 地図画像上での方位の指定(b) 背景画像上での方位の指定

図 10 地図画像上での背景画像の方位の設定(c) 地図画像上での背景画像の方位の設定
後述する (e)「打ち上げ地点の入力」の作業において，地図画像上で指定する花火の打ち上げ位置を背景画像上に反映するために，背景画像の方位を地図画像上で指定する．背景画像と地図画像で共通の目印がある場合，図 10(a)(b) に示す
ように地図画像上で視点位置とその目印を結ぶ直線を引き，背景画像上でその目印の場所を指定する．また，背景撮影時に方位磁石などを用いて撮影方向を測定している場合には，地図画像上で視点位置からその方位に合わせて直線を引き，背景画像上でその方位を指定する.

19

(a) 設定前(b) 設定後

図 11 視線方向の設定(d) 視線方向の設定
図 11(a)(b) に示すように地図画像上で視点から直線を引くことによって，ビュー
ワで表示される背景画像の中心となる視線方向の設定を行う．

(e) 打ち上げ地点の入力
地図画像上で花火の打ち上げ地点を表すオブジェクト（ 以下，地点キャラ）を移動させることで打ち上げ地点の位置設定を行う．これにより図 12(a)(b) に示す
ように，地点キャラを移動させると，同時に背景画像上の打ち上げ位置も移動し，打ち上げ位置の調節を容易に行うことができる．

20

(a) 移動前(b) 移動後

図 12 地図画像上での地点キャラの移動による背景画像上での打ち上げ 位置の更新

21

3.4 花火演出の編集
本プロセスでは，音楽の設定ならびに花火の打ち上げタイミングの入力を行う．
前述したように，ユーザは本プロセスにおいて演出の編集を行い，次節で述べる
編集結果の確認をするという作業を何度も繰り返して演出を組み立てる．
音楽の設定では，音楽と花火を同期させるために，図 13(a) の音楽操作ダ イア
ログにおいて，ユーザは音楽を聞きながら花火と同期させたいタイミングでチェッ
クボタンを押す．チェックしたタイミングは図 13(b) に示すように自動的にスケジューリング表にマークされ，マークに合わせて花火アイコンをスケジューリン
グ表に入力することで，音楽と花火の同期を行うことができる．さらに，3.2 節
で述べた花火の開花時間が自動的に考慮されるために，より正確な同期を実現することが可能である．
花火の打ち上げタイミングの入力では，ユーザは図 14 に示す花火アイコン一覧ダ イアログを用いて，事前に設定した花火データベースから花火のカテゴ リを選択し，使用する花火アイコンを図 4(1) に示すスケジューリング表に入力する．
加えて，ダ イアログ内でユーザが花火アイコンを自由に移動させることによって，アイコンの利用頻度や類似性に基づいたユーザ独自の配置をすることができ，作業効率の向上を促すことが可能である．

22

(a) 音楽操作ダ イアログ(b) スケジューリング表におけるタイミングのマーク

図 13 音楽の設定(a) 移動前(b) 移動後

図 14 花火アイコン一覧ダ イアログとダ イアログ内のアイコンの移動

23

3.5 編集結果の確認
本プロセスでは，入力された演出情報を基にして花火のシミュレーションを行
い，ビューワに表示することで，編集した演出の確認を行う．音楽と花火の同期
は，花火のシミュレーションと同時に音楽を再生することにより確認する．シミュ
レーションにおける花火は，3.2 節「花火映像の加工と花火情報の入力」のプロセスにおいて作成した複数枚の花火画像とマスク画像を合成し，アニメーション
させることで表現する．これによって，花火同士の重なりを違和感なく表現することができる [13]．シミュレーションにおいてビューワに表示される花火の位置，大きさは，既に入力されている花火の打ち上げ位置，花火の大きさの情報を基に算出する．
ユーザはビューワとしてパノラマ表示と HMD 表示を用いることができる．パノラマ表示では，全周パノラマ画像を背景画像として用いることで，演出範囲の制限なく，広範囲の演出結果を確認できる．また，図 15(a)(b) に示すように，スケジューリング表の下のスライド バーを使用することで，任意の時間の編集結果
をプレビューすることができる． これにより，ユーザは演出の途中の状況をいつでも把握でき，演出内容を効率的に確認できる．HMD 表示では，ユーザは図 16に示すようなジャイロセンサを取り付けた HMD を装着する．これにより，ユー
ザに没入感を与え，演出の創造を促す．HMD に表示する画像は，ジャイロセン
サにより取得される方位情報に基づいてパノラマ画像から切り出され，ユーザは水平方向の見回しを行うことができる．ただし，HMD 表示では一度にパノラマ
画像の一部分しか見ることができないために，全体的な演出結果の把握が必要である演出作業の編集にはパノラマ表示を用いる．
また，処理能力の低い計算機を使用する場合は，花火画像の大きさの変更処理と同時に花火画像と背景との合成処理を行いながら再生することが困難であるた
めに，再生の前にこれらの処理によって得られる画像をファイルに書き出す「クリップの書き出し 」作業を行う．ユーザはこの作業の後に演出結果の再生を行い，演出結果を確認する．これによって多少のインタラクティブ性は失われるが，処理能力の低い計算機においてもビデオレートに近い演出結果の提示を行うことが
できる．

24

(a) スクロールバー移動前(b) スクロールバー移動後

図 15 プレビュー表示

図 16 ジャイロセンサを取り付けた HMD

25

4. FirePainter を用いた花火演出シミュレーション
本章では，前章で述べた FirePainter を用いて実際に行った花火の打ち上げの演出シミュレーションについて述べる．

4.1 実行環境と演出情報の入力
今回のシミュレーションでは，計算機にパーソナルコンピュータ（ Pentium4

Xeon1.7GHz × 2，2GB ），HMD に OLYMPUS Eye-Trek，ジャイロセンサに INTERSENSE InterTrax2 を利用した．
また，背景画像は全方位視覚センサ HyperOmni Vision[5] をデジタルカメラに装着して撮影した全方位画像をパノラマ画像に変換して用いた．図 17 に示すよ
うに，花火の打ち上げ地点数は４地点（ A，B，C，D ）とし，視点とそれぞれの打ち上げ地点との距離は，約５００メートルとした．使用した花火は CG で作成した花火 [14] と図 18 に示す実際の淀川花火大会の映像から抜き出した花火の２種類を利用した．演出シミュレーションのスケジューリング表を図 19 に示す．これらの入力から得られたシミュレーション結果を次節において示す．



図 17 シミュレーション位置情報26

図 18 淀川花火大会ビデオ映像(a) 前半(b) 後半図 19 シミュレーション演出内容

27

4.2 演出結果の可視化
本節では，前節において入力した演出情報に従ってシミュレートしたパノラマ
表示と HMD 表示における結果を示す．さらに，シミュレーション結果について考察する．

4.2.1 パノラマ表示
パノラマ表示における可視化結果を図 20 に示す．実際に演出作業を行うこと
によって，リアルタイムに演出の編集結果が確認でき，効率的な作業が可能であることを確認した．演出結果の表示のフレームレートは約２０ fps であり，違和感なく演出結果を確認することができた．また，パノラマ画像を使用することによって広範囲の演出を行うことができた．さらに，異なる種類の複数の花火の開花については，花火アイコンを同じタイミングに入力するだけで同期させることが可能であることを確認した．ただし，パノラマ表示では一度に全周が表示されることによって，実際の花火大会での見え方と異なると考えられる．加えて，個々の花火が小さいために臨場感に欠けるということを確認した．

28

開始

2 秒後

4 秒後

6 秒後

8 秒後

10 秒後

12 秒後

14 秒後

16 秒後

18 秒後

20 秒後

22 秒後

24 秒後
図 20 演出シミュレーションにおける可視化結果（パノラマ表示）29

4.2.2 HMD 表示
HMD 表示における可視化結果を図 21 に示す．ユーザはパノラマ画像の中心が正面となるようにジャイロセンサの初期方位を設定し，初めに正面を向き，次に左に約８０度回転したところで，そこから右に約１６０度回転するという見回しを行った．演出結果の表示のフレームレートはパノラマ表示と同様に約２０ fpsであった．加えて，頭部の向きの変化から対応する画像の表示までの時間遅延は
９０ ms 以下であり，時間遅延を感じることなく滑らかな見回しが行え，違和感なく演出結果を確認することができた．また，HMD を利用することで没入感が得られ，実際の花火大会での見え方に近い演出結果の確認が可能であることから，演出の創造が容易に行えることを確認した．

30

開始

4 秒後

8 秒後

12 秒後

16 秒後

20 秒後

24 秒後
図 21 演出シミュレーションにおける可視化結果（ HMD 表示）

31

5. 花火師による主観的評価
本研究における最終的な目標は，FirePainter が実際の花火演出作業で利用され，演出作業の効率化に寄与することである．本章では，FirePainter の妥当性・
有効性と，今後のシステムの改良・発展に関する方向性を検証するため，実際に淀川花火や天神祭花火の演出を担当している花火師 古賀 郁郎氏に依頼し，提案システムの評価を行った．被験者は，Windows 用ソフト「花火職人になろうの究極版」[6] の利用経験がある．また，使用した機材は，計算機にノート型パーソナ
ルコンピュータ（ Pentium3 400MHz，192MB ）を利用した以外は，前章における演出シミュレーションと同様の構成である．以下，システムの評価方法，ならびに評価とその考察について詳述する．

5.1 評価方法
被験者である花火師は，本システムに関する知識がないため，システム使用の前段階として，システムのコンセプトと具体的な操作方法について 20 分程度の説明を行った．その後，本論文の著者との自由な会話を許して，システムの作業
手順に沿って約１時間程度使用する機会を与えた．花火映像，地図画像，背景画
像，音楽はあらかじめ著者が用意したものである．システム使用後，花火師に図

22 に示す質問シートを渡し，著者への自由な質問を許して回答させた．質問シー
トでは，大きくまとめて• システムの使用感についての評価（ 質問項目１）• 実際の花火演出と従来の計算機シミュレーションにおける問題点の改善方
法の妥当性（ 質問項目２）について質問している．

32

FirePainter1.

2.


  
 !"#$%&'() * +,-. /0,%
* 1#2%31452%3167%389:;<=>?#$( *@ABCDEFGHI%JKLMNOPQRSTU
VW XYZ[\;XY]^_`#2%a#2b@ c 8 d Ke#
452%a452b@ c 8 d Ke45
67%afgb@ c 8 d KefgE?
hW ijk[;lmk[no#2%a#2b@ c 8 d Ke#
452%a452b@ c 8 d Ke45
67%afgb@ c 8 d KefgE?
pW XYqrst#2%a#2b@ c 8 d Ke#
452%a452b@ c 8 d Ke45
67%afgb@ c 8 d KefgE?
uW qrvw7x#2%a#2b@ c 8 d Ke#
452%a452b@ c 8 d Ke45
67%afgb@ c 8 d KefgE?
JdL<=#$(ayb@ c 8 d Kez !<=>?{|} *~
JKL"$qrMN" ; *b@ c 8 d Ke?
JdL"$'XY  XY *
XYZ["$'{yb@ c 8 d Kep"$XY"M'{y
J8L"noE; *$Eb@ c 8 d Ke$E?
JcL qrMN"Z  $]^Jij lm?L"$; *$>Eb@ c 8 d Ke $>E?
 ?
FirePainter

図 22 質問シート

33

5.2 花火師による評価とその考察
質問シートの回答結果を表 1 に示す．まず，システムの使用感に対する評価について結果と考察をまとめる．質問項目 1-(1) において，作業手順のそれぞれのプロセスに対する評価は，A 以外は良好であった．A，B，C，D の各プロセスでの評価に対するインタビューにおいては• A

花火映像の加工と花火情報の入力– 花火の開花時間の設定において場面を選択することが難しい．
– 花火アイコン作成において場面を選択することが難しい．
• B

地図画像と背景画像の設定– 打ち上げ地点を地図上で移動させて決定するのが直感的で使い易い．
• C

花火演出の編集– 音楽との同期を設定することが容易である．
– 花火アイコンをダ イアログ内で自由に移動でき，選びやすい．
• D

演出結果の確認– 広範囲の演出ができるので，新しい演出が考えられる．
– HMD を使うことで，創造意欲が湧く．
などの意見が得られた．また，システム全体の評価に対するインタビューにおいては• 使い易い• 興味を持てる• 実際に業務で使いたい• 個人的に所有したい34

表 1 質問シートの回答結果
質問項目

質問内容

評価

1-(1)-A

使い易さ

1

花火映像の加工と分かり易さ

3

花火情報の入力

正確さ4

1-(1)-B

使い易さ

4

地図画像と

分かり易さ

4

背景画像の設定

正確さ4

1-(1)-C

使い易さ

5

花火演出の

分かり易さ

5

編集

正確さ

4

1-(1)-D

使い易さ

5

演出結果の

分かり易さ

5

確認

正確さ

4

1-(2)

全体の使用感3

2-(1)(計算機を用いて演出作業をシミュレート

5

することは ) 意味がある

2-(2)(花火の表現は ) 花火映像を5

利用した方がよい

2-(3)(音楽の同期の設定ができる

5ことは ) 有用である

2-(4)(実際の演出作業や実際に利用する情報を用いることは ) 実用的である

35

5などの意見が得られた．このことから，本システムに対する花火師の評価は高いと考えられる．質問項目 1-(2) のシステム全体の評価においては中間的な評価であったが，これは A のプロセスに対する評価によるものである．A のプロセスに対する評価とインタビューから，花火映像中の任意の場面選択が困難であるという問題点が挙げられる．この原因として，花火映像の再生・戻し・送りを行いな
がら，徐々に選択したい場面に近づけていくという作業を行わなければならず，使い難いということが考えられる．今後，この問題点を解決する方法の検討が必要である．
次に，実際の花火演出と従来の計算機シミュレーションにおける問題点の改善方法の妥当性に対する評価について結果と考察をまとめる．結果としては質問項
目 2-(1)〜(4) において，すべての項目で 5 という評価が得られた．インタビュー
においては，それぞれの項目に対して• 2-(1)

計算機を用いて演出作業をシミュレートすることについて– 演出結果が打ち上げ前に確認できることは有用である．
• 2-(2)

計算機を利用した花火シミュレーションにおける花火の表現について– CG で花火玉を作成するのは，作ることのできる花火が限られるので問題があるが，映像を利用することですべての花火を利用できるのが良い．

• 2-(3)

音楽の同期を設定できることについて– 実際に音楽の同期を考えるのはとても手間がかかるが，システムで音楽の同期を考えることができ，結果を確認できるので効率よく考えることができる．

• 2-(4)

実際の演出作業を反映し ，実際に利用する情報（ 地図，背景など ）を用いることについて– 実際にそのままの情報が使える．演出結果（ 花火の開花した時の大きさなど ）として実際の打ち上げに近いものが得られそう．

36

などという意見が得られた．このことから，本研究の方針が妥当であったと判断できる．ただし，項目 2-(2) において，同じ 形で色だけが異なる花火は，それぞれの色に対して花火映像を用意しなければならないので手間がかかるという意見があった．この点において，花火の色を任意の色に変換する機能の追加について
今後考慮する必要がある．
以上，花火師による提案システムの評価から，本システムに対する花火師の反応は良好であり，演出作業を支援するシステムとして有用であると判断することができる．ただし今回は，花火師１人の評価であるので，システムに対する評価の信憑性を上げるためにより多くの花火師に評価してもらう必要がある．また，先に指摘した• 花火映像中の任意の場面選択における問題点の改善• 花火の色の変更機能の追加などが今後の課題であると考えられる．

37

6. まとめ本研究では，花火の打ち上げにおける演出作業の効率を上げるために，計算機上で編集した演出結果をリアルタイムに確認することのできる花火演出支援シス
テム FirePainter を構築した．これにより，現実環境における試し打ちの危険性や金銭的なコストを削減することができる．また，CG だけでなく実際の花火大会の映像から抜き出した花火画像を利用することで，特殊な花火や新作の花火なども容易にシステムに追加することができる．演出結果は，全方位カメラを用いて取得した背景画像をパノラマ表示する方法と，ユーザの頭の動きをジャイロセン
サで取得し，パノラマ画像からの視線追従画像を切り出して HMD に表示する方法によって確認することができる．パノラマ表示においては広範囲の演出が可能
であり，HMD 表示においては没入感が得られ，演出の創造を容易に行うことができるという特長を持っている．また，実際に提案システムを用いたシミュレー
ションを行うことによってこれらの特長を確認した．加えて，実際に本システムがユーザとして想定している花火師によるシステムの評価を行い，「 システムの使用感」と「実際の花火演出と従来の計算機シミュレーションにおける問題点の改善方法の妥当性」に関して，ともに良好な評価が得られた．このことから，実際の演出作業において本システムを用いることが有用であることを確認した．
今後の課題として，花火師による評価から，花火映像中の任意の場面選択の簡便化，花火の色の変更機能の検討が挙げられる．加えて，大型の没入型投影ディ
スプレ イを用いて，その中で複数人が論議しながら演出作業を行うような演出方
法や，実際の打ち上げ現場において，HMD を用いて現実環境と花火映像を合成して表示するような演出結果の提示方法の検討が挙げられる．さらに，近年花火の点火において，コンピュータ制御により電気点火を行うシステム [15] が用いられているが，このようなシステムとの連携を行うことによって，より実用的かつ効率的な演出支援システムを実現できると考える．

38

謝辞
本研究の全過程を通して，直接懇切なる御指導，御鞭撻を賜ったソフトウェア
基礎講座 横矢 直和教授に衷心より感謝の意を表します．
本研究の遂行にあたり，終始有益な御助言と御鞭撻を頂いた像情報処理学講座
千原 國宏教授に厚く御礼申し上げます．
本研究を通じて，終始有益な御助言を頂いたソフトウェア基礎講座 山澤 一誠
助手に厚く感謝します．
また，物心両面において常に温かい御助言を頂いたソフトウェア基礎講座の諸氏，ならびに，ソフトウェア基礎講座事務補佐員 北川 知代嬢に深く感謝します．
最後に，本研究において花火演出に関する資料を提供していただいた花火師 丸
玉屋の諸氏，ならびにシステムの評価においても御協力を頂いた淀川花火・天神祭花火の古賀 郁郎氏に心より御礼申し上げます．

39

参考文献
[1] 小勝：花火・火の芸術，岩波書店，1983．
[2] 小 野 里 ，日 本 煙 火 芸 術 協 会：

日 本 の 花 火，

http://www.japan-ﬁreworks.com/index.html．
[3] 武藤，小野里，川上：花火大会に行こう，新潮社，1997．
[4] 山本，佐藤，横矢： IBR による描画を利用した花火演出支援システム ，日本バーチャルリアリティ学会第 6 回全国大会論文集，pp.15-16，2001．

[5] 山澤，八木，谷内田： 移動ロボットのための全方位視覚センサ HyperOmni
Vision の提案 ，電子情報通信学会論文誌 D- ，Vol.J79-D- ，No.5，pp.698707，1996．
[6] 魔法株式会社：花火職人になろうの究極版 ユーザマニュアル，2001．
[7] 有限会社 片貝煙火工業：花火開花シミュレーション は〜なびげいしょん ユー
ザマニュアル，2000．

[8] 中山，板橋，： 打ち上げ花火 CAD システム ，情報処理学会第 60 回全国大会論文集，Vol.4，pp.185-186，2000．

[9] H.Nishino，K.Nakano，K.Korida，and K.Utsumiya： A 3D Virtual Environment for Creating New Fireworks ，Proc. Conf. on Virtual Reality Software
and Technology (VRST’96)，pp.43-50，1996．
[10] 細谷：花火の科学，東海大学出版，1994．
[11] 山岡，岡田：ユーザインタフェースデザインの実践 −応用人間工学の視点に基づく−，海文堂，1999．

[12] 日本人間工学会アーゴデザイン部会スクリーンデザイン研究会：GUI デザイ
ン・ガ イドブック −画面設計の実践的アプローチ−，海文堂，1997．

40

[13] 画像処理標準テキストブック編集委員会：イメージプロセッシング ＜画像処理標準テキストブック＞，財団法人 画像情報教育振興協会，1997．

[14] 早坂：glﬁre，http://hellﬁre.riken.go.jp/[15] Pyrodigital

社：Pyrodigital

Phase

http://www.inﬁnityvisions.com/pyrodigital/PDmenu.html

41

System，