(57)【要約】【課題】ユーザが手描きにより作成したユーザ画像を表示し動作させる際に、より高度な変化をユーザ画像に与えることを可能とする。【解決手段】手書きの画像による描画部分を含むユーザ画像に基づき、ユーザ画像が画素単位で時系列に従い拡散する第１画像を生成する。ユーザ画像に基づき、ユーザ画像の図柄を識別可能で、且つ、ユーザ画像の輪郭を含む第２画像を生成する。第２画像を画面の所定位置に表示させ、第１画像を、画面の所定位置に対応する位置に、第２画像に対して重畳して表示させる。【選択図】図１８
2018195219.tif 000002
【特許請求の範囲】
【請求項１】
手書きの画像による描画部分を含むユーザ画像を入力する入力部と、
前記ユーザ画像に基づき、該ユーザ画像が画素単位で時系列に従い拡散する第１画像を生成する第１画像処理部と、
前記ユーザ画像に基づき、該ユーザ画像の図柄を識別可能で、且つ、該ユーザ画像の輪郭を含む第２画像を生成する第２画像処理部と、
前記第２画像を画面の所定位置に表示させ、前記第１画像を、該画面の該所定位置に対応する位置に、該第２画像に対して重畳して表示させる表示制御部と、
を備える表示制御装置。
【請求項２】
前記第２画像処理部は、
前記第２画像を、前記画面に背景として表示される背景画像を透過可能に生成する
請求項１に記載の表示制御装置。
【請求項３】
複数の光点が破裂点から時系列に従い飛散する第３画像を生成する第３画像処理部をさらに備え、
前記表示制御部は、
前記第３画像を、前記所定位置を前記破裂点として前記画面にさらに表示させる
請求項１または請求項２に記載の表示制御装置。
【請求項４】
前記ユーザ画像から特徴量を抽出し、抽出した該特徴量に基づき前記第３画像の表示属性を決定するパラメータを生成するパラメータ生成部をさらに備える
請求項３に記載の表示制御装置。
【請求項５】
前記表示制御部は、
前記パラメータに基づき、前記複数の光点の飛散のパターンがそれぞれ異なる複数タイプの前記第３画像から１を選択する
請求項４に記載の表示制御装置。
【請求項６】
前記表示制御部は、
前記パラメータに基づき、前記画面の底辺からの前記所定位置の高さと、前記第３画像の前記飛散の大きさと、前記第３画像の前記飛散の度合と、のうち少なくとも１を決定する
請求項４または請求項５に記載の表示制御装置。
【請求項７】
前記第３画像において前記複数の光点の前記破裂点からの飛散に応じて破裂音を出力する音出力部をさらに備え、
前記音出力部は、
前記パラメータに基づき前記破裂音の音量を決定する
請求項４乃至請求項６の何れか１項に記載の表示制御装置。
【請求項８】
前記表示制御部は、
前記パラメータに基づき、前記第１画像の拡散の大きさをさらに決定する請求項４乃至請求項７の何れか１項に記載の表示制御装置。
【請求項９】
前記第１画像および前記第２画像の表示を伴って前記第３画像が表示される画像である複合画像の表示方法を示す表示パターンをそれぞれ含む１以上の要素が、順番を指定されて記述されたシナリオを記憶するシナリオ記憶部をさらに備え、
前記表示制御部は、
前記シナリオから前記順番に従い前記要素を取得し、取得した該要素に含まれる前記表示パターンに従い前記複合画像の表示を行う
請求項３乃至請求項８の何れか１項に記載の表示制御装置。
【請求項１０】
前記シナリオは、前記複合画像の表示を行わない前記表示方法を示す前記表示パターンを含む前記要素を記述可能である
請求項９に記載の表示制御装置。
【請求項１１】
前記シナリオは、複数の前記複合画像の組み合わせによる前記表示方法を示す前記表示パターンを含む前記要素を記述可能である
請求項９または請求項１０に記載の表示制御装置。
【請求項１２】
前記シナリオは、１の前記複合画像を指定された回数で表示する前記表示方法を示す前記表示パターンを含む前記要素を記述可能である
請求項９乃至請求項１１の何れか１項に記載の表示制御装置。
【請求項１３】
前記画面に対して位置を指定する位置指定動作と、該位置指定動作の解除とを検知する検知部の検知結果に基づき、該位置指定動作により指定された位置に対応する該画面内での座標を生成する座標生成部をさらに備え、
前記表示制御部は、
前記検知部により前記位置指定動作の解除が検知された場合に、前記第１画像および前記第２画像の表示を伴って前記第３画像が表示される画像である複合画像を、該位置指定動作の解除が行われた前記画面上の前記座標に表示させる
請求項３乃至請求項１２の何れか１項に記載の表示制御装置。
【請求項１４】
前記座標に基づき物体の動きを検出する動き検出部をさらに備え、
前記表示制御部は、
前記動き検出部で所定量以上の前記動きが検出された場合に、該動きに応じて移動する第４画像を前記画面に表示させる
請求項１３に記載の表示制御装置。
【請求項１５】
手書きの描画による描画部分を含むユーザ画像を入力する入力ステップと、
前記ユーザ画像に基づき、該ユーザ画像が画素単位で時系列に従い拡散する第１画像を生成する第１画像処理ステップと、
前記ユーザ画像に基づき、該ユーザ画像の図柄を識別可能で、且つ、該ユーザ画像の輪郭を含む第２画像を生成する第２画像処理ステップと、
前記第２画像を画面の所定位置に表示させ、前記第１画像を、該画面の該所定位置に対応する位置に、該第２画像に対して重畳して表示させる表示制御ステップと、
をコンピュータに実行させるための表示制御プログラム。
【請求項１６】
画像入力装置と、表示制御装置と、１以上の表示装置とを含む表示システムであって、
前記画像入力装置は、
手書きの画像による描画部分を入力する画像入力部を有し、
前記表示装置は、
画像を表示する表示部を有し、
前記表示制御装置は、
前記画像入力装置に入力された画像から前記手書きの画像による描画部分を含むユーザ画像を入力する入力部と、
前記ユーザ画像に基づき、該ユーザ画像が画素単位で時系列に従い拡散する第１画像を生成する第１画像処理部と、
前記ユーザ画像に基づき、該ユーザ画像の図柄を識別可能で、且つ、該ユーザ画像の輪郭を含む第２画像を生成する第２画像処理部と、
前記第２画像を前記表示部により表示される画面の所定位置に表示させ、前記第１画像を、該画面の該所定位置に対応する位置に、該第２画像に対して重畳して表示させる表示制御部と、
を備える表示システム。
【請求項１７】
手書きの描画による描画部分を含むユーザ画像を入力する入力ステップと、
前記ユーザ画像に基づき、該ユーザ画像が画素単位で時系列に従い拡散する第１画像を生成する第１画像処理ステップと、
前記ユーザ画像に基づき、該ユーザ画像の図柄を識別可能で、且つ、該ユーザ画像の輪郭を含む第２画像を生成する第２画像処理ステップと、
前記第２画像を画面の所定位置に表示させ、前記第１画像を、該画面の該所定位置に対応する位置に、該第２画像に対して重畳して表示させる表示制御ステップと、
を有する表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置、表示制御プログラム、表示システムおよび表示制御方法に関する。
【背景技術】
【０００２】
近年では、コンピュータ装置の性能向上により、３次元の座標を用いたコンピュータ・グラフィクス（以下、３ＤＣＧと略称する）による画像を容易に表示可能となっている。また、３ＤＣＧでは、３次元の座標空間内に配置される各オブジェクトに対してそれぞれ規則的またはランダムな動きを設定し、動画像として表示させることも広く行われている。このような動画像では、３次元の座標空間内で、各オブジェクトが恰もそれぞれ独立して動いているかのような表現が可能である。
【０００３】
また、特許文献１には、３ＤＣＧによる画像に対して、アニメ製作者が手書きにより作成した画像に動きを与え、予め用意された背景画像と合成して表示させるようにした技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ユーザが作成したユーザ画像を３次元座標空間内に配置し動かす場合において、単にユーザが描画した画像が３次元座標空間内で動くのではなく、ユーザがより大きな期待感や好奇心を持てるような仕組みを提供することが、ユーザに対してより大きな価値を提供することに繋がる。ユーザにとってそれが変化のない単調な動きに見えてしまうと、ユーザが大きな関心を寄せる可能性は低くなる。そのため、画像に対してより高度な変化を与える技術が求められている。
【０００５】
上述した特許文献１は、ユーザの手書きによるユーザ画像の形状に応じた複数の動作パターンを用意し、ユーザ画像の動作にバリエーションを持たせている。しかしながら、ユーザにさらに興味や関心を示してもらうための仕組みは、特許文献１が開示するものに限られるわけではない。
【０００６】
本発明は、上記に鑑みてなされたものであって、ユーザが手描きにより作成したユーザ画像を表示し動作させる際に、より高度な変化をユーザ画像に与えることを可能とすることを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明は、手書きの画像による描画部分を含むユーザ画像を入力する入力部と、ユーザ画像に基づき、ユーザ画像が画素単位で時系列に従い拡散する第１画像を生成する第１画像処理部と、ユーザ画像に基づき、ユーザ画像の図柄を識別可能で、且つ、ユーザ画像の輪郭を含む第２画像を生成する第２画像処理部と、第２画像を画面の所定位置に表示させ、第１画像を、画面の所定位置に対応する位置に、第２画像に対して重畳して表示させる表示制御部と、を備える。
【発明の効果】
【０００８】
本発明によれば、ユーザが手描きにより作成したユーザ画像を表示し動作させる際に、より高度な変化をユーザ画像に与えることが可能となるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、第１の実施形態に係る表示システムの構成を概略的に示すブロック図である。
【図２】図２は、第１の実施形態に適用可能な、３台のプロジェクタ装置を含む表示システムの例を示すブロック図である。
【図３】図３は、第１の実施形態に係る、ユーザ画像に基づく画像と、花火画像とを含む画像が背景画像上に配置された画像の例を示す図である。
【図４】図４は、第１の実施形態に係る表示制御装置により生成される画像データ空間について概略的に示す図である。
【図５】図５は、第１の実施形態に適用可能な表示制御装置の一例のハードウェア構成を示すブロック図である。
【図６】図６は、第１の実施形態に係る表示制御装置の機能を説明するための一例の機能ブロック図である。
【図７】図７は、第１の実施形態に係る原稿画像読み取り処理を示す一例のフローチャートである。
【図８】図８は、第１の実施形態に適用可能な、手書き描画を行うための用紙の例を示す図である。
【図９】図９は、第１の実施形態に適用可能な、用紙に絵およびタイトルが描かれた様子を示す図である。
【図１０】図１０は、第１の実施形態に適用可能な花火種類の例を示す図である。
【図１１】図１１は、第１の実施形態に適用可能なフォルダ構成の例を示す図である。
【図１２】図１２は、第１の実施形態に係る、花火の打ち上げを模したアニメーション表示の表示制御処理の全体の流れを説明するための一例のフローチャートである。
【図１３−１】図１３−１は、第１の実施形態に係る表示制御処理により表示される画像例を示す図である。
【図１３−２】図１３−２は、第１の実施形態に係る表示制御処理により表示される画像例を示す図である。
【図１３−３】図１３−３は、第１の実施形態に係る表示制御処理により表示される画像例を示す図である。
【図１３−４】図１３−４は、第１の実施形態に係る表示制御処理により表示される画像例を示す図である。
【図１３−５】図１３−５は、第１の実施形態に係る表示制御処理により表示される画像例を示す図である。
【図１３−６】図１３−６は、第１の実施形態に係る表示制御処理により表示される画像例を示す図である。
【図１３−７】図１３−７は、第１の実施形態に係る表示制御処理により表示される画像例を示す図である。
【図１３−８】図１３−８は、第１の実施形態に係る表示制御処理により表示される画像例を示す図である。
【図１４】図１４は、第１の実施形態に係る第１画像の生成処理を示す一例のフローチャートである。
【図１５】図１５は、第１の実施形態に係る第２画像の生成処理を示す一例のフローチャートである。
【図１６】図１６は、第１の実施形態に係る第３画像の生成処理を示す一例のフローチャートである。
【図１７】図１７は、第１の実施形態に係る、第１画像、第２画像および第３画像と、背景画像とを合成するための一例の構成を示すブロック図である。
【図１８】図１８は、第１の実施形態に係る、拡散画像を半透明化ユーザ画像に重畳する処理を説明するための図である。
【図１９】図１９は、第１の実施形態に係る、異なるユーザ画像に基づく複数の複合画像が並行して表示される例を示す図である。
【図２０】図２０は、第１の実施形態に係る、異なるユーザ画像に基づく複数の複合画像と、ユーザ画像を用いない、仕掛け花火を模した画像とが共に表示される例を示す図である。
【図２１】図２１は、第２の実施形態に適用可能な、複合画像の表示方法を示す表示パターンの例を示す図である。
【図２２】図２２は、第２の実施形態に係る、シナリオに基づく表示制御処理を示す一例のフローチャートである。
【図２３】図２３は、第３の実施形態に係る表示システムの構成の例を示すブロック図である。
【図２４】図２４は、第３の実施形態に係る表示制御装置の機能を説明するための一例の機能ブロック図である。
【図２５】図２５は、第３の実施形態に係る、花火打ち上げを模したアニメーション表示をタップ動作に応じて実行させる例を示す図である。
【図２６】図２６は、第３の実施形態に係る、花火打ち上げを模したアニメーション表示を、ドラッグアンドドロップ動作に応じて実行させる例を示す図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照して、表示制御装置、表示制御プログラム、表示システムおよび表示制御方法の実施形態を詳細に説明する。
【００１１】
（第１の実施形態）
図１は、第１の実施形態に係る表示システムの構成を概略的に示す。図１において、表示システム１ａは、表示制御装置１０と、表示装置であるプロジェクタ装置（ＰＪ）１１と、スキャナ装置２０とを含む。表示制御装置１０は、例えばパーソナルコンピュータであって、スキャナ装置２０で用紙２１の画像を読み取って得られた画像データに対して所定の画像処理を施して表示画像データとし、プロジェクタ装置１１に供給する。プロジェクタ装置１１は、表示制御装置１０から供給された表示画像データに従った画像１３を、表示媒体としてのスクリーン１２に投射する。
【００１２】
また、図１の例では、表示システム１ａは、スクリーン１２の左右にスピーカ（ＳＰ）１５Ｌおよび１５Ｒが設けられる。表示制御装置１０は、音信号を左右チャンネルのステレオ音信号として出力可能とされ、左チャンネルの音信号がスピーカ１５Ｌに供給され、右チャンネルの音信号がスピーカ１５Ｒに供給される。
【００１３】
なお、図１では、表示システム１ａが、表示画像データを表示させる表示装置として１台のプロジェクタ装置１１を含むように示しているが、これはこの例に限定されず、複数台の表示装置を含む構成も可能である。図２は、第１の実施形態に適用可能な、表示装置として３台のプロジェクタ装置１１1、１１2および１１3を含む表示システム１ｂの例を示す。
【００１４】
表示システム１ｂにおいて、表示制御装置１０は、表示画像データを、プロジェクタ装置１１1、１１2、１１3に供給する。プロジェクタ装置１１1、１１2、１１3は、表示制御装置１０から供給された表示画像データに従い、画像１３1、１３2、１３3を、表示媒体としてのスクリーン１２に投射する。
【００１５】
なお、図２のように複数のプロジェクタ装置１１1、１１2、１１3による画像１３1、１３2、１３3を１のスクリーン１２に投射する場合、各画像１３1、１３2、１３3の隣接部分に重複部分を設けると好ましい。図２の例では、スクリーン１２に投射された画像１３1、１３2、１３3をカメラ１４により撮像し、表示制御装置１０が、撮像画像データに基づき各画像１３1、１３2、１３3、あるいは、各プロジェクタ装置１１1、１１2、１１3を制御して、重複部分の画像を調整している。
【００１６】
なお、図１のように、１台のプロジェクタ装置１１を用いる場合、プロジェクタ装置１１により投射される画像１３による画面をＨＤ(High  Difinition)画面と呼ぶ。ＨＤ画面は、例えば１９２０画素×１０８０画素の解像度を有する。一方、図２のように、３台のプロジェクタ装置１１1、１１2および１１3を用いる場合、これらプロジェクタ装置１１1、１１2および１１3に投影される画像１３1、１３2および１３3は、重複部分を除外して連結した画面をワイド画面と呼ぶ。ワイド画面は、例えば３８４０画素×８００画素の解像度を有する。
【００１７】
また、図１の例において、表示制御装置から出力される表示画像データを表示させる表示装置は、プロジェクタ装置に限らず、例えばコンピュータのディスプレイでもよい。
【００１８】
以下では、特に記載の無い限り、図１の１台の表示装置（プロジェクタ装置１１）を用いた表示システム１ａについて説明を行う。
【００１９】
図１の構成において、例えば、ユーザ２３が手書きにて絵２２を描いた用紙２１を作成し、この用紙２１の画像をスキャナ装置２０に読み取らせる。スキャナ装置２０は、用紙２１の画像を読み取って得た原稿画像データを表示制御装置１０に供給する。表示制御装置１０は、スキャナ装置２０から供給された原稿画像データからデザインの部分の画像データ、つまり絵２２に対応する部分の画像データを抽出し、抽出した画像データを、表示処理の対象となるユーザ画像データとして記憶する。
【００２０】
第１の実施形態では、表示制御装置１０は、ユーザ画像データに基づく画像データと、予め表示制御装置１０が記憶する花火画像データとを背景画像を表示するための背景画像データと合成した画像データをプロジェクタ装置１１に供給する。プロジェクタ装置１１は、表示制御装置１０から供給されたこの画像データによる画像１３をスクリーン１２に投射する。花火画像データは、例えば実際の打ち上げ花火の打ち上げの様子を模した、火薬を含む花火の玉（煙火玉）が破裂し火の粉が飛散する様子をアニメーションにより表現する画像データである。背景画像を例えば夜空を表す画像とすることで、スクリーン１２に、画像１３として花火の打ち上げを模した画像（動画像）を表示させることができる。
【００２１】
以下では、煩雑さを避けるため、特に記載の無い限り、「画像データ」を「画像」として説明を行う。
【００２２】
図３は、第１の実施形態に係る、ユーザ画像に基づく画像と、花火画像とを含む画像３００が背景画像上に配置された画像１３の例を示す。画像３００において、中央部に配置される「クジラ」を模した画像３０１がユーザ画像に基づく画像であって、画像３０１の周辺部に配置される分散された光点および複数の光点集合の画像３０２は、花火画像である。この花火画像は、打ち上げ花火の種類のうち「小割」と呼ばれる花火を模している。
【００２３】
このような画像３００の表示において、表示制御装置１０は、ユーザ画像を例えば画素単位で拡散させた動画像である画像（第１画像）を、ユーザ画像に基づく画像であって、ユーザ画像の図柄を識別可能で、且つ、ユーザ画像の輪郭を含む画像（第２画像）に重畳する。この、第１画像を第２画像に重畳した画像に、さらに花火画像（第３画像）を重畳した重畳画像を背景画像上に配置する。
【００２４】
このように、第１画像を第３画像と共に表示させることで、ユーザ画像が恰も花火画像の一部であるかのように見せることができる。さらに、第１画像を第２画像に重畳させることで、ユーザ画像の図柄を容易に認識可能となる。
【００２５】
第１の実施形態では、表示制御装置１０は、互いに直交する３の座標軸（ｘ軸、ｙ軸、ｚ軸）を持つ３次元の直交座標系による画像データ空間を生成する。表示制御装置１０は、上述した第１画像、第２画像および第３画像それぞれの画像データに対してこの画像データ空間内の座標を与えて、当該画像データを当該画像データ空間内のデータとする。
【００２６】
図４は、第１の実施形態に係る表示制御装置１０により生成される画像データ空間について概略的に示す。図４の例では、ｘ軸、ｙ軸およびｚ軸を、それぞれ高さＨ、幅Ｗおよび奥行方向（奥行きＤ）の軸とし、表示制御装置１０は、高さＨ、幅Ｗおよび奥行Ｄの各軸による３次元の座標系を持つ画像データ空間３０を生成するものとして説明する。図４の例では、この画像データ空間３０内に、花火画像（第３画像）の画像データによるオブジェクト４０が含まれている。
【００２７】
なお、ここでいうオブジェクトは、３次元の画像データ空間内の、背景画像を除く画像データ（第１画像、第２画像および第３画像の画像データ）を指す。
【００２８】
図４において、オブジェクト４０は、奥行き方向の位置が奥行きｄに固定されたｘｙ平面（ＨＷ平面）３１上に配置される。第１画像の画像データによるオブジェクト、および、第２画像の画像データによるオブジェクトも、オブジェクト４０と同様に、奥行きｄにおけるｘｙ平面３１上に配置される。このとき、第１画像の画像データによるオブジェクトは、第２画像の画像データによるオブジェクトに対して重畳される。換言すれば、スクリーン１２側を背面、スクリーン１２に投射された画像１３を見るユーザ（観察者）側を前面とした場合、第１画像は、第２画像に対して前面に表示される。
【００２９】
（第１の実施形態に適用可能な構成例）
図５は、第１の実施形態に適用可能な表示制御装置１０の一例のハードウェア構成を示す。図５の表示制御装置１０において、バス１０１０に対してＣＰＵ(Central  Processing  Unit)１０００、ＲＯＭ(Read  Only  Memory)１００１、ＲＡＭ(Random  Access  Memory)１００２およびグラフィクスＩ／Ｆ１００３が接続される。表示制御装置１０において、さらに、バス１０１０に対してストレージ１００４、データＩ／Ｆ１００５、通信Ｉ／Ｆ１００６およびオーディオＩ／Ｆ１００７が接続される。このように、表示制御装置１０は、一般的なパーソナルコンピュータと同等の構成を適用することができる。
【００３０】
ＣＰＵ１０００は、ＲＯＭ１００１およびストレージ１００４に予め記憶されるプログラムに従い、ＲＡＭ１００２をワークメモリとして用いて、この表示制御装置１０の全体を制御する。グラフィクスＩ／Ｆ１００３は、モニタ１００８が接続され、ＣＰＵ１０００により生成された表示制御信号を、モニタ１００８が表示可能な信号に変換して出力する。また、グラフィクスＩ／Ｆ１００３は、表示制御信号を、プロジェクタ装置１１が表示可能な信号に変換してそれぞれ出力することができる。
【００３１】
ストレージ１００４は、データを不揮発に記憶することが可能な記憶媒体であって、例えばハードディスクドライブが用いられる。これに限らず、ストレージ１００４として、例えばフラッシュメモリなどの不揮発性の半導体メモリを用いてもよい。ストレージ１００４は、上述のＣＰＵ１０００が実行するためのプログラムや各種のデータが格納される。
【００３２】
データＩ／Ｆ１００５は、外部の機器との間でのデータの入出力を制御する。例えば、データＩ／Ｆ１００５は、スキャナ装置２０に対するインタフェースとして用いられる。また、データＩ／Ｆ１００５は、マウスなどのポインティングデバイスや図示されないキーボード（ＫＢＤ）からの信号が入力される。さらに、ＣＰＵ１０００で生成された表示制御信号を、このデータＩ／Ｆ１００５から出力して、例えば各プロジェクタ装置１１に供給してもよい。このようなデータＩ／Ｆ１００５としては、ＵＳＢ(Universal  Serial  Bus)やＢｌｕｅｔｏｏｔｈ（登録商標）といったインタフェースを適用することができる。
【００３３】
通信Ｉ／Ｆ１００６は、インターネットやＬＡＮ(Local  Area  Network)といったネットワークを介した通信を制御する。
【００３４】
オーディオＩ／Ｆ１００７は、バス１０１０を介して供給されたディジタルデータによる音データをアナログ信号による音信号に変換する。ここでは、オーディオＩ／Ｆ１０７は、音信号をスピーカ出力可能に増幅する増幅回路を含むものとする。また、オーディオＩ／Ｆ１０７は、ステレオ出力に対応し、ＣＰＵ１０００の指示に応じて、出力する音信号の定位を制御可能であるものとする。オーディオＩ／Ｆ１００７で定位を制御され増幅されたステレオ音信号は、左右のスピーカＳＰ１５ＬおよびＳＰ１５Ｒに供給される。
【００３５】
なお、この表示制御装置１０は、図２に示した、プロジェクタ装置１１1、１１2および１１3を用いた表示システム１ｂにも適用可能である。この場合、グラフィクスＩ／Ｆ１００３は、表示制御信号を、プロジェクタ装置１１1、１１2および１１3が表示可能な信号に変換してそれぞれ出力する。ＣＰＵ１０００で生成された表示制御信号を、このデータＩ／Ｆ１００５から各プロジェクタ装置１１1、１１2および１１3に供給することも可能である。
【００３６】
図６は、第１の実施形態に係る表示制御装置１０の機能を説明するための一例の機能ブロック図である。図６において、表示制御装置１０は、入力部１００と画像制御部１０１と、音処理部１０２とを含む。入力部１００は、抽出部１１０と画像取得部１１１とを含む。また、画像制御部１０１は、パラメータ生成部１２０と、パターン取得部１２１と、記憶部１２２と、第１画像処理部１２４と、第２画像処理部１２５と、第３画像処理部１２６と、表示制御部１２７と、を含む。音処理部１０２は、音データ記憶部１４０と、音制御部１４１とを含む。
【００３７】
これら抽出部１１０、画像取得部１１１、パラメータ生成部１２０、パターン取得部１２１、記憶部１２２、第１画像処理部１２４、第２画像処理部１２５、第３画像処理部１２６、表示制御部１２７、音データ記憶部１４０および音制御部１４１は、ＣＰＵ１０００上で動作する表示制御プログラムにより実現される。これに限らず、これら抽出部１１０、画像取得部１１１、パラメータ生成部１２０、パターン取得部１２１、記憶部１２２、第１画像処理部１２４、第２画像処理部１２５、第３画像処理部１２６、表示制御部１２７、音データ記憶部１４０および音制御部１４１の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。
【００３８】
入力部１００は、手書きにて作成された絵２２を含むユーザ画像を入力する。より具体的には、入力部１００において抽出部１１０は、スキャナ装置２０から供給された、用紙２１を読み取って得た原稿画像データから、手書き描画を含む領域と、用紙２１に予め印刷される画像（マーカなど）に基づく所定の情報とを抽出する。画像取得部１１１は、スキャナ装置２０から供給された画像データにおける、抽出部１１０により抽出された領域から、手書き描画された絵２２の画像を、ユーザ画像として取得する。
【００３９】
画像制御部１０１は、入力部１００に入力されたユーザ画像に基づく第１画像および第２画像と、例えばストレージ１００４に予め記憶される第３画像とを画像１３内に表示させる。
【００４０】
より具体的には、画像制御部１０１において、パラメータ生成部１２０は、画像取得部１１１で取得されたユーザ画像を解析する。また、パラメータ生成部１２０は、ユーザ画像の解析結果に基づき、第１画像、第２画像および第３画像の表示制御に用いるパラメータを生成する。記憶部１２２は、例えばストレージ１００４に対する画像データの記憶および読み出しを制御する。
【００４１】
第１画像処理部１２４は、画像取得部１１１で取得されたユーザ画像を画素単位で拡散させる動画像である第１画像を生成する。第２画像処理部１２５は、第１画像処理部１２４において第１画像を生成した際に用いたユーザ画像に基づき、上述したように、元の画像の図柄を識別可能で、且つ、当該元の画像の輪郭を含む第２画像を生成する。第３画像処理部１２６は、花火画像である第３画像に関する処理を行う。表示制御部１２７は、第１画像処理部１２４、第２画像処理部１２５および第３画像処理部１２６から出力される第１画像、第２画像および第３画像の表示を制御する。
【００４２】
音処理部１０２は、表示制御部１２７による第１画像、第２画像および第３画像の表示制御に応じて、効果音を再生する処理を行う。音処理部１０２において、音データ記憶部１４０は、ストレージ１００４に予め記憶される音データの読み出しを行う。効果音は、例えば、花火への点火を表現する第１音と、花火の打ち上げ途中を表現する第２音と、花火の玉の破裂を表現する第３音と、を含む。効果音としてＢＧＭ(Back  Ground  Music)をさらに含めてもよい。
【００４３】
音制御部１４１は、表示制御部１２７による第１画像、第２画像および第３画像の表示制御に応じて第１音、第２音および第３音から再生する音を選択し、選択した音の音信号を出力する。このとき、音制御部１４１は、出力される再生音に対して、ステレオにおける定位を与えることができる。音制御部１４１から出力された音信号は、増幅回路にて増幅されてスピーカ１５Ｌおよび１５Ｒに供給される。
【００４４】
第１の実施形態に係る表示制御装置１０の各機能を実現するための表示制御プログラムは、インストール可能な形式また実行可能な形式のファイルでＣＤ(Compact  Disk)、フレキシブルディスク（ＦＤ）、ＤＶＤ(Digital  Versatile  Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、表示制御プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供してもよい。また、表示制御プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。
【００４５】
表示制御プログラムは、上述した各部（抽出部１１０、画像取得部１１１、パラメータ生成部１２０、パターン取得部１２１、記憶部１２２、第１画像処理部１２４、第２画像処理部１２５、第３画像処理部１２６、表示制御部１２７、音データ記憶部１４０および音制御部１４１）を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ１０００がストレージ１００４などの記憶媒体から当該表示制御プログラムを読み出して実行することにより、上述した各部がＲＡＭ１００２などの主記憶装置上にロードされ、抽出部１１０、画像取得部１１１、パラメータ生成部１２０、パターン取得部１２１、記憶部１２２、第１画像処理部１２４、第２画像処理部１２５、第３画像処理部１２６、表示制御部１２７、音データ記憶部１４０および音制御部１４１が主記憶装置上に生成されるようになっている。
【００４６】
（第１の実施形態に係る原稿画像読み取り処理）
図７は、第１の実施形態に係る原稿画像読み取り処理を示す一例のフローチャートである。このフローチャートによる処理の実行に先立って、ユーザによる手書きの絵が作成される。ここでは、ユーザは、予めフォーマットが定められた用紙に対して手書きの描画を行うものとする。ユーザが使用するこの専用の用紙は、例えば、本表示システム１ａを利用してサービスを提供する提供者により供給される。ユーザは、用紙に対して、第３画像（花火画像）と共に表示させたい絵を手書きにて描画する。
【００４７】
図８は、第１の実施形態に適用可能な、手書き描画を行うための用紙の例を示す。図８に示される用紙２１において、タイトルを記入するタイトル記入領域２１１と、ユーザが描画する描画領域２１０とが配される。図９は、図８に示した用紙２１に、絵２２およびタイトル２４が描かれた様子を示す。図９の左側に、描画領域２１０に対して絵２２が描画され、タイトル記入領域２１１にタイトル２４が描画された様子を示している。
【００４８】
さらに、用紙２１に対して、四隅のうち３の隅にマーカ２２０1、２２０2および２２０3が配される。マーカ２２０1、２２０2および２２０3は、用紙２１の向きおよび大きさを検出すると共に、描画領域２１０の位置を検出するためのマーカである。
【００４９】
図７のフローチャートにおいて、ユーザの手書き描画による絵２２が描画された用紙２１の画像がスキャナ装置２０により読み取られ、読み取られた原稿画像が表示制御装置１０に供給され、ステップＳ１００で入力部１００に入力される。
【００５０】
次のステップＳ１０１で、表示制御装置１０において、入力部１００は、抽出部１１０により、入力された原稿画像から、ユーザ画像を抽出する。
【００５１】
先ず、入力部１００は、抽出部１１０により、原稿画像から、例えばパターンマッチングなどを用いて各マーカ２２０1〜２２０3を検出する。抽出部１１０は、検出された各マーカ２２０1〜２２０3の原稿画像上の位置に基づき、原稿画像の方向および大きさを判定する。用紙２１における描画領域２１０位置は、決まっている。そのため、用紙２１上での描画領域２１０の位置を示す情報をストレージ１００４に予め記憶し、マーカ２２０1〜２２０3に基づき原稿画像の方向を揃え、用紙サイズと画像サイズとの比率が分かれば、比率に応じた相対位置から原稿画像に含まれる描画領域２１０を抽出することができる。よって、抽出部１１０は、上述のようにして取得した原稿画像の向きとサイズとに基づき、原稿画像から描画領域２１０を抽出する。
【００５２】
画像取得部１１１は、描画領域２１０で囲まれた領域の画像から、ユーザにより描画された描画部分をさらに抽出し、抽出された画像をユーザ画像として取得する。換言すれば、画像取得部１１１は、描画領域２１０で囲まれた領域の画像から、当該領域に含まれる、描画されずに残った空白部分を除いた画像を、ユーザ画像として取得する。このとき、画像取得部１１１は、抽出した描画部分の内部に含まれる空白部分もユーザ画像に含める。描画領域２１０にどのような描画がなされるかは、描画を行うユーザ次第となる。
【００５３】
これに限らず、画像取得部１１１は、抽出した描画部分を含み、各辺が描画領域２１０の対応する各辺と平行な最小の矩形を、ユーザ画像としてもよい。この場合、当該ユーザ画像に含まれる、当該ユーザ画像の輪郭よりも外側の空白部分に例えばマスク情報を付加する。
【００５４】
また、画像取得部１１１は、ストレージ１００４に予め記憶されるタイトル記入領域２１１の用紙２１上での位置を示す情報に基づき、当該タイトル記入領域２１１内の画像を、タイトル画像２１１０として取得する。図９の右側は、原稿画像の描画領域２１０から抽出されたユーザ画像２１００と、タイトル記入領域２１１から抽出されたタイトル画像２１１０と、の例をそれぞれ示す。
【００５５】
入力部１００は、画像取得部１１１により取得されたユーザ画像２１００およびタイトル画像２１１０を画像制御部１０１に渡す。
【００５６】
次のステップＳ１０２において、画像制御部１０１は、パラメータ生成部１２０により、ステップＳ１０１で抽出されたユーザ画像２１００を解析する。次のステップＳ１０３で、画像制御部１０１は、パラメータ生成部１２０により、ユーザ画像２１００の解析結果に基づき、光点の飛散のパターンが異なる複数の花火種類から第３画像（花火画像）として用いる花火種類を決定する。
【００５７】
図１０は、第１の実施形態に適用可能な花火種類の例を示す。図１０（ａ）は、「菊」と呼ばれる花火種類の花火画像３１０ａの例、図１０（ｂ）は、「牡丹」と呼ばれる花火種類の花火画像３１０ｂの例、図１０（ｃ）は、「柳」と呼ばれる花火種類の花火画像３１０ｃの例、図１０（ｄ）は、「小割」と呼ばれる花火種類の花火画像３１０ｄの例、図１０（ｅ）は、「土星」と呼ばれる花火種類の花火画像３１０ｅの例をそれぞれ示している。第１の実施形態に適用可能な花火種類は、これらに限らず、さらに他の花火種類としてもよい。また、上述では、花火種類として打ち上げ花火の花火種類を示しているが、これに限らず、「滝」などの仕掛け花火を花火種類に含めてもよい。
【００５８】
なお、これら図１０（ａ）〜図１０（ｅ）に示す各花火画像３１０ａ〜３１０ｅは、各花火種類の花火の形状を典型的に示すもので、実際には、各花火画像３１０ａ〜３１０ｅは、花火の玉の破裂時から、破裂した花火の火の粉が飛散し消滅するまでの様子をアニメーションにより表現する動画像を含む。
【００５９】
パラメータ生成部１２０は、ユーザ画像を解析して、ユーザ画像２１００における色分布、エッジ分布、描画部分の面積や重心など、ユーザ画像２１００の各特徴量を求める。パラメータ生成部１２０は、ユーザ画像２１００の解析結果から求めた各特徴量のうち１以上の特徴量を用いて、複数の花火種類から当該ユーザ画像２１００に対応する花火種類を決定する。
【００６０】
これに限らず、パラメータ生成部１２０は、ユーザ画像２１００の解析結果に基づき得られるさらに他の情報を、花火種類を決定するための特徴量として用いることができる。また、パラメータ生成部１２０は、タイトル画像２１１０を解析して、解析結果を花火種類を決定するための特徴量として用いることもできる。さらには、原稿画像全体の特徴量を用いて花火種類を決定してもよいし、画像の特徴量を使わずに、使用する花火種類をランダムに決定してもよい。
【００６１】
つまり、実際に画像１３上に表示されるまで、ユーザにはどんな花火種類の花火画像が表示されるか分からないようにすることで、ユーザを楽しませる効果が期待できる。使用する花火種類を単純にランダムに決定すると、ユーザが出て欲しいと期待する花火種類の花火画像が表示されるか否かは、運任せになる。一方、使用する花火種類の決定に原稿画像から得られる情報が影響するのであれば、そこには、用紙２１に絵２２を描くユーザが操作可能な規則性が生じる。原稿画像から利用する情報が単純である程、ユーザは、容易に規則性を発見でき、自身が望む花火種類の花火画像を意図的に出そうとすることが可能になる。使用する花火種類を決定するためにどの程度のレベルまでランダム性を持たせたいかによって、決定に利用するパラメータを選択すればよい。
【００６２】
したがって、例えば用紙２１に対して複数の種類の花火種類３１０ａ〜３１０ｅから花火画像を表示させる花火種類を特定するための情報（マーカなど）を予め印刷しておくことも可能である。この場合、例えば入力部１００において抽出部１１０は、用紙２１の画像を読み取った原稿画像から当該情報を抽出し、抽出した情報に基づき花火種類３１０ａ〜３１０ｅから使用する花火種類を決定する。
【００６３】
次のステップＳ１０４において、パラメータ生成部１２０は、ステップＳ１０２でユーザ画像２１００を解析して得た各特徴量のうち１以上の特徴量に基づき、ステップＳ１０３で決定された花火種類の花火画像の表示などに関するパラメータを生成する。また、パラメータ生成部１２０は、ユーザ画像の表示に関するパラメータを、当該１以上の特徴量に基づき生成することができる。
【００６４】
次のステップＳ１０５で、画像制御部１０１は、ユーザ画像２１００と、ユーザ画像の解析結果と、パラメータ生成部１２０により決定および生成された各パラメータとを含む各データを、記憶部１２２によりストレージ１００４に記憶する。さらに、画像制御部１０１は、記憶部１２２によりタイトル画像２１１０をストレージ１００４に記憶する。
【００６５】
次のステップＳ１０６で、入力部１００は、次の原稿画像の読み取りの有無を判定する。入力部１００は、読み取りが行われると判定した場合（ステップＳ１０６、「有り」）、処理をステップＳ１００に戻す。一方、入力部１００は、読み取りが行われないと判定した場合（ステップＳ１０６、「無し」）、図７のフローチャートによる一連の処理を終了させる。入力部１００は、次の原稿画像の読み取りの有無を、例えば表示制御装置１０に対するユーザ操作に応じて判定することができる。
【００６６】
図１１は、第１の実施形態に適用可能な、記憶部１２２により上述のステップＳ１０５においてストレージ１００４に各データが記憶される際のフォルダ構成の例を示す。図１１の例では、フォルダ「HanabiImage」の直下に、「OriginalScanImage」、「DisplayingObject」、「DisplayingObjectAnalyzationResult」、「AnalyzationSuccessImage」および「AnalyzationFailedImage」の各フォルダが設けられる。各フォルダに格納される各データは、例えばこれら各データが格納されるファイルのファイル名に基づき、原稿画像（ユーザ画像）毎に関連付けることができる。
【００６７】
フォルダ「OriginalScanImage」は、ステップＳ１００で入力部１００に入力された各原稿画像データが格納される。フォルダ「DisplayingObject」は、画像１３に現在含まれて表示されている第１画像および第２画像の元となるユーザ画像データが格納される。なお、画像１３に含めて表示される第１画像および第２画像の元になるユーザ画像数には上限値が設けられており、フォルダ「DisplayingObject」は、この上限値までユーザ画像データを格納可能である。記憶部１２２は、ステップＳ１０１で抽出したユーザ画像により上限値を超える場合には、例えばフォルダ「DisplayingObject」に最も古くに格納されたユーザ画像を削除し、その代わりに、新たに抽出されたユーザ画像を格納する。また、記憶部１２２は、フォルダ「DisplayingObject」に格納される各ユーザ画像のうち、指定されたユーザ画像を削除不可に設定することが可能である。
【００６８】
フォルダ「DisplayingObjectAnalyzationResult」は、フォルダ「DisplayingObject」に格納される各ユーザ画像にそれぞれ対応する、当該各ユーザ画像の解析結果が格納される。例えば、フォルダ「DisplayingObjectAnalyzationResult」は、各フォルダ「DisplayingObject」に格納される各ユーザ画像に基づきそれぞれ抽出された各パラメータが格納される。
【００６９】
フォルダ「AnalyzationSuccessImage」は、フォルダ「OriginalScanImage」に格納される各原稿画像データから抽出された各ユーザ画像データの解析結果のうち、解析に成功した解析結果が格納される。例えば、フォルダ「DisplayingObject」から削除された特定のユーザ画像を再び表示させたいような場合に、フォルダ「OriginalScanImage」から当該特定のユーザ画像に対応する原稿画像を取り出してユーザ画像を抽出し、抽出したユーザ画像に対して、フォルダ「AnalyzationSuccessImage」に格納される、当該原稿画像に対応する解析結果を適用することができる。
【００７０】
フォルダ「AnalyzationFailedImage」は、フォルダ「OriginalScanImage」に格納される各原稿画像データから抽出された各ユーザ画像データの解析結果のうち、解析に失敗した解析結果が格納される。例えば、画像取得部１１１やパラメータ生成部１２０の動作を調整する際に、このフォルダ「AnalyzationFailedImage」に格納されたデータを利用することが考えられる。
【００７１】
（第１の実施形態に係る表示制御処理）
次に、第１の実施形態に係る表示制御処理について説明する。上述したように、第１の実施形態では、ユーザ画像を用いて、ユーザ画像を例えば画素単位で拡散させる動画像である第１画像と、ユーザ画像に基づく画像であって、ユーザ画像の図柄を識別可能で、且つ、ユーザ画像の輪郭を含む第２画像とを生成する。生成した第２画像に対して第１画像を重畳させた重畳画像に、動画像である花火画像による第３画像をさらに重畳させる。
【００７２】
先ず、第１の実施形態に係る表示制御処理の全体の流れについて、図１２のフローチャートと、図１３−１〜図１３−８の表示例と、を用いて概略的に説明する。図１２は、第１の実施形態に係る、花火の打ち上げを模したアニメーション表示の表示制御処理の全体の流れを説明するための一例のフローチャートである。
【００７３】
なお、花火の打ち上げを模したアニメーション表示は、花火の打ち上げ開始から、打ち上げられた花火の玉が破裂し、火の粉が飛散して消滅するまでの様子を模したアニメーション表示を含む。以下では、特に記載の無い限り、「花火の打ち上げを模したアニメーション表示」を、「花火の打ち上げ表示」あるいは単に「打ち上げ表示」などのように記述する。
【００７４】
図１２において、ステップＳ２００で、表示制御部１２７は、打ち上げ表示における花火の玉の破裂を示す表示に用いるユーザ画像を選択する。例えば、表示制御部１２７は、上述した図７のフローチャートの処理により原稿画像から抽出されたユーザ画像を、表示に用いるユーザ画像として選択する。これに限らず、表示制御部１２７は、記憶部１２２によりストレージ１００４の所定のフォルダ（例えばフォルダ「DisplayingObject」）からユーザ画像を１つ読み出し、読み出したユーザ画像を表示に用いるユーザ画像として選択することもできる。
【００７５】
次のステップＳ２０１で、表示制御部１２７は、ステップＳ２００で選択したユーザ画像に対応する花火種類を取得する。例えば、表示制御部１２７は、上述した図７のフローチャートのステップＳ１０３の処理によリ、当該ユーザ画像に対して決定された花火種類を取得する。これに限らず、表示制御部１２７は、フォルダ「DisplayingObjectAnalyzationResult」に格納される、当該ユーザ画像に対応する解析結果に基づき花火種類を取得することもできる。
【００７６】
次のステップＳ２０２で、表示制御部１２７は、画像１３における打ち上げ位置を決定する。表示制御部１２７は、例えば、画像１３の底辺近傍、水平方向の中央部分を打ち上げ位置として決定する。水平方向の位置は、例えば画像１３の水平方向の中央部分に予め設定された複数の位置から、打ち上げ表示処理毎に巡回的に選択することが考えられる。また、決定された打ち上げ位置の高さＨ＝０とする。
【００７７】
次のステップＳ２０３で、表示制御部１２７は、決定された打ち上げ位置において、打ち上げの開始を示す打ち上げ初期画像を表示させる。図１３−１は、打ち上げ初期画像３２１を含む画像１３の例を示す。この例では、打ち上げ初期画像３２１は、打ち上げ開始を光点の集合を用いて表現されている。また、ステップＳ２００で選択されたユーザ画像の元の絵２２が描画された用紙２１のタイトル記入領域２１１にタイトル画像２１１０が描画されている場合には、そのタイトル画像２１１０に基づく画像３２０が、打ち上げ初期画像３２１の近傍に表示される。
【００７８】
なお、表示制御部１２７は、打ち上げ初期画像３２１に対して、上下や左右に搖動する、拡大および縮小を所定の周期で繰り返す、などのアニメーション動作を与えることができる。これにより、打ち上げ表示の開始を容易に認識可能となる。
【００７９】
また、音処理部１０２において音制御部１４１は、表示制御部１２７により打ち上げ初期画像３２１が表示されるタイミングに応じて、初期音を再生する。初期音は、例えばクリック音などにより着火を表現することが考えられる。
【００８０】
表示制御部１２７は、ステップＳ２０３の打ち上げ初期画像３２１の表示を所定時間（例えば数秒）継続させた後、処理をステップＳ２０４に移行させる。ステップＳ２０４で、表示制御部１２７は、花火の玉が空中に打ち上げられる様子を示す打ち上げ中画像をアニメーション表示させる。図１３−２は、打ち上げ中画像３２２を含む画像１３の例を示す。ここでは、打ち上げ中画像３２２は、光点の集合を用いた軌跡で以て、画像１３内を、打ち上げ初期画像３２１が表示された位置から垂直に上昇するようなアニメーションにより表示されている。
【００８１】
なお、表示制御部１２７は、ユーザ画像の解析結果に基づき、ユーザ画像の縦横サイズ比に応じて打ち上げ速度（打ち上げ開始してから後述する所定高さｈに達する際の速度）を設定できる。
【００８２】
また、音処理部１０２において音制御部１４１は、表示制御部１２７により打ち上げ中画像３２２が表示されている間、打ち上げを表現する音を再生する。
【００８３】
次に、ステップＳ２０５で、表示制御部１２７は、打ち上げ中画像３２２の先頭部分、すなわち、打ち上げ中画像３２２において画像１３内の最も高い位置に表示される部分が、画像１３内の所定の高さｈに到達したか否かを判定する。達していなければ（ステップＳ２０５、「Ｎｏ」）、処理がステップＳ２０５に戻される。
【００８４】
一方、表示制御部１２７は、ステップＳ２０５で、打ち上げ中画像３２２の先頭部分が所定の高さｈに達したと判定した場合（ステップＳ２０５、「Ｙｅｓ」）、処理をステップＳ２０６に移行させる。ステップＳ２０６で、表示制御部１２７は、図１３−３に例示されるように、画像１３内の高さｈにおいて、花火の玉が破裂する様子を表現するための破裂初期画像３２３を表示させる。
【００８５】
表示制御部１２７は、ステップＳ２０６での破裂初期画像３２３の表示の後、ステップＳ２０７ａによる第１画像の生成に関する第１画像表示処理と、ステップＳ２０７ｂによる第２画像の生成に関する第２画像表示処理と、ステップＳ２０７ｃによる第３画像の生成に関する第３画像表示処理とを実行する。
【００８６】
表示制御部１２７は、詳細を後述するように、ステップＳ２０７ａ〜ステップＳ２０７ｃで生成された第１画像、第２画像および第３画像を合成した複合画像により表現される、花火の玉が破裂した後の様子を模したアニメーション表示を、予め定められた背景画像と合成して、スクリーン１２に投射するための画像１３を生成する。図１３−４〜図１３−８は、第１画像、第２画像および第３画像によるアニメーションが表示された画像１３の例を示している（詳細は後述する）。
【００８７】
図１４は、上述したステップＳ２０７ａによる、第１の実施形態に係る第１画像の生成処理を示す一例のフローチャートである。第１画像は、上述したように、対象となるユーザ画像を画素単位で拡散させるアニメーション画像である。ステップＳ２２０で、第１画像処理部１２４は、ユーザ画像から拡散に用いる画素を抽出する。例えば、第１画像処理部１２４は、ユーザ画像を構成する各画素を一定の割合で間引きして残った画素を拡散に用いる画素として抽出する。なお、抽出した各画素は、元のユーザ画像における位置情報を有しているものとする。
【００８８】
次のステップＳ２２１で、第１画像処理部１２４は、ステップＳ２２０で抽出した各画素の配置を、第１画像の初期の大きさに凝縮した配置に再配置する。このとき、第１画像処理部１２４は、各画素を、例えば、元のユーザ画像を縮小した形状の画像を形成するように再配置する。また例えば、第１画像処理部１２４は、ユーザ画像の重心位置を求め、再配置される各画素による画像の重心位置が、元のユーザ画像の重心位置と一致するように再配置を行う。初期の大きさは、例えば、図１３−３に示した破裂初期画像３２３の大きさとほぼ同一の大きさとすることが考えられる。
【００８９】
次のステップＳ２２２で、第１画像処理部１２４は、ステップＳ２２１で再配置された各画素の位置を移動させて、画素の拡散処理を行う。例えば、第１画像処理部１２４は、各画素に対して、各画素が重心位置から外側に向けた方向に移動するように移動方向を設定し、設定された各移動方向に沿って各画素を移動させ、画素の拡散処理を行う。第１画像処理部１２４は、各画素の移動速度を、所定の範囲内でランダムに設定することができる。また、第１画像処理部１２４は、各画素の移動速度に対して、対象のユーザ画像の解析結果に基づく係数を加算または乗算することができる。
【００９０】
次のステップＳ２２３で、第１画像処理部１２４は、ステップＳ２２２の処理から一定時間が経過したか否かを判定する。一定時間は、例えば、動画像表示の数フレームあるいは十数フレーム程度とすることが考えられる。第１画像処理部１２４は、一定時間が経過していないと判定すると（ステップＳ２２３、「Ｎｏ」）、処理をステップＳ２２２に戻す。
【００９１】
第１画像処理部１２４は、ステップＳ２２３で、ステップＳ２２２の処理から一定時間が経過したと判定した場合（ステップＳ２２３、「Ｙｅｓ」）、処理をステップＳ２２４に移行させる。ステップＳ２２４で、第１画像処理部１２４は、拡散中の画像の画素をさらに間引きして、処理をステップＳ２２２に戻す。この場合の間引きの度合は、例えば対象のユーザ画像の解析結果に基づき設定することが可能である。第１画像処理部１２４は、ステップＳ２２２〜ステップＳ２２４の処理を繰り返すことで、ユーザ画像が画素単位で拡散し、次第に消滅する様子を表現できる。
【００９２】
なお、上述では、拡散を画素毎に行うように説明したが、これはこの例に限定されない。例えば、ステップＳ２２０で抽出した画素と同じ画素値を持つ画素を生成して抽出した画素に隣接させた画素セットにより、ステップＳ２２２以降の拡散処理を行ってもよい。また、上述した拡散処理は一例であって、この例に限定されるものではない。
【００９３】
図１５は、上述したステップＳ２０７ｂによる、第１の実施形態に係る第２画像の生成処理を示す一例のフローチャートである。第２画像は、上述したように、対象となるユーザ画像に基づき、当該ユーザ画像の図柄を識別可能で、且つ、当該ユーザ画像の輪郭を含む画像を生成する。
【００９４】
この例では、ユーザ画像の図柄を識別可能で、且つ、当該ユーザ画像の輪郭を含む画像として、当該ユーザ画像に対して所定の透過率を設定した半透明画像を生成する。透過率は、当該ユーザ画像の背面に配置される背景画像が、当該ユーザ画像を介して認識可能な程度、例えば４０％〜６０％程度に設定することが考えられる。既知のアルファブレンディング技術を用いることで、このような半透明画像を生成することができる。
【００９５】
図１５において、ステップＳ２１０で、第２画像処理部１２５は、ユーザ画像に対する初期の縮小値βを設定する。なお、ここでは、初期の縮小値βは、０＜β＜１であるものとする。また、縮小値βは、例えば元の画像の大きさに対する乗算の係数であって、値が小さいほどより縮小することを示す。ステップＳ２１０で設定する縮小値βとしては、例えば、ユーザ画像を、図１３−３に示した破裂初期画像３２３と略同一の大きさに縮小する値が考えられる。
【００９６】
次のステップＳ２１１で、第２画像処理部１２５は、対象のユーザ画像に対して、例えば上述したアルファブレンディングを用いて半透明化処理を施す。例えば、第２画像処理部１２５は、ユーザ画像を構成する各画素に対して、アルファブレンディングによる透過率を指定する係数αを付加する。
【００９７】
次のステップＳ２１２で、第２画像処理部１２５は、半透明化された半透明化ユーザ画像を縮小値βで縮小する。次のステップＳ２１３で、第２画像処理部１２５は、ステップＳ２１２で縮小された半透明化ユーザ画像の大きさが所定の大きさに達したか否かを判定する。所定の大きさは、例えば、元のユーザ画像の大きさを超える大きさとすることが考えられる。第２画像処理部１２５は、半透明化ユーザ画像の大きさが所定の大きさに達していないと判定した場合（ステップＳ２１３、「Ｎｏ」）、処理をステップＳ２１４に移行させる。
【００９８】
ステップＳ２１４で、第２画像処理部１２５は、縮小値βに対して例えば定数ａを加算して、新たな縮小値βを生成する。例えば、初期の縮小値β＝０．１であれば、定数ａとして０．４程度を設定することが考えられる。ステップＳ２１４の処理の後、第２画像処理部１２５は、処理をステップＳ２１２に戻し、元のユーザ画像を新たな縮小値βで縮小した半透明化ユーザ画像を生成する。
【００９９】
なお、第２画像処理部１２５は、ステップＳ２１２〜ステップＳ２１４の処理を、例えば、動画像表示の数フレームあるいは十数フレーム程度の周期で繰り返す。この繰り返しの周期は、上述した図１４のフローチャートのステップＳ２２３における一定時間と同じである必要は無い。
【０１００】
上述したステップＳ２１３で、第２画像処理部１２５は、縮小された半透明化ユーザ画像の大きさが所定の大きさ（すなわち、元のユーザ画像の大きさを超える大きさ）に達したと判定した場合、処理をステップＳ２１５に移行させる。すなわち、初期の縮小値β＝０．１とし、上述のステップＳ２１４において加算される定数ａ＝０．４とした場合、ステップＳ２１２〜ステップＳ２１４の処理を３回実行することで、縮小値β＝１．３となり、縮小値βが１より大きな値となる。縮小処理が対象画像のサイズに対して縮小値βを乗じる処理である場合、１より大きな値の縮小値βによる縮小処理は、対象画像に対する拡大処理となる。
【０１０１】
これに限らず、ステップＳ２１３の処理を省略し、ステップＳ２１２およびステップＳ２１４の処理を繰り返す回数を予め決めておいてもよい。
【０１０２】
ステップＳ２１５で、第２画像処理部１２５は、半透明化ユーザ画像に対してフェードアウト処理を施す。例えば、第２画像処理部１２５は、半透明化ユーザ画像の透過率を数フレームの期間で１００％まで変化させ、フェードアウト処理を実行することが考えられる。
【０１０３】
図１６は、上述したステップＳ２０７ｃによる、第１の実施形態に係る第３画像の生成処理を示す一例のフローチャートである。第３画像は、上述したように、ユーザ画像の解析結果に基づき決定された花火種類の花火画像である。図１６において、ステップＳ２３０で、第３画像処理部１２６は、ユーザ画像の解析結果に基づき決定された花火種類の花火画像に対して、当該ユーザ画像の解析結果に基づき決定されたパラメータを適用する。
【０１０４】
例えば、第３画像処理部１２６は、ユーザ画像の解析結果に基づき、当該ユーザ画像の各画素の彩度の例えば平均値に応じて、花火画像の華やかさ（使用色数、色種類など）を設定できる。また、第３画像処理部１２６は、ユーザ画像の解析結果に基づき、当該ユーザ画像の画像サイズに応じて花火画像の大きさ、および、破裂初期画像を表示させる際の高さｈや、初期音、打ち上げ音および破裂音の大きさなどを設定できる。さらにまた、第３画像処理部１２６は、ユーザ画像の解析結果に基づき、ユーザ画像が含むエッジ量に応じて花火画像の拡散率を設定できる。
【０１０５】
次のステップＳ２３１で、第３画像処理部１２６は、ステップＳ２３０で設定されたパラメータに従い、花火画像のアニメーション表示を開始する。このアニメーション表示は、例えば花火の玉が破裂してから火の粉が花火種類に応じた形態で飛散し消滅するまでの様子を含み、アニメーションのシーケンスが、図１０に典型的な各花火画像３１０ａ〜３１０ｅとして示した各花火種類に応じて予め指定される。
【０１０６】
図１７は、上述した図１４〜図１６のフローチャートに従い生成される第１画像、第２画像および第３画像と、背景画像とを合成するための一例の構成を示す。なお、図１７において、上述した図６と共通する部分には同一の符号を付して、詳細な説明を省略する。
【０１０７】
図１７において、表示制御部１２７は、画像を重畳させて合成するための第１合成部１２７ａ、第２合成部１２７ｂおよび第３合成部１２７ｃを含む構成として示されている。ユーザ画像２５０が、ユーザ画像の拡散を行う第１画像処理部１２４と、当該ユーザ画像の半透明化を行う第２画像処理部１２５と、にそれぞれ入力される。
【０１０８】
図１８に模式的に示すように、第１画像処理部１２４でユーザ画像が拡散処理された拡散画像３３０ａが第１合成部１２７ａの第１入力端に入力される。第２画像処理部１２５でユーザ画像が半透明化処理された半透明化ユーザ画像３３０ｂが第１合成部１２７ａの第２入力端に入力される。合成部１２７ａは、第２入力端に入力された半透明化ユーザ画像に対して、第１入力端に入力された拡散画像を重畳し、重畳画像３３０ｃを出力する。このように、重畳画像３３０ｃは、半透明化ユーザ画像３３０ｂの前面側に、拡散画像３３０ａが重畳された画像となる。拡散画像３３０ａの画素が重畳される位置の半透明化ユーザ画像３３０ｂの画素は、拡散画像３３０ａの画素に隠されて見えないことになる。
【０１０９】
第１合成部１２７ａで半透明化ユーザ画像３３０ｂに拡散画像３３０ａが重畳された重畳画像３３０ｃが、第２合成部１２７ｂの第２入力端に入力される。また、第３画像処理部１２６から出力された花火画像が、第２合成部１２７ｂの第１入力端に入力される。第２合成部１２７ｂは、第２入力端に入力された重畳画像３３０ｃに対して、第１入力端に入力された花火画像を重畳して、複合画像を生成する。第２合成部１２７ｂから出力された複合画像は、第３合成部１２７ｃの第１入力端に入力される。第３合成部１２７ｃの第２入力端には、予め指定された背景画像２５１が入力される。第３合成部１２７ｃは、第２入力端に入力された背景画像２５１に対して、第１入力端に入力された複合画像を重畳する。
【０１１０】
こうして、背景画像２５１を最背面とし、この背景画像２５１に対して半透明化ユーザ画像３３０ｂ、拡散画像３３０ａ、花火画像の順に重畳された複合画像が、画像１３としてスクリーン１２に投射される。
【０１１１】
なお、表示制御部１２７は、第２合成部１２７ｂから出力される複合画像に対して効果を加えることができる。一例として、表示制御部１２７は、当該複合画像を所定の角速度で回転させることができる。表示制御部１２７は、例えば当該複合画像を、画像データ空間３０におけるｘｙ平面内において、複合画像の重心を回転中心として回転させることができる。これに限らず、表示制御部１２７は、当該複合画像を、画像データ空間３０において、ｚ軸方向をさらに含めて回転させることも可能である。例えば、表示制御部１２７は、当該複合画像の重心位置を通るｘ軸を回転軸として、当該複合画像をｙｚ平面内で回転させる事が考えられる。
【０１１２】
図１３−２以降の表示について、上述した図１２のフローチャート、および、図１３−３〜図１３−８を参照して説明する。図１３−３に例示されるように破裂初期画像３２３が表示されると（図１２のステップＳ２０６）、図１２のフローチャートにおけるステップＳ２０７ａ、ステップＳ２０７ｂおよびステップＳ２０７ｃの処理が実行され、図１３−４に例示されるように、画像１３の高さｈの位置に、半透明化ユーザ画像３３０ｂに拡散画像３３０ａが重畳された重畳画像３３０ｃ1と、当該重畳画像３３０ｃ1に重畳された、花火種類「小割」の花火画像３１０ｄ1とが表示される。
【０１１３】
図１３−５は、図１３−４の状態から動画像の数フレームまたは十数フレーム後の表示例を示す。重畳画像３３０ｃ2は、半透明化ユーザ画像３３０ｂが縮小値βの増大に伴い大きくなると共に、拡散画像３３０ａの拡散が進み、図１３−４の重畳画像３３０ｃ1に対して大きな画像となっている。また、花火画像３１０ｄ2も、図１３−４の花火画像３１０ｄ1に対して飛散が進み範囲が大きくなっている。
【０１１４】
図１３−５の状態からさらに数フレームまたは十数フレームの時間が経過すると、半透明化ユーザ画像３３０ｂがフェードアウトされて消滅し、図１３−６に例示されるように、重畳画像３３０ｃ3は拡散画像３３０ａのみとなる。また、花火画像３１０ｄ3は、花火種類「小割」に予め指定されたシーケンスに従い、小花画像が表示される。
【０１１５】
図１３−６の状態からさらに数フレームまたは十数フレームの時間が経過すると、図１３−７に例示されるように、重畳画像３３０ｃ4における拡散画像３３０ａの拡散がさらに進み、また、花火画像３１０ｄ4においても小花画像が拡散した状態となる。図１３−８は、この図１３−７の状態からさらに時間が経過した場合の表示の例であり、図１３−７における花火画像３１０ｄ4は例えばシーケンスに従い消滅し、拡散画像３３０ｃ5も拡散が進んでいる。
【０１１６】
このように、第１の実施形態では、ユーザの手書きの絵２２に基づくユーザ画像を画素単位で拡散させるアニメーションによる拡散画像３３０ａを、花火を模した花火画像と共に、花火画像と位置を合わせて表示させている。そのため、ユーザは、恰も自分が描いた絵２２が花火として打ち上げられたかのような表示を鑑賞することができる。また、この表示において、ユーザ画像を半透明化した半透明化ユーザ画像３３０ｂを生成し、拡散画像３３０ａをこの半透明化ユーザ画像３３０ｂに対して重畳させて表示させているので、ユーザは、花火画像と共に表示された画像が自分が描いた絵２２に基づく画像であることを容易に認識可能である。さらに、半透明化ユーザ画像３３０ｂは、極短時間の表示なので、花火画像の鑑賞の妨げになることが抑制される。
【０１１７】
（第１の実施形態の変形例）
上述では、スクリーン１２に投射される画像１３に、１つのユーザ画像に基づく拡散画像３３０ａ、半透明化ユーザ画像３３０ｂおよび花火画像の組が表示されるように説明したが、これはこの例に限定されない。すなわち、第１の実施形態に係る表示システム１ａは、複数のユーザ画像に基づき、複数の拡散画像３３０ａ、半透明化ユーザ画像３３０ｂおよび花火画像の組による画像を、画像１３に対して並行して表示させることができる。
【０１１８】
図１９は、第１の実施形態に係る、画像１３に対して、それぞれ異なるユーザ画像に基づく複数の拡散画像３３０ａ、半透明化ユーザ画像３３０ｂおよび花火画像の組による複数の複合画像３４０1、３４０2、３４０3、３４０4および３４０5が並行して表示される例を示している。これら複合画像３４０1、３４０2、３４０3、３４０4および３４０5は、例えばそれぞれ独立したタイミングで表示させることができる。
【０１１９】
同様に、図２０は、第１の実施形態に係る、画像１３に対して、それぞれ異なるユーザ画像に基づく複数の複合画像３４０10、３４０11、３４０12および３４０13が並行して表示される例を示している。この例では、さらに、ユーザ画像を用いない、仕掛け花火を模した画像３５０も、複合画像３４０10、３４０11、３４０12および３４０13と共に表示されている。
【０１２０】
（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態は、上述した、半透明化ユーザ画像３３０ｂに拡散画像３３０ａが重畳され、さらに花火画像が重畳された複合画像を、予め設定されたシナリオに従い表示させる。シナリオは、複合画像の表示方法を示す表示パターンをそれぞれ含む１以上の要素が、順番を指定されて記述されて構成される。
【０１２１】
なお、第２の実施形態では、第１の実施形態で説明した表示システム１ａおよび１ｂをそのまま適用できるので、システム構成、機能および複合画像の表示処理についての説明を省略する。
【０１２２】
図２１は、第２の実施形態に適用可能な、複合画像の表示方法を示す表示パターンの例を示す。なお、図２１（ａ）〜図２１（ｆ）に示す各表示パターンのうち、図２１（ａ）の「滝」、および、図２１（ｂ）の「吹上げ」は、複合画像の表示を伴わない表示パターンである。図２１（ａ）の表示パターン「滝」は、一般的に「ナイアガラ」と呼ばれる仕掛け花火を模したもので、火の粉が複数列で上から下に流れ落ちる様子を模した表示パターンである。図２１（ｂ）の表示パターン「吹上げ」は、１点から火の粉が吹き上がる様子を模した表示パターンである。
【０１２３】
図２１（ｃ）〜図２１（ｆ）の表示パターンは、複数の花火画像を用いる表示パターンであって、それぞれ、花火画像として複合画像を適用できる。
【０１２４】
図２１（ｃ）の表示パターン「尺玉」は、尺玉の打ち上げを模した表示パターンである。図２１（ｃ）の例では、表示パターン「尺玉」は、中心となる大きな花火画像の周囲に、小型の花火画像Ａ、Ｂ、Ｃ、ＤおよびＥが配置された表示となる。これら花火画像Ａ、Ｂ、Ｃ、ＤおよびＥそれぞれに複合画像を適用できる。
【０１２５】
図２１（ｄ）の表示パターン「シンメトリ」は、複数の花火の玉を整列させ左右対称の順序で打ち上げる様子を模した表示パターンである。表示パターン「シンメトリ」は、例えば、複数の花火画像により、左右端の列から内側の列に向けて、あるいは、中央部の列から左右端の列に向けて、左右対称に、列毎に順次タイミングをずらして、打ち上げのアニメーション表示を行う。図２１（ｅ）の表示パターン「斜め打ち上げ交差」は、複数の花火の玉を整列させて、斜め上方に同時に打ち上げる様子を模した表示パターンである。表示パターン「斜め打ち上げ交差」は、例えば、複数の花火画像により、右斜め上方向への打ち上げのアニメーション表示と、左斜め上方向への打ち上げのアニメーション表示とを、タイミングを揃えて行う。図２１（ｆ）の表示パターン「整列並行連弾」は、複数の花火の玉を整列させて同時に打ち上げる様子を模した表示パターンである。表示パターン「整列平行連弾」は、例えば、整列させた複数の花火画像の上方向への打ち上げのアニメーション表示を、タイミングを揃えて行う。
【０１２６】
なお、表示パターンは、図２１（ａ）〜図２１（ｆ）に示した各表示パターンの他に、単独の花火画像による打ち上げのアニメーション表示を行うパターンをさらに含む。さらにまた、表示パターンは、何の表示も行わないパターン（表示パターン「黒」と呼ぶ）と、直前に実行された表示パターンの表示に対して所定の処理（例えばフェードアウト処理）を施すパターン（表示パターン「フェードアウト黒」と呼ぶ）とを含む。
【０１２７】
表１は、第２の実施形態に適用可能なシナリオの例を示す。表１において、項目「シナリオ」は、シナリオの名称を示し、各シナリオは、それぞれシナリオの要素を示す１以上のレコードを含む。
【０１２８】
【表１】
2018195219.tif 000003
【０１２９】
表１において、シナリオに含まれるレコードすなわち要素は、「登場花火および流れ」、「時間（秒）」、「ＨＤ打ち上げ回数」および「ワイド打ち上げ回数」の各項目を含む。
【０１３０】
項目「登場花火および流れ」は、その要素において用いる表示パターンと、当該表示パターンが花火画像を用いる場合には、その花火画像の花火種類とが記述される。また、項目「登場花火および流れ」は、複数の表示パターンを組み合わせて記述することができる。なお、シナリオに含まれる複数の要素は、シナリオに記述される順序に従い実行されるものとする。
【０１３１】
項目「時間（秒）」は、その要素が表示される時間が秒単位で記述される。項目「ＨＤ打ち上げ回数」は、画像１３による画面がＨＤ画面（図１参照）の場合に、その要素において用いられる花火画像の花火種類と、当該花火画像によるアニメーション表示の回数とが記述される。例えば、「菊３」の記述（シナリオ「ナイアガラ」２行目の要素）は、花火種類「菊」の花火画像によるアニメーション表示が３回表示されることを示している。また、項目「ワイド打ち上げ回数」は、画像１３による画面がワイド画面（図２参照）の場合に、その要素において用いられる花火画像の花火種類と、当該花火画像によるアニメーション表示の回数とが記述される。上述の「菊３」に対応する要素では、項目「ワイド打ち上げ回数」が「菊５」とされ、ＨＤ画面と異なる値が記述されている。
【０１３２】
表１におけるシナリオ「ナイアガラ」を例にとり、画像１３がＨＤ画面の場合の、シナリオに従った表示制御について概略的に説明する。シナリオ「ナイアガラ」において、１番目の要素により表示パターン「黒」を３秒間実行し、２番目の要素により花火種類「菊」の花火画像によるアニメーション表示を、１０秒間に３回、実行する。この花火種類「菊」の花火画像によるアニメーション表示は、ユーザ画像に基づく半透明化ユーザ画像３３０ｂおよび拡散画像３３０ａを伴った表示である。次の３番目の要素により、表示パターン「黒」を５秒間実行する。
【０１３３】
次に、４番目の要素により表示パターン「滝」によるアニメーション表示を２５秒間実行する。この４番目の要素において、表示パターン「滝」の後半２０秒は、表示パターン「滝」のアニメーション表示と並行して、花火種類「牡丹」の花火画像によるアニメーション表示が５回、実行される。この花火種類「牡丹」の花火画像によるアニメーション表示は、通常の打ち上げのアニメーション表示による表示である（ノーマル）。
【０１３４】
最後に、５番目の要素により表示パターン「フェードアウト黒」が５秒間実行され、画像１３上に表示される各花火画像が５秒間かけてフェードアウトされ消滅される。
【０１３５】
このように、シナリオの記述に従い、各要素による表示制御を順番に実行することで、より変化に富んだ表示を実現できる。
【０１３６】
図２２は、第２の実施形態に係る、表示制御部１２７による表示制御処理を示す一例のフローチャートである。なお、表１に示したシナリオは、例えば予め作成されストレージ１００４に格納される（シナリオ記憶部）。シナリオは、各シナリオがそれぞれ単独でストレージ１００４に格納されてもよいし、表１に示すように複数のシナリオを含むテーブルとしてストレージ１００４に格納されてもよい。表示制御部１２７は、シナリオが指定されると、指定されたシナリオの各要素をストレージ１００４から読み出して例えばＲＡＭ１００２に記憶させる。
【０１３７】
表示制御部１２７は、指定されたシナリオの実行が指示されると、ステップＳ３００で、画面サイズがＨＤ画面およびワイド画面の何れであるかを取得する。次のステップＳ３０１で、表示制御部１２７は、指定されたシナリオに含まれる要素数（ｋ）を取得する。次のステップＳ３０２で、表示制御部１２７は、ループ変数ｉを０に初期化する。
【０１３８】
次のステップＳ３０３で、表示制御部１２７は、ループ変数ｉおよび要素数ｋについて、「ｉ＜ｋ」であるか否かを判定する。表示制御部１２７は、「ｉ≧ｋ」であると判定した場合（ステップＳ３０３、「Ｎｏ」）、図２２のフローチャートによる一連の処理を終了させる。これにより、１つのシナリオによる表示制御が終了される。
【０１３９】
表示制御部１２７は、ステップＳ３０３で、「ｉ＜ｋ」であると判定した場合（ステップＳ３０３、「Ｙｅｓ」）、次のステップＳ３０４でループ変数ｉを１だけインクリメントさせ、指定されたシナリオのｉ番目の要素を取得して処理をステップＳ３０５に移行させる。ステップＳ３０５で、表示制御部１２７は、ｉ番目の要素における項目「時間（秒）」に記述される時間を取得する。次のステップＳ３０６で、表示制御部１２７は、ｉ番目の要素における項目「登場花火および流れ」の記述に基づき、打ち上げのアニメーション表示が有るか否かを判定する。
【０１４０】
表示制御部１２７は、ステップＳ３０６で打ち上げのアニメーション表示が無いと判定した場合（ステップＳ３０６、「無し」）、処理をステップＳ３２０に移行させる。この場合、項目「登場花火および流れ」の記述は、表示パターン「黒」および「フェードアウト黒」の何れかになる。ステップＳ３２０で、表示制御部１２７は、ステップＳ３０５で取得した時間に従い表示パターン「黒」および「フェードアウト黒」の処理を実行する。ステップＳ３２０の処理が終了すると、表示制御部１２７は、処理をステップＳ３０３に戻す。
【０１４１】
一方、表示制御部１２７は、ステップＳ３０６で打ち上げのアニメーション表示が有ると判定した場合（ステップＳ３０６、「有り」）、処理をステップＳ３０７に移行させる。ステップＳ３０７で、表示制御部１２７は、ｉ番目の要素がユーザ画像を用いる要素であるか否かを判定する。例えば、その要素における項目「登場花火および流れ」の記述が表示パターン「滝」または「吹上げ」のみの実行を示している場合、ユーザ画像を用いない要素であると判定できる。
【０１４２】
表示制御部１２７は、ステップＳ３０７で、ｉ番目の要素がユーザ画像を用いない要素であると判定した場合（ステップＳ３０７、「使わない」）、処理をステップＳ３３０に移行させ、ｉ番目の要素の項目「時間（秒）」に記述された時間に従い打ち上げのアニメーション表示を実行する。その後、処理がステップＳ３０３に戻される。
【０１４３】
表示制御部１２７は、ステップＳ３０７で、ｉ番目の要素がユーザ画像を用いる要素であると判定した場合（ステップＳ３０７、「使う」）、処理をステップＳ３０８に移行させる。ステップＳ３０８で、表示制御部１２７は、ｉ番目の要素の項目「ＨＤ打ち上げ回数」に記述される打ち上げ回数を取得する。次のステップＳ３０９で、表示制御部１２７は、ステップＳ３０８で取得した回数分のユーザ画像を取得する。
【０１４４】
次のステップＳ３１０で、表示制御部１２７は、ｉ番目の要素の項目「登場花火および流れ」の記述に従い、単独の花火画像によるアニメーション表示を行うか、複数の花火画像を用いたアニメーション表示を行うかを判定する。例えば、項目「登場花火および流れ」に上述の図２１（ａ）〜図２１（ｆ）に示した各表示パターンを示す記述がある場合、複数の花火画像を用いたアニメーション表示を行うと判定できる。
【０１４５】
表示制御部１２７は、ステップＳ３１０で、複数の花火画像を用いたアニメーション表示を行うと判定した場合（ステップＳ３１０、「パターン」）、処理をステップＳ３１１に移行させて、ｉ番目の要素の項目「登場花火および流れ」に記述される表示パターンに従った打ち上げのアニメーション表示を実行する。このとき、表示制御部１２７は、ステップＳ３０９で取得した各ユーザ画像に基づき生成した各重畳画像３３０ｃに対して、当該表示パターンに用いられる複数の花火画像をそれぞれ重畳させて、打ち上げのアニメーション表示を実行する。なお、「打ち上げ回数」は、上述した図２１（ｃ）〜図２１（ｆ）に示した各表示パターンにおいては、用いられる花火画像の数に対応するものとする。
【０１４６】
ステップＳ３１１の処理の後、表示制御部１２７は、処理をステップＳ３０３に戻す。
【０１４７】
表示制御部１２７は、ステップＳ３１０で、単独の花火画像によるアニメーション表示を行うと判定した場合（ステップＳ３１０、「単独」）、処理をステップＳ３１２に移行させる。ステップＳ３１２で、表示制御部１２７は、ｉ番目の要素の項目「登場花火および流れ」に記述される花火種類の花火画像の打ち上げのアニメーション表示を、ステップＳ３０８で取得された回数分、実行する。このとき、表示制御部１２７は、ステップＳ３０９で取得した各ユーザ画像に基づき生成した各重畳画像３３０ｃに対して、当該表示パターンに用いられる複数の花火画像をそれぞれ重畳させて、それぞれの打ち上げのアニメーション表示を実行する。
【０１４８】
ステップＳ３１２の処理の後、表示制御部１２７は、処理をステップＳ３０３に戻す。
【０１４９】
（第３の実施形態）
次に、第３の実施形態について説明する。第３の実施形態は、第１の実施形態にて説明した花火打ち上げを模したアニメーション表示を、例えばスクリーン１２に表示される画像１３に対するユーザの動作に応じて実行可能とするものである。
【０１５０】
図２３は、第３の実施形態に係る表示システムの構成の例を示す。図２３において、表示システム１ｃは、図１に示した第１の実施形態に係る表示システム１ａに対して、物体を検知する検知センサ１６を追加してスクリーン１２の近傍に設けた例である。検知センサ１６による検知結果は、第３の実施形態に係る表示制御装置１０’に供給される。
【０１５１】
検知センサ１６は、例えば赤外光の発光部と受光部とを備え、発光部から赤外光を射出し、射出された赤外光の反射光を受光部で受光することで、所定の範囲γにおける物体の存在およびその物体の位置を検知する。これに限らず、検知センサは、カメラが内蔵され、カメラで取得した撮像画像に含まれる対象物体の画像に基づき、対象物体までの距離や、対象物体の位置を検知するようにしてもよい。検知センサ１６をスクリーン１２の被投写面側に設置することで、スクリーン１２に近付くユーザを検知することができる。
【０１５２】
図２４は、第３の実施形態に係る表示制御装置１０’の機能を説明するための一例の機能ブロック図である。なお、図２４において、上述した図６と共通する部分には同一の符号を付して、詳細な説明を省略する。
【０１５３】
図２４において、表示制御装置１０’は、図６で説明した第１の実施形態に係る表示制御装置１０に対して、動作制御部１０３が追加されている。動作制御部１０３は、検知結果取得部１５０と、座標生成部１５１と、動き検出部１５２とを含む。検知結果取得部１５０は、検知センサ１６による検知結果を取得する。
【０１５４】
座標生成部１５１は、検知結果取得部１５０に取得された検知センサ１６の検知結果に示される物体の位置と、スクリーン１２に表示される画像１３上の座標とを対応付けて、検知センサ１６に検知された物体の位置に応じた画像１３上の座標を生成する。動き検出部１５２は、座標生成部１５１で生成される座標を一定時間間隔で取得して差分を求め、この差分に基づき物体の動きを検出する。このとき、例えば差分が所定以内の場合には、物体が動いていないと見做す。
【０１５５】
検知結果取得部１５０に取得された検知結果と、座標生成部１５１により取得された座標と、動き検出部１５２で検出された動き検出結果とが表示制御部１２７に入力される。表示制御部１２７は、これら検知結果、座標および動き検出結果に基づき、スクリーン１２に表示される画像１３の所定位置を指定し、直後に当該指定を解除する動作（タップ動作と呼ぶ）と、画像１３に対する指定位置を連続的に移動させる動作（ドラッグ動作と呼ぶ）と、ドラッグ動作後に位置の指定を解除する動作（ドロップ動作と呼ぶ）と、を認識することができる。なお、ドラッグ動作とドロップ動作とを連続的に行うことを、ドラッグアンドドロップ動作と呼ぶ。
【０１５６】
図２５は、第３の実施形態に係る、花火打ち上げを模したアニメーション表示を、ユーザによるタップ動作に応じて実行させる例を示す。図２５（ａ）は、例えばユーザが手指などにより、スクリーン１２に投射される画像１３の位置４００に対してタップ動作を行った例を示す。なお、ユーザは、タップ動作やドラッグアンドドロップ動作などにおいて、手指などをスクリーン１２に直接触れさせる必要は無く、スクリーン１２近傍の検知センサ１６が検知可能な位置まで手指を接近させれば良い。
【０１５７】
図２５（ｂ）は、図２５（ａ）のタップ動作により位置の指定が解除された状態を示す。タップ動作により位置４００が指定された時点で、当該位置４００を起点として、打ち上げ中画像３２２のアニメーション表示が開始される。図２５（ｃ）は、ユーザ画像に基づく半透明化ユーザ画像３３０ｂに拡散画像３３０ａが重畳されさらに花火画像が重畳された複合画像３４０によるアニメーション表示が、打ち上げ中画像３２２の表示に応じて実行された例を示す。
【０１５８】
表示制御部１２７は、例えば、フォルダ「DisplayingObject」（図１１参照）から、最も新しく格納されたユーザ画像を取り出して、図２５（ｃ）に示す複合画像３４０の表示を行う。
【０１５９】
図２６は、第３の実施形態に係る、花火打ち上げを模したアニメーション表示を、ユーザによるドラッグアンドドロップ動作に応じて実行させる例を示す。図２６（ａ）に示されるように、画像１３上の位置４１０を指定し、指定位置を経路４１１に沿って連続的に移動させて位置４１２にて位置指定を解除するドラッグアンドドロップ動作を行うものとする。ユーザの手指などにより位置４１０が指定されることで、打ち上げ中画像３２２の表示が開始される。
【０１６０】
図２６（ｂ）に例示されるように、指定位置の移動に応じて打ち上げ中画像３２２’が移動する（第４画像）。このとき、打ち上げ中画像３２２’は、指定位置の移動の軌跡４１１’に応じて方向を変更されて表示される。位置４１２において位置指定が解除され、ドラッグアンドドロップ動作が完了すると、図２６（ｃ）に例示されるように、当該位置４１２を中心として複合画像３４０によるアニメーション表示が実行される。
【０１６１】
このように、第３の実施形態では、ユーザのスクリーン１２に表示される画像１３に対する動作に応じて、ユーザ画像に基づく複合画像３４０によるアニメーション表示を実行させることができる。そのため、第３の実施形態に係る表示システム１ｃは、ユーザに対して、インタラクティブな環境を提供することができる。また、これにより、ユーザは、より高度なエンターテイメントを得ることが可能となる。
【０１６２】
なお、上述では、第３の実施形態が、第１の実施形態における図１の、ＨＤ画面による表示システム１ａに対応するように説明したが、これはこの例に限定されない。すなわち、第３の実施形態は、第１の実施形態における図２の、ワイド画面による表示システム１ｂにも適用できる。この場合、検知センサ１６を、例えば画像１３1、１３2および１３3それぞれに対して設けるようにすると好ましい。
【０１６３】
また、第３の実施形態は、単独で実施してもよいが、第１の実施形態および第２の実施形態と共に実施することも可能である。
【０１６４】
なお、上述の各実施形態は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。
【符号の説明】
【０１６５】
１ａ，１ｂ，１ｃ  表示システム
１０，１０’  表示制御装置
１１，１１1，１１2，１１3  プロジェクタ装置
１２  スクリーン
１３，３００，３０１，３０２  画像
１６  検知センサ
２０  スキャナ装置
２１  用紙
２２  絵
１００  入力部
１０１  画像制御部
１０２  音処理部
１０３  動作制御部
１１０  抽出部
１１１  画像取得部
１２０  パラメータ生成部
１２１  パターン取得部
１２４  第１画像処理部
１２５  第２画像処理部
１２６  第３画像処理部
１２７  表示制御部
１２７ａ  第１合成部
１２７ｂ  第２合成部
１２７ｃ  第３合成部
１５１  座標生成部
１５２  動き検出部
３１０ａ，３１０ｂ，３１０ｃ，３１０ｄ，３１０ｄ1，３１０ｄ2，３１０ｄ3，３１０ｄ4，３１０ｅ  花火画像
３２２，３２２’  打ち上げ中画像
３２３  破裂初期画像
３３０ａ  拡散画像
３３０ｂ  半透明化ユーザ画像
３３０ｃ，３３０ｃ1，３３０ｃ2，３３０ｃ3，３３０ｃ4，３３０ｃ5  重畳画像
３４０，３４０1，３４０2，３４０3，３４０4，３４０5，３４０10，３４０11，３４０12，３４０13  複合画像
１０００  ＣＰＵ
１００２  ＲＡＭ
１００４  ストレージ
【先行技術文献】
【特許文献】
【０１６６】
【特許文献１】特許第５２９２８１６号公報
【図１】
2018195219.tif 000004
【図２】
2018195219.tif 000005
【図３】
2018195219.tif 000006
【図４】
2018195219.tif 000007
【図５】
2018195219.tif 000008
【図６】
2018195219.tif 000009
【図７】
2018195219.tif 000010
【図８】
2018195219.tif 000011
【図９】
2018195219.tif 000012
【図１０】
2018195219.tif 000013
【図１１】
2018195219.tif 000014
【図１２】
2018195219.tif 000015
【図１３−１】
2018195219.tif 000016
【図１３−２】
2018195219.tif 000017
【図１３−３】
2018195219.tif 000018
【図１３−４】
2018195219.tif 000019
【図１３−５】
2018195219.tif 000020
【図１３−６】
2018195219.tif 000021
【図１３−７】
2018195219.tif 000022
【図１３−８】
2018195219.tif 000023
【図１４】
2018195219.tif 000024
【図１５】
2018195219.tif 000025
【図１６】
2018195219.tif 000026
【図１７】
2018195219.tif 000027
【図１８】
2018195219.tif 000028
【図１９】
2018195219.tif 000029
【図２０】
2018195219.tif 000030
【図２１】
2018195219.tif 000031
【図２２】
2018195219.tif 000032
【図２３】
2018195219.tif 000033
【図２４】
2018195219.tif 000034
【図２５】
2018195219.tif 000035
【図２６】
2018195219.tif 000036