(57)【要約】【課題】アーティストがファンの前に姿を見せることなく、あたかもアーティストがその場で歌ったり、あるいは演奏しているかのような印象をファンに与えることができるイベント方法、コンサート開催方法、イベント会場及びコンテンツの売買方法を提供する。【解決手段】身体の動作に関する身体動作情報を取得する身体動作情報取得ステップＳ１０と、音声に関する音声情報を取得する音声情報取得ステップＳ１１と、身体動作情報に基づいてモーションデータを生成するモーションデータ生成ステップＳ１２と、音声情報に基づいて音声データを生成する音声データ生成ステップＳ１３と、モーションデータと音声データとを関連付けしたバーチャル映像データを生成するバーチャル映像データ生成ステップＳ１４と、バーチャル映像データに基づいたバーチャル映像を表示部上に映し出すバーチャル映像表示制御ステップＳ１５と、を有する。【選択図】      図３
2015185020.tif 000002
【特許請求の範囲】
【請求項１】
バーチャル映像を利用したイベント方法であって、
身体動作情報取得手段により身体の動作に関する身体動作情報を取得する身体動作情報取得ステップと、
音声情報取得手段により音声に関する音声情報を取得する音声情報取得ステップと、
モーションデータ生成手段により前記身体動作情報に基づいてモーションデータを生成するモーションデータ生成ステップと、
音声データ生成手段により前記音声情報に基づいて音声データを生成する音声データ生成ステップと、
バーチャル映像データ生成手段により前記モーションデータと前記音声データとを関連付けしたバーチャル映像データを生成するバーチャル映像データ生成ステップと、
バーチャル映像表示制御手段により前記バーチャル映像データに基づいたバーチャル映像を表示部上に映し出すバーチャル映像表示制御ステップと、
を有することを特徴とするバーチャル映像を利用したイベント方法。
【請求項２】
音声出力手段により前記音声データに基づいた音声を出力する音声出力ステップを有することを特徴とする請求項１に記載のバーチャル映像を利用したイベント方法。
【請求項３】
前記身体動作情報は、歌を歌うときの動作に関する情報であり、
前記モーションデータは、歌を歌うときの動作に関するデータであることを特徴とする請求項１又は２に記載のバーチャル映像を利用したイベント方法。
【請求項４】
前記音声情報は、歌声に関する情報であり、
前記音声データは、歌声に関するデータであることを特徴とする請求項１乃至３のいずれか１項に記載のバーチャル映像を利用したイベント方法。
【請求項５】
前記バーチャル映像データは、音声に合わせて動作する身体のシルエットに関するデータであることを特徴とする請求項１乃至４のいずれか１項に記載のバーチャル映像を利用したイベント方法。
【請求項６】
前記バーチャル映像表示制御ステップでは、アーティストの近傍に前記バーチャル映像を映し出すことを特徴とする請求項１乃至５のいずれか１項に記載のバーチャル映像を利用したイベント方法。
【請求項７】
前記バーチャル映像は、２次元映像であることを特徴とする請求項１乃至６のいずれか１項に記載のバーチャル映像を利用したイベント方法。
【請求項８】
請求項１乃至７のいずれか１項に記載のバーチャル映像を利用したイベント方法によってコンサートを行うことを特徴とするコンサートの開催方法。
【請求項９】
請求項１乃至７のいずれか１項に記載のバーチャル映像を利用したイベント方法を実現することを特徴とするイベント会場。
【請求項１０】
前記イベント会場は、観客席を有することを特徴とする請求項９に記載のイベント会場。
【請求項１１】
請求項１乃至７のいずれか１項に記載のバーチャル映像を利用したイベント方法により取得されたバーチャル映像の少なくとも一部あるいはバーチャル映像データをコンテンツ又は当該コンテンツが付された物品として販売することを特徴とするコンテンツの売買方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばアーティスト等によるイベント方法、コンサート開催方法、イベント会場及びコンテンツの売買方法に関する。
【背景技術】
【０００２】
従来から、全国各地のコンサート会場等において、様々なアーティストによるコンサートが開催されている。
【０００３】
コンサートでは、アーティストが生で歌い、演奏されること等により、ファンに対して様々なサービスが行われている。このため、コンサート会場には、あたかも別世界であるかのような楽しい時間が流れ、ファンが楽しい時間を過ごすことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−８１８６号公報
【特許文献２】特開２０１１−１５９４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、従来のコンサートでは、アーティストがその場で歌ったり、演奏したりすることが前提になっている。アーティストの中には、様々な事情により、アーティストの素顔を隠して活動している者もいる。このようなアーティストにとっては、コンサートを開催したときに、ファンに素顔がばれてしまい、カリスマ性が崩れたり、今後の興行収入が減少したりする等の問題につながるおそれがある。
【０００６】
そこで、本発明は、上記問題に鑑み、アーティストがファンの前に姿を見せることなく、あたかもアーティストがその場で歌ったり、あるいは演奏しているかのような印象をファンに与えることができるイベント方法、コンサート開催方法、イベント会場及びコンテンツの売買方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
第１の発明は、バーチャル映像を利用したイベント方法であって、身体動作情報取得手段により身体の動作に関する身体動作情報を取得する身体動作情報取得ステップと、音声情報取得手段により音声に関する音声情報を取得する音声情報取得ステップと、モーションデータ生成手段により前記身体動作情報に基づいてモーションデータを生成するモーションデータ生成ステップと、音声データ生成手段により前記音声情報に基づいて音声データを生成する音声データ生成ステップと、バーチャル映像データ生成手段により前記モーションデータと前記音声データとを関連付けしたバーチャル映像データを生成するバーチャル映像データ生成ステップと、バーチャル映像表示制御手段により前記バーチャル映像データに基づいたバーチャル映像を表示部上に映し出すバーチャル映像表示制御ステップと、を有することを特徴とする。
【０００８】
この場合、音声出力手段により前記音声データに基づいた音声を出力する音声出力ステップを有することを特徴とする。
【０００９】
この場合、前記身体動作情報は、歌を歌うときの動作に関する情報であり、前記モーションデータは、歌を歌うときの動作に関するデータであることを特徴とする。
【００１０】
この場合、前記音声情報は、歌声に関する情報であり、前記音声データは、歌声に関するデータであることを特徴とする。
【００１１】
この場合、前記バーチャル映像データは、音声に合わせて動作する身体のシルエットに関するデータであることを特徴とする。
【００１２】
この場合、前記バーチャル映像表示制御ステップでは、アーティストの近傍に前記バーチャル映像を映し出すことを特徴とする。
【００１３】
この場合、前記バーチャル映像は、２次元映像であることを特徴とする。
【００１４】
第２の発明は、本発明のバーチャル映像を利用したイベント方法によってコンサートを行うコンサートの開催方法であることを特徴とする。
【００１５】
第３の発明は、本発明のバーチャル映像を利用したイベント方法を実現するイベント会場であることを特徴とする。
【００１６】
この場合、前記イベント会場は、観客席を有することを特徴とする。
【００１７】
第４の発明は、本発明のバーチャル映像を利用したイベント方法により取得されたバーチャル映像の少なくとも一部あるいはバーチャル映像データをコンテンツ又は当該コンテンツが付された物品として販売することを特徴とするコンテンツの売買方法である。
【００１８】
本発明の「コンテンツ」には、音楽あるいはその他の情報の内容という意味で定義される。コンテンツには、動画・静止画の他に、デザイン、写真、絵等が含まれる。
【００１９】
本発明の「物品」には、生活用品、植物、動物、食物、嗜好品、車両等が含まれる。
【発明の効果】
【００２０】
本発明によれば、実在するアーティストの身体動作と音声に極似したバーチャル映像を表示部に表示することにより、イベントを進行することができる。これにより、観客にとってはあたかもアーティスト本人がその場にいるかのような斬新な印象を受け、イベントを盛り上げることができる。
【００２１】
また、アーティストにとっては、イベント会場にいなくても、自身のバーチャル映像データを予め生成しておくことにより、自身の分身が振る舞うイベントを開催することができる。
【００２２】
また、音声出力手段により音声データに基づいた音声を出力する音声出力ステップを有することにより、バーチャル映像の動きに合致したタイミングで最適な音声が出力されるため、バーチャル特有の不自然さを消すことができ、イベントの完成度を高めることができる。
【００２３】
また、身体動作情報は歌を歌うときの動作に関する情報であり、モーションデータは歌を歌うときの動作に関するデータであることにより、バーチャル映像によってアーティストの動作を正確に表現することができる。
【００２４】
また、音声情報が歌声に関する情報であり、音声データが歌声に関するデータであることにより、バーチャル映像によってアーティストの歌声を正確に表現することができる。
【００２５】
また、バーチャル映像データが、音声に合わせて動作する身体のシルエットに関するデータであることにより、アーティスト本人による演出のように見せることができ、観客を益々興奮させ、イベントを成功させることができる。
【００２６】
また、バーチャル映像表示制御ステップでは、アーティストの近傍にバーチャル映像が映し出されることにより、アーティスト本人とその分身を並べて進行する公演を実現できる。これにより、観客の射幸心を刺激して、イベントを最高に盛り上げることができる。
【００２７】
また、バーチャル映像が２次元映像であることにより、アーティスト本体の身体的な特徴を平面で捉えることができる。これにより、観客がいる位置によって、バーチャル映像が見え難くなることを防止できる。
【００２８】
また、バーチャル映像を利用したイベント方法によってコンサートを行うことにより、アーティストがコンサート会場にいなくても、アーティスト本人が出演するコンサートと同様に盛り上げることができる。
【００２９】
また、アーティスト本人の動作と音声に極似したバーチャル映像を表示できるイベント会場を提供することができる。
【００３０】
また、イベント会場に観客席を設けることにより、多くの観客を収容して、大きなイベントを開催することができる。
【００３１】
また、バーチャル映像を利用したイベント方法により取得されたバーチャル映像の少なくとも一部あるいはバーチャル映像データをコンテンツ又はデザインとして販売することにより、斬新なコンテンツをファンに販売することができる。これにより、ファンが喜び、音楽業界が活性化される。
【図面の簡単な説明】
【００３２】
【図１】本発明の第１実施形態のイベントシステムの構成図である。
【図２】本発明の第１実施形態のイベントシステムの記憶部の構成図である。
【図３】本発明の第１実施形態のイベント方法の各ステップを示す図である。
【図４】本発明の第１実施形態のイベント方法によるバーチャル映像の一例を示した図である。
【図５】本発明の第１実施形態のイベント方法によるバーチャル映像の近傍にアーティストが立って歌を歌っている状態を示した図である。
【図６】本発明の第１実施形態のコンサート会場の平面図である
【図７】本発明の第１実施形態の第１実施例においてモーション作成装置の構成の概略を示す構成図である。
【図８】本発明の第１実施形態の第１実施例において人体モデルの一例を示す説明図である。
【図９】本発明の第１実施形態の第１実施例においてモーショングラフの一例を示す説明図である。
【図１０】本発明の第１実施形態の第１実施例においてキーフレーム成分ＭＣｋｅｙｆｒａｍｅを設定する様子の一例を示す説明図である。
【図１１】本発明の第１実施形態の第１実施例において動き盛り上がり成分ＭＣｉｎｔｅｎｓｉｔｙを設定する様子の一例を示す説明図である。
【図１２】本発明の第１実施形態の第１実施例においてモーション作成装置により実行されるメインルーチンの一例を示すフローチャートである。
【図１３】本発明の第１実施形態の第１実施例において音楽データ解析処理の一例を示すフローチャートである。
【図１４】本発明の第１実施形態の第１実施例においてスペクトルパワー増分ｄ （ｔ，ｆ）を算出する様子を示す説明図である。
【図１５】本発明の第１実施形態の第１実施例において周波数成分のヒストグラムＰｈｉｓｔ（ｔ，ｆ）の一例を示す説明図である。
【図１６】本発明の第１実施形態の第１実施例においてモーション作成処理の一例を示すフローチャートである。
【図１７】本発明の第１実施形態の第２実施例の構成を示すブロック図である。
【図１８】本発明の第１実施形態の第２実施例において被測定者にジャイロセンサーを取り付けた状態の説明図である。
【図１９】本発明の第１実施形態の第２実施例においてジャイロセンサーと骨格の相互位置を示すコンピュータ映像である。
【図２０】本発明の第１実施形態のイベントのコンテンツを売買するビジネスモデルの一例を示した図である。
【発明を実施するための形態】
【００３３】
本発明の第１実施形態に係るバーチャル映像を利用したイベント方法、コンサート開催方法及びイベント会場について、図面を参照して説明する。
【００３４】
バーチャル映像を利用したイベント方法を実現させるためのイベントシステムについて説明する。
【００３５】
図１及び図２に示すように、イベントシステム１０は、主として、メイン制御部１０Ａと、記憶部１０Ｂと、身体動作情報入力部１０Ｃと、音声情報入力部１０Ｄと、モーションデータ生成部１０Ｅと、音声データ生成部１０Ｆと、バーチャル映像データ生成部１０Ｇと、バーチャル映像表示制御部１０Ｈと、音声出力部１０Ｉと、を有している。
【００３６】
メイン制御部１０Ａは、イベントシステム１０の各構成要素を統括的に制御する。
【００３７】
なお、メイン制御部１０Ａは、例えば、ＣＰＵを用いることができる。
【００３８】
記憶部１０Ｂは、各種データ及びプログラムが記憶されている。
【００３９】
なお、記憶部１０Ｂは、例えば、ＲＯＭ、ＲＡＭ等を用いることができる。
【００４０】
身体動作情報入力部１０Ｃは、身体の動作の記録をとり、これを身体動作情報ＤＢ１として取得する。例えば、アーティストの姿勢、演技（コント）、歌を歌うときの振り付けなどの身体動作の記録に基づいた身体動作情報ＤＢ１を取得する。
【００４１】
なお、身体動作情報ＤＢ１は、記憶部１０Ｂに記憶される。
【００４２】
身体動作情報入力部１０Ｃとして、例えば、肉体の動作を測定するための各種センサを用いることができる。
【００４３】
音声情報入力部１０Ｄは、対象者の音声を録音し、これを音声情報ＤＢ２として取得する。例えば、アーティストの歌声、話し言葉などの音声の記録に基づいた音声情報ＤＢ２を取得する。
【００４４】
なお、音声情報ＤＢ２は、記憶部１０Ｂに記憶される。
【００４５】
音声情報入力部１０Ｄとして、例えば、マイクを用いることができる。
【００４６】
モーションデータ生成部１０Ｅは、身体動作情報ＤＢ１に基づいてモーションデータＤＢ３を生成する。モーションデータＤＢ３は、例えば、アーティストの姿勢、演技などの身体動作を再現可能なデータである。
【００４７】
なお、モーションデータＤＢ３は、記憶部１０Ｂに記憶される。
【００４８】
モーションデータ生成部１０Ｅとして、例えば、専用のモーションデータ生成プログラム（ソフトウエア）ＰＧ１に基づいてモーションデータＤＢ３を生成するＣＰＵを用いることができる。
【００４９】
なお、モーションデータ生成プログラムＰＧ１は、記憶部１０Ｂに記憶されている。
【００５０】
音声データ生成部１０Ｆは、音声情報に基づいて音声データＤＢ４を生成する。音声データＤＢ４は、例えば、アーティストの歌声、話し言葉などを再現可能なデータである。
【００５１】
なお、音声データＤＢ４は、記憶部１０Ｂに記憶される。
【００５２】
音声データ生成部１０Ｆとして、例えば、専用の音声データ生成プログラム（ソフトウエア）ＰＧ２に基づいて音声データＤＢ４を生成するＣＰＵを用いることができる。
【００５３】
なお、音声データ生成プログラムＰＧ２は、記憶部１０Ｂに記憶されている。
【００５４】
バーチャル映像データ生成部１０Ｇは、モーションデータＤＢ３と音声データＤＢ４とを関連付けしたバーチャル映像データＤＢ５を生成する。バーチャル映像データＤＢ５は、例えば、所定のアバター等のキャラクタに関するデータでもよいし、アーティストの身体のシルエットに関するデータでもよい。
【００５５】
バーチャル映像データＤＢ５の一例として、アーティストが歌を歌ったり、踊ったりする映像データが挙げられる。このとき、バーチャル映像データＤＢ５は、モーションデータと音声データとを調和あるいはそれらのタイミングを同期させて形成された合成データであり、アーティストの身体動作と音声を同時に自然な感じで表現することができる。
【００５６】
バーチャル映像データＤＢ５の一例として、例えば、動作と音声を伴う２次元映像又は３次元映像のデータが採用される。また、バーチャル映像データＤＢ５としては、例えば、キャラクタあるいはアーティストのシルエットが実際のアーティストの動作と同じ動作で動き、さらには実際のアーティストの歌声等と同じ歌声で歌を歌うことが可能なデータである。
【００５７】
なお、モーションデータＤＢ３と音声データＤＢ４とを調和あるいはそれらのタイミングを同期させる手法（編集方法）は、周知の技術を利用できる。詳細については、実施例の中で説明する。
【００５８】
なお、バーチャル映像データＤＢ５は、記憶部１０Ｂに記憶される。
【００５９】
バーチャル映像データ生成部１０Ｇとして、例えば、専用のバーチャル映像データ生成プログラム（ソフトウエア）ＰＧ３に基づいてバーチャル映像データＤＢ５を生成するＣＰＵを用いることができる。
【００６０】
なお、バーチャル映像データ生成プログラムＰＧ３は、記憶部１０Ｂに記憶されている
【００６１】
また、バーチャル映像データ生成部１０Ｇとして、専用のバーチャル映像データ生成ソフトウエアを利用して、モーションデータＤＢ３と音声データＤＢ４とを所定のタイミングを手作業により同期させる手法を用いてもよい。
【００６２】
バーチャル映像表示制御部１０Ｈは、例えば、表示部１２（図４参照）上でバーチャル映像データＤＢ５に基づいたバーチャル映像１４（図４参照）を映し出す。バーチャル映像表示制御部１０Ｈは、バーチャル映像の表示の内容を制御する機能を有している。
【００６３】
バーチャル映像１４は、例えば、バーチャル映像データＤＢ５に基づいたアーティストの動作と音声を伴った動きのある映像であり、あたかもアーティストが表示部１２上で歌を歌っているかのような印象を観客に対して与えることができる。
【００６４】
バーチャル映像１４として、例えば、所定のキャラクタに関する映像でもよく、アーティストのシルエットに関する映像でもよい。
【００６５】
バーチャル映像１４は、例えば、２次元的に映し出される２次元映像が採用されるが、３次元的に映し出される３次元映像を作り出してもよい。
【００６６】
バーチャル映像表示制御部１０Ｈは、例えば、映写機やプロジェクタなど、映像を再生可能な電気・電子機器を用いることができる。
【００６７】
なお、表示部１２とは、バーチャル映像１４を表示するためのスクリーンでもよいし、液晶ディスプレイ等でもよい。
【００６８】
表示部１２は、例えば、２次元映像あるいは３次元映像を映し出すことが可能なディスプレイあるいはスクリーンが好ましい。
【００６９】
音声出力部１０Ｉは、音声データに基づき音声を出力する。音声出力部１０Ｉから出力される音声は、バーチャル映像データによってモーションデータと対応付けされており、バーチャル映像の動作に対応して出力される。このため、バーチャル映像の動作タイミングと音声出力タイミングとのズレがなく、あるいは多少のズレがあってもバーチャル映像データ生成部１０Ｇあるいはメイン制御部１０Ａによって補正されるため、バーチャル映像を見ながら、音声を聴いたときに違和感が生じることがない。
【００７０】
なお、音声出力部１０Ｉとしては、例えば、スピーカを用いることができる。
【００７１】
次に、上記イベントシステム１０を用いたバーチャル映像１４を利用したイベント方法について説明する。
【００７２】
図３に示すように、バーチャル映像を利用したイベント方法は、主として、身体動作情報取得ステップＳ１０と、音声情報取得ステップＳ１１と、モーションデータ生成ステップＳ１２と、音楽データ生成ステップＳ１３と、バーチャル映像データ生成ステップＳ１４と、バーチャル映像表示制御ステップＳ１５と、音声出力ステップＳ１６と、を有する。
【００７３】
身体動作情報取得ステップＳ１０では、身体動作情報入力部１０Ｃによって身体の動作に関する身体動作情報ＤＢ１を取得する。例えば、身体動作情報ＤＢ１として、アーティストの姿勢、演技（コント）、歌を歌うときの振り付けなどの身体動作の記録に基づいた情報が該当する。
【００７４】
音声情報取得ステップＳ１１では、音声情報入力部１０Ｄによって話し言葉・歌を歌うときの音声に関する音声情報ＤＢ２を取得する。例えば、音声情報ＤＢ２として、アーティストの歌声、話し言葉などの音声の記録に基づいた情報が該当する。
【００７５】
モーションデータ生成ステップＳ１２では、モーションデータ生成部１０Ｅによって身体動作情報ＤＢ１に基づいてモーションデータＤＢ３を生成する。モーションデータＤＢ３は、例えば、アーティストの姿勢、演技などの身体動作を再現可能なデータである。
【００７６】
音声データ生成ステップＳ１３では、音声データ生成部１０Ｆによって音声情報ＤＢ２に基づいて音声データＤＢ４を生成する。音声データＤＢ４は、例えば、アーティストの歌声、話し言葉などを再現可能なデータである。
【００７７】
バーチャル映像データ生成ステップＳ１４では、バーチャル映像データ生成部１０ＧによってモーションデータＤＢ３及び音声データＤＢ４に基づいてバーチャル映像データＤＢ５を生成する。例えば、バーチャル映像データＤＢ５として、音声に合わせてアーティストが動作する身体のシルエットに関するバーチャル映像データが該当する。
【００７８】
ここで、モーションデータＤＢ３と音声データＤＢ４とのタイミング等を合わせるために、所定の手法により調和あるいは同期される。
【００７９】
バーチャル映像表示制御ステップＳ１５では、図４に示すように、バーチャル映像表示制御部１０Ｈによってバーチャル映像データＤＢ５に基づいたバーチャル映像１４を表示部１２上に映し出す。例えば、表示部１２としてのスクリーン上で、歌を歌いながら踊るアーティストのシルエットあるいはキャラクタが映し出される。
【００８０】
音声出力ステップＳ１６では、バーチャル映像表示制御ステップＳ１５と同じタイミングで実行されるものであり、音声出力部１０Ｉによって音声データＤＢ４に基づいた音声を出力する。これにより、バーチャル映像１４の動きに合致したタイミングで最適な音声が出力され、バーチャル映像１４を利用したイベント、コンサート、ライブの完成度を高めることができる。
【００８１】
なお、アーティストは、一人でも良いし、複数人のグループでもよい。複数人グループの場合には、表示部１２上で複数のアーティストが独自に歌いながら踊るシルエットあるいはそのキャラクタが映し出される。
【００８２】
ここで、図５に示すように、アーティスト本人１６を登場させ、当該アーティスト本人１６の近傍にバーチャル映像１４が映し出されるように設定し、アーティスト本人１６がバーチャル映像１４と略同じタイミングで歌を歌いながら踊る特別な演出を設けてもよい。これにより、アーティストとその分身が並んだ状態でパフォーマンスを実行でき、斬新な演出になり、イベントが最高に盛り上がる。
【００８３】
なお、イベントとして、例えば、アーティストによるコンサートあるいはライブが該当する。この場合には、バーチャル映像１４を利用したコンサート開催方法あるいはライブ開催方法という発明を創出できる。
【００８４】
本実施形態のバーチャル映像１４を利用したイベント方法あるいはコンサート・ライブ開催方法によれば、実在するアーティストの身体動作と音声に極似したバーチャル映像１４を表示することにより、イベントを進行することができる。これにより、観客にとってはあたかもアーティスト本人がその場にいるかのような斬新な印象を受け、イベントを盛り上げることができる。
【００８５】
また、アーティストにとっては、イベント会場１７（図６参照）にいなくても、自身のモーションデータＤＢ３と音声データＤＢ４に基づきバーチャル映像データＤＢ５を生成・記憶しておくことにより、自身の分身によるイベントを開催することができる。
【００８６】
身体動作情報取得ステップＳ１０において歌を歌うときの動作に関する身体動作情報ＤＢ１が取得され、モーションデータ生成ステップＳ１２においてその身体動作情報ＤＢ１に基づいてモーションデータＤＢ３が生成されることにより、バーチャル映像１４によってアーティストの動作を正確に表現することができる。
【００８７】
音声情報取得ステップＳ１１において歌声に関する音声に関する音声情報が取得され、音声データ生成ステップＳ１３においてその音声情報に基づいて音声データＤＢ４が生成されることにより、バーチャル映像１４によってアーティストの歌声を正確に表現することができる。
【００８８】
バーチャル映像データ生成ステップＳ１４では、モーションデータＤＢ３及び音声データＤＢ４に基づいて音声に合わせて動作するバーチャル映像データＤＢ５が生成される。そして、バーチャル映像データＤＢ５に基づいてバーチャル映像１４が生成されて表示されることにより、アーティスト本人による演出のように見せかけることができ、観客が益々興奮し、イベントを成功させることができる。
【００８９】
ここで、バーチャル映像１４を利用したイベント方法によってコンサートの開催することにより、アーティストが出演する場合と同様にして、コンサートを盛り上げることができる。また、アーティストにとっては、コンサート会場１６にいなくても、自身の分身によるコンサートを開催することができる。
【００９０】
なお、モーションデータＤＢ３の基になる被測定者は、アーティストに限定されるものではない。アーティストの他に、人間、アニメのキャラクタ、故人、動物、機械、ロボットなど様々な人・物が対象となる。これらのものの身体動作情報ＤＢ１は、予め記録しておくことが好ましいが、コンピュータ等により新しく生成（再現）することも可能である。
【００９１】
また、同様にして、音声データＤＢ４の基になる被測定者は、アーティストに限定されるものではない。アーティストの他に、人間、アニメのキャラクタ、故人、動物、機械、ロボットなど様々な人・物が対象となる。これらのものの音声情報ＤＢ２は、予め取得しておくことが好ましいが、コンピュータ等により新しく生成（再現）することも可能である。音声データＤＢ４として、生演奏に限らず、人工的に作られたもの、自然環境の中で発生し得る音を利用してもよい。
【００９２】
次に、上記したバーチャル映像１４を利用したイベントが開催されるイベント会場について説明する。
【００９３】
図６に示すように、イベント会場１７は、バーチャル映像１４を表示する表示部１２と、表示部１２の近傍に配置された複数の観客席１８を有する観客エリア２０と、を有している。
【００９４】
また、イベント会場１７には、表示部１２の近傍にステージ２２を適宜配置してもよい。ステージ２２を設けることにより、ステージ２２上にアーティスト本人が出演して歌を歌いながら踊り、同時に表示部１２上でバーチャル映像１４を表示するようにしてイベント（コンサートあるいはライブ）を行ってもよい。
【００９５】
なお、イベントとしてコンサートを行う場合には、イベント会場１７がコンサート会場になる。また、イベントとしてライブを行う場合には、イベント会場１７がライブハウスあるいはライブ会場になる。
【００９６】
これにより、アーティストの動作と音声に極似したバーチャル映像１４を表示できるイベント会場１７を提供することができる。また、バーチャル映像１４の表示とともに、アーティスト本人が出演することにより、斬新な演出を作り出すことができる。
【００９７】
特に、イベント会場１７に複数の観客席１８を設けることにより、多くの観客を収容して、大きなイベントを開催することができる。
【００９８】
次に、上記したバーチャル映像１４を利用したイベント方法を用いたビジネスモデルを説明する。
【００９９】
ここでは、第１実施形態のイベント方法及びイベントシステム１０によって生成されたバーチャル映像データＤＢ５及び表示部１２に映し出されたバーチャル映像１４の少なくとも一部のコンテンツ自体、あるいはそのコンテンツが付された物品を売買取引するビジネスモデルをとりあげる。
【０１００】
「コンテンツ」とは、音楽あるいはその他の情報の内容という意味で定義される。コンテンツには、動画・静止画の他に、デザイン、写真、絵等が含まれる。
【０１０１】
本発明の「物品」には、コンテンツの少なくとも一部が付された生活用品、衣類、植物、動物、食物、嗜好品、車両等が含まれる。
【０１０２】
例えば、図２０に示すように、イベントの内容をカメラ等の撮像手段（図示省略）で記録して、動画ファイル等のコンテンツ２４を作成する。このコンテンツ２４自体又はコンテンツ２４に関する情報をアーティスト用端末２６で専用のアプリケーション２８を用いて保存する。そして、アーティスト用端末２６から専用のアプリケーション２８を用いてコンテンツ２４又はその情報をコンテンツ配信用サーバ３０にアップロードする。
【０１０３】
ファンは、インターネットを介してコンテンツ配信用サーバ３０からユーザ用端末３２に専用のアプリケーション３４を用いてコンテンツ又はその情報をダウンロードする。そして、欲しいコンテンツ２４を専用のアプリケーション３４を用いてユーザ用端末３２から購入処理を行う。このときの課金処理は、別途設けられている課金管理用サーバ３６に対して行うことが可能である。
【０１０４】
このようにして、コンテンツ２４を取得したファンは、自身の端末３２によりコンテンツ２４を再生してイベントを楽しむことができる。これにより、ファンが喜び、音楽業界が活性化される。
【０１０５】
また、コンテンツ２４として、バーチャル映像データＤＢ５あるいはバーチャル映像１４の少なくとも一部が表示された物品（グッズ）でもよい。ここで、物品（グッズ）として、衣類、文房具、録音されたメディア類などが該当する。これらの物品にバーチャル映像１４の少なくとも一部がデザインとして表示されていることにより、ファンが喜ぶ。なお、物品の発送は、既存の配送ルートを利用することができる。
【０１０６】
また、バーチャル映像データＤＢ５を入手することにより、様々な用途で利用することができる。契約内容によっては、ファンがバーチャル映像１４を自在に編集することも可能になる。これにより、斬新なコンテンツ２４をファンに販売することができる。この結果、ファンが喜び、音楽業界が活性化される。
【０１０７】
次に、上記したバーチャル映像１４を利用したイベント方法の実施例について説明する。なお、コンサート開催方法についても下記の実施例を適用することができる。
【０１０８】
［第１実施例］
バーチャル映像を利用したイベント方法の第１実施例について説明する。バーチャル映像データ１４を生成するための手法として、モーションキャプチャーを利用することができる。第１実施例では、モーションキャプチャーの一例として、それを実行するための装置あるいはシステムを含めて説明する。
【０１０９】
なお、第１実施例は、特許庁電子図書館で公開されている特開２００７−１８３８８号公報に記載されている公知技術を適用したものである。以下、特許庁電子図書館で公開されている特開２００７−１８３８８号公報に記載されている内容に基づいて第１実施例を説明する。
【０１１０】
第１実施例では、図７は、モーション作成装置１００の構成の概略を示す構成図である。モーション作成装置１００は、図示するように、汎用のコンピュータにモーション作成処理用のプログラムをインストールすると共に起動することにより図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力ポートなどのハードウエアとソフトウエアとが一体となって機能するものとして構成されている。
【０１１１】
モーション作成装置１００は、音楽データを入力する音楽データ入力部１０２と、入力した音楽データを解析する処理を行なう音楽データ解析部１０４と、音楽データの解析結果に基づいて人体画像のモーションを作成する処理を行なうモーション作成処理部１０６と、作成したモーションで人体画像が動作するようディスプレイ１０１に表示する処理を行なう表示処理部１０８と、人体画像の複数のモーションをモーショングラフとして登録するモーションデータベース（以下、モーションＤＢと呼ぶ）１１０と、を備えている。
【０１１２】
なお、音楽データは、アーティストの歌声、話し声等を予め記録しておき、音声データという形式で生成するものである。
【０１１３】
音楽データ入力部１０２と音楽データ解析部１０４は、例えば、イベントシステム１０の音声情報入力部１０Ｄと音声データ生成部１０Ｆに対応する。
【０１１４】
モーション作成処理部１０６は、例えば、イベントシステム１０の身体動作情報入力部１０Ｃとモーションデータ生成部１０Ｅとバーチャル映像データ生成部１０Ｇに対応する。
【０１１５】
表示処理部１０８は、例えば、イベントシステム１０のバーチャル映像表示制御部１０Ｈに対応する。
【０１１６】
ディスプレイ１０１は、例えば、イベントシステム１０の表示部１２に対応する。
【０１１７】
モーションデータベース１１０は、例えば、イベントシステム１０の記憶部１０Ｂに対応する。
【０１１８】
図８は、人体画像の一フレームを構成する人体モデルの一例を示す説明図である。人体モデルは、図示するように、人体の向きを示すベクトルＲ（＝｛ｒｘ，ｒｙ，ｒｚ｝）と人体の空間上の位置を示すベクトルｔ（＝｛ｔｘ，ｔｙ，ｔｚ｝）と人体の腰（ｗａｉｓｔ）を中心とした体中心座標系｛Ｒ，ｔ｝における人体モデルの各要素を連結するリンクの向きを示す１７個の姿勢ベクトル（単位ベクトル）ｖ０〜ｖ１６と各リンクの長さを示す９個のスカラー値ｌ０〜ｌ８とからなる人体姿勢Ｓ（ｆ）（ｆはフレーム番号）として構成されている（次式（１）〜（３）参照）。
【０１１９】
ここで、体中心座標系｛Ｒ，ｔ｝は、腰（ｗａｉｓｔ）の位置を原点としてｚ軸が腰から腹部へ向かう方向，ｙ軸が正面方向，ｘ軸がｚ軸およびｙ軸に直交する方向となるよう定めた。また、スカラー値ｌ０〜ｌ８を９個としているのは右腕ｖ１，ｖ２，ｖ３と左腕ｖ５，ｖ６，ｖ７の長さや右手ｖ４と左手ｖ８の長さ，右足ｖ９，ｖ１０，ｖ１１，ｖ１２と左足ｖ１３，ｖ１４，ｖ１５，ｖ１６の長さを左右同一としたためである。
【０１２０】
【数１】
2015185020.tif 000003
【０１２１】
図９は、モーションＤＢ１１０に登録されるモーショングラフの一例を示す説明図である。モーショングラフは、図示するように、モーションキャプチャーにより取り込まれた複数のモーションデータ（図中にはモーションデータ１〜６と表示）上の各フレームのうち人体姿勢Ｓ（ｆ）が互いに類似する２つのフレーム（ノード）間を連結した有向性グラフとして構成されている。
【０１２２】
人体姿勢Ｓ（ｆ）が互いに類似するフレーム間の連結は、例えば、モーションデータ１〜６上の任意の２つのフレームに対して次式（４）により相関値を計算し、計算した相関値がしきい値よりも大きいものを人体姿勢ＳA（ｆＡ），ＳB（ｆＢ）が類似しているフレームｆＡ，ｆＢとして決定し、決定した２つのフレームｆＡ，ｆＢ間を次式（５）を含む三次補間の関係式を用いて生成されるフレームによって連結することにより行なうことができる。
【０１２３】
ここで、式（４）中の右辺第１項は２つのフレームｆＡ，ｆＢ間の姿勢ベクトルｖ（ｆＡ），ｖ（ｆＢ）（ｉは姿勢ベクトルの番号）の相関を示し、右辺第２項は２つのフレームｆＡ，ｆＢ間の姿勢ベクトルｖ（ｆＡ），ｖ（ｆＢ）の微分（動き）の相関を示す。
【０１２４】
なお、「αｉ」「βｉ」は、定数である。また、式（５）中の「Ｔ」は遷移時間（フレームｆＡ，ｆＢ間に挿入するフレーム数）を示す。式（５）では、姿勢ベクトルｖ（ｆＡ），ｖ（ｆＢ）についてのみ記述したが、ベクトルＲやベクトルｔについても同様の三次補間の関係式を用いることによりフレームｆＡ，ｆＢ間を連結するためのフレームを生成することができる。こうしてモーショングラフを構築すると、モーショングラフ上のノード間を遷移することによりあらゆるパターンのモーションを少ないデータ量で実現することができる。
【０１２５】
【数２】
2015185020.tif 000004
【０１２６】
また、モーショングラフは、フレーム毎にキーフレーム成分ＭＣｋｅｙｆｒａｍｅと動き盛り上がり成分ＭＣｉｎｔｅｎｓｉｔｙとが関連付けられてモーションＤＢ１１０に登録されている。
【０１２７】
ここで、キーフレーム成分ＭＣｋｅｙｆｒａｍｅは、右手ｖ４，左手ｖ８の動作速度が極小となるフレームをキーフレームｆ，ｆ（ｉ，ｊはキーフレームの番号）としてそれぞれ登録しておき、フレームｆに対してキーフレームｆの時刻を中心とした時間幅Ｋをもたせたガウス関数を適用して得られる値と、フレームｆに対して同様にキーフレームｆの時刻を中心とした時間幅Ｋをもたせたガウス関数を適用して得られる値とを足し合わせたものを設定するものとした（次式（６）参照）。
【０１２８】
なお、式（６）中の「σ」は分散を示す。キーフレーム成分ＭＣｋｅｙｆｒａｍｅを設定する様子の一例を図１０に示す。図示するように、キーフレーム成分ＭＣｋｅｙｆｒａｍｅは、キーフレームｆ，ｆに近いフレームｆほど値が大きくなるよう設定され、その値が大きいほど後述する音楽のリズム（ビート特徴成分ＡＳＣｂｅａｔ）との相関が大きく現われる。これは、踊りの中で手の動きが止まる場面（止め動作）は音楽のリズムにあわせて出現される傾向があることが確認されたことに基づく。
【０１２９】
キーフレーム成分ＭＣｋｅｙｆｒａｍｅに時間的な幅Ｋをもたせているのは、人は音楽のリズムに完全にあわせて踊っているわけではなく、ある程度のズレが生じることがあることを考慮したものである。また、動き盛り上がり成分ＭＣｉｎｔｅｎｓｉｔｙは、フレームｆに対して隣接するキーフレームｆ，ｆ間の中央時刻を中心としてキーフレームｆ，ｆ間の時間幅をもたせたガウス関数を適用して得られる値と、フレームｆに対して同様に隣接するキーフレームｆ，ｆ間の中央時刻を中心としてキーフレームｆ，ｆ間の時間幅をもたせたガウス関数を適用して得られる値とを足し合わせたものを設定するものとした（次式（７）参照）。
【０１３０】
なお、式（７）中の「ｖ（ｉ）」は隣接するキーフレームｆ，ｆ間における右手ｖ４の最大速度を示し、「ｖ（ｉ）」は左手ｖ８において隣接するキーフレームｆ，ｆ間における左手ｖ８の最大速度を示す。動き盛り上がり成分ＭＣｉｎｔｅｎｓｉｔｙを設定する様子の一例を図１１に示す。
【０１３１】
図示するように、動き盛り上がり成分ＭＣｉｎｔｅｎｓｉｔｙは、隣接するキーフレームｆ，ｆ間の中央時刻（フレーム），隣接するキーフレームｆ，ｆ間の中央時刻（フレーム）に近いフレームｆほど値が大きくなり且つ隣接するキーフレームｆ，ｆ間における右手ｖ４の最大速度ｖ（ｉ），隣接するキーフレームｆ，ｆ間における左手ｖ８の最大速度ｖ（ｉ）が大きいほど大きくなるよう設定され、後述する音楽盛り上がり成分ＡＳＣｉｎｔｅｎｓｉｔｙとの相関が大きく現われる。これは、音楽が盛り上がっているときには手も速く動かされており、そうでないときには手もゆっくりとしか動かされていないことが確認されたことに基づく。
【０１３２】
【数３】
2015185020.tif 000005
【０１３３】
次に、こうして構成された実施例のモーション作成装置１００の動作について説明する。図１２は、モーション作成装置１００により実行されるメインルーチンの一例を示すフローチャートである。このルーチンは、操作者によりモーション作成開始の指示がなされたときに所定時間毎（例えば３秒毎）に繰り返し実行される。
【０１３４】
メインルーチンが実行されると、モーション作成装置１００のＣＰＵは、まず、音楽データを入力する（ステップＳ１００）。音楽データは、ＷＡＶＥデータやＭＩＤＩデータなどの他の如何なる形式のデータを入力するものとしてもよい。また、音楽データは、音楽ＣＤなどの記録媒体からデータを直接読み込むことにより入力するものとしてもよいし、演奏されている音楽をマイクから取り込むことにより入力するものとしてもよい。続いて、入力した音楽データを解析し（ステップＳ１１０）、その解析結果に基づいてモーションＤＢ１１０のモーショングラフから実行パスＰａｔｈｅｘｅｃ（モーショングラフ上の軌跡）を選択することによりモーションを作成し（ステップＳ１２０）、作成したモーションをディスプレイ２１に表示出力する（ステップＳ１３０）。こうしたステップＳ１００〜Ｓ１３０の処理を音楽が終了するまで繰り返し実行して（ステップＳ１４０）、本ルーチンを終了する。
【０１３５】
ステップＳ１１０における音楽データの解析は、実施例では、図１３に例示する音楽データ解析処理により実行される。音楽データ解析処理は、まず、入力した音楽データをスペクトル解析する（ステップＳ２００）。スペクトル解析は、実施例では、窓関数として音楽データの処理に適していると言われているガウス関数を用いてフーリエ変換することにより行なうものとした。これにより、時間成分ｔ毎，周波数成分ｆ毎のスペクトルパワーｐ（ｔ，ｆ）が導出される。
【０１３６】
続いて、スペクトル解析の結果に基づいて入力した音楽のビート間隔とビート時刻とを推定する（ステップＳ２１０）。ビート間隔の推定は、次式（８）により時間成分ｔ毎，周波数成分ｆ毎のスペクトルパワー増分ｄ（ｔ，ｆ）を算出し、次式（９）により全ての周波数成分におけるスペクトルパワー増分ｄ（ｔ，ｆ）を合計してスペクトルパワー増分Ｄ（ｔ）を算出し、式（１０）によりスペクトルパワー増分Ｄ（ｔ）の自己相関関数ＲＤＤ（τ）を求めてそれが最初にピークを示すときの時間τ＿ｐｅａｋを抽出することにより推定することができる。
【０１３７】
図１４に、スペクトルパワー増分ｄ（ｔ，ｆ）を算出する様子を示す。なお、式（８）において前回スペクトルパワーＰｒｅｖＰｏｗに対象とする周波数ｆの上下（ｆ±１）のスペクトルパワーも含めているのは、ある音が発音されているときに必ずしも一定の音程で発音されるわけではなく多少音程が上下することを考慮したことに基づく。式（１０）に示す自己相関関数ＲＤＤ（τ）は、最初にピークが到来する時間τ＿ｐｅａｋがスペクトルパワー増分Ｄ（ｔ）の周期をあらわすから、この時間τ＿ｐｅａｋは発音間隔をあらわし、これをビート間隔とみなすことができる。
【０１３８】
ビート時刻の推定は、実施例では、まず、推定したビート間隔を周期としたパルスを発生するパルス列Ｐ（ｔ）を設定し、次式（１１）によりパルス列Ｐ（ｔ）と上述したスペクトルパワーの増分Ｄ（ｔ）との相互相関関数ＲＤＰ（τ）を求めてそれが最初にピークを示すときの時間τ＿ｐｅａｋを抽出し、この時間τ＿ｐｅａｋを仮のビート時刻として設定する。
【０１３９】
式（１１）に示す相互相関関数ＲＤＰ（τ）では、最初にピークが到来する時間τ＿ｐｅａｋだけパルス列Ｐ（ｔ）をずらしたパルス列Ｐ（ｔ＋τ＿ｐｅａｋ）がスペクトルパワーの増分Ｄ（ｔ）と類似することを意味するから、この時間τ＿ｐｅａｋによりある程度のビート時刻を把握することができる。そして、設定した仮のビート時刻を中心とした所定時間幅（例えばビート間隔の１／１０程度の時間幅）でのスペクトルパワー増分Ｄ（ｔ，ｆ）のピークを抽出し、そのピークを示すときの時刻をビート時刻として設定することにより正確なビート時刻を把握することができる。
【０１４０】
【数４】
2015185020.tif 000006
【０１４１】
こうしてビート時刻を推定すると、ビート時刻ｔから次のビート時刻ｔ＋１までの周波数成分のヒストグラムＰｈｉｓｔ（ｔ，ｆ）を設定する（ステップＳ２２０）。実施例では、周波数成分ｆ毎にビート時刻ｔから次のビート時刻ｔ＋１まで即ち一拍間を積分区間としてスペクトルパワーｐ（ｔ，ｆ）を時間積分し、その積分値を周波数成分の順に並べたときの積分値のピークを抽出し、抽出したピークをその周波数成分ｆ，ビート時刻ｔにおけるヒストグラムＰｈｉｓｔ（ｔ，ｆ）として設定するものとした。周波数成分のヒストグラムＰｈｉｓｔ（ｔ，ｆ）の一例を図１５に示す。
【０１４２】
周波数成分のヒストグラムＰｈｉｓｔ（ｔ，ｆ）を設定すると、設定したヒストグラムＰｈｉｓｔ（ｔ，ｆ）に基づいてビート特徴成分ＡＳＣｂｅａｔ（ｔ）を設定する（ステップＳ２３０）。ビート特徴成分ＡＳＣｂｅａｔ（ｔ）の設定は、次式（１２）および次式（１３）を用いて行なわれる。
【０１４３】
即ち、周波数成分ｆ毎に式（１２）により連続するビート時刻ｔ，ｔ＋１における周波数成分のヒストグラムＰｈｉｓｔ（ｔ，ｆ），Ｐｈｉｓｔ（ｔ＋１，ｆ）の差分Ｐｄｉｆｆ（ｔ，ｆ）をとり、これを式（１３）により周波数成分０〜１ｋＨｚに亘って合計したものをビート特徴成分ＡＳＣｂｅａｔ（ｔ）として設定するものとした。
【０１４４】
通常、音楽のコードが変わる時刻で小節線（拍節の区切れ）が現われる可能性が高く、また、コードが変わるときには周波数成分が大きく変化しコードが変わらないときには周波数成分もほとんど変化がないことが知られている。したがって、周波数成分のヒストグラムＰｈｉｓｔ（ｔ，ｆ）の時間的な変化の度合いとして算出されるビート特徴成分ＡＳＣｂｅａｔ（ｔ）は、ビート時刻ｔにおけるコードの変化度として考えることができる。
【０１４５】
【数５】
2015185020.tif 000007
【０１４６】
ビート特徴成分ＡＳＣｂｅａｔ（ｔ）を設定すると、上述した周波数成分のヒストグラムＰｈｉｓｔ（ｔ，ｆ）に基づいて音楽盛り上がり成分ＡＳＣｉｎｔｅｎｓｉｔｙ（ｔ）を設定して（ステップＳ２４０）、本ルーチンを終了する。音楽盛り上がり成分ＡＳＣｉｎｔｅｎｓｉｔｙ（ｔ）の設定は、式（１４）を用いて行なわれる。
【０１４７】
式（１４）では、可聴領域のメロディーラインが４００〜６００Ｈｚ程度と考えられることから、その倍音成分も考慮して周波数成分のヒストグラムＰｈｉｓｔ（ｔ，ｆ）を４００〜１５００Ｈｚにわたって合計したものを音楽盛り上がり成分ＡＳＣｉｎｔｅｎｓｉｔｙ（ｔ）に設定するものとした。音楽盛り上がり成分ＡＳＣｉｎｔｅｎｓｉｔｙ（ｔ）を周波数成分のヒストグラムＰｈｉｓｔ（ｔ，ｆ）に基づいて設定するのは、一般に音楽が盛り上がるにつれて楽曲のメロディーラインのスペクトルパワーも大きくなることに基づく。
【０１４８】
【数６】
2015185020.tif 000008
【０１４９】
ステップＳ１２０におけるモーション作成処理は、図１６に例示するモーション作成処理により実行される。モーション作成処理では、まず、モーショングラフ上の現在のポイントから選択可能なパスＰａｔｈに沿って現在のビート時刻ｔからＴ時間後（実施例では３秒すなわちフレームレートを１２０Ｈｚとすると３６０フレーム分）までに亘ってビート特徴成分ＡＳＣｂｅａｔ（ｔ＋τ）（０≦τ≦Ｔ）と上述したキーフレーム成分ＭＣｋｅｙｆｒａｍｅとの相関値ＭａｔｃｈＥｖａｌｂｅａｔを次式（１５）を用いて計算し（ステップＳ３００）、選択可能なパスＰａｔｈの中から相関値ＭａｔｃｈＥｖａｌｂｅａｔが大きい順にＮ個（例えば５個）のパスＰａｔｈｂｅａｔを選択する処理を行なう（ステップＳ３１０）。
【０１５０】
この処理は、相関値ＭａｔｃｈＥｖａｌｂｅａｔがビート特徴成分ＡＳＣｂｅａｔ（ｔ）が生じるポイントとキーフレーム成分ＭＣｋｅｙｆｒａｍｅが生じるポイントとが一致するほど大きな値として計算されることから、音楽のコード変化が生じるビート時刻で手の動きが止まる場面（止め動作）が生じるようにパスＰａｔｈｂｅａｔを選択する処理と言える。
【０１５１】
【数７】
2015185020.tif 000009
【０１５２】
こうしてＮ個のパスＰａｔｈｂｅａｔを選択すると、Ｎ個のパスＰａｔｈｂｅａｔ毎に音楽盛り上がり成分ＡＳＣｉｎｔｅｎｓｉｔｙ（ｔ＋τ）と上述した動き盛り上がり成分ＭＣｉｎｔｅｎｓｉｔｙ（ｔ＋τ）との相関値を次式（１６）により計算すると共に（ステップＳ３２０）、選択したＮ個のパスＰａｔｈｂｅａｔのうち計算した相関値が最も大きいパスを実行パスＰａｔｈｅｘｅｃに設定して（ステップＳ３３０）、本ルーチンを終了する。
【０１５３】
【数８】
2015185020.tif 000010
【０１５４】
第１実施例によれば、人体画像のモーションを構成する各フレームをキーフレーム成分ＭＣｋｅｙｆｒａｍｅに関連付けてモーションＤＢ１１０に登録し、音楽データを入力すると共に入力した音楽データを解析してビート特徴成分ＡＳＣｂｅａｔを抽出し、抽出したビート特徴成分ＡＳＣｂｅａｔとキーフレーム成分ＭＣｋｅｙｆｒａｍｅとの相関値ＭａｔｃｈＥｖａｌｂｅａｔが大きいパスＰａｔｈｂｅａｔを選択してモーションを作成して表示出力するから、音楽のリズムにあったより適切なモーションをリアルタイムに作成することができる。しかも、キーフレーム成分ＭＣｋｅｙｆｒａｍｅに加えて動き盛り上がり成分ＭＣｉｎｔｅｎｓｉｔｙも各フレームに関連付けてモーションＤＢ１１０に登録し、入力した音楽データから音楽盛り上がり成分ＡＳＣｉｎｔｅｎｓｉｔｙを抽出して動き盛り上がり成分ＭＣｉｎｔｅｎｓｉｔｙと音楽盛り上がり成分ＡＳＣｉｎｔｅｎｓｉｔｙとの相関値が最も大きいパスを選択するから、音楽に盛り上がりの大小にも対応したモーションを作成することができる。
【０１５５】
モーション作成装置１００では、ビート特徴成分ＡＳＣｂｅａｔとキーフレーム成分ＭＣｋｅｙｆｒａｍｅとの相関値ＭａｔｃｈＥｖａｌｂｅａｔが大きいＮ個のパスＰａｔｈｂｅａｔの中から、音楽盛り上がり成分ＡＳＣｉｎｔｅｎｓｉｔｙと動き盛り上がり成分ＭＣｉｎｔｅｎｓｉｔｙとの相関値が最も大きいパスを実行パスＰａｔｈｅｘｅｃに設定するものとしたが、音楽の盛り上がりに関係なく、ビート特徴成分ＡＳＣｂｅａｔとキーフレーム成分ＭＣｋｅｙｆｒａｍｅとの相関値ＭａｔｃｈＥｖａｌｂｅａｔが最も大きいパスを実行パスＰａｔｈｅｘｅｃに設定するものとしてもよい。
【０１５６】
モーション作成装置１００では、音楽のコードに変化が生じるビート時刻が到来するときにキーフレーム成分ＭＣｋｅｙｆｒａｍｅとの相関が大きく現われるようにビート特徴成分ＡＳＣｂｅａｔを設定するものとしたが、コード変化に関係なく、単にビート時刻が到来するときに値がキーフレーム成分ＭＣｋｅｙｆｒａｍｅとの相関が大きく現われるようにビート特徴成分ＡＳＣｂｅａｔを設定するものとしてもよいし、ビートの特徴を示す他の如何なるパラメータを用いてビート特徴成分ＡＳＣｂｅａｔを設定するものとしてもよい。
【０１５７】
モーション作成装置１００では、手ｖ４，ｖ８の動作速度に基づいてキーフレーム成分ＭＣｋｅｙｆｒａｍｅや動き盛り上がり成分ＭＣｉｎｔｅｎｓｉｔｙを設定するものとしたが、手ｖ４，ｖ８に限られず腕ｖ１〜ｖ３，ｖ５〜ｖ７の動作速度に基づいてキーフレーム成分ＭＣｋｅｙｆｒａｍｅや動き盛り上がり成分ＭＣｉｎｔｅｎｓｉｔｙを設定するものとしてもよいし、さらに他の部位の動作速度も考慮するものとしてもよい。
【０１５８】
モーション作成装置１００では、人体画像のモーション（アニメーション）を作成するものとしたが、人体画像に限られず、人体ロボットのモーションの作成に適用するものとしてもよい。また、犬や猫などの人以外の動物画像やその他のアニメキャラクター画像のモーションの作成に適用するものとしても差し支えないし、犬や猫などの人以外の動物型のロボットやその他のキャラクターロボットのモーションの作成に適用するものとしても差し支えない。なお、画像によりモーションを作成する場合、用いる画像は二次元画像であってもよいし三次元画像であってもよい。
【０１５９】
第１実施例によれば、モーションデータＤＢ３（図２参照）と音声データＤＢ４（図２参照）とを同期あるいは合成して編集されたバーチャル映像データＤＢ５（図２参照）を取得することができる。
【０１６０】
なお、第１実施例は、モーションキャプチャー技術を利用したものであるが、これに限定されず、現在知られているモーションキャプチャー技術を適用することができる。
【０１６１】
モーションキャプチャー技術には、光学式、磁気式、機械式の３つの方式があり、これらの方式全てを利用することができる。
【０１６２】
［第２実施例］
バーチャル映像を利用したイベント方法の第２実施例について説明する。バーチャル映像１４を生成するための手法として、モーションキャプチャーを利用することができる。第２実施例では、モーションキャプチャーの一例として、それを実行するための装置あるいはシステムを含めて説明する。
【０１６３】
なお、第２実施例は、特許庁電子図書館で公開されている特開２００５−３３７９８３号公報に記載されている公知技術を適用したものである。以下、特許庁電子図書館で公開されている特開２００５−３３７９８３号公報に記載されている内容に基づいて第２実施例を説明する。
【０１６４】
第２実施例は、図１７に示すように、モーションキャプチャシステム２００は、人体（以下、被測定者という）各部に１８個のジャイロセンサーを取り付けると共に、当該被測定者の骨格のデータをコンピュータに入力し、前記１８個のジャイロセンサーを発信装置と有線接続し、該発信装置を被測定者に取り付ける。
【０１６５】
前記発信装置は、各ジャイロセンサーからのデータをコンピュータに無線発信し、コンピュータで受信して目的に対応した方法でデータを整理し、収録する。
【０１６６】
前記コンピュータには、腰から下の姿勢制御用ソフトを搭載してあって、被測定者が前後、左右に移動する一般動作についても対応できるようにしてある。
【０１６７】
前記ジャイロセンサーは、３次元センサであって、回転方向に対しても正確にデータを取ることができるので、被測定者の身体の微妙な運動、各部変化についても収録することができる。
【０１６８】
前記ジャイロセンサーの取り付け位置は、被測定者の骨格に基づき位置決めがしてあるので、取り付け後は偏倚するおそれがなく、そのデータは修正を要しない。
【０１６９】
即ちコンピュータに入力するデータは骨格対応位置におけるデータとして、そのまま演算することにより、真実の形態と、連動を再現し得ることになり、被測定者の運動を正確かつ円滑に再現させることができる。
【０１７０】
前記被測定者の骨格寸法を予め測定した猿の骨格寸法に置換することにより、当該猿の運動を表現収録することができる。
【０１７１】
即ちアニメーションの登場者を収録するには、人体の実録データを利用し、登場者（例えば他の動物又は架空の動物、想像上の動物）の活動を真実らしく具現させることができる。
【０１７２】
ジャイロセンサーを１８個取り付けたが、１８個に限定するものではなく、詳細な部分運動を採用する為に、取り付け位置を変え、取り付け個数を変えることは自由である。
【０１７３】
従ってアニメーション登場の動物から、各種ロボット（介護用、家庭用、工業用その他人体に代る各種作業ロボット）の運動改善資料として採用することができる。
【０１７４】
被測定者（人間）の運動を収録したものを、求める動物（例えば猿）の運動に置換する為には、被測定者の骨格データを猿の骨格データに変換すればよいと説明した。
【０１７５】
更に正確には、同種の動物（例えば日本猿）の運動状態をアニメーションに採用しようとする日本猿の骨格データとを変換することにより、一層真実に近い運動をさせることができる。
【０１７６】
前記のように、この発明は人間以外の動物その他動く物について測定して収録し、その動きを分析して改善することができる。
【０１７７】
（具体例）
図１８に示すように、被測定者２０２の身体各部に、ジャイロセンサー２０４ａ、２０４ｂ、２０４ｃ、２０４ｄ、２０４ｅ、２０４ｆ、２０４ｇ、２０４ｈ、２０４ｉ、２０４ｊ、２０４ｋ、２０４ｌ、２０４ｍ、２０４ｎ、２０４ｏ、２０４ｐ、２０４ｑ、２０４ｒを夫々取り付ける。
【０１７８】
次にコンピュータを内蔵した発信装置２０８と、前記各ジャイロセンサー２０４（全部を指す時はアルファベットなしとする）と、を電線２１２で接続し、発信装置２０８は、ベルトなどを用いて被測定者２０２の腰に装着する。また前記発信装置２０８とコンピュータ付の受信装置２１４との間は無線で送受信されている。
【０１７９】
従って被測定者２０２の身体各部で検出された運動データは、電線２１２を介して発信装置に送られ、ここで演算（Ｘ、Ｙ、Ｚの点から位置を決定する）して位置を定める。この演算値を無線で受信装置２１４に送り、受信装置２１４内に設置した内蔵コンピュータに入力して、内蔵コンピュータ内に登録された骨格との関係から、骨格の運動による画像を収録する。ジャイロセンサー２０４から毎秒１００〜５００のデータが入力されるので、骨格の運動は極めてスムースに行われる。
【０１８０】
具体例によれば、被測定者２０２の身体に１８個以上のジャイロセンサー２０４をつけて、その３次元データを送り、このデータに基づき骨格の動きを表示するので、被測定者２０２の運動状態を正確に収録することができる。
【０１８１】
またジャイロセンサー２０４のデータは、コンピュータ処理（３次元データより一点を求める）して無線送信するので、例えば自動車又はオートバイなどの運転中でも、運転者の動きを適確に収録することができる。このようなことは、従来知られているモーションキャプチャーでは不可能であった。
【０１８２】
図１９は、主要骨格に、ジャイロセンサー２０４の取り付け位置を示したものである。即ち頭２１６、首２１８、腰２２０、脚の付け根２２２、足２２４に、ジャイロセンサー２０４を夫々取り付けた図である。この場合には人体の重要部の動きを測定する為の実例であるが、人体については最小でも図１９のように７個のジャイロセンサー２０４が必要である。人間の場合、動物の場合により最小必要個数は異なる。
【０１８３】
第２実施例では、上述した方法により、モーションデータＤＢ３（図２参照）を取得することができる。このモーションデータＤＢ３に対して音楽データあるいは音声データＤＢ４（図２参照）を同期あるいは合成させてバーチャル映像データＤＢ５（図２参照）を取得することが可能である。
【０１８４】
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。
【符号の説明】
【０１８５】
１０        イベントシステム
１０Ａ      メイン制御部
１０Ｂ      記憶部
１０Ｃ      身体動作情報入力部（身体動作情報取得手段）
１０Ｄ      音声情報入力部（音声情報取得手段）
１０Ｅ      モーションデータ生成部（モーションデータ生成手段）
１０Ｆ      音声データ生成部（音声データ生成手段）
１０Ｇ      バーチャル映像データ生成部（バーチャル映像データ生成手段）
１０Ｈ      バーチャル映像表示制御部（バーチャル映像表示制御手段）
１０Ｉ      音声出力部（音声出力手段）
１２        表示部
１４        バーチャル映像
１６        アーティスト本人
１７        イベント会場
１８        観客席
２０        観客エリア
２２        ステージ
２４        コンテンツ
２６        アーティスト用端末
２８        アプリケーション
３０        コンテンツ配信用サーバ
３２        ユーザ用端末
３４        アプリケーション
３６        課金管理用サーバ
ＤＢ１      身体動作情報
ＤＢ２      音声情報
ＤＢ３      モーションデータ
ＤＢ４      音声データ
ＤＢ５      バーチャル映像データ
ＰＧ１      モーションデータ生成プログラム
ＰＧ２      音声データ生成プログラム
ＰＧ３      バーチャル映像データ生成プログラム
Ｓ１０      身体動作情報取得ステップ
Ｓ１１      音声情報取得ステップ
Ｓ１２      モーションデータ生成ステップ
Ｓ１３      音声データ生成ステップ
Ｓ１４      バーチャル映像データ生成ステップ
Ｓ１５      バーチャル映像表示制御ステップ
Ｓ１６      音声出力ステップ
【図１】
2015185020.tif 000011
【図２】
2015185020.tif 000012
【図３】
2015185020.tif 000013
【図４】
2015185020.tif 000014
【図５】
2015185020.tif 000015
【図６】
2015185020.tif 000016
【図７】
2015185020.tif 000017
【図８】
2015185020.tif 000018
【図９】
2015185020.tif 000019
【図１０】
2015185020.tif 000020
【図１１】
2015185020.tif 000021
【図１２】
2015185020.tif 000022
【図１３】
2015185020.tif 000023
【図１４】
2015185020.tif 000024
【図１５】
2015185020.tif 000025
【図１６】
2015185020.tif 000026
【図１７】
2015185020.tif 000027
【図１８】
2015185020.tif 000028
【図１９】
2015185020.tif 000029
【図２０】
2015185020.tif 000030