(57)【要約】【課題】  ユーザが自分自身の画像や音声を示すデータを含むマルチメディアデータを気軽に作成する手段を提供する。【解決手段】  ビデオ生成装置１０は、ユーザがコントローラ１１の操作により選択したイベントシーケンスデータに従い、ディスプレイ１８に演技指導およびユーザの発声すべき台詞を文字表示させるとともに、マイク１２により拾音されたユーザの音声を示す音データと、ビデオカメラ１５により撮像されたユーザの画像を示す画像データに対し、各種加工処理を行うことにより、ユーザが登場人物として参加するマルチメディアデータを生成する。【選択図】      図１
2006217183.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが行うべき動作の指導を示す動作指導データを、当該指導がユーザに対し通知されるべきタイミングを示すタイミングデータと対応付けて記憶する動作指導データ記憶手段と、
画像データに対し実行されるべき加工処理を指示する画像処理指示データを、当該加工処理が実行されるべきタイミングを示すタイミングデータと対応付けて記憶する画像処理指示データ記憶手段と、
前記動作指導データを、前記動作指導データに対応付けられたタイミングデータに応じたタイミングで、ユーザに対し指導の通知を行う通知装置に送信する動作指導データ送信手段と、
前記画像処理指示データを、前記画像処理指示データに対応付けられたタイミングデータに応じたタイミングで、ユーザの画像データを加工処理する画像データ処理装置に送信する画像処理指示データ送信手段と
を備えることを特徴とするデータ処理装置。
【請求項２】
ユーザが行うべき動作の指導を示す動作指導データを、当該指導がユーザに対し通知されるべきタイミングを示すタイミングデータと対応付けて記憶する動作指導データ記憶手段と、
画像データに対し実行されるべき加工処理を指示する画像処理指示データを、当該加工処理が実行されるべきタイミングを示すタイミングデータと対応付けて記憶する画像処理指示データ記憶手段と、
前記動作指導データにより示される指導を、前記動作指導データに対応付けられたタイミングデータに応じたタイミングで、ユーザに対し通知する動作指導通知手段と、
前記画像処理指示データを、前記画像処理指示データに対応付けられたタイミングデータに応じたタイミングで、ユーザの画像データを加工処理する画像データ処理装置に送信する画像処理指示データ送信手段と
を備えることを特徴とするデータ処理装置。
【請求項３】
ユーザが行うべき動作の指導を示す動作指導データを、当該指導がユーザに対し通知されるべきタイミングを示すタイミングデータと対応付けて記憶する動作指導データ記憶手段と、
画像データに対し実行されるべき加工処理を指示する画像処理指示データを、当該加工処理が実行されるべきタイミングを示すタイミングデータと対応付けて記憶する画像処理指示データ記憶手段と、
前記動作指導データを、前記動作指導データに対応付けられたタイミングデータに応じたタイミングで、ユーザに対し指導の通知を行う通知装置に送信する動作指導データ送信手段と、
撮像装置より、ユーザの画像データを受信する画像データ受信手段と、
前記画像処理指示データにより指示される加工処理を、前記画像処理指示データに対応付けられたタイミングデータに応じたタイミングで、前記ユーザの画像データに対し行う画像データ処理手段と
を備えることを特徴とするデータ処理装置。
【請求項４】
ユーザが行うべき動作の指導を示す動作指導データを、当該指導がユーザに対し通知されるべきタイミングを示すタイミングデータと対応付けて記憶する動作指導データ記憶手段と、
画像データに対し実行されるべき加工処理を指示する画像処理指示データを、当該加工処理が実行されるべきタイミングを示すタイミングデータと対応付けて記憶する画像処理指示データ記憶手段と、
前記動作指導データにより示される指導を、前記動作指導データに対応付けられたタイミングデータに応じたタイミングで、ユーザに対し通知する動作指導通知手段と、
撮像装置より、ユーザの画像データを受信する画像データ受信手段と、
前記画像処理指示データにより指示される加工処理を、前記画像処理指示データに対応付けられたタイミングデータに応じたタイミングで、前記ユーザの画像データに対し行う画像データ処理手段と
を備えることを特徴とするデータ処理装置。
【請求項５】
前記画像データ処理手段による加工処理の結果生成される画像データにより示される画像を表示する表示手段
をさらに備えることを特徴とする請求項３または４のいずれかに記載のデータ処理装置。
【請求項６】
前記画像データ処理手段による加工処理の結果生成される画像データを記憶する画像データ記憶手段
をさらに備えることを特徴とする請求項３または４のいずれかに記載のデータ処理装置。
【請求項７】
ユーザが行うべき発声の指導を示す発声指導データを、当該指導がユーザに対し通知されるべきタイミングを示すタイミングデータと対応付けて記憶する発声指導データ記憶手段と、
音声データに対し実行されるべき加工処理を指示する音声処理指示データを、当該加工処理が実行されるべきタイミングを示すタイミングデータと対応付けて記憶する音声処理指示データ記憶手段と、
前記発声指導データにより示される指導を、前記発声指導データに対応付けられたタイミングデータに応じたタイミングで、ユーザに対し通知する発声指導通知手段と、
拾音装置より、ユーザの音声データを受信する音声データ受信手段と、
前記音声処理指示データにより指示される加工処理を、前記音声処理指示データに対応付けられたタイミングデータに応じたタイミングで、前記ユーザの音声データに対し行う音声データ処理手段と
をさらに備えることを特徴とする請求項１乃至４のいずれかに記載のデータ処理装置。
【請求項８】
前記音声データ処理手段による加工処理の結果生成される音データにより示される音を発音する発音手段
をさらに備えることを特徴とする請求項７に記載のデータ処理装置。
【請求項９】
前記音声データ処理手段による加工処理の結果生成される音データを記憶する音データ記憶手段
をさらに備えることを特徴とする請求項７に記載のデータ処理装置。
【請求項１０】
撮像装置、撮像装置の移動を行う移動装置および照明装置の少なくとも１により実行されるべき動作を指示する動作指示データを、当該動作が実行されるべきタイミングを示すタイミングデータと対応付けて記憶する動作指示データ記憶手段と、
前記動作指示データを、前記動作指示データに対応付けられたタイミングデータに応じたタイミングで、ユーザの画像データを生成する撮像装置、当該撮像装置の移動を行う移動装置およびユーザに対し光の照射を行う照明装置の少なくとも１に送信する動作指示データ送信手段と
をさらに備えることを特徴とする請求項１乃至４のいずれかに記載のデータ処理装置。
【請求項１１】
撮像装置、撮像装置の移動を行う移動装置および照明装置の少なくとも１により実行されるべき動作を指示する動作指示データを、当該動作が実行されるべきタイミングを示すタイミングデータと対応付けて記憶する動作指示データ記憶手段と、
前記動作指示データを、前記動作指示データに対応付けられたタイミングデータに応じたタイミングで、ユーザの画像データを生成する撮像装置、当該撮像装置の移動を行う移動装置およびユーザに対し光の照射を行う照明装置の少なくとも１に送信するとともに、前記画像データ処理手段にも送信する動作指示データ送信手段と
をさらに備え、
前記画像データ処理手段は、前記ユーザの画像データに対し、前記動作指示データに従った加工処理を行う
ことを特徴とする請求項３または４のいずれかに記載のデータ処理装置。
【請求項１２】
前記画像データ受信手段により順次受信されるユーザの画像データの時間的な変化に応じて変化する画像データを順次生成する画像データ生成手段をさらに備え、
前記画像データ処理手段は、前記ユーザの画像データに代えて、もしくは前記ユーザの画像データに加えて、前記画像データ生成手段により生成された画像データに対し、前記画像処理指示データに従った加工処理を行う
ことを特徴とする請求項４に記載のデータ処理装置。
【請求項１３】
ユーザが行うべき動作の指導を示す動作指導データを、当該情報がユーザに対し通知されるべきタイミングを示すタイミングデータと対応付けて記憶する処理と、
画像データに対し実行されるべき処理を指示する画像処理指示データを、当該処理が実行されるべきタイミングを示すタイミングデータと対応付けて記憶する処理と、
前記動作指導データにより示される指導を、前記動作指導データに対応付けられたタイミングデータに応じたタイミングで、ユーザに対し通知する処理と、
撮像装置より、ユーザの画像データを受信する処理と、
前記画像処理指示データに従い、前記画像処理指示データに対応付けられたタイミングデータに応じたタイミングで、前記ユーザの画像データを加工する処理と、
前記加工の結果生成される画像データにより示される画像を表示する処理と、
前記加工の結果生成される画像データを記憶する処理と
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディアデータを生成するためのデータ生成技術に関する。
【背景技術】
【０００２】
ユーザの好みに合ったマルチメディアデータを簡易に作成することを可能とする技術がある。例えば、ユーザによるアニメーションのタイトルの選択、メッセージの入力および受取人のメールアドレスの指定に応じて、メッセージ入りのアニメーション付きグリーティングカードを自動生成し、指定されたメールアドレスに送信するシステムが広く利用されている。
【０００３】
例えば特許文献１は、グリーティングカード等を示すマルチメディアデータの雛形に対し、ユーザが許容範囲内において自由に変更を加えることにより、ユーザが積極的に創作性を発揮しつつ新たなマルチメディアデータを生成することを可能とする技術を開示している。
【特許文献１】特開２００４−７４０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上記の従来技術による場合、マルチメディアデータの生成にあたりユーザの動画を用いることはできなかった。従って、ユーザは自分の動画が含まれるマルチメディアデータを気軽に作成することができない、という問題があった。
【０００５】
上記の状況に鑑み、本発明は、ユーザが自分自身の動画データを含むマルチメディアデータを気軽に作成する手段を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を達成するために、本発明は、ユーザが行うべき動作の指導を示す動作指導データを、当該指導がユーザに対し通知されるべきタイミングを示すタイミングデータと対応付けて記憶する動作指導データ記憶手段と、画像データに対し実行されるべき加工処理を指示する画像処理指示データを、当該加工処理が実行されるべきタイミングを示すタイミングデータと対応付けて記憶する画像処理指示データ記憶手段と、前記動作指導データを、前記動作指導データに対応付けられたタイミングデータに応じたタイミングで、ユーザに対し指導の通知を行う通知装置に送信する動作指導データ送信手段と、前記画像処理指示データを、前記画像処理指示データに対応付けられたタイミングデータに応じたタイミングで、ユーザの画像データを加工処理する画像データ処理装置に送信する画像処理指示データ送信手段とを備えることを特徴とするデータ処理装置を提供する。
【０００７】
かかる構成のデータ処理装置によれば、通知装置により適切なタイミングで通知される指導に従い動作するユーザの画像データに対し、画像データ処理装置により適切なタイミングで適切な加工処理が施される結果、ユーザをより楽しませる動画を示す画像データの生成が行われる。
【０００８】
また、本発明は、ユーザが行うべき動作の指導を示す動作指導データを、当該指導がユーザに対し通知されるべきタイミングを示すタイミングデータと対応付けて記憶する動作指導データ記憶手段と、画像データに対し実行されるべき加工処理を指示する画像処理指示データを、当該加工処理が実行されるべきタイミングを示すタイミングデータと対応付けて記憶する画像処理指示データ記憶手段と、前記動作指導データにより示される指導を、前記動作指導データに対応付けられたタイミングデータに応じたタイミングで、ユーザに対し通知する動作指導通知手段と、前記画像処理指示データを、前記画像処理指示データに対応付けられたタイミングデータに応じたタイミングで、ユーザの画像データを加工処理する画像データ処理装置に送信する画像処理指示データ送信手段とを備えることを特徴とするデータ処理装置を提供する。
【０００９】
かかる構成のデータ処理装置によれば、動作指導通知手段により適切なタイミングでユーザに対し適切な動作の指導が通知されるとともに、その指導に従い動作するユーザの画像データに対し、画像データ処理装置により適切なタイミングで適切な加工処理が施される結果、ユーザをより楽しませる動画を示す画像データの生成が行われる。
【００１０】
また、本発明は、ユーザが行うべき動作の指導を示す動作指導データを、当該指導がユーザに対し通知されるべきタイミングを示すタイミングデータと対応付けて記憶する動作指導データ記憶手段と、画像データに対し実行されるべき加工処理を指示する画像処理指示データを、当該加工処理が実行されるべきタイミングを示すタイミングデータと対応付けて記憶する画像処理指示データ記憶手段と、前記動作指導データを、前記動作指導データに対応付けられたタイミングデータに応じたタイミングで、ユーザに対し指導の通知を行う通知装置に送信する動作指導データ送信手段と、撮像装置より、ユーザの画像データを受信する画像データ受信手段と、前記画像処理指示データにより指示される加工処理を、前記画像処理指示データに対応付けられたタイミングデータに応じたタイミングで、前記ユーザの画像データに対し行う画像データ処理手段とを備えることを特徴とするデータ処理装置を提供する。
【００１１】
かかる構成のデータ処理装置によれば、通知装置により適切なタイミングで通知される指導に従い動作するユーザの画像データに対し、画像データ処理手段により適切なタイミングで適切な加工処理が施される結果、ユーザをより楽しませる動画を示す画像データの生成が行われる。
【００１２】
また、本発明は、ユーザが行うべき動作の指導を示す動作指導データを、当該指導がユーザに対し通知されるべきタイミングを示すタイミングデータと対応付けて記憶する動作指導データ記憶手段と、画像データに対し実行されるべき加工処理を指示する画像処理指示データを、当該加工処理が実行されるべきタイミングを示すタイミングデータと対応付けて記憶する画像処理指示データ記憶手段と、前記動作指導データにより示される指導を、前記動作指導データに対応付けられたタイミングデータに応じたタイミングで、ユーザに対し通知する動作指導通知手段と、撮像装置より、ユーザの画像データを受信する画像データ受信手段と、前記画像処理指示データにより指示される加工処理を、前記画像処理指示データに対応付けられたタイミングデータに応じたタイミングで、前記ユーザの画像データに対し行う画像データ処理手段とを備えることを特徴とするデータ処理装置を提供する。
【００１３】
かかる構成のデータ処理装置によれば、動作指導通知手段により適切なタイミングでユーザに対し適切な動作の指導が通知されるとともに、その指導に従い動作するユーザの画像データに対し、画像データ処理手段により適切なタイミングで適切な加工処理が施される結果、ユーザをより楽しませる動画を示す画像データの生成が行われる。
【００１４】
好ましい態様において、前記データ処理装置は、前記画像データ処理手段による加工処理の結果生成される画像データにより示される画像を表示する表示手段をさらに備える構成としてもよい。
【００１５】
かかる構成のデータ処理装置によれば、ユーザは生成された画像データに従い表示される動画を楽しむことができる。
【００１６】
他の好ましい態様において、前記データ処理装置は、前記画像データ処理手段による加工処理の結果生成される画像データを記憶する画像データ記憶手段をさらに備える構成としてもよい。
【００１７】
かかる構成のデータ処理装置によれば、ユーザは生成された画像データを希望する時に利用することができる。
【００１８】
他の好ましい態様において、前記データ処理装置は、ユーザが行うべき発声の指導を示す発声指導データを、当該指導がユーザに対し通知されるべきタイミングを示すタイミングデータと対応付けて記憶する発声指導データ記憶手段と、音声データに対し実行されるべき加工処理を指示する音声処理指示データを、当該加工処理が実行されるべきタイミングを示すタイミングデータと対応付けて記憶する音声処理指示データ記憶手段と、前記発声指導データにより示される指導を、前記発声指導データに対応付けられたタイミングデータに応じたタイミングで、ユーザに対し通知する発声指導通知手段と、拾音装置より、ユーザの音声データを受信する音声データ受信手段と、前記音声処理指示データにより指示される加工処理を、前記音声処理指示データに対応付けられたタイミングデータに応じたタイミングで、前記ユーザの音声データに対し行う音声データ処理手段とをさらに備える構成としてもよい。
【００１９】
かかる構成のデータ処理装置によれば、発声指導通知手段により適切なタイミングでユーザに対し適切な発声の指導が通知されるとともに、その指導に従いユーザにより発声された音声を示す音声データに対し、音声データ処理手段により適切なタイミングで適切な加工処理が施される結果、ユーザをより楽しませる音声を示す音声データを含んだビデオデータの生成が行われる。
【００２０】
好ましい態様において、前記データ処理装置は、前記音声データ処理手段による加工処理の結果生成される音データにより示される音を発音する発音手段をさらに備える構成としてもよい。
【００２１】
かかる構成のデータ処理装置によれば、ユーザは生成された音データにより示される音を楽しむことができる。
【００２２】
他の好ましい態様において、前記データ処理装置は、前記音声データ処理手段による加工処理の結果生成される音データを記憶する音データ記憶手段をさらに備える構成としてもよい。
【００２３】
かかる構成のデータ処理装置によれば、ユーザは生成された音データを希望する時に利用することができる。
【００２４】
好ましい態様において、前記データ処理装置は、撮像装置、撮像装置の移動を行う移動装置および照明装置の少なくとも１により実行されるべき動作を指示する動作指示データを、当該動作が実行されるべきタイミングを示すタイミングデータと対応付けて記憶する動作指示データ記憶手段と、前記動作指示データを、前記動作指示データに対応付けられたタイミングデータに応じたタイミングで、ユーザの画像データを生成する撮像装置、当該撮像装置の移動を行う移動装置およびユーザに対し光の照射を行う照明装置の少なくとも１に送信する動作指示データ送信手段とをさらに備える構成としてもよい。
【００２５】
かかる構成のデータ処理装置によれば、撮像装置、移動装置もしくは照明装置により、適切なタイミングで適切な撮像処理、移動処理もしくは照明の照射処理が行われるため、ユーザをより楽しませる動画を示す画像データの生成が行われる。
【００２６】
他の好ましい態様において、前記データ処理装置は、撮像装置、撮像装置の移動を行う移動装置および照明装置の少なくとも１により実行されるべき動作を指示する動作指示データを、当該動作が実行されるべきタイミングを示すタイミングデータと対応付けて記憶する動作指示データ記憶手段と、前記動作指示データを、前記動作指示データに対応付けられたタイミングデータに応じたタイミングで、ユーザの画像データを生成する撮像装置、当該撮像装置の移動を行う移動装置およびユーザに対し光の照射を行う照明装置の少なくとも１に送信するとともに、前記画像データ処理手段にも送信する動作指示データ送信手段とをさらに備え、前記画像データ処理手段は、前記ユーザの画像データに対し、前記動作指示データに従った加工処理を行う構成としてもよい。
【００２７】
かかる構成のデータ処理装置によれば、撮像装置、移動装置もしくは照明装置により、適切なタイミングで適切な撮像処理、移動処理もしくは照明の照射処理が行われるとともに、画像データ処理手段により、それらの処理と連動した画像データの加工処理が行われるため、ユーザをより楽しませる動画を示す画像データの生成が行われる。
【００２８】
他の好ましい態様において、前記データ処理装置は、前記画像データ受信手段により順次受信されるユーザの画像データの時間的な変化に応じて変化する画像データを順次生成する画像データ生成手段をさらに備え、前記画像データ処理手段は、前記ユーザの画像データに代えて、もしくは前記ユーザの画像データに加えて、前記画像データ生成手段により生成された画像データに対し、前記画像処理指示データに従った加工処理を行う構成としてもよい。
【００２９】
かかる構成のデータ処理装置によれば、ユーザの動作に応じて変化する動画を示す画像データが生成されるため、ユーザをより楽しませる動画を示す画像データの生成が行われる。
【００３０】
他の好ましい態様において、前記データ処理装置は、前記動作指導通知手段による前記通知に要した時間もしくは前記画像データ処理手段による前記加工処理に要した時間の少なくともいずれかに基づき、ユーザに対する課金額を示す課金データを生成する課金データ処理手段をさらに備える構成としてもよい。
【００３１】
また、他の好ましい態様において、前記データ処理装置は、前記動作指導通知手段による前記通知の回数もしくは前記画像データ処理手段による前記加工処理の回数の少なくともいずれかに基づき、ユーザに対する課金額を示す課金データを生成する課金データ処理手段をさらに備える構成としてもよい。
【００３２】
かかる構成のデータ処理装置によれば、ユーザの利用状況に応じた適切な課金がなされる。
【００３３】
また、本発明は、上記のデータ処理装置により行われる処理をコンピュータに実行させるプログラムを提供する。
【００３４】
かかる構成のプログラムによれば、例えば汎用のコンピュータにより、ユーザをより楽しませる動画を示す画像データの生成が行われる。
【発明を実施するための最良の形態】
【００３５】
［１．第１実施形態］
以下、本発明の実施形態として、例えばゲームセンター等に配置可能なブースにおいて、ユーザが登場人物として参加する短編映画のビデオデータを自動生成するシステムを説明する。以下の説明において、画像とは動画および静止画の総称であり、画像データとは動画データおよび静止画データの総称である。
【００３６】
［１．１．ビデオ生成システムの構成］
図１は、本発明の実施形態にかかるビデオ生成システム１がブースに設置された様子を示している。また、図２は、ビデオ生成システム１の構成を示している。ビデオ生成システム１は、ビデオ生成装置１０、ビデオ生成装置１０に対しユーザの指示を与えるためのコントローラ１１、ユーザの声を拾音しその声を示す音信号をビデオ生成装置１０に出力するとともに断続的に所定の周波数の超音波を発する機能を備えたマイク１２ａおよびマイク１２ｂ、ビデオ生成装置１０から出力される音信号を増幅するアンプ１３、アンプ１３から出力される音信号を音に変換し出力するスピーカ１４Ｌおよびスピーカ１４Ｒ、撮像した画像を示す画像データを順次生成して出力するビデオカメラ１５ａ〜ｄ、ビデオカメラ１５ａ〜ｄの位置および方向をモータ等により各々変化させるカメラ移動装置１６ａ〜ｄ、指定された色および明るさの光をユーザに照射する照明装置１７ａ〜ｆ、ビデオ生成装置１０から出力される画像データに従い画像表示を行うディスプレイ１８、超音波を受信し受信した超音波の波形を示す電気信号をビデオ生成装置１０に出力する超音波受信器１９ａ〜ｄ、そしてビデオ生成装置１０から出力されるデータをフラッシュメモリ等の記憶媒体に記憶するメディアドライブ２０を備えている。また、ビデオ生成装置１０はインターネット２１に接続されている。
【００３７】
ビデオ生成システム１は、マイク、スピーカ、ビデオカメラ、カメラ移動装置、照明装置および超音波受信器をそれぞれ複数備えているが、以下、複数の同種の構成部を区別する必要がない場合には、単にマイク１２のように呼ぶ。また、ビデオ生成システム１が備えるマイク１２等の数は例示であり、超音波受信器１９の数が４以上である点を除き、自由に変更可能である。さらに、例えばディスプレイ１８を複数設けるなど、他の構成部の数も自由に変更可能である。
【００３８】
マイク１２は、好ましくは小型のワイヤレスマイクであり、例えばクリップ等によりユーザの胸元等に容易に装着可能である。また、マイク１２ａおよびマイク１２ｂは、各々、超音波を発生する超音波発生器１２１ａおよび超音波発生器１２１ｂを備えており、上述したように断続的に超音波を発生するが、超音波発生器１２１ａと超音波発生器１２１ｂの発生する超音波の周波数は互いに異なり、いずれの超音波がいずれのマイク１２から発せされたものであるかの区別が可能となっている。超音波発生器１２１は、ブース内においてマイク１２から発せられた超音波が超音波受信器１９に到達するために要する時間よりも十分に長い時間間隔で、超音波の発生を繰り返す。より具体的には、例えば超音波発生器１２１は、０．５秒間、超音波を発した後、１秒間は超音波を発せず、その後、同様の処理を繰り返す。これは、後述するマイク位置算出部２０５の処理において、マイク１２からの距離が異なる超音波受信器１９ａ〜ｄの各々が次々と受信する超音波のうち、いずれが同じタイミングでマイク１２から発せされたものであるかを容易に区別可能とするためである。
【００３９】
続いて、ビデオ生成装置１０の構成を説明する。ビデオ生成装置１０は記憶部１０１、入出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０２および制御部１０３を備えている。記憶部１０１は、制御部１０３による各種処理を指示するプログラムを予め記憶し、また制御部１０３により生成されるデータを一時的に記憶する。さらに、記憶部１０１は予め、複数のストーリデータ１０１０を記憶している。
【００４０】
ストーリデータ１０１０は、１つの短編映画の撮影におけるカメラワークの制御やバックグラウンドサウンド（背景音）の再生等を指示するとともに、台詞や演技指導の文字表示、演技指導の音声データの再生等を指示するデータである。本実施形態においては、ユーザはビデオ生成システム１により短編映画の撮影を行うにあたり、まず、複数の物語（以下、「ストーリ」と呼ぶ）の中から好みのものを選択する。そのため、記憶部１０１には予め、ユーザにより選択可能な複数のストーリの各々に対応するストーリデータ１０１０が記憶されているのである。以下、ストーリデータ１０１０の構成を説明する。
【００４１】
図３は、記憶部１０１に記憶されるストーリデータ１０１０の構成を模式的に示している。図３においては、３つのストーリデータ１０１０、すなわちストーリデータ１０１０ａ〜ｃが例示されている。各々のストーリデータ１０１０は、管理データ、イベントシーケンスデータ群、ソースデータ群およびアレンジデータを含んでいる。
【００４２】
図４は、管理データの内容を例示している。管理データは、ストーリデータ１０１０の名称、ストーリにおいて登場するキャラクタ（以下、「キャラクタ」とは物語において登場する役のことを意味する）の数および属性を示すデータを含んでいる。
【００４３】
イベントシーケンスデータ群（図３参照）は、イベントシーケンスデータを格納したファイルの集合体である。イベントシーケンスデータとは、ストーリの進行に伴い実行されるべき各種処理を指示するイベントデータと、当該イベントデータにより指示される処理が実行されるべきタイミングを示すタイミングデータとからなるタイミング付イベントデータの集合である。本実施形態において、イベントシーケンスデータは以下の６つの種別に区分されるものとする。
（ａ）イベントシーケンスデータＢＳ（バックグラウンドサウンド）：背景音楽もしくは背景音の演奏を指示するイベントシーケンスデータ。
（ｂ）イベントシーケンスデータＢＩ（バックグラウンドイメージ）：背景画像の表示を指示するイベントシーケンスデータ。
（ｃ）イベントシーケンスデータＣＩ（キャラクタイメージ）：キャラクタを示す画像の表示を指示するイベントシーケンスデータ。
（ｄ）イベントシーケンスデータＤＬ（ダイアログ）：台詞および演技指導の文字表示および音声再生を指示するイベントシーケンスデータ。
（ｅ）イベントシーケンスデータＭＥ（マイクエフェクト）：ユーザの音声に対するエフェクト処理の付加および効果音の再生を指示するイベントシーケンスデータ。
（ｆ）イベントシーケンスデータＣＷ（カメラワーク）：ビデオカメラのフォーカスやズーム等の制御、ビデオカメラの位置および方向の制御、照明装置の動作制御およびそれらの制御に応じて、バックグラウンドイメージおよびキャラクタイメージに対し行われるべきサイズ変更、色調調整等の調整処理を指示するイベントシーケンスデータ。
【００４４】
また、本実施形態において、上記の各種イベントシーケンスデータを格納するファイルのファイル名は、以下の規則に従うものとする。
（ａ）イベントシーケンスデータＢＳを格納するファイルのファイル名：「ＢＳ＃＃＃＃．ｉｖｔ」（ただし、「＃」は任意の自然数。以下同様。）。
（ｂ）イベントシーケンスデータＢＩを格納するファイルのファイル名：「ＢＩ＃＃＃＃．ｉｖｔ」。
（ｃ）イベントシーケンスデータＣＩを格納するファイルのファイル名：「ＣＩ＃＃＃＃．ｉｖｔ」。
（ｄ）イベントシーケンスデータＤＬを格納するファイルのファイル名：「ＤＬ＃＃＃＃．ｉｖｔ」。
（ｅ）イベントシーケンスデータＭＥを格納するファイルのファイル名：「ＭＥ＃＃＃＃．ｉｖｔ」。
（ｆ）イベントシーケンスデータＣＷを格納するファイルのファイル名：「ＣＷ＃＃＃＃．ｉｖｔ」。
【００４５】
図５は、イベントシーケンスデータＢＳの内容を例示している。上述したように、イベントシーケンスデータは複数のタイミング付イベントデータを含んでいる。タイミング付イベントデータに含まれるタイミングデータは、ストーリに含まれる各々の場面（以下、「シーン」と呼ぶ）の開始タイミングからの経過時間により、処理の実行タイミングを示している。この点はいずれの種類のイベントシーケンスデータにおいても同様である。
【００４６】
一方、タイミング付イベントデータに含まれるイベントデータは、イベントシーケンスデータの種類に応じてその内容が異なる。以下、それらのいくつかを例示するが、イベントデータの種類は以下に説明するものに限られないことは言うまでもない。
【００４７】
図５に示されるイベントシーケンスデータＢＳは、楽音の発音指示、音データの再生指示およびそれらの指示により発音される音に対するエフェクト付加の指示を行うことにより、背景音楽および背景音の演奏を指示する。例えば、イベントデータ［１ｃｈ：ノートオン：Ｄ４：７４］は、第１のチャンネルに割り当てられた音色の音高Ｄ４の楽音を、音強７４で発音することを指示している。ここで、チャンネルとは楽曲に含まれる個々の演奏パートのことである。また、イベントデータ［１ｃｈ：ディレイ：０．５秒］は、第１のチャンネルの音に対し０．５秒のディレイ効果を付加することを指示している。また、イベントデータ［３ｃｈ：再生：ＳＳ０５１４．ｗａｖ］は、第３のチャンネルとして、音データファイル「ＳＳ０５１４．ｗａｖ」に格納される音データの再生を行うことを指示している。
【００４８】
図６は、イベントシーケンスデータＢＩの内容を例示している。本実施形態においてバックグラウンドイメージとは一般的な単層の背景画像を意味せず、キャラクタイメージ以外の画像を示す複層の画像を合成したものを意味する。すなわち、イベントシーケンスデータＢＩは、背景レイヤ、第１レイヤ、第２レイヤ・・・のように複数のレイヤに配置された画像を順次スーパーインポーズして得られる画像の表示を指示するデータである。
【００４９】
例えば、イベントデータ［背景レイヤ：表示：ＢＰ０８１５．ｐｉｃ］は、背景レイヤに静止画データファイル「ＢＰ０８１５．ｐｉｃ」に格納される静止画データに従った表示を行うことを指示している。また、イベントデータ［第１レイヤ：表示窓：（１０，２０）〜（１２０，１８０）］は、第１レイヤに、画面上の座標（１０，２０）と座標（１２０，１８０）を対角線の端点とする長方形の表示窓を開くことを指示している。表示窓が開かれた場合、そのレイヤに割り当てられた画像は表示窓の内側にのみ表示される。表示窓の外側は透過表示となるため、その部分には下位レイヤの画像が表示されることになる。また、イベントデータ［第１レイヤ：フェードイン：１０秒］は、第１レイヤの表示窓に表示指定される画像に対し１０秒間かけてフェードイン処理を施すことを指示している。また、イベントデータ［第１レイヤ：表示：ＢＭ０４１１．ｍｏｖ］は、第１レイヤの表示窓に、動画データファイル「ＢＭ０４１１．ｍｏｖ」に格納される動画データを再生して得られる画像を順次表示させることを指示している。
【００５０】
また、イベントデータ［第２レイヤ：表示：さる．ｐｉｃ］は、第２レイヤの表示窓に、静止画データファイル「さる．ｐｉｃ」に格納される静止画データに従った表示を行うことを指示している。ここで「さる．ｐｉｃ」はキャラクタ「さる」の静止画データを格納するファイルであり、イベントデータ［第２レイヤ：表示：さる．ｐｉｃ］は通常、キャラクタ「さる」の画像表示を指示するイベントデータである。ただし、キャラクタ「さる」がユーザにより選択されたキャラクタである場合、ビデオ生成システム１はイベントデータ［第２レイヤ：表示：さる．ｐｉｃ］に従い、静止画データファイル「さる．ｐｉｃ」に格納される静止画データを用いる代わりに、撮像処理により得られるユーザの静止画データを用いる場合がある。その詳細については後述する。
【００５１】
図７は、イベントシーケンスデータＣＩの内容を例示している。例えば、イベントデータ［さる：ＣＲ０４８６．ｍｏｄ］は、キャラクタ「さる」の画像を示すデータとして、モデリングデータファイル「ＣＲ０４８６．ｍｏｄ」に格納されているモデリングデータを用いることを指示している。モデリングデータとは、三次元仮想空間における立体（以下、「パーツ」と呼ぶ）の形状、パーツの色彩、隣接するパーツとの結合状態等を示すパーツデータの集合である。例えば、キャラクタ「さる」の画像を示すモデリングデータは、「さる」のボディ、頭、首、上腕、下腕、手、腰、太股、膝および足の各々を示すパーツデータから構成される。例えば頭を示すパーツデータには、そのパーツデータにより示される頭の下部中央が、他のパーツデータにより示される首の上部中央と点結合することを示すデータが含まれている。そのようなパーツデータに従い、個々のパーツの画像が三次元仮想空間内において相互に結合される結果、全体としてキャラクタの三次元画像が特定される。
【００５２】
さらに、例えば頭のパーツデータは、目、眉、鼻、唇、耳等の小パーツを示すパーツデータの集合で構成される。このように、パーツデータが階層的に構成される結果、モデリングデータはキャラクタの画像の複雑な動きを表現することができる。
【００５３】
モデリングデータに従いキャラクタの三次元画像を二次元の画面に表示するには、キャラクタの全体としてのサイズと、各パーツの三次元仮想空間における位置および方向が決定される必要がある。図７に例示されるイベントデータ［さる：サイズ５］は、キャラクタの全体のサイズとして、「１」〜「９」で示されるサイズのうち、「５」で示されるサイズを指定している。また、イベントデータ［さる：ボディ位置（１５，４３，２３）］は、三次元仮想空間における座標（１５，４３，２３）で示される位置に、キャラクタのボディの予め定められた代表点を配置することを指示している。さらに、イベントデータ［さる：ボディ方向（２０度，５度，１０度）］は、キャラクタのボディを、例えば三次元仮想空間における垂直方向を軸に上から見て時計回りに２０度回転させ、ボディの正面方向が水平面から５度だけ上方に向くように傾け、さらにボディの正面方向を軸に正面から見て時計回りに１０度だけ回転させることを指示している。
【００５４】
イベントデータ［第４レイヤ：さる：表示］は、上記のようにサイズ、位置および方向の決定された三次元仮想空間内のキャラクタ「さる」の画像を、二次元の画面の第４レイヤ上に表示することを指示している。
【００５５】
イベントデータ［さる：上腕方向（３０度，４５度，１８度）］は、キャラクタ１の上腕の方向を（３０度，４５度，１８度）で示される方向に変化させることを示している。これらの角度の意味は上記のボディの方向に関し説明したものと同様であるが、各々の角度に従った上腕の回転の軸は、上腕が結合しているボディの方向および結合点の位置により決定される。すなわち、イベントデータ［さる：上腕方向（３０度，４５度，１８度）］は、上腕のボディに対する相対的な方向を示している。このように、イベントシーケンスデータＣＩは、各タイミングにおける各パーツの位置および方向を指示することにより、全体として動きのあるキャラクタの画像を示す。
【００５６】
図８は、イベントシーケンスデータＤＬの内容を例示している。例えば、イベントデータ［演技指導：「後方中央からゆっくり前進して下さい。」］は、予め定められた画面内の演技指導の表示領域に、文字列「後方中央からゆっくり前進して下さい。」を表示することを指示している。本実施形態において「演技指導」とは、例えば「驚いた気持ちで演じて下さい。」といった演技内容に関する指導のみでなく、演技に伴う動作指示など、ユーザの動作に関する様々な情報をいう。また、イベントデータ［台詞：「さる：ああ、いい朝だなあ」］は、予め定められた画面内の台詞の表示領域に、文字列「さる：ああ、いい朝だなあ」を表示することを指示している。
【００５７】
また、例えばイベントデータ［再生：ＧＳ０４４１．ｗａｖ］は、音データファイル「ＧＳ０４４１．ｗａｖ」に格納される音データの再生を指示している。本実施形態において、「ＧＳ」で始まるファイル名の音データファイルに格納される音データは、演技指導の音声を示す音データである。すなわち、イベントデータ［再生：ＧＳ０４４１．ｗａｖ］は、演技指導「後方中央からゆっくり前進して下さい。」の音声の再生を指示している。一方、「ＤＳ」で始まるファイル名の音データファイルに格納される音データは、台詞の音声を示す音データである。すなわち、例えばイベントデータ「再生：ＤＳ０７９６．ｗａｖ」は、台詞「ああ、いい朝だなあ」を声優等が発声した際の音声の再生を指示している。
【００５８】
図９は、イベントシーケンスデータＭＥの内容を例示している。例えば、イベントデータ［再生：ＥＳ０９７１．ｗａｖ］は、音データファイル「ＥＳ０９７１．ｗａｖ」に格納される音データ、例えば鳥のさえずり等の効果音を示す音データの再生を指示している。また、イベントデータ［さる：パン２］は、キャラクタ「さる」の台詞の音像を、「１」〜「９」で示される左右方向の位置のうち「２」で示される位置に配置することを指示している。
【００５９】
図１０は、イベントシーケンスデータＣＷの内容を例示している。例えば、イベントデータ［カメラ１：ソース：右手］は、第１のカメラ（カメラ１）として、正面に向かって右手に配置されたカメラ、すなわちビデオカメラ１５ｂを割り当てることを指示している。また、イベントデータ［カメラ１：位置２］はカメラ１に割り当てられたビデオカメラ１５ｂを「１」〜「９」で示される位置のうち「２」で示される位置に移動（初期配置）することを指示している。また、イベントデータ［カメラ１：表示：第３レイヤ］はカメラ１に割り当てられたビデオカメラ１５ｂの撮像処理により得られる画像データを画面における第３レイヤに表示することを指示している。
【００６０】
また、イベントデータ［照明３：黄：０→６：７秒］は第３の照明（照明３）の色に黄を設定し、照明の明るさの程度を「０」から「６」に７秒間かけて変化させることを指示している。本実施形態において、イベントシーケンスデータＣＷにおける照明１〜照明６は、それぞれ照明装置１７ａ〜照明装置１７ｆに対応するものとする。また、イベントデータ［カメラ１：移動：→５：３秒］はカメラ１に割り当てられたビデオカメラ１５ｂの位置を現在の位置から「５」で示される位置に３秒間かけて移動することを指示している。さらに、イベントデータ［カメラ１：ズーム：→７：５秒］は、カメラ１に割り当てられたビデオカメラ１５ｂのズーム倍率を現在の倍率から「７」で示される倍率に５秒間かけて変更することを指示している。
【００６１】
上記のように、イベントシーケンスデータＣＷは、ビデオカメラ１５の位置、方向およびズーム倍率変更等の各種動作を指示するとともに、照明装置１７の各種動作を指示する。イベントシーケンスデータＣＷによるそれらの指示は、同時にバックグラウンドイメージおよびキャラクタイメージに対する補正処理の指示を意味している。例えば、照明装置１７に対する色の変更を指示するイベントデータは、同時にバックグラウンドイメージおよびキャラクタイメージにおける色補正を指示している。同様に、照明装置１７に対する明るさの変更を指示するイベントデータは、同時にバックグラウンドイメージおよびキャラクタイメージにおける明るさ補正を指示している。
【００６２】
また、ビデオカメラ１５の位置や方向の変更を指示するイベントデータは、同時に、バックグラウンドイメージを異なる視点から見た同じ画像を示すように変形する処理を指示している。また、ビデオカメラ１５のズーム倍率やフォーカスの程度の変更を指示するイベントデータは、同時に、バックグラウンドイメージおよびキャラクタイメージに拡大率や鮮明さの変更処理を加えることを指示している。その際、例えばビデオカメラ１５のフォーカスを強くするイベントデータは、ビデオカメラ１５の撮像対象より奥行き方向においてより奥に位置するバックグラウンドイメージのフォーカスを弱くすると同時に、ビデオカメラ１５の撮像対象と奥行き方向において同程度の位置に配されるキャラクタイメージのフォーカスを強くすることを意味する。以上がイベントシーケンスデータ群に含まれる各種イベントシーケンスデータである。
【００６３】
ストーリデータ１０１０（図３参照）に含まれるソースデータ群は、上述した各種イベントシーケンスデータにより再生等の指示がなされる静止画データ、動画データ、音データおよびモデリングデータ（以下、これらを総称して「ソースデータ」と呼ぶ）を格納する各種ファイルの集合である。
【００６４】
ストーリデータ１０１０に含まれるアレンジデータは、ストーリにおいて用いられるべきイベントシーケンスデータのファイル名を示すデータである。本実施形態において、ユーザは複数のストーリの中から好みのものを選択した後、さらに、選択したストーリにおいて用いられる背景音楽、背景画像、台詞等を複数の脚色（以下、「アレンジ」と呼ぶ）の中から各々選択することができる。そのため、アレンジデータは、イベントシーケンスデータの種別の各々について、選択可能なイベントシーケンスデータのファイル名を複数、含んでいる。
【００６５】
図１１は、アレンジデータの内容をストーリにおける時間軸を横方向にとって模式的に示した図である。図１１における縦線はストーリに含まれる各シーンの区切りを示しており、各縦線の上部に示される［０ｈ０３ｍ１７ｓ］等のデータは、ストーリ全体の開始タイミングを基準とした場合の各区切りのタイミングを示している。また、それらのタイミングを示すデータの間に示される「シーン１：出会い」等は、シーン名称を示すデータである。
【００６６】
図１１において、各データ行は、イベントシーケンスデータの種別の各々に対応するデータを示している。例えば、「ＢＳ」で示されるデータ行は、イベントシーケンスデータＢＳに関しユーザにより選択可能なイベントシーケンスデータを示すデータである。各データ行は、各シーンについて、イベントシーケンスデータのファイル名にアレンジ名称を対応付けたデータを複数、含んでいる。例えば、図１１に例示のアレンジデータは、シーン１において用いられるイベントシーケンスデータＢＳとして、ユーザがアレンジ名称「爽やか」に対応付けられた「ＢＳ０８１４．ｉｖｔ」、アレンジ名称「ノスタルジック」に対応付けられた「ＢＳ０５７１．ｉｖｔ」等の中からいずれかを選択可能であることを示している。
【００６７】
ところで、図１１において、例えばイベントシーケンスデータＢＳについては、シーン毎に異なるアレンジ名称の組合せが示されている。従って、ユーザはイベントシーケンスデータＢＳについて、シーン毎に異なるアレンジを選択することができる。一方、例えばイベントシーケンスデータＢＩについては、各シーンに同じアレンジ名称の組合せが示されている。従って、ユーザはイベントシーケンスデータＢＩについては、ストーリ全体を通じて１つのアレンジを選択することになる。
【００６８】
また、図１１において、例えばイベントシーケンスデータＭＥとしては、イベントシーケンスデータＤＬについて選択可能なアレンジ名称の各々に関し、複数のアレンジ名称が示されている。従って、ユーザはイベントシーケンスデータＤＬに関しいずれのアレンジを選択したかにより、イベントシーケンスデータＭＥに関し選択可能なアレンジの組合せが変化することになる。後述するように、ユーザにより各種イベントシーケンスデータの各々について好みのアレンジ名称が選択されることにより、選択されたアレンジ名称に対応付けられたイベントシーケンスデータが特定され、そのように特定されたイベントシーケンスデータがビデオ生成システム１において用いられることになる。以上がアレンジデータである。
【００６９】
図２に戻り、ビデオ生成装置１０の構成説明を続ける。入出力Ｉ／Ｆ１０２は、ビデオ生成装置１０に含まれる記憶部１０１および制御部１０３がコントローラ１１、マイク１２、アンプ１３、ビデオカメラ１５、カメラ移動装置１６、照明装置１７、ディスプレイ１８、超音波受信器１９、メディアドライブ２０およびインターネット２１との間でアナログ信号およびデジタル信号の入出力を行うためのインタフェースである。また、入出力Ｉ／Ｆ１０２はＡ／Ｄ（Ａｎａｌｏｇ  ｔｏ  Ｄｉｇｉｔａｌ）コンバータおよびＤ／Ａ（Ｄｉｇｉｔａｌ  ｔｏ  Ａｎａｌｏｇ）コンバータを備えており、必要に応じてアナログ信号とデジタル信号との間の変換を行う。
【００７０】
制御部１０３は、ストーリデータ１０１０に従い、バックグラウンドサウンド、効果音、台詞のお手本音声および演技指導の音声を再生し、それらの再生音およびマイク１２により拾音された音を示す音声データに各種加工処理を施し、その結果得られる音データをアンプ１３に出力する。また、制御部１０３は、ストーリデータ１０１０に従い、ビデオカメラ１５、カメラ移動装置１６および照明装置１７の動作制御を行う。また、制御部１０３は、ストーリデータ１０１０に従い、バックグラウンドイメージおよびキャラクタイメージを示す画像データを生成し、生成した画像データとビデオカメラ１５により撮像された画像を示す画像データに各種加工処理を施し、その結果得られる画像データをディスプレイ１８に出力する。さらに、制御部１０３は、加工処理を施して得られる音データおよび画像データをビデオデータとして記憶部１０１に記憶させる。
【００７１】
制御部１０３の構成部は、音データの処理に関する音データブロック２０１、画像データの処理に関する画像データブロック２０２、ビデオカメラ１５、カメラ移動装置１６および照明装置１７の動作制御に関する動作制御ブロック２０３、イベントシーケンスデータに従い音データブロック２０１、画像データブロック２０２および動作制御ブロック２０３に対しイベントデータの送信を行うイベントデータ再生部２０４、超音波受信器１９から入力される信号に従いマイク１２の各々の位置を算出するマイク位置算出部２０５およびユーザに対する課金に関する処理を行う課金データ処理部２０６に区分される。また、制御部１０３は発振器（図示略）を備えており、制御部１０３の構成部の処理は発振器により生成されるクロック信号に基づき同期がとられている。
【００７２】
音データブロック２０１は、イベントデータ再生部２０４から送信されるイベントデータに従い様々な楽音を示す音データを出力する音源部２０１１と、イベントデータ再生部２０４から送信されるイベントデータに従いストーリデータ１０１０のソースデータ群（図３参照）に含まれる音データの再生を行う音データ再生部２０１２を備えている。また、音データブロック２０１は、イベントデータ再生部２０４から送信されるイベントデータに従い、マイク１２により拾音された音を示す音データと音源部２０１１および音データ再生部２０１２から送信される音データの各々に各種エフェクト処理等の加工処理を施した後、それらをミキシング処理して得られる音データをアンプ１３に対し出力する音データ加工処理部２０１３を備えている。
【００７３】
画像データブロック２０２は、イベントデータ再生部２０４から送信されるイベントデータに従いストーリデータ１０１０のソースデータ群に含まれる動画データを再生する動画データ再生部２０２１と、イベントデータ再生部２０４から送信されるイベントデータに従い台詞および演技指導の文字表示画面を示す画像データを順次生成する文字画面生成部２０２２と、イベントデータ再生部２０４から送信されるイベントデータに従いストーリデータ１０１０のソースデータ群に含まれるモデリングデータに基づきキャラクタイメージを示す画像データを順次生成するレンダリング処理部２０２３と、ビデオカメラ１５から入力される画像データから特定部分のみを選択するトリミング処理部２０２４を備えている。
【００７４】
レンダリング処理部２０２３により行われるモデリングデータに基づく画像データの生成処理は、一般にレンダリング処理と呼ばれる。レンダリング処理においては、三次元仮想空間内において、モデリングデータにより示される形状および素材を備えるパーツに対し１以上の光源から光を投じた際に所定位置の視点から見える画像を示す画像データが、シミュレーション演算により生成される。レンダリング処理部２０２３は、そのようなレンダリング処理により生成した画像データを画像データ加工処理部２０２５に送信する。
【００７５】
トリミング処理部２０２４はまず、ビデオカメラ１５から入力される画像データから、ユーザの画像部分を選択する処理を行う。具体的には、トリミング処理部２０２４は、ビデオカメラ１５から入力される画像データのうち外周位置のデータをブース（図１参照）の壁の色を示すデータと判断し、そのデータおよびそのデータに近似するデータが、画像の外周部分から中心に向かい連続する範囲を特定する。そのようにして特定される領域はブースの壁を示す背景領域である。トリミング処理部２０２４は、例えば背景領域のデータを削除する。その結果、ユーザの画像部分のみを取り出した画像を示す画像データ（以下、「ユーザ画像データ」と呼ぶ）が生成される。
【００７６】
トリミング処理部２０２４は、さらに、ユーザ画像データからマーカの画像部分を選択する処理を行う。マーカとは、ユーザの画像における各部位の位置をビデオ生成装置１０に特定させるために、ユーザが手足等に装着する特定色のブレスレット、アンクレット等である。マーカには、ビデオ生成装置１０がユーザの衣服等と混同しないように、またブースの照明が暗い場合においても認識可能なように、例えば蛍光色の蓄光塗料が塗布されている。また、ビデオ生成装置１０がユーザの手足等のいずれに装着されたマーカであるかを認識可能なように、例えば右手首のマーカは黄色、左手首のマーカはピンク色等、各部位用のマーカ色が定められている。トリミング処理部２０２４は、ユーザ画像データから、予め登録されたマーカ色と同色もしくは近似色を示すデータを抽出する。そのように抽出されたデータは、マーカ部分を示す画像データ（以下、「マーカ画像データ」と呼ぶ）である。
【００７７】
画像データブロック２０２は、さらに、画像データ加工処理部２０２５を備えている。画像データ加工処理部２０２５は、イベントデータ再生部２０４から送信されるイベントデータに従い、動画データ再生部２０２１、文字画面生成部２０２２およびレンダリング処理部２０２３の各々から送信される画像データ、そしてストーリデータ１０１０のソースデータ群に含まれる静止画データに各種エフェクト処理等の加工処理を施した後、それらを合成処理して得られる画像データをディスプレイ１８に送信する。画像の合成処理には、例えば、ある画像に別の画像をスーパーインポーズする処理や、ある画像から別の画像が透けて見えるように両画像を合成する処理が含まれる。
【００７８】
動作制御ブロック２０３は、イベントデータ再生部２０４から送信されるイベントデータに従い、ビデオカメラ１５、カメラ移動装置１６および照明装置１７の各々の動作制御を行うカメラ動作制御部２０３１、移動動作制御部２０３２および照明動作制御部２０３３を備えている。
【００７９】
イベントデータ再生部２０４は、ストーリデータ１０１０に含まれるアレンジデータにより示されるイベントシーケンスデータのうち、ユーザにより選択されたアレンジ名称に対応するものを用いて、イベントシーケンスデータに含まれるタイミングデータにより示されるタイミングで、各々のイベントデータを、その内容に応じて以下のように各構成部に送信する。
【００８０】
（ａ）イベントシーケンスデータＢＳに含まれる楽音の発音を指示するイベントデータ→音源部２０１１。
（ｂ）イベントシーケンスデータＢＳ、イベントシーケンスデータＤＬおよびイベントシーケンスデータＭＥに含まれる音データの再生を指示するイベントデータ→音データ再生部２０１２。
（ｃ）イベントシーケンスデータＢＳおよびイベントシーケンスデータＭＥに含まれる音に対するエフェクト処理を指示するイベントデータ→音データ加工処理部２０１３。
（ｄ）イベントシーケンスデータＢＩに含まれる動画データの再生を指示するイベントデータ→動画データ再生部２０２１。
（ｅ）イベントシーケンスデータＤＬに含まれる文字列の表示を指示するイベントデータ→文字画面生成部２０２２。
（ｆ）イベントシーケンスデータＣＩに含まれるモデリングデータの指定および各パーツデータの位置、方向を指示するイベントシーケンスデータ→レンダリング処理部２０２３。
（ｇ）イベントシーケンスデータＢＩ、イベントシーケンスデータＣＩに含まれるレイヤ指定に関するイベントデータ、イベントシーケンスデータＢＩに含まれる静止画表示を指示するイベントデータ、イベントシーケンスデータＣＩおよびイベントシーケンスデータＣＷに含まれる画像に対するエフェクト処理、カメラ動作制御、カメラ位置および照明装置動作制御を指示するイベントデータ→画像データ加工処理部２０２５。
（ｈ）イベントシーケンスデータＣＷに含まれるカメラ動作制御およびカメラ位置を指示するイベントデータ→レンダリング処理部２０２３。
（ｉ）イベントシーケンスデータＣＷに含まれるカメラ動作制御を指示するイベントデータ→カメラ動作制御部２０３１。
（ｊ）イベントシーケンスデータＣＷに含まれるカメラ位置を指示するイベントデータ→移動動作制御部２０３２。
（ｋ）イベントシーケンスデータＣＷに含まれる照明装置動作制御を指示するイベントデータ→照明動作制御部２０３３。
【００８１】
上記のように、イベントシーケンスデータＣＷに含まれるカメラ動作制御、カメラ位置および照明装置動作制御を指示するイベントデータは、それぞれカメラ動作制御部２０３１、移動動作制御部２０３２および照明動作制御部２０３３に送信されるとともに、画像データ加工処理部２０２５にも送信される。これは、画像データ加工処理部２０２５が、カメラのズーム倍率、フォーカスの強さ、カメラ位置、カメラ方向、照明の色、照明の強さ等に応じて、バックグラウンドイメージやキャラクタイメージに対し、サイズ変更処理、ぼかし処理、変形処理、色調整処理、明るさ調整処理等を行うためである。また、イベントシーケンスデータＣＷに含まれるカメラ動作制御およびカメラ位置を指示するイベントデータは、レンダリング処理部２０２３にも送信される。これは、レンダリング処理部２０２３が、カメラのズーム倍率、カメラ位置およびカメラ方向に照らし、トリミング処理部２０２４から受信する画像データのいずれの部分がいずれのユーザの画像を示すものであるかを特定するためである。
【００８２】
マイク位置算出部２０５は、ブース（図１参照）の上方に配置された超音波受信器１９ａ〜ｄの各々から超音波を示す音データを受信する。超音波受信器１９ａ〜ｄにより拾音される超音波は、マイク１２ａおよびマイク１２ｂの各々に備えられた超音波発生器１２１ａおよび超音波発生器１２１ｂから断続的に発せられる超音波である。上述したように、超音波発生器１２１ａおよび超音波発生器１２１ｂの各々から発せられる超音波は互いに周波数が異なっており、マイク位置算出部２０５は、超音波受信器１９ａ〜ｄの各々から、２つの異なる周波数の超音波が混合した音を示す音データを受信する。そこでマイク位置算出部２０５は、２つの各々の周波数に関し、その周波数を含み他の周波数を含まない周波数帯の成分のみを通過させるバンドパスフィルタで超音波受信器１９から受信した音データを濾波する。そのような濾波処理により得られる音を示す音データは、それぞれ、超音波発生器１２１ａから発せられた超音波を示すデータおよび超音波発生器１２１ｂから発せられた超音波を示すデータである。
【００８３】
マイク位置算出部２０５は、超音波受信器１９ａ〜ｄの各々から受信した音データに関し、上記の濾波処理を行うことにより、以下のように８組のデータを生成する。
（ａ）超音波発生器１２１ａから発せられ、超音波受信器１９ａにより受信された超音波を示すデータ（「超音波データａａ」と呼ぶ）。
（ｂ）超音波発生器１２１ａから発せられ、超音波受信器１９ｂにより受信された超音波を示すデータ（「超音波データａｂ」と呼ぶ）。
（ｃ）超音波発生器１２１ａから発せられ、超音波受信器１９ｃにより受信された超音波を示すデータ（「超音波データａｃ」と呼ぶ）。
（ｄ）超音波発生器１２１ａから発せられ、超音波受信器１９ｄにより受信された超音波を示すデータ（「超音波データａｄ」と呼ぶ）。
（ｅ）超音波発生器１２１ｂから発せられ、超音波受信器１９ａにより受信された超音波を示すデータ（「超音波データｂａ」と呼ぶ）。
（ｆ）超音波発生器１２１ｂから発せられ、超音波受信器１９ｂにより受信された超音波を示すデータ（「超音波データｂｂ」と呼ぶ）。
（ｇ）超音波発生器１２１ｂから発せられ、超音波受信器１９ｃにより受信された超音波を示すデータ（「超音波データｂｃ」と呼ぶ）。
（ｈ）超音波発生器１２１ｂから発せられ、超音波受信器１９ｄにより受信された超音波を示すデータ（「超音波データｂｄ」と呼ぶ）。
【００８４】
超音波データａａ、ａｂ、ａｃおよびａｄは、同じ超音波を示すデータであるが、マイク１２ａに設けられた超音波発生器１２１ａと、超音波受信器１９ａ〜ｄの各々との距離が異なるため、マイク位置算出部２０５がそれらを受信するタイミングが異なる。超音波データｂａ、ｂｂ、ｂｃおよびｂｄについても同様である。マイク位置算出部２０５は、このタイミングの差異に基づき、マイク１２ａおよびｂのブースにおける位置を算出する。マイク１２ａおよびｂのブースにおける位置の算出方法は同じであるため、以下、マイク１２ａの位置を算出する場合を例として、その算出方法を例示する。
【００８５】
図１２はブースを上方から見た図である。図１２においては、超音波受信器１９ａ〜ｄの各々の位置が点Ａ（０，０，ｒ）、点Ｂ（０，ｑ，ｒ）、点Ｃ（ｐ，ｑ，ｒ）および点Ｄ（ｐ，０、ｒ）として示されている。また、マイク１２ａの位置が点Ｘ（ｘ，ｙ，ｚ）として示されている。ここで、ｐ、ｑおよびｒはブースの幅、奥行きおよび高さを示す定数（メートル）である。一方、ｘ、ｙおよびｚはマイク１２ａの座標を示す変数（メートル）である。ここで、以下の方程式が成立する。ただし、ｔA、ｔB、ｔCおよびｔDは、それぞれ点Ｘから発せられた音が点Ａ〜Ｄの各々に達するまでに要する時間（秒）を示し、Ｓは空気中を音が伝播する速さ（メートル／秒）を示す。
【数１】
2006217183.tif 000003
【００８６】
ところで、既に述べたように、超音波発生器１２１は、例えば０．５秒間、超音波を発し続けた後、１秒間、超音波を発しない。従って、マイク位置算出部２０５は、超音波受信器１９ａ〜ｄのいずれからも超音波データを受け取らない期間が約１秒間続いた後、超音波受信器１９ａ〜ｄの各々から約０．５秒間の超音波データａａ〜ａｄを受信する。そのように受信される超音波データは超音波発生器１２１ａから発せられた同じ超音波を示すデータである。マイク位置算出部２０５は、例えば超音波データａａの値の立ち上がりタイミング、すなわち超音波データａａの値がノイズ成分のレベルを上回る所定の値を下から上に横切って変化する先頭データの受信タイミングを基準とし、超音波データａｂ〜ａｄの各々の立ち上がりタイミングまでの時間（秒）をｔ1、ｔ2およびｔ3として算出する。
【００８７】
例えば、点Ｘが図１２に示される位置にある場合、以下の方程式が成立する。
【数２】
2006217183.tif 000004
【００８８】
式１〜式４を、式５〜式７に代入することにより、３つの式からなる３元２次連立方程式が得られる。ここで、ｘ、ｙおよびｚは正値をとるので、マイク位置算出部２０５はこの連立方程式を解くことにより、ｘ、ｙおよびｚを一意に算出することができる。以上が、マイク位置算出部２０５がマイク１２の位置を算出する方法である。
【００８９】
ただし、マイク位置算出部２０５がマイク１２の位置を算出する方法は上記のものに限られない。例えば、マイク１２の高さ方向の位置が無視できる程度に小さい場合には、二次元平面におけるマイク１２の位置、すなわちｘおよびｙのみを求めるようにしてもよい。その場合、変数が２つとなるので、超音波受信器１９の数は３つ以上であればよい。また、マイク１２に超音波発生器１２１を設ける代わりに、図１２の超音波受信器１９ａ〜ｄの位置に超音波発生器１２１を配置し、マイク１２に超音波受信器１９を設け、マイク位置算出部２０５はマイク１２から超音波データを受信するように構成することにより、上記と類似の算出方法によりマイク位置算出部２０５がマイク１２の位置を算出するようにしてもよい。
【００９０】
マイク位置算出部２０５は、上記のように算出したマイク１２ａおよびｂの各々の位置を示す座標データＸa（ｘa，ｙa，ｚa）およびＸb（ｘb，ｙb，ｚb）（以下、「マイク座標データ」と呼ぶ）をレンダリング処理部２０２３に順次送信する。マイク座標データは、レンダリング処理部２０２３において、トリミング処理部２０２４から送信される画像データのいずれの部分がいずれのユーザを示すデータであるかを特定するために用いられる。
【００９１】
課金データ処理部２０６は、イベントデータ再生部２０４によるイベントデータの送信処理に基づき、ビデオ生成システム１の利用に対する課金額の算出および算出した課金額の決済の依頼処理を行う。その具体的内容については、下記の動作説明において併せて説明する。
【００９２】
［１．２．ビデオ生成システムの動作］
上記の構成を備えるビデオ生成システム１を用いて、ユーザは自分が登場人物として参加する短編映画の撮影を行い、その結果をビデオデータとして得ることができる。以下、ビデオ生成システム１の動作を説明する。以下の説明において、同時に２名のユーザがビデオ生成システム１を利用するものとするが、同時に利用可能なユーザの数はビデオ生成システム１が備えるマイク１２の数およびストーリデータ１０１０の管理データにおいて示されるキャラクタ数のうち、小さい方を上限として自由に選択可能である。
【００９３】
ユーザは、ビデオ生成システム１の利用に先立ち、マイク１２を自分の胸元に装着する。また、ユーザは、両手首および両足首に、各々指定された色のマーカを装着する。その後、ユーザはコントローラ１１を用いて、ビデオ生成装置１０に対し動作の開始を指示する。
【００９４】
［１．２．１．ユーザによる選択操作］
図１３、図１４および図１５は、ユーザがビデオ生成システム１を利用する際にディスプレイ１８に表示される画面を例示している。ユーザによりビデオ生成装置１０に対し動作の開始の指示が行われると、ビデオ生成装置１０の制御部１０３は、まず記憶部１０１に記憶されているストーリデータ１０１０（図３参照）の各々に含まれる管理データ（図４参照）からストーリデータ名称を読み出し、ディスプレイ１８にストーリの選択画面（図１３（ａ））を表示させる。
【００９５】
ストーリの選択画面において、ユーザがコントローラ１１を用いてストーリの選択指示を行うと、ビデオ生成装置１０は、ユーザに選択されたストーリデータ１０１０に含まれるアレンジデータを読み出し、イベントシーケンスデータの種別の各々について、アレンジの選択画面（図１３（ｂ）〜（ｇ））を順次、表示させる。
【００９６】
上述したストーリおよびアレンジの選択画面において、ユーザがコントローラ１１を用いて選択操作を行うと、制御部１０３はその選択操作に応じて、選択されたストーリデータ名称およびアレンジ名称を示す選択アレンジデータ、例えば「さるカニ合戦：ノスタルジック：ファンタジー・・・」を生成し、生成した選択アレンジデータを記憶部１０１に記憶させる。
【００９７】
続いて、ビデオ生成装置１０は管理データに含まれるキャラクタ属性を読み出し、ディスプレイ１８にキャラクタの選択画面（図１４（ａ））を表示させる。キャラクタの選択画面において、ユーザはマイク１２ａを装着する人のキャラクタおよびマイク１２ｂを装着する人のキャラクタを、それぞれマイクａおよびマイクｂに対応するキャラクタとして選択する。また、ユーザは各々のキャラクタに関し、そのキャラクタをどのような表示方法（以下、「キャラクタモード」と呼ぶ）で表示させるかを選択する。キャラクタモードには、ユーザの全身画像をキャラクタの画像として用いる「実物」、キャラクタイメージにユーザの顔画像をはめ込んだ画像に対しユーザの動きに応じた変化を加えたものを用いる「着ぐるみ」およびユーザの画像は用いずにキャラクタイメージの画像に対しユーザの動きに応じた変化を加えたものを用いる「イメージ」のいずれかを選択する。
【００９８】
キャラクタの選択画面において、ユーザがコントローラ１１を用いて各マイクに対応するキャラクタの選択操作を行うと、制御部１０３はその選択操作に応じて、マイクとキャラクタの対応を示すキャラクタ対応データ、例えば「マイクａ：さる」、「マイクｂ：母ガニ」を生成し、生成したキャラクタ対応データを記憶部１０１に記憶させる。同様に、キャラクタの選択画面において、ユーザがコントローラ１１を用いてキャラクタモードの選択操作を行うと、制御部１０３はその選択操作に応じて、選択されたキャラクタモードを示すキャラクタモードデータを生成し、生成したキャラクタモードデータを記憶部１０１に記憶させる。
【００９９】
続いて、ビデオ生成装置１０はディスプレイ１８に課金方法の選択画面（図１４（ｂ））を表示させる。課金方法の選択画面は、課金額の算出方法のリストを含んでいる。課金額の算出方法としては、例えばイベントデータの再生が行われるシーンの数に応じて課金する「３００円／シーン」、イベントデータの再生時間に応じて課金する「１５０円／５分間」、基本料金とイベントデータの再生が行われるシーンの数の組合せに応じて課金する「１５００円＋３００円／追加シーン」等、様々なものが考えられる。
【０１００】
課金方法の選択画面において、ユーザがコントローラ１１を用いて課金方法の選択操作を行うと、制御部１０３はその選択操作に応じて、選択された課金方法を示す課金方法データを生成し、生成した課金方法データを記憶部１０１に記憶させる。
【０１０１】
続いて、ビデオ生成装置１０はディスプレイ１８にイベントデータの再生指示画面（図１４（ｃ））を表示させる。再生指示画面は、シーン名称とそのシーンのテイク（撮影）の完了もしくは未完了を示すリストを含んでいる。ユーザは再生指示画面において、イベントデータの再生を希望するシーンを選択する。また、再生指示画面において、ユーザは「練習モード」もしくは「本番モード」のいずれかのモード（以下、「再生モード」と呼ぶ）を選択することができる。「練習モード」とは、演技指導および台詞のお手本の音声が再生されるとともに、演技指導および台詞の文字とイベントシーケンスデータＣＩに従ったキャラクタイメージの動画が表示される再生モードである。一方、「本番モード」とは、演技指導およびユーザに選択されたキャラクタに関する台詞のお手本の音声は再生されず、ユーザの音声が加工処理等されて発音されるとともに、演技指導および台詞の文字と、ユーザの画像もしくはユーザの動きに応じて動きの変化するキャラクタイメージが表示される再生モードである。
【０１０２】
再生指示画面において、ユーザがコントローラ１１を用いていずれかのシーン名称を選択すると、制御部１０３はその選択操作に応じて、選択されたシーン名称を示す選択シーンデータを生成し、生成した選択シーンデータを記憶部１０１に記憶させる。同様に、ユーザがコントローラ１１を用いていずれかの再生モードのボタンを選択すると、制御部１０３はその選択操作に応じて、選択された再生モードを示す再生モードデータを生成し、生成した再生モードデータを記憶部１０１に記憶させる。
【０１０３】
ユーザがコントローラ１１を用いて、「練習モード」もしくは「本番モード」のいずれかを選択する操作を行うと、その操作に応じて、まず、ビデオ生成装置１０の課金データ処理部２０６は、後述する課金額の算出に用いるため、その時点の時刻を示す再生開始時刻データを生成し、生成した再生開始時刻データを記憶部１０１に記憶させる。また、課金データ処理部２０６は、同じく課金額の算出に用いるため、再生されたシーンの数を記録するための再生回数カウンタを記憶部１０１に生成し、再生回数カウンタに「１」を設定する。
【０１０４】
続いて、イベントデータ再生部２０４は、記憶部１０１に記憶されている選択アレンジデータおよび選択シーンデータに従い、ユーザにより選択されたストーリ名称に対応するストーリデータ１０１０（図３参照）に含まれるアレンジデータ（図１１参照）に基づき、ユーザにより選択されたアレンジ名称およびシーン名称に対応する各種イベントシーケンスデータを特定する。
【０１０５】
例えば、図１１に例示のアレンジデータに従う場合、ユーザにより「シーン１：出会い」が選択され、さらにバックグラウンドサウンドのアレンジ名称「爽やか」、バックグラウンドイメージのアレンジ名称「劇画風」、キャラクタイメージのアレンジ名称「ファンシー」、ダイアログのアレンジ名称「舞台劇風」、マイクエフェクトのアレンジ名称「非現実的」そしてカメラワークのアレンジ名称「技巧的」がそれぞれ選択された場合、イベントデータ再生部２０４は「ＢＳ０８１４．ｉｖｔ」、「ＢＩ０７９５．ｉｖｔ」、「ＣＩ０８０１．ｉｖｔ」、「ＤＬ０６８５．ｉｖｔ」、「ＭＥ０１５０．ｉｖｔ」および「ＣＷ０４０１．ｉｖｔ」を用いるべきイベントシーケンスデータのファイルとして特定する。
【０１０６】
イベントデータ再生部２０４は、上記のようにイベントシーケンスデータのファイルを特定すると、特定したファイルに格納されているイベントシーケンスデータに従い、イベントデータの再生を行う。すなわち、イベントデータ再生部２０４は、各々のイベントシーケンスデータに含まれるイベントデータを、対応付けられているタイミングデータにより示されるタイミングで、そのイベントデータの種別に応じた構成部に対し送信する。各構成部は、イベントデータ再生部２０４から受信したイベントデータに従い、各種処理を行う。ただし、イベントデータ再生部２０４によるイベントデータの再生処理およびイベントデータを受信した際の各構成部の動作は、再生モードが「練習モード」、「本番モード」のいずれであるかにより一部異なる。従って、以下、再生モードの各々について、イベントデータが再生される際のビデオ生成システム１の動作を説明する。
【０１０７】
［１．２．２．イベントデータの再生（練習モード）］
まず、記憶部１０１に再生モードデータ「練習モード」が記憶されている場合、イベントデータ再生部２０４は以下のようにイベントデータを音データブロック２０１に対し送信する。
（ａ）イベントシーケンスデータＢＳに含まれる楽音の発音を指示するイベントデータ→音源部２０１１。
（ｂ）イベントシーケンスデータＢＳ、イベントシーケンスデータＤＬおよびイベントシーケンスデータＭＥに含まれる音データの再生を指示するイベントデータ→音データ再生部２０１２。
（ｃ）イベントシーケンスデータＢＳおよびイベントシーケンスデータＭＥに含まれる音に対するエフェクト処理を指示するイベントデータ→音データ加工処理部２０１３。
【０１０８】
音源部２０１１は、上記（ａ）のイベントデータに従い、バックグラウンドサウンドを構成する楽音の再生を行う。また、音データ再生部２０１２は、上記（ｂ）のイベントデータに従い、バックグラウンドサウンドを構成する楽音以外の音の再生、効果音の再生、演技指導の音声の再生および台詞のお手本音声の再生を行う。音源部２０１１および音データ再生部２０１２は、再生を指示したイベントデータにチャンネル番号が含まれる場合、再生した音データにそのチャンネル番号を付加する。また、音データ再生部２０１２は、再生を指示したイベントデータにキャラクタ名称が含まれる場合、再生した音データにそのキャラクタ名称を付加する。そのように生成された音データは、音源部２０１１および音データ再生部２０１２から音データ加工処理部２０１３に送信される。
【０１０９】
音データ加工処理部２０１３は、音源部２０１１および音データ再生部２０１２から受信した音データに対し、上記（ｃ）のイベントデータに従い、ディレイ等の付加、パンの変更等の各種加工処理を行う。音データ加工処理部２０１３は、チャンネル番号を含むイベントデータを受信した場合、そのチャンネル番号の付加された音データに対し当該イベントデータに従った加工処理を行う。また、音データ加工処理部２０１３は、キャラクタ名称を含むイベントデータを受信した場合、そのキャラクタ名称の付加された音データに対し当該イベントデータに従った加工処理を行う。イベントデータに従い、必要に応じて加工処理の施された音データは、音データ加工処理部２０１３からアンプ１３に出力され、アンプ１３により増幅された後、スピーカ１４により音に変換され発音される。
【０１１０】
上記の処理と並行して、イベントデータ再生部２０４は以下のようにイベントデータを画像データブロック２０２に対し送信する。
（ｄ）イベントシーケンスデータＢＩに含まれる動画データの再生を指示するイベントデータ→動画データ再生部２０２１。
（ｅ）イベントシーケンスデータＤＬに含まれる文字列の表示を指示するイベントデータ→文字画面生成部２０２２。
（ｆ）イベントシーケンスデータＣＩに含まれるモデリングデータの指定および各パーツデータの位置、方向を指示するイベントシーケンスデータ→レンダリング処理部２０２３。
（ｇ）イベントシーケンスデータＢＩ、イベントシーケンスデータＣＩに含まれるレイヤ指定に関するイベントデータ、イベントシーケンスデータＢＩに含まれる静止画表示を指示するイベントデータ、イベントシーケンスデータＣＩおよびイベントシーケンスデータＣＷに含まれる画像に対するエフェクト処理、カメラ動作制御、カメラ位置および照明装置動作制御を指示するイベントデータ→画像データ加工処理部２０２５。
【０１１１】
動画データ再生部２０２１は、上記（ｄ）のイベントデータに従い、バックグラウンドイメージを構成する画像の再生を行い、再生した画像データに対し再生を指示したイベントデータに含まれるレイヤ番号を付加した後、画像データ加工処理部２０２５に送信する。また、文字画面生成部２０２２は、上記（ｅ）のイベントデータに従い、演技指導および台詞の文字の表示画面を示す画像データを生成し、生成した画像データを画像データ加工処理部２０２５に送信する。また、レンダリング処理部２０２３は、上記（ｆ）のイベントデータに従い、キャラクタイメージを示す画像データを生成し、生成した画像データに対し生成を指示したイベントデータに含まれるキャラクタ名称を付加した後、画像データ加工処理部２０２５に送信する。
【０１１２】
画像データ加工処理部２０２５は、ストーリデータ１０１０のソースデータ群に含まれる静止画データに従った静止画表示を指示するイベントデータを受信した場合、そのイベントデータにより指示される静止画データを記憶部１０１から読み出す。また、画像データ加工処理部２０２５は、レイヤ番号を含むエフェクト処理を指示するイベントデータを受信した場合、そのレイヤ番号の付加された画像データに対し当該イベントデータに従った加工処理を行う。また、画像データ加工処理部２０２５は、キャラクタ名称を含むエフェクト処理を指示するイベントデータを受信した場合、そのキャラクタ名称の付加された画像データに対し当該イベントデータに従った加工処理を行う。
【０１１３】
さらに、画像データ加工処理部２０２５は、イベントデータ再生部２０４からカメラ動作制御、カメラ位置および照明装置動作制御を指示するイベントデータを受信すると、動画データ再生部２０２１およびレンダリング処理部２０２３から受信した画像データおよび記憶部１０１から読み出した静止画データの各々に対し、イベントデータの内容に応じたサイズ変更処理、ぼかし処理、変形処理、色調整処理、明るさ調整処理等を行う。例えば、ズーム倍率の変更を指示するイベントデータに応じて、画像データ加工処理部２０２５は各々の画像データのサイズを拡大もしくは縮小する。その際、画像データ加工処理部２０２５は、例えば手前のレイヤに配置された画像データの拡大縮小率を大きくし、奥のレイヤに配置された画像データの拡大縮小率を小さくすることにより、実際にビデオカメラのズーム倍率を変化させた場合の画像を擬似的に生成する。
【０１１４】
また、フォーカスの強さの変更を指示するイベントデータに応じて、画像データ加工処理部２０２５は各々の画像データにぼかし処理を施す。その際、画像データ加工処理部２０２５は、例えば手前のレイヤに配置された画像データのぼかし処理の程度と奥のレイヤに配置された画像データのぼかし処理の程度を変化させることにより、実際にビデオカメラのフォーカスを変化させた場合の画像を擬似的に生成する。また、カメラ位置の変更を指示するイベントデータに応じて、画像データ加工処理部２０２５は各々の画像データに変形処理を施す。その際、画像データ加工処理部２０２５は、例えば手前のレイヤに配置された画像データの変形率を大きくし、奥のレイヤに配置された画像データの変形率を小さくすることにより、実際にビデオカメラを移動させた場合の画像を擬似的に生成する。
【０１１５】
また、照明の色および明るさの変更を指示するイベントデータに応じて、画像データ加工処理部２０２５は各々の画像データに色調や明るさの変更処理を施す。その際、画像データ加工処理部２０２５は、例えば手前のレイヤに配置された画像データの色調や明るさの変更の程度を大きくし、奥のレイヤに配置された画像データの色調や明るさの変更の程度を小さくすることにより、実際に照明の色や明るさを変化させた場合の画像を擬似的に生成する。
【０１１６】
画像データ加工処理部２０２５は、以上のように各種加工処理を施して得られる画像データを、配置されたレイヤ番号の順に従いスーパーインポーズし、最後に文字画面生成部２０２２から受信した画像データをスーパーインポーズして、１つの画像データを合成する。画像データ加工処理部２０２５は合成により得られた画像データをディスプレイ１８に送信する。ディスプレイ１８は受信した画像データに従い、バックグラウンドイメージ、キャラクタイメージ、演技指導および台詞文字を含む画面を表示する。図１４（ｄ）は、練習モードにおいてディスプレイ１８に表示される画面を例示している。
【０１１７】
上記のようなビデオ生成システム１の動作により、イベントデータ再生部２０４によるイベントデータの再生が行われる間、ユーザは台詞のお手本音声を聞きながら台詞の練習をし、またディスプレイ１８に表示されるキャラクタイメージの動きを見ながら動作の練習を行う。その際、ユーザは演技指導の音声を参考とし、自分の動作や表情、台詞まわし等を工夫することができる。
【０１１８】
イベントデータ再生部２０４による１シーン分のイベントデータの再生が終了すると、課金データ処理部２０６はその時点の時刻を示す再生終了時刻データを生成し、生成した再生終了時刻データを記憶部１０１に記憶させる。その後、制御部１０３は図１４（ｃ）に示したような再生指示画面を再度、ディスプレイ１８に表示させる。
【０１１９】
［１．２．３．イベントデータの再生（本番モード）］
一方、記憶部１０１に再生モードデータ「本番モード」が記憶されている場合、ビデオ生成システム１がイベントデータの再生に際し行う動作は、上記の練習モードにおける場合と多くの点で共通しているが、以下の点で異なる。
【０１２０】
まず、イベントデータ再生部２０４は、練習モードにおいて送信するイベントデータに加え、さらに以下のイベントデータを動作制御ブロック２０３に対し送信する。
（ｈ）イベントシーケンスデータＣＷに含まれるカメラ動作制御およびカメラ位置を指示するイベントデータ→レンダリング処理部２０２３。
（ｉ）イベントシーケンスデータＣＷに含まれるカメラ動作制御を指示するイベントデータ→カメラ動作制御部２０３１。
（ｊ）イベントシーケンスデータＣＷに含まれるカメラ位置を指示するイベントデータ→移動動作制御部２０３２。
（ｋ）イベントシーケンスデータＣＷに含まれる照明装置動作制御を指示するイベントデータ→照明動作制御部２０３３。
【０１２１】
カメラ動作制御部２０３１、移動動作制御部２０３２および照明動作制御部２０３３は、それぞれ上記（ｉ）、（ｊ）および（ｋ）のイベントデータに従い、ビデオカメラ１５、カメラ移動装置１６および照明装置１７の動作制御を行う。その動作制御に従い、ビデオカメラ１５はズーム倍率やフォーカスの強さを変更し、カメラ移動装置１６はビデオカメラ１５の位置および方向を変更し、照明装置１７は照明の色および明るさを変更する。その結果、ビデオカメラ１５は変化に富む画像データを順次生成することができる。ビデオカメラ１５は撮像処理により生成した画像データをトリミング処理部２０２４に送信する。
【０１２２】
トリミング処理部２０２４はビデオカメラ１５ａ〜ｄから送信される画像データの各々について、ユーザの画像部分を取り出すトリミング処理を行い、ユーザ画像データを生成する。トリミング処理部２０２４はユーザ画像データを、いずれのビデオカメラ１５の画像データから生成したものであるかを示すデータとともにレンダリング処理部２０２３に送信する。また、トリミング処理部２０２４は、生成したユーザ画像データの各々に関し、ユーザにより両手両足の各々に装着されたマーカの色ごとに、マーカの画像部分を取り出すトリミング処理を行い、マーカ画像データを生成する。トリミング処理部２０２４はマーカ画像データを、いずれのユーザ画像データから生成したものであるかを示すデータとともにレンダリング処理部２０２３に送信する。
【０１２３】
一方、マイク位置算出部２０５は、超音波受信器１９ａ〜ｄの各々から超音波を示すデータを受信し、受信したデータに基づきマイク１２ａおよびｂの位置を示すマイク座標データを生成する。マイク位置算出部２０５は生成したマイク座標データを、マイク１２ａおよびｂのいずれに対応するものかを示すデータとともにレンダリング処理部２０２３に送信する。
【０１２４】
レンダリング処理部２０２３は、トリミング処理部２０２４からユーザ画像データおよびマーカ画像データを、またマイク位置算出部２０５からマイク座標データを受信すると、その時点でイベントデータ再生部２０４から受信しているカメラ位置およびカメラ方向を指示するイベントデータと、マイク位置算出部２０５から受信したマイク座標データに基づき、ビデオカメラ１５により生成された画像データにおけるユーザ画像データの位置と、ビデオカメラ１５の位置とマイク１２の位置関係から定まるユーザの位置との照合を行う。このレンダリング処理部２０２３による照合処理により、１つのビデオカメラ１５により複数のユーザが撮像されている場合においても、いずれのユーザ画像データがいずれのユーザのものであるかが特定される。
【０１２５】
続いて、レンダリング処理部２０２３は、マーカ画像データにより示されるマーカ部分の代表点、例えば重心の座標を示すマーカ座標データを算出する。各マーカはユーザのいずれの部位に装着されたものであるかが色により区別され、各マーカ画像データにはその生成に用いられたユーザ画像データを示すユーザが付加されているので、レンダリング処理部２０２３は算出したマーカ座標データがいずれのユーザのいずれの部位に装着されたマーカ位置を示すものであるかを特定することができる。
【０１２６】
上記のように各ユーザとの対応付けが行われたユーザ画像データと、各ユーザの各部位との対応付けが行われたマーカ座標データを用いて、レンダリング処理部２０２３は、ユーザにより選択されたキャラクタに関し、キャラクタの画像データの生成処理を以下のように行う。
【０１２７】
記憶部１０１にキャラクタモードデータ「実物」が記憶されている場合、レンダリング処理部２０２３はユーザにより選択されているキャラクタに関し、イベントデータに従ってレンダリング処理により生成したキャラクタイメージの画像データの代わりに、トリミング処理部２０２４から送信されるユーザ画像データをそのまま画像データ加工処理部２０２５に送信する。その際、レンダリング処理部２０２３は、記憶部１０１に記憶されているキャラクタ対応データに従い、例えばマイク１２ａを装着しているユーザのユーザ画像データにキャラクタ名称「さる」を、またマイク１２ｂを装着しているユーザのユーザ画像データにキャラクタ名称「母ガニ」を付加して送信する。その結果、画像データ加工処理部２０２５はレンダリング処理部２０２３から受信するユーザ画像データをどのレイヤに配置すべきかを特定することができる。
【０１２８】
また、記憶部１０１にキャラクタモードデータ「着ぐるみ」が記憶されている場合、レンダリング処理部２０２３はユーザにより選択されているキャラクタに関し、マイク位置算出部２０５から受信したマイク座標データおよび算出したマーカ座標データに基づきキャラクタの各パーツの位置および方向を算出し、イベントデータにより指示される各パーツの位置および方向の代わりに、マーカ座標データより算出した位置および方向に従ったレンダリング処理を行う。また、レンダリング処理部２０２３は、ユーザ画像データから上部に位置する楕円形部分をユーザの顔部分の画像データとして取り出す。レンダリング処理部２０２３は、レンダリング処理により生成したキャラクタイメージの顔部分の画像データを、ユーザの顔部分の画像データと置き換える。その結果、レンダリング処理部２０２３はユーザの動作に応じて各パーツの位置および方向が変化するキャラクタイメージにユーザの顔の画像を合成した画像データを生成する。レンダリング処理部２０２３は、そのように生成した画像データをキャラクタ名称とともに画像データ加工処理部２０２５に送信する。
【０１２９】
また、記憶部１０１にキャラクタモードデータ「イメージ」が記憶されている場合、レンダリング処理部２０２３はユーザにより選択されているキャラクタに関し、上記のキャラクタモードデータ「着ぐるみ」の場合とほぼ同様の処理を行うが、レンダリングにより生成したキャラクタイメージの顔部分の画像データをユーザの顔部分の画像データと置き換える処理は行わない。その一方で、レンダリング処理部２０２３はユーザの顔部分の画像データのうち、上部に左右に並んで位置する楕円形部分を目部分の画像データとして、また顔部分の下部に上下に並んで位置する楕円形部分を唇部分の画像データとして取り出す。レンダリング処理部２０２３は、そのように取り出した目部分および唇部分の顔部分における位置情報を算出し、その位置情報に基づき、レンダリング処理におけるキャラクタイメージの目のパーツおよび唇のパーツの位置を決定する。その結果、レンダリング処理部２０２３はユーザの手足および目や唇の動作に応じて各パーツの位置および方向が変化するキャラクタイメージの画像データを生成する。レンダリング処理部２０２３は、そのように生成した画像データをキャラクタ名称とともに画像データ加工処理部２０２５に送信する。
【０１３０】
上記のような画像データブロック２０２の処理により、本番モードにおいては、ユーザの画像もしくはユーザの動作に応じて変化するキャラクタイメージの画像が用いられた画面がディスプレイ１８に表示される。図１４（ｅ）は、本番モードにおいて、キャラクタモード「着ぐるみ」が選択されている場合に、ディスプレイ１８に表示される画面を例示している。
【０１３１】
また、本番モードにおいては、画像データ加工処理部２０２５は、ユーザにより選択されているキャラクタの静止画像の表示を指示するイベントデータを受信した場合、そのイベントデータにより指示される静止画データを記憶部１０１から読み出す代わりに、レンダリング処理部２０２３から送信される画像データの１コマ分を用いる。従って、画像データ加工処理部２０２５により合成され、ディスプレイ１８に表示される画像には、ユーザにより選択されているキャラクタモードに応じて、ユーザの画像、ユーザの顔画像をキャラクタイメージに組み込んだ画像、もしくはキャラクタイメージが含まれることになる。また、ユーザの静止画データもしくはユーザの動きに応じたキャラクタイメージが用いられる場合、画像データ加工処理部２０２５により用いられる１コマ分の画像データに対応するユーザの画像データをビデオカメラ１５が撮像するタイミングに応じて、イベントシーケンスデータＤＬに従い、ユーザに対し、例えば「静止画の撮影を行います。３、２、１、はい！」のような演技指導の音声の発音および文字の表示が行われるようにしてもよい。
【０１３２】
一方、音データブロック２０１においても、本番モードにおいては練習モードと一部異なる処理が行われる。まず、イベントデータ再生部２０４は、記憶部１０１に記憶されているキャラクタ対応データに従い、ユーザにより選択されているキャラクタに関する台詞のお手本音声の再生を指示するイベントデータを音データ再生部２０１２に送信しない。その結果、音データ再生部２０１２は、ユーザにより選択されていないキャラクタの台詞音声のみを再生する。
【０１３３】
また、イベントデータ再生部２０４は、演技指導の音声の再生を指示するイベントデータを音データ再生部２０１２に送信しない。その結果、音データ再生部２０１２により演技指導の音声が再生されることはない。
【０１３４】
また、音データ加工処理部２０１３は、ユーザにより選択されているキャラクタの音声を示す音データとして、音データ再生部２０１２から送信される音データではなく、マイク１２により拾音された音を示す音データを用いる。その際、音データ加工処理部２０１３は記憶部１０１に記憶されているキャラクタ対応データに従い、いずれのマイク１２から受信する音データをいずれのキャラクタの台詞を示す音データとして用いるかを特定する。その結果、音データ加工処理部２０１３は、イベントデータにより指示されるエフェクト処理の対象となる音データを特定することができる。
【０１３５】
上記のような音データブロック２０１の処理により、本番モードにおいては、ユーザの音声が用いられた音がスピーカ１４から発音される。
【０１３６】
ところで、本番モードにおいては、音データ加工処理部２０１３により生成される音データは、アンプ１３に出力されるとともに記憶部１０１に順次記憶される。同様に、画像データ加工処理部２０２５により生成される画像データは、ディスプレイ１８に送信されるとともに記憶部１０１に順次記憶される。ただし、記憶部１０１に記憶される画像データは、画像データ加工処理部２０２５が文字画面生成部２０２２から受信する演技指導および台詞の文字表示画面のデータがスーパーインポーズされていないものである。
【０１３７】
イベントデータ再生部２０４による１シーン分のイベントデータの再生が終了すると、課金データ処理部２０６はその時点の時刻を再生終了時刻データとして記憶部１０１に記憶させる。また、制御部１０３は、記憶部１０１に順次記憶した音データおよび画像データを統合し、例えばシーンを特定可能な「シーン１．ｍｏｖ」等のファイル名を付加してビデオデータとして保存する。その後、制御部１０３は図１４（ｃ）に示したような再生指示画面を再度、ディスプレイ１８に表示させる。ただし、この場合、再生指示画面に含まれるシーン名称のリストにおいては、ビデオデータの生成がなされたシーンに対応するテイクの欄が「完了」と表示される。
【０１３８】
ユーザは再生指示画面（図１４（ｃ））において、自由に練習もしくは撮影を行いたいシーンを選択し、上記と同様に練習モードもしくは本番モードによるイベントデータの再生を繰り返す。各々のシーンの再生に伴い、課金データ処理部２０６は再生開始時刻データおよび再生終了時刻データを記憶部１０１に記憶するとともに、記憶部１０１の再生回数カウンタに１を加算する。ユーザにより、選択されたストーリに含まれる全てのシーンに関するテイクが完了すると、ディスプレイ１８には図１４（ｆ）に示されるような全テイク完了の通知画面が表示される。ユーザが全テイク完了の通知画面において「再生」を選択すると、ビデオ生成装置１０の動画データ再生部２０２１は各シーンのビデオデータをシーンの順序に従って順次再生する。その結果、ユーザは自分の画像もしくは自分の動作により動くキャラクタイメージが登場する短編映画がディスプレイ１８に表示されるのを楽しむことができる。
【０１３９】
また、ユーザはビデオ生成システム１により生成された短編映画の出来が気に入らない場合には、「戻る」を選択しディスプレイ１８に再生指示画面（図１４（ｃ））を表示させ、既にテイクの完了したシーンに関し、撮影のやり直しを行うこともできる。また、ユーザはビデオ生成システム１により生成された短編映画の出来が気に入った場合には、メディアドライブ２０にフラッシュメモリ等の記憶媒体を装填した後、「保存」を選択することにより、短編映画のビデオデータを記憶媒体に保存させることができる。また、ユーザは「送信」を選択した後、例えば電子メールのアドレス等を指定することにより、インターネット２１を介して希望の通信端末に短編映画のビデオデータを送信させることができる。その結果、ユーザはビデオ生成システム１により生成された短編映画を自宅等で繰り返し楽しんだり、友人に送信したりすることができる。
【０１４０】
［１．２．４．課金処理］
全テイク完了の通知画面（図１４（ｆ））において、ユーザが「終了」を選択すると、ビデオ生成装置１０はユーザのビデオ生成システム１の利用に対する課金処理を行う。まず、ユーザの「終了」の選択操作に応じて、課金データ処理部２０６は記憶部１０１に記憶されている課金方法データに従い、課金額の算出処理を行う。例えば課金方法データが「１５０円／５分間」である場合、課金データ処理部２０６は記憶部１０１に記憶されている再生開始時刻データおよび再生終了時刻データに基づきビデオ生成装置１０によりイベントデータの再生が行われた時間を算出し、算出した時間（分）を５で除した値に１５００を乗じて、課金額（円）を算出する。
【０１４１】
また、例えば課金方法データが「３００円／シーン」である場合、課金データ処理部２０６は記憶部１０１に記憶されている再生回数カウンタの値に３００を乗じて、課金額（円）を算出する。これらの課金額の算出方法は例示であって、他に様々な課金額の算出方法が考えられる。また、本実施形態においてはイベントデータの再生時間およびイベントデータの再生の行われたシーンの数に基づき課金額を算出するものとして説明したが、例えばビデオ生成システム１の動作の開始から終了に至る全時間を課金額の算出に用いたり、ユーザにより選択されたキャラクタの数を課金額の算出に用いるなど、他の様々な情報を課金額の算出に用いてもよい。
【０１４２】
続いて、制御部１０３は、課金データ処理部２０６により算出された課金額を用いて、ディスプレイ１８に図１５（ａ）に示す課金額の支払方法の選択画面を表示させる。支払方法の選択画面において、ユーザは例えばクレジットカードによる決済もしくは銀行口座からの引き落としのいずれかを選択することができる。ユーザにより「クレジットカード」もしくは「銀行口座」が選択された場合、制御部１０３は図１５（ｂ）もしくは（ｃ）に示す画面を表示させ、クレジットカードによる決済もしくは銀行口座からの引き落としに必要な情報の入力をユーザに促す。ユーザにより必要な情報の入力が行われ、「ＯＫ」が選択されると、制御部１０３は、例えばインターネット２１を介してクレジットカード会社もしくは銀行のサーバに接続し、ユーザにより入力された情報を用いて、当該サーバに対し、課金額の決済処理もしくは送金処理の指示を行う。
【０１４３】
本実施形態においては、課金額の支払方法としてクレジットカードおよび銀行口座によるものを例示したが、例えば現金による決済等、他の支払方法を採用してもよい。例えばビデオ生成システム１において、現金による決済を選択可能とする場合、ビデオ生成システム１はビデオ生成装置１０に接続されたキャッシュレジスタを備え、ユーザによるキャッシュレジスタに対する現金の投入に対し、釣り銭の排出を行う。さらに、ビデオ生成システム１がビデオ生成装置１０に接続された印刷装置を備えるようにし、ユーザに対し領収書やクレジットカードの利用控書等の書類を発行するようにしてもよい。制御部１０３は、上記のサーバに対する決済処理もしくは送金処理の指示を終えると、ディスプレイ１８に図１５（ｄ）に示す画面を表示させ、一連の動作を完了する。
【０１４４】
以上のように、ビデオ生成システム１によれば、予め準備されたイベントシーケンスデータに従い、リアルタイムに撮像されるユーザの画像データを用いて適切な加工処理により生成された画像データと、リアルタイムに拾音されるユーザの音声データを用いて適切な加工処理により生成された音データからなるビデオデータが自動生成される。その際、台詞文字や動作の手本となるキャラクタイメージの表示、演技指導の音声の発音および文字の表示等が行われるため、ユーザは気軽にビデオデータの生成に参加することができるとともに、観衆をより楽しませることができるビデオデータを生成することができる。
【０１４５】
また、ビデオ生成システム１によれば、ユーザは予め準備された複数のイベントシーケンスデータの中から好みのアレンジに対応するものを選択することにより、自分の好みやその場の雰囲気に沿ったビデオデータを生成することができる。
【０１４６】
また、ビデオ生成システム１によれば、例えばビデオカメラの位置やズーム倍率の変更等、照明の色や明るさの変更等に応じて、バックグラウンドイメージやキャラクタイメージ等の画像データに適切な加工処理が行われるため、より観衆を楽しませることができるビデオデータを生成することができる。
【０１４７】
ところで、ビデオ生成装置１０は、専用のハードウェアにより実現されてもよいし、汎用コンピュータにアプリケーションプログラムに従った処理を実行させることにより実現されてもよい。ビデオ生成装置１０が汎用コンピュータにより実現される場合、制御部１０３の各構成部は、汎用コンピュータが備えるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）およびＣＰＵの制御下で動作するＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）が、アプリケーションプログラムに含まれる各モジュールに従った処理を同時並行して行うことにより、汎用コンピュータの機能として実現される。
【０１４８】
また、上記においては、イベントデータ再生部２０４が、動作制御ブロック２０３に対し送信するイベントデータを画像データブロック２０２にも送信することにより、動作制御ブロック２０３と画像データブロック２０２との動作の連動を実現する場合について説明したが、例えばイベントデータ再生部２０４が、動作制御ブロック２０３に送信するイベントデータを音データブロック２０１にも送信することにより、動作制御ブロック２０３と音データブロック２０１との動作の連動を実現するようにしてもよい。音データブロック２０１と画像データブロック２０２との動作の連動についても同様である。
【０１４９】
［２．第２実施形態］
上記の第１実施形態においては、ビデオ生成システム１は、ビデオ生成装置１０と、ビデオ生成装置１０に接続されるマイク１２等の各種装置の組合せにより構成されている。しかしながら、本発明にかかるビデオ生成システムの構成部のいずれを組み合わせて同じ筐体に配置するかは自由に変更可能である。図１６は、本発明にかかるビデオ生成システムを、図２で示したビデオ生成システム１とは異なる配置により実現したビデオ生成システム２の構成を示したブロック図である。以下、ビデオ生成システム２を本発明の第２実施形態として説明する。
【０１５０】
ただし、ビデオ生成システム２の構成および動作は、ビデオ生成システム１のものと多くの点で共通しているので、以下、ビデオ生成システム２がビデオ生成システム１と異なる点のみ説明する。図１６において、ビデオ生成システム２の構成部のうち、ビデオ生成システム１と同様の構成部に関しては、同じ符合が付されている。また、図１６においては図の簡略化のため、各構成部間の詳細なデータフローを示す矢印が省略され、また複数個からなる同種の構成部は１つのみ示されている。
【０１５１】
ビデオ生成システム２は、ビデオ生成システム１のビデオ生成装置１０の代わりに、音データ処理装置３１、画像データ処理装置３２および中央管理装置３３を備えている。音データ処理装置３１は、ビデオ生成システム１における音データブロック２０１に含まれる構成部を含む制御部１０３１と、記憶部１０１１および入出力Ｉ／Ｆ１０２１を備えている。画像データ処理装置３２は、ビデオ生成システム１における画像データブロック２０２に含まれる構成部と超音波受信器１９およびマイク位置算出部２０５を含む制御部１０３２と、記憶部１０１２および入出力Ｉ／Ｆ１０２２を備えている。中央管理装置３３は、ビデオ生成システム１におけるイベントデータ再生部２０４および課金データ処理部２０６を含む制御部１０３３と、記憶部１０１３および入出力Ｉ／Ｆ１０２３を備えている。
【０１５２】
入出力Ｉ／Ｆ１０２１〜１０２３は、ビデオ生成装置１０の入出力Ｉ／Ｆ１０２と同様に、他の装置との間でデータの入出力を行うためのインタフェースである。記憶部１０１１〜１０１３は、ビデオ生成装置１０の記憶部１０１と同様に、制御部１０３１〜１０３３による各種処理を指示するプログラムを予め記憶し、また制御部１０３１〜１０３３により生成されるデータを一時的に記憶する。また、例えば中央管理装置３３の記憶部１０１３は、予め、複数のストーリデータ１０１０を記憶している。
【０１５３】
また、ビデオ生成システム２におけるビデオカメラ１５、カメラ移動装置１６および照明装置１７はそれぞれ、カメラ動作制御部２０３１、移動動作制御部２０３２および照明動作制御部２０３３を備えている。
【０１５４】
ビデオ生成システム２において、ユーザがコントローラ１１を用いてイベントデータの再生を指示すると、中央管理装置３３はユーザの選択操作により特定されるイベントシーケンスデータに従い、イベントデータの内容に従い、音データ処理装置３１、画像データ処理装置３２、ビデオカメラ１５、カメラ移動装置１６および照明装置１７の各々にイベントデータを送信する。また、中央管理装置３３は、イベントデータの送信に先立ち、もしくは並行して、イベントデータにより指示される処理に要するソースデータを、音データ処理装置３１もしくは画像データ処理装置３２に送信する。ただし、中央管理装置３３がソースデータを送信する代わりに、音データ処理装置３１および画像データ処理装置３２が、各々処理に必要なソースデータを予め記憶部１０１１および記憶部１０１２に記憶しておいてもよい。
【０１５５】
音データ処理装置３１は、中央管理装置３３から受信したイベントデータに従い、音データの再生処理および加工処理を行い、生成した音データをアンプ１３に出力する。また、ユーザにより本番モードが選択されている場合、音データ処理装置３１は生成した音データを中央管理装置３３に送信し、中央管理装置３３は音データ処理装置３１から送信された音データを記憶部１０１３に記憶する。
【０１５６】
画像データ処理装置３２は、中央管理装置３３から受信したイベントデータに従い、画像データの再生処理および加工処理を行い、生成した画像データをディスプレイ１８に送信する。また、ユーザにより本番モードが選択されている場合、画像データ処理装置３２は生成した画像データを中央管理装置３３に送信し、中央管理装置３３は画像データ処理装置３２から送信された画像データを記憶部１０１３に記憶する。
【０１５７】
上記のように、本番モードにおいて記憶部１０１３に順次記憶された音データおよび画像データは、ユーザが登場人物として参加するビデオデータとして統合され、ユーザの指示により再生、送信、記憶媒体への保存等がなされる。
【０１５８】
以上説明したビデオ生成システム２によっても、第１実施形態におけるビデオ生成システム１と同様に、ユーザは気軽にビデオデータの生成に参加することができるとともに、観衆をより楽しませることができるビデオデータを生成することができる。
【０１５９】
ところで、音データ処理装置３１、画像データ処理装置３２および中央管理装置３３は、専用のハードウェアにより実現されてもよいし、汎用コンピュータにアプリケーションプログラムに従った処理を実行させることにより実現されてもよい。音データ処理装置３１、画像データ処理装置３２および中央管理装置３３が汎用コンピュータにより実現される場合、制御部１０３１、制御部１０３２および制御部１０３３の各構成部は、汎用コンピュータが備えるＣＰＵおよびＣＰＵの制御下で動作するＤＳＰが、アプリケーションプログラムに含まれる各モジュールに従った処理を同時並行して行うことにより、汎用コンピュータの機能として実現される。
【０１６０】
［３．第３実施形態］
上記のビデオ生成システム１およびビデオ生成システム２は、超音波発生器１２１を備えるマイク１２、カメラ移動装置１６、照明装置１７等の、一般のユーザが所有しないと思われる専用装置を備えている。そのため、一般のユーザが自宅で本発明にかかるビデオデータの生成を行うことは困難である。しかしながら、本発明にかかるビデオ生成システムは、ビデオ生成システム１もしくはビデオ生成システム２が備える全ての構成部を備える必要はない。以下、パーソナルコンピュータに家庭用のディスプレイ、ビデオカメラ、マイク、アンプ、スピーカ等を接続して、パーソナルコンピュータのＣＰＵおよびＤＳＰにアプリケーションプログラムに従った処理を実行させることにより、本発明を実施する場合を第３実施形態として説明する。
【０１６１】
図１７は、第３実施形態にかかるビデオ生成システム３の構成を示したブロック図である。ただし、ビデオ生成システム３の構成および動作は、ビデオ生成システム１のものと多くの点で共通しているので、以下、ビデオ生成システム３がビデオ生成システム１と異なる点のみ説明する。図１７において、ビデオ生成システム３の構成部のうち、ビデオ生成システム１と同様の構成部に関しては、同じ符合が付されている。また、図１７においては図の簡略化のため、複数個からなる同種の構成部は１つのみ示されている。
【０１６２】
ビデオ生成システム３は、パーソナルコンピュータ４０と、キーボード４１およびディスプレイ１８が接続されたパーソナルコンピュータ４０に、さらに、家庭用のマイク１２、アンプ１３、スピーカ１４、ビデオカメラ１５、およびメディアドライブ２０を接続して得られる構成を備えている。キーボード４１は複数のキーを備え、ユーザによるキーの押下操作に応じて、押下されたキーに対応する信号をパーソナルコンピュータ４０に送信することにより、ユーザの指示をパーソナルコンピュータ４０に入力する機能を備える。
【０１６３】
パーソナルコンピュータ４０は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＨＤ（Ｈａｒｄ  Ｄｉｓｋ）等により構成される記憶部１０１と、１以上のＣＰＵおよびＤＳＰにより構成される制御部１０３と、入出力Ｉ／Ｆ１０２を備えている。
【０１６４】
制御部１０３は、記憶部１０１に記憶されているアプリケーションプログラムに従った処理を実行することにより、音源部２０１１、音データ再生部２０１２および音データ加工処理部２０１３を含む音データブロック２０１と、動画データ再生部２０２１、文字画面生成部２０２２、レンダリング処理部２０２３、トリミング処理部２０２４および画像データ加工処理部２０２５を含む画像データブロック２０２と、カメラ動作制御部２０３１と、イベントデータ再生部２０４の各機能を実現する。
【０１６５】
ビデオ生成システム３のマイク１２は超音波発生器１２１を備えておらず、またパーソナルコンピュータ４０には超音波受信器１９が接続されていない。従って、パーソナルコンピュータ４０は超音波によるマイク位置の算出処理は行わず、マイク位置に基づくユーザの特定処理も行わない。その代わり、パーソナルコンピュータ４０のトリミング処理部２０２４が、ユーザの画像データに基づき、各ユーザの特定処理を行う。
【０１６６】
より具体的には、まず、複数のユーザの各々は異なる色のマーカを胸等に装着する。ビデオカメラ１５により撮像される画像データには、ユーザの画像とともに、マーカの画像が含まれている。トリミング処理部２０２４は、ビデオカメラ１５より画像データを受信すると、トリミング処理によりユーザ画像データを生成し、ユーザ画像データから、ユーザが胸等に装着したマーカの各々の色を示すデータを抽出する。トリミング処理部２０２４は、いずれの色のデータがいずれのユーザ画像データの位置から抽出されたものであるかを特定し、異なるユーザの画像を示すユーザ画像データの各々に対し、対応する色を示すデータを付加して、レンダリング処理部２０２３に送信する。レンダリング処理部２０２３は、ユーザ画像データに付加されている色を示すデータに基づき、いずれのユーザ画像データがいずれのユーザを示すものであるかを特定することができる。
【０１６７】
パーソナルコンピュータ４０がユーザとユーザの画像データとを対応付ける方法は、上記のものに限られない。例えば、ユーザの各々の画像データを予めパーソナルコンピュータ４０に記憶させておき、パーソナルコンピュータ４０の画像データブロック２０２が、ビデオカメラ１５から受信した画像データから複数のユーザ画像データを生成した場合、予め記憶されている各々のユーザの画像データと生成したユーザ画像データの各々を比較して、類似度の高いものを各々対応付けるようにしてもよい。
【０１６８】
上記のように、ビデオ生成システムがマイク位置を算出する機能を備えない場合、ビデオ生成システムは各ユーザの３次元空間における正確な位置を特定することは困難であるが、ユーザ画像データの位置および大きさに基づき、各ユーザの３次元空間におけるおよその位置を特定することが可能である。
【０１６９】
さらに、パーソナルコンピュータ４０にはカメラ移動装置１６および照明装置１７は接続されておらず、従って、パーソナルコンピュータ４０はビデオカメラ１５の移動動作の制御処理および照明装置１７の制御処理を行わない。その代わり、パーソナルコンピュータ４０の画像データ加工処理部２０２５が、イベントデータ再生部２０４から受信するイベントデータに従い、各種の画像データの加工処理を行うことにより、ビデオカメラ１５が移動された場合に得られる画像データや、照明の色や明るさが変更された場合に得られる画像データと類似の画像データを生成する。
【０１７０】
以上説明したビデオ生成システム３によれば、ユーザは自宅等において、気軽に自分が登場人物として参加するビデオデータの生成を行うことができる。
【図面の簡単な説明】
【０１７１】
【図１】本発明の第１実施形態にかかるビデオ生成システムをブースに設置した様子を示している。
【図２】本発明の第１実施形態にかかるビデオ生成システムの構成を示したブロック図である。
【図３】本発明の第１実施形態にかかるストーリデータの構成を模式的に示した図である。
【図４】本発明の第１実施形態にかかる管理データの内容を例示した図である。
【図５】本発明の第１実施形態にかかるバックグラウンドサウンドに関するイベントシーケンスデータの内容を例示した図である。
【図６】本発明の第１実施形態にかかるバックグラウンドイメージに関するイベントシーケンスデータの内容を例示した図である。
【図７】本発明の第１実施形態にかかるキャラクタイメージに関するイベントシーケンスデータの内容を例示した図である。
【図８】本発明の第１実施形態にかかるダイアログに関するイベントシーケンスデータの内容を例示した図である。
【図９】本発明の第１実施形態にかかるマイクエフェクトに関するイベントシーケンスデータの内容を例示した図である。
【図１０】本発明の第１実施形態にかかるカメラワークに関するイベントシーケンスデータの内容を例示した図である。
【図１１】本発明の第１実施形態にかかるアレンジデータの内容を模式的に示した図である。
【図１２】本発明の第１実施形態にかかる超音波受信器を配置したブースを上方から見た図である。
【図１３】本発明の第１実施形態にかかるビデオ生成システムのディスプレイに表示される画面を例示した図である。
【図１４】本発明の第１実施形態にかかるビデオ生成システムのディスプレイに表示される画面を例示した図である。
【図１５】本発明の第１実施形態にかかるビデオ生成システムのディスプレイに表示される画面を例示した図である。
【図１６】本発明の第２実施形態にかかるビデオ生成システムの構成を示したブロック図である。
【図１７】本発明の第３実施形態にかかるビデオ生成システムの構成を示したブロック図である。
【符号の説明】
【０１７２】
１・２・３…ビデオ生成システム、１０…ビデオ生成装置、１１…コントローラ、１２…マイク、１３…アンプ、１４…スピーカ、１５…ビデオカメラ、１６…カメラ移動装置、１７…照明装置、１８…ディスプレイ、１９…超音波受信器、２０…メディアドライブ、２１…インターネット、３１…音データ処理装置、３２…画像データ処理装置、３３…中央管理装置、４０…パーソナルコンピュータ、４１…キーボード、１０１・１０１１・１０１２・１０１３…記憶部、１０２・１０２１・１０２２・１０２３…入出力Ｉ／Ｆ、１０３・１０３１・１０３２・１０３３…制御部、１２１…超音波発生器、２０１…音データブロック、２０２…画像データブロック、２０３…動作制御ブロック、２０４…イベントデータ再生部、２０５…マイク位置算出部、２０６…課金データ処理部、１０１０…ストーリデータ、２０１１…音源部、２０１２…音データ再生部、２０１３…音データ加工処理部、２０２１…動画データ再生部、２０２２…文字画面生成部、２０２３…レンダリング処理部、２０２４…トリミング処理部、２０２５…画像データ加工処理部、２０３１…カメラ動作制御部、２０３２…移動動作制御部、２０３３…照明動作制御部。
【図１】
2006217183.tif 000005
【図２】
2006217183.tif 000006
【図３】
2006217183.tif 000007
【図４】
2006217183.tif 000008
【図５】
2006217183.tif 000009
【図６】
2006217183.tif 000010
【図７】
2006217183.tif 000011
【図８】
2006217183.tif 000012
【図９】
2006217183.tif 000013
【図１０】
2006217183.tif 000014
【図１１】
2006217183.tif 000015
【図１２】
2006217183.tif 000016
【図１３】
2006217183.tif 000017
【図１４】
2006217183.tif 000018
【図１５】
2006217183.tif 000019
【図１６】
2006217183.tif 000020
【図１７】
2006217183.tif 000021