(57)【要約】【課題】  ユーザのパフォーマンスを基に映像および音声からなるコンテンツを作成する。【解決手段】  動き検出部６２は、例えば、動きベクトル検出や、ユーザが把持または装着したＬＥＤライトの移動の追跡などによって、カメラ４２により撮像され、各種処理が施された映像から、ユーザの動きを検出する。フットセンサ入力検出部６６は、フットセンサ４３から操作入力を示す信号の供給を受ける。動き検出部６２から供給されたユーザの動きの検出結果、および、フットセンサ入力検出部６６から供給されたユーザのフットセンサ４３への操作入力を示す信号を基に、映像効果付与処理部６４は、映像に所定のエフェクトを施し、効果音生成部６５は、伴奏生成部６７により生成された伴奏の音声データに、効果音を付与する。本発明は、セルフムービー作成装置に適用できる。【選択図】図３
2005333309.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツを作成する情報処理装置において、
第１の映像データを撮像する撮像手段と、
ユーザの動作に関する情報を取得する動作情報取得手段と、
前記ユーザの操作入力を取得する操作入力手段と、
第１の音声データを生成する音声生成手段と、
前記動作情報取得手段により取得された前記ユーザの動作に関する情報、および、前記操作入力手段により入力された前記ユーザの操作入力を基に、前記撮像手段により撮像された前記第１の映像データに所定の第１の処理を施して、前記コンテンツを構成する第２の映像データを生成する映像処理手段と、
前記動作情報取得手段により取得された前記ユーザの動作に関する情報、および、前記操作入力手段により入力された前記ユーザの操作入力を基に、前記音声生成手段により生成された前記第１の音声データに、所定の第２の処理を施して、前記コンテンツを構成する第２の音声データを生成する音声処理手段と、
前記映像処理手段により生成された前記第２の映像データの表示を制御する表示制御手段と、
前記音声処理手段により生成された前記第２の音声データの出力を制御する音声出力制御手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記情報処理装置は、
天井面および前記ユーザが出入り可能な開口部を有する壁面で構成される筐体と、
前記筺体の下部に設置される床部と
によって外部と区別される、前記ユーザが十分動作可能な空間を有し、
前記操作入力手段は、前記床部の上面に複数設置され、前記ユーザの足によって踏まれることにより操作入力を受ける
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記情報処理装置は、前記ユーザに把持可能な携帯型の情報処理装置である
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記映像処理手段により生成された前記第２の映像データ、および、前記音声処理手段により生成された前記第２の音声データにより構成される前記コンテンツの、他の情報処理装置への出力を制御するコンテンツ出力制御手段
を更に備えることを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記動作情報取得手段により取得された前記ユーザの動作に関する情報、および、前記操作入力手段により入力された前記ユーザの操作入力を基に、照明を制御する照明制御手段
を更に備えることを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記操作入力手段により入力された前記ユーザの操作入力に対応して、前記映像処理手段により前記第１の映像データに施される前記第１の処理と、前記音声処理手段により前記第１の音声データに施される前記第２の処理とは、関連性を有する処理である
ことを特徴とする請求項１に記載の情報処理装置。
【請求項７】
コンテンツを作成する情報処理装置の情報処理方法において、
第１の音声データを生成する音声生成ステップと、
第１の映像データの撮像を制御する撮像制御ステップと、
ユーザの動作に関する情報を取得する動作情報取得ステップと、
前記ユーザの操作入力を取得する操作入力取得ステップと、
前記動作情報取得ステップの処理により取得された前記ユーザの動作に関する情報、および、前記操作入力取得ステップの処理により取得された前記ユーザの操作入力を基に、前記撮像制御ステップの処理により撮像が制御された前記第１の映像データに所定の第１の処理を施して、前記コンテンツを構成する第２の映像データを生成する映像処理ステップと、
前記動作情報取得ステップの処理により取得された前記ユーザの動作に関する情報、および、前記操作入力取得ステップの処理により取得された前記ユーザの操作入力を基に、前記音声生成ステップの処理により生成された前記第１の音声データに、所定の第２の処理を施して、前記コンテンツを構成する第２の音声データを生成する音声処理ステップと
を含むことを特徴とする情報処理方法。
【請求項８】
コンテンツを作成する処理をコンピュータに実行させるためのプログラムであって、
第１の音声データを生成する音声生成ステップと、
第１の映像データの撮像を制御する撮像制御ステップと、
ユーザの動作に関する情報を取得する動作情報取得ステップと、
前記ユーザの操作入力を取得する操作入力取得ステップと、
前記動作情報取得ステップの処理により取得された前記ユーザの動作に関する情報、および、前記操作入力取得ステップの処理により取得された前記ユーザの操作入力を基に、前記撮像制御ステップの処理により撮像が制御された前記第１の映像データに所定の第１の処理を施して、前記コンテンツを構成する第２の映像データを生成する映像処理ステップと、
前記動作情報取得ステップの処理により取得された前記ユーザの動作に関する情報、および、前記操作入力取得ステップの処理により取得された前記ユーザの操作入力を基に、前記音声生成ステップの処理により生成された前記第１の音声データに、所定の第２の処理を施して、前記コンテンツを構成する第２の音声データを生成する音声処理ステップと
を含むことを特徴とする処理をコンピュータに実行させるためのプログラム。
【請求項９】
コンテンツを作成する第１の情報処理装置と、
前記第１の情報処理装置から前記コンテンツを受信し、前記コンテンツをユーザに配信する第２の情報処理装置と
で構成される情報処理システムであって、
前記第１の情報処理装置は、
第１の映像データを撮像する撮像手段と、
前記ユーザの動作に関する情報を取得する動作情報取得手段と、
前記ユーザの操作入力を取得する操作入力手段と、
第１の音声データを生成する音声生成手段と、
前記動作情報取得手段により取得された前記ユーザの動作に関する情報、および、前記操作入力手段により入力された前記ユーザの操作入力を基に、前記撮像手段により撮像された前記第１の映像データに所定の第１の処理を施して、前記コンテンツを構成する第２の映像データを生成する映像処理手段と、
前記動作情報取得手段により取得された前記ユーザの動作に関する情報、および、前記操作入力手段により入力された前記ユーザの操作入力を基に、前記音声生成手段により生成された前記第１の音声データに、所定の第２の処理を施して、前記コンテンツを構成する第２の音声データを生成する音声処理手段と、
前記映像処理手段により生成された前記第２の映像データの表示を制御する表示制御手段と、
前記音声処理手段により生成された前記第２の音声データの出力を制御する音声出力制御手段と、
前記映像処理手段により生成された前記第２の映像データ、および、前記音声処理手段により生成された前記第２の音声データで構成される前記コンテンツを、前記第２の情報処理装置へ送信する送信手段と
を備え、
前記第２の情報処理装置は、
前記第１の情報処理装置の前記送信手段により送信された前記コンテンツを受信する受信手段と、
前記受信手段により受信された前記コンテンツを記憶する記憶手段と、
前記ユーザから前記コンテンツの配信要求を受けた場合、前記記憶手段により記憶された前記コンテンツの前記ユーザへの配信を制御する配信制御手段と
を備えることを特徴とする情報処理システム。
【請求項１０】
前記第２の情報処理装置は、
前記配信制御手段により配信が制御される前記コンテンツの配信先の機器の種類に対応して、前記コンテンツのデータ形式を変換する変換手段
を更に備えることを特徴とする請求項９に記載の情報処理システム。
【請求項１１】
前記第２の情報処理装置は、
前記配信制御手段により配信が制御される前記コンテンツの配信に対して発生する課金処理を実行する課金処理手段
を更に備えることを特徴とする請求項９に記載の情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および情報処理方法、情報処理システム、並びに、プログラムに関し、特に、映像撮像中に入力される、ユーザの動作に関する情報に基づいて、撮像された映像に効果を付与したり、音声データを生成することが可能な情報処理装置および情報処理方法、情報処理システム、並びに、プログラムに関する。
【背景技術】
【０００２】
仮想体験を主体としたエンターテインメントとして、例えば、ＬＢＥ（Location Based Entertainment）などがある。ＬＢＥは、例えば、近年の高密度記録技術、コンピュータによって作られた現実のような世界をユーザに感じさせることができる仮想現実感（Virtual Reality：バーチャルリアリティー）技術、更に、バーチャルリアリティと現実の世界をミックスし、連続した違和感の少ない3次元空間として人間に認識させる技術の総称である、複合現実感（Mixed Reality：ミクスドリアリティー）技術が発展してきたことにより実現可能となった、没入性の高い観客体験型のエンターテインメントである。ＬＢＥは、例えば、アミューズメントパークなどにおいて、視聴者が高い没入感を得ることができるような巨大スクリーンによる映像体験や、観客がストーリーの中のキャラクターに成りきることのできる体験型のコンテンツなどがある。
【０００３】
また、近年の情報演算技術の発展により、音声データや映像データを略リアルタイムに処理することができるような技術がある（例えば、非特許文献１）
【非特許文献１】松田周、DI PS：MAX のためのリアルタイム映像処理オブジェクト群、情報処理学会、MUS36-9,2000.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、ＬＢＥは、ストーリーが予定されていること、年齢問わず誰でも参加できるようにインターフェースが簡易化されていることから、何度も繰り返し楽しめるエンターテインメントとは言い難い。
【０００５】
また、映像データおよび音声データを処理することによるコンテンツ制作は、パーソナルコンピュータなどの発達によって、多くの人に可能なものとなってきたが、その技術内容によっては、例えば、ソフトウェアプログラミングなどの専門性の高い知識が求められる場合が多い。例えば、映像と音声を高度に編集することによりコンテンツを作成しようとした場合、求められる知識および技術は非常に高度なものとなってしまう。これに対して、コンテンツが、簡単なインターフェースで誰でも作成可能なようになされている場合、作成されたコンテンツにユーザのオリジナリティを盛り込むことができる余地は限られてしまい、作成されるコンテンツも、ユーザインターフェースが簡単なものであればあるほど、複雑なものではなく、単純なものとなってしまう。
【０００６】
また、ユーザのジェスチャーを計測し、計測結果を基に、デジタル情報をマッピングすることにより、コンテンツを作成する、いわゆる、従来のインタラクティブアートの作成においては、特殊な操作入力方法が用いられているものが多く、更に、映像や音楽に対する深い知識を有するユーザにしか扱いづらいなど、ユーザビリティが考慮されているとは言い難い。また、従来のインタラクティブアートは、その表現手法において、身体動作と処理内容の関係性や音響処理と映像処理の関係性が考慮されていたとは言いがたい。
【０００７】
ユーザは、受動的な楽しみのみではなく、自己表現を含む、能動的な楽しみ方ができるエンターテイメントを求めている。これらの課題に対して、従来のＬＢＥコンテンツ特有の没入感を残しつつ、ユーザに創造性と表現性を感じさせることができ、シンプルなユーザインターフェースであっても、繰り返し楽しむことができ、かつ、身体動作と処理内容の関係性や音響処理と映像処理の関係性が考慮されて、オリジナルのコンテンツを気軽に作成することができるコンテンツ作成装置の提供が求められていた。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、特別な知識や技能を持たないユーザが充分使用可能なシンプルなユーザインターフェースを用いて、ユーザの動き（パフォーマンス）を検出して、音と映像を作成し、効果を付与することにより、オリジナリティのある、高度な画像処理や音声処理が施されたコンテンツを生成することができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の情報処理装置は、第１の映像データを撮像する撮像手段と、ユーザの動作に関する情報を取得する動作情報取得手段と、ユーザの操作入力を取得する操作入力手段と、第１の音声データを生成する音声生成手段と、動作情報取得手段により取得されたユーザの動作に関する情報、および、操作入力手段により入力されたユーザの操作入力を基に、撮像手段により撮像された第１の映像データに所定の第１の処理を施して、コンテンツを構成する第２の映像データを生成する映像処理手段と、動作情報取得手段により取得されたユーザの動作に関する情報、および、操作入力手段により入力されたユーザの操作入力を基に、音声生成手段により生成された第１の音声データに、所定の第２の処理を施して、コンテンツを構成する第２の音声データを生成する音声処理手段と、映像処理手段により生成された第２の映像データの表示を制御する表示制御手段と、音声処理手段により生成された第２の音声データの出力を制御する音声出力制御手段とを備えることを特徴とする。
【００１０】
情報処理装置は、天井面およびユーザが出入り可能な開口部を有する壁面で構成される筐体と、筺体の下部に設置される床部とによって外部と区別される、ユーザが十分動作可能な空間を有するものとすることができ、操作入力手段には、床部の上面に複数設置され、ユーザの足によって踏まれることにより操作入力を受けさせるようにすることができる。
【００１１】
情報処理装置は、ユーザにより把持可能な携帯型の情報処理装置であるものとすることができる。
【００１２】
映像処理手段により生成された第２の映像データ、および、音声処理手段により生成された第２の音声データにより構成されるコンテンツの、他の情報処理装置への出力を制御するコンテンツ出力制御手段を更に備えさせるようにすることができる。
【００１３】
動作情報取得手段により取得されたユーザの動作に関する情報、および、操作入力手段により入力されたユーザの操作入力を基に、照明を制御する照明制御手段を更に設けさせるようにすることができる。
【００１４】
操作入力手段により入力されたユーザの操作入力に対応して、映像処理手段により第１の映像データに施される第１の処理と、音声処理手段により第１の音声データに施される第２の処理とは、関連性を有する処理であるものとすることができる。
【００１５】
本発明の情報処理方法は、第１の音声データを生成する音声生成ステップと、第１の映像データの撮像を制御する撮像制御ステップと、ユーザの動作に関する情報を取得する動作情報取得ステップと、ユーザの操作入力を取得する操作入力取得ステップと、動作情報取得ステップの処理により取得されたユーザの動作に関する情報、および、操作入力取得ステップの処理により取得されたユーザの操作入力を基に、撮像制御ステップの処理により撮像が制御された第１の映像データに所定の第１の処理を施して、コンテンツを構成する第２の映像データを生成する映像処理ステップと、動作情報取得ステップの処理により取得されたユーザの動作に関する情報、および、操作入力取得ステップの処理により取得されたユーザの操作入力を基に、音声生成ステップの処理により生成された第１の音声データに、所定の第２の処理を施して、コンテンツを構成する第２の音声データを生成する音声処理ステップとを含むことを特徴とする。
【００１６】
本発明のプログラムは、コンピュータに、第１の音声データを生成する音声生成ステップと、第１の映像データの撮像を制御する撮像制御ステップと、ユーザの動作に関する情報を取得する動作情報取得ステップと、ユーザの操作入力を取得する操作入力取得ステップと、動作情報取得ステップの処理により取得されたユーザの動作に関する情報、および、操作入力取得ステップの処理により取得されたユーザの操作入力を基に、撮像制御ステップの処理により撮像が制御された第１の映像データに所定の第１の処理を施して、コンテンツを構成する第２の映像データを生成する映像処理ステップと、動作情報取得ステップの処理により取得されたユーザの動作に関する情報、および、操作入力取得ステップの処理により取得されたユーザの操作入力を基に、音声生成ステップの処理により生成された第１の音声データに、所定の第２の処理を施して、コンテンツを構成する第２の音声データを生成する音声処理ステップとを含む処理を実行させることを特徴とする。
【００１７】
本発明の情報処理装置、情報処理方法、および、プログラムにおいては、第１の音声データが生成され、第１の映像データが撮像され、ユーザの動作に関する情報が取得され、ユーザの操作入力が取得され、ユーザの動作に関する情報、および、ユーザの操作入力を基に、第１の映像データに所定の第１の処理が施されて、コンテンツを構成する第２の映像データが生成され、ユーザの動作に関する情報、および、ユーザの操作入力を基に、第１の音声データに、所定の第２の処理が施されて、コンテンツを構成する第２の音声データが生成される。
【００１８】
本発明の情報処理システムは、コンテンツを作成する第１の情報処理装置と、第１の情報処理装置からコンテンツを受信し、コンテンツをユーザに配信する第２の情報処理装置とで構成される情報処理システムであって、第１の情報処理装置は、第１の映像データを撮像する撮像手段と、ユーザの動作に関する情報を取得する動作情報取得手段と、ユーザの操作入力を取得する操作入力手段と、第１の音声データを生成する音声生成手段と、動作情報取得手段により取得されたユーザの動作に関する情報、および、操作入力手段により入力されたユーザの操作入力を基に、撮像手段により撮像された第１の映像データに所定の第１の処理を施して、コンテンツを構成する第２の映像データを生成する映像処理手段と、動作情報取得手段により取得されたユーザの動作に関する情報、および、操作入力手段により入力されたユーザの操作入力を基に、音声生成手段により生成された第１の音声データに、所定の第２の処理を施して、コンテンツを構成する第２の音声データを生成する音声処理手段と、映像処理手段により生成された第２の映像データの表示を制御する表示制御手段と、音声処理手段により生成された第２の音声データの出力を制御する音声出力制御手段と、映像処理手段により生成された第２の映像データ、および、音声処理手段により生成された第２の音声データで構成されるコンテンツを、第２の情報処理装置へ送信する送信手段とを備え、第２の情報処理装置は、第１の情報処理装置の送信手段により送信されたコンテンツを受信する受信手段と、受信手段により受信されたコンテンツを記憶する記憶手段と、ユーザからコンテンツの配信要求を受けた場合、記憶手段により記憶されたコンテンツのユーザへの配信を制御する配信制御手段とを備えることを特徴とする。
【００１９】
第２の情報処理装置には、配信制御手段により配信が制御されるコンテンツの配信先の機器の種類に対応して、コンテンツのデータ形式を変換する変換手段を更に設けさせるようにすることができる。
【００２０】
第２の情報処理装置には、配信制御手段により配信が制御されるコンテンツの配信に対して発生する課金処理を実行する課金処理手段を更に設けさせるようにすることができる。
【００２１】
本発明の情報処理システムにおいては、第１の情報処理装置で、第１の音声データが生成され、第１の映像データが撮像され、ユーザの動作に関する情報が取得され、ユーザの操作入力が取得され、ユーザの動作に関する情報、および、ユーザの操作入力を基に、第１の映像データに所定の第１の処理が施されて、コンテンツを構成する第２の映像データが生成され、ユーザの動作に関する情報、および、ユーザの操作入力を基に、第１の音声データに、所定の第２の処理が施されて、コンテンツを構成する第２の音声データが生成され、第２の情報処理装置で、第１の情報処理装置から送信されたコンテンツが受信され、コンテンツが記憶され、ユーザからコンテンツの配信要求を受けた場合、記憶されたコンテンツのユーザへの配信が制御される。
【発明の効果】
【００２２】
本発明によれば、映像と音声から構成されるコンテンツを作成することができる。特に、ユーザのパフォーマンスを取得して、それを基に、映像と音声を作成したり、映像や音声に効果を付与することができるので、簡単なインターフェースで、オリジナリティのある、高度な画像処理や音声処理が施されたコンテンツを生成することができる。
【００２３】
また、他の本発明によれば、映像と音声から構成されるコンテンツを作成してユーザに配信することができる。特に、ユーザのパフォーマンスを取得して、それを基に、映像と音声を作成したり、映像や音声に効果が付与されて生成されたコンテンツが、第２の情報処理装置に送信された後、ユーザに配信されるので、簡単なインターフェースで、オリジナリティのある、高度な画像処理や音声処理が施されたコンテンツが生成されるとともに、配信先の機器に対応するデータに変換されてユーザに配信されたり、コンテンツの配信にともなう課金処理を行うようにすることができる。
【発明を実施するための最良の形態】
【００２４】
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が、本明細書に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００２５】
更に、この記載は、本明細書に記載されている発明の全てを意味するものでもない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
【００２６】
請求項１に記載の情報処理装置（例えば、図３および図９に記載のコンテンツ作成装置２）において、第１の映像データを撮像する撮像手段（例えば、図２、図３のカメラ４２、または、図９のカメラ３０１）と、ユーザの動作に関する情報を取得する動作情報取得手段（例えば、図３または図９の動き検出部６２）と、ユーザの操作入力を取得する操作入力手段（例えば、図２、図３のフットセンサ４３−１乃至４３−８、または、図９の操作入力部３０２）と、第１の音声データ（例えば、伴奏）を生成する音声生成手段（例えば、図３または図９の伴奏生成部６７）と、動作情報取得手段により取得されたユーザの動作に関する情報、および、操作入力手段により入力されたユーザの操作入力を基に、撮像手段により撮像された第１の映像データに所定の第１の処理（例えば、エフェクトの付加）を施して、コンテンツ（例えば、セルフムービー）を構成する第２の映像データを生成する映像処理手段（例えば、図３または図９の映像効果付与処理部６４）と、動作情報取得手段により取得されたユーザの動作に関する情報、および、操作入力手段により入力されたユーザの操作入力を基に、音声生成手段により生成された第１の音声データに、所定の第２の処理（例えば、効果音やエフェクトの付加）を施して、コンテンツを構成する第２の音声データを生成する音声処理手段（例えば、図３または図９の効果音生成部６５）と、映像処理手段により生成された第２の映像データの表示を制御する表示制御手段（例えば、図３または図９の映像表示制御部６９）と、音声処理手段により生成された第２の音声データの出力を制御する音声出力制御手段（例えば、図３または図９の音声出力制御部７０）とを備えることを特徴とする。
【００２７】
情報処理装置は、天井面およびユーザが出入り可能な開口部を有する壁面で構成される筐体（例えば、図２の筺体２１）と、筺体の下部に設置される床部（例えば、図２の床２２）とによって外部と区別される、ユーザが十分動作可能な空間を有することができ、操作入力手段（例えば、図２および図３のフットセンサ４３−１乃至４３−８）は、床部の上面に複数設置され、ユーザの足によって踏まれることにより操作入力を受けることができる。
【００２８】
情報処理装置は、ユーザにより把持可能な携帯型の情報処理装置（例えば、携帯型電話機４、または、ＰＤＡ５、もしくは、ディジタルスチルカメラ、または、ディジタルビデオカメラなど）であるものとすることができる。
【００２９】
映像処理手段により生成された第２の映像データ、および、音声処理手段により生成された第２の音声データにより構成されるコンテンツの、他の情報処理装置（例えば、コンテンツ配信サーバ３、または、ユーザが保有する携帯型電話機４、または、ＰＤＡ５）への出力を制御するコンテンツ出力制御手段（例えば、図３または図９のネットワークインターフェース７１）を更に備えさせることができる。
【００３０】
動作情報取得手段により取得されたユーザの動作に関する情報、および、操作入力手段により入力されたユーザの操作入力を基に、照明を制御する照明制御手段（例えば、図３の照明制御部６３）を更に備えることができる。
【００３１】
請求項７の情報処理方法は、コンテンツ（例えば、セルフムービー）を作成する情報処理装置（例えば、図３および図９に記載のコンテンツ作成装置２）の情報処理方法であって、第１の音声データ（例えば、伴奏）を生成する音声生成ステップ（例えば、図７のステップＳ４、または、図１０のステップＳ６４の処理）と、第１の映像データの撮像を制御する撮像制御ステップ（例えば、図７のステップＳ５、または、図１０のステップＳ６５の処理）と、ユーザの動作に関する情報を取得する動作情報取得ステップ（例えば、図７のステップＳ６、または、図１０のステップＳ６６の処理）と、ユーザの操作入力を取得する操作入力取得ステップ（例えば、図７のステップＳ８、または、図１０のステップＳ６７の処理）と、動作情報取得ステップの処理により取得されたユーザの動作に関する情報、および、操作入力取得ステップの処理により取得されたユーザの操作入力を基に、撮像制御ステップの処理により撮像が制御された第１の映像データに所定の第１の処理（例えば、エフェクトの付加）を施して、コンテンツを構成する第２の映像データを生成する映像処理ステップ（例えば、図７のステップＳ９、または、図１０のステップＳ６８の処理）と、動作情報取得ステップの処理により取得されたユーザの動作に関する情報、および、操作入力取得ステップの処理により取得されたユーザの操作入力を基に、音声生成ステップの処理により生成された第１の音声データに、所定の第２の処理（例えば、効果音やエフェクトの付加）を施して、コンテンツを構成する第２の音声データを生成する音声処理ステップ（例えば、図７のステップＳ１０、または、図１０のステップＳ６９の処理）とを含むことを特徴とする。
【００３２】
また、請求項８に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項７に記載の情報処理方法と同様である。
【００３３】
請求項９に記載の情報処理システムは、コンテンツ（例えば、セルフムービー）を作成する第１の情報処理装置（例えば、図３および図９に記載のコンテンツ作成装置２）と、第１の情報処理装置からコンテンツを受信し、コンテンツをユーザに配信する第２の情報処理装置（例えば、図６に記載のコンテンツ配信サーバ３）とで構成される情報処理システムであって、第１の情報処理装置は、第１の映像データを撮像する撮像手段（例えば、図２、図３のカメラ４２、または、図９のカメラ３０１）と、ユーザの動作に関する情報を取得する動作情報取得手段（例えば、図３または図９の動き検出部６２）と、ユーザの操作入力を取得する操作入力手段（例えば、図２、図３のフットセンサ４３−１乃至４３−８、または、図９の操作入力部３０２）と、第１の音声データ（例えば、伴奏）を生成する音声生成手段（例えば、図３または図９の伴奏生成部６７）と、動作情報取得手段により取得されたユーザの動作に関する情報、および、操作入力手段により入力されたユーザの操作入力を基に、撮像手段により撮像された第１の映像データに所定の第１の処理（例えば、エフェクトの付加）を施して、コンテンツを構成する第２の映像データを生成する映像処理手段（例えば、図３または図９の映像効果付与処理部６４）と、動作情報取得手段により取得されたユーザの動作に関する情報、および、操作入力手段により入力されたユーザの操作入力を基に、音声生成手段により生成された第１の音声データに、所定の第２の処理（例えば、効果音やエフェクトの付加）を施して、コンテンツを構成する第２の音声データを生成する音声処理手段（例えば、図３または図９の効果音生成部６５）と、映像処理手段により生成された第２の映像データの表示を制御する表示制御手段（例えば、図３または図９の映像表示制御部６９）と、音声処理手段により生成された第２の音声データの出力を制御する音声出力制御手段（例えば、図３または図９の音声出力制御部７０）と、映像処理手段により生成された第２の映像データ、および、音声処理手段により生成された第２の音声データで構成されるコンテンツを、第２の情報処理装置へ送信する送信手段（例えば、図３または図９のネットワークインターフェース７１）とを備え、第２の情報処理装置は、第１の情報処理装置の送信手段により送信されたコンテンツを受信する受信手段（例えば、図６のネットワークインターフェース２２０）と、受信手段により受信されたコンテンツを記憶する記憶手段（例えば、図６のＨＤＤ２１８）と、ユーザからコンテンツの配信要求を受けた場合、記憶手段により記憶されたコンテンツのユーザへの配信を制御する配信制御手段（例えば、図６のＣＰＵ２１１）とを備えることを特徴とする。
【００３４】
第２の情報処理装置は、配信制御手段により配信が制御されるコンテンツの配信先の機器の種類に対応して、コンテンツのデータ形式を変換する変換手段（例えば、図６の画像処理部２４１および音声処理部２４２）を更に備えることができる。
【００３５】
第２の情報処理装置は、配信制御手段により配信が制御されるコンテンツの配信に対して発生する課金処理を実行する課金処理手段（例えば、図６の課金処理部２４３）を更に備えることができる。
【００３６】
以下、図を参照して、本発明の実施の形態について説明する。
【００３７】
図１は、本発明を適用したセルフムービー配信システムのシステム構成を示す図である。
【００３８】
例えば、インターネットや電話回線網などを含む広域ネットワークであるネットワーク１には、セルフムービー作成装置２−１乃至２−ｎ（ただし、ｎは正の整数）、セルフムービー配信サーバ３、携帯型電話機４、ＰＤＡ（Personal Digital Assistant）５、パーソナルコンピュータ６、および、ホームサーバ７が接続され、ホームサーバ７には、テレビジョン受像機８が接続されている。
【００３９】
セルフムービー作成装置２−１乃至２−ｎは、後述する処理により、ユーザの映像を撮像するとともに、ユーザのパフォーマンス（動きや装置内の各種センサなどへの操作入力）を取得し、取得されたフォーマンスを基に、音声データを生成したり、撮像された映像に所定の効果を施したり、必要に応じて、照明を制御したりすることにより、ユーザに配布可能なコンテンツであるセルフムービーを作成し、作成したセルフムービーを、ネットワーク１を介して、セルフムービー作成サーバ３に送信する。
【００４０】
セルフムービー配信サーバ３は、セルフムービー作成装置２−１乃至２−ｎから送信されたセルフムービーを保存し、ユーザによってセルフムービーの配信（ダウンロード）が要求されたとき、セルフムービーを、ネットワーク１を介して、携帯型電話機４、ＰＤＡ５、パーソナルコンピュータ６、および、ホームサーバ７に配信し、配信されたセルフムービーに対する課金処理を実行する。
【００４１】
携帯型電話機４、ＰＤＡ５、パーソナルコンピュータ６、または、ホームサーバ７は、それぞれ、セルフムービ作成装置２−１乃至２−ｎのうちのいずれかにおいて、セルフムービーを作成したユーザが、セルフムービ配信サーバ３に、ネットワーク１を介してアクセスし、セルフムービーのダウンロードを要求する場合に利用されるものである。
【００４２】
ユーザは、例えば、携帯型電話機４、ＰＤＡ５、パーソナルコンピュータ６、または、ホームサーバ７などを用いて、セルフムービー配信サーバ３にネットワーク１を介してアクセスし、セルフムービー作成装置２−１乃至２−ｎのいずれかにおいて作成されたセルフムービーのダウンロードを要求する。そして、ユーザは、ダウンロードされたセルフムービーを、携帯型電話機４、ＰＤＡ５、パーソナルコンピュータ６、または、ホームサーバ７に接続されたテレビジョン受像機８を用いて、視聴することができ、更に、携帯型電話機４、ＰＤＡ５、パーソナルコンピュータ６などを用いて、例えば、電子メールや無線通信を利用して、友人が保有する同様の装置（図示しない携帯型電話機、ＰＤＡ、または、パーソナルコンピュータ）などと、セルフムービーを授受することも可能である。
【００４３】
以下、セルフムービー作成装置２−１乃至２−ｎを個々に区別する必要がない場合、単にセルフムービー作成装置２と総称する。
【００４４】
図２は、セルフムービー作成装置２の第１の実施の形態における外観構成について説明するための図である。
【００４５】
セルフムービー作成装置２は、ユーザが内部に入るための入り口となる開口部を有する筒型の壁面と天井面からなる筺体２１と、円形の床２２によって、ユーザがセルフムービーを作成するために移動可能な空間（例えば、身長１８０ｃｍの人が、水平に真横に手を広げたり、ジャンプすることが可能な、直径１８００ｍｍ、高さ３０００ｍｍの円筒状の空間）を構成するようになされている。
【００４６】
筺体２１の開口部正面に、ユーザが操作入力を行うための、キー、ボタン、または、タッチパットなどが備えられた操作入力部４１が設けられている。また、操作入力部４１には、赤外線などの無線による情報を受信可能な受信部５１が設けられている。ユーザは、操作入力部４１のキー、ボタン、または、タッチパットなどを用いて操作入力を行う以外に、例えば、赤外線通信やBluetoothなどによる無線通信が可能な携帯型電話機４やＰＤＡ５を用いて、所望の情報をセルフムービー作成装置２に供給することが可能である。例えば、ユーザは、セルフムービーの作成開始（以下、プレイ開始と称するものとする）を指令する前に、携帯型電話機４などを用いて、所望のテキストを入力し、赤外線通信などの無線通信を用いて、セルフムービー作成装置２に予め送信しておくことができる。そして、セルフムービー作成装置２は、ユーザからプレイ開始の指令を受けて、後述する処理により、受信したテキストを、撮像された映像に重畳させて表示させるようにすることができる。
【００４７】
そして、操作入力部４１の鉛直面上の上方には、ユーザを撮像するカメラ４２が設けられている。１４０ｃｍ乃至１８０ｃｍの身長の人が、カメラ４２により撮像される映像のフレームに入りきるように、カメラ４２の中心位置の高さを１４００ｍｍ程度にすると好適である。カメラ４２により撮像された映像は、セルフムービーの素材となるのみならず、ユーザの動きの検出に用いることも可能である。検出されたユーザの動きの検出結果は、後述する処理により、映像や音声にエフェクト（効果）をかけたり、音声に効果音を付与する処理のパラメータとして用いられる。
【００４８】
カメラ４２により撮像された映像を用いてユーザの動きを検出するには、例えば、ユーザにＬＥＤライトを持った、または、装着した状態で動作してもらい、撮像された映像データを解析して、ＬＥＤライトの移動を追跡するようにしても良いし、ユーザには、特に何も装着することなく動作してもらい、撮像された映像を画像処理して動きベクトルを得、その動きベクトルの大きさを求めるようにしたり、例えば、ユーザの手の先や頭の頂点などの所定の位置を検出して、その移動量を追跡するようにしてもよい。
【００４９】
また、ユーザの動きを検出するためには、カメラ４２によって撮像された映像データを用いる代わりに、例えば、筺体２１の内部に複数の赤外線センサやフォトセンサを設けることにより、そのセンサ入力に基づいて、ユーザの体の動きを検出するようにしてもよいし、ユーザにユーザ自身の動きを直接的に検出できるようなセンサを装着させて、そのセンサ入力に基づいて、ユーザの動きを検出するようにしてもよい。ユーザの動きを検出するために、筺体２１の内部に複数の赤外線センサなどが設けられている場合、ユーザが移動可能な空間が円柱状であると、複数のセンサと、空間の中央付近に存在すると仮定されるユーザの距離が均等になるため、ユーザの動きの検出に好適である。
【００５０】
なお、ユーザの動きを検出するために、撮像された映像から動きベクトルを検出したり、筺体２１の内部に設けられた赤外線センサなどのセンサ入力を利用するようにした場合、ユーザは、まったく制約なく動作することが可能であるが、制約がないことが、逆に、ユーザの動きを萎縮させてしまう場合がある。一方、ユーザにＬＥＤライトを持った、または、装着した状態で動作してもらうようにした場合、ユーザは、ＬＥＤライトをカメラ４２に向かって振り回すという動作を意識し、自分自身の動作と映像や音声に施されるエフェクト、または、音声に付加される効果音との関連を認識しやすいという利点がある。
【００５１】
すなわち、ユーザにＬＥＤライトを持った、または、装着した状態で動作してもらうようにした場合、ユーザは、ただ自由にダンスをするよりも、「光の筆で絵を描く、音を奏でる」というイメージを持つことができるので、全く制約のない動作を許される場合よりもシンプルかつ効果的な動きを誘発される。更に、カメラ４２により撮像された映像はセルフムービーの素材となるので、撮像される映像の中にＬＥＤライトの光が存在することにより、作成される映像が、変化に富んだものとなるという効果も発生する。
【００５２】
なお、ＬＥＤは、一定の光量を全方位的に放射するため、取得された画像中における位置が検出しやすいという利点もある。なお、撮像された映像において、ＬＥＤライトの位置の追跡の対象となる情報として、ＬＥＤの色相（ＲＧＢ）よりも、ＬＥＤから発される輝度情報に重点を置くようにした場合、ＬＥＤライトの色が変更されても、検出方法を変更することなく、位置を検出することが可能となるので、例えば、複数の色のＬＥＤライトを用意し、ユーザが所望する色のＬＥＤライトを把持、または、装着することができるようにしてもよい。
【００５３】
床２２には、フットセンサ４３−１乃至４３−８が設けられている。フットセンサ４３−１乃至４３−８が、ユーザにより踏まれる、すなわち、操作入力を受けることにより、撮像された映像や作成される音声に所定のエフェクトがかかったり、作成される音声に所定の効果音が付与される。例えば、フットセンサ４３−１乃至４３−８のそれぞれに、全て異なるエフェクトや効果音を割り当てるようにしても良いし、フットセンサ４３−１乃至４３−８のうちの一部には、同一のエフェクトまたは同一の効果音が割り当てられるようにしても良い。また、フットセンサ４３−１乃至４３−８に割り当てられるエフェクトまたは効果音の種類が、ユーザのセルフムービーの作成処理（以下、プレイと称するものとする）ごとにランダムに変更されるようにすることにより、ユーザにフットセンサ４３−１乃至４３−８とエフェクトまたは効果音との対応関係を容易に覚えることができないようにして、何度もプレイしているユーザであっても、意外性のあるセルフムービーが作成されるようにしても良い。または、フットセンサ４３−１乃至４３−８に割り当てられるエフェクトまたは効果音の種類を、ユーザが設定可能なようにしても良い。そして、上述したように、カメラ４２により撮像された映像などにより検出されたユーザの動きの検出結果に基づいて、撮像された映像、および、作成される音声にかかるエフェクトの強度や効果音のパラメータなどが制御される。エフェクトおよび効果音の詳細な例については後述する。
【００５４】
図２においては、フットセンサ４３−１乃至４３−８の８つのフットセンサが備えられているものとして説明したが、フットセンサの数は、８つ以外のいかなる数であっても良いことは言うまでもなく、また、筺体２１内部にタッチパッド等を用意して、フットセンサに代わって操作入力を受けることができるようにしても良い。
【００５５】
また、ユーザが自分自身のパフォーマンスを確認できるように、ユーザの全身を映し出すことができる鏡を、筺体２１内部（ただし、カメラ４２による撮像処理や、フットセンサその他の操作を妨害しない位置）に設置するようにしてもよい。
【００５６】
また、筺体２１の開口部正面には、モニタ４４が設けられている。モニタ４４には、カメラ４２によって撮像された映像に対して、フットセンサ４３−１乃至４３−８への操作入力およびユーザの動きの検出結果によってエフェクトが施されて作成された映像が表示されるようになされている。
【００５７】
また、筺体２１の内部には、フットセンサ４３−１乃至４３−８への操作入力およびユーザの動きの検出結果によってエフェクトが施されたリ、効果音が付加された音声を出力するスピーカ４５−１乃至４５−６が設けられている。スピーカ４５−１乃至４５−６は、ドルビーデジタルの最新方式で音声を再生することができるようになされ、２０Hz乃至２０kHzの帯域のセンタースピーカであるスピーカ４５−１、フロントの左右スピーカであるスピーカ４５−２およびスピーカ４５−３、リアの左右スピーカであるスピーカ４５−４およびスピーカ４５−５、および、１２０Hz以下の低域専用のサブウーファーであるスピーカ４５−６で構成されている。なお、図２においては、スピーカ４５−１乃至４５−６の６つのスピーカにより音声を出力することができるものとして説明するが、スピーカの数は、６つ以外のいかなる数であっても良く、更に、再生方式も、ドルビーデジタル以外のいかなる再生方式であっても良いことは言うまでもない。
【００５８】
また、筺体２１の内部の上面（天井面付近）に、照明４７−１乃至４７−５が備えられている。照明４７−１乃至４７−５は、一定の明るさで筺体２１内部を照明するようになされていても良いし、フットセンサ４３−１乃至４３−８への操作入力およびユーザの動きの検出結果によって、照明の色が変更されたり、点滅されたりなどの制御が行われるようにしても良い。また、ユーザの動きを検出するために、ユーザにＬＥＤライトを持たせて、その移動を検出するようにした場合、照明４７−１乃至４７−５による照明の明るさは、撮像された映像において、ＬＥＤライトの輝度の検出を妨げない程度に制御する必要がある。
【００５９】
次に、図３は、図２を用いて説明した、第１の実施の形態のセルフムービー作成装置２における内部構成を示すブロック図である。
【００６０】
セルフムービー作成装置２は、ユーザのパフォーマンスを取得するパフォーマンスセクション、取得されたパフォーマンスを利用して、所定のエフェクトが付与された映像データおよびエフェクトまたは効果音が付与された音声データを生成するリアルタイムエフェクトセクション、および、所定のエフェクトが付与された映像データおよび音声データをレンダリングするレンダリングセクションの３つのセクションに大きく分けられている。
【００６１】
ここでは、ユーザの動きは、カメラ４２により撮像された映像を基に、例えば、動きベクトル検出や、ユーザが把持または装着したＬＥＤライトの移動の追跡などによって検出されるものとして説明する。
【００６２】
操作入力部４１は、ユーザから、プレイ開始が指令されたとき、プレイ開始を示す制御信号を、画像処理部６１、映像効果付与処理部６４、フットセンサ入力検出部６６、および、伴奏生成部６７に供給する。また、操作入力部４１は、必要に応じて、作成されたセルフムービーを固有に区別するために必要な情報（例えば、ユーザＩＤなど）の入力を受けることができる。
【００６３】
受信部５１は、ユーザが保有する携帯型電話機４やＰＤＡ５から送信された、セルフムービーに表示させるテキストデータを受信し、映像効果付与処理部６４に供給する。
【００６４】
カメラ４２により撮像された映像は、画像処理部６１に供給される。画像処理部６１は、プレイ開始を示す制御信号の供給を受けた場合、供給された映像に対して、例えば、Ａ／Ｄ変換、ガンマ補正、ホワイトバランス調整などの各種信号処理（画像補正処理）を施して、処理が施された映像データを、動き検出部６２および映像効果付与処理部６４に供給する。
【００６５】
動き検出部６２は、例えば、動きベクトル検出や、ユーザが把持または装着したＬＥＤライトの移動の追跡などによって、撮像された映像から、ユーザの動きを検出し、検出結果を、照明制御部６３、映像効果付与処理部６４、および、効果音生成部６５に供給する。
【００６６】
例えば、ユーザが把持または装着したＬＥＤライトの移動の追跡を行う場合、動き検出部６２は、撮像された映像の中心点を座標（０,０）とするＸＹ平面において、所定の閾値以上の輝度信号強度を有する座標の位置を基に、ＬＥＤライトの位置を認識するようにし、所定の単位時間におけるＬＥＤライトの位置の変化量を、ユーザの動き量として検出するようにすることができる。
【００６７】
また、フットセンサ入力検出部６６は、プレイ開始を示す制御信号の供給を受けた場合、フットセンサ４３−１乃至４３−８から、操作入力を示す信号の供給を受け、フットセンサ４３−１乃至４３−８のいずれが操作入力を受けたかを示す信号を、照明制御部６３、映像効果付与処理部６４、および、効果音生成部６５に供給する。
【００６８】
伴奏生成部６７は、プレイ開始を示す制御信号の供給を受けた場合、例えば、リズム・ベース・メロディといった３トラックから構成されている所定のコード進行のダンスミュージックを、８小節を基本にループさせて、伴奏を生成し、効果音生成部６５に供給する。また、伴奏生成部６７は、効果音の生成や、音声データへのエフェクトの付加に必要な、例えば、現在再生中の伴奏のコード、現在のテンション値、または、現在再生中のセクションなどを示す情報を、効果音生成部６５に供給する。
【００６９】
音楽を生成するにあたり、まったくランダムに音程を決めてしまっては、不協和音が発生してしまうので、コード進行のルールに基づいて、伴奏を生成しなければならない。伴奏生成部６７は、所定のコード進行のルールに基づいて、例えば、ランダム端数をマルコフ連鎖により制御するStochastic Markov モデルを利用し、毎回違った楽曲を生成（譜面生成）することができる。
【００７０】
照明制御部６３は、動き検出部６２から供給されたユーザの動きの検出結果、および、フットセンサ入力検出部６６から供給されたユーザのフットセンサ４３−１乃至４３−８への操作入力を示す信号を基に、照明４７−１乃至４７−５を制御する。ユーザの動きの検出結果、および、ユーザのフットセンサ４３−１乃至４３−８への操作入力と、照明４７−１乃至４７−５の制御との関連付けの例としては、例えば、検出された動きの大きさ、または、検出された動きの大きさの変化量に合わせて、照明の照度、または、点滅速度などを変えるようにしても良いし、操作されたフットセンサの位置に対応して点灯させる照明の種類を変更するなどしてもよい。
【００７１】
映像効果付与処理部６４は、動き検出部６２から供給されたユーザの動きの検出結果、および、フットセンサ入力検出部６６から供給されたユーザのフットセンサ４３−１乃至４３−８への操作入力を示す信号を基に、画像処理部６１から供給された映像データに、必要に応じて、受信部５１から供給されたテキストデータを重畳し、所定のエフェクトを施して、その結果得られる映像データを、セルフムービー記憶部６８に供給する。
【００７２】
図４および図５を用いて、映像に対するエフェクトの付与について説明する。
【００７３】
図４に、撮像された映像のうちの１フレームである画像９１と、単独のエフェクトが付与された画像１０１乃至１０８とを示す。
【００７４】
ここでは、フットセンサ４３−１乃至４３−８にはそれぞれに独立したエフェクトが対応付けられており、エフェクトの強度は、動き検出部６２により検出される、ユーザの動き量により決定されるようになされているものとして説明する。また、動き検出部６２により検出されるユーザの動き量に対して、エフェクトの強度がリニアに変化されるようにしても良いし、動き検出部６２により検出されるユーザの動き量を所定の量子化ステップで量子化して、エフェクトの強度に関連つけるようにしても良い。なお、動き量の検出値に対して、エフェクトの強度がリニアに変化されるようにするよりも、動き量の検出値を粗く量子化して、エフェクトの強度に関連付けたほうが、ユーザにとっては、動きとエフェクト強度との関連性の認識がしやすいという利点がある。
【００７５】
例えば、フットセンサ４３−１が操作されたとき、映像効果付与処理部６４は、撮像された画像９１の明度およびコントラストを変換して、画像１０１を生成する。このとき、検出されたユーザの動きの量と、明度、コントラストの値が連動されるようになされ、例えば、検出された動きの量が大きいほど、画像内の明度があがり、コントラストの度合いが上昇するようになされている。
【００７６】
また、フットセンサ４３−２が操作されたとき、映像効果付与処理部６４は、撮像された画像９１を複数のセルに分割し、それぞれのセルをリマッピングすることにより、ジグソーパズルのような効果が与えられた画像１０２を生成する。このとき、検出されたユーザの動きのうち、横方向の動きが、セルのリマッピングの変化量に対応付けられ、縦方向の動きが、セルの位置変化のスピードに対応付けられるようになされ、例えば、検出された動きの量が大きいほど、セルの位置変化のスピード、変化量が増すようになされている。
【００７７】
フットセンサ４３−３が操作されたとき、映像効果付与処理部６４は、撮像された画像９１を所定枚数（図４においては４枚）のレイヤーに分割し、分割されたレイヤーを移動させることにより、分身効果が与えられた画像１０３を生成する。このとき、検出されたユーザの動きの量とそれぞれのレイヤーの移動量が連動されるようになされ、例えば、検出された動きの量が大きいほど、レイヤーの移動量が大きくなるようになされている。
【００７８】
フットセンサ４３−４が操作されたとき、映像効果付与処理部６４は、撮像された画像９１を所定数の画像に分割して、画像１０４を生成する。このとき、検出されたユーザの動きの量と画像の分割数（分割数はべき乗の値とされる）が連動され、例えば、検出された動きの量が大きいほど、画像の分割数が増えるようになされている。
【００７９】
また、フットセンサ４３−５が操作されたとき、映像効果付与処理部６４は、撮像された画像９１を所定のスケールに縮小し、所定の角度に回転させて、万華鏡のような効果が与えられた画像１０５を生成する。このとき、検出されたユーザの動きのうち、横方向の動きが、回転の角度に対応付けられ、縦方向の動きが、スケールの値に割り付けられるようになされ、例えば、検出された動きの量が大きいほど、スケールが小さくなり、回転のスピードが上がるようになされている。
【００８０】
フットセンサ４３−６が操作されたとき、映像効果付与処理部６４は、撮像された画像９１の画像データのうちの一部に、所定の遅延処理を施して、いわゆる、ゴーストを発生させることにより、画像１０６を生成する。このとき、検出されたユーザの動きの量と、遅延時間の長さが連動され、例えば、検出された動きの量が大きいほど、遅延時間が長くなり、ゴーストがはっきりと観察できる画像となる。
【００８１】
フットセンサ４３−７が操作されたとき、映像効果付与処理部６４は、撮像された画像９１の画像データに、サイン波を乗算することにより、画像を歪曲させ、画像１０７を生成する。このとき、検出されたユーザの動きの量と、乗算されるサイン波の振幅の大きさが連動され、例えば、検出された動きの量が大きいほど、サイン波の振幅が大きくなるようになされ、歪曲量が大きくなるようになされる。
【００８２】
そして、フットセンサ４３−８が操作されたとき、映像効果付与処理部６４は、撮像された画像９１のエッジ（輪郭）を検出し、その色相を変化させて、画像１０８生成する。このとき、検出されたユーザの動きの量と、色相の変化量が連動され、例えば、出された動きの量が大きいほど、色相の変化量が大きくなるようになされ、エッジのゆがみが増すようになされている。
【００８３】
また、フットセンサ４３−１乃至４３−８のうち、複数のフットセンサが同時に操作された場合、映像効果付与処理部６４は、並行処理を行い、重複してエフェクトをかけて、図５に示されるような画像を生成させることができる。
【００８４】
例えば、図５Ａは、図４を用いて説明した画像１０４を生成するエフェクトと対応付けられているフットセンサ４３−４と画像１０５を生成するエフェクトと対応付けられているフットセンサ４３−５とが同時に操作されたときに生成される画像１１１である。画像１１１は、撮像された画像９１に対して、検出されたユーザの動きの量のうちの横方向の動きが回転の角度に対応付けられて、縦方向の動きがスケールの値に割り付けられて、更に、検出されたユーザの動きに基づいた分割数に画像が分割されることにより生成されるものである。
【００８５】
また、図５Ｂは、図４を用いて説明した画像１０２を生成するエフェクトと対応付けられているフットセンサ４３−２と画像１０４を生成するエフェクトと対応付けられているフットセンサ４３−４とが同時に操作されたときに生成される画像１１２である。画像１１２は、撮像された画像９１に対して、検出されたユーザの動きのうち、横方向の動きが、セルのリマッピングの変化量に対応付けられ、縦方向の動きが、セルの位置変化のスピードに対応付けられ、更に、検出されたユーザの動きに基づいた分割数に画像が分割されることにより生成されるものである。
【００８６】
なお、図４および図５においては、説明のため、ＬＥＤライトを装着したユーザの手がカメラ４２近傍正面にある場合の映像を例として説明したが、プレイ中に撮像される映像には、通常、ユーザの頭部、上半身などを含む、ユーザの身体の多くの部分が含まれることは言うまでもない。
【００８７】
図３の説明に戻る。
【００８８】
効果音生成部６５は、動き検出部６２から供給されたユーザの動きの検出結果、および、フットセンサ入力検出部６６から供給されたユーザのフットセンサ４３−１乃至４３−８への操作入力を示す信号を基に、伴奏生成部６７から供給された伴奏の音声データに、所定のエフェクトを施したり、例えば、楽器の音などを含む効果音を付与して、その結果得られる音声データを、セルフムービー記憶部６８に供給する。効果音生成部６５は、伴奏生成部６７から、現在再生中の伴奏のコード、現在のテンション変数、または、現在再生中のセクションなどを示す情報を得て、これらを基に、効果音を生成したり、エフェクトを施す処理を実行する。
【００８９】
ここでは、効果音生成に関して、フットセンサ４３−１乃至４３−８にはそれぞれに独立した効果音の付加が対応付けられており、効果音のパラメータなどは、動き検出部６２により検出されるユーザの動き量により決定されるようになされているものとして説明する。また、動き検出部６２により検出されるユーザの動き量に対して、各種パラメータがリニアに変化されるようにしても良いし、動き検出部６２により検出されるユーザの動き量を所定の量子化ステップで量子化して、各種パラメータに関連つけるようにしても良い。
【００９０】
例えば、フットセンサ４３−１が操作されたとき、効果音生成部６５は、供給された伴奏にノイズを付加する。そのとき、検出されたユーザの動き量が、ホワイトノイズのバンドパスフィルタの周波数に対応付けられ、例えば、ユーザの単位時間あたりの動きの検出量が増加するとフィルタのカットオフ周波数が上昇し、動きの検出量が減少すると、フィルタのカットオフ周波数は、ゆるやかに初期値に戻るようになされている。
【００９１】
また、例えば、フットセンサ４３−２が操作されたとき、効果音生成部６５は、供給された伴奏に所定のサンプル音声を付加する。そのとき、検出されたユーザの横方向の動きの大きさが、サンプル中の再生位置に対応付けられ、その動きの早さが、サンプルの再生速度に対応付けられる。したがって、ユーザは、ＬＥＤライトを把持または装着した手を左右に振ることによって、サンプルをレコードのように、前後に再生させることができ、更に、手の左右の動作のスピードによって再生スピードをコントロールすることができる。なお、付与されるサンプルは予め内部に保存されているサンプル集から、ランダムでロードされるようになされている。
【００９２】
例えば、フットセンサ４３−３が操作されたとき、効果音生成部６５は、所定のステップ数（例えば、１６ステップ）のパターンを基に、検出されたユーザの横方向の動きの大きさに基づいて、現在出力されている伴奏のコードで規定される音階のうちのいずれかの音程を選んで伴奏に付加して出力する。したがって、ユーザは、ＬＥＤライトを把持または装着した手を左右に振ることによって、常にコード進行に乗った（伴奏に対して不協和音とならない）メロディーを仮想的に演奏する（仮想的に楽器を演奏する）ことができる。
【００９３】
例えば、フットセンサ４３−４が操作されたとき、効果音生成部６５は、検出されたユーザの横方向の動きの大きさに基づいて、現在出力されている伴奏のコードで規定される音階のうちのいずれかの音程を選び、検出されたユーザの縦方向の動きの大きさに基づいて、音色（ＦＭ量）を選択して、伴奏に付加して出力する。したがって、ユーザは、ＬＥＤライトを把持または装着した手を左右に振ることによって、常にコード進行に乗った（伴奏に対して不協和音とならない）メロディーを、手の上下動によって変化される音色で、仮想的に演奏する（仮想的に楽器を演奏する）ことができる。
【００９４】
また、例えば、フットセンサ４３−５が操作されたとき、効果音生成部６５は、フィルタがかかったホワイトノイズを常に変化するパターンで出力させることにより、レコードをスクラッチしたような音を伴奏に付加して出力する。検出されたユーザの横方向の動きの大きさによって、フィルタのカットオフがコントロールされるようになされている。
【００９５】
例えば、フットセンサ４３−６が操作されたとき、効果音生成部６５は、所定のステップ数（例えば、１６ステップ）のパターンを基に、検出されたユーザの横方向の動きの大きさに基づいて、現在出力されている伴奏のコードで規定される音階のうちのいずれかの音程を選び、検出されたユーザの縦方向の動きの大きさに基づいて、時間軸に対する音の出現密度を変更させて、伴奏に付加して出力する。したがって、ユーザは、ＬＥＤライトを把持または装着した手を左右に振ることによって、常にコード進行に乗った（伴奏に対して不協和音とならない）メロディーを、手の上下動によって変化される演奏密度で、演奏する（仮想的に楽器を演奏する）ことができる。
【００９６】
例えば、フットセンサ４３−７が操作されたとき、効果音生成部６５は、供給された伴奏に歌声の断片（一言二言の人間の声）のサンプル音声を付加する。そのとき、検出されたユーザの横方向の動きの大きさに基づいて、現在出力されている伴奏のコードで規定される音階のうちのいずれかの音程が選択される。したがって、したがって、ユーザは、ＬＥＤライトを把持または装着した手を左右に振ることによって、常にコード進行に乗った（伴奏に対して不協和音とならない）メロディーの歌声を付加することができる。なお、付与される歌声のサンプルは予め内部に保存されているサンプル集から、ランダムでロードされるようになされている。
【００９７】
例えば、フットセンサ４３−８が操作されたとき、効果音生成部６５は、伴奏生成部６７から供給された伴奏の現在のテンション変数を、検出されたユーザの動きの大きさに基づいて変更する。テンション変数により、伴奏を構成する複数の楽器の音域の広さがコントロールされるので、例えば、ユーザの単位時間あたりの動きの検出量が増加すると、伴奏の音域が広がって、生成される音が明るくなり、動きの検出量が減少すると、伴奏の音域が狭くなり、生成される音が落ち着いた雰囲気のものになるようになされている。
【００９８】
なお、ここでは、自動作成された伴奏に、ユーザによるフットセンサ４３−１乃至４３−８の操作およびユーザの動き量の検出値に基づいて作成される音を加えることにより、ユーザが、そのパフォーマンスによって、伴奏に合わせて所定の効果音を付与したり、仮想的な演奏を行ったりすることができるようになされているが、例えば、自動作成された伴奏、または、ランダムに選択された、予め記憶されているサンプリング音源に対して、ユーザによるフットセンサ４３−１乃至４３−８の操作およびユーザの動き量の検出値に基づいて、各種エフェクト処理を行うようにしてもよい。
【００９９】
また、画像処理における場合と同様にして、同時に複数のフットセンサが操作されたとき、それぞれのフットセンサの操作入力により付与される効果音などが同時に出力されるものとしても良い。
【０１００】
また、所定のフットセンサを操作した場合に実行される、撮像された映像へのエフェクトの付与と、伴奏に付与される効果音などとは、関連性があるようにしても良い。例えば、上述した例によると、フットセンサ４３−５が操作されたとき、映像効果付与処理部６４は、撮像された画像９１を所定のスケールに縮小し、所定の角度に回転させて、万華鏡のような効果が与えられた画像１０５を生成し、効果音生成部６５は、フィルタがかかったホワイトノイズを常に変化するパターンで出力させることにより、レコードをスクラッチしたような音を伴奏に付加して出力する。すなわち、ユーザは、フットセンサ４３−５を操作したとき、出力される映像および音声から「回転」を感じることができる。
【０１０１】
また、フットセンサ４３−２が操作されたとき、映像効果付与処理部６４は、撮像された画像９１を複数のセルに分割し、それぞれのセルをリマッピングすることにより、ジグソーパズルのような効果が与えられた画像１０２を生成し、効果音生成部６５は、供給された伴奏に所定のサンプル音声を付加するようになされている。このとき、映像効果付与処理部６４は、検出されたユーザの動きのうち、横方向の動きを、セルのリマッピングの変化量に対応付け、縦方向の動きを、セルの位置変化のスピードに対応付けるので、例えば、検出された動きの量が大きいほど、セルの位置変化のスピード、変化量が増すようになされている。そして、効果音生成部６５は、検出されたユーザの横方向の動きの大きさを、サンプル中の再生位置に対応付け、動きの早さを、サンプルの再生速度に対応付けるようになされている。すなわち、ユーザは、フットセンサ４３−２を操作したとき、動きの大きさとその速さによって、出力される映像および音声の「単位時間当たりの変化量」を操作していることを感じ、映像と音声の変化のスピード感を楽しむことができる。
【０１０２】
このようにして、撮像された映像へのエフェクトの付与と、伴奏に付与される効果音などとで、関連性（処理の関連性のみならず、ユーザに与える感覚的な関連性であっても良い）を有するものを、同一のフットセンサの操作に対応付けるようにすることにより、ユーザは、容易に「ユーザのイメージ」に合致したコンテンツを作成することができる。
【０１０３】
次に、セルフムービー記憶部６８は、映像効果付与処理部６４から供給されたエフェクト付与済みの映像データと、効果音生成部６５から供給された効果音付与済みの音声データとをバッファリングして、エフェクト付与済みの映像データを映像表示制御部６９に供給し、効果音付与済みの音声データを音声出力制御部７０に出力するとともに、エフェクト付与済みの映像データと効果音付与済みの音声データとにより構成されるセルフムービーを所定のフォーマットでエンコードし、ネットワークインターフェース７１に供給する。
【０１０４】
映像表示制御部６９は、セルフムービー記憶部６８から供給される映像データのモニタ４４への表示を制御する。音声出力制御部７０は、セルフムービー記憶部６８から供給される音声データの、スピーカ４５−１乃至４５−６からの音声出力を制御する。
【０１０５】
ネットワークインターフェース７１は、エンコードされた映像と音声から構成されるセルフムービーと、セルフムービーを固有に区別可能な情報（例えば、操作入力部４１により入力されたユーザＩＤなどの情報を用いるようにしても良いし、または、現在時刻および自分自身の機器ＩＤなどを基に、セルフムービーＩＤを生成するようにしてもよい）を、ネットワーク１を介して、セルフムービー配信サーバ３に送信し、ユーザがセルフムービー配信サーバ３にセルフムービーのダウンロード要求を行う場合にアクセスするウェブページのＵＲＬなどの情報をユーザが保有する携帯型電話機４などに送信する。
【０１０６】
また、セルフムービー作成装置２においては、ユーザが、自分の動作と、映像、音声、および照明などに与えられるエフェクトとの関係をある程度理解することができるように、ユーザからプレイ開始が指令されてから、例えば、３０秒間や１分間など、所定の時間を、ユーザの動作の検出結果およびフットセンサ４３−１乃至４３−８への操作入力を基に、撮像された映像にエフェクトが施されてモニタ４４に映像が表示され、生成された伴奏に効果音が付与されてスピーカ４５−１乃至４５−６から音声が出力されるが、セルフムービーとしては記憶されない「練習モード」とし、その後、更に、３０秒間や１分間など、所定の時間を、エフェクトが施された映像データが表示され、効果音が付与された音声データが音声出力されるとともに、セルフムービーとして記憶され、ネットワーク１を介して、セルフムービー作成サーバ３に供給される「セルフムービーモード」とすることができる。
【０１０７】
ここで、「練習モード」として設定される時間および「セルフムービーモード」として設定される時間は、それぞれ、適宜設定可能な時間であることは言うまでもない。例えば、「練習モード」として設定される時間が長ければ、ユーザは、自分の動作と、映像、音声、および照明などに与えられるエフェクトとの関係をよりよく理解することができ、「練習モード」として設定される時間が短ければ、セルフムービー作成における意外性が増すという効果が発生する。
【０１０８】
また、以上の説明においては、作成されたセルフムービーは、ネットワーク１を介して、セルフムービー配信サーバ３に送信されるものとして説明したが、作成されたセルフムービーを、ユーザが保有する携帯型電話機４またはＰＤＡ５などに、例えば、Bluetoothなどの無線通信を利用して、または、ネットワーク１を介して、電子メールなどのシステムを利用して、セルフムービー配信サーバ３を介することなく、直接、ユーザに供給されるようにしても良い。
【０１０９】
図６は、セルフムービー配信サーバ３の構成を示すブロック図である。
【０１１０】
セルフムービー配信サーバ３のＣＰＵ（Central Processing Unit）２１１は、セルフムービー配信サーバ３の動作の全体を制御する。また、ＣＰＵ２１１は、内部バス２１３および入出力インターフェース２１２を介して、マウス２３１やキーボード２３２などからなる入力部２１４から、セルフムービー配信サーバ３の管理者による操作入力が入力されると、それに対応してＲＯＭ（Read Only Memory）２１５に格納されているプログラムをＲＡＭ（Random Access Memory）２１６にロードして実行する。あるいはまた、ＣＰＵ２１１は、ＨＤＤ２１８にインストールされたプログラムをＲＡＭ２１６にロードして実行し、ディスプレイ２３３やスピーカ２３４などの出力部２１７に実行結果を出力させる。更に、ＣＰＵ２１１は、ネットワークインターフェース２２０を制御して、外部と通信し、データの授受を実行する。
【０１１１】
また、ＨＤＤ２１８は、セルフムービー作成装置２からネットワークを介して送信されたセルフムービーを、セルフムービー固有の情報と対応つけて記憶し、更に、必要に応じて、認証処理または課金処理に必要となるユーザの個人情報などを記憶する。
【０１１２】
また、ＣＰＵ２１１は、内部バス２１３および入出力インターフェース２１２を介して、必要に応じてドライブ２１９と接続され、ドライブ２１９に必要に応じて装着された磁気ディスク２２１、光ディスク２２２、光磁気ディスク２２３、または半導体メモリ２２４と情報を授受することができるようになされている。
【０１１３】
更に、ＣＰＵ２１１は、内部バス２１３を介して、画像処理部２４１、音声処理部２４２、課金処理部２４３、および、認証処理部２４４と接続されている。
【０１１４】
画像処理部２４１は、ＣＰＵ２１１の制御に基づいて、ユーザからダウンロードが要求されているセルフムービーの映像データをＨＤＤ２１８から読み出して、セルフムービーの配信先となる機器（例えば、携帯型電話機４、ＰＤＡ５、パーソナルコンピュータ６、または、ホームサーバ７）の種類に応じて、映像フォーマットや解像度などを変換する。
【０１１５】
音声処理部２４２は、ＣＰＵ２１１の制御に基づいて、ユーザからダウンロードが要求されているセルフムービーの音声データをＨＤＤ２１８から読み出して、セルフムービーの配信先となる機器（例えば、携帯型電話機４、ＰＤＡ５、パーソナルコンピュータ６、または、ホームサーバ７）の種類に応じて、音声フォーマットやチャンネル数などを変換する。
【０１１６】
例えば、セルフムービー作成装置２から送信されたセルフムービーのフォーマットが、３ＧＰＰ（3rd Generation Partnership Project）など、携帯型電話機４、ＰＤＡ５，パーソナルコンピュータ６、その他の機器において、共通に視聴可能なフォーマットである場合、セルフムービー配信サーバ３は、ユーザに要求されたセルフムービーをＨＤＤ２１８から読み出して、データの変換を行うことなく送信するようにしても良い。しかしながら、セルフムービーの配信先となる機器によって、処理可能なデータのフォーマット形式、表示可能な映像の解像度、音声データを出力するスピーカシステム（例えば、モノラル、ステレオ、５．１chなど）などが異なるので、セルフムービー作成装置２から送信されたセルフムービーのフォーマットが、送信先の機器におけるセルフムービーの視聴に適さないものである場合、画像処理部２４１および音声処理部２４２は、ＣＰＵ２１１の制御に基づいて、セルフムービー作成装置２から送信されたセルフムービーを、出力先の機器において視聴可能な形式に変換する処理を実行する。
【０１１７】
課金処理部２４３は、ＣＰＵ２１１の制御に基づいて、必要に応じて、ＨＤＤ２１８に記憶されているユーザの個人情報を参照したり、セルフムービーを要求するユーザから送信された課金に必要な情報を基にして、他の金融機関（例えば、クレジットカードや電子マネーシステムのサービス提供者）のサーバにアクセスすることなどにより、課金処理を実行する。
【０１１８】
認証処理部２４４は、ＣＰＵ２１１の制御に基づいて、必要に応じて、ＨＤＤ２１８に記憶されているユーザの個人情報を参照し、セルフムービーを要求するユーザから送信された認証に必要な情報を用いて、認証処理を実行する。
【０１１９】
次に、図７のフローチャートを参照して、図３を用いて説明したセルフムービー作成装置２が実行する、セルフムービー作成処理１について説明する。
【０１２０】
ここでは、ユーザからプレイ開始が指令されてから、例えば、３０秒間や１分間など、所定の時間においては、エフェクトが施された映像データおよび効果音が付与された音声データが、モニタ４４に表示され、スピーカ４５−１乃至４５−６から出力されるが、セルフムービーとしては記憶されない、「練習モード」とし、その後、３０秒間や１分間など、所定の時間において、エフェクトが施された映像データおよび効果音が付与された音声データが、モニタ４４に表示され、スピーカ４５−１乃至４５−６から出力されるとともに、セルフムービーとして記憶され、ネットワーク１を介して、セルフムービー作成サーバ３に供給される、「セルフムービーモード」となるものとして説明する。
【０１２１】
ステップＳ１において、受信部５１は、例えば、携帯電話機４やＰＤＡ５などの、ユーザが有する携帯型の機器から、赤外線通信などにより、テキストデータの入力を受けたか否かを判断する。
【０１２２】
ステップＳ１において、テキストデータの入力を受けたと判断された場合、ステップＳ２において、受信部５１は、入力されたテキストデータを映像効果付与処理部６４に供給する。映像効果付与処理部６４は、入力されたテキストデータを映像に重畳可能な、例えば、ビットマップなどの画像データに変換し、内部に有する図示しないページバッファなどに一時保存する。
【０１２３】
ステップＳ１において、テキストデータの入力を受けていないと判断された場合、または、ステップＳ２の処理の終了後、ステップＳ３において、操作入力部４１は、ユーザから、プレイ開始の操作入力を受けたか否かを判断する。ステップＳ３において、プレイ開始の操作入力を受けていないと判断された場合、プレイ開始の操作入力を受けたと判断されるまで、ステップＳ３の処理が繰り返される。
【０１２４】
ステップＳ３において、プレイ開始の操作入力を受けたと判断された場合、操作入力部４１は、プレイ開始を示す制御信号を、画像処理部６１、映像効果付与処理部６４、フットセンサ入力検出部６６、および、伴奏生成部６７に供給するので、ステップＳ４において、伴奏生成部６７は、セルフムービーの音声データの基となる伴奏に対応する音声データを作成する。また、伴奏生成部６７は、例えば、「練習モード」から「セルフムービーモード」へ移行することを、伴奏の変化によって知らせることができるように、伴奏を生成するようにしても良い。
【０１２５】
ステップＳ５において、画像処理部６１は、カメラ４２により撮像された映像の取得を開始し、例えば、Ａ／Ｄ変換や、ガンマ補正、ホワイトバランス調整などの各種信号処理を施して、動き検出部６２、および、映像効果付与処理部６４に供給する。
【０１２６】
ステップＳ６において、動き検出部６２は、撮像された映像を基に、ユーザが把持または装着しているＬＥＤライトの動きを追跡したり、映像データの動きベクトルの大きさを検出することなどにより、ユーザの動きを検出し、検出結果を、照明制御部６３、映像効果付与処理部６４、および、効果音生成部６５に供給する。
【０１２７】
ステップＳ７において、照明制御部６３は、検出されたユーザの動きを基に照明を制御する。照明制御部６３は、例えば、検出された動きの大きさ、または、検出された動きの大きさの変化量に合わせて、照明の照度、または、点滅速度などを変えるなどして、照明を制御する。
【０１２８】
ステップＳ８において、フットセンサ入力検出部６６は、フットセンサ４３−１乃至４３−８から供給される信号を基に、いずれかのフットセンサが操作されたか否かを判断する。
【０１２９】
ステップＳ８において、いずれかのフットセンサが操作されたと判断された場合、フットセンサ入力検出部６６は、いずれのフットセンサが操作されたのかを示す信号を、照明制御部６３、映像効果付与処理部６４、および、効果音生成部６５に供給するので、ステップＳ９において、映像効果付与処理部６４は、フットセンサ入力検出部６６から供給された信号を基に、図４および図５を用いて説明したように、操作されたフットセンサに対応する映像のエフェクトを、検出されたユーザの動きに応じて、画像処理部６１から供給された撮像された映像（必要に応じて、受信部５１から供給されたテキストデータが重畳されている映像）に施して、セルフムービー記憶部６８に供給する。
【０１３０】
ステップＳ１０において、効果音生成部６５は、フットセンサ入力検出部６６から供給された信号を基に、操作されたフットセンサに対応する音声効果を用いて、検出されたユーザの動きを基に、伴奏作成部６７から供給された伴奏に対応する音声データに、上述したような効果音を付与して、セルフムービーの音声データを生成し、セルフムービー記憶部６８に供給する。
【０１３１】
ステップＳ１１において、照明制御部６３は、フットセンサ入力検出部６６から供給された信号を基に、例えば、操作されたフットセンサに対応して点灯させる照明の種類を変更するなどして、照明を制御する。
【０１３２】
なお、ここでは、ステップＳ６乃至ステップＳ１１の処理を、順次実行される処理ステップとして説明したが、これらの処理は、並行して実行され、リアルタイムで処理されるものである。
【０１３３】
ステップＳ１２において、セルフムービー記憶部６８は、プレイ開始からすでに所定の時間が経過しているか否かを判断する。ステップＳ１２において、プレイ開始から所定の時間が経過していないと判断された場合、セルフムービー記憶部６８は、映像表示制御部６９に映像データを供給して、モニタ４４に表示させ、音声出力制御部７０に音声データを供給して、スピーカ４５−１乃至４５−６から出力させるが、内部に記憶はしないで、処理は、ステップＳ６に戻り、それ以降の処理が繰り返される。
【０１３４】
ステップＳ１２において、プレイ開始から所定の時間が経過したと判断された場合、ステップＳ１３において、セルフムービー記憶部６８は、映像表示制御部６９に映像データを供給して、モニタ４４に表示させ、音声出力制御部７０に音声データを供給して、スピーカ４５−１乃至４５−６から出力させるとともに、映像データおよび音声データを記憶する、すなわち、セルフムービー配信サーバ３に送信するために、セルフムービーの録画および録音を行う。
【０１３５】
ステップＳ１４において、セルフムービー作成装置２の各部は、プレイ終了時刻となったか否かを判断する。ステップＳ１４において、プレイ終了時刻となっていないと判断された場合、処理は、ステップＳ６に戻り、それ以降の処理が繰り返される。
【０１３６】
ステップＳ１４において、プレイ終了時刻となったと判断された場合、ステップＳ１５において、セルフムービー記憶部６８は、録画した映像データおよび録音した音声データ、すなわち、生成されたセルフムービーを、ネットワークインターフェース７１に供給する。ネットワークインターフェース７１は、供給されたセルフムービーを、セルフムービーを固有に区別可能な情報とともに、ネットワーク１を介して、セルフムービー配信サーバ３に送信し、処理が終了される。
【０１３７】
このような処理により、ユーザのパフォーマンスを、フットセンサ４３−１乃至４３−８への操作入力と、撮像された映像から検出される動き量との２種類の方法で検出し、検出されたユーザのパフォーマンスを基に、撮像された映像にエフェクトを施し、作成された伴奏に効果音を付与することができるようにしたので、オリジナリティのある、高度な画像処理や音声処理が施されたセルフムービーを生成することができる。ユーザは、セルフムービーの作成において、自己表現することができ、能動的に楽しむことができる。
【０１３８】
なお、セルフムービーを固有に区別可能な情報は、ユーザにより入力される情報であっても、セルフムービー作成装置２が、例えば、年月日時刻情報と機器ＩＤなどから作成する情報であっても良く、セルフムービー作成装置２が作成する場合は、ユーザに通知して、ダウンロードのときに利用することができるようにしても良い。
【０１３９】
次に、図８のフローチャートを参照して、図６を用いて説明したセルフムービー配信サーバ３が実行する処理について説明する。
【０１４０】
ステップＳ３１において、ＣＰＵ２１１は、ネットワークインターフェース２２０がセルフムービー作成装置２のうちのいずれかから、録画された映像データおよび録音された音声データ、すなわち、作成されたセルフムービーを受信したか否かを判断する。
【０１４１】
ステップＳ３１において、セルフムービーを受信したと判断された場合、ステップＳ３２において、ＣＰＵ２１１は、セルフムービーを個別に区別可能するために必要な情報である、例えば、ユーザＩＤや、セルフムービー作成装置２において作成された情報などとともに、セルフムービーをＨＤＤ２１８のセルフムービー記憶領域に記憶する。
【０１４２】
ステップＳ３１において、セルフムービーを受信していないと判断された場合、または、ステップＳ３２の処理の終了後、ステップＳ３３において、ＣＰＵ２１１は、ネットワークインターフェース２２０が、セルフムービー作成装置２のうちのいずれかから、セルフムービーのダウンロード要求を示す信号を受信したか否かを判断する。セルフムービーのダウンロード要求を示す信号には、例えば、ユーザの認証に必要な情報、ダウンロード先となる機器に関する情報、および、課金処理に必要な情報などが含まれている。ステップＳ３３において、セルフムービーのダウンロード要求を受けていないと判断された場合、処理は、ステップＳ３１に戻り、それ以降の処理が繰り返される。
【０１４３】
ステップＳ３３において、セルフムービーのダウンロード要求を受けたと判断された場合、ステップＳ３４において、ＣＰＵ２１１は、認証処理部２４４を制御して、認証処理を実行させる。
【０１４４】
ステップＳ３５において、ＣＰＵ２１１は、認証処理部２４４から供給される、認証処理の結果を基に、セルフムービーのダウンロードを要求したユーザは、正しいユーザであると認証されたか否かを判断する。
【０１４５】
ステップＳ３５において、正しいユーザであると認証されたと判断された場合、ステップＳ３６において、ＣＰＵ２１１は、ＨＤＤ２１８から、ユーザがダウンロードを要求した対応するセルフムービーを検索して読み出す。
【０１４６】
ステップＳ３７において、ＣＰＵ２１１は、読み出されたセルフムービーのデータ形式と、送信先の機器が、例えば、携帯型電話機４、ＰＤＡ５，パーソナルコンピュータ６、または、ホームサーバ７のいずれであるかなどの情報を基に、送信先の機器は、データの変換が必要であるか否かを判断する。具体的には、セルフムービーの送信先の機器が、例えば、携帯型電話機４やＰＤＡ５などの小型の装置である場合、音声データが５．１ｃｈのドルビーデジタルデータであっても、ステレオでしか再生することはできず、それらの機器のモニタが表示可能な映像の大きさや解像度などの映像の品質も、例えば、パーソナルコンピュータ６やテレビジョン受像機８などにおける場合と比較して、低いものとなる。また、パーソナルコンピュータ６、または、ホームサーバ７などにセルフムービーが送信される場合も、それらの機器が保有する映像表示および音声出力の機能は、それぞれ異なるものとなる。したがって、ＣＰＵ２１１は、セルフムービーのダウンロード要求を示す信号に含まれていた、ダウンロード先となる機器に関する情報を基に、データの変換が必要であるか否かを判断する。
【０１４７】
ステップＳ３７において、データの変換が必要であると判断された場合、ステップＳ３８において、ＣＰＵ２１１は、画像処理部２４１および音声処理部２４２を制御して、送信先の機器に対応するデータ形式に、セルフムービーを変換する。
【０１４８】
ステップＳ３７において、データの変換は必要ではないと判断された場合、または、ステップＳ３８の処理の終了後、ステップＳ３９において、ＣＰＵ２１１は、課金処理部２４３を制御して、課金処理を実行させる。
【０１４９】
ステップＳ４０において、ＣＰＵ２１１は、ネットワークインターフェース２２０を制御して、ネットワーク１を介して、セルフムービーのダウンロード要求元の機器に、セルフムービーを送信し、処理が終了される。
【０１５０】
ステップＳ３５において、正しいユーザであると認証されなかったと判断された場合、ステップＳ４１において、ＣＰＵ２１１は、ネットワークインターフェース２２０を制御して、ネットワーク１を介して、セルフムービーのダウンロード要求元の機器に、エラーメッセージを送信して、処理が終了される。
【０１５１】
このような処理により、セルフムービー作成装置２から送信されたセルフムービーが、ユーザに配信され、課金処理が実行される。
【０１５２】
なお、図８を用いて説明した処理では、セルフムービーのダウンロード要求ごとに、認証処理および課金処理を行うものとして説明したが、認証処理および課金処理は、省略されたり、例えば、月や年毎に行われるようにしても良い。
【０１５３】
以上の説明においては、セルフムービー作成装置２は、図２および図３を用いて説明したように、筺体２１および床２２により、ユーザが内部で充分動作可能な空間を構成するような、大型の装置であり、床２２に設けられているフットセンサ４３−１乃至４３−８への操作入力に、映像のエフェクトおよび音声の効果音付与を対応付けるものとして説明したが、映像を撮像し、ユーザにより操作入力受けることができ、画像処理および音声データの処理が可能で、更に、映像および音声の出力が可能な装置であれば、例えば、携帯型電話機４、ＰＤＡ５、パーソナルコンピュータ６、または、ディジタルスチルカメラ、もしくは、ディジタルビデオカメラなども、セルフムービ作成装置２として利用することが可能である。
【０１５４】
次に、図９は、セルフムービー作成装置２の第２の実施の形態の構成例について説明するための機能ブロック図である。セルフムービー作成装置２は、図９の機能ブロック図に図示された機能を、ハードウェア、または、ソフトウェアにより実現可能な装置であれば、例えば、上述した携帯型電話機４、ＰＤＡ５、パーソナルコンピュータ６、または、ディジタルスチルカメラ、もしくは、ディジタルビデオカメラ以外の、いかなる装置を利用するようにしても良いし、セルフムービーの作成のための装置（オリジナルデバイス）を用いるようにしても良い。
【０１５５】
なお、図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１５６】
すなわち、図９のセルフムービー作成装置２は、操作入力部４１およびフットセンサ４３−１乃至４３−８に代わって、例えば、携帯型電話機４、ＰＤＡ５、パーソナルコンピュータ６、ディジタルスチルカメラ、または、ディジタルビデオなどが有するボタン、キー、ダイヤルなどの操作入力部３０２が、ユーザの操作入力を受けるものとして用いられ、カメラ４２に代わって、例えば、携帯型電話機４、ＰＤＡ５、パーソナルコンピュータ６、ディジタルスチルカメラ、または、ディジタルビデオカメラなどのカメラ３０１が映像を撮像するものとして用いられ、モニタ４４に代わって、例えば、携帯型電話機４、ＰＤＡ５、パーソナルコンピュータ６、ディジタルスチルカメラ、または、ディジタルビデオカメラなどのモニタ３０３がエフェクトが施された映像の表示に用いられ、スピーカ４５−１乃至５４−６に代わって、スピーカ３０４−１および３０４−２が、効果音が付与された音声の出力に用いられており、フットセンサ入力検出部６６、照明制御部６３、および、照明４７−１乃至４７−５が省略されている以外は、基本的に、図３を用いて説明した場合と同様の構成を有している。
【０１５７】
操作入力部３０２のボタン、キー、ダイヤルなどは、テキストデータの入力や、プレイ開始の指令の入力以外にも、プレイ中においては、図２および図３を用いて説明したフットセンサ４３−１乃至４３−８と同様に、所定の映像のエフェクトと、伴奏へ付加される効果音の種類（または、伴奏もしくはサンプル音源に対して施されるエフェクト）とに対応付けられているものとする。なお、ボタンやキーなどが、同時に複数操作された場合、同時に操作された複数のボタンやキーに対応付けられているエフェクトまたは音声データの付加が、同時に施される（合成して処理される）ようにしても良い。
【０１５８】
例えば、図９のセルフムービー作成装置２が、携帯型電話機４、ＰＤＡ５など、ユーザが把持した状態で、操作入力が可能な小型の装置であったとき、ユーザは、プレイ中に、それらの装置が有するカメラ３０１で、自分自身、または、他人を撮像しながら、ボタン、キー、ダイヤルなどの操作入力部３０２を操作して、撮像された映像にエフェクトをかけ、自動作成された伴奏に効果音などを付加して、セルフムービーを作成することができる。
【０１５９】
そして、作成されたセルフムービーは、「練習モード」および「セルフムービーモード」において、モニタ３０３に表示され、スピーカ３０４−１および３０４−２から音声出力されるとともに、「セルフムービーモード」において、記憶されて、ネットワークインターフェース７１から、ネットワーク１を介して、セルフムービー配信サーバ３に送信される。
【０１６０】
次に、図１０のフローチャートを参照して、図９を用いて説明したセルフムービー作成装置２が実行するセルフムービー作成処理２について説明する。
【０１６１】
ステップＳ６１乃至ステップＳ６６において、図７を用いて説明したステップＳ１乃至ステップＳ６と基本的に同様の処理が実行される。
【０１６２】
すなわち、操作入力部３０２からテキストデータの入力を受けた場合、入力されたテキストデータが映像効果付与処理部６４に供給され、映像に重畳可能な、例えば、ビットマップなどの映像データに変換されて、内部に有する図示しないページバッファなどに一時保存される。そして、プレイ開始の操作入力を受けて、セルフムービーの音声データの基となる伴奏に対応する音声データが作成され、撮像された映像の取得が開始され、撮像された映像を基に、ユーザの動きが検出される。
【０１６３】
ステップＳ６７において、映像効果付与処理部６４および効果音生成部６５は、操作入力部３０２から供給される信号を基に、所定の映像のエフェクト、および、音声データの伴奏への効果音の付加に対応付けられているボタンやキーなどのうちのいずれかが操作されたか否かを判断する。
【０１６４】
ステップＳ６７において、いずれかのボタンやキーが操作されたと判断された場合、ステップＳ６８において、映像効果付与処理部６４は、操作入力部３０２から供給された信号を基に、図４および図５を用いて説明したように、操作されたボタンやキーに対応する映像のエフェクトを、検出されたユーザの動きに応じて、画像処理部６１から供給された撮像された映像（必要に応じて、操作入力部３０２から供給されたテキストデータが重畳されている映像）に施して、セルフムービー記憶部６８に供給する。
【０１６５】
ステップＳ６９において、効果音生成部６５は、操作入力部３０２から供給された信号を基に、操作されたボタンやキーに対応する音声効果を用いて、検出されたユーザの動きを基に、伴奏作成部６７から供給された伴奏に対応する音声データに、上述したような効果音を付与したり、音声エフェクトを施して、セルフムービーの音声データを生成し、セルフムービー記憶部６８に供給する。
【０１６６】
なお、ここでは、ステップＳ６６乃至ステップＳ６９の処理を、順次実行される処理ステップとして説明したが、これらの処理は、並行して実行され、リアルタイムで処理されるものである。
【０１６７】
そして、ステップＳ７０乃至ステップＳ７３において、図７を用いて説明したステップＳ１２乃至ステップＳ１５と基本的に同様の処理が実行されて、処理が終了される。
【０１６８】
すなわち、プレイ開始からすでに所定の時間が経過しているか否かが判断され、所定の時間が経過していないと判断された場合、作成された映像がモニタ３０３に表示され、作成された音声データがスピーカ３０４−１および３０４−２から出力されるが、内部に記憶はされないで、処理は、ステップＳ６６に戻り、それ以降の処理が繰り返される。そして、プレイ開始から所定の時間が経過したと判断された場合、同様にして、作成された映像がモニタ３０３に表示され、作成された音声データがスピーカ３０４−１および３０４−２から出力されるとともに、作成されたセルフムービーが記憶される。そして、プレイ終了時刻であるか否かが判断され、プレイ終了時刻ではないと判断された場合、処理は、ステップＳ６６に戻り、それ以降の処理が繰り返され、プレイ終了時刻となったと判断された場合、生成されて記憶されたセルフムービーが、ネットワーク１を介して、セルフムービー配信サーバ３に送信され、処理が終了される。
【０１６９】
このような処理により、ユーザのパフォーマンスを、ボタンやキーへの操作入力と、撮像された映像から検出される動き量との２種類の方法で検出し、検出されたユーザのパフォーマンスを基に、撮像された映像にエフェクトを施し、作成された伴奏に効果音を付与することができるようにしたので、特別な知識や技術を持たないユーザであっても、オリジナリティのある、高度な画像処理や音声処理が施されたセルフムービーを、携帯型電話機４、ＰＤＡ５、パーソナルコンピュータ６、ディジタルスチルカメラ、または、ディジタルビデオカメラなどの身近な機器を用いて作成することができる。
【０１７０】
更に、例えば、クラブやパーティー会場などのオープンなスペースで、その会場全体を、セルフムービー作成装置として機能させるようにすることもできる。すなわち、会場内のいずれかの場所で映像を撮像し、その映像の動きを検出するとともに、所定の映像のエフェクトと、伴奏への効果音の付加（または、音声データへのエフェクト）とに対応付けられている、例えば、センサ、パッド、フットセンサ、または、ボタンやキーなどの操作入力部を複数設けるようにする。そして、上述した場合と同様の処理により、映像の動きおよび操作入力部への操作入力を基に、撮像された映像にエフェクトを施したり、音声データを生成するようにして、オープンなスペース全体で視聴可能なように、生成された映像を大画面のモニタに表示し、生成された音声データをスピーカから出力することも可能である。このとき、第１の実施の形態における場合と同様に、部屋全体の照明を制御することも可能であり、また、撮像されるユーザも、１人でなくても良く、複数のカメラを用意して、撮像ポイントを複数用意するようにすることもできる。
【０１７１】
すなわち、本発明は、第１の実施の形態における場合のように、筺体２１によって閉ざされた空間を用意したり、第２の実施の形態における場合のように、ユーザが把持可能な小型の機器を用いるようにする以外でも、適用可能である。換言すれば、映像を撮像し、ユーザのパフォーマンスを検出することができる情報処理装置であれば、本発明を適用することにより、ユーザのパフォーマンスと、撮像された映像および作成された音声への効果の付与とを関連付けて、オリジナリティのある、高度な画像処理や音声処理が施されたセルフムービーを作成することができる。
【０１７２】
また、操作入力の自由度が高いため、初めてセルフムービーを作成するユーザは、単純な動作および操作入力を行っても、それなりに高度な効果が付与されたセルフムービーを作成することができるとともに、何度もプレイしたユーザは、自分の意図した高度な効果が付与されたセルフムービーを作成することができる。すなわち、ユーザは、セルフムービーの作成において、自己表現することができ、能動的に楽しむことができるので、シンプルなユーザインターフェースであっても、繰り返し楽しむことができる。
【０１７３】
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１７４】
この記録媒体は、図６に示すように、コンピュータとは別にユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２２１（フレキシブルディスクを含む）、光ディスク２２２（CD-ROM（Compact Disc-Read Only Memory），DVD（Digital Versatile Disc）を含む）、光磁気ディスク２２３（ＭＤ（Mini-Disc)（商標）を含む）、もしくは半導体メモリ２２４などよりなるパッケージメディアにより構成される。
【０１７５】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１７６】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【０１７７】
【図１】セルフムービー配信システムのシステム構成を示す図である。
【図２】セルフムービー作成装置の第１の実施の形態の外観構成を示す図である。
【図３】第１形態のセルフムービー作成装置の内部構成を示すブロック図である。
【図４】映像に与えられるエフェクトについて説明するための図である。
【図５】映像に与えられるエフェクトについて説明するための図である。
【図６】セルフムービー配信サーバの構成を示すブロック図である。
【図７】セルフムービー作成処理１を説明するためのフローチャートである。
【図８】セルフムービー配信サーバの処理を説明するためのフローチャートである。
【図９】第２の形態のセルフムービー作成装置の内部構成を示すブロック図である。
【図１０】セルフムービー作成処理２を説明するためのフローチャートである。
【符号の説明】
【０１７８】
１  ネットワーク
２  セルフムービー作成装置
３  セルフムービー配信サーバ
４１  操作入力部
４２  カメラ
４３  フットセンサ
４４  モニタ
４５  スピーカ
４７  照明
６２  動き検出部
６３  照明制御部
６４  映像効果付与処理部
６５  効果音生成部
６６  フットセンサ入力検出部
６７  伴奏作成部
６８  セルフムービー記憶部
２１１  ＣＰＵ
２４１  画像処理部
２４２  音声処理部
２４３  課金処理部
２４４  認証処理部
【図１】
2005333309.tif 000003
【図２】
2005333309.tif 000004
【図３】
2005333309.tif 000005
【図４】
2005333309.tif 000006
【図５】
2005333309.tif 000007
【図６】
2005333309.tif 000008
【図７】
2005333309.tif 000009
【図８】
2005333309.tif 000010
【図９】
2005333309.tif 000011
【図１０】
2005333309.tif 000012