(57)【要約】  本発明は、ダンシングカラオケゲームシステムに関し、前記ダンシングカラオケゲームシステムは、映像表示装置、スピーカー、及びマイクを含み、字幕表示機能とビデオミックス機能とを備えたカラオケ装置；被写体を撮影するためのカメラ；前記被写体をスキャンするための赤外線カメラ；複数個の仮想のスタジオ映像を含む３次元のグラフィックを発生させる３次元の映像発生装置；３Ｄ加速グラフィックカードで前記カメラから出力される映像をクロマキーし、実際の被写体のみを３Ｄテクスチャリングして３Ｄ空間処理し、前記被写体から反射された赤外線に従ってピクセル当り距離情報を演算すると同時に、前記３次元の映像発生装置の映像を３次元レンダリングして３次元の仮想の映像に出力する３Ｄ仮想スタジオを含む。
2015520403.tif 000002
【特許請求の範囲】
【請求項１】
映像表示装置、スピーカー、及びマイクを含み、字幕表示機能とビデオミックス機能とを備えたカラオケ装置；
被写体を撮影するためのカメラ；
前記被写体をスキャンするための赤外線カメラ；
複数個の仮想のスタジオ映像を含む３次元のグラフィックを発生させる３次元の映像発生装置；
３Ｄ加速グラフィックカードで前記カメラから出力される映像をクロマキーし、実際の被写体のみを３Ｄテクスチャリングして３Ｄ空間処理し、前記被写体から反射された赤外線に従ってピクセル当り距離情報を演算すると同時に、前記３次元の映像発生装置の映像を３次元レンダリングして３次元の仮想の映像に出力する３Ｄ仮想スタジオを含む、ダンシングカラオケシステム。
【請求項２】
ダンス動作に対するデータを含んでいるデータベース；及び、
前記被写体のダンス動作と前記データベースに含まれているダンス動作とを比べて点数化する点数演算装置をさらに含む、請求項１に記載のダンシングカラオケシステム。
【請求項３】
カメラを用いて被写体のダンス動作を撮影するステップ；
赤外線カメラを用いて前記被写体のダンス動作をスキャンするステップ；
複数個の仮想のスタジオ映像を含む３次元のグラフィックを発生させるステップ；及び、
３Ｄ加速グラフィックカードで前記撮影された被写体をクロマキーし、実際の被写体のみを３Ｄテクスチャリングして３Ｄ空間処理し、前記被写体から反射された赤外線を認識してピクセル当り距離情報を演算すると同時に、前記発生された３次元のグラフィックを３次元レンダリングして３次元の仮想の映像に出力するステップを含む、ダンシングカラオケを提供するための方法。
【請求項４】
前記被写体のダンス動作とデータベースに含まれているダンス動作とを比べて点数化するステップをさらに含む、請求項３に記載のダンシングカラオケゲームを提供するための方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラオケダンシングゲームに関し、より詳しくは、ユーザー及びユーザーの動きを３Ｄ映像で画面に表示し、前記ユーザーの動きを分析して点数化することができるカラオケダンシングゲームに関する。
【背景技術】
【０００２】
従来のカラオケは、音楽と背景動画とを合成した画面を見ながら歌を歌うようになっていた。特に、カラオケ機器に、ビデオクロマキーを用いて合成してビデオを入れる方式のカラオケシステムも紹介されている。
【０００３】
さらに、従来の技術（参考文献１を参照）では、３次元の仮想のスタジオを用いたカラオケを開示している。従来の技術による３次元の仮想のスタジオを用いたカラオケは、映像表示装置とスピーカー、及びマイクを含んで構成され、字幕表示機能とビデオミックス機能とを備えたカラオケ装置、被写体を撮影するためのカメラ、複数個の仮想のスタジオ映像を含む３次元のグラフィックを発生する３次元の映像発生装置、及び前記カメラの映像と前記３次元の映像発生装置の映像とを合成して３次元の仮想の映像を出力する３Ｄ仮想スタジオを含んで構成されると共に、前記３次元の仮想のスタジオの映像出力を前記カラオケ装置の背景映像に入力するように構成される。
【０００４】
カラオケで歌舞者が歌を歌う際、歌舞者が実際の舞台のような空間で歌を歌って、ダンスを踊っている映像を提供すれば、カラオケでの楽しさを高めることができるだろう。
【０００５】
ここで、本願の発明者は、以下で詳細に紹介するように、歌舞者の被写体をクロマキー方式でカラオケ機器の画面に表示し、背景は３Ｄ映像発生装置から発生した映像に表示することで、ユーザーが非常に多様な３Ｄ映像の中で歌を歌うような効果を発生させることができる。
【０００６】
また、ダンスを学んで習う従来の多くの方式は、実際にダンス教師に会ってダンスを学ぶか、ビデオテープを通じて習う形であった。しかし、実際にダンス教師に会ってダンスを学ぶことは費用や時間の制約があって容易ではなく、ビデオテープを通じて習う方式は退屈になりがちなので、従来の方法では効率的なダンスの教習ができなかった。
【０００７】
このような状況で、自分一人でもダンスを学ぶことができるシステム、及び自分一人で行った自分のダンスに対する正しい評価が行われ得るシステムに対する需要は確かに存在する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】大韓民国登録特許公報第１０−０６１９４９４号
【発明の概要】
【発明が解決しようとする課題】
【０００９】
下記の説明は、本発明の実施例に対する基本的な理解を提供するために、一つ以上の実施例の簡略化された説明を提供する。このセクションは、全ての可能な実施例に対する包括的な概要ではなく、全てのエレメントの中で核心エレメントを識別するか、全ての実施例の範囲をカバーしようとする意図でもない。その唯一な目的は、後で提示される詳細な説明に対する導入部として簡略化された形態に一つ以上の実施例の概念を提供するためである。
【００１０】
本発明は、上記のような従来の技術の問題点を解決するためのものであって、ダンス教師がいなくてもダンシングカラオケゲームシステムから提供されるキャラクターの動きを真似しながらダンスを自然に学ぶことができ、さらに、これらのキャラクターと共にダンスを踊って歌を歌う過程をリアルタイムで録画したミュージックビデオを製作することもできるシステムを提供するためのものである。
【００１１】
また、ダンスを踊りながらヘルシーな運動が楽しめるヘルス装置を提供するためのものである。
【課題を解決するための手段】
【００１２】
このような目的を達成するために、本発明は、ダンシングカラオケゲームシステムであって、前記ダンシングカラオケゲームシステムは、映像表示装置、スピーカー、及びマイクを含み、字幕表示機能とビデオミックス機能とを備えたカラオケ装置；被写体を撮影するためのカメラ；前記被写体をスキャンするための赤外線カメラ；複数個の仮想のスタジオ映像を含む３次元のグラフィックを発生させる３次元の映像発生装置；３Ｄ加速グラフィックカードで前記カメラから出力される映像をクロマキーし、実際の被写体のみを３Ｄテクスチャリングして３Ｄ空間処理し、前記被写体から反射された赤外線に従ってピクセル当り距離情報を演算すると同時に、前記３次元の映像発生装置の映像を３次元レンダリングして３次元の仮想の映像に出力する３Ｄ仮想スタジオを含むことができる。
【００１３】
また、本発明のダンシングカラオケゲームシステムは、ダンス動作に対するデータを含んでいるデータベース；及び、前記被写体のダンス動作と前記データベースに含まれているダンス動作とを比べて点数化する点数演算装置をさらに含むことができる。
【００１４】
また、本発明は、ダンシングカラオケゲームを提供するための方法であって、カメラを用いて被写体のダンス動作を撮影するステップ；赤外線カメラを用いて前記被写体のダンス動作をスキャンするステップ；複数個の仮想のスタジオ映像を含む３次元のグラフィックを発生させるステップ；及び、３Ｄ加速グラフィックカードで前記撮影された被写体をクロマキーし、実際の被写体のみを３Ｄテクスチャリングして３Ｄ空間処理し、前記被写体から反射された赤外線を認識してピクセル当り距離情報を演算すると同時に、前記発生された３次元のグラフィックを３次元レンダリングして３次元の仮想の映像に出力するステップを含むことができる。
【００１５】
また、本発明のダンシングカラオケゲームを提供するための方法は、前記被写体のダンス動作とデータベースに含まれているダンス動作とを比べて点数化するステップをさらに含むことができる。
【００１６】
本発明の代案的な具体例は、歌舞者のための、歌詞及び歌に対応するダンスを例示する第１の映像表示装置；第２の映像表示装置、スピーカー及びマイクを含み、字幕表示機能とビデオミックス機能とを備えたカラオケ装置；前記歌舞者の映像を撮影し、前記歌舞者の動作を認識するためのカメラ；複数個の仮想のスタジオ映像を含む３次元のグラフィックを発生させる３次元の映像発生装置；前記３次元の映像発生装置の仮想のスタジオ映像に前記歌舞者の撮影された映像をクロマキーした後に結合し、前記第２の映像表示装置を通じて３次元の仮想の映像に出力する３Ｄ仮想スタジオを含む、ダンシングカラオケシステムを含む。
【００１７】
上記の代案的な具体例は、ダンス動作に対するデータを含んでいるデータベース；及び、前記歌舞者の認識された動作と前記データベースに含まれているダンス動作とを比べて点数化する点数演算装置をさらに含む、ダンシングカラオケシステムを含む。
【発明の効果】
【００１８】
このような構成によると、多様なキャラクターのモーションデータをリアルタイムで３次元の空間に入れて多様な姿勢を示しながら、これを自分のダンスとリアルタイムで合成して示してくれるため、自分のダンス動作を正確にキャラクターまたはビデオ画面とリアルタイムで比較しながら見ることができる。
【００１９】
よって、ダンス教師がいなくても、自分一人でシステムから提供されるキャラクターの動きを真似しながら学ぶことができ、さらに、これらのキャラクターと共にダンスを踊りながら歌を歌って、リアルタイムで自分が踊っている場面を録画したミュージックビデオを製作することもできるようにして、楽しくダンスを踊りながらヘルシーな運動が楽しめる運動装置になることができる。
【００２０】
また、本発明の構成によると、自分のダンス動作とデータベースに格納されているダンス動作とを比較して点数化することで、ゲームを楽しみながら自然に運動を楽しめることができると共に、ダンスも学ぶことができる。
【００２１】
前述の目的及び関連の目的を達成するために、一つ以上の実施例を以下で説明し、特に、請求項において特定される特徴を含む。下記の説明及び関連の図面は、このような実施例の例示的な様相をより詳しく説明する。このような様相は、単に一例に過ぎず、多様な変形が可能であることは当業者であればよく理解できるだろう。また、提示された実施例は、このような実施例及びこのような実施例の均等物を何れも含むと解釈される。
【００２２】
慣習に従って、図面の多様な特徴は、実測によって示されないこともある。よって、多様な特徴の寸法は、簡明性のために任意に拡大されたり減少されることができる。また、図面の一部が簡明性のために単純化されることができる。よって、図面は提示された装置（例えば、デバイス）、または方法の全てのコンポネントを図しないこともある。最後に、類似した図面符号が詳細な説明及び図面の全般で類似した特徴を示すに使われることができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施例に係るダンシングカラオケシステムのブロック図である。
【図２】本発明の一実施例に係る映像信号発生装置のブロック図である。
【図３】本発明の一実施例に係って赤外線カメラを用いてユーザーの動作情報をスキャニングする過程を示す図である。
【図４】本発明の一実施例に係って赤外線カメラを用いてユーザーの動作情報をスキャニングする過程を示す図である。
【図５】本発明の一実施例に係って赤外線カメラを用いてユーザーの動作情報をスキャニングする過程を示す図である。
【図６】本発明の一実施例に係ってユーザーをカラオケ画面に表示した姿を示す図である。
【図７】本発明の一実施例に係ってユーザーのダンス動作を点数化するためにユーザーの骨格をスキャンした姿を示す図である。
【図８】本発明の一実施例に係るダンシングカラオケゲームを提供するための方法のフローチャートである。
【発明を実施するための形態】
【００２４】
以下で、多様な実施例について図面を参照しながら説明し、全体の図面に亘って類似した図面符号は、類似したエレメントを示すために使われる。説明のために、この明細書において、多様な説明が本発明の理解を提供するために提示される。しかし、このような実施例は、このような特定の説明がなくても実行され得ることは明白である。その他の例において、公知された構造及び装置は、実施例の説明を容易にするためにブロックダイヤグラムの形態に提示される。
【００２５】
図１を参考すると、図１は、本発明の一実施例に係るダンシングカラオケゲームシステム１００のブロック図である。
【００２６】
図１に示すように、本発明の一実施例に係るダンシングカラオケゲームシステム１００は、映像表示装置（ＴＶ）１１０、スピーカー（Ｓｐｅａｋｅｒ）１２０、マイク（Ｍｉｃ）１２１、カラオケシステム（Ｋａｒａｏｋｅ）１４０、点数演算部１４５、データベース１４６、カメラ１５０、赤外線カメラ（ＩＲ  ｃａｍｅｒａ）１５０Ａ、３Ｄ仮想スタジオ１６０、再生及び記録が可能なＤＶＤ  Ｒｅｃｏｒｄｅｒ１７０（以下、映像録画再生装置と称する。）、スクリーン制御部（Ｓｃｒｅｅｎ  Ｃｏｎｔｒｏｌ）１８０、及びジョイスティック１９０を含んで構成される。上記の構成要素の中で、ＴＶ１１０、Ｓｐｅａｋｅｒ１２０、Ｍｉｃ１２１、及びカラオケシステム１４０は、一般的なカラオケシステムと同一であるため、その説明を省略する。
【００２７】
映像録画再生装置１７０は、映像表示装置１１０に表示される最終の映像をユーザーの選択によって録画できるように構成される。
【００２８】
本発明のカメラは、被写体の映像を撮影し、被写体の動作を認識する。本発明のカメラは、通常の映像撮影装置及びＩＲカメラのような深度のある被写体の撮影装置までの距離認識装置であることができる。
【００２９】
カメラ１５０は、被写体１３０を撮影し、その映像１５２を出力する。また、ＩＲカメラ１５０Ａは、赤外線により被写体１３０をスキャンすることによって、ピクセル当り距離を計ることができる。
【００３０】
スクリーン制御部１８０は、複数個の仮想カメラ（図示せず）と既に設定された仮想のスタジオ映像（背景画面など）から特定の一つを選択することができる画面を構成する。
【００３１】
ジョイスティック１９０は、スクリーン制御部１８０から選択された仮想カメラの調整ができるように構成し、その調整データを３Ｄ仮想スタジオ１６０に入力する。
【００３２】
３Ｄ仮想スタジオ１６０は、３Ｄ仮想スタジオシステムで構成する。通常的な３Ｄ仮想スタジオは、３Ｄ映像発生技術とカメラビデオとを合成する技術を用いることによって仮想のスタジオが形成されてきた。すなわち、グラフィックにより作った３次元の映像を、カメラから入力されたアクターのビデオと自然に合成して、まるでアクターが実際のスタジオにいるような画面を作り、カメラが動きをセンサーで読み込み、グラフィック発生装置にカメラの位置に相応する背景及び前景を描いて合成するようにしている。より詳細には、３次元の仮想の空間を作るために、実際のカメラのビデオを基準にしてアクターの前面の絵と後面の絵との情報をそれぞれグラフィック発生器を通じて作り、これをカメラの位置に従ってグラフィックを作って合成する方式を使っている。このような方式は、グラフィック発生装置を２重にしなければならないと共に、カメラの動く位置を正確に知らせる外部カメラトラッキング情報を作るトラッキング装備が必要となるため、コストの上昇要因となっていた。また、カメラトラッキングセンサは、ユーザーのセットアップ（ｓｅｔｕｐ）と複雑な運営及び装備のセットアップ過程が必要となるため、大衆的な３Ｄ  Ｇｒａｐｈｉｃの使用に困難がある。よって、本発明の一実施例では、一般の仮想のスタジオ技術を用いるレンダリング装備の数を節約し、カメラトラッキングが必ず必要となることによる装備の高コスト化と、ユーザーにとって困難な環境を除去して単純化し、原価の節減はもちろん、誰でも容易かつ便利に使うことができるＶｉｒｔｕａｌ  Ｏｖｅｒｌａｙ技術を用いた３Ｄ仮想スタジオシステムを使うのである。すなわち、Ｖｉｒｔｕａｌ  Ｏｖｅｒｌａｙは、既存のＭｉｘｅｒで背景の画面と前面の画面とをカメラにＯｖｅｒｌａｙさせる方式ではなく、３次元レンダリングエンジンの内にビデオを一つのＯｂｊｅｃｔとして処理して仮想のＯｖｅｒｌａｙを実現させることで、一つのレンダリングエンジンを使って２つのレンダリングを使った効果と、囲部Ｏｖｅｒｌａｙ  Ｍｉｘを使ったのと同様のシステムを作ることができ、装備のコストの節減はもちろん、使用環境を非常に単純化することができる効果がある。以下、図２を参考して、仮想Ｏｖｅｒｌａｙ技術を用いた３Ｄ仮想スタジオブロック図について簡略に説明する。レンダ（Ｒｅｎｄｅｒ）２４０は、３Ｄ加速グラフィックカード２００内でリアルタイムで映像を発生する機能であって、３次元の映像発生装置２１０は、３次元の物体を設計する３Ｄプログラムである３Ｄ  Ｓｔｕｄｉｏ  ＭａｘやＭＡＹＡなどのような編集プログラムで生成させた３Ｄデータを用いて、実際のカメラから入力された映像、予め用意された動画像（ＡＶＩ，ＭＰＥＧなど）、Ｐｉｃｔｕｒｅを３Ｄ物体の表面にビデオテクスチャリングをリアルタイムで行って出力させる。よって、通常の３Ｄ映像を作るための前後面の映像発生装置を使わなくても、一度にレンダリングをカメラの映像と共に処理して出力することができる。
【００３３】
上記の構成の仮想オーバレイ技術は、カメラ２２０から出力されるカメラ映像２２１と３Ｄ加速グラフィックカード２００内で３次元の映像発生装置２１０の３Ｄデータをレンダ（Ｒｅｎｄｅｒ）内に同時に入力して３Ｄグラフィック処理することによって、アナログ映像２３０を出力させるのである。すなわち、３Ｄ加速グラフィックカード２００の３Ｄグラフィック機能を活用して、カメラ映像２２１を３Ｄ発生装置、すなわち、レンダ２４０のビデオテクスチャ（Ｔｅｘｔｕｒｅ）に入力し、３次元の映像発生装置２１０の３Ｄデータを同時に３Ｄレンダリングしてアナログ映像２３０に出力するのである。
【００３４】
また、ジョイスティック１９０から入力されるカメラ調整信号（ズームｉｎ／ｏｕｔ、角度調節など）に応じてスクリーン制御部１８０から選択された仮想カメラを調整し、前記仮想カメラの位置に従う映像を出力するように構成される。上記のように、３Ｄビデオテクスチャリング（Ｖｉｄｅｏ  Ｔｅｘｔｕｒｉｎｇ）技術を用いて仮想カメラの調整ができるようにすることで、観測者の位置（カメラの位置）を３Ｄ空間の中で、任意の位置から示される映像を出力させると、容易に３Ｄグラフィック装置を用いて仮想の世界の中にアクターを位置させ、さらに、仮想カメラを異なる位置から見せてくれることができ、多様な方向からの画面をリアルタイムで変更しながら示すことができるため、高価のカメラの動き装置を使わなくても、カメラの動く効果を作ることができ、このような仮想カメラを複数個使う場合には、まるで複数個のカメラで表現するような効果を作り出すことができるためである。
【００３５】
以下、上記の本発明の構成による３次元の仮想のスタジオを用いたカラオケの動作について説明する。
【００３６】
先ず、ユーザーがカラオケ１４０をオンすれば、カラオケ１４０は、ＴＶ１１０、Ｓｐｅａｋｅｒ１２０、Ｍｉｃ１２１をオンすると同時に、３Ｄ仮想スタジオ１６０を動作させる。３Ｄ仮想スタジオ１４０は、既に設定された仮想のスタジオ映像（背景画面；図示せず）とカメラ１５０から撮影された被写体（ユーザー）の映像を、３Ｄ加速グラフィックカード２００のレンダ２４０で３Ｄグラフィックにレンダリングしてカラオケ１４０に出力すれば、カラオケ１４０は入力される仮想のスタジオ映像１６１に歌詞をミックスして、ＴＶ１１０にその映像を出力しながら伴奏音楽をＳｐｅａｋｅｒ１２０を通じて出力すると、ユーザーはＴＶ１１０の画面に出力される背景音楽を聞きながら自分が歌を歌う姿を見て、さらに歌詞を読みながらＭｉｃ１２１を通じて歌を歌えば済むのである。また、スクリーンコントロール１８０を調節して、既に設定された仮想のスタジオ映像を変更し、所望の背景映像を選択して出力することもできる。この際、ユーザーやその他の聴衆は、ジョイスティック１９０を用いて仮想カメラの位置を調整して、仮想のスタジオ映像やカメラ１５０から撮影された映像を３Ｄ立体的に自由自在に変化させて、ＴＶ１１０に表示される映像を任意に調節することができる。よって、トラッキングセンサーがなくてもトラッキング効果を出すことができ、容易に３Ｄグラフィック装置を用いて仮想の映像の中にユーザーを位置させることができ、さらに、仮想カメラの調節ができるため、多様な方向からの画面をリアルタイムで変化させながら示すことができる。上記の仮想カメラは多数個を位置させることができ、まるで複数個のカメラで表現するような効果を作り出すことができる。
【００３７】
また、本発明の一実施例に係ると、ＩＲカメラ１５０Ａが赤外線により被写体１３０をスキャンすることによって、ピクセル当り距離を計ることができるので、これを用いてユーザーのダンス動作の認知が可能になる。
【００３８】
また、本発明の一実施例に係ると、３Ｄ仮想スタジオは、深さ情報を処理することによって被写体の動作の認識が可能であるイメージソフトウェアを含むことができる。
【００３９】
このように認識されたユーザーのダンス動作と点数演算部１４５でデータベース１４６に格納されたダンス動作とを比較することによって、ユーザーのダンス動作を点数化することができる。また、データベース１４６には、ユーザーの背景として登場する多様なキャラクターが格納されていることもできる。
【００４０】
図３〜図５は、本発明の一実施例に係って、赤外線カメラ１５０Ａを用いてユーザーの動作情報をスキャニングする過程を示す図である。
【００４１】
図３は、赤外線が人の手に反射されることを示す画面である。ＩＲカメラ１５０Ａから照射された赤外線が人の手から反射されると、３Ｄ仮想スタジオ１６０に含まれたイメージソフトウェアから反射されたピクセルを分析して、ユーザーのダンス動作を認識することができる。
【００４２】
図４は、赤外線カメラ１５０Ａを用いてユーザーのジェスチャーを判断する主要骨格を認識した形状を示す図である。このように、ユーザーの顔、首、腕、及び足に亘る主要骨格を認識し、この動きを認識することができるため、ユーザーのダンス動作を認識することができるようになる。
【００４３】
図５は、図４において、ユーザーの主要骨格を認識した形状に従って、ユーザーをディスプレー画面に表示する姿を示した形状である。
【００４４】
図６は、本発明の一実施例に係って、ユーザーをカラオケ画面に表示した姿を示している。図６に示すように、本発明の一実施例に係るダンシングカラオケゲームシステムでは、ユーザーがクロマキー背景を置いて、歌を歌いながらダンスを踊る映像をカメラ１５０で撮影し、３Ｄ映像とミックスして表示すると同時に、ＩＲカメラ１５０Ａを用いてユーザーのダンス動作を認識することができる。
【００４５】
図７は、本発明の一実施例に係って、ユーザーのダンス動作を点数化するために、ユーザーの骨格をスキャンした姿を示している。
【００４６】
ユーザーの骨格をスキャンした情報に基づいて、ユーザーのダンス動作を認識することができる。また、点数演算部１４５では、認識されたダンス動作とデータベース１４６に格納されたダンス動作とを比較することによって、ユーザーのダンス動作を点数化することができる。
【００４７】
例えば、点数演算部１４５では、ユーザーの腕の動作を認識して、データベース１４６に格納されているダンス動作では、背景音楽の当該拍子で右の腕が右の肘を基準にして９０度になるように持ち上げ、左の腕が左の肘を基準にして９０度になるように下げる動作の場合、ユーザーの腕の動作の拍子が合わなければ減点５点、腕の角度が不正確であれば減点１０点等の基準に従ってユーザーのダンス動作を点数化することができる。
【００４８】
図８は、本発明の一実施例に係るダンシングカラオケゲームを提供するための方法のフローチャートである。
【００４９】
まず、カメラを用いて被写体のダンス動作を撮影するステップ８０１が示される。カメラ１５０は、クロマキー背景を置いて被写体を撮影することによって、３Ｄ仮想スタジオに入力する映像を撮影することができる。
【００５０】
ステップ８０２において、赤外線カメラ１５０Ａを用いて前記被写体のダンス動作をスキャンすることができる。ＩＲカメラ１５０Ａから赤外線を照射して前記被写体の主要骨格を認識することができる。
【００５１】
また、ステップ８０３において、複数個の仮想のスタジオ映像を含む３次元のグラフィックを発生させることができる。前記複数個の仮想のスタジオ映像は、ユーザーの背景画面に合成するためのものである。
【００５２】
また、ステップ８０４において、３Ｄ加速グラフィックカードで前記撮影された被写体をクロマキーし、実際の被写体のみを３Ｄテクスチャリングして３Ｄ空間処理し、前記被写体から反射された赤外線を認識してピクセル当り距離情報を演算すると同時に、前記発生された３次元のグラフィックを３次元レンダリングして３次元の仮想の映像に出力することができる。このように、カメラ１５０によって撮影された被写体を３Ｄ映像と合成して出力し、被写体から反射された赤外線を認識してピクセル当り距離情報を演算することで、ＩＲカメラ１５０Ａによって被写体のダンス動作を認識することができる。
【００５３】
また、ステップ８０５において、点数演算部１４５は、前記被写体のダンス動作とデータベース１４６に含まれているダンス動作とを比較して点数化することができる。
【００５４】
このような構成によると、多様なキャラクターのモーションデータをリアルタイムで３次元の空間に入れて多様な姿勢を示しながら、これを自分のダンスとリアルタイムで合成して示してくれるため、自分のダンス動作を正確にキャラクターまたはビデオ画面とリアルタイムで比較しながら見ることができる。
【００５５】
よって、ダンス教師がいなくても、自分一人でシステムから提供されるキャラクターの動きを真似しながら学ぶことができ、さらに、これらのキャラクターと共にダンスを踊りながら歌を歌って、リアルタイムで自分が踊っている場面を録画したミュージックビデオを製作することもできるようにして、楽しくダンスを踊りながらヘルシーな運動が楽しめる運動装置になることができる。
【００５６】
また、本発明の構成によると、自分のダンス動作とデータベースに格納されているダンス動作とを比べて点数化することで、ゲームを楽しみながら自然に運動を楽しめることができると共に、ダンスも学ぶことができる。
【００５７】
本願の明細書の構成要素は、コンポネント、モジュール、またはシステムであることができる。この明細書で使われている用語である「コンポネント」、「モジュール」、「システム」などは、コンピューター関連エンティティ、ハードウェア、ファームウェア、ソフトウェア、ソフトウェア及びハードウェアの組み合わせ、またはソフトウェアの実行を指称する。例えば、コンポネントは、プロセッサ上で実行される処理過程、プロセッサ、客体、実行スレッド、プログラム、及び／またはコンピューターであることができるが、これらに制限されない。例えば、コンピューター装置で実行されるアプリケーション及びコンピューター装置の何れもコンポネントであることができる。一つ以上のコンポネントは、プロセッサ及び／または実行スレッド内に常在することができ、一つのコンポネントは一つのコンピューター内でローカル化されることができ、または、２個以上のコンピューターの間に分配されることができる。また、このようなコンポネントは、その内部に格納されている多様なデータ構造を有する多様なコンピューター読み取りが可能な媒体から実行することができる。コンポネントは、例えば、一つ以上のデータパケットを有する信号（例えば、ローカルシステム、分散システムで他のコンポネントと相互作用する一つのコンポネントからデータ及び／または信号を通じて他のシステムとインターネットのようなネットワークを通じるデータ）によってローカル及び／または遠隔処理を通じて通信することができる。
【００５８】
一つ以上の例示的な具現において、ここで提示されている機能は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせにより具現されることができる。ソフトウェアに具現される場合、前記機能は、コンピューター読み取りが可能な媒体上に一つ以上の命令またはコードとして格納されるか、または、これらを通じて転送されることができる。コンピューター読み取りが可能な媒体は、コンピューター格納媒体及び一つの場所から他の場所までのコンピュータープログラムの移転を容易にするための任意の媒体を含む通信媒体を含む。格納媒体は、汎用コンピューターまたは特殊コンピューターによってアクセス可能な任意の可用媒体であることができる。例えば、このようなコンピューター読み取りが可能な媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、または、他の光学ディスク格納媒体、磁気ディスク格納媒体、または他の磁気格納装置、または命令やデータ構造の形態に要求されるプログラムコード手段を格納するのに使われることができ、汎用コンピューター、特殊コンピューター、汎用プロセッサ、または、特殊プロセッサによってアクセス可能な任意の他の媒体を含むが、これらに制限されない。また、任意の連結手段がコンピューター読み取りが可能な媒体に見なされることができる。例えば、ソフトウェアがウェブサイト、サーバー、または他の遠隔ソースから同軸ケーブル、光ファイバケーブル、ペアケーブル、デジタル加入者ライン（ＤＳＬ）、または赤外線ラジオ、及びマイクロウェーブのような無線技術を通じて転送される場合、このような同軸ケーブル、光ファイバケーブル、ペアケーブル、ＤＳＬ、または赤外線ラジオ、及びマイクロウェーブのような無線技術が、このような媒体の定義内に含まれることができる。ここで使われるｄｉｓｋ及びディスクは、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、ＤＶＤ、フロッピー（登録商標）ディスク、及びブルーレイディスクを含み、ここで、ｄｉｓｋはデータを磁気的に再生するが、ディスクはレーザーを通じて光学的にデータを再生する。上記の組み合わせもコンピューター読み取りが可能な媒体の範囲内に含まれることができる。
【００５９】
この明細書のデータベース１４６は、揮発性メモリー、または非揮発性メモリーであることができ、または、揮発性と非揮発性メモリーとの両方を含むことができる。制限されない例として、非揮発性メモリーは、ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ（ＲＯＭ）、ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ（ＰＲＯＭ）、ｅｌｅｃｔｒｉｃａｌｌｙ  ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ（ＥＰＲＯＭ）、ｅｌｅｃｔｒｉｃａｌｌｙ  ｅｒａｓａｂｌｅ  ＰＲＯＭ（ＥＥＰＲＯＭ）、または、フラッシュメモリーを含むことができる。揮発性メモリーは、外部キャッシュメモリーとして動作するランダムアクセスメモリー（ＲＡＭ）を含むことができる。制限されない例として、ＲＡＭは、ｓｙｎｃｈｒｏｎｏｕｓ  ＲＡＭ（ＳＲＡＭ）、ｄｙｎａｍｉｃ  ＲＡＭ（ＤＲＡＭ）、ｓｙｎｃｈｒｏｎｏｕｓ  ＤＲＡＭ（ＳＤＲＡＭ）、ｄｏｕｂｌｅ  ｄａｔａ  ｒａｔｅ  ＳＤＲＡＭ（ＤＤＲ  ＳＤＲＡＭ）、ｅｎｈａｎｃｅｄ  ＳＤＲＡＭ（ＥＳＤＲＡＭ）、Ｓｙｎｃｈｌｉｎｋ  ＤＲＡＭ（ＳＬＤＲＡＭ）、及びｄｉｒｅｃｔ  Ｒａｍｂｕｓ  ＲＡＭ（ＤＲＲＡＭ）のような多様な形態に提供されることができる。
【００６０】
開示された実施例についての説明は、任意の本発明の技術分野で通常の知識を持った者が本発明を利用または実施できるように提供される。このような実施例に対する多様な変形は、本発明の技術分野で通常の知識を持った者にとって自明であるべきであり、ここで定義されている一般的な原理は、本発明の範囲を超えずに他の実施例に適用されることができる。よって、本発明は、ここで提示されている実施例に限定されるのではなく、ここで提示されている原理及び新規の特徴と一貫した最広義の範囲で解釈されるべきである。
【図１】
2015520403.tif 000003
【図２】
2015520403.tif 000004
【図３】
2015520403.tif 000005
【図４】
2015520403.tif 000006
【図５】
2015520403.tif 000007
【図６】
2015520403.tif 000008
【図７】
2015520403.tif 000009
【図８】
2015520403.tif 000010
【国際調査報告】
2015520403.tif 000011
2015520403.tif 000012
2015520403.tif 000013
2015520403.tif 000014