(57)【要約】カラオケを歌う概念は、オーディオベースの技法にだけ基づく。本発明は、ビデオの中に入る概念を展開し、ユーザは、お気に入りのシンガー又はプレーヤーの代わりにビデオクリップ又は映画に自身の画像を挿入して見ることができ、従って、ビデオテープでクリップ／ソングを再生することができ、どの有名な人とも置き換えることができる。より明確には、本発明は、ユーザの画像及び音声を捕捉する手段、得られた信号を分析し処理する手段、このように分析処理されたオーディオ／ビデオ信号及び事前記録された素材をミックスする手段、及び、得られる、組み合わされた信号を表示する手段を連続して有するカラオケシステムに関わる。
2004501576.tif 000002
【特許請求の範囲】
【請求項１】
ビデオクリップ又は映画のようなシーケンス中に歌うカラオケシステムであって、
ユーザの画像及び音声を捕捉する捕捉装置と、上記ユーザの少なくとも一部分を背景から分離する分析及び処理装置と、上記分析及び処理装置の出力信号を事前記録された素材と組合すミクシング及びレンダリング装置と、上記組み合わせ信号を表示する表示装置とを連続して有するカラオケシステム。
【発明の詳細な説明】
【０００１】
本発明は、ビデオクリップ又は映画のようなシーケンス中に歌うカラオケシステムに関わる。
【０００２】
例えば、欧州特許出願ＥＰ０７８２３３８に開示するようなカラオケシステムでは、音楽、歌詞、又は、任意の種類のオーディオデータが送信局から分配局に送信される。システムの主モジュールの音楽制御手段は、モニタの内蔵型スピーカを通じて音楽を流し、見えないマイクロホンから音声を上記スピーカを通じて流す。画像制御手段は、背景画像（例えば、ビデオ画像又は背景画像記憶手段から抽出された静止画像）をモニタ上に表示し、歌詞制御手段は、背景画像の上に重畳して歌詞を表示する。ＣＣＤカメラのような画像捕捉装置は、シンガーの画像を捕捉し、ビデオ画像制御手段を通じてその画像をモニタのスクリーン上に重畳し重畳された画像とする。このようなシステムは、カラオケの概念において「ビデオミクシング」と定義される。
【０００３】
本発明は、更なる機能性を具備する別の種類のカラオケシステムを提供することを目的とする。
【０００４】
このためにシステムは、ビデオクリップ又は映画のようなシーケンス中に歌い、ユーザの画像及び音声を捕捉する捕捉装置と、ユーザの少なくとも一部分を背景から分離する分析及び処理装置と、上記分析及び処理装置の出力信号を事前記録された素材と組合すミクシング及びレンダリング装置と、組合し信号を表示する表示装置とを連続して有するカラオケシステムに関わる。
【０００５】
今日まで、カラオケを歌うといった概念は、オーディオに基づく技法にだけ基づき、機能性に制限をつけ、ユーザがビデオの想像の世界に実際に入り込む可能性はなかった。ビデオミクシングの考えを導入した提案される解決策により、このカラオケの概念をビデオ、より特定的には、完全にオーディオ−ビデオに入り込む概念に発展させ、上記概念によると、歌のビデオクリップ中の音声及び顔は偶然のシンガー（以降、彼／彼女はシンガー、プレーヤー、ダンサー等でもよいためユーザと称する）の音声及び顔によって置き換えられ得る。同じ提案された技法は、他の文脈、例えば、ｅコマースの分野、又は、事前記録されたコンテンツのビデオ編集においても同様に適用できる。
【０００６】
ここで、本発明を添付の図面を参照して例によって以下に説明する。
【０００７】
図１に示すように、本発明によるカラオケシステムを実施するために必要な異なるサブシステムは、主として、分析及び処理システム１１とミクシング及びレンダリング装置１２である。
【０００８】
分析及び処理装置１１は、捕捉装置１０によって捕捉されたユーザの画像及び音声（黒で示される人）を受信し、例えば、ユーザの顔を背景から分離してアルファ面を画成するセグメント化回路（このような回路は、例えば、ユーザがブルースクリーンの前のステージに上がった場合にクロムキー技法に基づき得る）を含む。ミクシング及びレンダリング装置１２は、装置１１において分析された形状情報を用い、媒体１３から伝えられる背景の事前記録されたビデオ又はオーディオ−ビデオ（上記事前記録された素材は媒体の左側に示される）とユーザを合成する回路である。この構成により、上記ユーザの音声と歌の背景が事前記録された音楽とをミックスするために供給されるオーディオ部分が完成される。装置１１によって画成されるアルファ面を用いて、次のタイプの関係：［（ビデオ１×アルファ）＋（ビデオ２×（２５５−アルファ））］／２５５＝最終ビデオに従って２つのソースを簡単に組合すことができる。モニタのような表示装置１４は、最終結果（即ち、事前記録された素材と特にユーザに属するものとの組合せ）を表示するために最終的に使用される。
【０００９】
明らかに、質を改善するためには、装置１１中で実行される分析は８ビットのアルファ面を生成し得、これにより表面が覆われたオブジェクトの限界でより良くミックスすることを可能にする。システムは、ユーザの頭だけ又は彼／彼女の身体全体を置き換えることができることに注意する。
【００１０】
オーディオ／ビデオの種類に関して他のケースも考えられる：
ａ）２つのオーディオ／ビデオソースが圧縮されていない：このオプションは、シンガーの身体全体がクリップ／映画の中で覆われているときに（事前記録されたデータはテープに記憶され、あるシンガーのビデオが分析されビデオミキサに直接的に伝送され得る）例えば、カラオケレストランにおいて使用され得、
ｂ）１つの又は２つのソースが圧縮されている：このような場合の一つの適応された構成は、新しく展開されたＭＰＥＧ−４規格であり、オブジェクトの形状及びアルファ面、ここではあるユーザの顔をエンコードすることを可能にする（ＭＰＥＧ−４はオーディオ及びビデオオブジェクトの構成を可能にする全体的なシステム構成を定める）。
【００１１】
本発明の他のケースの適用法も考えられる：
ａ）ユーザがミクシング動作の結果を記録することを望む：これは、図２に示すように、図１の実行に類似するシステムであるが更なる記録装置２５を含む。
【００１２】
ｂ）幾つかの場合において、カラオケシステムはオンラインで稼動する：事前記録されたクリップはデータベース（例えば、インターネット）に記憶され、ユーザが家で彼／彼女のパフォーマンスを録画し、合成カラオケクリップを生成して彼／彼女のホームページに載せることを望む（圧縮技法の使用は、このような場合、より一般的には、帯域幅が制限された環境において実行される全ての適用法において特に有用である。）、
ｃ）更に幾つかの場合では、ユーザが彼／彼女の頭だけを元のシンガーの頭と置き換えることを望み、ユーザの頭の位置と元のシンガーの身体の向き及び姿勢が適合することが必要なため、ミクシング及びレンダリング装置１２において更に処理することが必要となる。
【図面の簡単な説明】
【図１】本発明によるカラオケシステムのブロック図である。
【図２】本発明によるカラオケシステムの別の実行法を示す図である。
【国際公開パンフレット】
2004501576.tif 000003
2004501576.tif 000004
2004501576.tif 000005
2004501576.tif 000006
2004501576.tif 000007
2004501576.tif 000008
2004501576.tif 000009
【国際公開パンフレット（コレクトバージョン）】
2004501576.tif 000010
【国際調査報告】
2004501576.tif 000011
2004501576.tif 000012