(57)【要約】【課題】  再生中のマルチメディア映像を伝送でき、リアルタイム通信の娯楽性を高める仮想撮影システムおよびそのリアルタイム通信方法を提供する。【解決手段】  仮想撮影システムは少なくともマルチメディア映像ユニット１１、仮想撮影ユニット１２、リアルタイム通信ユニット１３および表示ユニット１４を備える。マルチメディア映像ユニット１１は映像データを出力する。仮想撮影ユニット１２はマルチメディア映像ユニット１１にカップリングされ、映像データ１１１を受信して処理を行い、処理済映像データ１４１１を出力する。リアルタイム通信ユニット１３は仮想撮影ユニット１２にカップリングされ、処理済映像データ１４１１を受信し、リアルタイム情報ネットワーク１５を通じて遠端の電子装置１６へ伝送する。表示ユニット１４はディスプレイ１４１を提供して処理済映像データ１４１１を表示する。【選択図】  図１
2008228262.tif 000002
【特許請求の範囲】
【請求項１】
映像データを出力するマルチメディア映像ユニットと、
前記マルチメディア映像ユニットにカップリングされ、前記映像データを受信して処理を行い、処理済映像データを出力する仮想撮影ユニットと、
前記仮想撮影ユニットにカップリングされ、前記処理済映像データを受信してリアルタイム情報ネットワークを通じて遠端の電子装置に伝送するリアルタイム通信ユニットと、
ディスプレイを提供して前記処理済映像データを表示する表示ユニットと
を備えることを特徴とする仮想撮影システム。
【請求項２】
前記マルチメディア映像ユニットは、マルチメディア再生プログラムであり、前記マルチメディア再生プログラムはマルチメディアファイルを再生し、前記映像データを生成して出力することを特徴とする請求項１記載の仮想撮影システム。
【請求項３】
前記マルチメディア映像ユニットは、映像音声効果の製作プログラムであり、前記映像音声効果の製作プログラムにはウェブカメラがカップリングされ、映像音声効果スクリプトおよびメディアコンテンツに基づいて前記ウェブカメラから提供されるリアルタイム映像の処理を行い、前記映像データを生成することを特徴とする請求項１記載の仮想撮影システム。
【請求項４】
前記ウェブカメラは、前記ウェブカメラに対面する映像をリアルタイムに受信するのに使用されることを特徴とする請求項３記載の仮想撮影システム。
【請求項５】
前記映像音声効果の製作プログラムは、更に、前記リアルタイム映像の特定部位の認識またはリアルタイムな変動追跡を行うことを特徴とする請求項３記載の仮想撮影システム。
【請求項６】
前記映像音声効果の製作プログラムは、更に、前記映像音声効果スクリプトと前記メディアコンテンツと前記リアルタイム映像との合成を行って前記映像データを生成することを特徴とする請求項３記載の仮想撮影システム。
【請求項７】
前記映像音声効果スクリプトは、スクリプト言語の映像音声効果の命令集から選択され、映像音声効果動作、インタラクティブ効果または仮想映像の生成に使用されることを特徴とする請求項３記載の仮想撮影システム。
【請求項８】
前記メディアコンテンツは、マルチメディア映像音楽データを含むことを特徴とする請求項３記載の仮想撮影システム。
【請求項９】
前記仮想撮影ユニットは、仮想カメラ駆動プログラムであることを特徴とする請求項１記載の仮想撮影システム。
【請求項１０】
前記リアルタイム通信ユニットは、インスタントメッセージプログラムまたはインターネット電話プログラムを備えることを特徴とする請求項１記載の仮想撮影システム。
【請求項１１】
前記リアルタイム通信ユニットは、使用者認識情報をリアルタイム情報プラットフォームユニットに送って登録を完了し、前記リアルタイム情報ネットワークを通じて前記処理済映像データを前記リアルタイム情報プラットフォームにログインした前記遠端の電子装置に伝送することを特徴とする請求項１記載の仮想撮影システム。
【請求項１２】
前記表示ユニットは、液晶ディスプレイ、プラズマディスプレイまたはＣＲＴディスプレイを備えることを特徴とする請求項１記載の仮想撮影システム。
【請求項１３】
仮想撮影システムに適用され、
マルチメディア映像ユニットによって映像データを出力するステップと、
前記マルチメディア映像ユニットにカップリングされた仮想撮影ユニットによって、前記映像データを受信して処理を行い、処理済映像データを出力するステップと、
前記仮想撮影ユニットにカップリングされたリアルタイム通信ユニットによって、前記処理済映像データを受信し、リアルタイム情報ネットワークを通じて遠端の電子装置に伝送するステップと、
表示ユニットを使用して提供されたディスプレイに前記処理済映像データを表示するステップと
を含むことを特徴とするリアルタイム通信方法。
【請求項１４】
前記マルチメディア映像ユニットは、マルチメディア再生プログラムであり、前記マルチメディア再生プログラムはマルチメディアファイルを再生し、前記映像データを生成して出力することを特徴とする請求項１３記載のリアルタイム通信方法。
【請求項１５】
前記マルチメディア映像ユニットは、映像音声効果の製作プログラムであり、前記映像音声効果の製作プログラムにはウェブカメラがカップリングされ、映像音声効果スクリプトおよびメディアコンテンツに基づいて前記ウェブカメラから提供されるリアルタイム映像の処理を行い、前記映像データを生成することを特徴とする請求項１３記載のリアルタイム通信方法。
【請求項１６】
前記ウェブカメラは、前記ウェブカメラに対面する映像をリアルタイムに受信するのに使用されることを特徴とする請求項１５記載のリアルタイム通信方法。
【請求項１７】
前記映像音声効果の製作プログラムは、更に、前記リアルタイム映像の特定部位の認識またはリアルタイムな変動追跡を行うことを特徴とする請求項１５記載のリアルタイム通信方法。
【請求項１８】
前記映像音声効果の製作プログラムは、更に、前記映像音声効果スクリプトと前記メディアコンテンツと前記リアルタイム映像との合成を行って前記映像データを生成することを特徴とする請求項１５記載のリアルタイム通信方法。
【請求項１９】
前記映像音声効果スクリプトは、スクリプト言語の映像音声効果の命令集から選択され、映像音声効果の動作、インタラクティブ効果または仮想映像の生成に使用されることを特徴とする請求項１５記載のリアルタイム通信方法。
【請求項２０】
前記メディアコンテンツは、マルチメディア映像音楽データを含むことを特徴とする請求項１５記載のリアルタイム通信方法。
【請求項２１】
前記仮想撮影ユニットは、仮想カメラ駆動プログラムであることを特徴とする請求項１３記載のリアルタイム通信方法。
【請求項２２】
前記リアルタイム通信ユニットは、インスタントメッセージプログラムまたはインターネット電話プログラムを備えることを特徴とする請求項１３記載のリアルタイム通信方法。
【請求項２３】
前記リアルタイム通信ユニットは、使用者認識情報をリアルタイム情報プラットフォームユニットに送って登録を完了し、前記リアルタイム情報ネットワークを通じて前記処理済映像データを前記リアルタイム情報プラットフォームにログインした前記遠端の電子装置に伝送することを特徴とする請求項１３記載のリアルタイム通信方法。
【請求項２４】
前記表示ユニットは、液晶ディスプレイ、プラズマディスプレイまたはＣＲＴディスプレイを備えることを特徴とする請求項１３記載のリアルタイム通信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は仮想撮影システムおよびそのリアルタイム通信方法に関し、特に、仮想撮影ユニットがリアルタイム通信ソフトウェアに組み合わされた仮想撮影システムおよびそのリアルタイム通信方法に関する。
【背景技術】
【０００２】
現代人のインタラクティブな通信は頻繁に行われており、ネットワーク（InternetまたはIntranetなど）を通じてリアルタイムな情報通信、テキストファイルの伝送、音声チャットまたは映像取得などを行っている。それ故に、如何に完全な撮影システムを構築し、リアルタイム通信方法と組み合わせ、世界中に広がるネットワークを利用して情報交換、映像データの伝送、マルチメディア映像音楽または映像音声効果などをリアルタイムに提供し、通信時の相互作用性および娯楽性を高めるかはストレスの多い人々にとって関心が高まっている課題である。
【０００３】
従来技術において、すでに撮影システムおよびそのリアルタイム通信方法が開示されている。この撮影システムの主な設備として、コンピュータ本体以外にウェブカメラ（Web camera）、スピーカ、マイクロフォン、関連するソフトウェアおよび駆動プログラムが必要とされる。簡単に述べると、上述の一般に見られるＭＳＮ、Yahoo Messengerなどのインスタントメッセージプログラム、またはインターネット電話プログラム（Skype）にウェブカメラなどの設備が組み合わされ、使用者はネットワークを通じてリアルタイム且つインタラクティブにテキストファイルの相互伝送、音声会話または映像伝送などを行うことができる。
【０００４】
上述の従来技術における欠点は、インスタントメッセージプログラムでは使用者はマルチメディアファイルを相互伝送できるが、ファイルを完全にダウンロードした後でないと再生できない点にある。また、インスタントメッセージプログラムでは使用者はウェブカメラを通じてリアルタイムに映像伝送を行うことができるが、そのマルチメディア映像の処理機能は非常に劣り、映像データのキャプチャリングおよび伝送過程において、映像音声効果を加えたり、仮想映像を生成したり、動画による仮想現実を創造したり、映像のインタラクティブ効果を達成させたりするなどの映像データの再処理を行うことはできない。また、ウェブカメラを取り外した後、コンピュータディスプレイには映像が表示されず、同様に、ネットワークを通じて映像の伝送を行うことはできない。また、ウェブカメラには特定部位（例えば顔部）の認識機能およびリアルタイム追跡機能を備えず、映像をキャプチャリングするとき、リアルタイムなキャプチャリングおよび追跡によって使用者が選択した仮想テーマと合成し、動画による映像音声効果または仮想現実などによって通信の相互作用性および娯楽性を高めることができない。
【０００５】
従来技術の欠点を解決して使用者の撮影システムに対する需要を満足させるために、本発明の発明者は長年に渡る経験および研究によって本発明の仮想撮影システムおよびそのリアルタイム通信方法を案出した。
【特許文献１】特開２００４−８８６２１号公報
【特許文献２】特開２００３−１９８５６５号公報
【特許文献３】特開平０８−１０２９２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述の目的を解決するために、本発明は映像音声効果の作成技術とリアルタイム情報通信ソフトウェアとを組み合わせ、リアルタイム情報ネットワークへの伝送に応用することによって使用者の仮想撮影システムに対する欲求を満足させ、従来技術における欠点を解決してリアルタイム通信ソフトウェアが再生中のマルチメディア映像を伝送できるだけでなく、ウェブカメラを組み合わせたとき、映像特殊効果の処理機能、特定部位の認識機能およびリアルタイム追跡機能を備え、リアルタイム通信の娯楽性を高めることができる仮想撮影システムおよびそのリアルタイム通信方法を提供することにある。
【課題を解決するための手段】
【０００７】
上述の課題を解決するために、本発明の仮想撮影システムは、少なくともマルチメディア撮影ユニット、仮想撮影ユニット、リアルタイム通信ユニットおよび表示ユニットを備える。マルチメディア映像ユニットは映像データを出力する。また、撮影ユニットはマルチメディア映像ユニットにカップリングされ、映像データの受信および処理を行い、処理済映像データを出力する。また、リアルタイム通信ユニットは仮想撮影ユニットにカップリングされ、処理済映像データの受信を行い、リアルタイム情報ネットワークを通じて遠端の電子装置に伝送する。最後に表示ユニットに設けられたディスプレイに処理済映像データを表示する。
【０００８】
上述の課題を解決するために、本発明のリアルタイム通信方法は下記の方法を含む。
（ａ）マルチメディア映像ユニットによって映像データを出力するステップ。
（ｂ）マルチメディア映像ユニットにカップリングされた仮想撮影ユニットを通じて映像データを受信して処理を行い、処理済映像データを出力するステップ。
（ｃ）仮想撮影ユニットにカップリングされたリアルタイム通信ユニットによって処理済映像データを受信し、リアルタイム情報ネットワークを通じて遠端の電子装置に伝送するステップ。
（ｄ）表示ユニットを使用して設けられたディスプレイに処理済映像データを表示するステップ。
【発明の効果】
【０００９】
本発明の仮想撮影システムおよびそのリアルタイム通信方法は、映像音声効果の作成技術とリアルタイム情報通信ソフトウェアとを組み合わせ、リアルタイム情報ネットワークへの伝送に応用することによって使用者の仮想撮影システムに対する欲求を満足させるものであり、従来技術における欠点を解決してリアルタイム通信ソフトウェアが再生中のマルチメディア映像を伝送できるだけでなく、ウェブカメラを組み合わせたとき、映像効果処理機能、特定部位の認識機能およびリアルタイム追跡機能を備え、リアルタイム通信の娯楽性を高めることができる。
【発明を実施するための最良の形態】
【００１０】
本発明の特徴および長所を明らかにするために、本発明の仮想撮影システムおよびそのリアルタイム通信方法の実施例を図に沿って説明を行う。同一の部材は同一の符号にて説明を行う。
【００１１】
図１は、本発明の実施例の仮想撮影システムを示すブロック図である。図中、仮想撮影システムは少なくとも、マルチメディア映像ユニット１１、仮想撮影ユニット１２、リアルタイム通信ユニット１３および表示ユニット１４を備える。
前記マルチメディア映像ユニット１１は、一般にマルチメディア再生プログラムまたは映像音声効果の製作プログラムであり、映像データ１１１の出力に使用される。マルチメディア映像ユニット１１がマルチメディア再生プログラムであるとき、このマルチメディア再生プログラムはマルチメディアファイルを再生して映像データ１１１の生成および出力を行う。マルチメディア映像ユニット１１が映像音声効果の製作プログラムのとき、この映像音声効果の製作プログラムにはウェブカメラがカップリングされてウェブカメラに対面する映像をリアルタイムに受信し、映像音声効果スクリプトおよびメディアコンテンツに基づいてウェブカメラからのリアルタイム映像を処理して映像データ１１１を生成する。
また、映像音声効果の製作プログラムは一般にリアルタイム映像の特定部位の認識またはリアルタイムな変動追跡を行い、映像音声効果スクリプトとメディアコンテンツとリアルタイム映像とを合成して映像データ１１１を生成する。通常、上述の映像音声効果スクリプトは一般にスクリプト言語の特殊命令集から選択され、映像音声効果の動作、相互作用効果または仮想映像の生成に使用され、メディアコンテンツはマルチメディア映像音楽データである。
【００１２】
前記仮想撮影ユニット１２は、一般に仮想カメラ駆動プログラムであり、この仮想撮影ユニット１２はマルチメディア映像ユニット１１にカップリングされて映像データ１１１を受信して処理を行い、処理済映像データ１４１１を出力する。
また、前記リアルタイム通信ユニット１３はここではインスタントメッセージプログラム（ＭＳＮまたはYahooメッセンジャ）またはインターネット電話プログラム（Skype）であり、このリアルタイム通信ユニット１３は仮想撮影ユニット１２にカップリングされて処理済映像データ１４１１を受信し、リアルタイム情報ネットワーク１５を通じて遠端の電子装置１６に伝送する。この前に、リアルタイム通信ユニット１３は使用者認識データをリアルタイム情報プラットフォームへと送信して登録を完成させ、その後、リアルタイム情報ネットワーク１５を通じて処理済映像データ１４１１をリアルタイム情報プラットフォームにログインした遠端の離れた電子装置１６へと伝送する。表示ユニット１４は一般に液晶ディスプレイ、プラズマディスプレイまたはＣＲＴディスプレイであり、この表示ユニット１４にはディスプレイ１４１が設けられて処理済映像データ１４１１が表示される。
【００１３】
図２は、本発明の実施例の仮想撮影システムの好適な実施例を示すブロック図である。図中、先ず使用者は仮想カメラ駆動プログラムを実行してWindows（登録商標）オペレーションシステム内に第１の仮想カメラオブジェクト２２を一つ登録し、第１のマルチメディア映像ユニット２１のアプリケーションプログラムが出力する映像音声効果映像を第１の仮想カメラオブジェクト２２内に書き込む。次に第１のリアルタイム通信ユニット２３（例えばＭＳＮ）の通信ソフトウェアによって第１の仮想カメラオブジェクト２２からデータを読み取り、リアルタイム情報ネットワーク２７を通じて遠端の電子装置に伝送する。このとき受信側の遠端の電子装置にはマルチメディア映像ユニットのアプリケーションソフトをインストールしなくても相手側の映像音声効果を表示することができる。即ち、第２のマルチメディア映像ユニット２４、第２の仮想カメラオブジェクト２５および第２のリアルタイム通信ユニット２６は上述と同一の動作を行うことができ、双方でリアルタイムな映像音楽の動態の相互作用が行われる。
【００１４】
ＭＳＮ等のアプリケーションソフトはビデオチャットに関連するアプリケーションプログラミングインターフェイスを開放しておらず、本発明の差込部材を直接組み合わせるのは都合が悪い。しかし、仮想撮影ユニットの技術を採用した後、使用者はビデオ周波数調整部分を本発明の仮想撮影ユニットに選びさえすれば、ビデオ通信を行うとき、自分側で表示される映像および相手側が見る動態映像は仮想撮影ユニットからの映像である。また、使用者がマルチメディア再生プログラムを使用して第１の仮想カメラオブジェクト２２（または第２の仮想カメラオブジェクト２５）とカップリングした場合、マルチメディア再生プログラムが再生するマルチメディアファイルの映像は全て第１のリアルタイム通信ユニット２３（または第２のリアルタイム通信ユニット２６）を通じて遠端の電子装置に伝送することができ、相手はマルチメディアファイルのダウンロードが完了するまで待つ必要がなく、再生中の映像を同時に見ることができる。
【００１５】
図３は、本発明の実施例の仮想撮影システムにおける仮想撮影ユニットに関するブロック図である。図中、仮想撮影ユニット３２はマルチメディア映像ユニット３１のアプリケーションソフトが処理した映像音声効果の受信を担当し、リアルタイム通信ユニット３３（例えばＭＳＮ）のアプリケーションソフトの需要に基づき、受信したデータを標準の仮想撮影ユニット３２の仮想カメラ駆動プログラム出力フォーマットに変換し、リアルタイム通信ユニット３３に読み取られて使用される。また、仮想撮影ユニット３２の内部は機能に応じて、入力インターフェイス３２１部分、中間処理部分および出力インターフェイス３２４部分に分けられる。ここでの入力インターフェイス３２１部分はデータの一バッファ区域への書き込みを担当する。中間処理部分は映像処理３２２およびバッファメカニズム３２３を含み、主にデータの画像フォーマットへの変換および解析度調整などの作業を担当し、データを２フレーム画像の大きさのループバッファエリアに保存する。また、出力インターフェイス３２４部分はデータのループバッファエリアからの読み取りを担当する。
【００１６】
図４は、本発明の実施例のリアルタイム通信方法を示すフローチャート図である。図中、この方法は図１に示す仮想撮影システムのブロック図に対応し、少なくとも下記のステップを順次実行する工程を含む。
【００１７】
ステップ４１(S41)：マルチメディアユニット１１によって映像データ１１１を出力する。このマルチメディア映像ユニット１１は一般にマルチメディア再生プログラムまたは映像音声効果の製作プログラムであり、主に映像データ１１１の出力に使用される。
マルチメディア映像ユニット１１がマルチメディア再生プログラムであるとき、このマルチメディア再生プログラムはマルチメディアファイルを再生して映像データ１１１の生成および出力を行う。マルチメディア映像ユニット１１が映像音声効果の製作プログラムのとき、この映像音声効果の製作プログラムにはウェブカメラがカップリングされてウェブカメラに対面する映像をリアルタイムに受信し、映像音声効果スクリプトおよびメディアコンテンツに基づいてウェブカメラからのリアルタイム映像を処理して映像データ１１１を生成する。また、映像音声効果の製作プログラムは一般にリアルタイム映像の特定部位の認識またはリアルタイムな変動追跡を行い、映像音声効果スクリプトとメディアコンテンツとリアルタイム映像とを合成して映像データ１１１を生成する。通常、上述の映像音声効果スクリプトはスクリプト言語の特殊命令集から選択され、映像音声効果の動作、インタラクション効果または仮想映像の生成に使用され、メディアコンテンツはマルチメディア映像音楽データである。
【００１８】
ステップ４２(S42)：マルチメディア映像ユニット１１にカップリングされた仮想撮影ユニット１２（即ち仮想カメラ駆動プログラム）を通じて映像データ１１１を受信して処理を行い、処理済映像データ１４１１を出力する。
【００１９】
ステップ４３(S43)：仮想撮影ユニット１２にカップリングされた例えばインスタントメッセージプログラム（ＭＳＮまたはYahooメッセンジャ）またはインターネット電話プログラム（Skype）などのリアルタイム通信ユニット１３を通じて処理済映像データ１４１１を受信し、リアルタイム情報ネットワーク１５を通じて離れた遠端の電子装置１６に伝送する。この前に、図１に示すように、リアルタイム通信ユニット１３は使用者認識情報をリアルタイム情報プラットフォームへと送り、登録を完成させ、その後、リアルタイム情報ネットワーク１５を通じて処理済映像データ１４１１をリアルタイム情報プラットフォームにログインした遠端の電子装置１６へと伝送する。
【００２０】
ステップ４４(S44)：表示ユニット１４（例えば液晶ディスプレイ、プラズマディスプレイまたはＣＲＴディスプレイ）を使用し、提供されたディスプレイ１４１に処理済映像データ１４１１を表示する。
【００２１】
したがって、映像音声効果の動態映像技術とリアルタイム情報通信ソフトウェアとを組み合わせ、リアルタイム情報ネットワークへの伝送に応用することによって使用者の仮想撮影システムに対する欲求を満足させ、リアルタイム通信ソフトウェアが再生中のマルチメディア映像を伝送できるだけでなく、ウェブカメラを組み合わせたとき、映像音声効果の処理機能、特定部位の認識機能およびリアルタイム追跡機能を備え、リアルタイム通信の娯楽性を高めることができる。
なお、上述の詳細な説明は実施例を挙げたものであり、本発明を制限するものではない。本発明の主旨を逸脱しない範囲における同等効果の修飾または変更はすべて本発明に含まれる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施例の仮想撮影システムを示すブロック図である。
【図２】本発明の実施例の仮想撮影システムの好適な実施例を示すブロック図である。
【図３】本発明の実施例の仮想撮影システムにおける仮想撮影ユニットに関するブロック図である。
【図４】本発明の実施例のリアルタイム通信方法を示すフローチャートである。
【符号の説明】
【００２３】
１１    マルチメディア映像ユニット
１１１  映像データ
１２    仮想撮影ユニット
１３    リアルタイム通信ユニット
１４    表示ユニット
１４１  ディスプレイ
１４１１処理済映像データ
１５    リアルタイム情報ネットワーク
１６    遠端の電子装置
２１    第１のマルチメディア映像ユニット
２２    第１の仮想カメラオブジェクト
２３    第１のリアルタイム通信ユニット
２４    第２のマルチメディア映像ユニット
２５    第２の仮想カメラオブジェクト
２６    第２のリアルタイム通信ユニット
２７    リアルタイム情報ネットワーク
３１    マルチメディア映像ユニット
３２    仮想撮影ユニット
３２１  入力インターフェイス
３２２  映像処理
３２３  バッファメカニズム
３２４  出力インターフェイス
３３    リアルタイム通信ユニット
【図１】
2008228262.tif 000003
【図２】
2008228262.tif 000004
【図３】
2008228262.tif 000005
【図４】
2008228262.tif 000006