(57)【特許請求の範囲】
【請求項１】
シミュレーション画像付きビデオを通信するための方法であって、
送信者デバイスにより、ビデオデータを取得し、前記ビデオデータを画像認識アルゴリズムでベクトルデータに変換するステップであって、前記ベクトルデータは、基本人物データ及び複数のレベルの人物バリエーションデータを含む、ステップと、
前記送信者デバイスにより、前記ベクトルデータを受信者デバイスに送信するステップと、
前記受信者デバイスにより、カートゥーン描画モデルを呼び出すステップと、
前記受信者デバイスにより、前記基本人物データに従って前記カートゥーン描画モデルから基本人物モデルデータを読み込み、カートゥーンシミュレーション画像付きビデオの基本人物画像を取得するステップと、
前記受信者デバイスにより、前記人物バリエーションデータのレベルに従って、前記基本人物画像を変更し、動的カートゥーンシミュレーション画像付きビデオを取得するステップと、
を含む方法。
【請求項２】
前記送信者デバイスにより、オーディオデータを取得し、前記オーディオデータを前記受信者デバイスに送信するステップであって、前記受信者デバイスが、前記オーディオデータを前記動的カートゥーンシミュレーション画像付きビデオと共に同期して再生するステップと、をさらに含む請求項１に記載の方法。
【請求項３】
前記送信者デバイスにより、カートゥーンエフェクト命令をトリガーし、前記カートゥーンエフェクト命令を前記受信者デバイスに送信するステップと、
前記受信者デバイスにより、前記カートゥーンエフェクト命令に従って前記カートゥーン描画モデルから対応するカートゥーンエフェクトデータを読み込み、描画を行なって前記動的カートゥーンシミュレーション画像付きビデオのカートゥーンエフェクトを取得するステップと、をさらに含む請求項１に記載の方法。
【請求項４】
前記送信者デバイスのセンサーにより検知信号を検出し、前記送信者デバイスにより前記検知信号のデータを前記受信者デバイスに送信するステップと、
前記受信者デバイスにより、前記検知信号のデータに従って前記カートゥーン描画モデルから対応するカートゥーンエフェクトデータを読み込み、描画を行なって前記動的カートゥーンシミュレーション画像付きビデオの前記カートゥーンエフェクトを取得するステップと、をさらに含む請求項１に記載の方法。
【請求項５】
前記送信者デバイスにより、前記ベクトルデータをローカルにコピーし、前記受信者デバイスと同じカートゥーン描画モデルを呼び出し、前記ベクトルデータを、前記カートゥーン描画モデルに従って描画して、前記動的カートゥーンシミュレーション画像付きビデオを取得するステップをさらに含む請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記送信者デバイス及び前記受信者デバイスにより前記カートゥーン描画モデルを呼び出す前記方法が、
前記送信者デバイス及び前記受信者デバイスのうちの少なくとも一つに前記カートゥーン描画モデルを構成するサブステップ、
前記送信者デバイスと前記受信者デバイス間のリアルタイム通信の場合、ネゴシエートされた通信プロトコルに従って、前記カートゥーン描画モデルを前記送信者デバイス及び前記受信者デバイスの間で同期するサブステップ、及び
前記送信者デバイス及び前記受信者デバイスにより、前記カートゥーン描画モデルをローカルに呼び出すサブステップ、
若しくは、
前記送信者デバイスに前記カートゥーン描画モデルを構成するサブステップ、
前記送信者デバイスにより、前記ベクトルデータ及び前記カートゥーン描画モデルをサーバに送信して格納するサブステップ、
前記送信者デバイスにより、前記受信者デバイスに前記カートゥーン描画モデルのストレージアドレスを通知するサブステップ、
前記受信者デバイスにより、前記ベクトルデータを受信した後に、前記カートゥーン描画モデルをダウンロードするサブステップ、及び
前記送信者デバイス及び前記受信者デバイスにより、前記カートゥーン描画モデルを呼び出すサブステップ、
を含む請求項５に記載の方法。
【請求項７】
前記送信者デバイスにより、前記カートゥーン描画モデル及びビデオ描画のためのローカルハードウェア構成情報を送信するステップと、
前記受信者デバイスにより、前記ハードウェア構成情報を受信した後、前記ハードウェア構成情報に従って対応する表示エフェクトを調整するステップと、を含む請求項６に記載の方法。
【請求項８】
前記送信者デバイスによって、前記ベクトルデータを、前記ベクトルデータを前記受信者デバイスに送信する前に、符号化して圧縮するステップと、
前記受信者デバイスによって、前記送信者デバイスから送信された前記ベクトルデータを受信した後、前記ベクトルデータを圧縮解除して復号するステップと、を含む請求項１〜４のいずれか一項に記載の方法。
【請求項９】
シミュレーション画像付きビデオを通信するためのデバイスであって、送信者デバイス及び受信者デバイスを含み、
前記送信者デバイスは、
ローカルビデオデータを取得するように構成されるビデオデータ取得モジュールと、
前記ビデオデータを画像認識アルゴリズムでベクトルデータに変換するように構成される識別及び変換モジュールであって、前記ベクトルデータは、基本人物データ及び複数のレベルの人物バリエーションデータを含む、識別及び変換モジュールと、
前記ベクトルデータを受信者デバイスに送信するように構成される送信モジュールと、を含み、
前記受信者デバイスは、
前記送信者デバイスから送信された前記ベクトルデータを受信するように構成される受信モジュールと、
カートゥーン描画モデルを呼び出し、前記基本人物データに従って前記カートゥーン描画モデルから基本人物モデルデータを読み込み、カートゥーンシミュレーション画像付きビデオの基本人物画像を取得し、前記人物バリエーションデータのレベルに従って、前記基本人物画像を変更し、動的カートゥーンシミュレーション画像付きビデオを取得するように構成される相手側ビデオシミュレーションモジュールと、を含む、
デバイス。
【請求項１０】
前記送信者デバイスは、オーディオデータを取得するように構成されるオーディオデータ取得モジュールをさらに備え、
前記送信モジュールが、前記オーディオデータを前記受信者デバイスに送信するようにさらに構成され、前記受信者デバイスの前記相手側ビデオシミュレーションモジュールが、前記オーディオデータを、前記動的カートゥーンシミュレーション画像付きビデオと共に同期して再生するようにさらに構成される、請求項９に記載のデバイス。
【請求項１１】
前記送信者デバイスが、カートゥーンエフェクト命令をトリガーし、前記カートゥーンエフェクト命令を前記受信者デバイスに送信するように構成された選択済みエフェクトトリガーモジュールをさらに備え、
前記受信者デバイスの前記相手側ビデオシミュレーションモジュールが、前記カートゥーンエフェクト命令に従って前記カートゥーン描画モデルから対応するカートゥーンエフェクトデータを読み込み、描画を行なって前記動的カートゥーンシミュレーション画像付きビデオのカートゥーンエフェクトを取得するようにさらに構成される、請求項９に記載のデバイス。
【請求項１２】
前記送信者デバイスは、センサーにより検知信号を検出するように構成されるセンサー検出モジュールをさらに備え、前記送信モジュールが前記検知信号のデータを前記受信者デバイスに送信し、
前記受信者デバイスの前記相手側ビデオシミュレーションモジュールが、前記検知信号のデータに従って前記カートゥーン描画モデルから対応するカートゥーンエフェクトデータを読み込み、描画を実行して前記動的カートゥーンシミュレーション画像付きビデオで前記対応するカートゥーンエフェクトを取得するようにさらに構成される、請求項９に記載のデバイス。
【請求項１３】
前記送信者デバイスは、前記ベクトルデータをローカルにコピーするように構成されるコピーモジュールをさらに備え、
前記受信者デバイスの前記相手側ビデオシミュレーションモジュールが、前記受信者デバイスと同じカートゥーン描画モデルを呼び出し、前記カートゥーン描画モデルに従ってコピーされた前記ベクトルデータを描画し、前記動的カートゥーンシミュレーション画像付きビデオを取得するように構成される、請求項１０〜１２のいずれか一項に記載のデバイス。
【請求項１４】
前記送信者デバイスは、前記送信者デバイス及び前記受信者デバイスの間で前記カートゥーン描画モデルを同期する、又は、前記カートゥーン描画モデル及びビデオ描画のためのハードウェア構成情報を前記送信者デバイス及び前記受信者デバイスの間で同期するように構成されるモデル同期モジュールをさらに備える、請求項１３に記載のデバイス。
【請求項１５】
前記送信モジュールが、前記ベクトルデータを、前記ベクトルデータを送信する前に、符号化して圧縮するように構成される符号化モジュールをさらに備え、
前記受信モジュールが、前記ベクトルデータを、前記ベクトルデータを処理のために前記受信者デバイスの前記相手側ビデオシミュレーションモジュールに送信する前に、復号及び圧縮解除するように構成される復号モジュールをさらに備える、請求項１０〜１２のいずれか一項に記載のデバイス。
【請求項１６】
コンピュータ可読媒体であって、命令セットが前記コンピュータ可読媒体に格納され、前記命令セットがコンピュータにより実行されるときに前記コンピュータが請求項１〜８のいずれか一項に記載の方法を実行する、コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]本開示は、ネットワーク通信技術の分野に関し、特に、シミュレーション画像付きビデオを通信するための方法及びデバイスに関する。
【背景技術】
【０００２】
[0002]インターネット技術の発展に伴って、インターネットを基にした多種多様な通信ツールが開発されている。テキストベースの簡単なインスタントメッセンジャーのようなそれらの通信ツール、音声通信ツール、及びビデオ通信ツールも、我々の日常生活及び仕事に幅広く適用されてきた。
【０００３】
[0003]実際に、ビデオ通信ツールは、Ｗｅｂページ又はクライアント技術を採用して、カメラのようなビデオキャプチャツールによりチャット通信の視覚化を実現する。通信の二者は、データ処理デバイス（たとえば、コンピュータ、スマートフォンなど）に取り付けられたカメラによって各自のビデオ画像を記録し、それらのビデオ画像をチャットツールによってリアルタイム又は非リアルタイムで相互に伝送する。このようにして、非常に活気にあふれたチャットの視覚化が実現されうる。したがって、ますます多くのインターネットユーザが、ビデオチャットツールを好むようになっている。
【０００４】
[0004]図１は、既存のビデオチャット技術においてビデオデータを処理及び伝送するための標準的な方法を示す概略図である。図１に示されるように、送信者及び受信者は、通信の二者のデータ処理デバイスにインストールされているビデオチャットツールを示す。ビデオ通信ツールは、カメラのようなローカルビデオキャプチャツールに接続される必要がある。送信者のビデオチャット通信ツールは、ローカルカメラによって記録されたビデオデータを取得し、ビデオデータを圧縮して符号化し、データをビデオビットマップデータに変換して、ネットワークを介してビットマップデータを受信者に伝送することができる。ビットマップはまた、ラスタ画像又はグラフィックス画像とも称され、ピクセル（画像要素）と呼ばれる点を含む。それらの点は、パターンを形成するようにさまざまな方法で配列され彩色されてもよい。ビデオビットマップデータを受信した後、受信者のビデオチャットツールは、ビデオビットマップデータを復号して圧縮解除し、処理されたデータをローカル表示インターフェイスで表示し、そうしてビデオデータ伝送が実現される。図１は、一方向にビデオ画像を伝送するプロセスのみを示すものであり、逆方向のプロセスは同じである。このようにして、二者間のビデオの対話は、ビデオチャットツールによって実現されてもよい。
【０００５】
[0005]ビデオチャット技術は、ユーザのプライバシー及び画像の漏洩、又はユーザのビデオチャットプロファイルピクチャの盗用、及びハッカーによるユーザへの脅迫メールのような、何らかのセキュリティ上のリスクを伴う。ビデオチャットのリスクを低減して、ビデオチャットを活気あるものに保つために、ビデオチャットにおいてカートゥーン画像付きビデオの人物画像をシミュレートするためのビデオシミュレーション画像通信技術が提示される。図２は、ビデオチャットにおいてカートゥーン画像として人物画像をシミュレートする既存の概略図である。図２に示される技術は、図１に示されるような従来のビデオ通信技術の改良から派生したものであり、カメラによって記録されたビデオデータを送信者のビデオチャット通信ツールにより取得することと、ビデオデータをフィルタリングし、ビデオの記録された人物画像をシミュレートして描画して、ビデオの対応するカートゥーンシミュレーション画像、すなわちシミュレートされたカートゥーン画像付きビデオを得ることと、カートゥーン画像付きビデオデータを圧縮して符号化し、ビデオビットマップデータを生成することと、ビットマップデータを受信者に伝送することとを含む。カートゥーン画像付きビデオデータを受信した後、受信者のビデオチャットツールは、それに対応してカートゥーン画像付きビデオデータを復号して圧縮解除し、最終的に処理済みのビデオデータはローカル表示インターフェイスで表示されてもよい。
【０００６】
[0006]図２に示される既存の技術には一部欠点がある。
【０００７】
[0007]既存の技術は、図１に示されている、描画されたビデオデータが符号化されて従来のビデオ圧縮技術により通信の相手側に伝送される、従来のビデオチャット技術の簡単な改良に過ぎない。この符号化方式の目的は、リアルビデオデータであって、ネットワークで伝送されるデータはビデオビットマップデータであり、そのデータサイズは大きい。したがって、データを伝送することにより占有されるネットワークトラフィックは膨大なものになりうるので、限られたネットワーク帯域幅リソースでビデオ再生は円滑に行なわれない可能性もある。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
[0008]以上のことを考慮して、本開示の主要な目的は、ネットワーク内で伝送されるデータボリュームを低減して帯域幅コストを節約するために、ビデオのシミュレーション画像を通信するための方法及びデバイスを提供することである。
【課題を解決するための手段】
【０００９】
[0009]本開示の解決策は、以下の方法及びデバイスによって実施される。
【００１０】
[0010]シミュレーション画像付きビデオを通信するための方法は、
送信者により、ビデオデータを取得し、取得したビデオデータを画像認識アルゴリズムでベクトルデータに変換して、ベクトルデータを受信者に送信するステップと、
受信者により、カートゥーン描画モデルを呼び出し、受信したベクトルデータを、カートゥーン描画モデルに従って対応するカートゥーンシミュレーション画像付きビデオに描画するステップとを含む。
【００１１】
[0011]シミュレーション画像付きビデオを通信するためのデバイスは、
ローカルビデオデータを取得するように構成されるビデオデータ取得モジュールと、
取得したビデオデータを画像認識アルゴリズムでベクトルデータに変換するように構成される識別及び変換モジュールと、
ベクトルデータを受信者に送信するように構成される送信モジュールと、
送信者から送信されたデータを受信するように構成される受信モジュールと、
カートゥーン描画モデルを呼び出して、受信したベクトルデータを、カートゥーン描画モデルに従って対応するカートゥーンシミュレーション画像付きビデオに描画するように構成される相手側ビデオシミュレーションモジュールとを含む。
【００１２】
[0012]命令セットを格納するように構成されるコンピュータ可読媒体であって、コンピュータは、命令セットが実行されるとき、シミュレーション画像付きビデオを通信するための方法を実行することができる。
【００１３】
[0013]既存の技術と比較すると、本開示において、送信者は、ビデオデータを取得し、取得したビデオデータを画像認識アルゴリズムでベクトルデータに変換して、ベクトルデータを受信者に送信することができる。受信者は、ベクトルデータを描画することができる。描画されたカートゥーンシミュレーション画像の基本データは、すべてカートゥーン描画モデルで設定されているので、受信者は、カートゥーン描画モデルを読み込んで、受信したベクトルデータを対応するカートゥーン画像で描画することができる。本開示において、ビットマップではなく、小さいデータサイズのベクトルデータがネットワーク内で伝送されるので、ネットワーク内で伝送されるデータボリュームが低減され、帯域幅リソースが節約されうる。
【図面の簡単な説明】
【００１４】
【図１】既存のビデオチャット技術においてビデオデータを処理及び伝送するための標準的な方法を示す概略図である。
【図２】ビデオチャットにおいてカートゥーン画像として人物画像をシミュレートするための既存の方法を示す概略図である。
【図３】本開示によるシミュレーション画像付きビデオを通信するための方法を示す流れ図である。
【図４】本開示によるシミュレーション画像付きビデオを通信するためのデバイスを示す構造図である。
【図５】本開示による方法のもう１つの実施態様を示す流れ図である。
【図６】本開示による方法のさらにもう１つの実施態様を示す流れ図である。
【図７】本開示によるシミュレーション画像付きビデオを通信するためのデバイスのもう１つの実施形態を示す構造図である。
【発明を実施するための形態】
【００１５】
[0021]本開示は、図面及び実施形態と併せて後段のようにさらに指定されてもよい。
【００１６】
[0022]図３は、本開示によるシミュレーション画像付きビデオを通信するための方法の流れ図であり、一方向の本開示によるシミュレーション画像付きビデオの通信のプロセスを示す。つまり、図３は、Ａを送信者、Ｂを受信者として、二者の間のビデオ通信においてユーザＡの画像をユーザＢに伝送するプロセスを示す。Ｂを送信者、Ａを受信者として、ユーザＢの画像をユーザＡに伝送するプロセスは、同じ方法で実施されてもよい。加えて、技術的解決策は、複数のユーザ間のビデオ通信にさらに適用されてもよく、特定の通信者が送信者と見なされてもよく、その他の通信者が受信者と見なされてもよい。関連するプロセスは、以下のように指定されてもよい。
【００１７】
[0023]図３に示されるように、本開示による方法は、送信者により、ビデオデータを取得し、取得したビデオデータを画像認識アルゴリズムでベクトルデータに変換して、ベクトルデータを受信者に送信するステップと、受信者により、カートゥーン描画モデルを呼び出し、受信したベクトルデータを、カートゥーン描画モデルによって対応するカートゥーンシミュレーション画像（本明細書において、カートゥーン画像と略される）付きビデオに描画するステップとを含む。
【００１８】
[0024]これに対して、本開示により、シミュレーション画像付きビデオを通信するためのデバイスが提供され、デバイスは本開示によって提供される方法を実施するように構成される。図４は、本開示によるシミュレーション画像付きビデオを通信するためのデバイスを示す構造図である。図４に示されるように、デバイスは、ユーザ端末にインストールされたビデオ通信ツールであり、通信の二者は、ビデオ通信ツールによって本開示による方法を実施して、本開示によって提供されるカートゥーンシミュレーション画像によるビデオ通信を実現することができる。デバイスは、ビデオデータ取得モジュール４０１と、識別及び変換モジュール４０２と、送信モジュール４０３と、受信モジュール４０４と、相手側ビデオシミュレーションモジュール４０５とを含む。
【００１９】
[0025]ビデオデータ取得モジュール４０１は、ローカルビデオデータを取得するように構成される。
【００２０】
[0026]識別及び変換モジュール４０２は、取得したビデオデータを画像認識アルゴリズムでベクトルデータに変換するように構成される。
【００２１】
[0027]送信モジュール４０３は、ベクトルデータを受信者に送信するように構成される。
【００２２】
[0028]受信モジュール４０４は、送信者から送信されたデータを受信するように構成される。
【００２３】
[0029]相手側ビデオシミュレーションモジュール４０５は、カートゥーン描画モジュールを呼び出して、受信したベクトルデータを、カートゥーン描画モデルによって対応するカートゥーンシミュレーション画像付きビデオに描画し、カートゥーンシミュレーション画像付き描画ビデオを出力及び表示するように構成される。
【００２４】
[0030]この明細書において、明示的な記述がない限り、送信者とは、送信者のビデオシミュレーション画像通信デバイスを示すことができ、受信者とは、受信者のビデオシミュレーション画像通信デバイスを示すことができる。
【００２５】
[0031]本開示による方法において、カートゥーン描画モデルデータは事前設定される必要があり、受信者によってカートゥーン画像を取得するためにビデオデータを描画する基本データは、すべてカートゥーン描画モデルデータで設定することができる。カートゥーン描画モデルデータは、基本人物モデルデータを含むことができ、カートゥーンエフェクトデータなどをさらに含むことができる。基本人物モデルデータは、カートゥーン人物画像の顔、髪型、及び五感器官のモデルデータ、服装のモデルデータ、メガネのようなアクセサリーのモデルデータなどを含む。各基本人物モデルデータは、呼び出し識別子情報を有する。モデルデータの呼び出し識別子が選択されると、モデルデータに従って対応する画像を取得するために描画が行なわれる。顔（顔識別子）、五感器官の特徴（五感器官の識別子）、髪型（髪型識別子）、服装（服装識別子）、メガネをかけているかどうか及びメガネの型（メガネ識別子）のような、選択された呼び出し識別子情報は、画像認識アルゴリズムで送信者によって識別され取得されてもよい。カートゥーンエフェクトデータは、カートゥーン人物画像のエフェクトをさらに高めて豊かにするための代替であってもよい。カートゥーンエフェクトデータは、喜び、恥ずかしさ、発汗などのカートゥーンエフェクトデータのような、表現及び動作のカートゥーンエフェクトデータを含むことができるか、又は事前定義されているアニメーションなどであってもよい。各カートゥーンエフェクトは、送信者から送信される対応する呼び出し命令データを有する。
【００２６】
[0032]カートゥーン描画モデルデータは、受信者においてローカルに事前格納されてもよいか、又は特定のサーバにおいて事前格納されてもよく、受信者はそのストレージアドレスを通知されてもよい。ベクトルデータを受信した後、受信者は、特定のサーバからカートゥーン描画モデルデータをダウンロードすることができる。
【００２７】
[0033]図３に示されるように、送信者は、送信者端末の、カメラのようなビデオキャプチャデバイスと通信して、カメラによって記録されたビデオデータを取得することができる。ビデオチャットにおいて、送信者によって記録されたビデオデータは概して、送信者のユーザによる人物画像ビデオであり、ユーザの風貌（髪型、顔、服装などを含む）、表情、頭及び身体の動きを含むことができる。次いで、取得したビデオデータは、ベクトルデータを取得するために画像認識アルゴリズムで処理されてもよい。画像認識アルゴリズムは、既存の技術を採用することができ、１）中間調レベル正規化のような、画像前処理、２）顔検出及び位置決め、３）人物特徴抽出、並びに４）顔認識を含むことができる。画像データのベクトルデータは、画像認識アルゴリズムでビデオデータを処理することによって得られてもよい。ベクトルデータのデータサイズは、ビットマップデータのサイズよりもはるかに小さいので、帯域幅コストが低減されうる。
【００２８】
[0034]ベクトルデータは、基本人物データ及び人物バリエーションデータを含む。基本人物データは、カートゥーン描画モデルから、顔（顔識別子）、五感器官の特徴（五感器官の識別子）、髪型（髪型識別子）、服装（服装識別子）、メガネをかけているかどうか及びメガネの型（メガネ識別子）のような基本人物モデルを選択するように構成される。基本人物データは、カートゥーン描画モデルにおける基本人物モデルの呼び出し識別子である。受信者は、それらの基本人物データの呼び出し識別子に従ってカートゥーン描画モデルの対応する基本人物モデルデータを読み込み、それにより描画を行なってビデオのカートゥーンシミュレーション画像の基本人物画像を取得することができる。描画処理は、既存のアニメーション描画技術を採用することができ、１）モデルデータを読み込みロードすること、２）基本人物データ及びロードしたモデルデータに従って、描画モデル式から描画されるべきオブジェクトの人物情報を計算すること、３）カートゥーン画像を描くことを含むことができる。
【００２９】
[0035]人物バリエーションデータは、（たとえば、レベル１〜３で指示される）目の開閉の範囲、（たとえば、レベル１〜１０で指示される）口の開閉の範囲、（たとえば、レベル１０〜１０で指示される）頭の振りの範囲のような、現在のビデオの人物の動的な変化情報を指示するように構成される。受信者は、人物バリエーションデータに従って、描画された基本人物画像を変更することによって、ビデオの動的なカートゥーンシミュレーション画像を取得することができる。
【００３０】
[0036]既存の技術と比較すると、本開示において、ビットマップではなく、小さいデータサイズのベクトルデータがネットワーク内で伝送されるので、ネットワーク内で伝送されるデータボリュームが低減され、帯域幅コストが節約されうる。加えて、既存の技術解決策に従って伝送されるビットマップデータは、不変のビデオ品質（たとえば、画像解像度）を有する。送信者が、低品質のビデオを取得するように描画を実行すると、たとえ受信者のハードウェアの操作能力が強力であったとしても、表示されるビデオ品質は低いものになりうる。しかし、受信者に伝送されるデータは本開示においてベクトルデータであるので、受信者のハードウェアの操作能力が強力である場合、受信者は、より高い画像解像度及びより真に迫ったアニメーションのディテールのような、送信者よりも優れたビデオエフェクトを備えるビデオを取得するように描画を実行することができる。
【００３１】
[0037]図５は、本開示による方法のもう１つの実施態様を示す流れ図である。図５に示されるように、本実施形態において、送信者のビデオシミュレーション画像通信デバイスは、マイクロフォンのようなオーディオキャプチャデバイスとさらに接続されて、オーディオデータをキャプチャし、データを受信者に送信することができる。受信者は、受信したオーディオデータを、描画したカートゥーン画像と共に同期して再生することができる。オーディオデータは、独立した通信チャネル又はベクトルデータを伝送するための通信チャネルを介して伝送されてもよい。
【００３２】
[0038]これに対して、図７に示されるように、本開示の実施形態によるシミュレーション画像付きビデオを通信するためのデバイスにおいて、デバイスは、オーディオデータをキャプチャするように構成されるオーディオキャプチャモジュール４０６をさらに含むことができ、送信モジュール４０３はオーディオデータを受信者にさらに送信することができ、相手側ビデオシミュレーションモジュール４０５は、受信者から受信したオーディオデータを、描画したカートゥーン画像と共に同期して再生するようにさらに構成される。
【００３３】
[0039]図５に示される実施形態において、送信者は、ベクトルデータの一部として受信者に送信されうる特殊カートゥーンエフェクトの命令をさらに送信することができる。これらの命令は、カートゥーン描画モデルのカートゥーンエフェクトデータに対応する。特殊命令は、固有のカートゥーンエフェクトに対応する。たとえば、命令は、喜び、恥ずかしさ、発汗などのカートゥーンエフェクト命令のような、心的状態のカートゥーンエフェクト命令、又は事前定義されているアニメーションを再生する命令を含むことができる。
【００３４】
[0040]カートゥーンエフェクト命令をトリガーするには複数の方法があり、以下の２つの方法が含まれる。
【００３５】
[0041]トリガーモードＩにおいて、送信者は、たとえばインターフェイスで設定されたトリガーボタンなど、選択されたカートゥーンエフェクトのトリガーメカニズムを提供し、これは喜び、恥ずかしさ、発汗などのカートゥーンエフェクトをトリガーするように構成される。トリガーメカニズムがトリガーされると（たとえば、ボタンがクリックされると）、対応するカートゥーンエフェクト命令データが受信者に送信されてもよい。受信者は、受信した命令データに従ってカートゥーン描画モデルの対応するカートゥーンエフェクトデータを読み込み、描画を行なってカートゥーンシミュレーション画像にカートゥーンエフェクトを取得することができる。たとえば、恥ずかしさのカートゥーンエフェクト命令がトリガーされる場合、恥ずかしさのカートゥーンエフェクトが描画されてもよい。
【００３６】
[0042]トリガーモードＩＩにおいて、送信者は、センサーによって検知信号を検出する。たとえば、現在、多くの携帯電話が、携帯電話の振動、位置、及び向きのような、検知信号を検出するセンサーを備えている。送信者において、シミュレーション画像付きビデオを通信するためのデバイスは、それらのセンサーの検知信号を取得し、検知信号データをカートゥーンエフェクトの命令として受信者に送信する。カートゥーン描画モデルは、検知信号とカートゥーンエフェクトの対応する関係を格納する。受信者は、受信した検知信号データに従ってカートゥーン描画モデルから対応するカートゥーンエフェクトデータを読み込み、描画を行なってカートゥーンシミュレーション画像付きビデオで対応するカートゥーンエフェクトを取得することができる。
【００３７】
[0043]これに対して、図７に示されるように、本開示の実施形態によるシミュレーション画像付きビデオを通信するためのデバイスにおいて、デバイス４００は、選択されたカートゥーンエフェクトのトリガーメカニズムを提供するように構成される選択済みエフェクトトリガーモジュール４０７をさらに含むことができる。トリガーメカニズムがトリガーされた後、対応するカートゥーンエフェクト命令データは、送信モジュール４０３によって受信者に送信されてもよく、相手側ビデオシミュレーションモジュール４０５は、受信した命令データに従ってカートゥーン描画モデルから対応するカートゥーンエフェクトデータを読み込み、描画を行なってカートゥーンシミュレーション画像付きビデオでカートゥーンエフェクトを取得するようにさらに構成される。
【００３８】
[0044]デバイス４００は、センサーによって検知信号を検出して、検知信号データを送信モジュール４０３によって受信者に送信するように構成されるセンサー検出モジュール４０８をさらに含むことができる。相手側ビデオシミュレーションモジュール４０５は、受信した検知信号データに従ってカートゥーン描画モデルから対応するカートゥーンエフェクトデータを読み込み、カートゥーンシミュレーション画像付きビデオで対応するカートゥーンエフェクトを描画するようにさらに構成される。
【００３９】
[0045]データ伝送モードに関しては、伝送効率を高めるために、データを受信者に送信する前に、本開示において送信者は、送信されるべきデータをハフマン符号化又はＧｚｉｐデータ圧縮方式のような特定の方法でさらに符号化及び圧縮して、ネットワーク内で送信されるべきデータサイズを縮小することができる。送信者から送信されたデータを受信した後、受信者は、データをさらに圧縮解除及び復号することができる。固有の伝送プロセスにおいて、１対１の通信（２名のユーザ間のチャット）、又は一対多の通信（テレビ会議、グループゲーム）のような、さまざまな伝送モードが、さまざまな状況に適用されてもよい。さまざまな通信モードに従って、データはリアルタイム又は非リアルタイムで伝送されてもよく、データは一時的にサーバに格納されるか、又はサーバによって中継されてもよい。データは、データサイズが小さいので、高速でネットワーク内で伝送されうる。
【００４０】
[0046]これに対して、本開示の実施形態によるシミュレーション画像付きビデオを通信するためのデバイスにおいて、送信モジュールは、処理済みデータを送信する前に、送信されるべきデータを符号化及び圧縮するように構成される符号化モジュールをさらに含む。受信モジュールは、受信したデータを復号及び圧縮解除して、処理済みデータを処理のために相手側ビデオシミュレーションモジュールに送信するように構成される復号モジュールをさらに含む。
【００４１】
[0047]カートゥーンシミュレーション画像付きビデオを対話式に通信するためのプロセスにおいて、通信の二者は、各自のカートゥーン画像付きビデオを相手側が見ることを期待するだけではなく、各自の自身のカートゥーン画像付きビデオをローカルに見ることも期待することができる。この目的を達成するために、図６に示されるように、本開示の実施形態において、方法は、送信者により、受信者に送信されるべきデータをローカルにコピーし、受信者と同じカートゥーン描画モデルを呼び出し、コピーしたデータを、カートゥーン描画モデルによって対応するカートゥーンシミュレーション画像付きビデオに描画するステップをさらに含むことができる。描画するステップは、受信者と同じカートゥーン画像付きビデオにベクトルデータを描画し、トリガーメカニズムによってトリガーされた命令データ及び／又はセンサーによって検出された検知信号に従って、対応するカートゥーンエフェクトを取得するように描画を実行し、ローカルマイクロフォンによってキャプチャされたオーディオデータと共にローカルに描画されたカートゥーン画像を同期して再生するサブステップを含むことができる。
【００４２】
[0048]ローカルに送信者のユーザに表示された送信者のカートゥーン画像付きビデオが、受信者によって見られるビデオと同じエフェクトを有することを保証するため、二者は、同じカートゥーン描画モデルデータを呼び出すか、又は同じカートゥーン描画モデルデータ及びビデオを描画するための同じローカルハードウェア構成情報を呼び出す必要がある。ハードウェア構成情報は、画面解像度及びリフレッシュ頻度などであってもよい。同じカートゥーン描画モデルデータが二者によって呼び出される場合、二者は、同じカートゥーン画像エフェクトを取得するように描画を実行することができる。二者が同じハードウェア構成を有する場合、カートゥーン画像付き描画ビデオの表示エフェクトはさらに整合性のあるものとなりうる。
【００４３】
[0049]図６に示されるように、送信者及び受信者が、同じカートゥーン描画モデルデータを呼び出すか、又は同じカートゥーン描画モデルデータ及び同じローカルハードウェア構成情報を呼び出すようにするため、カートゥーン描画モデル及びハードウェア構成情報は同期される必要があり、２つの同期モードを含む。
【００４４】
[0050]第１の同期モードにおいて、通信の少なくとも一者は、カートゥーン描画モデルで構成される。二者間のリアルタイム通信において、二者は、ネゴシエートされた通信プロトコルに従って、カートゥーン描画モデルデータを同期して伝送することができる。二者は、カートゥーン描画モデルが呼び出される必要がある場合、ローカルのカートゥーン描画モデルを直接呼び出すことができる。通信プロトコルに従ってカートゥーン描画モデルデータを同期して伝送する場合、二者はさらに、ビデオ描画のローカルハードウェア構成情報を同期して伝送し、所定の方策に従ってそれらのハードウェア構成情報を同一にすることができる。
【００４５】
[0051]第２の同期モードにおいて、送信者のみが、カートゥーン描画モデルで構成される。二者間の非リアルタイム通信において、ベクトルデータを伝送する間、送信者はカートゥーン描画モデルデータを選択されたサーバに送信して格納し、受信者にストレージアドレスを通知することができる。ベクトルデータを受信した後、受信者は、ストレージアドレスからカートゥーン描画モデルデータをダウンロードすることができる。二者は、カートゥーン描画モデルが呼び出される必要がある場合、ローカルのカートゥーン描画モデルを直接呼び出すことができる。カートゥーン描画モデルデータを送信する場合、送信者はさらに、ビデオ描画のためのローカルハードウェア構成情報を受信者に送信することができる。データを受信した後、受信者は、ローカルハードウェア構成情報を、送信者のハードウェア構成情報と同一にすることができる。
【００４６】
[0052]これに対して、図７に示されるように、シミュレーション画像付きビデオを通信するためのデバイスは、コピーモジュール４０９及びローカルビデオシミュレーションモジュール４１０をさらに含むことができる。
【００４７】
[0053]コピーモジュール４０９は、受信者に送信されるべきデータをローカルにコピーするように構成される。
【００４８】
[0054]ローカルビデオシミュレーションモジュール４１０は、相手側と同じカートゥーン描画モデルを呼び出し、カートゥーン描画モデルに従って対応するカートゥーンシミュレーション画像付きビデオでコピーされたデータを描画するように構成される。
【００４９】
[0055]シミュレーション画像付きビデオを通信するためのデバイスは、通信の二者のカートゥーン描画モデルデータを同期するか、又はカートゥーン描画モデルデータ及びビデオ描画のためのハードウェア構成情報を同期するように構成されるモデル同期モジュール４１１をさらに含むことができる。特に、上記の同期モードが採用されてもよい。
【００５０】
[0056]本開示の実施形態によるシミュレーション画像付きビデオを通信するためのデバイスが提供され、デバイスは、命令を格納するように構成されるメモリと、メモリに結合するように構成されるプロセッサとを含む。プロセッサは、メモリ内に格納された命令を実行するように構成され、シミュレーション画像付きビデオを通信するための上記の方法の実施形態を実施するように構成される。加えて、本開示の実施形態により、命令セットを格納するコンピュータ可読媒体が提供される。命令セットが実行されるとき、コンピュータは、シミュレーション画像付きビデオを通信するための上記の方法の実施形態を実施することができる。
【００５１】
[0057]上記の内容は、本開示によって提供される好ましい実施形態に過ぎず、本開示を限定するものではない。本開示の原理の範囲内で行なわれる任意の変更、置換、及び改良は、本開示の保護範囲に含まれる。
【図１】
0005870469.tif 000002
【図２】
0005870469.tif 000003
【図３】
0005870469.tif 000004
【図４】
0005870469.tif 000005
【図５】
0005870469.tif 000006
【図６】
0005870469.tif 000007
【図７】
0005870469.tif 000008