(57)【要約】  本願は、仮想画像に基づくビデオ通話の方法と装置を提供することを目的とする。本願は、先行技術と比較して、第1のビデオ情報を取得し、第1のビデオ情報におけるビデオ人物像を仮想画像に置き換えることにより、仮想画像が含まれる第2のビデオ情報を特定する。このようにして、仮想画像をビデオ通話に用いることにより、コミュニケーションの楽しさを高め、コミュニケーション効果を向上し、ユーザの使用体験を豊かに改善させることができる。
2021512562.tif 000002
【特許請求の範囲】
【請求項１】
第１のユーザのビデオ人物像が含まれる第１のビデオ情報を取得するステップと、
仮想画像が含まれる第２のビデオ情報を生じるように、前記第１のビデオ情報における前記ビデオ人物像を前記仮想画像に置き換えるステップと、
前記ネットワーク装置により前記第２のビデオ情報が第２のユーザに対応した第２のユーザ装置へ送信されるように、前記第２のビデオ情報をネットワーク装置へ送信するステップと、を備える第１のユーザ装置端における仮想画像に基づくビデオ通話方法。
【請求項２】
前記第１のビデオ情報における前記ビデオ人物像を仮想画像に置き換えることは、
トリガー条件を満足したとき、前記第１のビデオ情報における前記ビデオ人物像を仮想画像に置き換えるステップ、を備える請求項１に記載したビデオ通話方法。
【請求項３】
トリガー条件は以下のように、
ローカル切り替えの指令情報が取得されたことと、
装置条件は予め設定された値に達したことと、
前記ビデオ人物像を置き換える作業量が閾値より低くなったことの少なくともいずれ一項を備える請求項１に記載したビデオ通話方法。
【請求項４】
前記ネットワーク装置は置き替え請求に基づいて前記第２のユーザ装置により送信されたビデオ情報におけるビデオ人物像を仮想画像に置き換えるように、前記置き替え請求を前記ネットワーク装置へ送信するステップと、
前記ネットワーク装置により送信された、置き替えられた後の前記第２ユーザ装置のビデオ情報を受信するステップと、をさらに備える請求項１から３のいずれか一項に記載したビデオ通話方法。
【請求項５】
第１のユーザ装置により送信された、前記第１のユーザ装置に対応した第１のユーザのビデオ人物像が含まれる、第１のビデオ情報を取得するステップと、
前記仮想画像が含まれる第２のビデオ情報を生じるように、前記第１のビデオ情報における前記ビデオ人物像を仮想画像に置き換えるステップと、
前記第２のビデオ情報を第２のユーザ装置へ送信するステップと、を備える第１のユーザ装置端における仮想画像に基づくビデオ通話方法。
【請求項６】
前記第１のユーザ装置により送信された置き換え請求を受信するステップと、
前記置き換え請求に基づいて、前記第２のユーザ装置により送信されたビデオ情報におけるビデオ人物像を仮想画像に置き換えるステップと、をさらに備える請求項５に記載したビデオ通話方法。
【請求項７】
前記第１のビデオ情報における前記ビデオ人物像を仮想画像に置き換える前に、
前記仮想画像を特定するステップ、をさらに備える請求項１から６のいずれか一項に記載したビデオ通話方法。
【請求項８】
前記仮想画像を特定することは、
前記ユーザの選択操作に基づいて、前記仮想画像を特定するステップ、を備える請求項７に記載したビデオ通話方法。
【請求項９】
前記仮想画像を特定することは、
前記ビデオ人物像における気持ち情報を検出するステップと、
前記気持ち情報に基づいて、前記仮想画像を特定するステップと、を備える請求項７に記載したビデオ通話方法。
【請求項１０】
前記第１のビデオ情報における前記ビデオ人物像を仮想画像に置き換えることは、
前記第１のビデオ情報のビデオフレームを取得するステップと、
前記ビデオフレームにおける前記ビデオ人物像を検出するステップと、
前記ビデオフレームにおける前記ビデオ人物像を前記仮想画像に置き換えるステップと、を備える請求項１から９のいずれか一項に記載したビデオ通話方法。
【請求項１１】
前記第１のビデオ情報における前記ビデオ人物像を仮想画像に置き換えることは、
前記第１のビデオ情報のビデオフレームを取得するステップと、
前記ビデオフレームにおける前記ビデオ人物像のリアルタイムの動作情報を検出するステップと、
前記ビデオフレームにおける前記ビデオ人物像を前記リアルタイムの動作情報に合わせる仮想画像に置き換えるステップと、を備える、請求項１から９のいずれか一項に記載したビデオ通話方法。
【請求項１２】
前記ビデオフレームにおける後フレームと直前フレームにおいてのリアルタイムの動作情報の差分情報を検出するステップ、をさらに備え、
そのうち、前記ビデオフレームにおける前記ビデオ人物像を前記リアルタイムの動作情報に合わせる仮想画像に置き換えることは、
前記差分情報および前記直前フレームにおいて置き替えられた仮想画像に基づいて、前記後フレームにおけるビデオ人物像の仮想画像を生じるステップ、を備える請求項１１に記載したビデオ通話方法。
【請求項１３】
請求項１から１２のいずれか一項に記載したビデオ通話方法を実現するように、プロセッサにより実行され得るコンピュータ可読命令が格納されたコンピュータ可読媒体。
【請求項１４】
単一或いは複数のプロセッサと、
実行されるとき、請求項１から４および請求項７から１２のいずれか一項に記載したビデオ通話方法の操作を前記プロセッサに実行させるコンピュータ可読命令が格納されたメモリと、を備える仮想画像に基づくビデオ通話の第１のユーザ装置。
【請求項１５】
単一或いは複数のプロセッサと、
実行されるとき、請求項５から１２のいずれか一項に記載した前記ビデオ通話方法の操作を前記プロセッサに実行させるコンピュータ可読命令が格納されたメモリ、を備える仮想画像に基づくビデオ通話のネットワーク装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は通信技術領域に関して、特に仮想画像に基づくビデオ通話の技術に関する。
【背景技術】
【０００２】
ビデオ通話は、何千マイルも離れた場所にいる人々が対面のリアルタイムのコミュニケーションと対話を実現するのに役立つ。 従来技術では、人々はビデオにおける自身のヘッド像を静止画面に置き換えるか、ビデオペンダントをビデオヘッド像に追加する。この方式は、ユーザのプライバシの保護に役立たずコミュニケーションの面白さも少ない。
【発明の概要】
【課題を解決するための手段】
【０００３】
本願は、仮想画像に基づくビデオ通話の方法及び装置を提供することを目的とする。
本願の一形態によれば、第1のユーザ装置端における仮想画像に基づくビデオ通話方法が提供され、そのうち、上記方法は、
第１のユーザのビデオ人物像が含まれる前記第１のビデオ情報を取得するステップと、
仮想画像が含まれる第２のビデオ情報を生じるように、前記第１のビデオ情報における前記ビデオ人物像を前記仮想画像に置き替えるステップと、
ネットワーク装置により前記第２のビデオ情報が第１のユーザに対応した第２のユーザ装置へ送信されるように、前記第２ビデオ情報を前記ネットワーク装置に送信するステップ、を備える。
【０００４】
さらに、そのうち、前記第1のビデオ情報における前記ビデオ人物像を仮想画像に置き換えることは、
トリガー条件を満足したとき、前記第1のビデオ情報における前記ビデオ人物像を仮想画像に置き換えるステップ、を備える。
【０００５】
さらに、そのうち、前記トリガー条件は以下のように、
ローカル置き替えの指令情報が取得されたことと、
装置条件は予め設定された値に達したことと、
前記ビデオ人物像を置き換える作業量が閾値より低くなったことの少なくともいずれか一項を備える。
【０００６】
さらに、そのうち、前記方法は、
前記ネットワーク装置は前記置き替え請求に基づいて前記第２ユーザ装置により送信されたビデオ情報におけるビデオ人物像を仮想画像に置き換えるように、置き替え請求を前記ネットワーク装置へ送信するステップと、
前記ネットワーク装置により送信された、置き替えられた後の前記第２のユーザ装置のビデオ情報を受信するステップ、をさらに備える。
【０００７】
さらに、そのうち、前記第1のビデオ情報における前記ビデオ人物像を仮想画像に置き換える前に、前記方法は、
前記仮想画像を特定するステップ、をさらに備える。
【０００８】
さらに、そのうち、前記仮想画像を特定することは、
前記ユーザの選択操作に基づいて、前記仮想画像を特定するステップ、を備える。
【０００９】
さらに、そのうち、前記仮想画像を特定することは、
前記ビデオ人物像における気持ち情報を検出するステップと、
前記気持ち情報に基づいて、前記仮想画像を特定するステップと、を備える。
【００１０】
さらに、そのうち、前記第1のビデオ情報における前記ビデオ人物像を仮想画像に置き換えることは、
前記第1のビデオ情報のビデオフレームを取得するステップと、
前記ビデオフレームにおける前記ビデオ人物像を検出するステップと、
前記ビデオフレームにおける前記ビデオ人物像を前記仮想画像に置き換えるステップ、を備える。
【００１１】
さらに、リアルタイムの動作情報をする。
さらに、そのうち、前記第1のビデオ情報における前記ビデオ人物像を仮想画像に置き換えることは、
前記第1のビデオ情報のビデオフレームを取得するステップと、
前記ビデオフレームにおける前記ビデオ人物像のリアルタイムの動作情報を検出するステップと、
前記ビデオフレームにおける前記ビデオ人物像を前記リアルタイムの動作情報に合わせる仮想画像に置き換えるステップ、を備える。
【００１２】
さらに、そのうち、前記方法は、
前記ビデオフレームにおける後フレームと直前フレームにおいてのリアルタイムの動作情報の差分情報を検出するステップ、を備える。
【００１３】
そのうち、前記ビデオフレームにおける前記ビデオ人物像を前記リアルタイムの動作情報に合わせる仮想画像に置き換えることは、
前記差分情報および前記直前フレームにおいて置き換えられた仮想画像に基づいて、前記後フレームにおけるビデオ人物像の仮想画像を生じるステップ、を備える。
【００１４】
本願のもう一つの形態によれば、ネットワーク装置端における仮想画像に基づくビデオ通話方法がさらに提供され、そのうち、前記方法は、
第1ユーザ装置により送信された、前記第1のユーザ装置に対応した第１のユーザのビデオ人物像が含まれる、第1のビデオ情報を取得するステップと、
仮想画像が含まれる第２ビデオ情報を生じるように、前記第1のビデオ情報における前記ビデオ人物像を前記仮想画像に置き換えるステップと、
前記第２ビデオ情報を第２ユーザ装置へ送信するステップと、を備える。
【００１５】
さらに、そのうち、前記方法は、
前記第１のユーザ装置により送信された置き換え請求を受信するステップと、
前記置き換え請求に基づいて、前記第２のユーザ装置により送信されたビデオ情報におけるビデオ人物像を仮想画像に置き換えるステップと、をさらに備える。
【００１６】
さらに、そのうち、前記第１のビデオ情報における前記ビデオ人物像を仮想画像に置き換える前に、前記方法は、
前記仮想画像を特定するステップ、を備える。
【００１７】
さらに、そのうち、前記仮想画像を特定することは、
前記ユーザの選択操作に基づいて、前記仮想画像を特定するステップ、を備える。
【００１８】
さらに、そのうち、前記仮想画像を特定することは、
前記ビデオ人物像における気持ち情報を検出するステップと、
前記気持ち情報に基づいて、前記仮想画像を特定するステップと、を備える。
【００１９】
さらに、そのうち、前記第１のビデオ情報における前記ビデオ人物像を仮想画像に置き換えることは、
前記第１のビデオ情報のビデオフレームを取得するステップと、
前記ビデオフレームにおける前記ビデオ人物像を検出するステップと、
前記ビデオフレームにおける前記ビデオ人物像を前記仮想画像に置き換えるステップと、を備える。
【００２０】
さらに、そのうち、
そのうち、前記第１のビデオ情報における前記ビデオ人物像を仮想画像に置き換えることは、
前記第１のビデオ情報のビデオフレームを取得するステップと、
前記ビデオフレームにおける前記ビデオ人物像のリアルタイムの動作情報を検出するステップと、
前記ビデオフレームにおける前記ビデオ人物像を前記リアルタイムの動作情報に合わせる仮想画像に置き換えるステップと、を備える。
【００２１】
さらに、そのうち、前記方法は、
前記ビデオフレームにおける後フレームと直前フレームにおいてのリアルタイムの動作情報の差分情報を検出するステップ、をさらに備え、
そのうち、前記ビデオフレームにおける前記ビデオ人物像を前記リアルタイムの動作情報に合わせる仮想画像に置き換えることは、
前記差分情報および前記直前フレームにおいて置き換えられた仮想画像に基づいて、前記後フレームにおけるビデオ人物像の仮想画像を生じるステップ、を備える。
【００２２】
本願は、先行技術と比較して、第1のビデオ情報を取得し、第1のビデオ情報におけるビデオ人物像を仮想画像に置き換えることにより、仮想画像が含まれる第2のビデオ情報を特定する。このようにして、仮想画像をビデオ通話に用いることにより、コミュニケーションの楽しさを高め、コミュニケーション効果を向上し、ユーザの使用体験を豊かに改善させることができる。
【００２３】
そして、本願では、ビデオ人物像における気持ち情報を検出し、気持ち情報に基づいて仮想画像を特定することもできる。このようにして、ユーザのためにユーザの気持ちに合わせる仮想画像を特定することができ、ユーザはビデオ通話中で、ユーザの気持ちをより良く表現し、お互いの気持ち状態を感じ、お互いの距離を縮めてコミュニケーション効果を高めることができる。
【００２４】
また、本願では、ビデオ通話相手の仮想画像を設けるように選択してもよい。ネットワーク装置はビデオ通話相手のビデオ情報を取得した後、相手のビデオ人物像をローカルユーザが望みたい仮想画像に置き換えることにより、ローカルユーザが自分の好きな仮想画像を見ることができ、ユーザの体験効果をより向上させる。
【００２５】
本発明の他の特徴、目的、利点は、以下の図面を参照して説明した非限定的な実施例の詳細を読むことでより明らかになる。
【図面の簡単な説明】
【００２６】
【図１】本願の一様態による、第1のユーザ装置端における仮想画像に基づくビデオ通話方法のためのフローチャート図を示す。
【図２】本願のもう一つの様態による、ネットワーク装置端における仮想画像に基づくビデオ通話方法のためのフローチャート図を示す。
【発明を実施するための形態】
【００２７】
図中同一または類似の図中符号は同一または類似の部品を表す。
以下、添付の図を参照し、本発明についてさらに詳しく説明する。
【００２８】
本願の典型的な配置では、端末、サービスネットワークの装置や信頼できる方は、いずれも、単一或いは複数のプロセッサ（CPU）、入力／出力インターフェース、ネットワークインターフェースおよびメモリを備える。
【００２９】
メモリは、読み取り専用メモリ（ROM）またはフラッシュメモリ（flash RAM）のような、コンピュータ可読媒体においての非永続性メモリ、ランダムアクセスメモリ（RAM）、および／または不揮発性メモリなどの形態を含むことができる。メモリはコンピュータ可読媒体の例示である。
【００３０】
コンピュータ可読媒体は、永久性と非永続性と、可動性と非移動性のメディアを含み、任意の方法または技術により情報記憶を実現することができる。情報は、コンピュータ可読指令、データ構造、プログラムのモジュールまたは他のデータであってもよい。コンピュータの記憶媒体の例は、相変化メモリ（PRAM）、静的ランダムアクセスメモリ（SRAM）、ダイナミックランダムアクセスメモリ（DRAM）、その他のタイプのランダムアクセスメモリ（RAM）、リードオンリーメモリ（ROM）、電気的消去可能プログラマブルリードオンリーメモリ（EEPROM）、フラッシュメモリまたは他のメモリ技術、リードオンリーディスクリードオンリーメモリ（CD−ROM）、デジタル多機能ディスク（DVD）または他の光学記憶装置、磁気カセットテープ、磁気ディスク記憶装置または他の磁気記憶装置または他の非伝送媒体を含むが、これらには限定されなく、算出装置によりアクセス可能な情報を記憶するために使用されてもよい。 本明細書での定義によれば、コンピュータ可読媒体は、変調されたデータ信号および搬送波のような非一時的なコンピュータ可読媒体（transitory media）を含んでいない。
【００３１】
本願により採用された技術手段および取得された効果をより詳細に説明するために、以下、図面及びより良い実施例を参照し、本願の技術的な態様について、明確かつ完全な説明を行う。
【００３２】
図１は、本願の一様態による、第1のユーザ装置端における仮想画像に基づくビデオ通話方法のための図を示す。上記方法は、
第１のユーザのビデオ人物像が含まれる前記第1のビデオ情報を取得するステップS１１と、
前記仮想画像が含まれる第２のビデオ情報を生じるように、前記第1のビデオ情報における前記ビデオ人物像を仮想画像に置き換えるステップS１２と、
前記ネットワーク装置により前記第２ビデオ情報が第２ユーザに対応した第２ユーザ装置へ送信されるように、前記第２ビデオ情報をネットワーク装置へ送信することにより、前記第1のユーザ装置と前記第２ユーザ装置とのビデオ通話を実現することができるステップS１３と、を備える。
【００３３】
本願では、ユーザ装置は、ビデオ通話を実現することができ、かつネットワーク装置と情報のインタラクティブを行うことが可能な装置を備える。例えば、ユーザ装置は、例えばスマートフォン、タブレットコンピュータなど、タッチパネルを介してユーザとインタラクティブすることが可能な任意のモバイル電子製品を含むが、これらには限定されない。前記モバイル電子製品は、例えば、アンドロイド（android）オペレーティングシステムやiOSオペレーティングシステムなど、任意のオペレーティングシステムを採用することができる。
【００３４】
前記ネットワーク装置は、コンピュータ、ネットワークホスト、単一ネットワークサーバ、複数のネットワークサーバセット、または複数のサーバから構成されるクラウドを含むが、これらには限定されない。ここで、クラウドはクラウドコンピューティング（Cloud Computing）に基づく大量のコンピュータまたはネットワークサーバから構成され、クラウドコンピューティングは分散コンピューティングの一種であり、一群の分散結合されたコンピュータセットからなる仮想スーパーコンピュータである。
【００３５】
具体的には、ステップS１１では、第1のユーザ装置は、ビデオ人物像が含まれる第1のビデオ情報を取得する。ここで、第１のビデオ情報は、第１のユーザ装置がビデオ装置により取得された第１のユーザのビデオ情報であり、例えば、第1のユーザがビデオ通話時にカメラにより取得されたビデオ情報であり、そのうち、前記ビデオ人物像はビデオ情報における人物像を含み、人の頭部または全体の撮影可能な人の部分を含んでもよい。
【００３６】
引き続き当該実施例において、前記ステップＳ１２では、前記仮想画像が含まれる第２のビデオ情報を生じるように、前記第１のビデオ情報における前記ビデオ人物像を仮想画像に置き換える。
【００３７】
ここで、前記仮想画像は、前記ビデオ人物像のいくつかのそのほかの画像、例えばスーパーマン、アイアンマンなどのようないくつかの仮想人物または仮想人物のヘッド像を含む。
【００３８】
好ましくは、そのうち、前記第１のビデオ情報における前記ビデオ人物像を仮想画像に置き換えることは、
前記第１のビデオ情報のビデオフレームを取得するステップS１２１（未図示）と、
前記ビデオフレームにおける前記ビデオ人物像を検出するステップＳ１２２（未図示）と、
前記ビデオフレームにおける前記ビデオ人物像を前記仮想画像に置き換えるステップＳ１２３（未図示）と、を備える。
【００３９】
当該実施例において、前記ステップＳ１２１では、前記第１のユーザ装置は前記第１のビデオ情報のビデオフレームを取得する。ここで、前記第１のユーザ装置は前記第１のビデオ情報のビデオフレームを取得した後、さらに前記第１のビデオ情報のビデオフレームのそれぞれ或いは一部のビデオフレームを取得する。
【００４０】
引き続き当該実施例において、前記ステップＳ１２２では、前記第１のユーザ装置は取得されたビデオフレームにおけるビデオ人物像を検出する。ここで、画像認識により前記ビデオ人物像の検出を実現することができる。
【００４１】
引き続き当該実施例において、前記ステップＳ１２３では、前記ビデオフレームにおける前記ビデオ人物像を前記仮想画像に置き換え、例えば、仮想画像をビデオフレームのビデオ人物像に上書きするように置き換えられてもよい。ここで、前記第１のユーザ装置は取得されたフレームごとにそのフレームにおけるビデオ人物像を検出した後、フレームごとのビデオ人物像を仮想画像に置き換える。ここで、前記置き換える方式により、前記仮想画像の全体は、前記ビデオ人物像を上書きしてもよいし、または前記ビデオ人物像のヘッド領域を上書きしてもよい。好ましくは、前記仮想画像はヘッド画像である場合、前記ビデオ人物像のヘッド領域を上書きし、前記仮想画像は全身画像である場合、前記ビデオ人物像を全体的に上書きしてもよい。ここで、ビデオ人物像を仮想画像に置き換える前記方法は、例のみとして例示されたが、他の既存のまたは今後出現する可能性のある、ビデオ人物像を仮想画像に置き換える方式は、本願に適用されると、本願の保護範囲内にも含まれるべきであり、ここでは、引用の方式でこれに含まれる。
【００４２】
好ましくは、そのうち、前記ステップＳ１２２は、前記ビデオ人物像におけるリアルタイムの動作情報を検出するステップをさらに備え、そのうち、前記ステップＳ１２３は、前記リアルタイムの動作情報に基づいて、前記ビデオフレームにおける前記ビデオ人物像を前記仮想画像に置き換えるステップを備える。
【００４３】
具体的には、当該実施例において、ビデオフレームにおけるビデオ人物像が検出された後、さらに、ビデオ人物像のリアルタイムの動作情報を検出してもよい。例えば、リアルタイムの動作情報は、口動作、ボディ動作などを含み、さらに、前記ステップＳ１２３では、前記動作情報に基づいて、前記ビデオフレームにおける前記フレーム人物像を前記仮想画像に置き換える。例えば、リアルタイム動作情報に口動作が含まれる場合、口の閉じた状態に応じて、前記ビデオ人物像を前記仮想画像に置き換えることができる。例えば、前記仮想画像は、予め設定された周波数で口の閉じを行ってもよいし、または、リアルタイム動作情報にボディ動作が含まれる場合、予め設定された周波数で対応したボディ動作を実行してもよく、例えば、手を振ることなどである。
【００４４】
好ましくは、そのうち、前記仮想画像は前記動作情報に合わせる。当該実施例において、前記仮想画像の口動作やボディ動作などは、ビデオ人物像の動作と一致しており、例えばビデオ人物像が口を開けようとするとき、仮想画像も口を開け、すなわちフレームごとにビデオ人物像の置き換えが行われる場合、仮想画像において対応したボディ部分は、前記ビデオ人物像と一致する必要があり、例えば、口の閉じた状態は前記ビデオ人物像の口の閉じた状態と一致する。
【００４５】
好ましくは、そのうち、前記ステップＳ１２３は、前記ビデオフレームにおける後フレームと直前フレームの間の差分情報を検出するステップと、前記差分情報および前記直前フレームにおいて置き換えられた仮想画像に基づいて、前記後フレームにおけるビデオ人物像の仮想画像を特定するステップと、前記後フレームにおけるビデオ人物像を前記仮想画像に置き換えるステップと、を備える。
【００４６】
当該実施例では、そのうち、前記差分情報は各フレームの間の差分を示すのに使用されるため、後ビデオフレームと直前ビデオフレームの差分情報により、置き換え操作が簡略化される。例えば、直前フレームにおけるビデオ人物像の口が開き始めたばかりであることが検出されたとき、その後のいくつかのフレームにおいても口が開く動作であるため、後フレームと直前フレームにおける口の開いた差分情報により、前記ビデオ人物像を仮想画像に置き換えることができる。そのうち、前記仮想画像に置き換えられるとき、前記差分情報により、後フレームの口は、対応した調整が順次に行われ、例えば、口は一定の幅で開く。
【００４７】
好ましく、そのうち、前記第１のビデオ情報における前記ビデオ人物像を仮想画像に置き換えることは、トリガー条件を満足したとき、前記第１のビデオ情報における前記ビデオ人物像を仮想画像に置き換えるステップ、を備える。
【００４８】
当該実施例において、トリガー条件を満足したとき、前記第１のユーザ装置は前記第１のビデオ情報における前記ビデオ人物を仮想画像に置き換える。好ましくは、前記トリガー条件は、以下のように、１）ローカル置き換えの指令情報が取得されたこと、２）装置条件は予め設定された値に達したこと、３）前記ビデオ人物像を置き換える作業量が閾値より低くなったことの少なくともいずれ一項を備える。
【００４９】
トリガー条件１）について、ユーザ装置端にローカルで置き換えるか否かの操作が設けられてもよく、または、ユーザにより指令情報の入力操作がされてもよい。前記第１のユーザ装置はローカル置き換えの指令情報を取得したとき、前記ビデオ人物像を仮想画像に置き換える操作は第１のユーザ装置端において行われる。
【００５０】
トリガー条件２）について、装置条件は予め設定された値に達したとき、置き換え操作も当該第１のユーザ装置端において行われ、ここで、前記装置条件は、ユーザ装置自身の残電量またはメモリ状況などを含み、装置条件を総合的に判断する。装置条件は予め設定された値に達したとき、前記第１のユーザ装置はローカルで置き換え操作を行うことができる。
【００５１】
トリガー条件３）について、前記ビデオ人物像を置き換える作業量が閾値より低くなったとき、置き換え操作も当該第１のユーザ装置端において行われ、ここで、前記作業量は前記ビデオ人物像を置き換えるためのオーバーヘッドの大きさを含み、例えば、置き換えにかかった時間など、或いはビデオの大きさにより当該作業量を考慮すればよい。当該作業量が閾値より低くなったとき、前記第１のユーザ装置は置き換える。
【００５２】
好ましくは、前記方法は、前記第１のユーザ装置は、前記ネットワーク装置が前記置き替え請求に基づいて前記第２のユーザ装置により送信されたビデオ情報におけるビデオ人物像を仮想画像に置き換えるように、前記ネットワーク装置に置き替え請求を送信するステップＳ１４（未図示）と、前記ネットワーク装置により送信された、置き替えられた後の前記第２のユーザ装置のビデオ情報を受信するステップ、をさらに備える。
【００５３】
当該実施例において、第1のユーザ装置端のユーザは、相手ユーザのビデオ人物像の置き換えも実現することができる。例えば、ローカルユーザは、ネットワーク装置が置き換え請求に基づいて第2のユーザ装置により送信されたビデオ情報におけるビデオ人物像を仮想画像に置き換えるように、第1のユーザ装置を介してネットワーク装置に置き換え請求を送信して、例えば、あるユーザは「アイアンマン」が好きであれば、相手のビデオ通話ユーザのビデオ人物像を「アイアンマン」に置き換えることができる。このようにして、ビデオ通話時に、ローカルユーザは相手ユーザの仮想画像を設定できることにより、ローカルユーザは自分の好きな仮想画像を見ることができ、ユーザの体験がより良い。
【００５４】
好ましくは、そのうち、前記第１のビデオ情報における前記ビデオ人物像を仮想画像に置き換える前に、前記方法は、前記仮想画像を特定するステップＳ１５（未図示）を備える。
【００５５】
好ましくは、そのうち、前記ステップＳ１５は、前記ユーザの選択操作に基づいて、前記仮想画像を特定するステップを備える。
【００５６】
当該実施例において、ユーザは自身が好きな仮想画像を選択することができることで、ユーザ装置はユーザの選択に基づいて仮想画像を特定して、置き換えを実現する。
【００５７】
好ましくは、そのうち、前記ステップＳ１５は、前記ビデオ人物像における気持ち情報を検出するステップと、前記気持ち情報に基づいて、前記仮想画像を特定するステップを備える。
【００５８】
当該実施例において、ユーザの気持ち情報を検出することにより、気持ち情報に合わせる仮想画像を特定してもよい。例えば、ビデオにおけるユーザがハッピーな状態にあることが検出された場合、ユーザにハッピーな表情を持つ複数の仮想画像を推薦し、そしてユーザにより最終的に仮想画像を選択し特定するか、またはユーザのためにハッピーな表情を持つ仮想画像を直接特定する。
【００５９】
ここで、ユーザの気持ち情報を検出する方式は、ビデオにおけるユーザの表情情報や音声情報などを取得することにより、例えば、ユーザが笑っている表情が検出されると、ユーザがハッピー状態にあることなどを説明することができる。ここで、ユーザの気持ち情報を検出する方式は、例のみとして例示されたが、他の既存のまたは今後出現する可能性のある、ユーザの気持ち情報を検出する方式は、本願に適用されると、本願の保護範囲内にも含まれるべきであり、ここでは、引用の方式でこれに含まれる。
【００６０】
図２は、本願のもう一つの形態による、ネットワーク装置端における仮想画像に基づくビデオ通話方法を示し、そのうち、前記方法は、
第１のユーザ装置により送信された第１のユーザ装置に対応した第１のユーザのビデオ人物像が含まれる、第１のビデオ情報を取得するステップＳ２１と、
前記仮想画像が含まれる第２のビデオ情報を生じるように、前記第１のビデオ情報における前記ビデオ人物像を仮想画像に置き換えるステップＳ２２と、
前記第１のユーザ装置と前記第２ユーザ装置とのビデオ通話を実現するように、前記第２のビデオ情報を第２のユーザ装置へ送信するステップＳ２３と、を備える。
【００６１】
当該実施例において、前記ステップＳ２１では、前記ネットワーク装置は第１のユーザ装置により送信された第１のビデオ情報を取得し、ここで、第1のユーザ装置が第2のユーザ装置とビデオ通話を行った後、第1のユーザ装置は、取得されたユーザの第1のビデオ情報をネットワーク装置へ送信する。
【００６２】
さらに、前記ステップＳ２２では、前記ネットワーク装置は、第1のビデオ情報を取得した後、前記第1のビデオ情報における前記ビデオ人物像を仮想画像に置き換え、ここで、前記仮想画像の特定に対しては、ユーザにより選択特定されてもよく、或いは前記ネットワーク装置はビデオ人物像の気持ち情報から特定してもよい。
【００６３】
好ましくは、そのうち、前記第１のビデオ情報における前記ビデオ人物像を仮想画像に置き換えることは、前記第１のビデオ情報のビデオフレームを取得するステップＳ２２１（未図示）と、前記ビデオフレームにおける前記ビデオ人物像のリアルタイムの動作情報を検出するステップＳ２２２（未図示）と、前記ビデオフレームにおける前記ビデオ人物像を前記リアルタイムの動作情報に合わせる仮想画像に置き換えるステップＳ２２３（未図示）と、を備える。
【００６４】
当該実施例において、前記リアルタイムの動作情報は口動作やボディ動作などを含むが、これには限定されない。そのうち、前記仮想画像の口動作やボディ動作などは、ビデオ人物像の動作と一致しており、例えばビデオ人物像が口を開けようとするときには、仮想画像も口を開け、すなわちフレームごとにビデオ人物像の置き換えが行われる場合、仮想画像において対応したボディ部分は、前記ビデオ人物像と一致する必要があり、例えば、口の閉じた状態は前記ビデオ人物像の口の閉じた状態と一致する。
【００６５】
好ましくは、そのうち、前記方法は、前記ビデオフレームにおける後フレームと直前フレームにおいてのリアルタイムの動作情報の差分情報を検出し、そして、前記差分情報および前記直前フレームにおいて置き換えられた仮想画像に基づいて、前記後フレームにおけるビデオ人物像の仮想画像を生じるステップ、を備える。
【００６６】
当該実施例において、差分情報により、置き換え操作が簡略化されることができる。例えば、直前フレームにおけるビデオ人物像の口が開き始めたばかりであることが検出されたとき、その後のいくつかのフレームにおいても口が開く動作であるため、後フレームと直前フレームにおける口の開いた差分情報により、前記ビデオ人物像を仮想画像に置き換えることができる。そのうち、前記仮想画像に置き換えられるとき、前記差分情報により、後フレームの口は対応した調整が順次に行われ、例えば、口は一定の幅で開く。
【００６７】
また、図1に記載した実施例において言われた他の方法手段は、本実施例においても使用可能であり、ここでは、説明を省略する。
【００６８】
引き続き当該実施例において、前記ネットワーク装置は、前記第１のユーザ装置と前記第２のユーザ装置とのビデオ通話を実現するように、前記第２のビデオ情報を第２のユーザ装置へ送信する。すなわち、前記ネットワーク装置は、第１のユーザ装置と第２のユーザ装置の仮想画像に基づくビデオ通話を実現するように、置き換えられたビデオ情報を第２のユーザ装置へ送信する。
【００６９】
本願は、先行技術と比較して、第1のビデオ情報を取得し、第1のビデオ情報におけるビデオ人物像を仮想画像に置き換えることにより、仮想画像が含まれる第2のビデオ情報を特定する。このようにして、仮想画像をビデオ通話に用いることにより、コミュニケーションの楽しさを高め、コミュニケーション効果を向上し、ユーザの使用体験を豊かに改善させることができる。
【００７０】
そして、本願では、ビデオ人物像における気持ち情報を検出し、気持ち情報に基づいて仮想画像を特定することもできる。 このようにして、ユーザのためにユーザの気持ちに合わせる仮想画像を特定することができ、ユーザはビデオ通話中でユーザの気持ちをより良く表現し、お互いの気持ち状態を感じ、お互いの距離を縮めてコミュニケーション効果を高めることができる。
【００７１】
また、本願では、ビデオ通話相手の仮想画像が設けられるのを選択してもよい。ネットワーク装置はビデオ通話相手のビデオ情報を取得した後、相手のビデオ人物像をローカルユーザが望みたい仮想画像に置き換えることにより、ローカルユーザが自分の好きな仮想画像を見ることができ、ユーザの体験効果をより向上させる。
【００７２】
また、本願の実施例は、前記方法を実現するように、プロセッサにより実行され得るコンピュータ可読命令が格納されたコンピュータ可読媒体を提供する。
【００７３】
本願実施例において、仮想画像に基づくビデオ通話の第１のユーザ装置をさらに提供し、そのうち、当該第１のユーザ装置は、
単一或いは複数のプロセッサと、
実行されるとき、前記方法の操作を前記プロセッサに実行させるコンピュータ可読命令が格納されたメモリ、を備える。
【００７４】
例えば、コンピュータ可読命令が実行されるとき、単一或いは複数のプロセッサに、前記第１のユーザのビデオ人物像が含まれる前記第１のビデオ情報を取得するステップと、前記仮想画像が含まれる第２のビデオ情報を生じるように、前記第１のビデオ情報における前記ビデオ人物像を仮想画像に置き換えるステップと、前記第２のビデオ情報をネットワーク装置へ送信するステップと、を実行させる。
【００７５】
また、本願実施例において、仮想画像に基づくビデオ通話のネットワーク装置をさらに提供し、そのうち、当該ネットワーク装置は、
単一或いは複数のプロセッサと、
実行されるとき、前記方法の操作を前記プロセッサに実行させるコンピュータ可読命令が格納されたメモリ、を備える。
【００７６】
例えば、コンピュータ可読命令が実行されるとき、単一或いは複数のプロセッサに、第1のユーザ装置により送信された、前記第1のユーザ装置に対応した第１のユーザのビデオ人物像が含まれる、第1のビデオ情報を取得するステップと、前記仮想画像が含まれる第２のビデオ情報を生じるように、前記第1のビデオ情報における前記ビデオ人物像を仮想画像に置き換えるステップと、前記第1のユーザ装置と前記第２ユーザ装置とのビデオ通話を実現するように、前記第２のビデオ情報を第２のユーザ装置に送信するステップと、を実行させる。
【００７７】
当業者にとって、本発明は上記の例示的な実施例の詳細に限定されるものではなく、本発明の精神または基本的特徴から逸脱することなく、他の具体的な形で本発明を実施することができることは明らかである。したがって、いずれの点から見ても、実施例を例示的であり、かつ非限定的であると見なし、本発明の範囲は上記の説明に限定されるものではなく、添付の特許請求の範囲により定義されるので、特許請求の均等要件の意味及び範囲内に含まれるすべての変化を本発明に含めるべきである。特許請求の範囲のいずれかの図面符号を、限定に係る請求項と見なすべきではない。 また、「備える」という言葉は他のユニットやステップを排除せず、単数は複数を排除しない。 装置特許請求の範囲に記載の複数のユニットまたは装置は、ソフトウェアまたはハードウェアを介して1つのユニットまたは装置により実現されてもよい。第１、第２などの言葉は名前を表しているが、いずれも特定の順序を表していない。
【図１】
2021512562.tif 000003
【図２】
2021512562.tif 000004
【手続補正書】
【提出日】令和2年7月21日(2020.7.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１のユーザのビデオ人物像が含まれる第１のビデオ情報を取得するステップと、
仮想画像が含まれる第２のビデオ情報を生じるように、前記第１のビデオ情報における前記ビデオ人物像を前記仮想画像に置き換えるステップと、
前記ネットワーク装置により前記第２のビデオ情報が第２のユーザに対応した第２のユーザ装置へ送信されるように、前記第２のビデオ情報をネットワーク装置へ送信するステップと、を備える第１のユーザ装置端における仮想画像に基づくビデオ通話方法。
【請求項２】
前記第１のビデオ情報における前記ビデオ人物像を仮想画像に置き換えることは、
トリガー条件を満足したとき、前記第１のビデオ情報における前記ビデオ人物像を仮想画像に置き換えるステップ、を備え、
トリガー条件は以下のように、
ローカル切り替えの指令情報が取得されたことと、
装置条件は予め設定された値に達したことと、
前記ビデオ人物像を置き換える作業量が閾値より低くなったことの少なくともいずれ一項を備える請求項１に記載したビデオ通話方法。
【請求項３】
前記ネットワーク装置は置き替え請求に基づいて前記第２のユーザ装置により送信されたビデオ情報におけるビデオ人物像を仮想画像に置き換えるように、前記置き替え請求を前記ネットワーク装置へ送信するステップと、
前記ネットワーク装置により送信された、置き替えられた後の前記第２ユーザ装置のビデオ情報を受信するステップと、をさらに備える請求項１または２に記載したビデオ通話方法。
【請求項４】
第１のユーザ装置により送信された、前記第１のユーザ装置に対応した第１のユーザのビデオ人物像が含まれる、第１のビデオ情報を取得するステップと、
前記仮想画像が含まれる第２のビデオ情報を生じるように、前記第１のビデオ情報における前記ビデオ人物像を仮想画像に置き換えるステップと、
前記第２のビデオ情報を第２のユーザ装置へ送信するステップと、を備える第１のユーザ装置端における仮想画像に基づくビデオ通話方法。
【請求項５】
前記第１のユーザ装置により送信された置き換え請求を受信するステップと、
前記置き換え請求に基づいて、前記第２のユーザ装置により送信されたビデオ情報におけるビデオ人物像を仮想画像に置き換えるステップと、をさらに備える請求項４に記載したビデオ通話方法。
【請求項６】
前記第１のビデオ情報における前記ビデオ人物像を仮想画像に置き換える前に、
前記仮想画像を特定するステップ、をさらに備える請求項１から５のいずれか一項に記載したビデオ通話方法。
【請求項７】
前記仮想画像を特定することは、
前記ユーザの選択操作に基づいて、前記仮想画像を特定するステップ、を備える請求項６に記載したビデオ通話方法。
【請求項８】
前記仮想画像を特定することは、
前記ビデオ人物像における気持ち情報を検出するステップと、
前記気持ち情報に基づいて、前記仮想画像を特定するステップと、を備える請求項６に記載したビデオ通話方法。
【請求項９】
前記第１のビデオ情報における前記ビデオ人物像を仮想画像に置き換えることは、
前記第１のビデオ情報のビデオフレームを取得するステップと、
前記ビデオフレームにおける前記ビデオ人物像を検出するステップと、
前記ビデオフレームにおける前記ビデオ人物像を前記仮想画像に置き換えるステップと、を備える請求項１から８のいずれか一項に記載したビデオ通話方法。
【請求項１０】
前記第１のビデオ情報における前記ビデオ人物像を仮想画像に置き換えることは、
前記第１のビデオ情報のビデオフレームを取得するステップと、
前記ビデオフレームにおける前記ビデオ人物像のリアルタイムの動作情報を検出するステップと、
前記ビデオフレームにおける前記ビデオ人物像を前記リアルタイムの動作情報に合わせる仮想画像に置き換えるステップと、を備える、請求項１から８のいずれか一項に記載したビデオ通話方法。
【請求項１１】
前記ビデオフレームにおける後フレームと直前フレームにおいてのリアルタイムの動作情報の差分情報を検出するステップ、をさらに備え、
そのうち、前記ビデオフレームにおける前記ビデオ人物像を前記リアルタイムの動作情報に合わせる仮想画像に置き換えることは、
前記差分情報および前記直前フレームにおいて置き替えられた仮想画像に基づいて、前記後フレームにおけるビデオ人物像の仮想画像を生じるステップ、を備える請求項１０に記載したビデオ通話方法。
【請求項１２】
請求項１から１１のいずれか一項に記載したビデオ通話方法を実現するように、プロセッサにより実行され得るコンピュータ可読命令が格納されたコンピュータ可読媒体。
【請求項１３】
単一或いは複数のプロセッサと、
実行されるとき、請求項１から３および請求項６から１１のいずれか一項に記載したビデオ通話方法の操作を前記プロセッサに実行させるコンピュータ可読命令が格納されたメモリと、を備える仮想画像に基づくビデオ通話の第１のユーザ装置。
【請求項１４】
単一或いは複数のプロセッサと、
実行されるとき、請求項４から１１のいずれか一項に記載した前記ビデオ通話方法の操作を前記プロセッサに実行させるコンピュータ可読命令が格納されたメモリ、を備える仮想画像に基づくビデオ通話のネットワーク装置。
【国際調査報告】
2021512562.tif 000005
2021512562.tif 000006
2021512562.tif 000007
2021512562.tif 000008
2021512562.tif 000009
2021512562.tif 000010