(57)【要約】  本発明の実施例は、データ処理方法、サーバ及びコンピュータ記憶媒体を開示する。前記方法は、端末からの三次元ビデオデータを受信し、前記三次元ビデオデータに基づいて、初期モデルを確立することと、前記初期モデルを所定のモデル集合内のモデルとマッチングを行うことであって、前記所定のモデル集合に、複数のターゲット対象の全体モデルが含まれる、ことと、マッチング結果に基づいて、前記端末に指示情報を送信することと、を含む。
2021532509.tif 000002
【特許請求の範囲】
【請求項１】
データ処理方法であって、モバイルエッジコンピューティング（ＭＥＣ）サーバに適用され、前記方法は、
端末からの三次元ビデオデータを受信し、前記三次元ビデオデータに基づいて、初期モデルを確立すること（２０１）と、
前記初期モデルを所定のモデル集合内のモデルとマッチングを行うこと（２０２）であって、前記所定のモデル集合に、複数のターゲット対象の全体モデルが含まれる、こと（２０２）と、
マッチング結果に基づいて、前記端末に指示情報を送信すること（２０３）と、を含むことを特徴とする、データ処理方法。
【請求項２】
前記方法は、前記所定のモデル集合内の全体モデルを確立することを更に含むことを特徴とする
請求項１に記載の方法。
【請求項３】
前記所定のモデル集合内の全体モデルを確立することは、
複数のサンプルデータを得ること（２０４）であって、前記複数のサンプルデータは、異なるターゲット対象に対応する全体データ及び／又はターゲット対象の異なる部位に対応する局所データである、こと（２０４）と、
前記複数のサンプルデータがターゲット対象に対応する全体データである場合、前記複数のサンプルデータに基づいて、ターゲット対象の全体モデルを確立すること（２０５）と、
前記複数のサンプルデータがターゲット対象の異なる部位に対応する局所データであるである場合、前記複数のサンプルデータに基づいて、ターゲット対象の異なる部位の局所モデルを確立し、異なるターゲット対象の異なる部位の局所モデルに基づいて、異なるターゲット対象の全体モデルを生成すること（２０５）と、を含むことを特徴とする
請求項２に記載の方法。
【請求項４】
前記三次元ビデオデータは、二次元ビデオデータ及び深度データを含むか又は前記三次元ビデオデータは、深度データを含み、
前記三次元ビデオデータに基づいて初期モデルを確立すること（２０１）は、
前記三次元ビデオデータにおける前記深度データに基づてモデリングを行い、前記初期モデルを得ることを含むことを特徴とする
請求項１から３のうちいずれか一項に記載の方法。
【請求項５】
前記初期モデルを所定のモデル集合内のモデルとマッチングを行うこと（２０２）は、
前記初期モデルの特徴パラメータを抽出し、前記初期モデルの特徴パラメータを前記所定のモデル集合内の各モデルの特徴パラメータとマッチングを行い、マッチング率を得ることと、
前記初期モデル特徴パラメータと前記所定のモデル集合内の１つのモデルの特徴パラメータとのマッチング率が所定の閾値より大きいと、マッチングに成功したことを表すことと、
前記初期モデル特徴パラメータと前記所定のモデル集合内のいずれか１つのモデルの特徴パラメータとのマッチング率がいずれも所定の閾値以下であると、マッチングに失敗したことを表すことと、を含むことを特徴とする
請求項１から４のうちいずれか一項に記載の方法。
【請求項６】
前記マッチング結果に基づいて前記端末に指示情報を送信することは、
前記マッチング結果が、前記初期モデルが所定のモデル集合内の１つのモデルとマッチングすることである場合、前記端末に第１指示情報を送信すること（２０３ａ）であって、前記第１指示情報は、次の三次元ビデオデータを伝送し続けるように前記端末に指示することに用いられる、こと（２０３ａ）と、
前記マッチング結果が、前記初期モデルが所定のモデル集合内のいずれか１つのモデルとマッチングしないことである場合、前記端末に第２指示情報を送信すること（２０３ｂ）であって、前記第２指示情報は、三次元ビデオデータを再収集するように前記端末に指示することに用いられる、こと（２０３ｂ）と、を含むことを特徴とする
請求項１から５のうちいずれか一項に記載の方法。
【請求項７】
前記マッチング結果が、前記初期モデルが所定のモデル集合内の１つのモデルとマッチングすることである場合、前記方法は、
前記三次元ビデオデータに基づいて、マッチングするモデルを更新することを更に含むことを特徴とする
請求項６に記載の方法。
【請求項８】
モバイルエッジコンピューティング（ＭＥＣ）サーバであって、前記サーバは、
端末からの三次元ビデオデータを受信するように構成される通信ユニット（３１）と、
前記通信ユニット（３１）により受信された前記三次元ビデオデータに基づいて、初期モデルを確立するように構成されるモデリングユニット（３２）と、
前記初期モデルを所定のモデル集合内のモデルとマッチングを行うように構成されるマッチングユニット（３３）であって、前記所定のモデル集合に、複数のターゲット対象の全体モデルが含まれる、マッチングユニット（３３）と、を備え、
前記通信ユニット（３１）は更に、前記マッチングユニットにより得られたマッチング結果に基づいて前記端末に指示情報を送信するように構成されることを特徴とする、モバイルエッジコンピューティング（ＭＥＣ）サーバ。
【請求項９】
前記モデリングユニット（３２）は、前記所定のモデル集合内の全体モデルを確立するように構成されることを特徴とする
請求項８に記載のＭＥＣサーバ。
【請求項１０】
前記ＭＥＣサーバは、取得ユニット（３４）を更に備え、
前記取得ユニット（３４）は、複数のサンプルデータを得るように構成され、前記複数のサンプルデータは、異なるターゲット対象に対応する全体データ及び／又はターゲット対象の異なる部位に対応する局所データであり、
前記モデリングユニット（３２）は、前記複数のサンプルデータがターゲット対象に対応する全体データである場合、前記複数のサンプルデータに基づいて、ターゲット対象の全体モデルを確立し、前記複数のサンプルデータがターゲット対象の異なる部位に対応する局所データであるである場合、前記複数のサンプルデータに基づいて、ターゲット対象の異なる部位の局所モデルを確立し、異なるターゲット対象の異なる部位の局所モデルに基づいて、異なるターゲット対象の全体モデルを生成するように構成されることを特徴とする
請求項９に記載のＭＥＣサーバ。
【請求項１１】
前記三次元ビデオデータは、二次元ビデオデータ及び深度データを含むか又は前記三次元ビデオデータは、深度データを含み、
前記モデリングユニット（３２）は、前記三次元ビデオデータにおける前記深度データに基づてモデリングを行い、前記初期モデルを得るように構成されることを特徴とする
請求項８から１０のうちいずれか一項に記載のＭＥＣサーバ。
【請求項１２】
前記マッチングユニット（３３）は、前記初期モデルの特徴パラメータを抽出し、前記初期モデルの特徴パラメータを前記所定のモデル集合内の各モデルの特徴パラメータとマッチングを行い、マッチング率を得るように構成され、
前記初期モデル特徴パラメータと前記所定のモデル集合内の１つのモデルの特徴パラメータとのマッチング率が所定の閾値より大きいと、マッチングに成功したことを表し、
前記初期モデル特徴パラメータと前記所定のモデル集合内のいずれか１つのモデルの特徴パラメータとのマッチング率がいずれも所定の閾値以下であると、マッチングに失敗したことを表すことを特徴とする
請求項８から１１のうちいずれか一項に記載のＭＥＣサーバ。
【請求項１３】
前記通信ユニット（３１）は、前記マッチング結果が、前記初期モデルが所定のモデル集合内の１つのモデルとマッチングすることである場合、前記端末に第１指示情報を送信し、前記第１指示情報は、次の三次元ビデオデータを伝送し続けるように前記端末に指示することに用いられ、前記マッチング結果が、前記初期モデルが所定のモデル集合内のいずれか１つのモデルとマッチングしないことである場合、前記端末に第２指示情報を送信し、前記第２指示情報は、三次元ビデオデータを再収集するように前記端末に指示することに用いられるように構成されることを特徴とする
請求項８から１２のうちいずれか一項に記載のＭＥＣサーバ。
【請求項１４】
前記モデリングユニット（３２）は、前記マッチング結果が、前記初期モデルが所定のモデル集合内の１つのモデルとマッチングすることである場合、前記三次元ビデオデータに基づいて、マッチングするモデルを更新するように構成されることを特徴とする
請求項１３に記載のＭＥＣサーバ。
【請求項１５】
モバイルエッジコンピューティング（ＭＥＣ）サーバであって、メモリと、プロセッサと、通信インタフェースと、を備え、
前記メモリは、コンピュータプログラムを記憶するように構成され、
前記通信インタフェースは、前記プロセッサによる制御で外部装置と通信するように構成され、
前記プロセッサは、前記メモリに記憶されるコンピュータプログラムを実行し、請求項１から７のうちいずれか一項に記載の方法を実現するように構成されることを特徴とする、モバイルエッジコンピューティング（ＭＥＣ）サーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１８年９月３０日に提出された出願番号が２０１８１１１６１５６６．７である中国特許出願に基づく優先権を主張するものである。
【０００２】
本発明は、データ処理技術に関し、具体的には、データ処理方法、サーバ及びコンピュータ記憶媒体に関する。
【背景技術】
【０００３】
移動通信ネットワークの継続的な成長に伴い、移動通信ネットワークの伝送レートは、急速に向上している。これにより、三次元ビデオサービスの発生及び成長に、有力な技術的サポートを与える。三次元ビデオデータは、二次元画像データ（例えば、ＲＧＢデータ）及び深度データ（Ｄｅｐｔｈデータ）を含む。三次元ビデオデータの伝送プロセスにおいて、二次元ビデオデータ及び深度データをそれぞれ伝送する必要がある。しかしながら、三次元ビデオデータのデータ収集量が非常に大きいため、伝送する必要があるデータ量も非常に大きく、データ伝送プロセスにおいて、高い技術的サポートを必要とする。従って、移動通信ネットワークは、高いデータ伝送レート、及び安定するデータ伝送環境を有する必要がある。また、データ量が大きいため、モバイルエッジコンピューティング（ＭＥＣ）サーバのモデリングにかかる時間が非常に長い。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記技術的課題を解決するために、本発明の実施例は、データ処理方法、サーバ及びコンピュータ記憶媒体を提供する。
【課題を解決するための手段】
【０００５】
第１態様によれば、本発明の実施例は、データ処理方法を提供する。前記方法は、ＭＥＣサーバに適用され、前記方法は、
端末からの三次元ビデオデータを受信し、前記三次元ビデオデータに基づいて、初期モデルを確立することと、
前記初期モデルを所定のモデル集合内のモデルとマッチングを行うことであって、前記所定のモデル集合に、複数のターゲット対象の全体モデルが含まれる、ことと、
マッチング結果に基づいて、前記端末に指示情報を送信することと、を含む。
【０００６】
第２態様によれば、本発明の実施例は、ＭＥＣサーバを更に提供する。前記ＭＥＣサーバは、プロセッサと、通信インタフェースと、を備え、
前記通信インタフェースは、端末からの三次元ビデオデータを受信するように構成され、
前記プロセッサは、前記三次元ビデオデータに基づいて、初期モデルを確立し、前記初期モデルを所定のモデル集合内のモデルとマッチングを行うように構成され、前記所定のモデル集合に、複数のターゲット対象の全体モデルが含まれ、
前記通信インタフェースは、マッチング結果に基づいて前記端末に指示情報を送信するように構成される。
【０００７】
第３態様によれば、本発明の実施例は、ＭＥＣサーバを更に提供する。前記ＭＥＣサーバは、通信ユニットと、モデリングユニットと、マッチングユニットと、を備え、
前記通信ユニットは、端末からの三次元ビデオデータを受信するように構成され、
前記モデリングユニットは、前記通信ユニットにより受信された前記三次元ビデオデータに基づいて、初期モデルを確立するように構成され、
前記マッチングユニットは、前記初期モデルを所定のモデル集合内のモデルとマッチングを行うように構成され、前記所定のモデル集合に、複数のターゲット対象の全体モデルが含まれ、
前記通信ユニットは更に、前記マッチングユニットにより得られたマッチング結果に基づいて前記端末に指示情報を送信するように構成される。
【０００８】
第４態様によれば、本発明の実施例は、コンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にコンピュータ命令が記憶されており、該コンピュータ命令がプロセッサにより実行される時、前記プロセッサにデータ処理方法を実行させ、前記方法は、端末からの三次元ビデオデータを受信し、前記三次元ビデオデータに基づいて、初期モデルを確立することと、前記初期モデルを所定のモデル集合内のモデルとマッチングを行うことであって、前記所定のモデル集合に、複数のターゲット対象の全体モデルが含まれる、ことと、マッチング結果に基づいて、前記端末に指示情報を送信することと、を含む。
【発明の効果】
【０００９】
本発明の実施例は、データ処理方法、サーバ及びコンピュータ記憶媒体を提供する。前記方法は、端末からの三次元ビデオデータを受信し、前記三次元ビデオデータに基づいて、初期モデルを確立することと、前記初期モデルを所定のモデル集合内のモデルとマッチングを行うことであって、前記所定のモデル集合に、複数のターゲット対象の全体モデルが含まれる、ことと、マッチング結果に基づいて、前記端末に指示情報を送信することと、を含む。本発明の実施例の技術的解決手段を用いて、サーバにおける所定の複数のターゲット対象の全体モデルによれば、サーバは、得られた１フレームの三次元ビデオデータに基づいて所定のモデルとマッチングし、マッチングするモデルに基づいてターゲット対象のモデルを速く確立することができ、モデリングにかかる時間を大幅に短縮する。一方で、サーバにモデルが事前設定されたため、データ伝送プロセスに必要な技術的サポートに求められる要件を低減させる。つまり、速いデータ伝送レート及び安定するデータ伝送環境を必要とせず、種々の通信シーンに適用可能である。なお、サーバにモデルが事前設定されたため、モデリングのために端末により収集された全ての三次元ビデオデータを伝送する必要がなく、伝送する必要があるデータ量をある程度で減少させる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例によるデータ処理方法を適用するシステムアーキテクチャを示す概略図である。
【図２】本発明の実施例によるデータ処理方法を示す第１フローチャートである。
【図３】本発明の実施例によるデータ処理方法を示す第２フローチャートである。
【図４】本発明の実施例によるデータ処理方法を示す第３フローチャートである。
【図５】本発明の実施例によるサーバの構造を示す概略図である。
【図６】本発明の実施例によるサーバの構造を示すもう１つの概略図である。
【図７】本発明の実施例によるサーバのハードウェア構造を示す概略図である。
【発明を実施するための形態】
【００１１】
本発明の実施例の技術的解決手段を詳しく説明する前に、まず、本発明の実施例のデータ処理方法を適用するシステムアーキテクチャを簡単に説明する。本発明の実施例のデータ処理方法は、三次元ビデオデータに関するサービスに適用される。該サービスは、例えば、三次元ビデオデータにより共有されるサービス、又は三次元ビデオデータに基づくライブストリーミングサービス等であってもよい。この場合、三次元ビデオデータのデータ量が大きく、深度データ及び二次元ビデオデータをデータ伝送プロセスにおいてそれぞれ伝送するために高い技術的サポートを必要とするため、移動通信ネットワークは、速いデータ伝送レート及び安定するデータ伝送環境を有する必要がある。
【００１２】
図１は、本発明の実施例によるデータ処理方法を適用するシステムアーキテクチャを示す概略図である。図１に示すように、システムは、端末、基地局、ＭＥＣサーバ、サービス処理サーバ、コアネットワーク及びインターネット（Ｉｎｔｅｒｎｅｔ）等を含んでもよい。ＭＥＣサーバとサービス処理サーバは、コアネットワークにより高速チャネルを確立することでデータ同期を実現させる。
【００１３】
図１に示す２つの端末のインタラクションの適用シーンを例として、ＭＥＣサーバＡは、端末Ａ（送信側）に近接するようにデプロイされるＭＥＣサーバであり、コアネットワークＡは、端末Ａの所在する領域のコアネットワークである。対応的に、ＭＥＣサーバＢは、端末Ｂ（受信側）に近接するようにデプロイされるＭＥＣサーバであり、コアネットワークＢは、端末Ｂの所在する領域のコアネットワークである。ＭＥＣサーバＡ及びＭＥＣサーバＢと、サービス処理サーバとは、それぞれコアネットワークＡ及びコアネットワークＢを介して高速チャネルを確立し、データ同期を実現させることができる。
【００１４】
ここで、端末Ａから送信された三次元ビデオデータがＭＥＣサーバＡに伝送された後、ＭＥＣサーバＡは、コアネットワークＡを経由してデータをサービス処理サーバに同期させる。更に、ＭＥＣサーバＢは、サービス処理サーバから、端末Ａから送信された三次元ビデオデータを取得し、端末Ｂに送信して表示する。
【００１５】
ここで、端末Ｂと端末Ａは、同一のＭＥＣサーバにより伝送を実現させる場合、端末Ｂ及び端末Ａは、サービス処理サーバを必要とせず、直接的に１つのＭＥＣサーバにより、三次元ビデオデータの伝送を実現させる。このような方式は、ローカルバックホーリング方式と呼ばれる。具体的には、端末Ｂと端末Ａが、ＭＥＣサーバＡにより三次元ビデオデータの伝送を実現させ、端末Ａから送信された三次元ビデオデータがＭＥＣサーバＡに伝送された後、ＭＥＣサーバＡにより、三次元ビデオデータを端末Ｂに送信して表示する。
【００１６】
ここで、端末は、ネットワーク状況、端末自体の構成状況、自体に設定されたアルゴリズムに基づいて、４Ｇネットワークにアクセスする進化型基地局（ｅＮＢ）、又は５Ｇネットワークにアクセスする次世代の進化型基地局（ｇＮＢ）を選択する。これにより、ｅＮＢは、長期的進化（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ：ＬＴＥ）アクセスネットワークによりＭＥＣサーバに接続される。ｇＮＢは、次世代のアクセスネットワーク（ＮＧ−ＲＡＮ）によりＭＥＣサーバに接続される。
【００１７】
ここで、ＭＥＣサーバは、端末又はデータソースに近接するネットワークエッジ側にデプロイされる。端末又はデータソースに近接することは、論理的な位置だけでなく、地理的位置でも端末又はデータソースに近接することを指す。従来の移動通信ネットワークにおける主なサービス処理サーバが若干の大都市にデプロイされるという形態と異なっており、ＭＥＣサーバは、１つの都市に複数デプロイされてもよい。例えば、あるオフィスビルにおいてユーザが多いと、該オフィスビルの附近に１つのＭＥＣサーバがデプロイされてもよい。
【００１８】
ここで、ＭＥＣサーバは、ネットワーク、コンピューティング、記憶、アプリケーションを統合したコア能力を有するエッジコンピューティングゲートウェイとして、エッジコンピューティングのために、デバイスドメイン、ネットワークドメイン、データドメイン及びアプリケーションドメインを含むフォーマットを提供する。これは、種々のインテリジェントデバイス及びセンサに接続され、近傍でインテリジェント接続及びデータ処理サービスを提供する。これにより、様々なタイプのアプリケーション及びデータをＭＥＣサーバにおいて処理し、リアルタイムサービス、インテリジェントサービス、データ集約インターワーキングサービス、セキュリティ及びプライバシーの保護などの肝心なインテリジェントサービスを実現させ、サービスのインテリジェント意思決定を効果的に向上させる。
【００１９】
本発明の実施例は、データ処理方法を更に提供する。前記方法は、サーバに適用され、該サーバは、具体的には図１に示すＭＥＣサーバである。図２は、本発明の実施例によるデータ処理方法を示す第１フローチャートである。図２に示すように、前記方法は、以下を含む。
【００２０】
ステップ２０１において、端末からの三次元ビデオデータを受信し、前記三次元ビデオデータに基づいて初期モデルを確立する。
【００２１】
ステップ２０２において、前記初期モデルを所定のモデル集合内のモデルとマッチングを行い、前記所定のモデル集合に、複数のターゲット対象の全体モデルが含まれる。
【００２２】
ステップ２０３において、マッチング結果に基づいて、前記端末に指示情報を送信する。
【００２３】
本実施例において、三次元ビデオデータは、端末により、深度データを少なくとも収集できる収集コンポーネントから取得され、前記収集コンポーネントは、少なくとも１つの端末と通信リンクを確立して対応する端末に前記三次元ビデオデータを取得させる。
【００２４】
具体的には、本実施形態において、深度データを収集できる収集コンポーネントが相対的高価であるため、端末は、三次元ビデオデータ収集機能を持たせず、端末から独立した収集コンポーネントにより、三次元ビデオデータを収集し、更に、収集コンポーネント及び端末における通信コンポーネントにより通信リンクを確立する。これにより、端末は、収集コンポーネントにより収集された三次元ビデオデータを得る。ここで、前記収集コンポーネントは具体的には、深度カメラ、両眼カメラ、３Ｄ構造光撮像モジュール、飛行時間（ＴＯＦ：Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）撮像モジュールのうちの少なくとも１つにより実現してもよい。
【００２５】
ここで、収集コンポーネントは、少なくとも１つの端末と通信リンクを確立し、収集された三次元ビデオデータを前記少なくとも１つの端末に伝送し、対応する端末に三次元ビデオデータを取得させる。これにより、１つの収集コンポーネントにより収集された三次元ビデオデータを少なくとも１つの端末に共有することを実現させ、収集コンポーネントの共有を実現させることができる。
【００２６】
もう１つの実施形態において、端末自体は、三次元ビデオデータの収集機能を持つ。端末に、深度データを少なくとも収集できる収集コンポーネントが設けられることが理解されるべきである。例えば、深度カメラ、両眼カメラ、３Ｄ構造光撮像モジュール、ＴＯＦ撮像モジュールのうちの少なくとも１つが設けられて、三次元ビデオデータを収集する。
【００２７】
ここで、得られた三次元ビデオデータは、二次元ビデオデータ及び深度データを含む。前記二次元ビデオデータは、平面画像を表すためのものであり、例えば、ＲＧＢデータであってもよい。深度データは、収集コンポーネントの収集対象の表面と収集コンポーネントとの距離を表す。
【００２８】
本実施例は、端末とＭＥＣサーバとの間の通信チャネルの品質が高い適用シーンに適用可能である。つまり、通信チャネルの伝送レート及び伝送安定性がいずれも所定の要件を満たすシーンに適用可能である。例えば、通信チャネルの伝送レートが第１所定の閾値より高く、データ伝送のパケットロス率が第２所定の閾値より低い。このような高速低遅延のシーンで、端末は、三次元ビデオデータを伝送し、端末のローカルに、三次元ビデオデータが記憶されず、直接的にデータを送出する。
【００２９】
本実施例における端末のローカルに、三次元ビデオデータが記憶されず、直接的にデータを送出することは、送出されたデータが端末のローカルに記憶されず、送出されていないデータを依然として端末のローカルに記憶する必要があることを指す。
【００３０】
本実施例において、一実施形態として、受信した三次元ビデオデータは、二次元ビデオデータ及び深度データを含む。もう１つの実施形態として、受信した三次元ビデオデータに、深度データのみが含まれてもよい。従って、サーバは、受信した三次元ビデオデータにおける深度データに基づいてモデリングを行い、初期モデルを得る。
【００３１】
本実施例において、サーバは、モデル集合を予め設定した。モデル集合に複数のターゲット対象の全体モデルが含まれる。ここで、ターゲット対象は、真実の人物、仮想人物、真実の動物、仮想動物などであってもよい。本実施例において、ターゲット対象のカテゴリを限定しない。実際の適用において、モデル集合に、複数のサブモデル集合が含まれてもよい。各サブモデル集合は、１つのカテゴリのターゲット対象に対応してもよい。例えば、真実の人物に対して、対応するサブモデル集合が予め設定される。例えば、犬のようなある種類の真実の動物に対して、対応するサブモデル集合が予め設定されてもよい。
【００３２】
一実施例において、図３に示すように、前記方法は以下を更に含む。
【００３３】
ステップ２０４において、複数のサンプルデータを得て、前記複数のサンプルデータは、異なるターゲット対象に対応する全体データ及び／又はターゲット対象の異なる部位に対応する局所データである。
【００３４】
ステップ２０５において、前記複数のサンプルデータに基づいて、ターゲット対象の全体モデルを確立し、又は、前記複数のサンプルデータに基づいて、ターゲット対象の異なる部位の局所モデルを確立し、異なるターゲット対象の異なる部位の局所モデルに基づいて、異なるターゲット対象の全体モデルを生成する。
【００３５】
本実施例において、サーバは、得られた複数のサンプルデータに基づいて全体モデルを確立する。第１実施形態において、得られたサンプルデータは、ターゲット対象に対応する全体データである。例えば、ターゲット対象が真実の人物であれば、サンプルデータは、真実の人物の全体データである。もう１つの実施形態において、得られたサンプルデータは、ターゲット対象の異なる部位に対応する局所データである。例えば、ターゲット対象が真実の人物であれば、該真実の人物は、頭部領域、胴体領域（胴体領域は更に具体的には、肩部領域、胸部領域及び腰部領域などに分けられてもよい）及び四肢領域（四肢領域は更に具体的には、腕領域、手部領域、脚部領域及び足部領域などに分けられてもよい）等を含む。従って、サンプルデータは、真実の人物の上記異なる部位の局所領域に対する局所データであってもよい。
【００３６】
本実施例の複数のサンプルデータは、異なるターゲット対象に対応し、ひいては、異なるターゲット対象の異なる部位に対応することに留意されたい。本実施例において、異なるターゲット対象に対いて全体モデルを確立することが理解されるべきである。
【００３７】
一実施形態として、サンプルデータが、ターゲット対象に対応する全体データである場合、該全体データに基づいて、対応するターゲット対象の全体モデルを確立する。
【００３８】
もう１つの実施形態として、サンプルデータがターゲット対象の異なる部位に対応する局所データである場合、該局所データに基づいて対応するターゲット対象の局所モデルを確立する。更に、異なるターゲット対象の異なる部位の局所モデルに基づいて順列組み合わせを行うことができる。例えば、ターゲット対象Ａの局所モデルａ１及び局所モデルａ２を得る。ターゲット対象Ｂの局所モデルｂ１及び局所モデルｂ２を得る。局所モデルａ１及び局所モデルａ２に基づいてターゲット対象Ａの全体モデルを確立し、局所モデルｂ１及び局所モデルｂ２に基づいてターゲット対象Ｂの全体モデルを確立することができるだけでなく、局所モデルａ１及び局所モデルｂ２に基づいて１つの全体モデルを確立し、局所モデルｂ１及び局所モデルａ２に基づいてもう１つの全体モデルを確立することもできる。本実施例は、局所モデルに基づいて、より多くの数のターゲット対象の全体モデルを得ることができ、モデルマッチングに寄与する。
【００３９】
本実施例において、サンプルデータは、深度データのみを含んでもよく、又は、深度データ及び二次元ビデオデータを含んでもよい。三次元モデルを確立できる如何なるデータはいずれも本発明の実施例の保護範囲内に含まれる。
【００４０】
ステップ２０４及びステップ２０５は、ステップ２０２の前に実行される。つまり、前記初期モデルを所定のモデル集合内のモデルとマッチングを行う前に、モデル集合内の全体モデルの確立を行う。
【００４１】
本実施例において、サーバは、前記初期モデルを所定のモデル集合内のモデルとマッチングを行う。
【００４２】
一実施形態として、サーバは、初期モデルを所定のモデル集合内の全体モデルとマッチングを行う。本実施例は、受信した三次元ビデオデータがターゲット対象に対応する全体データであるシーンに適用される。つまり、一例として、端末は、収集されたターゲット対象全体に対応する三次元ビデオデータを全てサーバに伝送する。サーバが受信した三次元ビデオデータは、ターゲット対象全体に対応する三次元ビデオデータである。サーバが三次元ビデオデータに基づいて確立した初期モデルは、ターゲット対象全体に対応する初期モデルである。
【００４３】
もう１つの実施形態として、サーバは、初期モデルを所定のモデル集合内の全体モデルを構成する局所モデルとマッチングを行う。本実施例は、受信した三次元ビデオデータがターゲット対象の部位に対応する局所データであるシーンに適用される。つまり、一例として、端末は、収集されたターゲット対象の各部位に対応する三次元ビデオデータをそれぞれサーバに伝送する。サーバは、受信した各部位に対応する三次元ビデオデータに対してそれぞれモデリング処理を行う必要がある。つまり、ここで得られた初期モデルは、ターゲット対象の各部位に対応する初期モデルである。
【００４４】
本実施例において、前記初期モデルを所定のモデル集合内のモデルとマッチングを行うことは、前記初期モデルの特徴パラメータを抽出し、前記初期モデルの特徴パラメータを前記所定のモデル集合内のモデルの特徴パラメータとマッチングを行い、マッチング率を得ることを含む。
【００４５】
具体的には、ターゲット対象全体に対応する初期モデルであるかそれともターゲット対象の各部位に対応する初期モデルであるかに関わらず、初期モデルを所定のモデル集合内のモデルとマッチングを行うプロセスにおいて、一実施形態として、前記初期モデルの特徴パラメータを抽出し、抽出された特徴パラメータをモデル集合内の各モデルの特徴パラメータとマッチングを行う。抽出された特徴パラメータとあるモデルの特徴パラメータとのマッチング率が所定の閾値より大きいと、マッチングに成功したことを表す。対応的に、抽出された特徴パラメータとモデル集合内のいずれか１つのモデルの特徴パラメータとのマッチング率がいずれも所定の閾値以下であると、マッチングに失敗したことを表す。ここで、特徴パラメータは具体的には、輪郭特徴点及び／又は骨格キーポイントを表すパラメータであってもよい。
【００４６】
一実施例において、図４に示すように、前記方法は、更に以下を含む。
【００４７】
ステップ２０３ａにおいて、前記マッチング結果が、前記初期モデルが所定のモデル集合内のモデルとマッチングすることである場合、前記端末に第１指示情報を送信し、前記第１指示情報は、他の三次元ビデオデータを伝送し続けるように前記端末に指示することに用いられる。
【００４８】
本実施例において、ＭＥＣサーバが、初期モデルが所定のモデル集合内のモデルとマッチングすると判定した場合、つまり、前記三次元ビデオデータに対応するモデルの確立に成功した場合、端末に第１指示情報を送信する。第１指示情報は、先に伝送された三次元ビデオデータのモデリングに成功でき、次の三次元ビデオデータを伝送し続けることを表す。
【００４９】
本発明の一実施形態において、前記マッチング結果が、前記初期モデルが所定のモデル集合内のモデルとマッチングすることである場合、前記三次元ビデオデータ及びマッチングするモデルに基づいて第１モデルを生成する。
【００５０】
本実施例において、前記マッチング結果が、前記初期モデルが所定のモデル集合内のモデルとマッチングすることである場合、サーバに、対応するターゲット対象の全体モデルが記憶されていることを表す。該全体モデルは、三次元ビデオデータに対応するターゲット対象と完全に一致するとは限らない。従って、本実施例は三次元ビデオデータ（二次元ビデオデータ及び深度データを含む）に基づいて、マッチングするモデルを調整して最適化する。マッチングするモデルを基に、対応する調整のみを行うと、ターゲット対象に対応する第１モデルを得ることができる。三次元ビデオデータを参照してモデルを生成するという方式に比べて、本発明の実施例は、モデル確立にかかる時間を大幅に短縮することができる。
【００５１】
本発明の一実施形態において、前記マッチング結果が、前記初期モデルが所定のモデル集合内のモデルとマッチングすることである場合、前記方法は、前記三次元ビデオデータに基づいて、マッチングするモデルを更新することを更に含む。本実施形態は、マッチングするモデル（即ち、あるターゲット対象に対応する全体モデル）を最適化することができる。具体的には、得られた三次元ビデオデータにおける深度データ及び二次元ビデオデータに基づいて、モデルを最適化する。最適化方式は、モデルにおける、初期モデルにおける特徴パラメータとマッチングしない特徴パラメータに対いて、初期モデルの特徴パラメータを参照しながら調整を行い、モデルをより正確にし、ターゲット対象に更に近接させることである。
【００５２】
一実施例において、図４に示すように、前記方法はステップ２０３ｂを更に含む。ステップ２０３ｂにおいて、前記マッチング結果が、前記初期モデルが所定のモデル集合内のモデルとマッチングしないことである場合、前記端末に第２指示情報を送信し、前記第２指示情報は、三次元ビデオデータを再収集するように前記端末に指示することに用いられる。
【００５３】
本実施例において、ＭＥＣサーバが、初期モデルが所定のモデル集合内のモデルとマッチングしないと判定した場合、サーバが三次元ビデオデータに対応するモデルの確立に成功していないと理解される。端末に第２指示情報を送信する。第２指示情報は、先に伝送された三次元ビデオデータのモデリングに成功できず、対応する三次元ビデオデータを再伝送する必要があることを表す。
【００５４】
本発明の実施例の技術的解決手段を用いて、サーバにおける所定の複数のターゲット対象の全体モデルによれば、サーバは、得られた１フレームの三次元ビデオデータに基づいて所定のモデルとマッチングし、マッチングするモデルに基づいてターゲット対象のモデルを速く確立することができ、モデリングにかかる時間を大幅に短縮する。一方で、サーバにモデルが事前設定されたため、データ伝送プロセスに必要な技術的サポートに求められる要件を低減させる。つまり、速いデータ伝送レート及び安定するデータ伝送環境を必要とせず、種々の通信シーンに適用可能である。なお、サーバにモデルが事前設定されたため、モデリングのために端末により収集された全ての三次元ビデオデータを伝送する必要がなく、伝送する必要があるデータ量をある程度で減少させる。
【００５５】
本発明の実施例のサーバ側の方法を実現させるために、本発明の実施例は、ＭＥＣサーバを更に提供する。図５は、本発明の実施例によるサーバの構造を示す概略図である。図５に示すように、前記サーバは、通信ユニット３１と、モデリングユニット３２と、マッチングユニット３３と、を備え、
前記通信ユニット３１は、端末からの三次元ビデオデータを受信するように構成され、
前記モデリングユニット３２は、前記通信ユニット３１により受信された前記三次元ビデオデータに基づいて、初期モデルを確立するように構成され、
前記マッチングユニット３３は、前記初期モデルを所定のモデル集合内のモデルとマッチングを行うように構成され、前記所定のモデル集合に、複数のターゲット対象の全体モデルが含まれ、
前記通信ユニット３１は更に、前記マッチングユニット３３により得られたマッチング結果に基づいて前記端末に指示情報を送信するように構成される。
【００５６】
一実施例において、図６に示すように、前記サーバは、取得ユニット３４を更に備え、取得ユニット３４は複数のサンプルデータを得るように構成され、前記複数のサンプルデータは、異なるターゲット対象に対応する全体データ及び／又はターゲット対象の異なる部位に対応する局所データである。
【００５７】
前記モデリングユニット３２は更に、前記複数のサンプルデータに基づいて、ターゲット対象の全体モデルを確立し、又は、前記複数のサンプルデータに基づいて、ターゲット対象の異なる部位の局所モデルを確立し、異なるターゲット対象の異なる部位の局所モデルに基づいて、異なるターゲット対象の全体モデルを生成するように構成される。
【００５８】
一実施形態として、前記通信ユニット３１は、前記マッチング結果が、前記初期モデルが所定のモデル集合内のモデルとマッチングすることである場合、前記端末に第１指示情報を送信するように構成され、前記第１指示情報は、他の三次元ビデオデータを伝送し続けるように前記端末に指示することに用いられる。
【００５９】
一実施例において、前記モデリングユニット３２は更に、前記マッチング結果が、前記初期モデルが所定のモデル集合内のモデルとマッチングすることである場合、前記三次元ビデオデータに基づいて、マッチングするモデルを更新するように構成される。
【００６０】
もう１つの実施形態として、前記通信ユニット３１は、前記マッチング結果が、前記初期モデルが所定のモデル集合内のモデルとマッチングしないことである場合、前記端末に第２指示情報を送信するように構成され、前記第２指示情報は、三次元ビデオデータを再収集するように前記端末に指示することに用いられる。
【００６１】
本発明の実施例において、前記サーバにおけるモデリングユニット３２、マッチングユニット３３及び取得ユニット３４は、実際の適用において、中央演算装置（ＣＰＵ：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、マイクロ制御ユニット（ＭＣＵ：Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ  Ｕｎｉｔ）又はプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等のような、前記端末におけるプロセッサにより実現してもよい。前記サーバにおける通信ユニット３１は、実際の適用において、通信モジュール（基礎コミュニケーションスイート、オペレーティングシステム、通信モジュール、標準化インタフェース及びプロトコル等）及び送受信アンテナにより実現してもよい。
【００６２】
上記実施例で提供されるサーバがデータ処理を行う場合、上記各プログラムモジュールの分割のみを例として説明する。実際の適用において、必要に応じて、異なるプログラムモジュールにより上記処理を実行することができる。つまり、サーバの内部構造を異なるプログラムモジュールに分割し、上述した全て又は一部の処理を実行する。なお、上記実施例で提供されるサーバとデータ処理方法は、同一の構想に属する。その具体的な実現プロセスは、方法実施例を参照する。ここで、詳細な説明を省略する。
【００６３】
上記デバイスのハードウェアの実現によれば、本発明の実施例は、サーバを更に提供する。図７は、本発明の実施例によるサーバのハードウェア構造を示す概略図である。図７に示すように、前記サーバは、メモリと、プロセッサと、メモリに記憶されてプロセッサで実行できるコンピュータプログラムと、を備え、前記プロセッサが前記プログラムを実行する時、端末からの三次元ビデオデータを受信し、前記三次元ビデオデータに基づいて、初期モデルを確立することと、前記初期モデルを所定のモデル集合内のモデルとマッチングを行うことであって、前記所定のモデル集合に、複数のターゲット対象の全体モデルが含まれる、ことと、マッチング結果に基づいて、前記端末に指示情報を送信することと、を実現する。
【００６４】
一実施例において、前記プロセッサが前記プログラムを実行する時、複数のサンプルデータを得ることであって、前記複数のサンプルデータは、異なるターゲット対象に対応する全体データ及び／又はターゲット対象の異なる部位に対応する局所データである、ことと、前記複数のサンプルデータに基づいて、ターゲット対象の全体モデルを確立し、又は、前記複数のサンプルデータに基づいて、ターゲット対象の異なる部位の局所モデルを確立し、異なるターゲット対象の異なる部位の局所モデルに基づいて、異なるターゲット対象の全体モデルを生成することと、を実現する。
【００６５】
一実施例において、前記プロセッサが前記プログラムを実行する時、前記マッチング結果が、前記初期モデルが所定のモデル集合内のモデルとマッチングすることである場合、前記端末に第１指示情報を送信することであって、前記第１指示情報は、他の三次元ビデオデータを伝送し続けるように前記端末に指示することに用いられる、ことを実現する。
【００６６】
一実施例において、前記プロセッサが前記プログラムを実行する時、前記マッチング結果が、前記初期モデルが所定のモデル集合内のモデルとマッチングすることである場合、前記三次元ビデオデータに基づいて、マッチングするモデルを更新することを実現する。
【００６７】
一実施例において、前記プロセッサが前記プログラムを実行する時、前記マッチング結果が、前記初期モデルが所定のモデル集合内のモデルとマッチングしないことである場合、前記端末に第２指示情報を送信することであって、前記第２指示情報は、三次元ビデオデータを再収集するように前記端末に指示することに用いられる、ことを実現する。
【００６８】
サーバは、通信インタフェースを更に備えてもよい。サーバにおける各ユニットは、バスシステムを介して結合される。バスシステムは、これらのユニットの間の接続と通信を実現するためのものであることが理解されるべきである。バスシステムは、データバスに加えて、電源バス、制御バス及び状態信号バスを備える。
【００６９】
理解すべき点として、メモリは、揮発性メモリ又は不揮発性メモリであってもよいし、揮発性メモリと不揮発性メモリの両方であってもよい。ここで、不揮発性メモリは、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、電気的消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、磁気ランダムアクセスメモリ（ＦＲＡＭ：ｆｅｒｒｏｍａｇｎｅｔｉｃ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ  Ｍｅｍｏｒｙ）、磁気面メモリ、光ディスク、又は読み出し専用型光ディスク（ＣＤ−ＲＯＭ：Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）であってもよい。磁気面メモリは、磁気ディスクメモリ又は磁気テープメモリであってもよい。揮発性メモリは、外部キャッシュとして用いられるランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）であってもよい。非限定的な例証として、ＲＡＭは、スタティックランダムアクセスメモリ（ＳＲＡＭ：Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、同期スタティックランダムアクセスメモリ（ＳＳＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ  Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ：Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ダブルデータレート同期ダイナミックランダムアクセスメモリ（ＤＤＲＳＤＲＡＭ：Ｄｏｕｂｌｅ  Ｄａｔａ  Ｒａｔｅ  Ｓｙｎｃｈｒｏｎｏｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、エンハンスト同期ダイナミックランダムアクセスメモリ（ＥＳＤＲＡＭ：Ｅｎｈａｎｃｅｄ  Ｓｙｎｃｈｒｏｎｏｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍ
ｅｍｏｒｙ）、同期リンクダイナミックランダムアクセスメモリ（ＳＬＤＲＡＭ：Ｓｙｎｃｈｌｉｎｋ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）及びダイレクトラムバスランダムアクセスメモリ（ＤＲＲＡＭ：Ｄｉｒｅｃｔ  Ｒａｍｂｕｓ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などの多数の形態で使用可能である。本発明の実施例に記載されているメモリは、これら及び任意の他の適切な形態のメモリを含むが、これらに限定されない。
【００７０】
上記本発明の実施例に開示された方法はプロセッサに適用されるか、又はプロセッサにより実現される。プロセッサは、信号を処理する能力を有する集積回路チップであり得る。上記方法の各ステップは、実現する過程において、プロセッサにおけるハードウェアの集積論理回路又はソフトウェアの形の指令により完成することができる。上記プロセッサは、汎用プロセッサ、ＤＳＰ、又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネント等であってもよい。プロセッサは、本発明の実施例に開示されている各方法、ステップ及び論理的ブロック図を実現又は実行することができる。汎用プロセッサはマイクロプロセッサであってもよいし、該プロセッサは如何なる従来のプロセッサ等であってもよい。本発明の実施例に開示されている方法のステップに合わせて、ハードウェア解読プロセッサによって完成し、又は解読プロセッサ内のハードウェアとソフトウェアモジュールとの組み合わせで実行して完成するように示す。ソフトウェアモジュールは、記憶媒体内に存在してもよい。該記憶媒体は、メモリ内に位置し、プロセッサはメモリ中の情報を読み取り、そのハードウェアと共に上記方法のステップを完了する。
【００７１】
本発明の実施例は、プロセッサを備えるチップを更に提供する。プロセッサは、メモリからコンピュータプログラムを呼び出して実行し、本願の実施例における方法を実現させることができる。
【００７２】
幾つかの実施例において、チップは、メモリを更に備えてもよい。ここで、プロセッサは、メモリからコンピュータプログラムを呼び出して実行し、本願の実施例における方法を実現させることができる。
【００７３】
ここで、メモリは、プロセッサから独立した別個のデバイスであってもよく、プロセッサに集積されてもよい。
【００７４】
幾つかの実施例において、該チップは、入力インタフェースを更に備えてもよい。ここで、プロセッサは、該入力インタフェースを、他の装置又はチップと通信するように制御することができる。具体的には、他の装置又はチップからの情報又はデータを取得することができる。
【００７５】
幾つかの実施例において、該チップは、出力インタフェースを更に備えてもよい。ここで、プロセッサは、該出力インタフェースを、他の装置又はチップと通信するように制御することができる。具体的には、他の装置又はチップに情報又はデータを出力することができる。
【００７６】
幾つかの実施例において、該チップは、本願の実施例におけるＭＥＣサーバに適用可能であり、また、該チップは、本願の実施例の各方法におけるＭＥＣサーバにより実現されるプロセスを実現させることができる。簡潔化を図るために、ここで、詳細な説明を省略する。
【００７７】
本願の実施例で言及されたチップは、システムレベルチップ、システムチップ、チップシステム又はシステムオンチップ等と呼ばれてもよい。
【００７８】
本発明の実施例は、コンピュータ記憶媒体を更に提供する。該コンピュータ記憶媒体は具体的にはコンピュータ可読記憶媒体である。それにコンピュータ命令が記憶されており、該コンピュータがプロセッサにより実行される時、本発明の実施例のＭＥＣサーバに適用されるデータ処理方法を実現させる。
【００７９】
本願の実施例は、コンピュータプログラム命令を含むコンピュータプログラム製品を更に提供する。
【００８０】
幾つかの実施例において、該コンピュータプログラム製品は、本願の実施例におけるＭＥＣサーバに適用可能であり、また、該コンピュータプログラム命令は、コンピュータに、本願の実施例の各方法におけるＭＥＣサーバにより実現されるプロセスを実行させる。簡潔化を図るために、ここで、詳細な説明を省略する。
【００８１】
本願の実施例は、コンピュータプログラムを更に提供する。
【００８２】
幾つかの実施例において、該コンピュータプログラムは、本願の実施例におけるＭＥＣサーバに適用可能である。該コンピュータプログラムは、コンピュータで実行される場合、コンピュータに、本願の実施例の各方法におけるＭＥＣサーバにより実現されるプロセスを実行させる。簡潔化を図るために、ここで、詳細な説明を省略する。
【００８３】
付加的実施例
本発明の少なくとも幾つかの実施例は、データ処理方法を提供する。前記方法は、モバイルエッジコンピューティング（ＭＥＣ）サーバに適用され、前記方法は、
端末からの三次元ビデオデータを受信し、前記三次元ビデオデータに基づいて、初期モデルを確立することと、
前記初期モデルを所定のモデル集合内のモデルとマッチングを行うことであって、前記所定のモデル集合に、複数のターゲット対象の全体モデルが含まれる、ことと、
マッチング結果に基づいて、前記端末に指示情報を送信することと、を含む。
【００８４】
少なくとも幾つかの実施例によれば、前記方法は、前記所定のモデル集合内の全体モデルを確立することを含む。
【００８５】
少なくとも幾つかの実施例によれば、前記所定のモデル集合内の全体モデルを確立することは、
複数のサンプルデータを得ることであって、前記複数のサンプルデータは、異なるターゲット対象に対応する全体データ及び／又はターゲット対象の異なる部位に対応する局所データである、ことと、
前記複数のサンプルデータがターゲット対象に対応する全体データである場合、前記複数のサンプルデータに基づいて、ターゲット対象の全体モデルを確立することと、
前記複数のサンプルデータがターゲット対象の異なる部位に対応する局所データであるである場合、前記複数のサンプルデータに基づいて、ターゲット対象の異なる部位の局所モデルを確立し、異なるターゲット対象の異なる部位の局所モデルに基づいて、異なるターゲット対象の全体モデルを生成することと、を含む。
【００８６】
少なくとも幾つかの実施例によれば、前記三次元ビデオデータは、二次元ビデオデータ及び深度データを含むか又は前記三次元ビデオデータは、深度データを含み、
前記三次元ビデオデータに基づいて初期モデルを確立することは、
前記三次元ビデオデータにおける前記深度データに基づてモデリングを行い、前記初期モデルを得ることを含む。
【００８７】
少なくとも幾つかの実施例によれば、前記初期モデルを所定のモデル集合内のモデルとマッチングを行うことは、
前記初期モデルの特徴パラメータを抽出し、前記初期モデルの特徴パラメータを前記所定のモデル集合内の各モデルの特徴パラメータとマッチングを行い、マッチング率を得ることと、
前記初期モデル特徴パラメータと前記所定のモデル集合内の１つのモデルの特徴パラメータとのマッチング率が所定の閾値より大きいと、マッチングに成功したことを表すことと、
前記初期モデル特徴パラメータと前記所定のモデル集合内のいずれか１つのモデルの特徴パラメータとのマッチング率がいずれも所定の閾値以下であると、マッチングに失敗したことを表すことと、を含む。
【００８８】
少なくとも幾つかの実施例によれば、前記マッチング結果に基づいて前記端末に指示情報を送信することは、
前記マッチング結果が、前記初期モデルが所定のモデル集合内の１つのモデルとマッチングすることである場合、前記端末に第１指示情報を送信することであって、前記第１指示情報は、次の三次元ビデオデータを伝送し続けるように前記端末に指示することに用いられる、ことを含む。
【００８９】
少なくとも幾つかの実施例によれば、前記マッチング結果に基づいて前記端末に指示情報を送信することは、
前記マッチング結果が、前記初期モデルが所定のモデル集合内のいずれか１つのモデルとマッチングしないことである場合、前記端末に第２指示情報を送信することであって、前記第２指示情報は、三次元ビデオデータを再収集するように前記端末に指示することに用いられる、ことを含む。
【００９０】
少なくとも幾つかの実施例によれば、前記マッチング結果が、前記初期モデルが所定のモデル集合内の１つのモデルとマッチングすることである場合、前記方法は、
前記三次元ビデオデータに基づいて、マッチングするモデルを更新することを更に含む。
【００９１】
本発明の少なくとも幾つかの実施例は、ＭＥＣサーバを提供する。前記ＭＥＣサーバは、
送受信機と、
メモリと、を備え、
前記送受信機は、端末からの三次元ビデオデータを受信するように構成され、
前記プロセッサは、
前記三次元ビデオデータに基づいて、初期モデルを確立し、
前記初期モデルを所定のモデル集合内のモデルとマッチングを行い、前記所定のモデル集合に、複数のターゲット対象の全体モデルが含まれ、
マッチング結果に基づいて、前記送受信機によって、前記端末に指示情報を送信するように構成される。
【００９２】
少なくとも幾つかの実施例によれば、前記プロセッサは、前記所定のモデル集合内の全体モデルを確立する。
【００９３】
少なくとも幾つかの実施例によれば、前記プロセッサは、複数のサンプルデータを得て、前記複数のサンプルデータは、異なるターゲット対象に対応する全体データ及び／又はターゲット対象の異なる部位に対応する局所データであり、
前記複数のサンプルデータがターゲット対象に対応する全体データである場合、前記複数のサンプルデータに基づいて、ターゲット対象の全体モデルを確立し、
前記複数のサンプルデータがターゲット対象の異なる部位に対応する局所データであるである場合、前記複数のサンプルデータに基づいて、ターゲット対象の異なる部位の局所モデルを確立し、異なるターゲット対象の異なる部位の局所モデルに基づいて、異なるターゲット対象の全体モデルを生成するように構成される。
【００９４】
少なくとも幾つかの実施例によれば、前記三次元ビデオデータは、二次元ビデオデータ及び深度データを含むか又は前記三次元ビデオデータは、深度データを含む。
【００９５】
少なくとも幾つかの実施例によれば、前記プロセッサは、前記三次元ビデオデータにおける前記深度データに基づてモデリングを行い、前記初期モデルを得るように構成される。
【００９６】
少なくとも幾つかの実施例によれば、前記プロセッサは、前記初期モデルの特徴パラメータを抽出し、前記初期モデルの特徴パラメータを前記所定のモデル集合内の各モデルの特徴パラメータとマッチングを行い、マッチング率を得るように構成され、
前記初期モデル特徴パラメータと前記所定のモデル集合内の１つのモデルの特徴パラメータとのマッチング率が所定の閾値より大きいと、マッチングに成功したことを表し、
前記初期モデル特徴パラメータと前記所定のモデル集合内のいずれか１つのモデルの特徴パラメータとのマッチング率がいずれも所定の閾値以下であると、マッチングに失敗したことを表す。
【００９７】
少なくとも幾つかの実施例によれば、前記プロセッサは、前記マッチング結果が、前記初期モデルが所定のモデル集合内の１つのモデルとマッチングすることである場合、送受信機により前記端末に第１指示情報を送信するように構成され、前記第１指示情報は、次の三次元ビデオデータを伝送し続けるように前記端末に指示することに用いられる。
【００９８】
少なくとも幾つかの実施例によれば、前記プロセッサは、前記マッチング結果が、前記初期モデルが所定のモデル集合内のいずれか１つのモデルとマッチングしないことである場合、送受信機により前記端末に第２指示情報を送信するように構成され、前記第２指示情報は、三次元ビデオデータを再収集するように前記端末に指示することに用いられる。
【００９９】
少なくとも幾つかの実施例によれば、前記プロセッサは更に、前記マッチング結果が、前記初期モデルが所定のモデル集合内の１つのモデルとマッチングすることである場合、前記三次元ビデオデータに基づいて、マッチングするモデルを更新するように構成される。
【０１００】
本発明の少なくとも幾つかの実施例は、ＭＥＣサーバを提供する。前記ＭＥＣサーバは、通信ユニットと、モデリングユニットと、マッチングユニットと、を備え、
前記通信ユニットは、端末からの三次元ビデオデータを受信するように構成され、
前記モデリングユニットは、前記通信ユニットにより受信された前記三次元ビデオデータに基づいて、初期モデルを確立するように構成され、
前記マッチングユニットは、前記初期モデルを所定のモデル集合内のモデルとマッチングを行うように構成され、前記所定のモデル集合に、複数のターゲット対象の全体モデルが含まれ、
前記通信ユニットは更に、前記マッチングユニットにより得られたマッチング結果に基づいて前記端末に指示情報を送信するように構成される。
【０１０１】
少なくとも幾つかの実施例によれば、前記モデリングユニットは、前記所定のモデル集合内の全体モデルを確立するように構成される。
【０１０２】
少なくとも幾つかの実施例によれば、取得ユニットを更に備える。前記取得ユニットは、複数のサンプルデータを得るように構成され、前記複数のサンプルデータは、異なるターゲット対象に対応する全体データ及び／又はターゲット対象の異なる部位に対応する局所データであり、
前記モデリングユニットは更に、前記複数のサンプルデータがターゲット対象に対応する全体データである場合、前記複数のサンプルデータに基づいて、ターゲット対象の全体モデルを確立し、前記複数のサンプルデータがターゲット対象の異なる部位に対応する局所データであるである場合、前記複数のサンプルデータに基づいて、ターゲット対象の異なる部位の局所モデルを確立し、異なるターゲット対象の異なる部位の局所モデルに基づいて、異なるターゲット対象の全体モデルを生成するように構成される。
【０１０３】
少なくとも幾つかの実施例によれば、前記三次元ビデオデータは、二次元ビデオデータ及び深度データを含むか又は前記三次元ビデオデータは、深度データを含む。
【０１０４】
少なくとも幾つかの実施例によれば、前記モデリングユニットは、前記三次元ビデオデータにおける前記深度データに基づてモデリングを行い、前記初期モデルを得るように構成される。
【０１０５】
少なくとも幾つかの実施例によれば、前記マッチングユニットは、前記初期モデルの特徴パラメータを抽出し、前記初期モデルの特徴パラメータを前記所定のモデル集合内の各モデルの特徴パラメータとマッチングを行い、マッチング率を得るように構成され、
前記初期モデル特徴パラメータと前記所定のモデル集合内の１つのモデルの特徴パラメータとのマッチング率が所定の閾値より大きいと、マッチングに成功したことを表し、
前記初期モデル特徴パラメータと前記所定のモデル集合内のいずれか１つのモデルの特徴パラメータとのマッチング率がいずれも所定の閾値以下であると、マッチングに失敗したことを表す。
【０１０６】
少なくとも幾つかの実施例によれば、前記通信ユニットは、前記マッチング結果が、前記初期モデルが所定のモデル集合内の１つのモデルとマッチングすることである場合、前記端末に第１指示情報を送信するように構成され、前記第１指示情報は、次の三次元ビデオデータを伝送し続けるように前記端末に指示することに用いられる。
【０１０７】
少なくとも幾つかの実施例によれば、前記通信ユニットは、前記マッチング結果が、前記初期モデルが所定のモデル集合内のいずれか１つのモデルとマッチングしないことである場合、前記端末に第２指示情報を送信するように構成され、前記第２指示情報は、三次元ビデオデータを再収集するように前記端末に指示することに用いられる。
【０１０８】
少なくとも幾つかの実施例によれば、前記モデリングユニットは更に、前記マッチング結果が、前記初期モデルが所定のモデル集合内の１つのモデルとマッチングすることである場合、前記三次元ビデオデータに基づいて、マッチングするモデルを更新するように構成される。
【０１０９】
本発明の少なくとも幾つかの実施例は、非一時的コンピュータ可読記憶媒体を提供する。それにコンピュータ命令が記憶されており、該コンピュータ命令がＭＥＣサーバのプロセッサにより実行される時、前記プロセッサに、上記付加的実施例におけるデータ処理方法を実行させる。
【０１１０】
本発明の実施例は、データ処理方法、サーバ及びコンピュータ記憶媒体を提供する。前記方法は、端末からの三次元ビデオデータを受信し、前記三次元ビデオデータに基づいて、初期モデルを確立することと、前記初期モデルを所定のモデル集合内のモデルとマッチングを行うことであって、前記所定のモデル集合に、複数のターゲット対象の全体モデルが含まれる、ことと、マッチング結果に基づいて、前記端末に指示情報を送信することと、を含む。本発明の実施例の技術的解決手段を用いて、サーバにおける所定の複数のターゲット対象の全体モデルによれば、サーバは、得られた１フレームの三次元ビデオデータに基づいて所定のモデルとマッチングし、マッチングするモデルに基づいてターゲット対象のモデルを速く確立することができ、モデリングにかかる時間を大幅に短縮する。一方で、サーバにモデルが事前設定されたため、データ伝送プロセスに必要な技術的サポートに求められる要件を低減させる。つまり、速いデータ伝送レート及び安定するデータ伝送環境を必要とせず、種々の通信シーンに適用可能である。なお、サーバにモデルが事前設定されたため、モデリングのために端末により収集された全ての三次元ビデオデータを伝送する必要がなく、伝送する必要があるデータ量をある程度で減少させる。
【０１１１】
本願で提供する幾つかの実施例で開示した方法及びサーバは、他の方式によって実現できることを理解すべきである。例えば、以上に記載した装置の実施例はただ例示的なもので、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。例えば、複数のユニット又は組立体を組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインターフェイス、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。
【０１１２】
分離部材として説明した該ユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。
【０１１３】
また、本願の各実施例における各機能ユニットは一つの第２処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットは、ハードウェアの形態で実現してもよく、ハードウエアとソフトウェアを組み合わせた機能ユニットの形態で実現してもよい。
【０１１４】
当業者は、上述した実施例におけるすべて又は一部の方法の実現について、コンピュータのプログラム命令によって関連したハードウェアを指示して完成することができ、前記プログラムがコンピュータ可読記憶媒体に記憶されていることができ、このプログラムが実行されたとき、上述した方法実施例の手順をを実行することができることが理解すべきである。前記記憶媒体は、携帯型記憶装置、ＲＯＭ、ＲＡＭ、磁気ディスク又は光ディスクなどの、プログラムコードを記憶できる種々の媒体を含む。
【０１１５】
又は、本発明の上記集積したユニットはソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよい。このような理解のもと、本発明の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、コンピュータ設備（パソコン、サーバ、又はネットワーク装置など）に、本発明の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記の記憶媒体は、携帯型記憶媒体、ＲＯＭ、ＲＡＭ、磁気ディスク又は光ディスクなどの、プログラムコードを記憶できる種々の媒体を含む。
【０１１６】
本発明の実施例に記載の技術的解決手段は、矛盾しない限り、任意に組み合わせ可能であることに留意されたい。
【０１１７】
以上は本願の具体的な実施形態に過ぎず、本願の保護の範囲はそれらに制限されるものではなく、当業者が本発明に開示された技術範囲内で容易に想到しうる変更や置換はいずれも、本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲の保護範囲を基準とするべきである。
【図１】
2021532509.tif 000003
【図２】
2021532509.tif 000004
【図３】
2021532509.tif 000005
【図４】
2021532509.tif 000006
【図５】
2021532509.tif 000007
【図６】
2021532509.tif 000008
【図７】
2021532509.tif 000009
【国際調査報告】
2021532509.tif 000010
2021532509.tif 000011