(57)【要約】本発明の実施例は、３次元人体姿勢情報の検出方法および装置、電子機器、記憶媒体を開示する。前記方法は、第１ビュー画像における目標対象の肢体の第１キーポイントを取得することと、前記第１キーポイントに基づいて、第２ビュー画像における前記目標対象の肢体の第２キーポイントを取得することと、前記第１キーポイントおよび前記第２キーポイントに基づいて目標３次元キーポイントを取得することとを含む。いくつかの例示的な実施例において、前記第１キーポイントおよび前記第２キーポイントに基づいて３次元キーポイントを取得することは、前記第１キーポイントおよび前記第２キーポイントに基づいて、初期３次元キーポイントを取得することと、前記初期３次元キーポイントを調整して、目標３次元キーポイントを取得することとを含む。
2021527877.tif 000002
【特許請求の範囲】
【請求項１】
３次元人体姿勢情報の検出方法であって、
第１ビュー画像における目標対象の肢体の第１キーポイントを取得することと、
前記第１キーポイントに基づいて、第２ビュー画像における前記目標対象の肢体の第２キーポイントを取得することと、
前記第１キーポイントおよび前記第２キーポイントに基づいて、前記目標対象の肢体の目標３次元キーポイントを取得することとを含む、前記３次元人体姿勢情報の検出方法。
【請求項２】
前記第１キーポイントおよび前記第２キーポイントに基づいて３次元キーポイントを取得することは、
前記第１キーポイントおよび前記第２キーポイントに基づいて、初期３次元キーポイントを取得することと、
前記初期３次元キーポイントを調整して、目標３次元キーポイントを取得することとを含む、
請求項１に記載の３次元人体姿勢情報の検出方法。
【請求項３】
前記初期３次元キーポイントを調整して、目標３次元キーポイントを取得することは、
前記第１キーポイントおよびプリセットのカメラキャリブレーションパラメータに基づいて、３次元投影区間を決定することと、
前記３次元投影区間において、前記初期３次元キーポイントとの距離がプリセット条件を満たす３次元キーポイントを取得することであって、前記３次元キーポイントを目標３次元キーポイントとして使用することとを含む、
請求項２に記載の３次元人体姿勢情報の検出方法。
【請求項４】
前記３次元投影区間は、前記第１キーポイントと投影関係を有する３次元間隔であり、
前記３次元投影区間における各３次元キーポイントは、前記プリセットのカメラキャリブレーションパラメータによって、前記第１キーポイントが配置されている平面に投影された後、すべてが前記第１キーポイントが配置されている平面における第１キーポイントの１つと一致する、
請求項３に記載の３次元人体姿勢情報の検出方法。
【請求項５】
前記３次元投影区間において、前記初期３次元キーポイントとの距離がプリセット条件を満たす３次元キーポイントを取得することは、
プリセットのステップサイズに応じて、前記３次元投影区間における複数の３次元キーポイントを取得することと、
各３次元キーポイントと前記初期３次元キーポイントとの間のユークリッド距離をそれぞれ計算して、最も小さいユークリッド距離を有する３次元キーポイントを前記目標３次元キーポイントとして決定することとを含む、
請求項３または４に記載の３次元人体姿勢情報の検出方法。
【請求項６】
前記第１キーポイントに基づいて、第２ビュー画像における前記目標対象の肢体の第２キーポイントを取得することは、
前記第１キーポイントおよび事前トレーニングにより取得された第１ネットワークモデルに基づいて、第２ビュー画像における前記目標対象の肢体の前記第２キーポイントを取得することを含み、
前記第１キーポイントおよび前記第２キーポイントに基づいて、初期３次元キーポイントを取得することは、
前記第１キーポイント、前記第２キーポイントおよび事前トレーニングにより取得された第２ネットワークモデルに基づいて、前記初期３次元キーポイントを取得することを含む、
請求項２ないし５のいずれか一項に記載の３次元人体姿勢情報の検出方法。
【請求項７】
前記第１ネットワークモデルのトレーニングプロセスは、
第１ビューのサンプル２次元キーポイントおよびニューラルネットワークに基づいて、第２ビューの２次元キーポイントを取得することと、
注釈２次元キーポイントおよび前記２次元キーポイントに基づいて、前記ニューラルネットワークのネットワークパラメータを調整して、前記第１ネットワークモデルを取得することとを含む、
請求項６に記載の３次元人体姿勢情報の検出方法。
【請求項８】
前記第２ネットワークモデルのトレーニングプロセスは、
第１ビューの第１サンプル２次元キーポイント、第２ビューの第２サンプル２次元キーポイントおよびニューラルネットワークに基づいて、３次元キーポイントを取得することと、
注釈３次元キーポイントおよび前記３次元キーポイントに基づいて、前記ニューラルネットワークのネットワークパラメータを調整して、前記第２ネットワークモデルを取得することとを含む、
請求項６に記載の３次元人体姿勢情報の検出方法。
【請求項９】
３次元人体姿勢情報の検出装置であって、
取得ユニット、２次元情報処理ユニットおよび３次元情報処理ユニットを備え、
前記取得ユニットは、第１ビュー画像における目標対象の肢体の第１キーポイントを取得するように構成され、
前記２次元情報処理ユニットは、前記取得ユニットによって取得された前記第１キーポイントに基づいて、第２ビュー画像における前記目標対象の肢体の第２キーポイントを取得するように構成され、
前記３次元情報処理ユニットは、前記取得ユニットによって取得された前記第１キーポイントおよび前記２次元情報処理ユニットによって取得された前記第２キーポイントに基づいて、前記目標対象の肢体の目標３次元キーポイントを取得するように構成される、前記３次元人体姿勢情報の検出装置。
【請求項１０】
前記３次元情報処理ユニットは、第１処理モジュールおよび調整モジュールを備え、
前記第１処理モジュールは、前記第１キーポイントおよび前記第２キーポイントに基づいて、初期３次元キーポイントを取得するように構成され、
前記調整モジュールは、前記第１処理モジュールによって取得された前記初期３次元キーポイントを調整して、目標３次元キーポイントを取得するように構成される、
請求項９に記載の３次元人体姿勢情報の検出装置。
【請求項１１】
前記調整モジュールは、前記第１キーポイントおよびプリセットのカメラキャリブレーションパラメータに基づいて、３次元投影区間を決定し、前記３次元投影区間において、前記初期３次元キーポイントとの距離がプリセット条件を満たす３次元キーポイントを取得するように構成され、前記３次元キーポイントを目標３次元キーポイントとして使用する、
請求項１０に記載の３次元人体姿勢情報の検出装置。
【請求項１２】
前記３次元投影区間は、前記第１キーポイントと投影関係を有する３次元間隔であり、前記３次元投影区間における各３次元キーポイントは、前記プリセットのカメラキャリブレーションパラメータによって、前記第１キーポイントが配置されている平面に投影された後、すべてが前記第１キーポイントが配置されている平面における第１キーポイントの１つと一致する、
請求項１１に記載の３次元人体姿勢情報の検出装置。
【請求項１３】
前記調整モジュールは、プリセットのステップサイズに応じて、前記３次元投影区間における複数の３次元キーポイントを取得し、各３次元キーポイントと前記初期３次元キーポイントとの間のユークリッド距離をそれぞれ計算して、最も小さいユークリッド距離を有する３次元キーポイントを前記目標３次元キーポイントとして決定するように構成される、
請求項１１または１２に記載の３次元人体姿勢情報の検出装置。
【請求項１４】
前記２次元情報処理ユニットは、前記第１キーポイントおよび事前トレーニングにより取得された第１ネットワークモデルに基づいて、第２ビュー画像における前記目標対象の肢体の前記第２キーポイントを取得するように構成され、
前記第１処理モジュールは、前記第１キーポイント、前記第２キーポイントおよび事前トレーニングにより取得された第２ネットワークモデルに基づいて、前記初期３次元キーポイントを取得するように構成される、
請求項１０ないし１３のいずれか一項に記載の３次元人体姿勢情報の検出装置。
【請求項１５】
前記装置は、第１ビューのサンプル２次元キーポイントおよびニューラルネットワークに基づいて、第２ビューの２次元キーポイントを取得し、注釈２次元キーポイントおよび前記２次元キーポイントに基づいて、前記ニューラルネットワークのネットワークパラメータを調整して、前記第１ネットワークモデルを取得するように構成される第１トレーニングユニットをさらに備える、
請求項１４に記載の３次元人体姿勢情報の検出装置。
【請求項１６】
前記装置は、第１ビューの第１サンプル２次元キーポイント、第２ビューの第２サンプル２次元キーポイントおよびニューラルネットワークに基づいて、３次元キーポイントを取得し、注釈３次元キーポイントおよび前記３次元キーポイントに基づいて、前記ニューラルネットワークのネットワークパラメータを調整して、前記第２ネットワークモデルを取得するように構成される第２トレーニングユニットをさらに備える、
請求項１４に記載の３次元人体姿勢情報の検出装置。
【請求項１７】
コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体であって、
前記プログラムがプロセッサによって実行されるときに、請求項１ないし８のいずれか一項に記載の方法のステップを実現する、前記コンピュータ読み取り可能な記憶媒体。
【請求項１８】
電子機器であって、
メモリ、プロセッサ、およびメモリに記憶された、コンピュータによって実行可能なコンピュータプログラムを備え、前記プロセッサが、前記プログラムを実行するときに、請求項１ないし８のいずれか一項に記載の方法のステップを実現する、前記電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１９年０１月３１日に中国特許局に提出された、出願番号がＣＮ２０１９１００９８３３２．０である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が引用によって本願に組み込まれる。
【０００２】
本発明は、人工知能分野に関し、具体的に、３次元人体姿勢情報の検出方法および装置、電子機器、記憶媒体に関する。
【背景技術】
【０００３】
３次元（３Ｄ）人体姿勢の検出は、コンピュータビジョンの分野の基本的な問題である。高精度の３Ｄ人体姿勢検出は、スポーツシーンのモーションの識別および分析、人間とコンピュータの相互作用シーン、映画シーンでの人体のモーションキャプチャなど、多くの分野で重要なアプリケーション価値を持つ。畳み込みニューラルネットワークの発展の駆動下で、３Ｄ人体姿勢検出の関連技術は急速に発展している。しかしながら、単目の２Ｄデータに基づいて３Ｄデータを予測する方法は、深度情報の不確実性をもたらし、ネットワークモデルの精度に影響を与える。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施例は、３次元人体姿勢情報の検出方法および装置、電子機器、記憶媒体を提供する。
【課題を解決するための手段】
【０００５】
目的を達成するために、本発明の実施例の技術的解決策は、次のように実現される。
【０００６】
本発明の実施例は、３次元人体姿勢情報の検出方法を提供し、前記方法は、第１ビュー画像における目標対象の肢体の第１キーポイントを取得することと、前記第１キーポイントに基づいて、第２ビュー画像における前記目標対象の肢体の第２キーポイントを取得することと、前記第１キーポイントおよび前記第２キーポイントに基づいて、前記目標対象の肢体の目標３次元キーポイントを取得することとを含む。
【０００７】
いくつかの例示的な実施例において、前記第１キーポイントおよび前記第２キーポイントに基づいて３次元キーポイントを取得することは、前記第１キーポイントおよび前記第２キーポイントに基づいて、初期３次元キーポイントを取得することと、前記初期３次元キーポイントを調整して、目標３次元キーポイントを取得することとを含む。
【０００８】
いくつかの例示的な実施例において、前記初期３次元キーポイントを調整して、目標３次元キーポイントを取得することは、前記第１キーポイントおよびプリセットのカメラキャリブレーションパラメータに基づいて、３次元投影区間を決定することと、前記３次元投影区間において、前記初期３次元キーポイントとの距離がプリセット条件を満たす３次元キーポイントを取得することであって、前記３次元キーポイントを目標３次元キーポイントとして使用することとを含む。
【０００９】
いくつかの例示的な実施例において、前記３次元投影区間は、前記第１キーポイントと投影関係を有する３次元間隔であり、前記３次元投影区間における各３次元キーポイントは、前記プリセットのカメラキャリブレーションパラメータによって、前記第１キーポイントが配置されている平面に投影された後、すべてが前記第１キーポイントが配置されている平面における第１キーポイントの１つと一致する。
【００１０】
いくつかの例示的な実施例において、前記投影区間において、前記初期３次元キーポイントとの距離がプリセット条件を満たす３次元キーポイントを取得することは、プリセットのステップサイズに応じて、前記３次元投影区間における複数の３次元キーポイントを取得することと、各３次元キーポイントと前記初期３次元キーポイントとの間のユークリッド距離をそれぞれ計算して、最も小さいユークリッド距離を有する３次元キーポイントを前記目標３次元キーポイントとして決定することとを含む。
【００１１】
いくつかの例示的な実施例において、前記第１キーポイントに基づいて、第２ビュー画像における前記目標対象の肢体の第２キーポイントを取得することは、前記第１キーポイントおよび事前トレーニングにより取得された第１ネットワークモデルに基づいて、第２ビュー画像における前記目標対象の肢体の前記第２キーポイントを取得することを含み、前記第１キーポイントおよび前記第２キーポイントに基づいて、初期３次元キーポイントを取得することは、前記第１キーポイント、前記第２キーポイントおよび事前トレーニングにより取得された第２ネットワークモデルに基づいて、前記初期３次元キーポイントを取得することを含む。
【００１２】
いくつかの例示的な実施例において、前記第１ネットワークモデルのトレーニングプロセスは、第１ビューのサンプル２次元キーポイントおよびニューラルネットワークに基づいて、第２ビューの２次元キーポイントを取得することと、注釈２次元キーポイントおよび前記２次元キーポイントに基づいて、前記ニューラルネットワークのネットワークパラメータを調整して、前記第１ネットワークモデルを取得することとを含む。
【００１３】
いくつかの例示的な実施例において、前記第２ネットワークモデルのトレーニングプロセスは、第１ビューの第１サンプル２次元キーポイント、第２ビューの第２サンプル２次元キーポイントおよびニューラルネットワークに基づいて、３次元キーポイントを取得することと、注釈３次元キーポイントおよび前記３次元キーポイントに基づいて、前記ニューラルネットワークのネットワークパラメータを調整して、前記第２ネットワークモデルを取得することとを含む。
【００１４】
本発明の実施例は、３次元人体姿勢情報の検出装置をさらに提供し、前記装置は、取得ユニット、２次元情報処理ユニットおよび３次元情報処理ユニットを備え、ここで、前記取得ユニットは、第１ビュー画像における目標対象の肢体の第１キーポイントを取得するように構成され、
前記２次元情報処理ユニットは、前記取得ユニットによって取得された前記第１キーポイントに基づいて、第２ビュー画像における前記目標対象の肢体の第２キーポイントを取得するように構成され、
前記３次元情報処理ユニットは、前記取得ユニットによって取得された前記第１キーポイントおよび前記２次元情報処理ユニットによって取得された前記第２キーポイントに基づいて、前記目標対象の肢体の目標３次元キーポイントを取得するように構成される。
【００１５】
いくつかの例示的な実施例において、前記３次元情報処理ユニットは、第１処理モジュールおよび調整モジュールを備え、ここで、前記第１処理モジュールは、前記第１キーポイントおよび前記第２キーポイントに基づいて、初期３次元キーポイントを取得するように構成され、
前記調整モジュールは、前記第１処理モジュールによって取得された前記初期３次元キーポイントを調整して、目標３次元キーポイントを取得するように構成される。
【００１６】
いくつかの例示的な実施例において、前記調整モジュールは、前記第１キーポイントおよびプリセットのカメラキャリブレーションパラメータに基づいて、３次元投影区間を決定し、前記３次元投影区間において、前記初期３次元キーポイントとの距離がプリセット条件を満たす３次元キーポイントを取得するように構成され、前記３次元キーポイントを目標３次元キーポイントとして使用する。
【００１７】
いくつかの例示的な実施例において、前記３次元投影区間は、前記第１キーポイントと投影関係を有する３次元間隔であり、前記３次元投影区間における各３次元キーポイントは、前記プリセットのカメラキャリブレーションパラメータによって、前記第１キーポイントが配置されている平面に投影された後、すべてが前記第１キーポイントが配置されている平面における第１キーポイントの１つと一致する。
【００１８】
いくつかの例示的な実施例において、前記調整モジュールは、プリセットのステップサイズに応じて、前記３次元投影区間における複数の３次元キーポイントを取得し、各３次元キーポイントと前記初期３次元キーポイントとの間のユークリッド距離をそれぞれ計算して、最も小さいユークリッド距離を有する３次元キーポイントを前記目標３次元キーポイントとして決定するように構成される。
【００１９】
いくつかの例示的な実施例において、前記２次元情報処理ユニットは、前記第１キーポイントおよび事前トレーニングにより取得された第１ネットワークモデルに基づいて、前記第２キーポイントを取得するように構成され、
前記第１処理モジュールは、前記第１キーポイント、前記第２キーポイントおよび事前トレーニングにより取得された第２ネットワークモデルに基づいて、前記初期３次元キーポイントを取得するように構成される。
【００２０】
いくつかの例示的な実施例において、前記装置は、第１ビューのサンプル２次元キーポイントおよびニューラルネットワークに基づいて、第２ビューの２次元キーポイントを取得し、注釈２次元キーポイントおよび前記２次元キーポイントに基づいて、前記ニューラルネットワークのネットワークパラメータを調整して、前記第１ネットワークモデルを取得するように構成される第１トレーニングユニットをさらに備える。
【００２１】
いくつかの例示的な実施例において、前記装置は、第１ビューの第１サンプル２次元キーポイント、第２ビューの第２サンプル２次元キーポイントおよびニューラルネットワークに基づいて、３次元キーポイントを取得し、注釈３次元キーポイントおよび前記３次元キーポイントに基づいて、前記ニューラルネットワークのネットワークパラメータを調整して、前記第２ネットワークモデルを取得するように構成される第２トレーニングユニットをさらに備える。
【００２２】
本発明の実施例は、コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体をさらに提供し、前記プログラムがプロセッサによって実行されるときに、本発明の実施例に記載の方法のステップを実現する。
【００２３】
本発明の実施例は、電子機器をさらに提供し、前記電子機器は、メモリ、プロセッサおよびメモリに記憶され且つプロセッサで実行可能なコンピュータプログラムを備え、前記プロセッサが、前記プログラムを実行するときに、本発明の実施例に記載の方法のステップを実現する。
【発明の効果】
【００２４】
本発明の実施例は、３次元人体姿勢情報の検出方法および装置、電子機器、記憶媒体を提供し、前記方法は、第１ビュー画像における目標対象の肢体の第１キーポイントを取得することと、前記第１キーポイントに基づいて、第２ビュー画像における前記目標対象の肢体の第２キーポイントを取得することと、前記第１キーポイントおよび前記第２キーポイントに基づいて、前記目標対象の肢体の目標３次元キーポイントを取得することとを含む。本発明の実施例の技術的解決策を採用すると、１つのビュー（または視角）の２次元キーポイントを介して別のビュー（または視角）の２次元キーポイントを取得し、２つのビュー（または視角）の２次元キーポイントを介して目標３次元キーポイントを取得し、それにより、深度予測の不確実性をある程度低下させ、３次元キーポイントの正確度を向上させ、ネットワークモデルの精度も向上させる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施例の３次元人体姿勢情報の検出方法の一例示的なフローチャートである。
【図２】本発明の実施例の３次元人体姿勢情報の検出方法別の例示的なフローチャートである。
【図３ａ】本発明の実施例の３次元人体姿勢情報の検出方法の例示的なデータ処理のフローチャートである。
【図３ｂ】本発明の実施例の３次元人体姿勢情報の検出方法の例示的なデータ処理のフローチャートである。
【図４】本発明の実施例の３次元人体姿勢情報の検出方法における調整モジュールの調整原理の概略図である。
【図５】本発明の実施例の３次元人体姿勢情報の検出装置の構成の一例示的な構造図である。
【図６】本発明の実施例の３次元人体姿勢情報の検出装置の別の構成の例示的な構造図である。
【図７】本発明の実施例の３次元人体姿勢情報の検出装置のさらに別の構成の例示的な構造図である。
【図８】本発明の実施例の電子機器の例示的なハードウェアの構成の構造図である。
【発明を実施するための形態】
【００２６】
以下、図面および具体的な実施例を参照して、本発明をさらに詳細に説明する。
【００２７】
本発明の実施例は、３次元人体姿勢情報の検出方法を提供する。図１は、本発明の実施例の３次元人体姿勢情報の検出方法の一例示的なフローチャートであり、図１に示されたように、前記方法は、次のステップを含む。
【００２８】
ステップ１０１において、第１ビュー画像における目標対象の肢体の第１キーポイントを取得する。
【００２９】
ステップ１０２において、第１キーポイントに基づいて、第２ビュー画像における目標対象の肢体の第２キーポイントを取得する。
【００３０】
ステップ１０３において、第１キーポイントおよび第２キーポイントに基づいて、目標対象の肢体の目標３次元キーポイントを取得する。
【００３１】
本実施例では、第１ビュー画像は、画像収集機器と目標対象との間が第１相対位置関係（または第１視角とも呼ばれる）を有する時に取得した画像に対応し、対応的に、第２ビュー画像は、画像収集機器と目標対象との間が第２相対位置関係（または第２視角とも呼ばれる）を有する時に取得した画像に対応する。
【００３２】
いくつかの実施例において、第１ビュー画像は左目ビュー画像として理解することができ、第２ビュー画像は右目ビュー画像として理解することができ、逆に、第１ビュー画像は右目ビュー画像として理解することができ、第２ビュー画像は左目ビュー画像として理解することができる。
【００３３】
いくつかの実施例において、第１ビュー画像および第２ビュー画像は、双目カメラにおける２つのカメラによってそれぞれ収集された画像に対応し、または目標対象の周辺に配置された２つの画像収集機器のそれぞれによって取得された画像に対応することができる。
【００３４】
本実施例におけるキーポイント（第１キーポイントおよび第２キーポイントを含む）は、目標対象の肢体のキーポイントに対応する。ここで、目標対象の肢体のキーポイントは、関節点など、目標対象の骨格キーポイントを含み、もちろん、目標対象の肢体を注釈できる他のキーポイントも本実施例におけるキーポイントとして使用されることができ、例示的に、目標対象のキーポイントは、目標対象のエッジキーポイントをさらに含み得る。
【００３５】
いくつかの実施例において、第１ビュー画像における目標対象の肢体の第１キーポイントを取得することは、ゲームエンジンを介して目標対象の肢体の第１キーポイントを取得することを含み、ゲームエンジンは、２次元人体キーポイントを取得できるエンジンである。本実施形態では、ゲームエンジンは、人体の様々な姿勢をシミュレーションし、それにより、様々な姿勢での人体の２次元人体キーポイントを取得することができる。ゲームエンジンは、実世界におけるほとんどの姿勢の構築をサポートし、それにより、各姿勢での人体のキーポイントを取得することを理解されたい。当該ゲームエンジンを介して、各姿勢に対応する多数のキーポイントを取得することができ、これらのキーポイントで構成されたデータセットは、当該データセットによってトレーニングされたネットワークモデルの一般化を大幅に強化し、ネットワークモデルを実際のシーンや実際のモーションに適合させることができることを理解されたい。
【００３６】
いくつかの実施例において、第１ビュー画像における目標対象の肢体の第１キーポイントを取得することは、キーポイント抽出ネットワークに第１ビュー画像を入力して、第１ビュー画像における目標対象の第１キーポイントを取得することを含む。本実施例は、実世界におけるほとんどの姿勢を含む画像データセットを構築し、事前にトレーニングされたキーポイント抽出ネットワークに画像データセットを入力し、それにより、各第１ビュー画像における目標対象の肢体の第１キーポイントを取得することができることを理解されたい。
【００３７】
本発明のいくつかの例示的な実施例において、第１キーポイントに基づいて、第２ビュー画像における目標対象の肢体の第２キーポイントを取得することは、第１キーポイントおよび事前トレーニングにより取得された第１ネットワークモデルに基づいて、第２ビュー画像における目標対象の肢体の第２キーポイントを取得することを含む。
【００３８】
本実施例は、第１キーポイントを第１ネットワークモデルに入力することにより、第２ビュー画像に対応する第２キーポイントを取得する。例示的に、第１ネットワークモデルは、全結合ネットワーク構造モデルであってもよい。
【００３９】
本発明のいくつかの例示的な実施例において、第１キーポイントおよび第２キーポイントに基づいて、目標３次元キーポイントを取得することは、第１キーポイント、第２キーポイントおよびトレーニングによって取得された第２ネットワークモデルに基づいて、目標３次元キーポイントを取得することを含む。
【００４０】
本実施例は、第１キーポイントおよび第２キーポイントを第２ネットワークモデルに入力することにより、目標対象の肢体の目標３次元キーポイントを取得する。例示的に、第２ネットワークモデルは、全結合ネットワーク構造モデルであってもよい。
【００４１】
本発明のいくつかの例示的な実施例において、第１ネットワークモデルおよび第２ネットワークモデルは同じネットワーク構造を有する。ここで、第１ネットワークモデルと第２ネットワークモデルの違いは、第１ネットワークモデルは第２ビュー画像に対応する２次元キーポイントの座標情報を出力するために使用され、第２ネットワークモデルは、３次元キーポイントの座標情報を出力するために使用される。
【００４２】
本発明の実施例の技術案を採用すると、１つのビュー（または視角）の２次元キーポイントを介して別のビュー（または視角）の２次元キーポイントを取得し、２つのビュー（または視角）の２次元キーポイントを介して目標３次元キーポイントを取得し、それにより、深度予測の不確実性をある程度低下させ、３次元キーポイントの正確度を向上させ、ネットワークモデルの精度も向上させる。
【００４３】
本発明の実施例は、３次元人体姿勢情報の検出方法をさらに提供する。図２は、本発明の実施例の３次元人体姿勢情報の検出方法の別の例示的なフローチャートであり、図２に示されたように、前記方法は、次のステップを含む。
【００４４】
ステップ２０１において、第１ビュー画像における目標対象の肢体の第１キーポイントを取得する。
【００４５】
ステップ２０２において、第１キーポイントおよび事前トレーニングにより取得された第１ネットワークモデルに基づいて、第２ビュー画像における目標対象の肢体の第２キーポイントを取得する。
【００４６】
ステップ２０３において、第１キーポイントおよび第２キーポイントに基づいて、初期３次元キーポイントを取得する。
【００４７】
ステップ２０４において、初期３次元キーポイントを調整して、目標３次元キーポイントを取得する。
【００４８】
本実施例では、ステップ２０１ないしステップ２０２の具体的な実施形態は、前述のステップ１０１ないしステップ１０２の関連説明を参照することができ、スペースを節約するため、ここでは繰り返して説明しない。
【００４９】
本実施例のステップ２０３では、第１キーポイントおよび第２キーポイントに基づいて、初期３次元キーポイントを取得することは、第１キーポイント、第２キーポイントおよび事前トレーニングにより取得された第２ネットワークモデルに基づいて、初期３次元キーポイントを取得することを含む。
【００５０】
本実施例では、第２ネットワークモデルから出力された３次元キーポイント（即ち、初期３次元キーポイントである）は、最終的な正確な目標３次元キーポイントではなく、初期３次元キーポイントが、粗い３次元キーポイントであると理解することができ、さらに、初期３次元キーポイントを調整することにより、高精度の目標３次元キーポイントを取得することを理解されたい。
【００５１】
本実施例のネットワークモデルは第１ネットワークモデル、第２ネットワークモデルおよび調整モジュールを備え、第１キーポイントを第１ネットワークモデルに入力することにより、第２ビュー画像に対応する第２キーポイントを取得し、第１キーポイントおよび第２キーポイントを第２ネットワークモデルに入力して、初期３次元キーポイントを取得し、調整モジュールを介して初期３次元キーポイントを調整して、目標３次元キーポイントを取得することを理解されたい。
【００５２】
図３ａおよび図３ｂは、本発明の実施例の３次元人体姿勢情報の検出方法のデータ処理の例示的なフローチャートであり、図３ａに示されたように、入力された第１キーポイントが左側面図の２次元キーポイント座標であることを例とすると、第１ネットワークモデルの処理により、右側面図の２次元キーポイント座標を取得し、左側面図の２次元キーポイント座標および右側面図の２次元キーポイント座標を第２ネットワークモデルに入力して、初期３次元キーポイント座標を取得し、初期３次元キーポイント座標を調整モジュールに入力して、目標３次元キーポイント座標を取得する。ここで、左側面図および右側面図は左目ビューおよび右目ビューとして理解されることができる。
【００５３】
具体的には、図３ｂに示されたように、第１ネットワークモデルおよび第２ネットワークモデルは同じネットワーク構造を有することができる。第１ネットワークモデルを例とすると、第１ネットワークモデルは、入力層、隠れ層および出力層を含み得、各層は関数によって実現されることができ、層と層の間はカスケード方式により接続することができ、第１ネットワークモデルは、リニア関数処理（Ｌｉｎｅａｒ）層、バッチ正規化（ＢＮ：Ｂａｔｃｈ  Ｎｏｒｍａｌｉｚａｔｉｏｎ）層、活性化関数ユニット（ＲｅＬＵ）層およびドロップアウト（Ｄｒｏｐｏｕｔ）層を含み得、ここで、第１ネットワークモデルは、複数のブロック（ｂｌｏｃｋ）構造（図に示されたように、２つのｂｌｏｃｋ構造を含み得るが、本実施例は、２つのｂｌｏｃｋ構造に限定されない）を含み得、各ブロック構造は、少なくとも１セットのＬｉｎｅａｒ層、ＢＮ層、ＲｅＬＵ層およびＤｒｏｐｏｕｔ層（図に示されたように、各ｂｌｏｃｋ構造は、２セットのＬｉｎｅａｒ層、ＢＮ層、ＲｅＬＵ層およびＤｒｏｐｏｕｔ層を含むが、本実施例は２セットに限定されない）を含み、ここで、１つのブロック構造の入力データは、前のモジュールの出力データであってもよく、前のモジュールの出力データとその前のモジュールの出力データの和であってもよく、例えば、図に示されたように、最初のＤｒｏｐｏｕｔ層によって出力されたデータは、最初のｂｌｏｃｋ構造の入力データとして使用されてもよく、最初のｂｌｏｃｋ構造の出力データとともに２番目のｂｌｏｃｋ構造の入力データとして使用されてもよい。
【００５４】
本発明のいくつかの例示的な実施例において、第１ネットワークモデルのトレーニングプロセスは、第１ビューのサンプル２次元キーポイントおよびニューラルネットワークに基づいて、第２ビューの２次元キーポイントを取得することと、注釈２次元キーポイントおよび前記２次元キーポイントに基づいて、前記ニューラルネットワークのネットワークパラメータを調整して、前記第１ネットワークモデルを取得することとを含む。前記第２ネットワークモデルのトレーニングプロセスは、第１ビューの第１サンプル２次元キーポイント、第２ビューの第２サンプル２次元キーポイントおよびニューラルネットワークに基づいて、３次元キーポイントを取得することと、注釈３次元キーポイントおよび前記３次元キーポイントに基づいて、前記ニューラルネットワークのネットワークパラメータを調整して、前記第２ネットワークモデルを取得することとを含む。ここで、第１ネットワークモデルおよび第２ネットワークモデルは同じネットワーク構造を有する。具体的には、図３ｂに示す。ここで、第１ネットワークモデルおよび第２ネットワークモデルの違いは、第１ネットワークモデルは第２ビュー画像に対応する２次元キーポイントを出力するために使用され、第２ネットワークモデルは、３次元キーポイントを出力するために使用される。
【００５５】
本実施例では、ゲームエンジンを介して、サンプル２次元キーポイントおよびサンプル３次元キーポイントで構成された複数の２Ｄ−３Ｄデータペアを取得することができ、ここで、ゲームエンジンは、２次元人体キーポイントおよび／または３次元人体キーポイントを取得できるエンジンである。本実施形態では、ゲームエンジンは、人体の様々な姿勢をシミュレーションし、それにより、様々な姿勢での人体の２次元人体キーポイントおよび／または３次元人体キーポイントを取得することができる。ゲームエンジンは、実世界におけるほとんどの姿勢の構築をサポートし、それにより、各姿勢での人体に対応する２次元キーポイントおよび３次元キーポイントを取得し、各姿勢での異なるビュー（例えば、第１ビューおよび第２ビューを含む）の２次元キーポイントを構築することもでき、構築された第１ビューにおける２次元キーポイントは、第１ネットワークモデルをトレーニングするためのサンプルデータとして使用され、構築された第２ビューにおける２次元キーポイントは、第１ネットワークモデルをトレーニングするための注釈データとして使用されることができるなど、構築された２次元キーポイントは、第１ネットワークモデルをトレーニングするためのサンプルデータとして使用されることができることを理解されたい。構築された第１ビューおよび第２ビューにおける２次元キーポイントは、第２ネットワークモデルをトレーニングするためのサンプルデータとして使用されることができ、構築された第１ビューにおける３次元キーポイントは、第２ネットワークモデルをトレーニングするための注釈データとして使用されることができるなど、構築された２次元キーポイントは、第２ネットワークモデルをトレーニングするためのサンプルデータとして使用されることもできる。本実施例のサンプルデータは、実世界におけるほとんどの姿勢を含み得、ネットワークモデルを実際のシーンや実際のモーションに適合させることができ、既存の数は限定され、且つほとんどが実験室シナリオベースであるサンプルデータと比較すると、人物およびモーションを大幅に豊かにし、複雑な実際のシナリオに適合することができ、当該データセットによってトレーニングされたネットワークモデルの一般化を大幅に強化し、イメージ背景による干渉をエリアすることもできる。
【００５６】
例示的に、図３ｂに示された第１ネットワークモデルのネットワーク構造を例とすると、第１ビューにおける２次元キーポイントを入力データとして、図３ｂに示された第１ネットワークモデルのネットワーク構造に入力し、データは、それぞれ、２セットのＬｉｎｅａｒ層、ＢＮ層、ＲｅＬＵ層およびＤｒｏｐｏｕｔ層を含むブロック構造の処理により、第２ビューにおける２次元キーポイントを取得し、２次元キーポイントの座標および注釈２次元キーポイントの座標に基づいて損失関数を決定し、損失関数に基づいて、２セットのＬｉｎｅａｒ層、ＢＮ層、ＲｅＬＵ層およびＤｒｏｐｏｕｔ層を含むブロック構造のネットワークパラメータを調整し、それにより、第１ネットワークモデルを取得する。第２ネットワークモデルのトレーニング方式は、上記の第１ネットワークモデルのトレーニング方式と類似し、ここでは繰り返して説明しない。
【００５７】
本発明のいくつかの例示的な実施例において、初期３次元キーポイントを調整して、目標３次元キーポイントを取得することは、第１キーポイントおよびプリセットのカメラキャリブレーションパラメータに基づいて、３次元投影区間を決定することと、３次元投影区間において、初期３次元キーポイントとの距離がプリセット条件を満たす３次元キーポイントを取得することであって、３次元キーポイントを目標３次元キーポイントとして使用することとを含む。ここで、３次元投影区間は、第１キーポイントと投影関係を有する３次元間隔であり、３次元投影区間における各３次元キーポイントは、第１キーポイントが配置されている平面にプリセットのカメラキャリブレーションパラメータによって投影され、第１キーポイントが配置されている平面における１つの第１キーポイントとそれぞれ一致する。
【００５８】
図４は、本発明の実施例の３次元人体姿勢情報の検出方法における調整モジュールの調整原理の概略図であり、図４に示されたように、２次元イメージの全てが同じ画像収集機器からのものであると仮定すると、即ち、２次元キーポイント（本実施例では、即ち、第１キーポイントおよび第２キーポイントを含む）の全ては同じ画像収集機器に対応すると仮定すると、２次元キーポイントの全ては同じプリセットのカメラキャリブレーションパラメータに対応し、この仮定に基づいて、次の技術案が提案される。第１キーポイントを取得する時に、第１キーポイントに対応する真の３次元キーポイントを取得し、取得された真の３次元キーポイントが図４の点
【００５９】
【化１】
2021527877.tif 000003
【００６０】
であると仮定すると、点
【００６１】
【化２】
2021527877.tif 000004
【００６２】
は、第１キーポイントが配置されている平面に、プリセットのカメラキャリブレーションパラメータによって投影され、第１キーポイントが配置されている平面における１つの第１キーポイント（図４の点
【００６３】
【化３】
2021527877.tif 000005
【００６４】
など）と一致する。当該原理に基づいて、図４を参照すると、第１キーポイントおよびプリセットのカメラキャリブレーションパラメータに基づいて、３次元投影区間を決定し、３次元投影区間は、第１キーポイントと投影関係を有する３次元間隔であり、図４に示された斜線のように、当該斜線は、３次元投影区間を示す。例えば、カメラレンズの中心点を座標原点とし、カメラレンズが配置されている平面をｘｙ平面とし、カメラレンズに垂直し、且つカメラレンズと離れる方向をｚ軸方向として、３次元座標系を構築し、当該３次元投影区間は、上記の３次元座標系における３次元座標で示された３次元間隔であってもよい。当該３次元投影区間における各３次元キーポイント
【００６５】
【化４】
2021527877.tif 000006
【００６６】
は、第１キーポイントが配置されている平面に、プリセットのカメラキャリブレーションパラメータによって投影され、第１キーポイント
【００６７】
【化５】
2021527877.tif 000007
【００６８】
とそれぞれ一致することを理解されたい。通常、第２ネットワークモデルによって取得された初期３次元キーポイントは、真の３次元キーポイントとある程度の差があり、即ち、初期３次元キーポイントは、完全に正確なものではない。初期３次元キーポイントは、当該３次元投影区間内に位置しない可能性があり、初期３次元キーポイントが点
【００６９】
【化６】
2021527877.tif 000008
【００７０】
であることを例とすると、当該３次元投影区間に対応する座標範囲に基づいて、点
【００７１】
【化７】
2021527877.tif 000009
【００７２】
である３次元キーポイントとの距離がプリセット条件を満たす３次元キーポイントを取得し、図４に示されたように、キーポイント
【００７３】
【化８】
2021527877.tif 000010
【００７４】
を、プリセット条件を満たす３次元キーポイントをとして取得し、キーポイント
【００７５】
【化９】
2021527877.tif 000011
【００７６】
の座標を目標３次元キーポイントとして使用することを理解されたい。
【００７７】
本発明のいくつかの例示的な実施例において、３次元投影区間において、初期３次元キーポイントとの距離がプリセット条件を満たす３次元キーポイントを取得することは、プリセットのステップサイズに応じて、３次元投影区間における複数の３次元キーポイントを取得することと、各３次元キーポイントと初期３次元キーポイントとの間のユークリッド距離をそれぞれ計算して、最も小さいユークリッド距離を有する３次元キーポイントを目標３次元キーポイントとして決定することとを含む。
具体的に、図４を参照すると、３次元投影区間の座標範囲を決定し、座標範囲において深度情報（即ち、図に示されたｚ軸情報である）を示す最小値から始め、プリセットのステップサイズ（ｓｔｅｐ）に応じて、複数の３次元キーポイントを取得し、取得された複数の３次元キーポイントは、図４の点
【００７８】
【化１０】
2021527877.tif 000012
【００７９】
に対応する。例えば、座標範囲において深度情報を示す最小値が０であると、
【００８０】
【化１１】
2021527877.tif 000013
【００８１】
から始め、
【００８２】
【化１２】
2021527877.tif 000014
【００８３】
のように順次に重ね合わせ、それにより、図に示された複数の点
【００８４】
【化１３】
2021527877.tif 000015
【００８５】
を取得し、また、各点
【００８６】
【化１４】
2021527877.tif 000016
【００８７】
と初期３次元キーポイント（即ち、図４の点
【００８８】
【化１５】
2021527877.tif 000017
【００８９】
である）との間のユークリッド距離をそれぞれ計算し、最も小さいユークリッド距離を有する３次元キーポイントを目標３次元キーポイントとして選択し、図に示されたキーポイント
【００９０】
【化１６】
2021527877.tif 000018
【００９１】
は、目標３次元キーポイントとして使用される。
【００９２】
本発明の実施例の技術案を採用すると、１つのビュー（または視角）の２次元キーポイントを介して別のビュー（または視角）の２次元キーポイントを取得し、２つのビュー（または視角）の２次元キーポイントを介して目標３次元キーポイントを取得し、それにより、深度予測の不確実性をある程度低下させ、３次元キーポイントの正確度を向上させ、ネットワークモデルの精度も向上させ、さらに、調整モジュールが３次元キーポイント座標を最初の第１キーポイント座標に投影できるという原理に基づいて、第２ネットワークモデルによって出力された初期３次元キーポイント座標を調整することにより、予測する３次元キーポイントの精度を大幅に向上させる。
【００９３】
本発明の実施例の技術案は、２次元キーポイントを入力することにより正確な３次元キーポイントの出力を実現し、スマートビデオ分析に適用されることができ、ビデオ画像における人体に対して人体３Ｄモデールのモデリングを実行し、検出された３Ｄモデルを介して、人体に対して、模倣、分析、スポーツ情報統計などのいくつかのスマート操作に適用され、および危険なモーションの識別および分析を実現するためのビデオモニタリングシナリオに適用されることができる。
【００９４】
本発明の実施例の技術案は、２次元キーポイントを入力することにより、正確な３次元キーポイントの出力を実現することができ、仮想現実増強のシナリオに適用されることができ、仮想３Ｄシーンにおける人体をモデリングすることができ、モデルにおける検出した特徴点（３次元キーポイントなど）を使用して、仮想シナリオにおける人体に対する制御および相互作用を実行し、およびショッピングアプリケーションにおける人体の着替えや仮想人体のモーションの相互作用などのを含むシナリオに適用される。
【００９５】
本発明の実施例は、３次元人体姿勢情報の検出装置をさらに提供する。図５は、本発明の実施例の３次元人体姿勢情報の検出装置の構成の例示的な構造図であり、図５に示されたように、装置は、取得ユニット３１、２次元情報処理ユニット３２および３次元情報処理ユニット３３を備え、ここで、取得ユニット３１は、第１ビュー画像における目標対象の肢体の第１キーポイントを取得するように構成され、
２次元情報処理ユニット３２は、取得ユニット３１によって取得された第１キーポイントに基づいて、第２ビュー画像における目標対象の肢体の第２キーポイントを取得するように構成され、
３次元情報処理ユニット３３は、取得ユニット３１によって取得された第１キーポイントおよび２次元情報処理ユニット３２によって取得された第２キーポイントに基づいて、目標対象の肢体の目標３次元キーポイントを取得するように構成される。
【００９６】
本発明のいくつかの例示的な実施例において、図６に示されたように、３次元情報処理ユニット３３は、第１処理モジュール３３１および調整モジュール３３２を備え、ここで、第１処理モジュール３３１は、第１キーポイントおよび第２キーポイントに基づいて、初期３次元キーポイントを取得するように構成され、
調整モジュール３３２は、第１処理モジュール３３１によって取得された初期３次元キーポイントを調整して、目標３次元キーポイントを取得するように構成される。
【００９７】
本発明のいくつかの例示的な実施例において、調整モジュール３３２は、第１キーポイントおよびプリセットのカメラキャリブレーションパラメータに基づいて、３次元投影区間を決定し、３次元投影区間において、初期３次元キーポイントとの距離がプリセット条件を満たす３次元キーポイントを取得するように構成され、３次元キーポイントを目標３次元キーポイントとして使用する。
【００９８】
ここで、３次元投影区間は、第１キーポイントと投影関係を有する３次元間隔であり、３次元投影区間における各３次元キーポイントは、第１キーポイントが配置されている平面にプリセットのカメラキャリブレーションパラメータによって投影され、第１キーポイントが配置されている平面における１つの第１キーポイントとそれぞれ一致する。
【００９９】
本発明のいくつかの例示的な実施例において、調整モジュール３３２は、プリセットのステップサイズに応じて、３次元投影区間における複数の３次元キーポイントを取得し、各３次元キーポイントと初期３次元キーポイントとの間のユークリッド距離をそれぞれ計算して、最も小さいユークリッド距離を有する３次元キーポイントを目標３次元キーポイントとして決定するように構成される。
【０１００】
本発明のいくつかの例示的な実施例において、２次元情報処理ユニット３２は、第１キーポイントおよび事前トレーニングにより取得された第１ネットワークモデルに基づいて、第２ビュー画像における前記目標対象の肢体の第２キーポイントを取得するように構成され、
第１処理モジュール３３１は、第１キーポイント、第２キーポイントおよび事前トレーニングにより取得された第２ネットワークモデルに基づいて、初期３次元キーポイントを取得するように構成される。
【０１０１】
本発明のいくつかの例示的な実施例において、図７に示されたように、装置は、第１ビューのサンプル２次元キーポイントおよびニューラルネットワークに基づいて、第２ビューの２次元キーポイントを取得し、注釈２次元キーポイントおよび前記２次元キーポイントに基づいて、前記ニューラルネットワークのネットワークパラメータを調整して、前記第１ネットワークモデルを取得するように構成される第１トレーニングユニット３４をさらに備える。
【０１０２】
本発明のいくつかの例示的な実施例において、図７に示されたように、前記装置は、第１ビューの第１サンプル２次元キーポイント、第２ビューの第２サンプル２次元キーポイントおよびニューラルネットワークに基づいて、３次元キーポイントを取得し、注釈３次元キーポイントおよび前記３次元キーポイントに基づいて、前記ニューラルネットワークのネットワークパラメータを調整して、前記第２ネットワークモデルを取得するように構成される第２トレーニングユニット３５をさらに備える。
【０１０３】
本発明の実施例では、３次元人体姿勢情報の検出装置における取得ユニット３１、２次元情報処理ユニット３２、３次元情報処理ユニット３３（第１処理モジュール３３１および調整モジュール３３２を備える）、第１トレーニングユニット３４および第２トレーニングユニット３５の全ては、実際の応用では、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、マイクロプロセッサ（ＭＣＵ：Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ  Ｕｎｉｔ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）によって実現できる。
【０１０４】
上述の実施例で提供された３次元人体姿勢情報の検出装置は、３次元人体姿勢情報の検出を実行する時に、上述の各プログラムモジュールの分割のみを例に挙げて説明しているが、実際の応用では、必要に応じて、上述の処理を異なるプログラムモジュールに割り当てて完了することができ、即ち、装置の内部構造を異なるプログラムモジュールに分割して、以上で説明された処理の全てまたは一部を完了することに留意されたい。さらに、上記の実施例で提供された３次元人体姿勢情報の検出装置は、３次元人体姿勢情報の検出方法の実施例と同じ構想に属し、その具体的な実現プロセスについては方法の実施例を参照し、ここでは繰り返して説明しない。
【０１０５】
本発明の実施例は、電子機器をさらに提供し、図８は、本発明の実施例の電子機器のハードウェアの構成の例示的な構造図であり、図８に示されたように、電子機器は、メモリ４２、プロセッサ４１およびメモリ４２に記憶された、プロセッサ４１によって実行可能なコンピュータプログラムを備え、プロセッサ４１がプログラムを実行する時に、本発明の実施例の方法のステップを実現する。
【０１０６】
電子機器における各コンポーネントは、バスシステム４３を介して結合されることを理解されたい。バスシステム４３は、これらのコンポーネント間の接続通信を具現するために使用されることを理解されたい。データバスに加えて、バスシステム４３は、電力バス、制御バスおよびステータス信号バスを備える。しかしながら、説明を明確にするために、図８では様々なバスをすべてバスシステム４３として表記されている。
【０１０７】
メモリ４２は、揮発性メモリまたは不揮発性メモリであってもよく、または揮発性および不揮発性メモリの両方を含んでもよいことを理解されたい。ここで、不揮発性メモリは、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、強磁性ランダムアクセスメモリ（ＦＲＡＭ（登録商標）：ｆｅｒｒｏｍａｇｎｅｔｉｃ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）フラッシュメモリ（Ｆｌａｓｈ  Ｍｅｍｏｒｙ）、磁気メモリ、コンパクトディスク、または読み取り専用コンパクトディスク（ＣＤ−ＲＯＭ：Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）であり得、磁気メモリは、磁気ディスクメモリまたは磁気テープメモリであり得る。揮発性メモリは、外部キャッシュとして使用されるランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）であってもよい。例示的であるが限定的な説明ではないが、例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ：Ｓｔａｔｉｃ  ＲＡＭ）、同期スタティックランダムアクセスメモリ（ＳＳＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ  Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ：Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ダブルデータレートの同期ダイナミックランダムアクセスメモリ（ＤＤＲＳＤＲＡＭ：Ｄｏｕｂｌｅ  Ｄａｔａ  Ｒａｔｅ  Ｓｙｎｃｈｒｏｎｏｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、強化された同期ダイナミックランダムアクセスメモリ（ＥＳＤＲＡＭ：Ｅｎｈａｎｃｅｄ  Ｓｙｎｃｈｒｏｎｏｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ダイナミックランダムアクセスメモリの同期接続（ＳＬＤＲＡＭ：ＳｙｎｃＬｉｎｋ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）およびダイレクトメモリバスランダムアクセスメモリ（ＤＲＲＡＭ（登録商標）：Ｄｉｒｅｃｔ  Ｒａｍｂｕｓ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）など様々な形のＲＡＭを使用することができる。本発明の実施例で説明されるメモリ７０２は、これらおよび任意の他の適切なタイプのメモリを備えることが意図されているが、これらに限定されない。
【０１０８】
上記の本発明の実施例で開示された方法は、プロセッサ４１に適用されてもよく、またはプロセッサ４１によって実現されてもよい。プロセッサ４１は、信号処理機能を備える集積回路チップであり得る。具現プロセスにおいて、上記した方法の各ステップは、プロセッサ４１におけるハードウェアの集積論理回路またはソフトウェアの形の命令を介して完了されることができる。上記のプロセッサ４１は、汎用プロセッサ、ＤＳＰ、または他のプログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどであってもよい。プロセッサ４１は、本発明の実施例で開示された各方法、ステップおよび論理ブロック図を実現または実行することができる。汎用プロセッサはマイクロプロセッサであってもよく、または任意の従来のプロセッサなどであってもよい。本発明の実施例を組み合たせて開示された方法のステップは、直接に、ハードウェア復号化プロセッサによって実行されて完了すると具現されることができ、または復号化プロセッサにおけるハードウェアおよびソフトウェアモジュールの組み合わせによって実行して完了する。ソフトウェアモジュールは記憶媒体に配置されることができ、当該記憶媒体は、メモリ４２に配置され、プロセッサ４１は、メモリ４２内の情報を読み取り、そのハードウェアと組み合わせて前記方法のステップを完成する。
例示的な実施例において、電子機器は、前記方法を実行するために、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサ（ＤＳＰ）、プログラマブルロジックデバイス（ＰＬＤ）、複合プログラマブルロジックデバイス（ＣＰＬＤ：Ｃｏｍｐｌｅｘ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）、ＦＰＧＡ、汎用プロセッサ、コントローラ、ＭＣＵ、マイクロプロセッサ（Ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）または他の電子素子によって実現されることができる。
【０１０９】
本発明の実施例は、コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体をさらに提供し、当該プログラムがプロセッサによって実行されると、本発明の実施例の３次元人体姿勢情報の検出方法のステップを実現する。
【０１１０】
競合しない場合、本出願で提供されたいくつかの方法の実施例で開示された方法を任意に組み合わせて、新たな方法の実施例を取得することができる。
【０１１１】
競合しない場合、本出願で提供されたいくつかの製品の実施例で開示された技術的特徴を任意に組み合わせて、新たな製品の実施例を取得することができる。
【０１１２】
競合しない場合、本出願で提供されたいくつかの方法または機器の実施例で開示された技術的特徴を任意に組み合わせて、新たな方法の実施例または機器の実施例を取得することができる。
【０１１３】
本出願によって提供されるいくつかの実施例では、開示された装置および方法は、他の方法を通じて実現され得ることを理解されたい。上記で説明された機器の実施例は単なる例示的であり、例えば、前記ユニットの分割は論理的な機能の分割に過ぎない。実際の実現では、例えば、複数のユニットまたはコンポーネントを組み合わせたり、別のシステムに統合したり、一部の特徴を無視したり、実行しないなど、別の分割方法があることができる。なお、表示または議論される各構成要素間の相互結合または直接結合または通信接続は、いくつかのインターフェース、機器またはユニットを介した間接な結合または通信接続であり得、電気的、機械的または他の形態であり得る。
【０１１４】
上記の分離部材として説明されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示された部材は、物理ユニットである場合もそうでない場合もあり、１箇所に配置される場合もあれば、複数のネットワークユニットに分散される場合もあり、実際の必要に応じて、その一部またはすべてのユニットを選択して、本実施例の技術案の目的を具現することができる。
【０１１５】
なお、本発明の各実施例における各機能ユニットは、全部１つの処理ユニットに統合してもよいし、各ユニットを別々に１つのユニットとして使用してもよいし、２つ以上のユニットを１つのユニットに統合してもよい。上記の統合されたユニットは、ハードウェアの形態で、またはハードウェアおよびソフトウェア機能ユニットの形態で具現することができる。
【０１１６】
当業者は、上記した方法の実施例の全てまたは一部のステップは、プログラム命令に関連するハードウェアによって完了することができ、前記プログラムは、コンピュータ読み取り可能な記憶媒体に記憶されることができ、前記プログラムが実行されるとき、上記の方法の実施例のステップを実行し、前記記憶媒体は、モバイル記憶機器、ＲＯＭ、ＲＡＭ、磁気メモリまたは光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。
【０１１７】
あるいは、本発明の上記の統合されたユニットがソフトウェア機能モジュールの形で実現され、スタンドアロン製品として販売または使用される場合、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。このような理解に基づいて、本発明の実施例の技術的解決策は、本質的に、または既存の技術に貢献する部分は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶されて、一台のコンピュータ機器（パーソナルコンピュータ、サーバ、またはネットワーク機器などであリ得る）が本発明の各実施例の方法の全部または一部を実行するようにするためのいくつかの命令を含む。前述した記憶媒体は、リムーバブルストレージ、ＲＯＭ、ＲＡＭ、磁気メモリまたは光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。
【０１１８】
上記した内容は、本発明の具体的な実施形態に過ぎないが、本発明の保護範囲はこれに限定されず、当業者は、本発明に開示された技術的範囲内で容易に想到し得る変更または置換は、すべて本発明の保護範囲内に含まれるべきである。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に従うものとする。
【図１】
2021527877.tif 000019
【図２】
2021527877.tif 000020
【図３ａ】
2021527877.tif 000021
【図３ｂ】
2021527877.tif 000022
【図４】
2021527877.tif 000023
【図５】
2021527877.tif 000024
【図６】
2021527877.tif 000025
【図７】
2021527877.tif 000026
【図８】
2021527877.tif 000027
【手続補正書】
【提出日】令和2年12月11日(2020.12.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
３次元人体姿勢情報の検出方法であって、
第１ビュー画像における目標対象の肢体の第１キーポイントを取得することと、
前記第１キーポイントに基づいて、第２ビュー画像における前記目標対象の肢体の第２キーポイントを取得することと、
前記第１キーポイントおよび前記第２キーポイントに基づいて、前記目標対象の肢体の目標３次元キーポイントを取得することとを含む、前記３次元人体姿勢情報の検出方法。
【請求項２】
前記第１キーポイントおよび前記第２キーポイントに基づいて３次元キーポイントを取得することは、
前記第１キーポイントおよび前記第２キーポイントに基づいて、初期３次元キーポイントを取得することと、
前記初期３次元キーポイントを調整して、目標３次元キーポイントを取得することとを含む、
請求項１に記載の３次元人体姿勢情報の検出方法。
【請求項３】
前記初期３次元キーポイントを調整して、目標３次元キーポイントを取得することは、
前記第１キーポイントおよびプリセットのカメラキャリブレーションパラメータに基づいて、３次元投影区間を決定することと、
前記３次元投影区間において、前記初期３次元キーポイントとの距離がプリセット条件を満たす３次元キーポイントを取得することであって、前記３次元キーポイントを目標３次元キーポイントとして使用することとを含む、
請求項２に記載の３次元人体姿勢情報の検出方法。
【請求項４】
前記３次元投影区間は、前記第１キーポイントと投影関係を有する３次元間隔であり、
前記３次元投影区間における各３次元キーポイントは、前記プリセットのカメラキャリブレーションパラメータによって、前記第１キーポイントが配置されている平面に投影された後、すべてが前記第１キーポイントが配置されている平面における第１キーポイントの１つと一致する、
請求項３に記載の３次元人体姿勢情報の検出方法。
【請求項５】
前記３次元投影区間において、前記初期３次元キーポイントとの距離がプリセット条件を満たす３次元キーポイントを取得することは、
プリセットのステップサイズに応じて、前記３次元投影区間における複数の３次元キーポイントを取得することと、
各３次元キーポイントと前記初期３次元キーポイントとの間のユークリッド距離をそれぞれ計算して、最も小さいユークリッド距離を有する３次元キーポイントを前記目標３次元キーポイントとして決定することとを含む、
請求項３または４に記載の３次元人体姿勢情報の検出方法。
【請求項６】
前記第１キーポイントに基づいて、第２ビュー画像における前記目標対象の肢体の第２キーポイントを取得することは、
前記第１キーポイントおよび事前トレーニングにより取得された第１ネットワークモデルに基づいて、第２ビュー画像における前記目標対象の肢体の前記第２キーポイントを取得することを含み、
前記第１キーポイントおよび前記第２キーポイントに基づいて、初期３次元キーポイントを取得することは、
前記第１キーポイント、前記第２キーポイントおよび事前トレーニングにより取得された第２ネットワークモデルに基づいて、前記初期３次元キーポイントを取得することを含む、
請求項２ないし５のいずれか一項に記載の３次元人体姿勢情報の検出方法。
【請求項７】
前記第１ネットワークモデルのトレーニングプロセスは、
第１ビューのサンプル２次元キーポイントおよびニューラルネットワークに基づいて、第２ビューの２次元キーポイントを取得することと、
注釈２次元キーポイントおよび前記２次元キーポイントに基づいて、前記ニューラルネットワークのネットワークパラメータを調整して、前記第１ネットワークモデルを取得することとを含む、
請求項６に記載の３次元人体姿勢情報の検出方法。
【請求項８】
前記第２ネットワークモデルのトレーニングプロセスは、
第１ビューの第１サンプル２次元キーポイント、第２ビューの第２サンプル２次元キーポイントおよびニューラルネットワークに基づいて、３次元キーポイントを取得することと、
注釈３次元キーポイントおよび前記３次元キーポイントに基づいて、前記ニューラルネットワークのネットワークパラメータを調整して、前記第２ネットワークモデルを取得することとを含む、
請求項６に記載の３次元人体姿勢情報の検出方法。
【請求項９】
３次元人体姿勢情報の検出装置であって、
取得ユニット、２次元情報処理ユニットおよび３次元情報処理ユニットを備え、
前記取得ユニットは、第１ビュー画像における目標対象の肢体の第１キーポイントを取得するように構成され、
前記２次元情報処理ユニットは、前記取得ユニットによって取得された前記第１キーポイントに基づいて、第２ビュー画像における前記目標対象の肢体の第２キーポイントを取得するように構成され、
前記３次元情報処理ユニットは、前記取得ユニットによって取得された前記第１キーポイントおよび前記２次元情報処理ユニットによって取得された前記第２キーポイントに基づいて、前記目標対象の肢体の目標３次元キーポイントを取得するように構成される、前記３次元人体姿勢情報の検出装置。
【請求項１０】
コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体であって、
前記プログラムがプロセッサによって実行されるときに、請求項１ないし８のいずれか一項に記載の方法のステップを実現する、前記コンピュータ読み取り可能な記憶媒体。
【請求項１１】
電子機器であって、
メモリ、プロセッサ、およびメモリに記憶された、コンピュータによって実行可能なコンピュータプログラムを備え、前記プロセッサが、前記プログラムを実行するときに、請求項１ないし８のいずれか一項に記載の方法のステップを実現する、前記電子機器。
【請求項１２】
コンピュータ読み取り可能な記憶媒体に記憶され、コンピュータ読み取り可能なコードを含むコンピュータプログラム製品であって、
前記コンピュータ読み取り可能なコードが機器で実行される時に、前記機器内のプロセッサは、請求項１ないし８のいずれか一項に記載の方法を実現するための命令を実行する、前記コンピュータプログラム製品。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
本発明の実施例は、電子機器をさらに提供し、前記電子機器は、メモリ、プロセッサおよびメモリに記憶され且つプロセッサで実行可能なコンピュータプログラムを備え、前記プロセッサが、前記プログラムを実行するときに、本発明の実施例に記載の方法のステップを実現する。
例えば、本願は丘の項目を提供する。
（項目１）
３次元人体姿勢情報の検出方法であって、
第１ビュー画像における目標対象の肢体の第１キーポイントを取得することと、
前記第１キーポイントに基づいて、第２ビュー画像における前記目標対象の肢体の第２キーポイントを取得することと、
前記第１キーポイントおよび前記第２キーポイントに基づいて、前記目標対象の肢体の目標３次元キーポイントを取得することとを含む、前記３次元人体姿勢情報の検出方法。
（項目２）
前記第１キーポイントおよび前記第２キーポイントに基づいて３次元キーポイントを取得することは、
前記第１キーポイントおよび前記第２キーポイントに基づいて、初期３次元キーポイントを取得することと、
前記初期３次元キーポイントを調整して、目標３次元キーポイントを取得することとを含む、
項目１に記載の３次元人体姿勢情報の検出方法。
（項目３）
前記初期３次元キーポイントを調整して、目標３次元キーポイントを取得することは、
前記第１キーポイントおよびプリセットのカメラキャリブレーションパラメータに基づいて、３次元投影区間を決定することと、
前記３次元投影区間において、前記初期３次元キーポイントとの距離がプリセット条件を満たす３次元キーポイントを取得することであって、前記３次元キーポイントを目標３次元キーポイントとして使用することとを含む、
項目２に記載の３次元人体姿勢情報の検出方法。
（項目４）
前記３次元投影区間は、前記第１キーポイントと投影関係を有する３次元間隔であり、
前記３次元投影区間における各３次元キーポイントは、前記プリセットのカメラキャリブレーションパラメータによって、前記第１キーポイントが配置されている平面に投影された後、すべてが前記第１キーポイントが配置されている平面における第１キーポイントの１つと一致する、
項目３に記載の３次元人体姿勢情報の検出方法。
（項目５）
前記３次元投影区間において、前記初期３次元キーポイントとの距離がプリセット条件を満たす３次元キーポイントを取得することは、
プリセットのステップサイズに応じて、前記３次元投影区間における複数の３次元キーポイントを取得することと、
各３次元キーポイントと前記初期３次元キーポイントとの間のユークリッド距離をそれぞれ計算して、最も小さいユークリッド距離を有する３次元キーポイントを前記目標３次元キーポイントとして決定することとを含む、
項目３または４に記載の３次元人体姿勢情報の検出方法。
（項目６）
前記第１キーポイントに基づいて、第２ビュー画像における前記目標対象の肢体の第２キーポイントを取得することは、
前記第１キーポイントおよび事前トレーニングにより取得された第１ネットワークモデルに基づいて、第２ビュー画像における前記目標対象の肢体の前記第２キーポイントを取得することを含み、
前記第１キーポイントおよび前記第２キーポイントに基づいて、初期３次元キーポイントを取得することは、
前記第１キーポイント、前記第２キーポイントおよび事前トレーニングにより取得された第２ネットワークモデルに基づいて、前記初期３次元キーポイントを取得することを含む、
項目２ないし５のいずれか一項に記載の３次元人体姿勢情報の検出方法。
（項目７）
前記第１ネットワークモデルのトレーニングプロセスは、
第１ビューのサンプル２次元キーポイントおよびニューラルネットワークに基づいて、第２ビューの２次元キーポイントを取得することと、
注釈２次元キーポイントおよび前記２次元キーポイントに基づいて、前記ニューラルネットワークのネットワークパラメータを調整して、前記第１ネットワークモデルを取得することとを含む、
項目６に記載の３次元人体姿勢情報の検出方法。
（項目８）
前記第２ネットワークモデルのトレーニングプロセスは、
第１ビューの第１サンプル２次元キーポイント、第２ビューの第２サンプル２次元キーポイントおよびニューラルネットワークに基づいて、３次元キーポイントを取得することと、
注釈３次元キーポイントおよび前記３次元キーポイントに基づいて、前記ニューラルネットワークのネットワークパラメータを調整して、前記第２ネットワークモデルを取得することとを含む、
項目６に記載の３次元人体姿勢情報の検出方法。
（項目９）
３次元人体姿勢情報の検出装置であって、
取得ユニット、２次元情報処理ユニットおよび３次元情報処理ユニットを備え、
前記取得ユニットは、第１ビュー画像における目標対象の肢体の第１キーポイントを取得するように構成され、
前記２次元情報処理ユニットは、前記取得ユニットによって取得された前記第１キーポイントに基づいて、第２ビュー画像における前記目標対象の肢体の第２キーポイントを取得するように構成され、
前記３次元情報処理ユニットは、前記取得ユニットによって取得された前記第１キーポイントおよび前記２次元情報処理ユニットによって取得された前記第２キーポイントに基づいて、前記目標対象の肢体の目標３次元キーポイントを取得するように構成される、前記３次元人体姿勢情報の検出装置。
（項目１０）
前記３次元情報処理ユニットは、第１処理モジュールおよび調整モジュールを備え、
前記第１処理モジュールは、前記第１キーポイントおよび前記第２キーポイントに基づいて、初期３次元キーポイントを取得するように構成され、
前記調整モジュールは、前記第１処理モジュールによって取得された前記初期３次元キーポイントを調整して、目標３次元キーポイントを取得するように構成される、
項目９に記載の３次元人体姿勢情報の検出装置。
（項目１１）
前記調整モジュールは、前記第１キーポイントおよびプリセットのカメラキャリブレーションパラメータに基づいて、３次元投影区間を決定し、前記３次元投影区間において、前記初期３次元キーポイントとの距離がプリセット条件を満たす３次元キーポイントを取得するように構成され、前記３次元キーポイントを目標３次元キーポイントとして使用する、
項目１０に記載の３次元人体姿勢情報の検出装置。
（項目１２）
前記３次元投影区間は、前記第１キーポイントと投影関係を有する３次元間隔であり、前記３次元投影区間における各３次元キーポイントは、前記プリセットのカメラキャリブレーションパラメータによって、前記第１キーポイントが配置されている平面に投影された後、すべてが前記第１キーポイントが配置されている平面における第１キーポイントの１つと一致する、
項目１１に記載の３次元人体姿勢情報の検出装置。
（項目１３）
前記調整モジュールは、プリセットのステップサイズに応じて、前記３次元投影区間における複数の３次元キーポイントを取得し、各３次元キーポイントと前記初期３次元キーポイントとの間のユークリッド距離をそれぞれ計算して、最も小さいユークリッド距離を有する３次元キーポイントを前記目標３次元キーポイントとして決定するように構成される、
項目１１または１２に記載の３次元人体姿勢情報の検出装置。
（項目１４）
前記２次元情報処理ユニットは、前記第１キーポイントおよび事前トレーニングにより取得された第１ネットワークモデルに基づいて、第２ビュー画像における前記目標対象の肢体の前記第２キーポイントを取得するように構成され、
前記第１処理モジュールは、前記第１キーポイント、前記第２キーポイントおよび事前トレーニングにより取得された第２ネットワークモデルに基づいて、前記初期３次元キーポイントを取得するように構成される、
項目１０ないし１３のいずれか一項に記載の３次元人体姿勢情報の検出装置。
（項目１５）
前記装置は、第１ビューのサンプル２次元キーポイントおよびニューラルネットワークに基づいて、第２ビューの２次元キーポイントを取得し、注釈２次元キーポイントおよび前記２次元キーポイントに基づいて、前記ニューラルネットワークのネットワークパラメータを調整して、前記第１ネットワークモデルを取得するように構成される第１トレーニングユニットをさらに備える、
項目１４に記載の３次元人体姿勢情報の検出装置。
（項目１６）
前記装置は、第１ビューの第１サンプル２次元キーポイント、第２ビューの第２サンプル２次元キーポイントおよびニューラルネットワークに基づいて、３次元キーポイントを取得し、注釈３次元キーポイントおよび前記３次元キーポイントに基づいて、前記ニューラルネットワークのネットワークパラメータを調整して、前記第２ネットワークモデルを取得するように構成される第２トレーニングユニットをさらに備える、
項目１４に記載の３次元人体姿勢情報の検出装置。
（項目１７）
コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体であって、
前記プログラムがプロセッサによって実行されるときに、項目１ないし８のいずれか一項に記載の方法のステップを実現する、前記コンピュータ読み取り可能な記憶媒体。
（項目１８）
電子機器であって、
メモリ、プロセッサ、およびメモリに記憶された、コンピュータによって実行可能なコンピュータプログラムを備え、前記プロセッサが、前記プログラムを実行するときに、項目１ないし８のいずれか一項に記載の方法のステップを実現する、前記電子機器。
【国際調査報告】
2021527877.tif 000028
2021527877.tif 000029
2021527877.tif 000030
2021527877.tif 000031