(57)【要約】位置姿勢検出方法及び装置、電子機器並びに記憶媒体であって、前記方法は、ターゲット画像におけるターゲット対象の少なくとも１つの第１特徴部の第１位置情報を決定すること（Ｓ１００）と、第１位置情報及び前記撮像装置の装置パラメータに基づいて、前記ターゲット対象の第２特徴部の三次元位置情報を決定すること（Ｓ２００）と、前記第２特徴部に含まれる少なくとも１つの第１特徴部の前記第１位置情報及び前記第２特徴部の三次元位置情報に基づいて、前記ターゲット対象の空間的位置姿勢を決定すること（Ｓ３００）とを含む。前記方法は、位置姿勢検出精度を向上させることができる。【選択図】図１
2021514092.tif 000002
【特許請求の範囲】
【請求項１】
位置姿勢検出方法であって、
撮像装置により撮像されたターゲット画像におけるターゲット対象の少なくとも１つの第１特徴部の第１位置情報を決定することと、
第１位置情報及び前記撮像装置の装置パラメータに基づいて、前記ターゲット対象の第２特徴部の三次元位置情報を決定することであって、前記第２特徴部が、前記少なくとも１つの第１特徴部を含むことと、
前記第２特徴部に含まれる少なくとも１つの第１特徴部の前記第１位置情報及び前記第２特徴部の三次元位置情報に基づいて、前記ターゲット対象の空間的位置姿勢を決定することと、を含む、位置姿勢検出方法。
【請求項２】
ターゲット画像におけるターゲット対象の少なくとも１つの第１特徴部の第１位置情報を決定することは、
認識しようとする第１特徴部の情報を取得することと、
取得した第１特徴部の情報に基づいて、前記ターゲット対象における前記少なくとも１つの第１特徴部を認識することと、
確立された二次元座標系に基づいて、前記少なくとも１つの第１特徴部の第１位置情報を決定することと、を含むことを特徴とする
請求項１に記載の方法。
【請求項３】
第１位置情報及び前記撮像装置の装置パラメータに基づいて、前記ターゲット対象の第２特徴部の三次元位置情報を決定することは、
記撮像装置の装置パラメータに基づいて、前記第１位置情報を正規化処理し、第２位置情報を得ることと、
前記第２位置情報を利用して前記第２特徴部の三次元位置情報を決定することと、を含むことを特徴とする
請求項１又は２に記載の方法。
【請求項４】
前記撮像装置の装置パラメータに基づいて、前記第１位置情報を正規化処理し、第２位置情報を得ることは、
前記装置パラメータを利用して前記第１位置情報に対して第１正規化処理を行い、前記少なくとも１つの第１特徴部の第３位置情報を得ることと、
前記少なくとも１つの第１特徴部の第３位置情報の平均値及び分散を決定することと、
前記平均値及び分散に基づいて、前記第３位置情報に対して第２正規化処理を行い、前記第２位置情報を得ることと、を含むことを特徴とする
請求項３に記載の方法。
【請求項５】
前記装置パラメータを利用して前記第１位置情報に対して第１正規化処理を行い、前記少なくとも１つの第１特徴部の第３位置情報を得ることは、
前記装置パラメータを利用して前記第１位置情報に対して歪み除去処理を行うことと、
歪み除去処理後の第１位置情報に対して第１正規化処理を行い、前記少なくとも１つの第１特徴部の第３位置情報を得ることと、を含むことを特徴とする
請求項４に記載の方法。
【請求項６】
第１位置情報及び前記撮像装置の装置パラメータに基づいて、前記ターゲット対象の第２特徴部の三次元位置情報を決定することは、
前記撮像装置の装置パラメータに基づいて、前記第１位置情報を正規化処理し、第２位置情報を得ることと、
前記第２位置情報を利用して前記第２特徴部の三次元形態の第４位置情報を決定することと、
前記第４位置情報に対して逆正規化処理を行い、第２特徴部の三次元位置情報を得ることと、を含むことを特徴とする
請求項１又は２に記載の方法。
【請求項７】
前記第２特徴部に含まれる少なくとも１つの第１特徴部の前記第１位置情報及び前記第２特徴部の三次元位置情報に基づいて前記ターゲット対象の空間的位置姿勢を決定することは、
前記第２特徴部に含まれる第１特徴部の第１位置情報、及び該含まれる第１特徴部に対応する、第２特徴部における三次元位置情報に基づいて、補正パラメータを決定することと、
前記補正パラメータに基づいて前記三次元位置情報を補正することと、
補正後の三次元位置情報に基づいて、前記ターゲット対象の空間的位置姿勢を決定することと、を含むことを特徴とする
請求項１−６のいずれか一項に記載の方法。
【請求項８】
前記第２特徴部に含まれる第１特徴部の第１位置情報、及び該含まれる第１特徴部に対応する、第２特徴部における三次元位置情報に基づいて、補正パラメータを決定することは、
回転行列及び平行移動行列を利用して前記第１特徴部の第２特徴部における前記三次元位置情報を二次元形態の第５位置情報に変換すること、
前記第５位置情報と、第１位置情報の正規化処理により得られた第２位置情報との差異に基づいて、前記差異が所定の要件を満たすまで、前記回転行列及び平行移動行列を繰返してフィードバック調整することと、
前記差異が所定の要件を満たす時の回転行列及び平行移動行列に基づいて、前記補正パラメータを決定することと、を含むことを特徴とする
請求項７に記載の方法
【請求項９】
前記方法は、
ターゲット画像を取得することと、
前記ターゲット画像におけるターゲット対象を認識することと、を更に含むことを特徴とする
請求項１−８のいずれか一項に記載の方法。
【請求項１０】
前記第１特徴部は、頭部、頸部、肩部、肘部、手首部、股関節部、膝部、足首部のうちの少なくとも１つを含むことを特徴とする
請求項１−９のいずれか一項に記載の方法。
【請求項１１】
位置姿勢検出装置であって、
撮像装置により撮像されたターゲット画像におけるターゲット対象の少なくとも１つの第１特徴部の第１位置情報を決定するように構成される第１決定モジュールと、
第１位置情報及び前記撮像装置の装置パラメータに基づいて、前記ターゲット対象の第２特徴部の三次元位置情報を決定するように構成される第２決定モジュールであって、前記第２特徴部が、前記少なくとも１つの第１特徴部を含む第２決定モジュールと、
前記第２特徴部に含まれる少なくとも１つの第１特徴部の前記第１位置情報及び前記第２特徴部の三次元位置情報に基づいて、前記ターゲット対象の空間的位置姿勢を決定するように構成される第３決定モジュールと、を備える、位置姿勢検出装置。
【請求項１２】
前記第１決定モジュールは、
認識しようとする第１特徴部の情報を取得するように構成される情報取得ユニットと、
取得した第１特徴部の情報に基づいて、前記ターゲット対象における前記少なくとも１つの第１特徴部を認識するように構成される特徴認識ユニットと、
確立された二次元座標系に基づいて、前記少なくとも１つの第１特徴部の第１位置情報を決定するように構成される二次元位置決定ユニットと、を備えることを特徴とする
請求項１１に記載の装置。
【請求項１３】
前記第２決定モジュールは、
前記撮像装置の装置パラメータに基づいて、前記第１位置情報を正規化処理し、第２位置情報を得るように構成される正規化ユニットと、
前記第２位置情報を利用して前記第２特徴部の三次元位置情報を決定するように構成される三次元位置決定ユニットと、を備えることを特徴とする
請求項１１又は１２に記載の装置。
【請求項１４】
前記正規化ユニットは更に、前記装置パラメータを利用して前記第１位置情報に対して第１正規化処理を行い、前記少なくとも１つの第１特徴部の第３位置情報を得て、前記少なくとも１つの第１特徴部の第３位置情報の平均値及び分散を決定し、前記平均値及び分散に基づいて、前記第３位置情報に対して第２正規化処理を行い、前記第２位置情報を得るように構成されることを特徴とする
請求項１３に記載の装置。
【請求項１５】
前記正規化ユニットは更に、前記装置パラメータを利用して前記第１位置情報に対して歪み除去処理を行い、歪み除去処理後の第１位置情報に対して第１正規化処理を行い、前記少なくとも１つの第１特徴部の第３位置情報を得るように構成されることを特徴とする
請求項１４に記載の装置。
【請求項１６】
前記第２決定モジュールは、
前記撮像装置の装置パラメータに基づいて、前記第１位置情報を正規化処理し、第２位置情報を得るように構成される正規化ユニットと、
前記第２位置情報を利用して前記第２特徴部の三次元形態の第４位置情報を決定するように構成される三次元位置決定ユニットと、
前記第４位置情報に対して逆正規化処理を行い、第２特徴部の三次元位置情報を得るように構成される逆正規化ユニットと、を備えることを特徴とする
請求項１１又は１２に記載の装置。
【請求項１７】
前記第３決定モジュールは、
前記第２特徴部に含まれる第１特徴部の第１位置情報、及び該含まれる第１特徴部に対応する、第２特徴部における三次元位置情報に基づいて、補正パラメータを決定するように構成される補正パラメータ決定ユニットと、
前記補正パラメータに基づいて前記三次元位置情報を補正するように構成される補正ユニットと、
補正後の三次元位置情報に基づいて、前記ターゲット対象の空間的位置姿勢を決定するように構成される位置姿勢決定ユニットと、を備えることを特徴とする
請求項１１−１６のいずれか一項に記載の装置。
【請求項１８】
前記補正パラメータ決定ユニットは更に、回転行列及び平行移動行列を利用して前記第１特徴部の第２特徴部における前記三次元位置情報を二次元形態の第５位置情報に変換し、
前記第５位置情報と、第１位置情報の正規化処理により得られた第２位置情報との差異に基づいて、前記差異が所定の要件を満たすまで、前記回転行列及び平行移動行列を繰返してフィードバック調整し、
前記差異が所定の要件を満たす時の回転行列及び平行移動行列に基づいて、前記補正パラメータを決定するように構成されることを特徴とする
請求項１７に記載の装置。
【請求項１９】
前記装置は、
ターゲット画像を取得するように構成される画像取得モジュールと、
前記ターゲット画像におけるターゲット対象を認識するように構成される対象認識モジュールと、を更に備えることを特徴とする
請求項１１−１８のいずれか一項に記載の装置。
【請求項２０】
前記第１特徴部は、頭部、頸部、肩部、肘部、手首部、股関節部、膝部、足首部のうちの少なくとも１つを含むことを特徴とする
請求項１１−１９のいずれか一項に記載の装置。
【請求項２１】
電子機器であって、
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと、を備え、
前記プロセッサは、請求項１から１１のいずれか一項に記載の方法を実行するように構成される、電子機器。
【請求項２２】
コンピュータ可読記憶媒体であって、該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、請求項１から１０のいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
【請求項２３】
コンピュータプログラムであって、前記コンピュータプログラムが電子機器で実行される時、前記電子機器におけるプロセッサは、請求項１−１０のいずれか一項に記載の方法を実行する、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、２０１８年０８月２０日付の中国特許出願第２０１８１０９５０５６５．４号、及び２０１８年０８月２０日付の中国特許出願第２０１８１０９４９８６０．８号に基づく優先権を主張するものであり、該中国特許出願の全内容を参照として本出願に援用する。
【０００２】
本出願は、画像処理技術分野に関し、特に位置姿勢検出方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【０００３】
コンピュータビジョンにおいて、人体姿勢推定は、重要なヒューマンインタラクティブインタフェースである。特に、三次元空間における人体の姿勢及び位置の推定は、インタラクション過程において、最も基本かつ肝心なものである。
【０００４】
従来技術において、高価な深度カメラ装置を利用して、人体に対して大まかな三次元モデリングを行うことで、カメラに対する人体の位置姿勢の予測の目的を達成する。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本出願の実施例は、位置姿勢検出の技術的解決手段を提供する。
【課題を解決するための手段】
【０００６】
本出願の第１態様によれば、位置姿勢検出方法を提供する。該方法は、撮像装置により撮像されたターゲット画像におけるターゲット対象の少なくとも１つの第１特徴部の第１位置情報を決定することと、第１位置情報及び前記撮像装置の装置パラメータに基づいて、前記ターゲット対象の第２特徴部の三次元位置情報を決定することであって、前記第２特徴部が、前記少なくとも１つの第１特徴部を含むことと、前記第２特徴部に含まれる少なくとも１つの第１特徴部の前記第１位置情報及び前記第２特徴部の三次元位置情報に基づいて、前記ターゲット対象の空間的位置姿勢を決定することとを含む。
【０００７】
本出願の実施例において、ターゲット画像におけるターゲット対象の少なくとも１つの第１特徴部の第１位置情報を決定することは、認識しようとする第１特徴部の情報を取得することと、取得した第１特徴部の情報に基づいて、前記ターゲット対象における前記少なくとも１つの第１特徴部を認識することと、確立された二次元座標系に基づいて、前記少なくとも１つの第１特徴部の第１位置情報を決定することとを含む。
【０００８】
本出願の実施例において、第１位置情報及び前記撮像装置の装置パラメータに基づいて、前記ターゲット対象の第２特徴部の三次元位置情報を決定することは、前記撮像装置の装置パラメータに基づいて、前記第１位置情報を正規化処理し、第２位置情報を得ることと、前記第２位置情報を利用して前記第２特徴部の三次元位置情報を決定することとを含む。
【０００９】
本出願の実施例において、前記撮像装置の装置パラメータに基づいて、前記第１位置情報を正規化処理し、第２位置情報を得ることは、前記装置パラメータを利用して前記第１位置情報に対して第１正規化処理を行い、前記少なくとも１つの第１特徴部の第３位置情報を得ることと、前記少なくとも１つの第１特徴部の第３位置情報の平均値及び分散を決定することと、前記平均値及び分散に基づいて、前記第３位置情報に対して第２正規化処理を行い、前記第２位置情報を得ることとを含む。
【００１０】
本出願の実施例において、前記装置パラメータを利用して前記第１位置情報に対して第１正規化処理を行い、前記少なくとも１つの第１特徴部の第３位置情報を得ることは、前記装置パラメータを利用して前記第１位置情報に対して歪み除去処理を行うことと、歪み除去処理後の第１位置情報に対して第１正規化処理を行い、前記少なくとも１つの第１特徴部の第３位置情報を得ることとを含む。
【００１１】
本出願の実施例において、前記装置パラメータを利用して前記第１位置情報に対して歪み除去処理を行うことは、第１式を利用して前記第１位置情報に対して前記歪み除去処理を行うことを含み、第１式は下記の通りである。
【００１２】
【数１】
2021514092.tif 000003
【００１３】
ただし、第１式における
【００１４】
【数２】
2021514092.tif 000004
【００１５】
は、ｘ軸における撮像装置の焦点距離であり、
【００１６】
【数３】
2021514092.tif 000005
【００１７】
は、ｙ軸における撮像装置の焦点距離であり、
【００１８】
【数４】
2021514092.tif 000006
【００１９】
は、それぞれ、撮像装置の光学中心座標位置の横座標値及び縦座標値であり、
【００２０】
【数５】
2021514092.tif 000007
【００２１】
はそれぞれ、撮像装置の径方向歪みパラメータであり、
【００２２】
【数６】
2021514092.tif 000008
【００２３】
は、撮像装置の接線方向歪みパラメータであり、ｘ及びｙはそれぞれ、第１位置情報の横座標値及び縦座標値であり、ｕ及びｖはそれぞれ、歪み処理後の横座標値及び縦座標値である。
【００２４】
本出願の実施例において、前記平均値及び分散に基づいて各前記第３位置情報に対して第２正規化処理を行い、前記第２位置情報を得ることは、第２式を利用して、前記平均値及び分散に基づいて、前記第３位置情報に対して第２正規化処理を行うことを含み、前記第２式は下記の通りである。
【００２５】
【数７】
2021514092.tif 000009
【００２６】
ただし、ｓ及びｔはそれぞれ、第２位置情報の横座標及び縦座標を表し、
【００２７】
【数８】
2021514092.tif 000010
【００２８】
はそれぞれ、ｉ番目の第１特徴の第３位置情報の横座標値及び縦座標値を表し、ｍｅａｎ関数は、平均値関数であり、ｓｔｄ関数は、分散関数であり、ｉは正整数である。
【００２９】
本出願の実施例において、各前記第２位置情報を利用して前記第２特徴部の三次元位置情報を決定することは、深層学習モデルを含む所定のモデルを利用して前記第１特徴部の第２位置情報に基づいて、前記ターゲット対象の第２特徴部の三次元位置情報を取得することを含む。
【００３０】
本出願の実施例において、第１位置情報及び前記撮像装置の装置パラメータに基づいて、前記ターゲット対象の第２特徴部の三次元位置情報を決定することは、前記撮像装置の装置パラメータに基づいて、前記第１位置情報を正規化処理し、第２位置情報を得ることと、前記第２位置情報を利用して前記第２特徴部の三次元形態の第４位置情報を決定することと、前記第４位置情報に対して逆正規化処理を行い、第２特徴部の三次元位置情報を得ることとを含む。
【００３１】
本出願の実施例において、前記第４位置情報に対して逆正規化処理を行い、各第２特徴部の三次元位置情報を得ることは、第３式を利用して前記第４位置情報に対して逆正規化処理を行い、三次元位置情報を得ることを含み、前記第３式は下記の通りである。
【００３２】
【数９】
2021514092.tif 000011
【００３３】
ただし、
【００３４】
【数１０】
2021514092.tif 000012
【００３５】
はそれぞれ、三次元位置情報の３つの座標値を表し、Ｘ、Ｙ及びＺはそれぞれ、第４位置情報の３つの座標値を表し、ｓｔｄは分散関数を表し、ｍｅａｎは平均値関数を表す。
【００３６】
本出願の実施例において、前記第２特徴部に含まれる少なくとも１つの第１特徴部の前記第１位置情報及び前記第２特徴部の三次元位置情報に基づいて前記ターゲット対象の空間的位置姿勢を決定することは、前記第２特徴部に含まれる第１特徴部の第１位置情報、及び該含まれる第１特徴部に対応する、第２特徴部における三次元位置情報に基づいて、補正パラメータを決定することと、前記補正パラメータに基づいて前記三次元位置情報を補正することと、補正後の三次元位置情報に基づいて、前記ターゲット対象の空間的位置姿勢を決定することとを含む。
【００３７】
本出願の実施例において、前記第２特徴部に含まれる第１特徴部の第１位置情報、及び該含まれる第１特徴部に対応する、第２特徴部における三次元位置情報に基づいて、補正パラメータを決定することは、回転行列及び平行移動行列を利用して前記第１特徴部の第２特徴部における前記三次元位置情報を二次元形態の第５位置情報に変換すること、前記第５位置情報と、第１位置情報の正規化処理により得られた第２位置情報との差異に基づいて、前記差異が所定の要件を満たすまで、前記回転行列及び平行移動行列を繰返してフィードバック調整することと、前記差異が所定の要件を満たす時の回転行列及び平行移動行列に基づいて、前記補正パラメータを決定することとを含む。
【００３８】
本出願の実施例において、回転行列及び平行移動行列を利用して前記第１特徴部の第２特徴部における前記三次元位置情報を二次元形態の第５位置情報に変換することは、第４式により、回転行列及び平行移動行列を利用して前記第１特徴部の第２特徴部における前記三次元位置情報を二次元形態の第５位置情報に変換することを含み、前記第４式は下記の通りである。
【００３９】
【数１１】
2021514092.tif 000013
【００４０】
ただし、
【００４１】
【数１２】
2021514092.tif 000014
【００４２】
は、撮像装置のｘ軸における焦点距離であり、
【００４３】
【数１３】
2021514092.tif 000015
【００４４】
は、撮像装置のｙ軸における焦点距離であり、
【００４５】
【数１４】
2021514092.tif 000016
【００４６】
はそれぞれ、撮像装置の光学中心座標位置の横座標値及び縦座標値であり、Ｓ５は、第５位置情報であり、Ｓ３は、三次元位置情報である。
【００４７】
本出願の実施例において、前記第５位置情報と第２位置情報との差異に基づいて、前記差異が所定の要件を満たすまで、前記回転行列及び平行移動行列を繰り返してフィードバック調整することは、最適化モデルを利用して前記回転行列及び平行移動行列のフィードバック調整を行い、前記最適化モデルの数式は下記の通りである。
【００４８】
【数１５】
2021514092.tif 000017
【００４９】
ただし、ａｒｇ  ｍｉｎ関数は、差異最小化関数を表し、Ｓ２は第２位置情報を表す。
【００５０】
本出願の実施例において、前記補正パラメータに基づいて前記三次元位置情報を補正することは、第５式を利用して前記三次元位置情報を補正することを含み、前記第５式は、下記の通りである。
【００５１】
【数１６】
2021514092.tif 000018
【００５２】
ただし、Ｐは、補正前の三次元位置情報であり、Ｐ’は、補正後の三次元位置情報であり、Ｒは、回転行列であり、Ｔは、平行移動行列である。
【００５３】
本出願の実施例において、前記方法は、ターゲット画像を取得することと、前記ターゲット画像におけるターゲット対象を認識することとを更に含む。
【００５４】
本出願の実施例において、前記第１特徴部は、頭部、頸部、肩部、肘部、手首部、股関節部、膝部、足首部のうちの少なくとも１つを含む。
【００５５】
本出願の実施例の第２態様によれば、位置姿勢検出装置を提供する。該装置は、撮像装置により撮像されたターゲット画像におけるターゲット対象の少なくとも１つの第１特徴部の第１位置情報を決定するように構成される第１決定モジュールと、第１位置情報及び前記撮像装置の装置パラメータに基づいて、前記ターゲット対象の第２特徴部の三次元位置情報を決定するように構成される第２決定モジュールであって、前記第２特徴部が、前記少なくとも１つの第１特徴部を含む第２決定モジュールと、前記第２特徴部に含まれる少なくとも１つの第１特徴部の前記第１位置情報及び前記第２特徴部の三次元位置情報に基づいて、前記ターゲット対象の空間的位置姿勢を決定するように構成される第３決定モジュールと、を備える。
【００５６】
本出願の実施例において、前記第１決定モジュールは、認識しようとする第１特徴部の情報を取得するように構成される情報取得ユニットと、取得した第１特徴部の情報に基づいて、前記ターゲット対象における前記少なくとも１つの第１特徴部を認識するように構成される特徴認識ユニットと、確立された二次元座標系に基づいて、前記少なくとも１つの第１特徴部の第１位置情報を決定するように構成される二次元位置決定ユニットとを備える。
【００５７】
本出願の実施例において、前記第２決定モジュールは、前記撮像装置の装置パラメータに基づいて、前記第１位置情報を正規化処理し、第２位置情報を得るように構成される正規化ユニットと、前記第２位置情報を利用して前記第２特徴部の三次元位置情報を決定するように構成される三次元位置決定ユニットとを備える。
【００５８】
本出願の実施例において、前記正規化ユニットは更に、前記装置パラメータを利用して前記第１位置情報に対して第１正規化処理を行い、前記少なくとも１つの第１特徴部の第３位置情報を得て、前記少なくとも１つの第１特徴部の第３位置情報の平均値及び分散を決定し、前記平均値及び分散に基づいて、前記第３位置情報に対して第２正規化処理を行い、前記第２位置情報を得るように構成される。
【００５９】
本出願の実施例において、前記正規化ユニットは更に、前記装置パラメータを利用して前記第１位置情報に対して歪み除去処理を行い、歪み除去処理後の第１位置情報に対して第１正規化処理を行い、前記少なくとも１つの第１特徴部の第３位置情報を得るように構成される。
【００６０】
本出願の実施例において、前記正規化ユニットは更に、第１式を利用して前記第１位置情報に対して前記歪み除去処理を行うように構成され、第１式は下記の通りである。
【００６１】
【数１７】
2021514092.tif 000019
【００６２】
ただし、
【００６３】
【数１８】
2021514092.tif 000020
【００６４】
は、ｘ軸における撮像装置の焦点距離であり、
【００６５】
【数１９】
2021514092.tif 000021
【００６６】
は、ｙ軸における撮像装置の焦点距離であり、
【００６７】
【数２０】
2021514092.tif 000022
【００６８】
は、それぞれ、撮像装置の光学中心座標位置の横座標値及び縦座標値であり、
【００６９】
【数２１】
2021514092.tif 000023
【００７０】
はそれぞれ、撮像装置の径方向歪みパラメータであり、
【００７１】
【数２２】
2021514092.tif 000024
【００７２】
は、撮像装置の接線方向歪みパラメータであり、ｘ及びｙはそれぞれ、第１位置情報の横座標値及び縦座標値であり、ｕ及びｖはそれぞれ、歪み処理後の横座標値及び縦座標値である。
【００７３】
本出願の実施例において、前記正規化ユニットは更に、第２式を利用して、前記平均値及び分散に基づいて、前記第３位置情報に対して第２正規化処理を行うように構成され、前記第２式は下記の通りである。
【００７４】
【数２３】
2021514092.tif 000025
【００７５】
ただし、ｓ及びｔはそれぞれ、第２位置情報の横座標及び縦座標を表し、
【００７６】
【数２４】
2021514092.tif 000026
【００７７】
はそれぞれ、ｉ番目の第１特徴の第３位置情報の横座標値及び縦座標値を表し、ｍｅａｎ関数は、平均値関数であり、ｓｔｄ関数は、分散関数であり、ｉは正整数である。
【００７８】
本出願の実施例において、前記三次元位置決定ユニットは更に、深層学習モデルを含む所定のモデルを利用して前記第１特徴部の第２位置情報に基づいて、前記ターゲット対象の第２特徴部の三次元位置情報を取得するように構成される。
【００７９】
本出願の実施例において、前記第２決定モジュールは、前記撮像装置の装置パラメータに基づいて、前記第１位置情報を正規化処理し、第２位置情報を得るように構成される正規化ユニットと、前記第２位置情報を利用して前記第２特徴部の三次元形態の第４位置情報を決定するように構成される三次元位置決定ユニットと、前記第４位置情報に対して逆正規化処理を行い、第２特徴部の三次元位置情報を得るように構成される逆正規化ユニットとを備える。
【００８０】
本出願の実施例において、前記逆正規化ユニットは更に、第３式を利用して前記第４位置情報に対して逆正規化処理を行い、三次元位置情報を得るように構成され、前記第３式は下記の通りである。
【００８１】
【数２５】
2021514092.tif 000027
【００８２】
ただし、
【００８３】
【数２６】
2021514092.tif 000028
【００８４】
はそれぞれ、三次元位置情報の３つの座標値を表し、Ｘ、Ｙ及びＺはそれぞれ、第４位置情報の３つの座標値を表し、ｓｔｄは分散関数を表し、ｍｅａｎは平均値関数を表す。
【００８５】
本出願の実施例において、前記第３決定モジュールは、前記第２特徴部に含まれる第１特徴部の第１位置情報、及び該含まれる第１特徴部に対応する、第２特徴部における三次元位置情報に基づいて、補正パラメータを決定するように構成される補正パラメータ決定ユニットと、前記補正パラメータに基づいて前記三次元位置情報を補正するように構成される補正ユニットと、補正後の三次元位置情報に基づいて、前記ターゲット対象の空間的位置姿勢を決定するように構成される位置姿勢決定ユニットとを備える。
【００８６】
本出願の実施例において、前記補正パラメータ決定ユニットは更に、回転行列及び平行移動行列を利用して前記第１特徴部の第２特徴部における前記三次元位置情報を二次元形態の第５位置情報に変換し、前記第５位置情報と、第１位置情報の正規化処理により得られた第２位置情報との差異に基づいて、前記差異が所定の要件を満たすまで、前記回転行列及び平行移動行列を繰返してフィードバック調整し、前記差異が所定の要件を満たす時の回転行列及び平行移動行列に基づいて、前記補正パラメータを決定するように構成される。
【００８７】
本出願の実施例において、前記補正パラメータ決定ユニットは更に、第４式により、回転行列及び平行移動行列を利用して前記第１特徴部の第２特徴部における前記三次元位置情報を二次元形態の第５位置情報に変換するように構成され、前記第４式は下記の通りである。
【００８８】
【数２７】
2021514092.tif 000029
【００８９】
ただし、
【００９０】
【数２８】
2021514092.tif 000030
【００９１】
は、撮像装置のｘ軸における焦点距離であり、
【００９２】
【数２９】
2021514092.tif 000031
【００９３】
は、撮像装置のｙ軸における焦点距離であり、
【００９４】
【数３０】
2021514092.tif 000032
【００９５】
はそれぞれ、撮像装置の光学中心座標位置の横座標値及び縦座標値であり、Ｓ５は、第５位置情報であり、Ｓ３は、三次元位置情報である。
【００９６】
本出願の実施例において、前記補正パラメータ決定ユニットは更に、最適化モデルを利用して前記回転行列及び平行移動行列のフィードバック調整を行うように構成され、前記最適化モデルの数式は下記の通りである。
【００９７】
【数３１】
2021514092.tif 000033
【００９８】
ただし、ａｒｇ  ｍｉｎ関数は、差異最小化関数を表し、Ｓ２は第２位置情報を表す。
【００９９】
本出願の実施例において、前記補正ユニットは更に、第５式を利用して前記三次元位置情報を補正するように構成され、前記第５式は、下記の通りである。
【０１００】
【数３２】
2021514092.tif 000034
【０１０１】
ただし、Ｐは、補正前の三次元位置情報であり、Ｐ’は、補正後の三次元位置情報であり、Ｒは、回転行列であり、Ｔは、平行移動行列である。
【０１０２】
本出願の実施例において、前記装置は、ターゲット画像を取得するように構成される画像取得モジュールと、前記ターゲット画像におけるターゲット対象を認識するように構成される対象認識モジュールとを更に備える。
【０１０３】
本出願の実施例において、前記第１特徴部は、頭部、頸部、肩部、肘部、手首部、股関節部、膝部、足首部のうちの少なくとも１つを含む。
【０１０４】
本出願の実施例の第３態様によれば、電子機器を提供する。該電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するためのメモリと備え、前記プロセッサは、第１態様のいずれか一項に記載の方法を実行するように構成される。
【０１０５】
本出願の実施例の第４態様によれば、コンピュータ可読記憶媒体を提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、第１態様のいずれか一項に記載の方法を実現させる。
【０１０６】
本出願の実施例の第５態様によれば、コンピュータプログラム製品を提供し、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサは、第１態様のいずれか一項に記載の方法を実行する。
【発明の効果】
【０１０７】
本出願の実施例は、装置パラメータを参照して、画像における対象の位置姿勢検出を実行する。異なる装置パラメータによる姿勢検出への影響を無くし、位置姿勢検出の精度を向上させることができる。それと同時に、本出願の実施例は、第１位置情報と三次元位置情報との差異を利用して、三次元位置情報を調整するための補正パラメータを決定し、位置姿勢の検出精度を更に向上させることができる。
【０１０８】
上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本出願を限定するものではないことが理解されるべきである。
【０１０９】
本発明の他の特徴及び態様は、下記の図面に基づく例示的な実施例の詳細な説明を参照すれば明らかになる。
【図面の簡単な説明】
【０１１０】
【図１】本出願の実施例による位置姿勢検出方法を示すフローチャートである。
【図２】本出願の実施例による位置姿勢検出方法におけるステップＳ１００を示すフローチャートである。
【図３】本出願の実施例によるターゲット画像と認識された第１特徴部との対応関係を示す図である。
【図４】本出願の実施例による位置姿勢検出方法におけるステップＳ２００を示すフローチャートである。
【図５】本出願の実施例による各第２位置情報を利用して第２特徴部の三次元位置情報を決定する第２所定のモデルの構造を示す概略図である。
【図６】本出願の実施例による位置姿勢検出方法におけるステップＳ２０１を示すフローチャートである。
【図７】本出願の実施例による位置姿勢検出方法におけるステップＳ２０１１を示すフローチャートである。
【図８】本出願の実施例による位置姿勢検出方法におけるステップＳ２００を示すもう１つのフローチャートである。
【図９】本出願の実施例による位置姿勢検出方法におけるステップＳ３００を示すフローチャートである。
【図１０】本出願の実施例による位置姿勢検出方法におけるステップＳ３０１を示すフローチャートである。
【図１１】本出願の実施例による位置姿勢検出装置を示すブロック図である。
【図１２】本出願の実施例による電子機器を示すブロック図である。
【図１３】本出願の実施例によるもう１つの電子機器を示すブロック図である。
【発明を実施するための形態】
【０１１１】
ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本発明に適合する実施例を示し、かつ、明細書とともに本出願の技術的解決手段を解釈することに用いられる。
【０１１２】
以下、図面を参照しながら本出願の種々の例示的な実施例、特徴及び態様を詳しく説明する。図面における同一の符号は、同一または類似する機能を有する要素を示す。図面は、実施例の種々の態様を示しているが、特別な説明がない限り、必ずしも比率どおりの図面ではない。
【０１１３】
ここで使用した「例示的」という用語は「例、実施例として用いられるか、または説明のためのものである」ことを意味する。ここで、「例示的なもの」として説明される如何なる実施例は、他の実施例より好適または有利であると必ずしも解釈されるべきではない。
【０１１４】
本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つの場合を表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。
【０１１５】
なお、本出願をより良く説明するために、以下の具体的な実施形態において具体的な細部を多く記載した。当業者は、これら具体的な詳細に関わらず、本開示は同様に実施可能であると理解すべきである。本発明の主旨を明確にするために、一部の実例において、当業者に熟知されている方法、手段、素子及び回路については詳しく説明しないことにする。
【０１１６】
本出願に言及した上記各方法の実施例は、原理や論理から逸脱しない限り、互いに組み合わせることで組み合わせた実施例を構成することができ、紙数に限りがあるため、本出願において逐一説明しない。
【０１１７】
なお、本出願は、画像処理装置、電子機器、コンピュータ可読記憶媒体、プログラムを更に提供する。上記はいずれも、本出願で提供されるいずれか１つの画像処理方法を実現させるためのものである。対応する技術的解決手段及び説明は、方法に関連する記述を参照されたい。ここで、詳細な説明を省略する。
【０１１８】
図１は、本出願の実施例による位置姿勢検出方法を示すフローチャートである。ここで、図１に示すように、前記位置姿勢検出方法は、以下を含んでもよい。
【０１１９】
Ｓ１００：撮像装置により撮像されたターゲット画像におけるターゲット対象の少なくとも１つの第１特徴部の第１位置情報を決定する。
【０１２０】
Ｓ２００：第１位置情報及び前記撮像装置の装置パラメータに基づいて、前記ターゲット対象の第２特徴部の三次元位置情報を決定し、前記第２特徴部が、前記少なくとも１つの第１特徴部を含む。
【０１２１】
Ｓ３００：前記第２特徴部に含まれる少なくとも１つの第１特徴部の前記第１位置情報及び前記第２特徴部の三次元位置情報に基づいて、前記ターゲット対象の空間的位置姿勢を決定する。
【０１２２】
本出願の実施例で提供される位置姿勢検出方法は、画像における人体対象の位置姿勢検出に用いられる。位置姿勢は、人体対象の各特徴部の位置情報及び空間的姿勢を含んでもよい。ここで、姿勢は、走り、座り、立ち、歩行、ジャンプ、這い、伏せ、飛行などの状態を含んでもよく、他の状態であってもよい。ターゲット対象の空間的状態になり得る空間的状態は、いずれも本出願の実施例により認識される姿勢とすることができる。なお、本出願の実施例は、該画像を撮像する撮像装置のパラメータを参照しながら、人体対象の各特徴部の位置最適化を実行し、決定された補正パラメータを利用して各位置情報を更に最適化し、姿勢検出の正確度を向上させることができる。
【０１２３】
本出願におけるターゲット対象とは、姿勢検出に用いられる画像を指す。該ターゲット対象において、姿勢検出がなされる対象は、ターゲット対象と呼ばれる。該ターゲット対象は、人間、動物などを含んでもよい。本出願の実施例において、まずターゲット画像を取得することができる。例えば、記憶されている画像データからターゲット画像を選択してもよいし、他の装置から伝送されるターゲット画像を受信してもよいし、直接的に撮像装置によりターゲット画像を撮ってよい。上記は、ターゲット画像の取得の例示的な説明に過ぎず、本出願は、これを限定するものではない。
【０１２４】
ターゲット画像を取得してから、該ターゲット画像におけるターゲット対象を認識することができる。ここで、画像認識アルゴリズムにより、ターゲット画像におけるターゲット対象を認識することができる。トレーニングされた機械学習ネットワークモデルにより、ターゲット対象の認識を実行することもできる。該機械学習ネットワークモデルは、ニューラルネットワークモデル又は深層学習ニューラルネットワークモデルなどを含んでもよく、本出願は、これを限定するものではない。ここで、本出願の実施例において、人間をターゲット対象として説明する。他の実施例において、ターゲット対象は、動物、アニメキャラクタなどであってもよい。
【０１２５】
ステップＳ１００において、ターゲット対象を認識してから、ターゲット対象における各第１特徴部の第１位置情報を決定することができる。ここで、ターゲット対象の第１特徴部は、ターゲット対象におけるキーとなる特徴部位である。例えば、頭部、頸部、肩部、肘部、手首部、股関節部、膝部、足首部のうちの少なくとも１つを含んでもよい。ここで、肩部は、左肩部と右肩部に分けられてもよく、肘部は、左肘部と右肘部に分けられてもよく、手首部は、左手首部と右手首部に分けられてもよく、股関節部は、左股関節部と右股関節部に分けられてもよく、膝部は、左膝部と右膝部に分けられてもよく、足首部は、左足首部と右足首部に分けられてもよい。ここで、上記第１特徴部の認識は、所定の特徴認識アルゴリズムにより実行されてもよいし、トレーニングされた機械学習ネットワークモデルにより実行されてもよい。また、各第１特徴部を認識してから、各第１特徴部の位置情報を決定することができる。第１特徴部の認識及び決定については、ターゲット画像をトレーニングされた第１所定のモデルに直接的に入力し、該第１所定のモデルにより、ターゲット画像におけるターゲット対象の各第１特徴部を直接的に認識することができる。又は、直接的に第１所定のアルゴリズムを利用してターゲット画像における各第１特徴部を認識することもできる。本出願の実施例は、従来技術を利用して第１所定のモデルのトレーニング及び確立を実行してもよく、これについて限定しない。なお、第１所定のアルゴリズムは、いかなる特徴認識アルゴリズムを含んでもよい。
【０１２６】
なお、本出願の実施例は、まず、認識しようとする第１特徴部の情報を取得し、対応する第１特徴部の位置を更に認識してもよい。図２は、本出願の実施例による位置姿勢検出方法におけるステップＳ１００を示すフローチャートである。ここで、ステップＳ１００は、以下を含んでもよい。
【０１２７】
Ｓ１０１：認識しようとする第１特徴部の情報を取得する。
【０１２８】
Ｓ１０２：取得した第１特徴部の情報に基づいて、前記ターゲット対象における前記少なくとも１つの第１特徴部を認識する。
【０１２９】
Ｓ１０３：確立された二次元座標系に基づいて、前記少なくとも１つの第１特徴部の第１位置情報を決定する。
【０１３０】
まず、認識しようとする第１特徴部の情報を取得する。上記のように、第１特徴部は、頭部、頸部、肩部、肘部、手首部、股関節部、膝部、足首部のうちの少なくとも１つを含んでもよい。この場合、取得した第１特徴部の情報は、認識しようとする第１特徴部の識別子を含む。該識別子は、対応する特徴部の名称であってもよいし、所定の番号であってもよい。該番号に基づいて、第１特徴部に一意的に対応付けられる。
【０１３１】
第１特徴部の情報を取得してから、第１特徴部の認識操作を実行することができる。ここで、第１所定のアルゴリズム又は第１所定のモデルに基づいて、該認識操作を実行することができる。ここで、第１所定のアルゴリズムは、局所特徴点検出アルゴリズム、ブロブ検出アルゴリズム及びコーナー検出アルゴリズムのうちの少なくとも１つを含んでもよいし、第１特徴部の検出及び認識を実現できる他のアルゴリズムを含んでもよい。第１所定のモデルは、上記トレーニングされたネットワークモデルであってもよい。例えば、ニューラルネットワークモデル、深層学習ニューラルネットワークモデルなどのような機械学習ネットワークモデルを含んでもよい。図３は、本出願の実施例によるターゲット画像と認識された第１特徴部との対応関係を示す図である。ここで、認識される各第１特徴部をドットで表す。
【０１３２】
各第１特徴部を認識してから、ステップＳ１０３を実行し、確立された直角座標系に基づいて、各第１特徴部の第１位置情報を決定し、各第１位置情報を（ｘ，ｙ）のような二次元座標の形態で表す。
【０１３３】
ここで、第１位置情報の決定を上記第１所定のモデルにより実現させることもできる。該モデルは、第１特徴部の認識及び対応する位置情報の決定を実現させることができる。又は、認識された第１特徴部同士間の相対的位置により、各第１位置情報を決定することもできる。例えば、１つの第１特徴部の位置を座標の原点として、各第１特徴部同士間の相対的位置関係を利用して、残りの各第１特徴部の位置座標を決定することができる。以上は、第１位置情報の決定の例示的な説明に過ぎず、本出願の実施例はこれを限定するものではない。
【０１３４】
ターゲット対象の各第１特徴部の第１位置情報を決定してから、ターゲット画像を撮影する撮像装置の装置パラメータに基づいて、ターゲット対象の第２特徴部の三次元位置情報を決定することができる。ここで、三次元位置情報とは、三次元座標系における位置情報を指す。第１位置情報は、二次元座標系における位置情報である。三次元位置情報により、ターゲット対象の姿勢をより正確に検出することができる。
【０１３５】
ここで、本出願の実施例は、まず、撮像装置のパラメータを利用して各第１特徴部の第１位置情報を正規化処理し、異なる装置パラメータによる位置情報の差異の影響を無くす。続いて、正規化処理された第１位置情報に基づいて、第１特徴部の二次元座標から第２特徴部の三次元座標への変換を行い、三次元位置情報を取得する。図４は、本出願の実施例による位置姿勢検出方法におけるステップＳ２００を示すフローチャートである。ここで、本出願の実施例のステップＳ２００は以下を含んでもよい。
【０１３６】
Ｓ２０１：前記撮像装置の装置パラメータに基づいて、前記第１位置情報を正規化処理し、第２位置情報を得る。
【０１３７】
Ｓ２０２：前記第２位置情報を利用して前記第２特徴部の三次元位置情報を決定する。
【０１３８】
ここで、本出願の実施例は、第２所定のモデルを利用して、各第１特徴部の第２位置情報に基づいて第２特徴部の三次元位置情報を決定することができる。本出願の実施例における第１特徴部は、第２特徴部に含まれてもよい。例えば、第２特徴部は、第１特徴部と同じであってもよいし、第１特徴部より多い特徴部を持ってもよい。本出願の実施例において、第２特徴部は、少なくとも１つの第１特徴部を含んでもよいし、第１特徴部以外の他の特徴部を含んでもよい。例えば、本出願の実施例の第２特徴部は、第１特徴部に比べて、股間部中点、腰椎中点、鼻及び脊椎中点のうちの少なくとも１つを更に含んでもよい。ここで、股間部中点は、左股関節部と右股関節部の位置により決定され、脊椎中点は、頸椎と股間部中点により決定され、腰椎中点は、頸椎と股間部中点により決定され、鼻は、頭部特徴点により決定される。
【０１３９】
図５は、本出願の実施例による各第２位置情報を利用して第２特徴部の三次元位置情報を決定する第２所定のモデルの構造を示す概略図である。ここで、該第２所定のモデルに各第１特徴部の第２位置情報を入力し、第２所定のモデルの学習操作により、対応する第２特徴部の三次元位置情報を取得することができる。ここで、第２所定のモデルは、深層学習モデルを含んでもよい。第２所定のモデルには、全結合層Ａと、バッチ処理及びＲｅＬＵ関数層Ｂと、ｄｒｏｐｏｕｔ関数層Ｃとが含まれてもよい。第２所定のモデルの生成過程について、本出願の実施例において詳しく説明しない。それは、大量の二次元形態の第１特徴部の情報により学習、トレーニングすることによって、生成される機械学習モデルを最適化することができる。例えば、約３０万組のデータを用意し、各組のデータは、二次元人体骨格座標及びそれに対応する三次元人体骨格座標であり、数学的に
【０１４０】
【数３３】
2021514092.tif 000035
【０１４１】
で表される。ただし、ｘ１…ｘ１４はそれぞれ、１４個の第１特徴部の第２位置情報の横座標値であり、ｙ１…ｙ１４はそれぞれ、１４個の第１特徴部の第２位置情報の縦座標値であり、（Ｘ，Ｙ，Ｚ）はそれぞれ、生成された第２特徴部の三次元位置情報の座標値である。ここで、第１特徴部及び第２特徴部の数は必要に応じて設定されてもよい。第２所定のモデルは、対応する設定情報に基づいて、第２特徴部の決定を実行することができる。
【０１４２】
更に、マッチングし合う第１特徴部及び第２特徴部に対応する第１位置情報及び三次元位置情報を利用して三次元位置情報を修正し、修正された三次元位置情報に基づいて、ターゲット対象の空間的位置姿勢を決定することができる。
【０１４３】
本出願の実施例の上記設定によれば、撮像装置の装置パラメータに基づいて、異なる装置パラメータによる特徴部位置情報の差異の影響を無くすと共に、対応する特徴部の二次元位置情報及び三次元位置情報に基づいて三次元位置を補正し、姿勢検出の正確度を向上させることができる。
【０１４４】
以下、本出願の実施例を詳しく説明する。ここで、上記実施例に記述したように、本出願の実施例は、ステップＳ１００で取得された各第１特徴部の第１位置情報に対して正規化処理を行い、対応する第２位置情報を得ることで、装置パラメータの差異による位置情報検出への影響を無くすことができる。図６は、本出願の実施例による位置姿勢検出方法におけるステップＳ２０１を示すフローチャートである。ここで、ステップＳ２０１は以下を含んでもよい。
【０１４５】
Ｓ２０１１：前記装置パラメータを利用して前記第１位置情報に対して第１正規化処理を行い、前記少なくとも１つの第１特徴部の第３位置情報を得る。
【０１４６】
Ｓ２０１２：前記少なくとも１つの第１特徴部の第３位置情報の平均値及び分散を決定する。
【０１４７】
Ｓ２０１３：前記平均値及び分散に基づいて、前記第３位置情報に対して第２正規化処理を行い、前記第２位置情報を得る。
【０１４８】
ここで、本出願の実施例は、第１位置情報の正規化処理を実行する時、装置パラメータを利用して、各第１特徴の第１位置情報に対して第１正規化処理を行い、各第１特徴部の第３位置情報を取得することができる。該第１正規化処理により、撮像装置のパラメータによる各第１位置情報の歪み誤差を除去することができる。続いて、歪み処理後の第１位置情報を利用して正規化処理を行い、第３位置情報を得て、異なる装置パラメータによる差異の影響を更に正規化する。
【０１４９】
図７は、本出願の実施例による位置姿勢検出方法におけるステップＳ２０１１を示すフローチャートである。ここで、ステップＳ２０１は以下を含んでもよい。
【０１５０】
Ｓ２０１１１：前記装置パラメータを利用して前記第１位置情報に対して歪み除去処理を行う。
【０１５１】
Ｓ２０１１２：歪み除去処理後の第１位置情報に対して第１正規化処理を行い、前記少なくとも１つの第１特徴部の第３位置情報を得る。ここで、第１式を利用して前記第１位置情報に対して前記歪み除去処理を行うことができる。ここで、第１式は、以下を含んでもよく、
【０１５２】
【数３４】
2021514092.tif 000036
【０１５３】
ただし、
【０１５４】
【数３５】
2021514092.tif 000037
【０１５５】
は、ｘ軸における撮像装置の焦点距離であり、
【０１５６】
【数３６】
2021514092.tif 000038
【０１５７】
は、ｙ軸における撮像装置の焦点距離であり、
【０１５８】
【数３７】
2021514092.tif 000039
【０１５９】
は、それぞれ、撮像装置の光学中心座標位置の横座標値及び縦座標値であり、
【０１６０】
【数３８】
2021514092.tif 000040
【０１６１】
はそれぞれ、撮像装置の径方向歪みパラメータであり、
【０１６２】
【数３９】
2021514092.tif 000041
【０１６３】
は、撮像装置の接線方向歪みパラメータであり、ｘ及びｙはそれぞれ、第１位置情報の横座標値及び縦座標値であり、ｕ及びｖはそれぞれ、歪み処理後の横座標値及び縦座標値である。ここで、径方向歪みとは、長手方向に沿ったベクトル端点の変動ｄｒを指す。つまり、動径の変動を指す。接線方向歪みとは、接線方向に沿ったベクトル端点の変動を指す。つまり、角度の変動ｄｔを指す。
【０１６４】
上記第１式により、歪み処理された第１位置情報（ｕ，ｖ）を取得することができる。続いて、第１正規化処理を行う。第一正規化処理の式は、以下を含んでもよく、
【０１６５】
【数４０】
2021514092.tif 000042
【０１６６】
ただし、
【０１６７】
【数４１】
2021514092.tif 000043
【０１６８】
はそれぞれ、第１正規化処理された第３位置情報の横座標及び縦座標値である。上記設定に基づいて、歪み除去処理を実行してから、正規化処理を行い、位置情報の位置決めの精度を更に向上させることができる。
【０１６９】
各第１特徴部の第３位置情報を取得してから、各第３位置情報の平均値及び分散を決定し、該分散及び平均値に基づいて、第２正規化処理を更に行い、第１特徴部に対する第２位置情報を得ることができる。本出願の実施例において、各第１特徴部の第３位置情報の平均値及び分散を決定することは、各第１特徴部の第３位置情報の横座標値に基づいて、前記第３位置情報の横座標の平均値及び分散を決定することと、各第１特徴の第３位置情報の縦座標値に基づいて、前記第３位置情報の縦座標の平均値及び分散を決定することができる。ここで、平均値数式及び分散数式を利用して各第１特徴部の第３位置情報の縦座標値の分散及び平均値、縦座標値の分散及び平均値をそれぞれ決定することができる。
【０１７０】
又は、本出願の実施例において、各第１特徴部の第３位置情報に基づいて、各第３位置情報の横座標に対応する横座標平均値及び横座標分散を、各第３位置情報の縦座標に対応する縦座標均値及び縦座標分散を生成してもよい。つまり、各第３位置情報の横座標は、それぞれの分散及び平均値に対応しており、縦座標も、それぞれの平均値及び分散に対応している。例えば、第３所定のモデルにより第１位置情報の正規化処理プロセスを実行することができる。第３所定のモデルは、ニューラルネットワークモデルを含んでもよい。該ニューラルネットワークモデルをトレーニングする時、大量のデータによりトレーニングすることができる。例えば、３０万組のトレーニングデータを入力することができる。各組のトレーニングデータには、入力された各特徴部の第３位置情報、及び対応する正規化された第２位置情報が含まれてもよい。トレーニングデータにおける各同一の特徴部に基づいた第３位置情報の横座標の平均値及び分散は、該特徴部に対応する横座標平均値及び分散と決定される。トレーニングデータにおける各同一の特徴部に基づいた第３位置情報の縦座標の平均値及び分散は、該特徴部に対応する縦座標平均値及び分散と決定される。
【０１７１】
従って、該第３所定のモデルに各第１特徴部の第３位置情報を入力する時、対応する特徴部の横座標平均値、分散及び縦座標平均値、分散を取得することができる。続いて、各特徴部の平均値及び分散に基づいて第３位置情報に対して第２正規化処理を行う。ここで、第２式を利用して、前記平均値及び分散に基づいて、前記第３位置情報に対して第２正規化処理を行うことができ、前記第２式は下記の通りである。
【０１７２】
【数４２】
2021514092.tif 000044
【０１７３】
ただし、ｓ及びｔはそれぞれ、ｉ番目の第１特徴部の第２位置情報の横座標及び縦座標を表し、
【０１７４】
【数４３】
2021514092.tif 000045
【０１７５】
はそれぞれ、ｉ番目の第１特徴部の第３位置情報の横座標値及び縦座標値を表し、ｍｅａｎ関数は、第１特徴部に対応する横座標又は縦座標平均値関数であり、ｓｔｄ関数は、第１特徴部に対応する横座標又は縦座標分散関数であり、ｉは正整数である。
【０１７６】
各第１特徴部の第２位置情報が決定された時、該第２位置情報を利用して第２特徴部の三次元位置情報の決定プロセスを実行することができる。ここで、本出願の実施例において、各第２特徴部の三次元位置情報に対して逆正規化処理を行い、逆正規化処理された三次元位置情報を撮像装置に対するターゲット対象の実際の位置座標として、ターゲット対象の姿勢をより正確に決定する。ここで、図８は、本出願の実施例による位置姿勢検出方法におけるステップＳ２００を示すもう１つのフローチャートである。ここで、ステップＳ２００は以下を含んでもよい。
【０１７７】
Ｓ２０１：前記撮像装置の装置パラメータに基づいて、前記第１位置情報を正規化処理し、第２位置情報を得る。
【０１７８】
Ｓ２０２：所定のモデルを利用して前記第１特徴部の第２位置情報に基づいて、前記ターゲット対象の第２特徴部の三次元形態の第４位置情報を得る。
【０１７９】
Ｓ２０３：前記第４位置情報に対して逆正規化処理を行い、第２特徴部の三次元位置情報を得る。
【０１８０】
ここで、Ｓ２０１及びＳ２０２は図４に示したステップＳ２０１及びＳ２０２の処理形態と同じである。本出願の実施例における第４位置情報は、図４に対応する実施例における三次元位置情報に相当し、本出願の実施例は、第４位置情報に対して逆正規化処理を行い、トレーニングパラメータ等による位置情報への影響を減少させることができる。
【０１８１】
本出願の実施例において、対各第２特徴部の三次元位置情報又は補正後の三次元位置情報に対して逆正規化処理を行い、逆正規化処理された三次元位置情報をターゲット対象の実際の位置座標とし、ターゲット対象の姿勢をより正確に決定することもできる。本出願の実施例は、補正後の三次元位置情報の逆正規化処理について説明する。補正されていない三次元位置情報に対して直接的に正規化処理を行う過程はそれと類似するため、ここで繰り返しの説明を省略する。ここで、該逆正規化処理プロセスは、
第３式を利用して、補正後の三次元位置情報に対して逆正規化処理を行い、第５位置情報を得ることを含んでもよく、前記第３式は下記の通りである。
【０１８２】
【数４４】
2021514092.tif 000046
【０１８３】
ただし、
【０１８４】
【数４５】
2021514092.tif 000047
【０１８５】
はそれぞれ、三次元位置情報の３つの座標値を表し、Ｘ、Ｙ及びＺはそれぞれ、第４位置情報の３つの座標値を表し、ｓｔｄは分散関数を表し、ｍｅａｎは平均値関数を表す。
【０１８６】
なお、本出願の実施例における各第２特徴部の各第４位置情報のＸ座標平均値は、平均値関数を利用して各第４位置情報のＸ座標値に基づいて得られたものであってもよい。各第４位置情報のＹ座標平均値は、平均値関数を利用して各第４位置情報のＹ座標値に基づいて得られたものであってもよい。各第４位置情報のＺ座標平均値は、平均値関数を利用して各第４位置情報のＺ座標に基づいて得られたものであってもよい。本出願の実施例における各第４位置情報的Ｘ座標の分散は、分散関数を利用して各第４位置情報のＸ座標値及びＸ座標平均値に基づいて得られたものであってもよい。第４位置情報のＹ座標の分散は、分散関数を利用して各第４位置情報のＹ座標値及びＹ座標平均値に基づいて得られたものであってもよい。各第４位置情報のＺ座標の分散は、分散関数を利用して各第４位置情報のＺ座標値和Ｚ座標平均値に基づいて得られたものであってもよい。
【０１８７】
又は、本出願の実施例におけるｍｅａｎ函数はそれぞれ、対応する特徴部の三次元位置情報のＸ、Ｙ又はＺび平均値であってもよい。ｓｔｄ函数はそれぞれ、対応する特徴部の補正後の三次元位置情報のＸ、Ｙ又はＺの分散であってもよい。つまり、各第２特徴部の第４位置情報は、対応するＸの平均値及び分散、Ｙの平均値及び分散、Ｚの平均値及び分散を有してもよい。ここで、トレーニングデータを利用して第３所定のモデルをトレーニングする時、トレーニング過程において、得られた各第４位置情報に基づいて、実際に適用する時の各第２特徴部の各第４位置情報におけるＸの平均値及ぶ分散、Ｙの平均値及び分散、Ｚの平均値及び分散をそれぞれ決定することができる。例えば、トレーニングデータにおける生成された頭部特徴部に関する第４位置情報のＸの平均値及ぶ分散、Ｙの平均値及ぶ分散、Ｚの平均値及ぶ分散を取得することができる。なお、他の特徴部の第４位置情報のＸの平均値及ぶ分散、Ｙの平均値及ぶ分散、Ｚの平均値及ぶ分散を取得することもできる。これにより各特徴部の第４位置情報のＸの平均値及ぶ分散、Ｙの平均値及ぶ分散、Ｚの平均値及ぶ分散を得る。
【０１８８】
従って、対応する特徴部の第４位置情報の平均値及ぶ分散を利用して各第２特徴部の逆正規化処理を行い、トレーニングデータによる影響を減少させ、正確な各第２特徴部の三次元位置情報を得ることができる。最終に、該第２特徴部の三次元位置情報に基づいて、ターゲット対象の位置姿勢を取得する。
【０１８９】
本出願の実施例において、三次元位置情報を決定してから、三次元位置情報を更に補正し、対応する空間的位置姿勢を決定することもできる。図９は、本出願の実施例による位置姿勢検出方法におけるステップＳ３００を示すフローチャートである。ここで、ステップＳ３００は以下を含んでもよく、
Ｓ３０１：前記第２特徴部に含まれる第１特徴部の第１位置情報、及び該含まれる第１特徴部に対応する、第２特徴部における三次元位置情報に基づいて、補正パラメータを決定する。
【０１９０】
Ｓ３０２：前記補正パラメータに基づいて前記三次元位置情報を補正する。
【０１９１】
Ｓ３０３：補正後の三次元位置情報に基づいて、前記ターゲット対象の空間的位置姿勢を決定する。
【０１９２】
ここで、上記実施例に記述したように、本出願の実施例における第２特徴部には、少なくとも１つの第１特徴部が含まれてもよいし、第１特徴部以外の他の特徴部が含まれてもよい。従って、三次元位置情報の補正を実行する時、まず、第１特徴部及び第２特徴部における同一の特徴部を決定する必要がある。該同一の特徴部とは、第２特徴部に含まれる第１特徴部を指す。ここで、本出願の実施例における第１特徴部及び第２特徴部はいずれも対応する識別情報を持ってもよい。例えば、第１特徴部は、対応する第１識別子を持ってもよいし、第２特徴部は、対応する第２識別子を持ってもよい。従って、対応する第１特徴部及び第２特徴部の識別情報を整合させることで、同一の特徴部を決定することができる。例えば、同じ識別情報を持つ第１特徴部及び第２特徴部は、補正パラメータの決定に用いられる。同じ識別情報を持つ第１特徴部及び第２特徴部は、実際に、同一の特徴部である。又は、同一の特徴部の第１識別子と第２識別子との間に、対応するマッピング関係が存在してもよい。従って、互いに関連付けられた第１識別子と第２識別子に対応する第１特徴部と第２特徴部を同一の特徴部とすることができる。ここで、識別情報は、特徴部のために割り当てられる一意的識別子であってもよい。ここで、番号又は名称などであってもよい。なお、ステップＳ３０１における三次元位置情報は、図４に示した実施例におおける三次元位置情報又は図８に示した実施例における三次元位置情報を含んでもよい。
【０１９３】
本出願の実施例において、決定された同一の特徴部に基づいて、補正パラメータの決定を行うことができる。図１０は、本出願の実施例による位置姿勢検出方法におけるステップＳ３０１を示すフローチャートである。ここで、ステップＳ３０１は以下を含んでもよい。
【０１９４】
Ｓ３０１１：回転行列及び平行移動行列を利用して前記第１特徴部の第２特徴部における前記三次元位置情報を二次元形態の第５位置情報に変換する。
【０１９５】
Ｓ３０１２：前記第５位置情報と、第１位置情報の正規化処理により得られた第２位置情報との差異に基づいて、前記差異が所定の要件を満たすまで、前記回転行列及び平行移動行列を繰返してフィードバック調整する。
【０１９６】
Ｓ３０１３：前記差異が所定の要件を満す場合の回転行列及び平行移動行列に基づいて、前記補正パラメータを決定する。
【０１９７】
本出願の実施例において、第１特徴部の第１位置情報の正規化処理により得られた第２位置情報は、二次元座標形態であるが、三次元位置情報が三次元座標形態である。従って、補正係数を決定するために、両者の座標形態を整合する必要がある。本出願の実施例において、回転行列及び平行移動行列を利用して三次元位置情報を二次元形態の第４位置情報に変換することができる。ここで、回転行列は、撮像装置に対するターゲット対象の回転ベクトルであり、平行移動行列は、撮像装置に対するターゲット対象の平行移動ベクトルである。本出願の実施例において、上記第３所定のモデルにより該三次元位置情報の補正を行うことができる。ここで、第３所定のモデルは、予め設定された回転行列及び平行移動行列に基づいて、三次元位置情報の、二次元形態への変換を行うことができる。例えば、第４式により、回転行列及び平行移動行列を利用して前記三次元位置情報を二次元形態の第５位置情報に変換することができる。第４式は以下を含んでもよく、
【０１９８】
【数４６】
2021514092.tif 000048
【０１９９】
ただし、
【０２００】
【数４７】
2021514092.tif 000049
【０２０１】
は、撮像装置のｘ軸における焦点距離であり、
【０２０２】
【数４８】
2021514092.tif 000050
【０２０３】
は、撮像装置のｙ軸における焦点距離であり、
【０２０４】
【数４９】
2021514092.tif 000051
【０２０５】
はそれぞれ、撮像装置の光学中心座標位置の横座標値及び縦座標値であり、Ｓ５は、第５位置情報であり、Ｓ３は、三次元位置情報である。
【０２０６】
なお、第３所定のモデルは、対応する特徴部の第２位置情報と第５位置情報との差異に基づいて、回転行列及び平行移動行列を繰り返してフィードバック調整し、全ての特徴部の第２位置情報と第５位置情報との差異が所定の要件を満たすまで継続する。該所定の要件を満たすことは、２つの位置情報間の距離が所定の距離閾値より小さいことを含んでもよい。ここで、所定の距離閾値は、必要に応じて事前設定された値であってもよい。異なる実施例において、異なる値を設定することができる。また、差異が所定の要件を満した場合の回転行列及び平行移動行列を補正パラメータとすることができる。
【０２０７】
又は、本出願の別の実施例において、最適化モデルを利用して前記回転行列及び平行移動行列のフィードバック調整を行うこともでき、前記最適化モデルの数式は下記の通りである。
【０２０８】
【数５０】
2021514092.tif 000052
【０２０９】
ただし、ａｒｇ  ｍｉｎ関数は、差異最小化関数を表し、Ｓ２は第２位置情報を表す。つまり、本出願の実施例において、最適化モデルにより、回転行列Ｒ及び平行移動行列Ｔを調整して、第５位置情報と第２位置情報との差異を最小化することができる。ここで、最適化モデルは、ニューラルネットワークモデル又は他の機械学習モデルを含んでもよい。
【０２１０】
なお、所定の要件を満たした時の回転行列Ｒ及び平行移動行列Ｔを取得してから、前記補正パラメータに基づいて前記三次元位置情報を補正することができる。ここで、第５式を利用して前記三次元位置情報を補正することを含んでもよく、前記第５式は下記の通りである。
【０２１１】
【数５１】
2021514092.tif 000053
【０２１２】
ただし、Ｐは、補正前の三次元位置情報であり、Ｐ’は、補正後の三次元位置情報であり、Ｒは、回転行列であり、Ｔは、平行移動行列である。
【０２１３】
つまり、所定の要件を満たした差異に対応する回転行列及び平行移動行列を利用して三次元位置情報を補正し、補正後の三次元位置情報を得て、該三次元位置情報を利用してターゲット対象の空間的位置姿勢を決定することができる。ここで、本出願の実施例は、該補正された各第２特徴部の三次元位置情報を直接的に利用して空間的位置姿勢を決定し、位置姿勢検出の精度を向上させることができる。
【０２１４】
本出願の実施例をより明確に説明するために、以下、例を挙げて本出願の実施例の位置姿勢検出アルゴリズムのプロセスを説明する。ここで、位置姿勢検出アルゴリズムは、
ビデオ又はピクチャを含んでもよい画像データを取得することと、
二次元人体キーポイント検出ツールを利用して、画像における１４個のキーポイントの位置、即ち、１４個の第１特徴部の第１位置情報を得ることと、
二次元キーポイント位置情報を利用して、対応する三次元人体骨格（１７個のキーポイントであり、ここで、骨盤のキーポイント位置は常に原点である）を得て、該１７個のキーポイントが三次元キーポイントの三次元位置情報であることと、
上記ステップで得られた２つの人体キーポイントに対して位置合わせ操作を行い（即ち、同一の特徴部を決定する）、各キーポイントを物理的には一致させることと、
現在の装置の内部パラメータがＫであり、ターゲット人体のカメラ座標系における外部パラメータ回転行列Ｒ及び平行移動行列Ｔを算出することとを含む。ここで、式４に記述したとおりであり、
【０２１５】
【数５２】
2021514092.tif 000054
【０２１６】
ただし、
【０２１７】
【数５３】
2021514092.tif 000055
【０２１８】
は、張正友較正法で現在の装置を較正することで得られるものである。位置合わせされた二次元人体骨格Ｓ２及び三次元人体骨格Ｓ３について、最適化公式は、以下のとおりであり、
【０２１９】
【数５４】
2021514092.tif 000056
【０２２０】
最適化されたＲ及びＴを決定してから、三次元位置情報を補正することができる。例えば、
【０２２１】
【数５５】
2021514092.tif 000057
【０２２２】
によりＰ’を得て、更に位置姿勢を決定することができる。
【０２２３】
本出願の実施例において、ビデオデータを画像データとして利用してもよいため、Ｒ及びＴの最適化操作を行う時、前の１フレームのＲ及びＴを、後の１フレームの初期値として用い、最適化の精度を更に向上させる。
【０２２４】
要するに、本出願の実施例は、装置パラメータを利用して画像における対象の位置姿勢検出を実行する。異なるパラメータによる姿勢検出への影響を無くし、位置姿勢検出の精度を向上させると共に、本出願の実施例は、第１位置情報と三次元位置情報との差異を利用して、三次元位置情報を調整するための補正パラメータを決定し、位置姿勢の検出精度を更に向上させることができる。
【０２２５】
具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番として実施過程を限定するものではなく、各ステップの具体的な実行順番はその機能及び考えられる内在的論理により決まることは、同業者であれば理解すべきである。
【０２２６】
図１１は、本出願の実施例による位置姿勢検出装置を示すブロック図である。前記装置は、
撮像装置により撮像されたターゲット画像におけるターゲット対象の少なくとも１つの第１特徴部の第１位置情報を決定するように構成される第１決定モジュール１０と、
第１位置情報及び前記撮像装置の装置パラメータに基づいて、前記ターゲット対象の第２特徴部の三次元位置情報を決定するように構成される第２決定モジュール２０であって、前記第２特徴部が、前記少なくとも１つの第１特徴部を含む第２決定モジュール２０と、
前記第２特徴部に含まれる少なくとも１つの第１特徴部の前記第１位置情報及び前記第２特徴部の三次元位置情報に基づいて、前記ターゲット対象の空間的位置姿勢を決定するように構成される第３決定モジュール３０とを備えてもよい。
【０２２７】
本出願の実施例において、前記第１決定モジュールは、
認識しようとする第１特徴部の情報を取得するように構成される情報取得ユニットと、
取得した第１特徴部の情報に基づいて、前記ターゲット対象における前記少なくとも１つの第１特徴部を認識するように構成される特徴認識ユニットと、
確立された二次元座標系に基づいて、前記少なくとも１つの第１特徴部の第１位置情報を決定するように構成される二次元位置決定ユニットとを備える。
【０２２８】
本出願の実施例において、前記第２決定モジュールは、
前記撮像装置の装置パラメータに基づいて、前記第１位置情報を正規化処理し、第２位置情報を得るように構成される正規化ユニットと、
前記第２位置情報を利用して前記第２特徴部の三次元位置情報を決定するように構成される三次元位置決定ユニットとを備える。
【０２２９】
本出願の実施例において、前記正規化ユニットは更に、前記装置パラメータを利用して前記第１位置情報に対して第１正規化処理を行い、前記少なくとも１つの第１特徴部の第３位置情報を得て、前記少なくとも１つの第１特徴部の第３位置情報の平均値及び分散を決定し、前記平均値及び分散に基づいて、前記第３位置情報に対して第２正規化処理を行い、前記第２位置情報を得るように構成される。
【０２３０】
本出願の実施例において、前記正規化ユニットは更に、前記装置パラメータを利用して前記第１位置情報に対して歪み除去処理を行い、歪み除去処理後の第１位置情報に対して第１正規化処理を行い、前記少なくとも１つの第１特徴部の第３位置情報を得るように構成される。
【０２３１】
本出願の実施例において、前記正規化ユニットは更に、第１式を利用して前記第１位置情報に対して前記歪み除去処理を行うように構成され、第１式は下記の通りである。
【０２３２】
【数５６】
2021514092.tif 000058
【０２３３】
ただし、
【０２３４】
【数５７】
2021514092.tif 000059
【０２３５】
は、ｘ軸における撮像装置の焦点距離であり、
【０２３６】
【数５８】
2021514092.tif 000060
【０２３７】
は、ｙ軸における撮像装置の焦点距離であり、
【０２３８】
【数５９】
2021514092.tif 000061
【０２３９】
は、それぞれ、撮像装置の光学中心座標位置の横座標値及び縦座標値であり、
【０２４０】
【数６０】
2021514092.tif 000062
【０２４１】
はそれぞれ、撮像装置の径方向歪みパラメータであり、
【０２４２】
【数６１】
2021514092.tif 000063
【０２４３】
は、撮像装置の接線方向歪みパラメータであり、ｘ及びｙはそれぞれ、第１位置情報の横座標値及び縦座標値であり、ｕ及びｖはそれぞれ、歪み処理後の横座標値及び縦座標値である。
【０２４４】
本出願の実施例において、前記正規化ユニットは更に、第２式を利用して、前記平均値及び分散に基づいて、前記第３位置情報に対して第２正規化処理を行うように構成され、前記第２式は下記の通りである。
【０２４５】
【数６２】
2021514092.tif 000064
【０２４６】
ただし、ｓ及びｔはそれぞれ、第２位置情報の横座標及び縦座標を表し、
【０２４７】
【数６３】
2021514092.tif 000065
【０２４８】
はそれぞれ、ｉ番目の第１特徴の第３位置情報の横座標値及び縦座標値を表し、ｍｅａｎ関数は、平均値関数であり、ｓｔｄ関数は、分散関数であり、ｉは正整数である。
【０２４９】
本出願の実施例において、前記三次元位置決定ユニットは更に、深層学習モデルを含む所定のモデルを利用して前記第１特徴部の第２位置情報に基づいて、前記ターゲット対象の第２特徴部の三次元位置情報を取得するように構成される。
【０２５０】
本出願の実施例において、前記第２決定モジュールは、
前記撮像装置の装置パラメータに基づいて、前記第１位置情報を正規化処理し、第２位置情報を得るように構成される正規化ユニットと、
前記第２位置情報を利用して前記第２特徴部の三次元形態の第４位置情報を決定するように構成される三次元位置決定ユニットと、
前記第４位置情報に対して逆正規化処理を行い、第２特徴部の三次元位置情報を得るように構成される逆正規化ユニットとを備える。
【０２５１】
本出願の実施例において、前記逆正規化ユニットは更に、第３式を利用して前記第４位置情報に対して逆正規化処理を行い、三次元位置情報を得るように構成され、前記第３式は下記の通りである。
【０２５２】
【数６４】
2021514092.tif 000066
【０２５３】
ただし、
【０２５４】
【数６５】
2021514092.tif 000067
【０２５５】
はそれぞれ、三次元位置情報の３つの座標値を表し、Ｘ、Ｙ及びＺはそれぞれ、第４位置情報の３つの座標値を表し、ｓｔｄは分散関数を表し、ｍｅａｎは平均値関数を表す。
【０２５６】
本出願の実施例において、前記第３決定モジュールは、
前記第２特徴部に含まれる第１特徴部の第１位置情報、及び該含まれる第１特徴部に対応する、第２特徴部における三次元位置情報に基づいて、補正パラメータを決定するように構成される補正パラメータ決定ユニットと、
前記補正パラメータに基づいて前記三次元位置情報を補正するように構成される補正ユニットと、
補正後の三次元位置情報に基づいて、前記ターゲット対象の空間的位置姿勢を決定するように構成される位置姿勢決定ユニットとを備える。
【０２５７】
本出願の実施例において、前記補正パラメータ決定ユニットは更に、回転行列及び平行移動行列を利用して前記第１特徴部の第２特徴部における前記三次元位置情報を二次元形態の第５位置情報に変換し、
前記第５位置情報と、第１位置情報の正規化処理により得られた第２位置情報との差異に基づいて、前記差異が所定の要件を満たすまで、前記回転行列及び平行移動行列を繰返してフィードバック調整し、
前記差異が所定の要件を満たす時の回転行列及び平行移動行列に基づいて、前記補正パラメータを決定するように構成される。
【０２５８】
本出願の実施例において、前記補正パラメータ決定ユニットは更に、第４式により、回転行列及び平行移動行列を利用して前記三次元位置情報を二次元形態の第５位置情報に変換するように構成され、前記第４式は下記の通りである。
【０２５９】
【数６６】
2021514092.tif 000068
【０２６０】
ただし、
【０２６１】
【数６７】
2021514092.tif 000069
【０２６２】
は、撮像装置のｘ軸における焦点距離であり、
【０２６３】
【数６８】
2021514092.tif 000070
【０２６４】
は、撮像装置のｙ軸における焦点距離であり、
【０２６５】
【数６９】
2021514092.tif 000071
【０２６６】
はそれぞれ、撮像装置の光学中心座標位置の横座標値及び縦座標値であり、Ｓ５は、第５位置情報であり、Ｓ３は、三次元位置情報である。
【０２６７】
本出願の実施例において、前記補正パラメータ決定ユニットは更に、最適化モデルを利用して前記回転行列及び平行移動行列のフィードバック調整を行うように構成され、前記最適化モデルの数式は下記の通りである。
【０２６８】
【数７０】
2021514092.tif 000072
【０２６９】
ただし、ａｒｇ  ｍｉｎ関数は、差異最小化関数を表し、Ｓ２は第２位置情報を表す。
【０２７０】
本出願の実施例において、前記補正ユニットは更に、第５式を利用して前記三次元位置情報を補正するように構成され、前記第５式は、下記の通りである。
【０２７１】
【数７１】
2021514092.tif 000073
【０２７２】
ただし、Ｐは、補正前の三次元位置情報であり、Ｐ’は、補正後の三次元位置情報であり、Ｒは、回転行列であり、Ｔは、平行移動行列である。
【０２７３】
本出願の実施例において、前記第３決定ユニットは、
前記第１特徴部の第１識別子及び第２特徴部の第２識別子に基づいて、前記第２特徴部に含まれる少なくとも１つの第１特徴部を決定するように構成される整合ユニットを更に備える。
【０２７４】
本出願の実施例において、前記装置は、
ターゲット画像を取得するように構成される画像取得モジュールと、
前記ターゲット画像におけるターゲット対象を認識するように構成される対象認識モジュールとを更に備える。
【０２７５】
本出願の実施例において、前記第１特徴部は、頭部、頸部、肩部、肘部、手首部、股関節部、膝部、足首部のうちの少なくとも１つを含む。
【０２７６】
幾つかの実施例において、本出願の実施例で提供される装置における機能及びモジュールは、上記方法実施例に記載の方法を実行するために用いられ、具体的な実現形態は放棄方法実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。
【０２７７】
本出願の実施例はコンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記方法を実現させる。コンピュータ可読記憶媒体は不揮発性コンピュータ可読記憶媒体であってもよい。
【０２７８】
本出願の実施例は電子機器を更に提供する。該電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するためのメモリとを備え、前記プロセッサは、上記方法を実行するように構成される。
【０２７９】
本出願の実施例は、コンピュータプログラムを更に提供する。該コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサは、上記方法を実行する。
【０２８０】
電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。
【０２８１】
図１２は一例示的な実施例による電子機器８００を示すブロック図である。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどの端末であってもよい。
【０２８２】
図１２を参照すると、電子機器８００は、処理ユニット８０２、メモリ８０４、電源ユニット８０６、マルチメディアユニット８０８、オーディオユニット８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサユニット８１４及び通信ユニット８１６のうちの１つ又は複数を備えてもよい。
【０２８３】
処理ユニット８０２は一般的には、電子機器８００の全体操作を制御する。例えば、表示、通話呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット８０２は、指令を実行するための１つ又は複数のプロセッサ８２０を備えてもよい。それにより上記方法の全て又は一部のステップを実行する。なお、処理ユニット８０２は、他のユニットとのインタラクションのために、１つ又は複数のモジュールを備えてもよい。例えば、処理ユニット８０２はマルチメディアモジュールを備えることで、マルチメディアユニット８０８と処理ユニット８０２とのインタラクションに寄与する。
【０２８４】
メモリ８０４は、各種のデータを記憶することで電子機器８００における操作をサポートするように構成される。これらのデータの例として、電子機器８００上で操作れる如何なるアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオ等を含む。メモリ８０４は任意のタイプの揮発性または不揮発性記憶装置、あるいはこれらの組み合わせにより実現される。例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、電気的に消去可能なプログラマブル読出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読出し専用メモリ（ＰＲＯＭ）、読出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気もしくは光ディスクを含む。
【０２８５】
電源ユニット８０６は電子機器８００の様々なユニットに電力を提供する。電源ユニット８０６は、電源管理システム、１つ又は複数の電源、及び電子機器８００のための電力生成、管理、分配に関連する他のユニットを備えてもよい。
【０２８６】
マルチメディアユニット８０８は、上記電子機器８００とユーザとの間に出力インタフェースを提供するためのスクリーンを備える。幾つかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含む。スクリーンは、タッチパネルを含むと、タッチパネルとして実現され、ユーザからの入力信号を受信する。タッチパネルは、タッチ、スライド及びパネル上のジェスチャを感知する１つ又は複数のタッチセンサを備える。上記タッチセンサは、タッチ又はスライド動作の境界を感知するだけでなく、上記タッチ又はスライド操作に関連する持続時間及び圧力を検出することもできる。幾つかの実施例において、マルチメディアユニット８０８は、フロントカメラ及び／又はリアカメラを備える。電子機器８００が、撮影モード又は映像モードのような操作モードであれば、フロントカメラ及び／又はリアカメラは外部からのマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは固定した光学レンズシステム又は焦点及び光学ズーム能力を持つものであってもよい。
【０２８７】
オーディオユニット８１０は、オーディオ信号を出力／入力するように構成される。例えば、オーディオユニット８１０は、マイクロホン（ＭＩＣ）を備える。電子機器８００が、通話モード、記録モード及び音声識別モードのような操作モードであれば、マイクロホンは、外部からのオーディオ信号を受信するように構成される。受信したオーディオ信号を更にメモリ８０４に記憶するか、又は通信ユニット８１６を経由して送信することができる。幾つかの実施例において、オーディオユニット８１０は、オーディオ信号を出力するように構成されるスピーカーを更に備える。
【０２８８】
Ｉ／Ｏインタフェース８１２は、処理ユニット８０２と周辺インタフェースモジュールとの間のインタフェースを提供する。上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボダン、ボリュームボタン、スタートボタン及びロックボタンを含むが、これらに限定されない。
【０２８９】
センサユニット８１４は、１つ又は複数のセンサを備え、電子機器８００のために様々な状態の評価を行うように構成される。例えば、センサユニット８１４は、収音音量制御用装置のオン／オフ状態、ユニットの相対的な位置決めを検出することができる。例えば、上記ユニットが電子機器８００のディスプレイ及びキーパッドである。センサユニット８１４は電子機器８００又は電子機器８００における１つのユニットの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の位置方向又は加速／減速及び電子機器８００の温度の変動を検出することもできる。センサユニット８１４は近接センサを備えてもよく、いかなる物理的接触もない場合に周囲の物体の存在を検出するように構成される。センサユニット８１４は、ＣＭＯＳ又はＣＣＤ画像センサのような光センサを備えてもよく、結像に適用されるように構成される。幾つかの実施例において、該センサユニット８１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを備えてもよい。
【０２９０】
通信ユニット８１６は、電子機器８００と他の機器との有線又は無線方式の通信に寄与するように構成される。電子機器８００は、ＷｉＦｉ、２Ｇ又は３Ｇ又はそれらの組み合わせのような通信規格に基づいた無線ネットワークにアクセスできる。一例示的な実施例において、通信ユニット８１６は放送チャネルを経由して外部放送チャネル管理システムからの放送信号又は放送関連する情報を受信する。一例示的な実施例において、上記通信ユニット８１６は、近接場通信（ＮＦＣ）モジュールを更に備えることで近距離通信を促進する。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術及び他の技術に基づいて実現される。
【０２９１】
例示的な実施例において、電子機器８００は、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理機器（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子により実現され、上記方法を実行するように構成されてもよい。
【０２９２】
例示的な実施例において、コンピュータプログラム命令を記憶したメモリ８０４のような非一時的コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０により実行され上記方法を完了する。
【０２９３】
図１３は、本出願の実施例によるもう１つの電子機器を示すブロック図である。例えば、電子機器１９００は、サーバとして提供されてもよい。図１３を参照すると、電子機器１９００は、処理ユニット１９２２を備える。ぞれは１つ又は複数のプロセッサと、メモリ１９３２で表されるメモリリソースを更に備える。該メモリリースは、アプリケーションプログラムのような、処理ユニット１９２２により実行される命令を記憶するためのものである。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれ一組の命令に対応する１つ又は１つ以上のモジュールを含んでもよい。なお、処理ユニット１９２２は、命令を実行して、上記方法を実行するように構成される。
【０２９４】
電子機器１９００は、電子機器１９００の電源管理を実行するように構成される電源ユニット１９２６と、電子機器１９００をネットワークに接続するように構成される有線又は無線ネットワークインタフェース１９５０と、入力出力（Ｉ／Ｏ）インタフェース１９５８を更に備えてもよい。電子機器１９００は、Ｗｉｎｄｏｗｓ（登録商標）  ＳｅｒｖｅｒＴＭ、Ｍａｃ  ＯＳ  ＸＴＭ、Ｕｎｉｘ（登録商標）ＴＭ，  Ｌｉｎｕｘ（登録商標）ＴＭ、ＦｒｅｅＢＳＤＴＭ又は類似したものような、メモリ１９３２に記憶されているオペレーティングシステムを実行することができる。
【０２９５】
例示的な実施例において、例えば、コンピュータプログラム命令を含むメモリ１９３２のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器１９００の処理ユニット１９２２により実行されて上記方法を完了する。
【０２９６】
本出願は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、プロセッサに本出願の各態様を実現させるためのコンピュータ可読プログラム命令がそれに記憶されている。
【０２９７】
コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。
【０２９８】
ここで説明されるコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から各コンピューティング／処理装置にダウンロードすることができるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークのようなネットワークを経由して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各コンピューティング／処理装置におけるネットワークインターフェースカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング／処理装置におけるコンピュータ可読記憶媒体に記憶する。
【０２９９】
本出願の操作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語で記述されたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語又は類似したプログラミング言語などの従来の手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザコンピュータ上で完全に実行してもよいし、ユーザコンピュータ上で部分的に実行してもよいし、独立したソフトウェアパッケージとして実行してもよいし、ユーザコンピュータ上で部分的に実行してリモートコンピュータ上で部分的に実行してもよいし、又はリモートコンピュータ又はサーバ上で完全に実行してもよい。リモートコンピュータの場合に、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを通じてユーザのコンピュータに接続するか、または、外部のコンピュータに接続することができる（例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する）。幾つかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブル論理アレイ（ＰＬＡ）のような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本出願の各態様を実現させることができる。
【０３００】
ここで、本出願の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら、本出願の各態様を説明する。フローチャート及び／又はブロック図の各ブロック及びフローチャート及び／又はブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できる。
【０３０１】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行される時、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能／操作を実現する装置を生み出した。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ、プログラマブルデータ処理装置及び／又は他の装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図おける１つ又は複数のブロック中で規定している機能／操作を実現する各態様の命令を含む製品を備える。
【０３０２】
コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置又は他の装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能／操作を実現させる。
【０３０３】
図面におけるフローチャート及びブック図は、本出願の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を例示するものである。この点で、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を表すことができる。前記モジュール、、プログラムセグメント又は命令の一部は、１つまたは複数の所定の論理機能を実現するための実行可能な命令を含む。いくつかの取り替えとしての実現中に、ブロックに表記される機能は図面中に表記される順序と異なる順序で発生することができる。例えば、二つの連続するブロックは実際には基本的に並行して実行でき、場合によっては反対の順序で実行することもでき、これは関係する機能から確定する。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための専用ハードウェアベースシステムにより実現するか、又は専用ハードウェアとコンピュータ命令の組み合わせにより実現することができる。
【０３０４】
以上は本発明の各実施例を説明したが、前記説明は例示的なものであり、網羅するものではなく、且つ開示した各実施例に限定されない。説明した各実施例の範囲と趣旨から脱逸しない場合、当業者にとって、多くの修正及び変更は容易に想到しえるものである。本明細書に用いられる用語の選択は、各実施例の原理、実際の応用、或いは市場における技術への改善を最もよく解釈すること、或いは他の当業者が本明細書に開示された各実施例を理解できることを目的とする。
【図１】
2021514092.tif 000074
【図２】
2021514092.tif 000075
【図３】
2021514092.tif 000076
【図４】
2021514092.tif 000077
【図５】
2021514092.tif 000078
【図６】
2021514092.tif 000079
【図７】
2021514092.tif 000080
【図８】
2021514092.tif 000081
【図９】
2021514092.tif 000082
【図１０】
2021514092.tif 000083
【図１１】
2021514092.tif 000084
【図１２】
2021514092.tif 000085
【図１３】
2021514092.tif 000086
【手続補正書】
【提出日】令和2年10月22日(2020.10.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
位置姿勢検出方法であって、
撮像装置により撮像されたターゲット画像におけるターゲット対象の少なくとも１つの第１特徴部の第１位置情報を決定することと、
第１位置情報及び前記撮像装置の装置パラメータに基づいて、前記ターゲット対象の第２特徴部の三次元位置情報を決定することであって、前記第２特徴部が、前記少なくとも１つの第１特徴部を含むことと、
前記第２特徴部に含まれる少なくとも１つの第１特徴部の前記第１位置情報及び前記第２特徴部の三次元位置情報に基づいて、前記ターゲット対象の空間的位置姿勢を決定することと、を含む、位置姿勢検出方法。
【請求項２】
ターゲット画像におけるターゲット対象の少なくとも１つの第１特徴部の第１位置情報を決定することは、
認識しようとする第１特徴部の情報を取得することと、
取得した第１特徴部の情報に基づいて、前記ターゲット対象における前記少なくとも１つの第１特徴部を認識することと、
確立された二次元座標系に基づいて、前記少なくとも１つの第１特徴部の第１位置情報を決定することと、を含むことを特徴とする
請求項１に記載の方法。
【請求項３】
第１位置情報及び前記撮像装置の装置パラメータに基づいて、前記ターゲット対象の第２特徴部の三次元位置情報を決定することは、
記撮像装置の装置パラメータに基づいて、前記第１位置情報を正規化処理し、第２位置情報を得ることと、
前記第２位置情報を利用して前記第２特徴部の三次元位置情報を決定することと、を含むことを特徴とする
請求項１又は２に記載の方法。
【請求項４】
前記撮像装置の装置パラメータに基づいて、前記第１位置情報を正規化処理し、第２位置情報を得ることは、
前記装置パラメータを利用して前記第１位置情報に対して第１正規化処理を行い、前記少なくとも１つの第１特徴部の第３位置情報を得ることと、
前記少なくとも１つの第１特徴部の第３位置情報の平均値及び分散を決定することと、
前記平均値及び分散に基づいて、前記第３位置情報に対して第２正規化処理を行い、前記第２位置情報を得ることと、を含むことを特徴とする
請求項３に記載の方法。
【請求項５】
前記装置パラメータを利用して前記第１位置情報に対して第１正規化処理を行い、前記少なくとも１つの第１特徴部の第３位置情報を得ることは、
前記装置パラメータを利用して前記第１位置情報に対して歪み除去処理を行うことと、
歪み除去処理後の第１位置情報に対して第１正規化処理を行い、前記少なくとも１つの第１特徴部の第３位置情報を得ることと、を含むことを特徴とする
請求項４に記載の方法。
【請求項６】
第１位置情報及び前記撮像装置の装置パラメータに基づいて、前記ターゲット対象の第２特徴部の三次元位置情報を決定することは、
前記撮像装置の装置パラメータに基づいて、前記第１位置情報を正規化処理し、第２位置情報を得ることと、
前記第２位置情報を利用して前記第２特徴部の三次元形態の第４位置情報を決定することと、
前記第４位置情報に対して逆正規化処理を行い、第２特徴部の三次元位置情報を得ることと、を含むことを特徴とする
請求項１又は２に記載の方法。
【請求項７】
前記第２特徴部に含まれる少なくとも１つの第１特徴部の前記第１位置情報及び前記第２特徴部の三次元位置情報に基づいて前記ターゲット対象の空間的位置姿勢を決定することは、
前記第２特徴部に含まれる第１特徴部の第１位置情報、及び該含まれる第１特徴部に対応する、第２特徴部における三次元位置情報に基づいて、補正パラメータを決定することと、
前記補正パラメータに基づいて前記三次元位置情報を補正することと、
補正後の三次元位置情報に基づいて、前記ターゲット対象の空間的位置姿勢を決定することと、を含むことを特徴とする
請求項１−６のいずれか一項に記載の方法。
【請求項８】
前記第２特徴部に含まれる第１特徴部の第１位置情報、及び該含まれる第１特徴部に対応する、第２特徴部における三次元位置情報に基づいて、補正パラメータを決定することは、
回転行列及び平行移動行列を利用して前記第１特徴部の第２特徴部における前記三次元位置情報を二次元形態の第５位置情報に変換すること、
前記第５位置情報と、第１位置情報の正規化処理により得られた第２位置情報との差異に基づいて、前記差異が所定の要件を満たすまで、前記回転行列及び平行移動行列を繰返してフィードバック調整することと、
前記差異が所定の要件を満たす時の回転行列及び平行移動行列に基づいて、前記補正パラメータを決定することと、を含むことを特徴とする
請求項７に記載の方法
【請求項９】
前記方法は、
ターゲット画像を取得することと、
前記ターゲット画像におけるターゲット対象を認識することと、を更に含むことを特徴とする
請求項１−８のいずれか一項に記載の方法。
【請求項１０】
前記第１特徴部は、頭部、頸部、肩部、肘部、手首部、股関節部、膝部、足首部のうちの少なくとも１つを含むことを特徴とする
請求項１−９のいずれか一項に記載の方法。
【請求項１１】
位置姿勢検出装置であって、
撮像装置により撮像されたターゲット画像におけるターゲット対象の少なくとも１つの第１特徴部の第１位置情報を決定するように構成される第１決定モジュールと、
第１位置情報及び前記撮像装置の装置パラメータに基づいて、前記ターゲット対象の第２特徴部の三次元位置情報を決定するように構成される第２決定モジュールであって、前記第２特徴部が、前記少なくとも１つの第１特徴部を含む第２決定モジュールと、
前記第２特徴部に含まれる少なくとも１つの第１特徴部の前記第１位置情報及び前記第２特徴部の三次元位置情報に基づいて、前記ターゲット対象の空間的位置姿勢を決定するように構成される第３決定モジュールと、を備える、位置姿勢検出装置。
【請求項１２】
電子機器であって、
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと、を備え、
前記プロセッサは、請求項１から１０のいずれか一項に記載の方法を実行するように構成される、電子機器。
【請求項１３】
コンピュータ可読記憶媒体であって、該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、請求項１から１０のいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
【請求項１４】
コンピュータプログラムであって、前記コンピュータプログラムが電子機器で実行される時、前記電子機器におけるプロセッサは、請求項１−１０のいずれか一項に記載の方法を実行する、コンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１０６
【補正方法】変更
【補正の内容】
【０１０６】
本出願の実施例の第５態様によれば、コンピュータプログラム製品を提供し、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサは、第１態様のいずれか一項に記載の方法を実行する。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
位置姿勢検出方法であって、
撮像装置により撮像されたターゲット画像におけるターゲット対象の少なくとも１つの第１特徴部の第１位置情報を決定することと、
第１位置情報及び前記撮像装置の装置パラメータに基づいて、前記ターゲット対象の第２特徴部の三次元位置情報を決定することであって、前記第２特徴部が、前記少なくとも１つの第１特徴部を含むことと、
前記第２特徴部に含まれる少なくとも１つの第１特徴部の前記第１位置情報及び前記第２特徴部の三次元位置情報に基づいて、前記ターゲット対象の空間的位置姿勢を決定することと、を含む、位置姿勢検出方法。
（項目２）
ターゲット画像におけるターゲット対象の少なくとも１つの第１特徴部の第１位置情報を決定することは、
認識しようとする第１特徴部の情報を取得することと、
取得した第１特徴部の情報に基づいて、前記ターゲット対象における前記少なくとも１つの第１特徴部を認識することと、
確立された二次元座標系に基づいて、前記少なくとも１つの第１特徴部の第１位置情報を決定することと、を含むことを特徴とする
項目１に記載の方法。
（項目３）
第１位置情報及び前記撮像装置の装置パラメータに基づいて、前記ターゲット対象の第２特徴部の三次元位置情報を決定することは、
記撮像装置の装置パラメータに基づいて、前記第１位置情報を正規化処理し、第２位置情報を得ることと、
前記第２位置情報を利用して前記第２特徴部の三次元位置情報を決定することと、を含むことを特徴とする
項目１又は２に記載の方法。
（項目４）
前記撮像装置の装置パラメータに基づいて、前記第１位置情報を正規化処理し、第２位置情報を得ることは、
前記装置パラメータを利用して前記第１位置情報に対して第１正規化処理を行い、前記少なくとも１つの第１特徴部の第３位置情報を得ることと、
前記少なくとも１つの第１特徴部の第３位置情報の平均値及び分散を決定することと、
前記平均値及び分散に基づいて、前記第３位置情報に対して第２正規化処理を行い、前記第２位置情報を得ることと、を含むことを特徴とする
項目３に記載の方法。
（項目５）
前記装置パラメータを利用して前記第１位置情報に対して第１正規化処理を行い、前記少なくとも１つの第１特徴部の第３位置情報を得ることは、
前記装置パラメータを利用して前記第１位置情報に対して歪み除去処理を行うことと、
歪み除去処理後の第１位置情報に対して第１正規化処理を行い、前記少なくとも１つの第１特徴部の第３位置情報を得ることと、を含むことを特徴とする
項目４に記載の方法。
（項目６）
第１位置情報及び前記撮像装置の装置パラメータに基づいて、前記ターゲット対象の第２特徴部の三次元位置情報を決定することは、
前記撮像装置の装置パラメータに基づいて、前記第１位置情報を正規化処理し、第２位置情報を得ることと、
前記第２位置情報を利用して前記第２特徴部の三次元形態の第４位置情報を決定することと、
前記第４位置情報に対して逆正規化処理を行い、第２特徴部の三次元位置情報を得ることと、を含むことを特徴とする
項目１又は２に記載の方法。
（項目７）
前記第２特徴部に含まれる少なくとも１つの第１特徴部の前記第１位置情報及び前記第２特徴部の三次元位置情報に基づいて前記ターゲット対象の空間的位置姿勢を決定することは、
前記第２特徴部に含まれる第１特徴部の第１位置情報、及び該含まれる第１特徴部に対応する、第２特徴部における三次元位置情報に基づいて、補正パラメータを決定することと、
前記補正パラメータに基づいて前記三次元位置情報を補正することと、
補正後の三次元位置情報に基づいて、前記ターゲット対象の空間的位置姿勢を決定することと、を含むことを特徴とする
項目１−６のいずれか一項に記載の方法。
（項目８）
前記第２特徴部に含まれる第１特徴部の第１位置情報、及び該含まれる第１特徴部に対応する、第２特徴部における三次元位置情報に基づいて、補正パラメータを決定することは、
回転行列及び平行移動行列を利用して前記第１特徴部の第２特徴部における前記三次元位置情報を二次元形態の第５位置情報に変換すること、
前記第５位置情報と、第１位置情報の正規化処理により得られた第２位置情報との差異に基づいて、前記差異が所定の要件を満たすまで、前記回転行列及び平行移動行列を繰返してフィードバック調整することと、
前記差異が所定の要件を満たす時の回転行列及び平行移動行列に基づいて、前記補正パラメータを決定することと、を含むことを特徴とする
項目７に記載の方法
（項目９）
前記方法は、
ターゲット画像を取得することと、
前記ターゲット画像におけるターゲット対象を認識することと、を更に含むことを特徴とする
項目１−８のいずれか一項に記載の方法。
（項目１０）
前記第１特徴部は、頭部、頸部、肩部、肘部、手首部、股関節部、膝部、足首部のうちの少なくとも１つを含むことを特徴とする
項目１−９のいずれか一項に記載の方法。
（項目１１）
位置姿勢検出装置であって、
撮像装置により撮像されたターゲット画像におけるターゲット対象の少なくとも１つの第１特徴部の第１位置情報を決定するように構成される第１決定モジュールと、
第１位置情報及び前記撮像装置の装置パラメータに基づいて、前記ターゲット対象の第２特徴部の三次元位置情報を決定するように構成される第２決定モジュールであって、前記第２特徴部が、前記少なくとも１つの第１特徴部を含む第２決定モジュールと、
前記第２特徴部に含まれる少なくとも１つの第１特徴部の前記第１位置情報及び前記第２特徴部の三次元位置情報に基づいて、前記ターゲット対象の空間的位置姿勢を決定するように構成される第３決定モジュールと、を備える、位置姿勢検出装置。
（項目１２）
前記第１決定モジュールは、
認識しようとする第１特徴部の情報を取得するように構成される情報取得ユニットと、
取得した第１特徴部の情報に基づいて、前記ターゲット対象における前記少なくとも１つの第１特徴部を認識するように構成される特徴認識ユニットと、
確立された二次元座標系に基づいて、前記少なくとも１つの第１特徴部の第１位置情報を決定するように構成される二次元位置決定ユニットと、を備えることを特徴とする
項目１１に記載の装置。
（項目１３）
前記第２決定モジュールは、
前記撮像装置の装置パラメータに基づいて、前記第１位置情報を正規化処理し、第２位置情報を得るように構成される正規化ユニットと、
前記第２位置情報を利用して前記第２特徴部の三次元位置情報を決定するように構成される三次元位置決定ユニットと、を備えることを特徴とする
項目１１又は１２に記載の装置。
（項目１４）
前記正規化ユニットは更に、前記装置パラメータを利用して前記第１位置情報に対して第１正規化処理を行い、前記少なくとも１つの第１特徴部の第３位置情報を得て、前記少なくとも１つの第１特徴部の第３位置情報の平均値及び分散を決定し、前記平均値及び分散に基づいて、前記第３位置情報に対して第２正規化処理を行い、前記第２位置情報を得るように構成されることを特徴とする
項目１３に記載の装置。
（項目１５）
前記正規化ユニットは更に、前記装置パラメータを利用して前記第１位置情報に対して歪み除去処理を行い、歪み除去処理後の第１位置情報に対して第１正規化処理を行い、前記少なくとも１つの第１特徴部の第３位置情報を得るように構成されることを特徴とする
項目１４に記載の装置。
（項目１６）
前記第２決定モジュールは、
前記撮像装置の装置パラメータに基づいて、前記第１位置情報を正規化処理し、第２位置情報を得るように構成される正規化ユニットと、
前記第２位置情報を利用して前記第２特徴部の三次元形態の第４位置情報を決定するように構成される三次元位置決定ユニットと、
前記第４位置情報に対して逆正規化処理を行い、第２特徴部の三次元位置情報を得るように構成される逆正規化ユニットと、を備えることを特徴とする
項目１１又は１２に記載の装置。
（項目１７）
前記第３決定モジュールは、
前記第２特徴部に含まれる第１特徴部の第１位置情報、及び該含まれる第１特徴部に対応する、第２特徴部における三次元位置情報に基づいて、補正パラメータを決定するように構成される補正パラメータ決定ユニットと、
前記補正パラメータに基づいて前記三次元位置情報を補正するように構成される補正ユニットと、
補正後の三次元位置情報に基づいて、前記ターゲット対象の空間的位置姿勢を決定するように構成される位置姿勢決定ユニットと、を備えることを特徴とする
項目１１−１６のいずれか一項に記載の装置。
（項目１８）
前記補正パラメータ決定ユニットは更に、回転行列及び平行移動行列を利用して前記第１特徴部の第２特徴部における前記三次元位置情報を二次元形態の第５位置情報に変換し、
前記第５位置情報と、第１位置情報の正規化処理により得られた第２位置情報との差異に基づいて、前記差異が所定の要件を満たすまで、前記回転行列及び平行移動行列を繰返してフィードバック調整し、
前記差異が所定の要件を満たす時の回転行列及び平行移動行列に基づいて、前記補正パラメータを決定するように構成されることを特徴とする
項目１７に記載の装置。
（項目１９）
前記装置は、
ターゲット画像を取得するように構成される画像取得モジュールと、
前記ターゲット画像におけるターゲット対象を認識するように構成される対象認識モジュールと、を更に備えることを特徴とする
項目１１−１８のいずれか一項に記載の装置。
（項目２０）
前記第１特徴部は、頭部、頸部、肩部、肘部、手首部、股関節部、膝部、足首部のうちの少なくとも１つを含むことを特徴とする
項目１１−１９のいずれか一項に記載の装置。
（項目２１）
電子機器であって、
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと、を備え、
前記プロセッサは、項目１から１１のいずれか一項に記載の方法を実行するように構成される、電子機器。
（項目２２）
コンピュータ可読記憶媒体であって、該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、項目１から１０のいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
（項目２３）
コンピュータプログラムであって、前記コンピュータプログラムが電子機器で実行される時、前記電子機器におけるプロセッサは、項目１−１０のいずれか一項に記載の方法を実行する、コンピュータプログラム。
【国際調査報告】
2021514092.tif 000087
2021514092.tif 000088
2021514092.tif 000089
2021514092.tif 000090
2021514092.tif 000091