(57)【要約】本願の実施例は、仮想対象の制御方法及び装置、端末並びに記憶媒体を開示する。前記制御方法は、ユーザの複数の画像を収集することと、収集された複数の画像に基づいて、姿勢変化の姿勢変化パラメータを決定することと、姿勢変化パラメータに基づいて、ユーザに対応する仮想対象を制御することと、を含む。
2021519996.tif 000002
【特許請求の範囲】
【請求項１】
仮想対象の制御方法であって、
ユーザの複数の画像を収集することと、
前記複数の画像に基づいて、前記ユーザの姿勢変化の姿勢変化パラメータを決定することと、
姿勢変化パラメータに基づいて、前記ユーザに対応する仮想対象を制御することと、を含むことを特徴とする、方法。
【請求項２】
前記姿勢変化パラメータは、しゃがみパラメータを含み、
前記姿勢変化パラメータに基づいて、前記ユーザに対応する仮想対象を制御することは、
前記しゃがみパラメータに基づいて、前記仮想対象のジャンプのジャンプパラメータを決定することと、
前記ジャンプパラメータに基づいて、前記仮想対象のジャンプを制御することと、を含むことを特徴とする
請求項１に記載の方法。
【請求項３】
前記しゃがみパラメータは、しゃがみ時間及びしゃがみ幅のうちの少なくとも１つを含むことを特徴とする
請求項２に記載の方法。
【請求項４】
前記ジャンプパラメータは、
ジャンプ力の溜力時間、
ジャンプ力、
ジャンプ力の溜力速度、及び
ジャンプ距離のうちの少なくとも１つを含むことを特徴とする
請求項２又は３に記載の方法。
【請求項５】
前記複数の画像に基づいて、前記ユーザの姿勢変化の姿勢変化パラメータを決定することは、
前記複数の画像の第１画像において、前記ユーザの第１局所の第１キーポイントを検出することと、
前記複数の画像の第２画像において、前記第１局所の第２キーポイントを検出することと、
前記第１キーポイント及び前記第２キーポイントに基づいて、前記姿勢変化パラメータを決定することと、を含むことを特徴とする
請求項１から４のうちいずれか一項に記載の方法。
【請求項６】
前記第１局所は、前記ユーザの顔部であり、前記第１キーポイントは、第１顔キーポイントであり、前記第２キーポイントは、第２顔キーポイントであり、
前記第１キーポイント及び前記第２キーポイントに基づいて、前記姿勢変化パラメータを決定することは、
前記第１顔キーポイントに基づいて、第１顔枠を決定することと、
前記第２顔キーポイントに基づいて、第２顔枠を決定することと、
前記第１顔枠と前記第２顔枠との相対的位置に基づいて、前記姿勢変化パラメータを決定することと、を含むことを特徴とする
請求項５に記載の方法。
【請求項７】
前記第１顔枠と前記第２顔枠との相対的位置に基づいて、前記姿勢変化パラメータを決定することは、
前記第１顔枠と第２顔枠の所定の方向における位置の変化量が所定の閾値を超える場合、前記ユーザの前記所定の方向における姿勢が変化したと判定することを含むことを特徴とする
請求項６に記載の方法。
【請求項８】
前記第１顔枠と第２顔枠の所定の方向における位置の変化量が所定の閾値を超える場合、前記ユーザの前記所定の方向における姿勢が変化したと判定することは、
前記第２顔枠に対して前記第１顔枠が垂直方向に降下した量が降下閾値を超える場合、前記ユーザがしゃがんだと判定すること、及び
前記第２顔枠に対して前記第１顔枠が垂直方向に上昇した量が上昇閾値を超える場合、前記ユーザが起き上がったと判定することのうちの少なくとも１つを含むことを特徴とする
請求項７に記載の方法。
【請求項９】
前記第１キーポイント及び前記第２キーポイントに基づいて、前記姿勢変化パラメータを決定することは、
前記第１キーポイント及び前記第２キーポイントに基づいて、前記第１局所の所定の方向における寸法変化を決定することと、
前記寸法変化に基づいて、前記姿勢変化パラメータを決定することと、を含むことを特徴とする
請求項５に記載の方法。
【請求項１０】
前記寸法変化に基づいて、前記姿勢変化パラメータを決定することは、
前記第１局所の所定の方向における寸法が縮小する場合、前記ユーザがしゃがんだと判定すること、及び
前記第１局所の所定の方向における寸法が増大する場合、前記ユーザが起き上がったと判定することのうちの少なくとも１つを含むことを特徴とする
請求項９に記載の方法。
【請求項１１】
前記第１局所の所定の方向における寸法が縮小する場合、前記ユーザがしゃがんだと判定することは、
前記寸法縮小値が縮小閾値を超える場合、前記ユーザがしゃがんだと判定することを含み、又は、
前記第１局所の所定の方向における寸法が増大する場合、前記ユーザが起き上がったと判定することは、
前記寸法増大値が増大閾値を超える場合、前記ユーザが起き上がったと判定することを含むことを特徴とする
請求項１０に記載の方法。
【請求項１２】
前記第１局所は、前記ユーザの胴体であり、前記第１キーポイントは、第１胴体キーポイントであり、前記第２キーポイントは、第２胴体キーポイントであり、
前記第１キーポイント及び前記第２キーポイントに基づいて、前記第１局所の所定の方向における寸法変化を決定することは、
前記第１胴体キーポイントに基づいて、所定の方向における第１胴体寸法を決定することと、
前記第２胴体キーポイントに基づいて、前記所定の方向における第２胴体寸法を決定することと、
前記第１胴体寸法及び前記第２胴体寸法に基づいて、前記胴体寸法の変化を決定することと、を含むことを特徴とする
請求項９から１１のうちいずれか一項に記載の方法。
【請求項１３】
前記第１局所は、前記ユーザの肢体であり、前記第１キーポイントは、第１肢体キーポイントであり、前記第２キーポイントは、第２肢体キーポイントであり、
前記第１キーポイント及び前記第２キーポイントに基づいて、前記第１局所の所定の方向における寸法変化を決定することは、
前記第１肢体キーポイントに基づいて、所定の方向における第１肢体寸法を決定することと、
前記第２肢体キーポイントに基づいて、所定の方向における第２肢体寸法を決定することと、
前記第１肢体寸法及び前記第２肢体寸法に基づいて、肢体寸法の変化を決定することと、を含むことを特徴とする
請求項９から１１のうちいずれか一項に記載の方法。
【請求項１４】
前記複数の画像に基づいて、前記ユーザの姿勢変化の姿勢変化パラメータを決定することは、
前記複数の画像に基づいて、前記ユーザの第２局所の姿勢変化パラメータを決定することを更に含み、
前記姿勢変化パラメータに基づいて、前記ユーザに対応する仮想対象を制御することは、
前記第２局所の姿勢変化パラメータに基づいて、前記仮想対象のジャンプ方向を制御することを含むことを特徴とする
請求項１から１３のうちいずれか一項に記載の方法。
【請求項１５】
前記第２局所の姿勢変化パラメータは、顔の向き、及び上肢の伸長方向のうちの少なくとも１つを含むことを特徴とする
請求項１４に記載の方法。
【請求項１６】
前記方法は、
体輪郭枠を含むインタフェースを表示することと、
前記インタフェースにおけるユーザに対応する第１領域と、前記体輪郭枠に対応する第２領域が所定の相対的位置関係を満たすかどうかを検出することと、
前記所定の相対的位置関係を満たす場合、前記ユーザの複数の画像の収集操作を実行することと、を更に含むことを特徴とする
請求項１から１５のうちいずれか一項に記載の方法。
【請求項１７】
仮想対象の制御装置であって、
ユーザの複数の画像を収集するように構成される収集モジュールと、
前記複数の画像に基づいて、前記ユーザの姿勢変化の姿勢変化パラメータを決定するように構成される決定モジュールと、
姿勢変化パラメータに基づいて、前記ユーザに対応する仮想対象を制御するように構成される制御モジュールと、を備えることを特徴とする、装置。
【請求項１８】
前記姿勢変化パラメータは、しゃがみパラメータを含み、
前記制御モジュールは、
前記しゃがみパラメータに基づいて、前記仮想対象のジャンプのジャンプパラメータを決定するように構成される第１決定サブモジュールと、
前記ジャンプパラメータに基づいて、前記仮想対象のジャンプを制御するように構成される制御サブモジュールと備えることを特徴とする
請求項１７に記載の装置。
【請求項１９】
前記しゃがみパラメータは、しゃがみ時間及びしゃがみ幅のうちの少なくとも１つを含むことを特徴とする
請求項１８に記載の装置。
【請求項２０】
前記ジャンプパラメータは、
ジャンプ力の溜力時間、
ジャンプ力、
ジャンプ力の溜力速度、及び
ジャンプ距離のうちの少なくとも１つを含むことを特徴とする
請求項１８又は１９に記載の装置。
【請求項２１】
前記決定モジュールは、
前記複数の画像の第１画像において、前記ユーザの第１局所の第１キーポイントを検出し、前記複数の画像の第２画像において、前記第１局所の第２キーポイントを検出するように構成される検出サブモジュールと、
前記第１キーポイント及び前記第２キーポイントに基づいて、前記姿勢変化パラメータを決定するように構成される第２決定サブモジュールと、を備えることを特徴とする
請求項１７から２０のうちいずれか一項に記載の装置。
【請求項２２】
前記第１局所は、前記ユーザの顔部であり、前記第１キーポイントは、第１顔キーポイントであり、前記第２キーポイントは、第２顔キーポイントであり、
前記第２決定サブモジュール具体的には、前記第１顔キーポイントに基づいて、第１顔枠を決定し、前記第２顔キーポイントに基づいて、第２顔枠を決定し、前記第１顔枠と前記第２顔枠との相対的位置に基づいて、前記姿勢変化パラメータを決定するように構成されることを特徴とする
請求項２１に記載の装置。
【請求項２３】
前記第２決定サブモジュールは具体的には、前記第１顔枠と第２顔枠の所定の方向における位置の変化量が所定の閾値を超える場合、前記ユーザの前記所定の方向における姿勢が変化したと判定するように構成されることを特徴とする
請求項２２に記載の装置。
【請求項２４】
前記第２決定サブモジュールは具体的には、
前記第２顔枠に対して前記第１顔枠が垂直方向に降下した量が降下閾値を超える場合、前記ユーザがしゃがんだと判定すること、及び
前記第２顔枠に対して前記第１顔枠が垂直方向に上昇した量が上昇閾値を超える場合、前記ユーザが起き上がったと判定することのうちの少なくとも１つを実行するように構成されることを特徴とする
請求項２３に記載の装置。
【請求項２５】
前記第２決定サブモジュールは具体的には、前記第１キーポイント及び前記第２キーポイントに基づいて、前記第１局所の所定の方向における寸法変化を決定し、前記寸法変化に基づいて、前記姿勢変化パラメータを決定するように構成されることを特徴とする
請求項２１に記載の装置。
【請求項２６】
前記第２決定サブモジュールは具体的には、前記第１局所の所定の方向における寸法が縮小する場合、前記ユーザがしゃがんだと判定し、前記第１局所の所定の方向における寸法が増大する場合、前記ユーザが起き上がったと判定するように構成されることを特徴とする
請求項２５に記載の装置。
【請求項２７】
前記第２決定サブモジュールは更に、前記寸法縮小値が縮小閾値を超える場合、前記ユーザがしゃがんだと判定するように構成され、又は、前記第２決定サブモジュールは更に具体的には、前記寸法増大値が増大閾値を超える場合、前記ユーザが起き上がったと判定するように構成されることを特徴とする
請求項２６に記載の装置。
【請求項２８】
前記第１局所は、前記ユーザの胴体であり、前記第１キーポイントは、第１胴体キーポイントであり、前記第２キーポイントは、第２胴体キーポイントであり、
前記第２決定サブモジュールは具体的には、前記第１胴体キーポイントに基づいて、所定の方向における第１胴体寸法を決定し、前記第２胴体キーポイントに基づいて、前記所定の方向における第２胴体寸法を決定し、前記第１胴体寸法及び前記第２胴体寸法に基づいて、前記胴体寸法の変化を決定するように構成されることを特徴とする
請求項２５から２７のうちいずれか一項に記載の装置。
【請求項２９】
前記第１局所は、前記ユーザの肢体であり、前記第１キーポイントは、第１肢体キーポイントであり、前記第２キーポイントは、第２肢体キーポイントであり、
前記第２決定サブモジュールは具体的には、前記第１肢体キーポイントに基づいて、所定の方向における第１肢体寸法を決定し、前記第２肢体キーポイントに基づいて、所定の方向における第２肢体寸法を決定し、前記第１肢体寸法及び前記第２肢体寸法に基づいて、肢体寸法の変化を決定するように構成されることを特徴とする
請求項２５から２７のうちいずれか一項に記載の装置。
【請求項３０】
前記決定モジュールは更に、前記複数の画像に基づいて、前記ユーザの第２局所の姿勢変化パラメータを決定するように構成され、
前記制御モジュールは更に、前記第２局所の姿勢変化パラメータに基づいて、前記仮想対象のジャンプ方向を制御するように構成されることを特徴とする
請求項１７から２９のうちいずれか一項に記載の装置。
【請求項３１】
前記第２局所の姿勢変化パラメータは、顔の向き、上肢の伸長方向のうちの少なくとも１つを含むことを特徴とする
請求項３０に記載の装置。
【請求項３２】
前記装置は、
体輪郭枠を含むインタフェースを表示するように構成される表示モジュールと、
前記インタフェースにおけるユーザに対応する第１領域と、前記体輪郭枠に対応する第２領域が所定の相対的位置関係を満たすかどうかを検出するように構成される検出モジュールと、を更に備え、
前記収集モジュールは更に、前記所定の相対的位置関係を満たす場合、前記ユーザの複数の画像の収集操作を実行するように構成されることを特徴とする
請求項１７から３１のうちいずれか一項に記載の装置。
【請求項３３】
機器実行可能な命令が記憶されている機器可読記憶媒体であって、前記機器実行可能な命令は、プロセッサによって実行されるとき、前記プロセッサに請求項１から１６のうちいずれか一項に記載の方法を実施させる、機器可読記憶媒体。
【請求項３４】
記憶媒体と、
前記記憶媒体に接続され、前記記憶媒体に記憶されている機器実行可能な命令を実行して請求項１から１６のうちいずれか一項に記載の方法を実施するように構成されるプロセッサと、を備える、端末。
【請求項３５】
プロセッサによって実行されるとき、前記プロセッサに請求項１から１６のうちいずれか一項に記載の方法を実施させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、画像処理技術に関し、特にユーザの姿勢変化に基づく仮想対象の制御に関する。
【背景技術】
【０００２】
ユーザは、携帯電話、タブレット、ウェアラブル機器、スマートテレビ又は他の電子機器を利用してゲームを進行することができる。ユーザによるゲームの制御を容易にするために、体感ゲームが登場した。体感ゲームを進行するために、ユーザは、一般的には、体感機器を装着する必要があり、ユーザの体動によりゲームを制御する。ゲーム進行中において、ユーザによって演じられた仮想キャラクターの制御にかかわる。例えば、体感機器を利用することでユーザの体動を感知し、ユーザに対応する仮想対象の動作を制御する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
これに鑑み、本願の実施例は、仮想対象の制御方法、端末及び記憶媒体を提供することが望ましい。
【課題を解決するための手段】
【０００４】
本願の一態様によれば、仮想対象の制御方法であって、該方法は、ユーザの複数の画像を収集することと、前記複数の画像に基づいて、前記ユーザの姿勢変化の姿勢変化パラメータを決定することと、姿勢変化パラメータに基づいて、前記ユーザに対応する仮想対象を制御することと、を含む。
【０００５】
上記技術的解決手段によれば、前記姿勢変化パラメータは、しゃがみパラメータを含み、姿勢変化パラメータに基づいて、前記ユーザに対応する仮想対象を制御することは、前記しゃがみパラメータに基づいて、前記仮想対象のジャンプのジャンプパラメータを決定することと、前記ジャンプパラメータに基づいて、前記仮想対象のジャンプを制御することと、を含む。
【０００６】
上記技術的解決手段によれば、前記しゃがみパラメータは、しゃがみ時間及びしゃがみ幅のうちの少なくとも１つを含む。
【０００７】
上記技術的解決手段によれば、前記ジャンプパラメータは、ジャンプ力の溜力時間、ジャンプ力、ジャンプ力の溜力速度、及びジャンプ距離のうちの少なくとも１つを含む。
【０００８】
上記技術的解決手段によれば、前記複数の画像に基づいて、前記ユーザの姿勢変化の姿勢変化パラメータを決定することは、前記複数の画像の第１画像において、前記ユーザの第１局所の第１キーポイントを検出することと、前記複数の画像の第２画像において、前記第１局所の第２キーポイントを検出することと、前記第１キーポイント及び前記第２キーポイントに基づいて、前記姿勢変化パラメータを決定することと、を含む。
【０００９】
上記技術的解決手段によれば、前記第１局所は、前記ユーザの顔部であり、前記第１キーポイントは、第１顔キーポイントであり、前記第２キーポイントは、第２顔キーポイントであり、前記第１キーポイント及び前記第２キーポイントに基づいて、前記姿勢変化パラメータを決定することは、前記第１顔キーポイントに基づいて、第１顔枠を決定することと、前記第２顔キーポイントに基づいて、第２顔枠を決定することと、前記第１顔枠と前記第２顔枠との相対的位置に基づいて、前記姿勢変化パラメータを決定することと、を含む。
【００１０】
上記技術的解決手段によれば、前記第１顔枠と前記第２顔枠との相対的位置に基づいて、前記姿勢変化パラメータを決定することは、前記第１顔枠と第２顔枠の所定の方向における位置の変化量が所定の閾値を超える場合、前記ユーザの前記所定の方向における姿勢が変化したと判定することを含む。
【００１１】
上記技術的解決手段によれば、前記第１顔枠と第２顔枠の所定の方向における位置の変化量が所定の閾値を超える場合、前記ユーザの前記所定の方向における姿勢が変化したと判定することは、前記第２顔枠に対して前記第１顔枠が垂直方向に降下した量が降下閾値を超える場合、前記ユーザがしゃがんだと判定すること、前記第２顔枠に対して前記第１顔枠が垂直方向に上昇した量が上昇閾値を超える場合、前記ユーザが起き上がったと判定することのうちの少なくとも１つを含む。
【００１２】
上記技術的解決手段によれば、前記第１キーポイント及び前記第２キーポイントに基づいて、前記姿勢変化パラメータを決定することは、前記第１キーポイント及び前記第２キーポイントに基づいて、前記第１局所の所定の方向における寸法変化を決定することと、前記寸法変化に基づいて、前記姿勢変化パラメータを決定することと、を含む。
【００１３】
上記技術的解決手段によれば、前記寸法変化に基づいて、前記姿勢変化パラメータを決定することは、前記第１局所の所定の方向における寸法が縮小する場合、前記ユーザがしゃがんだと判定すること、前記第１局所の所定の方向における寸法が増大する場合、前記ユーザが起き上がったと判定することのうちの少なくとも１つを含む。
【００１４】
上記技術的解決手段によれば、前記第１局所の所定の方向における寸法が縮小する場合、前記ユーザがしゃがんだと判定することは、寸法縮小値が縮小閾値を超える場合、前記ユーザがしゃがんだと判定することを含み、又は、前記第１局所の所定の方向における寸法が増大する場合、前記ユーザが起き上がったと判定することは、寸法増大値が増大閾値を超える場合、前記ユーザが起き上がったと判定することを含む。
【００１５】
上記技術的解決手段によれば、前記第１局所は、前記ユーザの胴体であり、前記第１キーポイントは、第１胴体キーポイントであり、前記第２キーポイントは、第２胴体キーポイントであり、前記第１キーポイント及び前記第２キーポイントに基づいて、前記第１局所の所定の方向における寸法変化を決定することは、前記第１胴体キーポイントに基づいて、所定の方向における第１胴体寸法を決定することと、前記第２胴体キーポイントに基づいて、前記所定の方向における第２胴体寸法を決定することと、前記第１胴体寸法及び前記第２胴体寸法に基づいて、前記胴体寸法の変化を決定することと、を含む。
【００１６】
上記技術的解決手段によれば、前記第１局所は、前記ユーザの肢体であり、前記第１キーポイントは、第１肢体キーポイントであり、前記第２キーポイントは、第２肢体キーポイントであり、前記第１キーポイント及び前記第２キーポイントに基づいて、前記第１局所の所定の方向における寸法変化を決定することは、前記第１肢体キーポイントに基づいて、所定の方向における第１肢体寸法を決定することと、前記第２肢体キーポイントに基づいて、所定の方向における第２肢体寸法を決定することと、前記第１肢体寸法及び前記第２肢体寸法に基づいて、肢体寸法の変化を決定することと、を含む。
【００１７】
上記技術的解決手段によれば、前記複数の画像に基づいて、前記ユーザの姿勢変化の姿勢変化パラメータを決定することは、前記複数の画像に基づいて、前記ユーザの第２局所の姿勢変化パラメータを決定することを更に含み、姿勢変化パラメータに基づいて、前記ユーザに対応する仮想対象を制御することは、前記第２局所の姿勢変化パラメータに基づいて、前記仮想対象のジャンプ方向を制御することを含む。上記技術的解決手段によれば、前記第２局所の姿勢変化パラメータは、顔の向き、上肢の伸長方向のうちの少なくとも１つを含む。
【００１８】
上記技術的解決手段によれば、前記方法は、体輪郭枠を含むインタフェースを表示することと、前記インタフェースにおけるユーザに対応する第１領域と、前記体輪郭枠に対応する第２領域が所定の相対的位置関係を満たすかどうかを検出することと、前記所定の相対的位置関係を満たす場合、前記ユーザの複数の画像の収集操作を実行することと、を更に含む。
【００１９】
本願のもう１つの態様によれば、仮想対象の制御装置であって、該装置は、ユーザの複数の画像を収集するように構成される収集モジュールと、前記複数の画像に基づいて、前記ユーザの姿勢変化の姿勢変化パラメータを決定するように構成される決定モジュールと、姿勢変化パラメータに基づいて、前記ユーザに対応する仮想対象を制御するように構成される制御モジュールと、を備える。
【００２０】
本願のまた１つの態様によれば、機器可読記憶媒体であって、前記機器可読記憶媒体には、機器実行可能な命令が記憶されており、前記機器実行可能な命令がプロセッサにより実行されるとき、前記プロセッサに前記いずれか１つの技術的解決手段で提供される方法を実施させることができる。
【００２１】
本願のまた１つの態様によれば、端末であって、該端末は、記憶媒体と、前記記憶媒体に接続され、前記記憶媒体に記憶されている機器実行可能な命令を実行して前記いずれか１つの技術的解決手段で提供される方法を実現するように構成されるプロセッサとを備える。
【００２２】
本願のまた１つの態様によれば、コンピュータプログラムであって、コンピュータ実行可能な命令を含み、前記コンピュータ実行可能な命令がコンピュータによって実行される時、前記コンピュータに前記いずれか１つの技術的解決手段で提供される方法を実施させることができる。
【発明の効果】
【００２３】
本願の実施例で提供される技術的解決手段によれば、画像を収集し、画像に基づいてユーザの姿勢変化の姿勢変化パラメータを取得し、姿勢変化パラメータを利用してユーザに対応する仮想対象を制御する。従って、検出されたユーザ姿勢を利用して仮想対象を制御することができ、専用体感機器を利用する必要がなく、ハードウェアコストを低減させることができる。
【図面の簡単な説明】
【００２４】
【図１】本願の実施例による第１仮想対象の制御方法を示すフローチャートである。
【図２】本願の実施例による第２仮想対象の制御方法を示すフローチャートである。
【図３】本願の実施例による第３仮想対象の制御方法を示すフローチャートである。
【図４】本願の実施例による第４仮想対象の制御方法を示すフローチャートである。
【図５】本願の実施例によるゲームスタートインタフェースの効果を示す概略図である。
【図６】本願の実施例によるゲームリマインダーインタフェースの効果を示す概略図である。
【図７】本願の実施例によるゲーム進行インタフェースの表示効果とユーザの体姿勢との対応付けを示す概略図である。
【図８】本願の実施例によるゲーム進行インタフェースの表示効果とユーザの体姿勢との対応付けを示す概略図である。
【図９】本願の実施例によるゲーム進行インタフェースの表示効果とユーザの体姿勢との対応付けを示す概略図である。
【図１０】本願の実施例によるゲーム進行インタフェースの表示効果ｗを示す概略図である。
【図１１】本願の実施例によるもう１つのゲーム終了インタフェースの表示効果を示す概略図である。
【図１２】本願の実施例による装置の構造を示す概略図である。
【図１３】本願の実施例によるもう１つの端末の構造を示す概略図である。
【発明を実施するための形態】
【００２５】
以下、図面及び具体的な実施例を参照しながら、本願の技術的解決手段を更に詳しく説明する。
【００２６】
図１に示すように、本願の実施例は、仮想対象の制御方法を提供する。該方法は、ユーザの複数の画像を収集するステップＳ１１０と、前記複数の画像に基づいて、前記ユーザの姿勢変化の姿勢変化パラメータを決定するステップＳ１２０と、姿勢変化パラメータに基づいて、前記ユーザに対応する仮想対象を制御するステップＳ１３０とを含む
本願の実施例が提供する仮想対象の制御方法は、端末に適用可能である。該端末は、ゲーム端末又は、スマートテレビや広告装置などのような大型電子機器であってもよい。以下、端末をゲーム端末とし、仮想対象をゲームキャラクターとすることを例として、該仮想対象の制御方法を説明する。
【００２７】
前記端末は、ユーザについて画像収集を行うことができる画像収集モジュールを含むか又は該画像収集モジュールに接続される。収集された画像には、ユーザの画像が含まれる。
【００２８】
ステップＳ１１０で収集された画像は、２Ｄ画像及び／又は３Ｄ画像であってもよい。前記２Ｄ画像は、平面ＲＧＢ画像又はＹＵＶ画像であってもよい。前記３Ｄ画像は、２Ｄ画像及び２Ｄ画像に対応する奥行き画像を含んでもよい。前記奥行き画像の画素値は、ユーザと画像収集モジュールとの距離を表す深度値である。
【００２９】
前記画像が２Ｄ画像でれば、２Ｄ画像に基づいて、ユーザの２Ｄ平面における姿勢変化を決定する。前記画像が３Ｄ画像であれば、３Ｄ画像に含まれる２Ｄ画像及び奥行き画像に基づいて、ユーザの３Ｄ空間における姿勢変化を把握することができる。
【００３０】
ステップＳ１２０において、収集された画ぞうに基づいて、ユーザの姿勢変化を決定する。本願の実施例において、該姿勢変化は、少なくとも胴体の姿勢変化を含むが、これに限定されない。別の幾つかの実施例において、前記姿勢変化は、少なくとも下肢の姿勢変化を更に含んでもよい。
【００３１】
本願の実施例において、前記姿勢変化パラメータは、例えば、胴体姿勢変化を示すパラメータ及び／又は下肢姿勢変化を示すパラメータのような、ユーザの姿勢変化を示す様々なパラメータであってもよい。
【００３２】
幾つかの実施例において、様々な次元に応じて分類すると、前記姿勢変化パラメータは、姿勢変化の時間パラメータ、姿勢変化の幅パラメータ、姿勢変化の方向パラメータ及び姿勢変化の頻度パラメータのうちの１つ又は複数を含む。
【００３３】
幾つかの実施例において、１つの前記姿勢変化パラメータは、前記ゲームキャラクターの１つの制御次元の制御に用いられる。別の幾つかの実施例において、複数の前記姿勢変化パラメータは、前記ゲームキャラクターの１つの制御次元の制御に共通である。
【００３４】
本願の実施例におけるステップＳ１３０において、姿勢変化パラメータに基づいて、ユーザに対応するゲームキャラクターを制御する。
【００３５】
前記ステップＳ１３０は、前記ゲームキャラクターのゲームシーンにおける運動を制御すること、前記ゲームキャラクターの表情変化を制御すること、前記ゲームキャラクターの服装及び／又は道具の変化を制御すること、前記ゲームキャラクターの姿勢変化を制御することのうちの１つ又は複数を含む。
【００３６】
本願の実施例において、前記ゲームはジャンプゲームであってもよい。前記ゲームキャラクターは、ジャンプゲームでジャンプを実行する者である。従って、前記ステップＳ１３０は、前記姿勢変化パラメータに基づいて、前記ゲームキャラクターのジャンプを制御することを含んでもよい。
【００３７】
具体的な実現プロセスにおいて、前記ゲームは、ジャンプゲームに限定されず、前記ゲームは、ジャンプを含む暴走ゲーム、競走ゲーム及び／又はカーレースゲーム等であってもよい。
【００３８】
本願の実施例において、画像収集モジュールを利用してユーザの姿勢変化パラメータを取得することで、ゲームキャラクターの制御を実施させることができる。従って、ユーザは、専用体感機器を装着しなくても体感ゲームを進行することができる。まず、ユーザが専用体感機器を購買するために使われる費用を無くす。また、体験装置を着用する必要がなく、ユーザ体験を向上させることができる。更に、指によるゲーム制御に比べて、ユーザは体の運動によりゲーム制御を行うことができる。
【００３９】
幾つかの実施例において、前記ステップＳ１２０は、前記複数の画像に基づいて、前記ユーザのしゃがみを示すしゃがみパラメータを決定することを含んでもよい。
【００４０】
本願の実施例において、前記姿勢変化パラメータに対応する姿勢変化は、少なくともしゃがみを含む。該しゃがみは、主に、膝を曲げることで体の垂直方向における高さを変化させることで実現する。
【００４１】
本願の実施例において、学習モデルを利用して前記画像を検出し、前記ユーザがしゃがみなどを実行したかどうかを判定する。例えば、深層学習モデル又は機械学習モデルを利用して、画像におけるユーザの結像のキーポイントを検出し、キーポイントに基づいて前記しゃがみパラメータを決定する。
【００４２】
前記キーポイントは、輪郭キーポイント、骨格キーポイントを含むが、これらに限定されない。
【００４３】
前記輪郭キーポイントは、ユーザの体表輪郭における所定点である。
【００４４】
前記輪郭キーポイントは、頭輪郭キーポイント、腕輪郭キーポイント、手輪郭キーポイント、肩輪郭キーポイント、脚輪郭キーポイント、腰輪郭キーポイント及び／又は足輪郭キーポイントを含む。
【００４５】
幾つかの実施例において、前記頭輪郭キーポイントは、頭頂キーポイント、鼻先キーポイント、顎キーポイント、笑筋キーポイント及びリップキーポイントのうちの１つ又は複数を含む。
【００４６】
前記腕輪郭キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕根元輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの中点位置に位置する下腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕根元輪郭キーポイントとの中点位置に位置する上腕中点キーポイントのうちの１つ又は複数を含む。
【００４７】
前記手輪郭キーポイントは、手先キーポイント及び手の平中点キーポイントのうちの１つ又は複数を含む。
【００４８】
前記肩輪郭キーポイントは、肩と頭との交差位置に位置する肩口交差キーポイント、及び腕根元輪郭キーポイントと肩口交差キーポイントとの中点位置に位置する肩輪郭中点キーポイントのうちの１つ又は複数を含む。
【００４９】
前記脚輪郭キーポイントは、股間キーポイント、膝輪郭キーポイント、足首輪郭キーポイント、大腿付根部外側輪郭キーポイント、膝輪郭キーポイントと足首輪郭キーポイントとの中点位置に位置する下腿輪郭中点キーポイント、膝内側輪郭キーポイントと股間キーポイントとの中点位置に位置する大腿内輪郭中点キーポイント、及び膝外側輪郭キーポイントと大腿付根部外側輪郭キーポイントとの中点位置に位置する大腿外輪郭中点キーポイントのうちの１つ又は複数を含む。
【００５０】
前記腰輪郭キーポイントは、大腿付根部外側輪郭キーポイントと腕根元輪郭キーポイントとの間の部分をＮ等分して得られたＮ−１個の等分点のうちの１つ又は複数を含み、ここで、前記Ｎは１を超える。
【００５１】
前記足輪郭キーポイントは、足先キーポイント及び踵キーポイントのうちの１つ又は複数を含む。
【００５２】
ユーザの姿勢が変化した場合、ユーザの輪郭キーポイントの位置も変化するため、幾つかの実施例において、ユーザの輪郭キーポイントを検出することで、前記姿勢変化パラメータを決定することができる。
【００５３】
また幾つかの実施例において、前記キーポイントは、骨格キーポイントを含んでもよい。前記骨格キーポイントは、人体骨格におけるキーポイントである。輪郭キーポイントに対して、骨格キーポイントは、人体の内部に位置する。前記骨格キーポイントは、骨格における各関節の関節キーポイントを含んでもよい。例えば、肩関節、膝関節、足首関節、肘関節、股関節などのような様々な関節点を含む。前記骨格キーポイントは、例えば、骨盤キーポイント、腰キーポイント、頸キーポイント等のような幾つかの所定の骨のキーポイントを含んでもよい。前記骨盤キーポイントは、骨盤の中心点であってもよい。腰キーポイントは、腰の中心点であってもよい。頸キーポイントは、頸椎骨の中心点などであってもよい。ユーザの姿勢が変化した場合、骨格キーポイントの位置も変化する。従って、幾つかの実施例において、前記ステップＳ１２０は、骨格キーポイントの位置を検出することで、前記姿勢変化パラメータを決定することもできる。
【００５４】
例えば、前記ステップＳ１２０において、具体的には、前記輪郭キーポイント及び／又は前記骨格キーポイントに基づいて、前記しゃがみパラメータを決定することができる。
【００５５】
ステップＳ１３０において、しゃがみパラメータに基づいて、前記ゲームキャラクターを制御する。例えば、ゲームキャラクターの運動、ゲームキャラクターの表情変化などを制御する。
【００５６】
図７及び図８に示すように、ユーザのしゃがみは、ユーザ機器の画像収集モジュールにより収集される。収集された画像から、しゃがみパラメータが決定される。図７に示すように、ゲーム機器は、収集された画像に基づいて決定されたしゃがみパラメータに基づいて、石に位置するゲームキャラクターを制御する。つまり、ゲームキャラクターを、石から魚の背部にジャンプするように制御する。ゲームキャラクターの石から魚の背部へのジャンプの効果図は図8に示すとおりである。
【００５７】
図９及び図１０は、図７に示したゲームインタフェースに基づいたまた２フレーム分のゲーム進行インタフェースを示す。図９において、ゲームキャラクターは魚の背部に位置する。しゃがみパラメータの変化が再び検出された場合、ゲームキャラクターは、魚の背部からもう１つの石にジャンプする。
【００５８】
図７から図１０に示すゲームインタフェースにおいて、現在のゲームスコアが確認される。図７において、ゲームがスタートしたばかりであるため、ゲームスコアが０点である。図８において、ゲームキャラクターは、一回成功してジャンプしたため、ゲームスコアは１０点に上がった。図９に示すゲームインタフェースに表示されるゲームスコアは、８０点である。図１０に示すゲームスコアは、８５点である。図１１は、ゲーム終了画面であり、ゲーム終了画面に、今回のゲームスコア９０点が表示される。
【００５９】
図１０及び図１１において、ゲーム時間リマインダーカラムが更に表示される。リマインダーカラムは、例えば、溜力幅及び溜力時間のようなゲームキャラクター溜力パラメータを提示する。リマインダーカラムが長いほど、溜力幅及び／又は溜力時間が長くなる。従って、ゲームキャラクターは、遠くジャンプするか又は高くジャンプする。
【００６０】
幾つかの実施例において、前記ステップＳ１３０は具体的には、前記しゃがみパラメータに基づいて、ゲームキャラクターのジャンプのジャンプパラメータを決定することと、前記ジャンプパラメータに基づいて、前記ゲームキャラクターのジャンプを制御することと、を含んでもよい。
【００６１】
前記ジャンプパラメータは、ジャンプ方向、ジャンプ力、ジャンプ距離、ジャンプ高さ、ジャンプ回数、その場でのジャンプ及び／又はその場以外でのジャンプのようなジャンプタイプのうちの少なくとも１つを含むが、これらに限定されない。ゲームキャラクターがその場でジャンプする時、主に、垂直平面内で上下にジャンプし、水平面内で運動しない。その場以外でのジャンプは、水平面内での変位が発生する。
【００６２】
要するに、本願の実施例において、前記しゃがみパラメータに基づいて、ゲームキャラクターのジャンプパラメータを決定してから、決定されたジャンプパラメータを利用してゲームキャラクターのジャンプを制御する。
【００６３】
幾つかの実施例において、前記しゃがみパラメータは、しゃがみ時間及びしゃがみ幅を含み、前記しゃがみパラメータに基づいて、ゲームキャラクターのジャンプのジャンプパラメータを決定することは、しゃがみ時間に基づいて、前記ゲームキャラクターのジャンプパラメータを決定すること、しゃがみ幅に基づいて、前記ゲームキャラクターのジャンプパラメータを決定することのうちの少なくとも１つを含んでもよい。
【００６４】
該しゃがみは、しゃがみの開始位置からしゃがみの終了位置まで経過した第１時間であってもよく、しゃがみの開始位置から終了位置までしゃがんでから開始位置に戻る場合に経過した第２時間であってもよい。
【００６５】
本願の実施例において、前記しゃがみ時間は、ゲームキャラクターのジャンプパラメータの１つとすることができる。
【００６６】
前記しゃがみ幅は、ユーザが直立状態から膝を曲げて終了位置までしゃがんだ場合に経過した距離であってもよい。
【００６７】
ここで、前記しゃがみ幅は、ゲームキャラクターのジャンプを制御するジャンプパラメータの１つとすることもできる。
【００６８】
また幾つかの実施例において、前記しゃがみパラメータは、しゃがみ方向を含んでもよい。例えば、ユーザの両脚が左向きに膝を曲げてしゃがんで左しゃがみを形成する。また例えば、ユーザの両脚が右向きに膝を曲げてしゃがんで右しゃがみを形成する。
【００６９】
要するに、本願の実施例において、検出されたしゃがみパラメータのうちの１つ又は複数に基づいて、前記ゲームキャラクターのジャンプパラメータを制御する。
【００７０】
幾つかの実施例において、前記ジャンプパラメータは、前記ゲームキャラクターのジャンプ力の溜力時間、前記ゲームキャラクターのジャンプ力、前記ゲームキャラクターのジャンプ力の溜力速度、前記ゲームキャラクターのジャンプ距離のうちの少なくとも１つを含む。
【００７１】
ゲームキャラクターがジャンプする前に、ジャンプ力を溜める必要がある。本願の実施例において、前記ジャンプパラメータは、ジャンプ力の溜力時間を含んでもよい。例えば、所定の溜力速度に応じてジャンプ力の溜力を行う。前記溜力時間が前記しゃがみ時間に等しい。従って、ゲームキャラクターによるしゃがみ時間内におけるジャンプ力の溜力を実現させる。
【００７２】
幾つかの実施例において、ゲームインタフェースに現在溜力した溜力時間を表示することで、ユーザが溜力時間に基づいてしゃがみを継続するかどうか又はしゃがみ姿勢を維持するかどうかを判定することを容易にする。それにより、ゲームキャラクターによるジャンプ力の蓄積を制御する。ジャンプ力の大きさは、ゲームキャラクターのジャンプ高さ及び／又はジャンプ距離を直接的に決定する。一般的には、前記ジャンプ力が大きいほど、ゲームキャラクターのジャンプ高さ及び／又はジャンプ距離が大きくなる。
【００７３】
例えば、前記しゃがみパラメータと前記溜力時間との第１マッピング関係を予め決定する。具体的には、例えば、前記しゃがみ時間と溜力時間との第１マッピング関係を決定する。前記第１マッピング関係に基づいて、ユーザのしゃがみ時間を前記溜力時間にマッピングすることができる。例えば、前記溜力時間は、前記しゃがみ時間に等しい。更に、好ましくは、前記溜力時間は、前記しゃがみ時間に同期する。また例えば、前記溜力時間は、前記溜力時間のＡ％であり、Ａは１００以下の正整数である。
【００７４】
別の幾つかの実施例において、前記ジャンプパラメータは、ジャンプ力であってもよい。例えば、しゃがみ時間及び／又はしゃがみ幅とジャンプ力との第２マッピング関係を確立することができる。従って、第２マッピング関係、前記しゃがみ時間及びしゃがみ幅のうちの少なくとも１つに基づいて、前記ジャンプ力を簡単に決定することができる。従って、ステップＳ１３０において、前記ジャンプ力に基づいて、ゲームキャラクターのジャンプを制御することができる。
【００７５】
幾つかの実施例において、前記ゲームキャラクターの毎回のジャンプの溜力時間は決まっているが、ジャンプ力の溜力速度は、ユーザのしゃがみパラメータに基づいて決定される。例えば、しゃがみ幅に基づいて前記溜力速度を決定する。例えば、しゃがみパラメータと前記溜力速度との第３マッピング関係を確立し、前記第３マッピング関係に基づいて、ユーザのしゃがみパラメータを前記溜力速度に変換することができる。
【００７６】
また幾つかの実施例において、しゃがみパラメータとジャンプ距離との第４マッピング関係を予め設定する。具体的に実現する場合、現在画像に基づいて取得された前記しゃがみパラメータを第４マッピング関係に基づいて前記ジャンプ距離に変換することができる。
【００７７】
要するに、本願の実施例において、前記ステップＳ１３０で、検出されたしゃがみパラメータ及び所定のマッピング関係に基づいて、ジャンプパラメータを決定してから、ジャンプパラメータに基づいてゲームキャラクターのジャンプを制御する。
【００７８】
また幾つかの実施例において、ユーザが現在のジャンプパラメータに基づいてゲームを成功して進行できるか又は順調にクリアできるかを判定することを容易にするために、リマインダー情報を更に生成する。該リマインダー情報は、リマインダーカラムであってもよい。例えば、リマインダーカラムの高さは、ジャンプパラメータのパラメータ値に対応する。例えば、ジャンプ力がジャンプパラメータであることを例として説明すると、ジャンプ力が大きいほど、リマインダーカラムの高さは大きくなる。
【００７９】
幾つかの実施例において、今回のジャンプに必要なジャンプ力は、中空のリマインダーカラムで表される。リマインダーカラム内に、しゃがみ姿勢パラメータに伴って変化するリマインダーカラム充填物が設けられる。従って、ユーザは、現在のリマインダーカラムの充填高さに基づいて、自体のしゃがみ姿勢を制御することで、ゲームの成功率、得点率及びクリア率を向上させることができる。
【００８０】
リマインダーカラム以外、前記リマインダー情報は、テキスト形式のリマインダーであってもよい。例えば、リマインダーテキストは、現在のしゃがみパラメータに基づいて取得されたジャンプパラメータと必要なジャンプパラメータとの比、及び／又は差、及び／又は補正情報である。従って、ユーザは、リマインダーテキストに基づいて、自体のしゃがみを直ちに調整することで、ゲームクリア又は得点に必要なジャンプパラメータを取得することもできる。
【００８１】
別の幾つかの実施例において、図２に示すように、前記ステップＳ１２０は、
現在の画像において、前記ユーザの第１局所の第１キーポイントを検出するステップＳ１２１と、
前記第１キーポイントに基づいて、前記姿勢変化パラメータを決定するステップＳ１２２と、を含んでもよい。
【００８２】
幾つかの実施例において、前記ステップＳ１２０は、画像に基づいてユーザの全てのキーポイントを検出することができる。本願の実施例において、演算の複雑さを低下させ、処理速度を向上させるために、現在の画像に基づいて、ユーザの第１局所の第１キーポイントを取得する。
【００８３】
前記第１局所は、前記ユーザの胴体、頭及び四肢のうちの１つ又は複数の部分であってもよい。
【００８４】
従って、ユーザの体全体のキーボードの検出の代わりに、第１局所の第１キーポイントの検出を利用することで、演算量を低下させ、ゲーム制御を実現させることができる。
【００８５】
幾つかの実施例において、ステップＳ１２１で、該現在の画像は、前記複数の画像から選ばれた第１画像であってもよい。実際の実施において、画像収集モジュールにより収集された複数のフレームの画像から１フレームの画像を抽出してキーボードポイント検出を行うことができる。間引き処理ルールは予め決定されてもよい。例えば、ユーザの要部の情報に基づいて抽出してもよく、所定の頻度、順番に応じて抽出してもよい。本願はこれを限定するものではない。
【００８６】
画像処理において、ビデオデータのデータ量が膨大であるため、各フレームの画像データを処理すると、演算性能が低下する。該間引き処理により、演算量を大幅に低下させることができる。また、ビデオデータのリフレッシュ速度を例えば、数十フレーム／秒のような所定の比率にすれば、ユーザの視覚的感覚はほぼリアルタイムなものである。従って、間引き処理速度を制御することで、ユーザの良好なルックアンドフィールを確保することができる。
【００８７】
幾つかの実施例において、前記第１局所が顔部であり、前記ステップＳ１２１は、
前記現在の画像において第１顔キーポイントを検出することを含んでもよく、
前記ステップＳ１２２は、前記第１顔キーポイントに基づいて、直前の画像において前記第１顔キーポイントに対応する第２顔キーポイントを検索し、第１顔キーポイントと第２顔キーポイントとの相対的位置差に基づいて、前記姿勢変化パラメータを決定することを含んでもよい。
【００８８】
幾つかの実施例において、前記直前の画像は、前記複数の画像から選ばれた第２画像であってもよい。キーポイントの位置を比較することで姿勢変化パラメータを決定する時、現在の画像を現在の画像の前に撮影された所定の時間帯内の各フレームの画像と比較することができる。しかしながら、演算量を低下させるために、本実施例において、同様に間引き処理を利用して該直前の画像を決定することもできる。
【００８９】
ユーザのしゃがみ姿勢によりゲーム制御を行い、画像収集モジュールの収集要件が変わらないままの場合、ユーザのしゃがみ及び起き上がりにより、その顔の画像における結像座標位置は変化する。従って、本願の実施例において、該特徴に基づいて、前記ステップＳ１２１は、現在の画像における第１顔キーポイントを検出することであってもよい。前記第１顔キーポイントは、顔の顔中心のキーポイント、鼻先キーポイント、額キーポイント、顎キーポイント、眼キーポイント、眉キーポイント、生え際キーポイント、頭頂キーポイントを含むが、これらに限定されない。
【００９０】
本願の実施例において、上記１つ又は複数のキーポイントに基づいて、直前の画像における顔位置に対して現在のユーザの顔位置の垂直平面における高さが変化したかを判定することができる。
【００９１】
幾つかの実施例において、前記第１顔キーポイントは、顔外輪郭キーポイントであってもよい。該顔外輪郭キーポイントは、３つ、４つ、５つなどのような複数のキーポイントであってもよい。これらの顔外輪郭キーポイントを順次連結することで顔枠を得ることができる。
【００９２】
本願の実施例におけるステップＳ１２２において、前記顔枠の位置変化に基づいて、前記姿勢変化パラメータを決定することができる。例えば、現在の画像と直前の画像における顔枠の位置を比較し、前記相対的位置差を得る。また、相対的位置差に基づいて、ユーザがしゃがんだかどうか又は起き上がったかどうかを判定する。
【００９３】
例えば、現在の画像における顔枠の位置が直前の画像における顔枠の位置より高いと、ユーザが起き上がっていると認められる。現在の画像における顔枠の位置が直前の画像における顔枠の位置より低いと、ユーザがしゃがんでいると認められる。
【００９４】
幾つかの実施例において、ユーザが無意識に動作することがある。これらの無意識な動作がゲーム制御に与える干渉を低減させるために、本願の実施例において、許容度閾値を更に導入する。
【００９５】
例えば、顔枠の位置降下がユーザのしゃがみにより引き起こされるか、又はうなずきや僅かな腰曲げにより起こされるかを判定する。直前の画像の顔枠に対して現在の画像の顔枠が降下した幅が降下閾値に達す時、ユーザのしゃがみが発生したと判定する。例えば、該降下閾値は、ユーザの顔長の１０％又は顔幅の１０％等の値であってもよい。ここでの１０％は比率の例であり、具体的に実現する時、該値に限定されない。例えば、該比率は、２０％又は或１５％などの値であってもよい。
【００９６】
また例えば、ユーザが引き上がったかを判定するために、同様に許容度閾値を導入することで、ユーザの僅かな背伸び等による誤差を低減させることができる。例えば、現在の画像における顔枠と前の１フレームの画像における顔枠との相対的位置差が上昇閾値を超える場合、ユーザが引き上がったと判定する。例えば、第２幅は、ユーザの顔長の１０％又は顔幅の１０％などの値であってもよい。
【００９７】
前記許容度閾値は、前記上昇閾値及び降下閾値を含む。幾つかの実施例において、前記上昇閾値と降下閾値は同じであっても異なってもよい。
【００９８】
ゲーム進行中、背伸びの確率が腰曲げの確率よりやや低いことがある。この場合、制御無しゲームキャラクターの腰曲げ又は背伸びによる誤った制御を低減させるために、本願の実施例において、誤った制御を引き起こす可能性がある体姿勢の出現確率に基づいて、前記許容度閾値を決定する。任意選択的に、出現確率は、前記許容度閾値と正の相関関係を有する。例えば、背伸びの出現確率が腰曲げの出現確率より低いと、前記背伸びに対応する上昇閾値は、前記腰曲げに対応する降下閾値より小さい。
【００９９】
従って、幾つかの実施例において、図３に示すように、前記ステップＳ１２２は、
前記第１顔キーポイントに基づいて第１顔枠を決定するステップＳ１２２１と、
前記第１顔枠と前記第２顔キーポイントの第２顔枠との相対位置差に基づいて、前記姿勢変化パラメータを決定するステップＳ１２２２を含んでもよい。
【０１００】
例えば、前記ステップＳ１２２２は具体的には、前記第１顔枠と第２顔枠の所定の方向における位置の変化量が所定の閾値を超える場合、前記ユーザの前記所定の方向における姿勢が変化したと判定することを含んでもよい。
【０１０１】
本願の実施例において、ユーザの体の無意識な姿勢変化による誤操作を避けるために、本願の実施例において、前記第１顔枠と第２顔枠の所定の方向（例えば、垂直方向又は水平方向であり、ここで、垂直方向は水平方向に垂直である）における位置変化量が所定の閾値を超えているかどうかを判定する。超えた場合、ユーザの姿勢が変化したと判定する。また、姿勢変化に基づいて、ゲームキャラクターを制御する。
【０１０２】
更に、前記ステップＳ１２２２は、
前記第２顔枠に対して前記第１顔枠が前記垂直方向に降下した量が前記降下閾値を超える場合、前記ユーザがしゃがんだと判定すること、
前記第２顔枠に対して前記第１顔枠が前記垂直方向に上昇した量が前記上昇閾値を超える場合、前記ユーザが起き上がったと判定することのうちの少なくとも１つを含んでもよい。
【０１０３】
幾つかの実施例において、前記ステップＳ１２１は、現在の画像において、前記第１局所の第１キーポイントを検出することを含んでもよい。
【０１０４】
図４に示すように、前記ステップＳ１２２は、
前記第１キーポイントに基づいて、前記第１局所の所定の方向における寸法変化を決定するステップＳ１２２３と、
前記寸法変化に基づいて、前記姿勢変化パラメータを決定するステップＳ１２２４と、を含んでもよい。
【０１０５】
本願の実施例において、第１キーポイントは、第１局所のキーポイントであり、例えば、第１局所の所定の方向における２つの端点に対応するキーポイントである。
【０１０６】
本願の実施例において、ユーザが、しゃがむか又は起き上がり、歩むか又は脚を引くと、垂直方向における脚及び／又は胴体の長さを変化させる。
【０１０７】
本願の実施例において、第１キーポイントに基づいて、第１局所の所定の方向における寸法変化を決定してから、寸法変化に基づいて、姿勢変化パラメータを簡単に決定することができる。
【０１０８】
例えば、ユーザがしゃがむと、身長が低下する。身長低下は、寸法変化で表される。
【０１０９】
例えば、現在の画像における身長値を直前の画像における身長値と比較すると、前記寸法変化を得る。該寸法変化が現在の画像における身長値の低下を表すと、ユーザがしゃがんだことを表し、そうでなければ、しゃがみが発生しなかったことを表す。
【０１１０】
別の幾つかの実施例において、前記ステップＳ１２２４は、前記第１局所の所定の方向における寸法が縮小する場合、前記ユーザがしゃがんだと判定すること、前記第１局所の所定の方向における寸法が増大する場合、前記ユーザが起き上がったと判定することのうちの少なくとも１つを含む。
【０１１１】
更に、前記ステップＳ１２２４は、寸法縮小値が縮小閾値を超える場合、前記ユーザがしゃがんだと判定することを含む。ここの寸法縮小値は、寸法縮小に対応する寸法変化である。
【０１１２】
幾つかの実施例において、前記ステップＳ１２２４は、寸法増大値が増大閾値を超える場合、前記ユーザが引き上がったと判定することを更に含んでもよい。ここの寸法増大値は、寸法増大に対応する寸法変化である。
【０１１３】
本願の実施例において、同様に、誤った制御を減少させるために、寸法縮小値及び／又は寸法増大値を前記許容度閾値として導入する。
【０１１４】
寸法変化が対応する許容度閾値を超える場合のみ、ユーザが対応する姿勢を現すと認められる。
【０１１５】
幾つかの実施例において、前記増大閾値と縮小閾値は、同じであっても異なってもよい。具体的な値は、必要に応じて決定されてもよく、画像で現わされるユーザの体寸法に応じて決定されてもよい。例えば、ユーザが直立姿勢を保持する場合の身長に応じて決定する。また例えば、ユーザが直立姿勢を保持する場合の体幅に応じて決定する。体寸法に比率係数をかけることで、前記寸法変化に対応する許容度閾値を得ることができる。
【０１１６】
勿論、許容度閾値の決定方式は多い。以上、例示的なものに過ぎず、具体的に実現する時、上記いずれか１つに限定されない。
【０１１７】
別の幾つかの実施例において、前記ステップＳ１２１は、前記現在の画像において第１胴体キーポイントを検出するｋことを含んでもよく、
前記ステップＳ１２２３は、前記第１胴体キーポイントに基づいて、所定の方向における第１胴体寸法を決定することと、直前の画像において前記第１胴体キーポイントに対応する第２胴体キーポイントを検索することと、前記第２胴体キーポイントに基づいて、前記所定の方向における第２胴体寸法を決定することと、前記第１胴体寸法及び前記第２胴体寸法に基づいて、前記胴体寸法の変化を決定することと、を含んでもよい。胴体は、四肢及び頭を除いた体部分である。
【０１１８】
なお、ステップＳ１２２４において、胴体寸法の変化に基づいて、姿勢変化パラメータを決定する。
【０１１９】
ユーザの体のしゃがみ過程において、腰曲げが必然的に伴われる。これにより、胴体の垂直方向における長さは縮小する。
【０１２０】
別の幾つかの実施例において、前記ステップＳ１２１は、前記現在の画像において第１肢体キーポイントを検出することを含んでもよく、
前記ステップＳ１２２３は、前記第１肢体キーポイントに基づいて、所定の方向における第１胴体寸法を決定することと、直前の画像において前記第１胴体キーポイントに対応する第２胴体キーポイントを検索することと、前記第２胴体キーポイントに基づいて、前記所定の方向における第２胴体寸法を決定することと、前記第１胴体寸法及び前記第２胴体寸法に基づいて、前記胴体寸法の変化を決定することと、を含んでもよい。
【０１２１】
なお、前記ステップＳ１２２４は、肢体寸法の変化に基づいて、姿勢変化パラメータを決定することを含んでもよい。
【０１２２】
例えば、肢体寸法の変化は、肢体寸法の縮小を示し、ユーザのしゃがみ等が発生したと判定する。
【０１２３】
幾つかの実施例において、前記第１肢体キーポイントは、下肢キーポイントである。
【０１２４】
勿論、別の幾つかの実施例において、ゲームキャラクターの制御が腕の展開により実現すると、前記肢体寸法の変化は、上肢の水平方向における長さ変化であってもよい。
【０１２５】
別の幾つかの実施例において、前記ステップＳ１２０は、前記画像に基づいて、前記ユーザの第２局所の姿勢変化パラメータを決定することを更に含み、
前記ステップＳ１３０は、前記第２局所の姿勢変化パラメータに基づいて、前記ゲームキャラクターのジャンプ方向を制御することを含んでもよい。
【０１２６】
ここで、第２局所は、前記第１局所と異なった局所であってもよく、前記第１局所と同じである局所であってもよい。
【０１２７】
本願の実施例において、第２局所の姿勢変化パラメータを更に取得する。第２局所の姿勢変化パラメータは、第１局所の姿勢変化パラメータと異なってもよい。
【０１２８】
本願の実施例において、第２局所の姿勢変化パラメータによりゲームキャラクターのジャンプ方向を制御する。
【０１２９】
別の幾つかの実施例において、前記ステップＳ１２０は、前記画像に基づいて前記ユーザの第２局所の向きを決定すること、前記画像に基づいて、前記ユーザの第２局所の伸長方向を決定することのうちの少なくとも１つを含んでもよい。
【０１３０】
例えば、第２局所の同一の直線に位置しない３つのキーポイントを取得し、様々なキーポイントを連結することで形成される２つのベクトルを構築し、２つのベクトルの外積により、もう１つのベクトルを得る。該得られたベクトルは、第２局所の向きである。
【０１３１】
例えば、ユーザの胴体の向き、頭の向きなどに基づいて、前記ゲームキャラクターのジャンプ方向を制御する。
【０１３２】
例えば、ゲームには、複数のジャンプ経路が設けられる。ゲームキャラクターは、現在の位置で、様々な方向に向かってジャンプすることができる。この場合、第２局所の向きに基づいて、ゲームキャラクターのジャンプ方向を制御する。
【０１３３】
また幾つかの実施例において、前記第２局所は、上肢であってもよい。左への伸長又は右への伸長のような上肢の伸長方向は、ゲームキャラクターのジャンプ方向の制御にも用いられる。
【０１３４】
別の幾つかの実施例において、前記画像に基づいて、前記ユーザの第２局所の向きを決定することは、前記画像に基づいて、前記ユーザの顔の向きを決定すること含み、及び／又は、
前記画像に基づいて、前記ユーザの第２局所の伸長方向を決定することは、前記画像に基づいて、前記ユーザの上肢の伸長方向を決定することを含む。
【０１３５】
別の幾つかの実施例において、前記方法は、体輪郭枠を含むインタフェースを表示することと、前記インタフェースにおけるユーザに対応する第１領域と、前記体輪郭枠に対応する第２領域が所定の相対的位置関係を満たすかどうかを検出することと、前記所定の相対的位置関係を満たす場合、前記ユーザの複数の画像の撮影操作を開始することと、を更に含む。
【０１３６】
実際の実施において、端末装置に、仮想対象の制御プロセスを反映するインタフェースを表示することで、ユーザによる仮想対象の制御を容易にすることができる。例えば、制御プロセスが開始されていない場合、体輪郭枠を含むインタフェースを端末装置に表示することで、制御開始準備をユーザに提示する。
【０１３７】
端末装置がゲーム機器であることを例として、図５に示すように、破線で表わされる体輪郭枠をゲームスタートインタフェースに表示する。ゲームをスタートする前に、ユーザは、自体の位置を調整することで、ゲーム機器により収集された画像における自体の結像を該体輪郭枠に対応させることができる。
【０１３８】
図６は、ゲームをスタートしてからゲームプロセスに本格的に入る時のゲームリマインダーインタフェースを示す。該リマインダーインタフェースには、該ゲームを如何に進行するかをユーザにリマインドするためのリマインダー情報が表示される。
【０１３９】
該ゲームリマインダーインタフェースの表示継続期間が限られている。ゲーム機器は、ゲームリマインダーインタフェースを表示すると、カウントダウンを開始する。タイムアウトすると、ゲームリマインダーインタフェースから退出し、ゲーム進行インタフェースに本格的に入る。ゲーム進行インタフェースは、図７から図１０に示すとおりである。
【０１４０】
ゲーム端末は、ゲームスタートインタフェースを表示すると共に、画像を収集する。ユーザが所定の位置に位置すると、収集された画像とゲーム開始インタフェースは、所定の方式で重なり合う。従って、ユーザと第２領域が重なり合う比率は、所定値などに達する。
【０１４１】
要するに、前記第１領域と前記第２領域が前記所定の相対的位置関係を満たすと、ユーザがゲーム準備状態に入ったことを表す。ここ場合、ゲームをスタートすることができる。
【０１４２】
前記所定の相対的位置を満たしてから、ゲームをスタートする。ゲーム端末による表示は、前記ゲーム開始インタフェースからゲームインタフェースに切り替えられる。ゲームインタフェースに、ゲームシーン及びゲームシーンにおいて取得されたゲームキャラクターが表示される。
【０１４３】
幾つかの実施例において、前記ゲームスタートインタフェースは、前記体輪郭を含む第１表示レイヤと、収集された画像に基づいて生成される第２表示レイヤとを含む。
【０１４４】
ここで、図５に示すように、前記第１表示レイヤは、透明な表示レイヤである。前記透明な表示例は、空白領域における透明なものである。従って、第２表示レイヤは、前記第１表示レイヤの下に積層され、表示される。従って、収集されたユーザの画像が前記第１表示レイヤの下に積層されて表示される場合、ユーザは、自体の結像と体輪郭枠との相対的位置関係に基づいて自体の位置を調整することができる。これにより、自体の結像と体輪郭枠とが前記所定の相対的位置関係を満たすようにすすることで、ゲーム準備ができたことを表す。
【０１４５】
また幾つかの実施例において、前記体輪郭枠は、収集された画像に基づいて生成されたものであってもよい。該体輪郭枠のゲームスタートインタフェースにおける第２領域は、収集された画像におけるユーザの位置に基づいて決定されたものである。
【０１４６】
要するに、画像においてユーザの位置を迅速に位置決めすることを後続で容易にするために、体輪郭枠の位置する第２領域についてユーザの結像検出を優先して行うことで、後続の姿勢変化パラメータの取得速度を向上させ、ゲーム端末の応答速度を向上させることができる。
【０１４７】
幾つかの実施例において、前記ステップＳ１３０は、前記姿勢変化パラメータに基づいて、前記ゲームキャラクターを所定の方向へジャンプするように制御することを更に含む。
【０１４８】
該所定の方法は、ゲームプロセスに関わらず、ゲーム自体により設定されたものであってもよい。例えば、前記所定の方向は、ゲームにおけるゲームキャラクターを受け止めるジャンプ用具の所在する方向であってもよい。図９に示すように、前記所定の方向は、ゲームキャラクターから石に向かう方向である。図７に示すように、前記所定の方向は、ゲームキャラクターから魚に向かう方向である。
【０１４９】
図１２に示すように、本願の実施例は、ゲーム制御装置を提供する。該装置は、ユーザの複数の画像を収集するように構成される収集モジュール１１０と、前記複数の画像に基づいて、前記ユーザの姿勢変化の姿勢変化パラメータを決定するように構成される決定モジュール１２０と、姿勢変化パラメータに基づいて、前記ユーザに対応する仮想対象を制御するように構成される制御モジュール１３０とを備える。
【０１５０】
幾つかの実施例において、前記収集モジュール１１０、決定モジュール１２０及び制御モジュール１３０はプログラムモジュールであってもよい。前記プログラムモジュールは、プロセッサにより処理されてから、画像収集、姿勢変化パラメータの決定及び仮想対象の制御を実施させることができる。
【０１５１】
別の幾つかの実施例において、前記収集モジュール１１０、決定モジュール１２０及び制御モジュール１３０は、ソフトウェアとハードウェアを組み合わせたモジュールであってもよい。前記ソフトウェアとハードウェアを組み合わせたモジュールは、様々なプログラマブルアレイを含んでもよい。前記プログラマブルアレイは、複合プログラマブルアレイ又はフィールドプログラマブルアレイであってもよい。
【０１５２】
また幾つかの実施例において、前記収集モジュール１１０、決定モジュール１２０及び制御モジュール１３０は、単純なハードウェアモジュールであってもよい。前記単純なハードウェアモジュールは、専用集積回路を含むが、これに限定されない。
【０１５３】
また幾つかの実施例において、前記姿勢変化パラメータは、しゃがみパラメータを含む。
【０１５４】
幾つかの実施例において、前記制御モジュール１３０は、前記しゃがみパラメータに基づいて、前記仮想対象のジャンプのジャンプパラメータを決定するように構成される第１決定サブモジュールと、前記ジャンプパラメータに基づいて、前記仮想対象のジャンプを制御するように構成される制御サブモジュールと、を備える。
【０１５５】
また幾つかの実施例において、前記しゃがみパラメータは、しゃがみ時間及びしゃがみ幅のうちの少なくとも１つを含む。
【０１５６】
また幾つかの実施例において、前記ジャンプパラメータは、ジャンプ力の溜力時間、ジャンプ力、ジャンプ力の溜力速度、及びジャンプ距離のうちの少なくとも１つを含む。
【０１５７】
幾つかの実施例において、前記決定モジュール１２０は、前記複数の画像の第１画像において、前記ユーザの第１局所の第１キーポイントを検出し、前記複数の画像の第２画像において、前記第１局所の第２キーポイントを検出するように構成される検出サブモジュールと、前記第１キーポイント及び前記第２キーポイントに基づいて、前記姿勢変化パラメータを決定するように構成される第２決定サブモジュールと、を含む。
【０１５８】
幾つかの実施例において、前記第１局所は、前記ユーザの顔部であり、前記第１キーポイントは、第１顔キーポイントであり、前記第２キーポイントは、第２顔キーポイントであり、
前記第２決定サブモジュールは具体的には、前記第１顔キーポイントに基づいて、第１顔枠を決定し、前記第２顔キーポイントに基づいて、第２顔枠を決定し、前記第１顔枠と前記第２顔枠との相対的位置に基づいて、前記姿勢変化パラメータを決定するように構成される。
【０１５９】
幾つかの実施例において、前記第２決定サブモジュールは具体的には、前記第１顔枠と第２顔枠の所定の方向における位置の変化量が所定の閾値を超える場合、前記ユーザの前記所定の方向における姿勢が変化したと判定するように構成される。
【０１６０】
幾つかの実施例において、前記第２決定サブモジュールは具体的には、前記第２顔枠に対して前記第１顔枠が垂直方向に降下した量が降下閾値を超える場合、前記ユーザがしゃがんだと判定すること、前記第２顔枠に対して前記第１顔枠が垂直方向に上昇した量が上昇閾値を超える場合、前記ユーザが起き上がったと判定することのうちの少なくとも１つを実行するように構成される。
【０１６１】
幾つかの実施例において、前記第２決定サブモジュールは具体的には、前記第１キーポイント及び前記第２キーポイントに基づいて、前記第１局所の所定の方向における寸法変化を決定し、前記寸法変化に基づいて、前記姿勢変化パラメータを決定するように構成される。
【０１６２】
幾つかの実施例において、前記第２決定サブモジュールは具体的には、前記第１局所の所定の方向における寸法が縮小する場合、前記ユーザがしゃがんだと判定し、前記第１局所の所定の方向における寸法が増大する場合、前記ユーザが起き上がったと判定するように構成される。
【０１６３】
幾つかの実施例において、前記第２決定サブモジュールは更に、寸法縮小値が縮小閾値を超える場合、前記ユーザがしゃがんだと判定するように構成される。
【０１６４】
幾つかの実施例において、前記第２決定サブモジュールは更に、寸法増大値が増大閾値を超える場合、前記ユーザが起き上がったと判定するように構成される。
【０１６５】
幾つかの実施例において、前記第１局所は、前記ユーザの胴体であり、前記第１キーポイントは、第１胴体キーポイントであり、前記第２キーポイントは、第２胴体キーポイントであり、
前記第２決定サブモジュールは具体的には、前記第１胴体キーポイントに基づいて、所定の方向における第１胴体寸法を決定し、前記第２胴体キーポイントに基づいて、前記所定の方向における第２胴体寸法を決定し、前記第１胴体寸法及び第２胴体寸法に基づいて、前記胴体寸法の変化を決定するように構成される。
【０１６６】
幾つかの実施例において、前記第１局所は、前記ユーザの肢体であり、前記第１キーポイントは、第１肢体キーポイントであり、前記第２キーポイントは、第２肢体キーポイントであり、
前記第２決定サブモジュールは具体的には、前記第１肢体キーポイントに基づいて、所定の方向における第１肢体寸法を決定し、前記第２肢体キーポイントに基づいて、所定の方向における第２肢体寸法を決定し、前記第１肢体寸法及び第２肢体寸法に基づいて、肢体寸法の変化を決定するように構成される。
【０１６７】
幾つかの実施例において、前記第１肢体キーポイントは、下肢キーポイントである。
【０１６８】
幾つかの実施例において、前記決定モジュール１２０は更に、前記複数の画像に基づいて、前記ユーザの第２局所の姿勢変化パラメータを決定するように構成され、前記制御モジュール１３０は更に、前記第２局所の姿勢変化パラメータに基づいて、前記仮想対象のジャンプ方向を制御するように構成される。
【０１６９】
幾つかの実施例において、前記第２局所の姿勢変化パラメータは、顔の向き、上肢の伸長方向のうちの少なくとも１つを含む。
【０１７０】
幾つかの実施例において、前記装置は、体輪郭枠を含むインタフェースを表示するように構成される表示モジュールと、前記インタフェースにおけるユーザに対応する第１領域と、前記体輪郭枠に対応する第２領域が所定の相対的位置関係を満たすかどうかを検出するように構成される検出モジュールと、を更に備え、前記収集モジュールは更に、前記所定の相対的位置関係を満たす場合、前記ユーザの複数の画像の収集を開始するように構成される。
【０１７１】
幾つかの実施例において、前記制御モジュール１３０は具体的には、前記姿勢変化パラメータに基づいて、前記仮想対象を所定の方向へジャンプするように制御するように構成される。
【０１７２】
以下、上記任意の実施例を参照しながら具体的な例を提供する。コンピュータビジョン技術の進歩に伴い、普通のカメラによる結合と深層学習アルゴリズムを組み合わせることで、体キーポイント認識、体キーポイント追跡、ジェスチャ認識などを行うことができるようになる。それにより、仮想対象の制御のために新たなオプションを提供する。このような方式は、正確性が高く、拡張性が高く、コストが低く、マルチシーンをサポートするなどの特徴を有する。
【０１７３】
現在の実施方法において、顔キーポイントの位置変化に基づいて、ユーザがしゃがみ／起き上がり操作を行っているかを判定し、仮想対象を制御する。具体的には、アルゴリズムにより、ユーザの顔キーポイントの座標（例えば、顔枠の４つの点の座標）を得る。ユーザの顔キーポイントのＹ値の変化が顔幅（Ｘ１−Ｘ２）の±１０％を超えると、しゃがみ／起き上がりと判定する。このように類推すると、挙手、手振り、首振りなどのような様々な動作を判定することもできる。
【０１７４】
もう１つの考えらえる実現形態において、アルゴリズムによりユーザ全体のキーポイントの座標を得る。座標に基づいて、身長、上半身の身長、大腿長のような各部位の長さを算出する。続いて各部位の長さの変化、及び各部位の長さ同士の比の変化に基づいてユーザの現在の動作を判定する。
【０１７５】
仮想制御インタフェースがトップページにあり、ユーザ全体がスクリーンにおける体輪郭枠の所在位置に位置すると検出した時、制御プロセスを自動的に起動する。
【０１７６】
制御ページ（前記ゲーム進行インタフェースに対応する）に入り、ユーザは、「しゃがんで」溜力し始まる。ユーザが「引き上がって」ジャンプをトリガする。溜力時間が長いほど、ジャンプ距離は遠くなる。
【０１７７】
ユーザがターゲットオブジェクトまで成功してジャンプすると、制御を継続する。ジャンプ距離が大きすぎるか又は小さすぎると、制御を終了し、結果ページに入る。
【０１７８】
図１３に示すように、本願の実施例は、端末を提供する。該端末は、記憶培地ア１３０１と、前記記憶媒体に接続され、前記記憶媒体に記憶されている機器実行可能な命令を実行して、図１から図４に示した制御方法のうちの１つ又は複数のような前記いずれか１つの技術的解決手段で提供される仮想対象の制御方法を実現するように構成されるプロセッサ１３０２と、を備える。
【０１７９】
該記憶媒体、ランダムメモリ、読み取り専用メモリのような様々なメモリであってもよい。前記記憶媒体は、情報記憶に用いられ、例えば、機器実行可能な命令などの記憶に用いられる。前記機器実行可能な命令は、ターゲットプログラム命令及び／又はソースプログラム命令などのような様々なプログラム命令であってもよい。
【０１８０】
前記プロセッサは、中央演算処理装置、マイクロプロセッサ、デジタル信号プロセッサ、プログラマブルアレイ、デジタル信号プロセッサ、特定用途向け集積回路又は画像処理装置などのような様々なプロセッサであってもよい。
【０１８１】
前記プロセッサは、バスを経由して前記メモリに接続される。前記バスは、集積回路バスなどであってもよい。
【０１８２】
幾つかの実施例において、前記端末は、通信インタフェース１３０３を更に備えてもよい。該通信インタフェースは、ローカルエリアネットワークインタフェース、送受信アンテナなどのようなネットワークインタフェースであってもよい。前記通信インタフェースも、前記プロセッサに接続され、情報送受信に用いられる。
【０１８３】
幾つかの実施例において、前記端末は、ヒューマンインタラクティブインタフェース１３０４を更に備える。例えば、前記ヒューマンインタラクティブインタフェースは、ハンドル、キーボード、タッチパネルなどのような様々な入力出力装置を含んでもよい。
【０１８４】
幾つかの実施例において、前記端末は、仮想対象の制御インタフェースを表示するためのディスプレイ１３０５を更に備える。
【０１８５】
本願の実施例は、記憶媒体を提供する。前記記憶媒体には、機器実行可能な命令が記憶されており、前記機器実行可能な命令が実行された後、端末、データベース、第１プライベートネットワークにおける１つ又は複数の技術的解決手段で提供される制御方法に適用されることが可能である。例えば図１及び／又は図２に示した制御方法のうちの１つ又は複数に適用される。
【０１８６】
前記記憶媒体は、例えば、ＣＤ、フレキシブルディスク、ハードディスク、磁気テープ、光ディスク、Ｕディスク又はリムーバブルハードディスクのような、記録機能を有する様々な記憶媒体であってもよい。任意選択的に、前記記憶媒体は、非一時的記憶媒体であってもよい。該記憶媒体は、プロセッサにより読み取られ、記憶媒体に記憶されている機器実行可能な命令が第１プロセッサにより取得されて実行されてから、前記いずれか１つの技術的解決手段で提供される方向を実現させる。例えば、端末に適用した制御方法又はアプリケーションサーバに適用した制御方法を実行する。
【０１８７】
本願の実施例は、コンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、コンピュータ実行可能な命令を含み、前記コンピュータ実行可能な命令が実行された後、図１から図４に示した制御方法のうちの１つ又は複数のような前記１つ又は複数の技術的解決手段で提供される仮想対象の制御方法を実現させることができる。
【０１８８】
前記コンピュータプログラム製品は、コンピュータ記憶媒体に有形に具体化されるコンピュータプログラムを含み、コンピュータプログラムは、フローチャートに示す方法を実行するためのプログラムコードを含み、プログラムコードは、本願の実施例で提供される方向のステップを実行するための命令を含む。
【０１８９】
本願で提供される幾つかの実施例において、開示される装置及び方法は、他の方式によって実現できることを理解すべきである。例えば、以上に記載した装置の実施例はただ例示的なもので、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。例えば、複数のユニット又は組立体を組み合わせてもよく、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよく、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインタフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。
【０１９０】
分離部材として説明した該ユニットは、物理的に別個のものであってもよく、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよく、そうでなくてもよい。即ち、同一の位置に位置してもよく、複数のネットワークに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。
【０１９１】
また、本発明の各実施例における各機能ユニットは一つの処理ユニットに集積されてもよく、各ユニットが物理的に別個のものとして存在してもよく、２つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットはハードウェアとして実現してもよく、ハードウェアとソフトウェア機能ユニットとを組み合わせて実現してもよい。
【０１９２】
上記各方法に係る実施例の全部又は一部のステップはプログラム命令に係るハードウェアにより実現され、前記プログラムはコンピュータ読み取り可能な記憶媒体に記憶され、該プログラムが実行される時、上記方法の実施例におけるステップを実行し、前記記憶媒体は、携帯型記憶装置、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ-ｏｎｌｙ  Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。
【０１９３】
以上は本発明の具体的な実施形態に過ぎず、本発明の保護の範囲はそれらに制限されるものではなく、当業者が本発明に開示された技術範囲内で容易に想到しうる変更や置換はいずれも、本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲の保護範囲を基準とするべきである。
【図１】
2021519996.tif 000003
【図２】
2021519996.tif 000004
【図３】
2021519996.tif 000005
【図４】
2021519996.tif 000006
【図５】
2021519996.tif 000007
【図６】
2021519996.tif 000008
【図７】
2021519996.tif 000009
【図８】
2021519996.tif 000010
【図９】
2021519996.tif 000011
【図１０】
2021519996.tif 000012
【図１１】
2021519996.tif 000013
【図１２】
2021519996.tif 000014
【図１３】
2021519996.tif 000015
【手続補正書】
【提出日】令和2年10月29日(2020.10.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
仮想対象の制御方法であって、
ユーザの複数の画像を収集することと、
前記複数の画像に基づいて、前記ユーザの姿勢変化の姿勢変化パラメータを決定することと、
姿勢変化パラメータに基づいて、前記ユーザに対応する仮想対象を制御することと、を含むことを特徴とする、方法。
【請求項２】
前記姿勢変化パラメータは、しゃがみパラメータを含み、
前記姿勢変化パラメータに基づいて、前記ユーザに対応する仮想対象を制御することは、
前記しゃがみパラメータに基づいて、前記仮想対象のジャンプのジャンプパラメータを決定することと、
前記ジャンプパラメータに基づいて、前記仮想対象のジャンプを制御することと、を含むことを特徴とする
請求項１に記載の方法。
【請求項３】
前記しゃがみパラメータは、しゃがみ時間及びしゃがみ幅のうちの少なくとも１つを含み、
及び／又は
前記ジャンプパラメータは、ジャンプ力の溜力時間、ジャンプ力、ジャンプ力の溜力速度、及びジャンプ距離のうちの少なくとも１つを含むことを特徴とする
請求項２に記載の方法。
【請求項４】
前記複数の画像に基づいて、前記ユーザの姿勢変化の姿勢変化パラメータを決定することは、
前記複数の画像の第１画像において、前記ユーザの第１局所の第１キーポイントを検出することと、
前記複数の画像の第２画像において、前記第１局所の第２キーポイントを検出することと、
前記第１キーポイント及び前記第２キーポイントに基づいて、前記姿勢変化パラメータを決定することと、を含むことを特徴とする
請求項１から３のうちいずれか一項に記載の方法。
【請求項５】
前記第１局所は、前記ユーザの顔部であり、前記第１キーポイントは、第１顔キーポイントであり、前記第２キーポイントは、第２顔キーポイントであり、
前記第１キーポイント及び前記第２キーポイントに基づいて、前記姿勢変化パラメータを決定することは、
前記第１顔キーポイントに基づいて、第１顔枠を決定することと、
前記第２顔キーポイントに基づいて、第２顔枠を決定することと、
前記第１顔枠と前記第２顔枠との相対的位置に基づいて、前記姿勢変化パラメータを決定することと、を含むことを特徴とする
請求項４に記載の方法。
【請求項６】
前記第１顔枠と前記第２顔枠との相対的位置に基づいて、前記姿勢変化パラメータを決定することは、
前記第１顔枠と第２顔枠の所定の方向における位置の変化量が所定の閾値を超える場合、前記ユーザの前記所定の方向における姿勢が変化したと判定することを含むことを特徴とする
請求項５に記載の方法。
【請求項７】
前記第１キーポイント及び前記第２キーポイントに基づいて、前記姿勢変化パラメータを決定することは、
前記第１キーポイント及び前記第２キーポイントに基づいて、前記第１局所の所定の方向における寸法変化を決定することと、
前記寸法変化に基づいて、前記姿勢変化パラメータを決定することと、を含むことを特徴とする
請求項４に記載の方法。
【請求項８】
前記寸法変化に基づいて、前記姿勢変化パラメータを決定することは、
前記第１局所の所定の方向における寸法が縮小する場合、前記ユーザがしゃがんだと判定すること、及び
前記第１局所の所定の方向における寸法が増大する場合、前記ユーザが起き上がったと判定することのうちの少なくとも１つを含むことを特徴とする
請求項７に記載の方法。
【請求項９】
前記第１局所は、前記ユーザの胴体であり、前記第１キーポイントは、第１胴体キーポイントであり、前記第２キーポイントは、第２胴体キーポイントであり、
前記第１キーポイント及び前記第２キーポイントに基づいて、前記第１局所の所定の方向における寸法変化を決定することは、
前記第１胴体キーポイントに基づいて、所定の方向における第１胴体寸法を決定することと、
前記第２胴体キーポイントに基づいて、前記所定の方向における第２胴体寸法を決定することと、
前記第１胴体寸法及び前記第２胴体寸法に基づいて、前記胴体寸法の変化を決定することと、を含むことを特徴とする
請求項７又は８に記載の方法。
【請求項１０】
前記第１局所は、前記ユーザの肢体であり、前記第１キーポイントは、第１肢体キーポイントであり、前記第２キーポイントは、第２肢体キーポイントであり、
前記第１キーポイント及び前記第２キーポイントに基づいて、前記第１局所の所定の方向における寸法変化を決定することは、
前記第１肢体キーポイントに基づいて、所定の方向における第１肢体寸法を決定することと、
前記第２肢体キーポイントに基づいて、所定の方向における第２肢体寸法を決定することと、
前記第１肢体寸法及び前記第２肢体寸法に基づいて、肢体寸法の変化を決定することと、を含むことを特徴とする
請求項７又は８に記載の方法。
【請求項１１】
前記複数の画像に基づいて、前記ユーザの姿勢変化の姿勢変化パラメータを決定することは、
前記複数の画像に基づいて、前記ユーザの第２局所の姿勢変化パラメータを決定することを更に含み、
前記姿勢変化パラメータに基づいて、前記ユーザに対応する仮想対象を制御することは、
前記第２局所の姿勢変化パラメータに基づいて、前記仮想対象のジャンプ方向を制御することを含むことを特徴とする
請求項１から１０のうちいずれか一項に記載の方法。
【請求項１２】
前記第２局所の姿勢変化パラメータは、顔の向き、及び上肢の伸長方向のうちの少なくとも１つを含むことを特徴とする
請求項１１に記載の方法。
【請求項１３】
前記方法は、
体輪郭枠を含むインタフェースを表示することと、
前記インタフェースにおけるユーザに対応する第１領域と、前記体輪郭枠に対応する第２領域が所定の相対的位置関係を満たすかどうかを検出することと、
前記所定の相対的位置関係を満たす場合、前記ユーザの複数の画像の収集操作を実行することと、を更に含むことを特徴とする
請求項１から１２のうちいずれか一項に記載の方法。
【請求項１４】
機器実行可能な命令が記憶されている機器可読記憶媒体であって、前記機器実行可能な命令は、プロセッサによって実行されるとき、前記プロセッサに請求項１から１３のうちいずれか一項に記載の方法を実施させる、機器可読記憶媒体。
【請求項１５】
記憶媒体と、
前記記憶媒体に接続され、前記記憶媒体に記憶されている機器実行可能な命令を実行して請求項１から１３のうちいずれか一項に記載の方法を実施するように構成されるプロセッサと、を備える、端末。
【請求項１６】
コンピュータに、請求項１から１３のうちいずれか一項に記載の方法を実行させる、コンピュータプログラム。
【国際調査報告】
2021519996.tif 000016
2021519996.tif 000017
2021519996.tif 000018
2021519996.tif 000019