(57)【要約】本開示の実施例は、画像処理方法及び装置、画像デバイス並びに記憶媒体を開示する。前記画像処理方法は、画像を取得するステップと、前記画像に基づいて目標の局所の特徴を取得するステップと、前記特徴に基づいて前記局所の運動情報を決定するステップと、前記運動情報によって被制御モデルの対応局所の運動を制御するステップと、を含む。【選択図】図１
2021525431.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得するステップと、
前記画像に基づいて目標の局所の特徴を取得するステップと、
前記特徴に基づいて前記局所の運動情報を決定するステップと、
前記運動情報によって被制御モデルの対応局所の運動を制御するステップと、を含むことを特徴とする画像処理方法。
【請求項２】
前記画像に基づいて前記目標の局所の特徴を取得するステップは、
前記画像に基づいて前記目標の第１種局所の第１種特徴を取得するステップ、及び／又は、
前記画像に基づいて前記目標の第２種局所の第２種特徴を取得するステップと、を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記画像に基づいて前記目標の前記第１種局所の前記第１種特徴を取得するステップは、
前記画像に基づいて頭部の表情特徴及び前記表情特徴の強度係数を取得するステップを含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記画像に基づいて前記表情特徴の前記強度係数を取得するステップは、
前記画像に基づいて前記第１種局所のうちの各サブ局所を表す強度係数を取得するステップを含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記特徴に基づいて前記局所の運動情報を決定するステップは、
前記表情特徴と前記強度係数に基づいて前記頭部の運動情報を決定するステップを含み、
前記運動情報によって前記被制御モデルの前記対応局所の運動を制御するステップは、
前記頭部の前記運動情報によって前記被制御モデルの頭部の表情変化を制御するステップを含むことを特徴とする請求項３又は４に記載の方法。
【請求項６】
前記画像に基づいて前記目標の前記第２種局所の前記第２種特徴を取得するステップは、
前記画像に基づいて前記目標の前記第２種局所のキーポイントの位置情報を取得するステップを含み、
前記特徴に基づいて前記局所の前記運動情報を決定する前記ステップは、
前記位置情報に基づいて前記第２種局所の運動情報を決定するステップを含むことを特徴とする請求項２−５のいずれか一項に記載の方法。
【請求項７】
前記画像に基づいて前記目標の前記第２種局所の前記キーポイントの位置情報を取得するステップは、
前記画像に基づいて前記目標の前記第２種局所のサポートキーポイントの第１座標を取得するステップと、
前記第１座標に基づいて第２座標を取得するステップと、を含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記画像に基づいて前記目標の前記第２種局所の前記サポートキーポイントの第１座標を取得するステップは、
２Ｄ画像に基づいて前記第２種局所の前記サポートキーポイントの第１の２Ｄ座標を取得するステップを含み、
前記第１座標に基づいて前記第２座標を取得するステップは、
前記第１の２Ｄ座標と２Ｄ座標から３Ｄ座標への変換関係に基づいて前記第１の２Ｄ座標に対応する第１の３Ｄ座標を取得するステップを含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記画像に基づいて前記目標の前記第２種局所の前記サポートキーポイントの第１座標を取得するステップは、
３Ｄ画像に基づいて前記目標の前記第２種局所の前記サポートキーポイントの第２の３Ｄ座標を取得するステップを含み、
前記第１座標に基づいて前記第２座標を取得するステップは、
前記第２の３Ｄ座標に基づいて第３の３Ｄ座標を取得するステップを含むことを特徴とする請求項７に記載の方法。
【請求項１０】
前記第２の３Ｄ座標に基づいて前記第３の３Ｄ座標を取得するステップは、
前記第２の３Ｄ座標に基づいて、前記３Ｄ画像での前記第２種局所の遮られた部分に対応するサポートキーポイントの３Ｄ座標を補正して、前記第３の３Ｄ座標を取得するステップを含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記位置情報に基づいて前記第２種局所の運動情報を決定するステップは、
前記位置情報に基づいて前記第２種局所の四元数を決定するステップを含むことを特徴とする請求項６に記載の方法。
【請求項１２】
前記画像に基づいて前記目標の前記第２種局所の前記キーポイントの位置情報を取得するステップは、
前記第２種局所のうちの第１局所のサポートキーポイントの第１位置情報を取得するステップと、
前記第２種局所のうちの第２局所のサポートキーポイントの第２位置情報を取得するステップと、を含むことを特徴とする請求項６に記載の方法。
【請求項１３】
前記位置情報に基づいて前記第２種局所の運動情報を決定するステップは、
前記第１位置情報によって前記第１局所の運動情報を決定するステップと、
前記第２位置情報によって前記第２局所の運動情報を決定するステップと、を含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
前記運動情報によって前記被制御モデルの前記対応局所の運動を制御するステップは、
前記第１局所の前記運動情報によって前記被制御モデルの前記第１局所に対応する局所の運動を制御するステップと、
前記第２局所の前記運動情報によって前記被制御モデルの前記第２局所に対応する局所の運動を制御するステップと、を含むことを特徴とする請求項１２又は１３に記載の方法。
【請求項１５】
前記第１局所は胴体であり、及び／又は、前記第２局所は上肢、下肢又は四肢であることを特徴とする請求項１２−１４のいずれか一項に記載の方法。
【請求項１６】
画像を取得するための第１取得モジュールと、
前記画像に基づいて目標の局所の特徴を取得するための第２取得モジュールと、
前記特徴に基づいて前記局所の運動情報を決定するための第１決定モジュールと、
前記運動情報によって被制御モデルの対応局所の運動を制御するための制御モジュールと、を含むことを特徴とする画像処理装置。
【請求項１７】
前記第２取得モジュールは、具体的には、
前記画像に基づいて前記目標の第１種局所の第１種特徴を取得し、及び／又は、
前記画像に基づいて前記目標の第２種局所の第２種特徴を取得するために用いられることを特徴とする請求項１６に記載の装置。
【請求項１８】
前記第２取得モジュールは、具体的には、
前記画像に基づいて頭部の表情特徴及び前記表情特徴の強度係数を取得するために用いられることを特徴とする請求項１７に記載の装置。
【請求項１９】
前記画像に基づいて前記表情特徴の前記強度係数を取得するとき、前記第２取得モジュールは、具体的には、
前記画像に基づいて前記第１種局所のうちの各サブ局所を表す強度係数を取得するために用いられることを特徴とする請求項１８に記載の装置。
【請求項２０】
前記第１決定モジュールは、具体的には、前記表情特徴と前記強度係数に基づいて前記頭部の運動情報を決定するために用いられ、
前記制御モジュールは、具体的には、前記頭部の前記運動情報によって前記被制御モデルの頭部の表情変化を制御するために用いられることを特徴とする請求項１８又は１９に記載の装置。
【請求項２１】
前記第２取得モジュールは、具体的には、前記画像に基づいて前記目標の前記第２種局所のキーポイントの位置情報を取得するために用いられ、
前記第１決定モジュールは、具体的には、前記位置情報に基づいて前記第２種局所の運動情報を決定するために用いられることを特徴とする請求項１７−２０のいずれか一項に記載の装置。
【請求項２２】
前記第２取得モジュールは、具体的には、
前記画像に基づいて前記目標の前記第２種局所のサポートキーポイントの第１座標を取得し、
前記第１座標に基づいて第２座標を取得するために用いられることを特徴とする請求項２１に記載の装置。
【請求項２３】
前記第２取得モジュールは、具体的には、
２Ｄ画像に基づいて前記第２種局所の前記サポートキーポイントの第１の２Ｄ座標を取得し、
前記第１の２Ｄ座標と２Ｄ座標から３Ｄ座標への変換関係に基づいて前記第１の２Ｄ座標に対応する第１の３Ｄ座標を取得するために用いられることを特徴とする請求項２２に記載の装置。
【請求項２４】
前記第２取得モジュールは、具体的には、
３Ｄ画像に基づいて前記目標の前記第２種局所の前記サポートキーポイントの第２の３Ｄ座標を取得し、
前記第２の３Ｄ座標に基づいて第３の３Ｄ座標を取得するために用いられることを特徴とする請求項２２に記載の装置。
【請求項２５】
前記第２取得モジュールは、具体的には、
前記第２の３Ｄ座標に基づいて、前記３Ｄ画像での前記第２種局所の遮られた部分に対応するサポートキーポイントの３Ｄ座標を補正して、前記第３の３Ｄ座標を取得するために用いられることを特徴とする請求項２４に記載の装置。
【請求項２６】
前記第１決定モジュールは、具体的には、前記位置情報に基づいて前記第２種局所の四元数を決定するために用いられることを特徴とする請求項２１に記載の装置。
【請求項２７】
前記第２取得モジュールは、具体的には、
前記第２種局所のうちの第１局所のサポートキーポイントの第１位置情報を取得し、
前記第２種局所のうちの第２局所のサポートキーポイントの第２位置情報を取得するために用いられることを特徴とする請求項２１に記載の装置。
【請求項２８】
前記第１決定モジュールは、具体的には、
前記第１位置情報によって前記第１局所の運動情報を決定し、
前記第２位置情報によって前記第２局所の運動情報を決定するために用いられることを特徴とする請求項２７に記載の装置。
【請求項２９】
前記制御モジュールは、具体的には、
前記第１局所の前記運動情報によって前記被制御モデルの前記第１局所に対応する局所の運動を制御し、
前記第２局所の前記運動情報によって前記被制御モデルの前記第２局所に対応する局所の運動を制御するために用いられることを特徴とする請求項２７又は２８に記載の装置。
【請求項３０】
前記第１局所は胴体であり、及び／又は、前記第２局所は上肢、下肢又は四肢であることを特徴とする請求項２７−２９のいずれか一項に記載の装置。
【請求項３１】
画像デバイスであって、
メモリと、
前記メモリに接続されるプロセッサと、を備え、
前記プロセッサは、前記メモリに記憶されているコンピュータ実行可能なコマンドを実行することで、上記請求項１−１５のいずれか一項により提供される方法を実現することを特徴とする画像デバイス。
【請求項３２】
コンピュータ実行可能なコマンドが記憶されている非揮発性コンピュータ記憶媒体であって、
前記コンピュータ実行可能なコマンドがプロセッサによって実行されると、上記請求項１−１５のいずれか一項により提供される方法が実現されることを特徴とする非揮発性コンピュータ記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報技術に関し、特に、画像処理方法及び装置、画像デバイス並びに記憶媒体に関する。
＜関連出願の相互参照＞
本願は、２０１９年１月１８日に提出された、出願番号が２０１９１００４９８３０．６であり、発明の名称が「画像処理方法及び装置、画像デバイス並びに記憶媒体」であり、及び２０１９年４月３０日に提出された、出願番号が２０１９１０３６２１０７．３であり、発明の名称が「画像処理方法及び装置、画像デバイス並びに記憶媒体」である中国特許出願の優先権を主張し、当該出願の全ての内容が参照によって本願に組み込まれる。
【背景技術】
【０００２】
情報技術の発展に伴い、ユーザは動画を録画することによってオンライン授業、ライブ配信、体感ゲーム等を行うことができるようになっている。しかしながら、例えば、体感ゲームをする場合、ゲームキャラクターを制御するために、ユーザは自分の肢体等の動作を検出するための専用の体感装置を着用しなければならない。また、オンライン授業やライブ配信などを行う場合、ユーザの様相や肢体等が完全にネットワークに公開されているため、ユーザのプライバシー問題と情報セキュリティ問題の両方に関わる可能性がある。このようなプライバシーまたはセキュリティの問題を解決するために、モザイク等の方式で顔画像をぼかすことなどがあるが、これによりビデオ効果が影響されてしまう。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
以上に鑑みて、本開示の実施例は、画像処理方法及び装置、画像デバイス並びに記憶媒体を提供する。
【課題を解決するための手段】
【０００４】
第１の態様によれば、本開示は、画像を取得するステップと、前記画像に基づいて目標の局所の特徴を取得するステップと、前記特徴に基づいて前記局所の運動情報を決定するステップと、前記運動情報によって被制御モデルの対応局所の運動を制御するステップと、を含む画像処理方法を提供する。
【０００５】
上記態様によれば、前記画像に基づいて前記目標の前記局所の特徴を取得するステップは、前記画像に基づいて前記目標の第１種局所の第１種特徴を取得するステップ、及び／又は、前記画像に基づいて前記目標の第２種局所の第２種特徴を取得するステップを含む。
【０００６】
上記態様によれば、前記画像に基づいて前記目標の前記第１種局所の前記第１種特徴を取得するステップは、前記画像に基づいて頭部の表情特徴及び前記表情特徴の強度係数を取得するステップを含む。
【０００７】
上記態様によれば、前記画像に基づいて前記表情特徴の前記強度係数を取得するステップは、前記画像に基づいて前記第１種局所のうちの各サブ局所を表す強度係数を取得するステップを含む。
【０００８】
上記態様によれば、前記特徴に基づいて前記局所の運動情報を決定するステップは、前記表情特徴と前記強度係数に基づいて前記頭部の運動情報を決定するステップを含み、前記運動情報によって被制御モデルの対応局所の運動を制御するステップは、前記頭部の前記運動情報によって前記被制御モデルの頭部の表情変化を制御するステップを含む。
【０００９】
上記態様によれば、前記画像に基づいて前記目標の前記第２種局所の前記第２種特徴を取得する前記ステップは、前記画像に基づいて前記目標の前記第２種局所のキーポイントの位置情報を取得するステップを含み、前記特徴に基づいて前記局所の前記運動情報を決定する前記ステップは、前記位置情報に基づいて前記第２種局所の運動情報を決定するステップを含む。
【００１０】
上記態様によれば、前記画像に基づいて前記目標の前記第２種局所の前記キーポイントの位置情報を取得するステップは、前記画像に基づいて前記目標の前記第２種局所のサポートキーポイントの第１座標を取得するステップと、前記第１座標に基づいて第２座標を取得するステップと、を含む。
【００１１】
上記態様によれば、前記画像に基づいて前記目標の前記第２種局所の前記サポートキーポイントの第１座標を取得するステップは、２Ｄ画像に基づいて前記第２種局所の前記サポートキーポイントの第１の２Ｄ座標を取得するステップを含み、前記第１座標に基づいて前記第２座標を取得するステップは、前記第１の２Ｄ座標と２Ｄ座標から３Ｄ座標への変換関係に基づいて前記第１の２Ｄ座標に対応する第１の３Ｄ座標を取得するステップを含む。
【００１２】
上記態様によれば、前記画像に基づいて前記目標の前記第２種局所の前記サポートキーポイントの第１座標を取得するステップは、３Ｄ画像に基づいて前記目標の前記第２種局所の前記サポートキーポイントの第２の３Ｄ座標を取得するステップを含み、前記第１座標に基づいて前記第２座標を取得するステップは、前記第２の３Ｄ座標に基づいて第３の３Ｄ座標を取得するステップを含む。
【００１３】
上記態様によれば、前記第２の３Ｄ座標に基づいて前記第３の３Ｄ座標を取得するステップは、前記第２の３Ｄ座標に基づいて、前記３Ｄ画像での前記第２種局所の遮られた部分に対応するサポートキーポイントの３Ｄ座標を補正して、前記第３の３Ｄ座標を取得するステップを含む。
【００１４】
上記態様によれば、前記位置情報に基づいて前記第２種局所の運動情報を決定するステップは、前記位置情報に基づいて前記第２種局所の四元数を決定するステップを含む。
【００１５】
上記態様によれば、前記画像に基づいて前記目標の前記第２種局所の前記キーポイントの位置情報を取得するステップは、前記第２種局所のうちの第１局所のサポートキーポイントの第１位置情報を取得するステップと、前記第２種局所のうちの第２局所のサポートキーポイントの第２位置情報を取得するステップと、を含む。
【００１６】
上記態様によれば、前記位置情報に基づいて前記第２種局所の運動情報を決定するステップは、前記第１位置情報によって前記第１局所の運動情報を決定するステップと、前記第２位置情報によって前記第２局所の運動情報を決定するステップと、を含む。
【００１７】
上記態様によれば、前記運動情報によって前記被制御モデルの対応局所の運動を制御する前記ステップは、前記第１局所の前記運動情報によって前記被制御モデルの前記第１局所に対応する局所の運動を制御するステップと、前記第２局所の前記運動情報によって前記被制御モデルの前記第２局所に対応する局所の運動を制御するステップと、を含む。
【００１８】
上記態様によれば、前記第１局所は胴体であり、及び／又は、前記第２局所は上肢、下肢又は四肢である。
【００１９】
第２の態様によれば、本開示は、
画像を取得するための第１取得モジュールと、前記画像に基づいて目標の局所の特徴を取得するための第２取得モジュールと、前記特徴に基づいて前記局所の運動情報を決定するための第１決定モジュールと、前記運動情報によって被制御モデルの対応局所の運動を制御するための制御モジュールと、を含む画像処理装置を提供する。
【００２０】
第３の態様によれば、本開示は、メモリと、前記メモリに接続されるプロセッサと、を備え、前記プロセッサは、前記メモリに記憶されているコンピュータ実行可能なコマンドを実行することで、上記のいずれか一項の画像処理方法を実現する画像デバイスを提供する。
【００２１】
第４の態様によれば、本開示は、メモリと、前記メモリに接続されるプロセッサと、を備え、前記プロセッサは、前記メモリに記憶されているコンピュータ実行可能なコマンドを実行することで、上記のいずれか一項の画像処理方法が実現される非揮発性コンピュータ記憶媒体を提供する。
【発明の効果】
【００２２】
本開示の実施例で提供される技術的解決手段によれば、取得された画像によって目標の局所の特徴を取得し、更に局所の特徴に基づいて局所の運動情報を取得し、最後に運動情報によって被制御モデルの対応局所の運動を制御する。このように、被制御モデルを用いて目標の運動をシミュレートしてライブ動画ストリーミングをしている時に、被制御モデルの運動を精確に制御でき、それによって被制御モデルが目標の運動を精確にシミュレートすることができ、ライブ動画ストリーミングを実現すると共に、ユーザのプライバシーを保護する。
【図面の簡単な説明】
【００２３】
【図１】本開示の実施例で提供される画像処理方法のフローチャートである。
【図２】本開示の別の実施例で提供される画像処理方法のフローチャートである。
【図３Ａ−３Ｃ】本実施例で提供される被制御モデルが被取得ユーザの手部運動をシミュレートする変化模式図である。
【図４Ａ−４Ｃ】本開示の実施例で提供される被制御モデルが被取得ユーザの胴体運動をシミュレートする変化模式図である。
【図５Ａ−５Ｃ】本開示の実施例で提供される被制御モデルが被取得ユーザの足部運動をシミュレートする模式図である。
【図６】本開示の実施例で提供される画像処理装置の構造模式図である。
【図７Ａ】本開示の実施例で提供される骨格キーポイントの模式図である。
【図７Ｂ】本開示の別の実施例で提供される骨格キーポイントの模式図である。
【図８】本開示の実施例で提供される骨格の模式図である。
【図９】本開示の実施例で提供される人体の別々の骨格の局所座標系の模式図である。
【図１０】本開示の実施例で提供される画像デバイスの構造模式図である。
【発明を実施するための形態】
【００２４】
以下、明細書の図面及び具体的な実施例を参照しながら、本開示の技術的解決手段を更に詳細に説明する。
【００２５】
図１に示すように、本実施例は、画像処理方法を提供し、以下のＳ１１０〜Ｓ１４０を含んでもよい。
ステップＳ１１０では、画像を取得する。
ステップＳ１２０では、前記画像に基づいて目標の局所の特徴を取得する。
ステップＳ１３０では、前記特徴に基づいて前記局所の運動情報を決定する。
ステップＳ１４０では、前記運動情報によって被制御モデルの対応局所の運動を制御する。
【００２６】
本実施例で提供される画像処理方法は、画像処理を介して被制御モデルを運動させることができる。
【００２７】
本実施例で提供される画像処理方法は、画像デバイスに利用可能である。当該画像デバイスは、画像デバイス処理を実行可能な各種電子機器であってもよく、例えば、画像収集、画像表示及び画像画素再結合による画像生成を行う電子機器である。当該画像デバイスは、携帯端末及び／又は固定端末のような各種端末装置を含むが、それらに限定されなく、更に、画像サービスを提供可能な各種画像サーバを含んでもよい。前記携帯端末は、ユーザに携帯されやすい携帯電話又はタブレット型コンピュータ等の携帯型装置を含み、更に、例えば、スマートブレスレット、スマートウォッチやスマートグラス等のユーザが着用する装置を含んでもよい。前記固定端末は、固定されたデスクトップコンピュータ等を含む。
【００２８】
本実施例では、ステップＳ１１０で取得された画像は２Ｄ（２次元）画像又は３Ｄ（３次元）画像であってよい。前記２Ｄ画像は、単眼又は複眼カメラで取得された画像、例えば赤緑青（ＲＧＢ）画像等を含んでよい。
【００２９】
３Ｄ画像は、２Ｄ画像から２Ｄ座標を検出してから２Ｄ座標から３Ｄ座標への変換アルゴリズムによって取得した３Ｄ画像であってもよく、更に、３Ｄカメラで取得された画像であってもよい。
【００３０】
前記画像を取得する手法として、画像デバイスそのものに備えたカメラによって前記画像を取得する手法、及び／又は、外部装置から画像を受信する手法、及び／又は、ローカルデータベース又はローカルメモリから前記画像を読み取る手法を含んでよい。
【００３１】
一例では、前記ステップＳ１２０は、前記画像を検出して、目標の１つの局所の特徴を取得するステップを含んでよく、この局所は目標におけるいずれか１つの局所であってよい。
【００３２】
別の例では、前記ステップＳ１２０は、前記画像を検出して、目標の少なくとも２つの局所の特徴を取得するステップを含んでよく、これら２つの局所は目標における別々の局所であってよい。これら２つの局所は目標に連続的に分布しているものであってもよく、間隔をおいて前記目標に分布しているものであってもよい。
【００３３】
例えば、前記目標が人間であれば、前記いずれか１つの局所は、頭部、胴体、四肢、上肢、下肢、手部及び足部等のうちのいずれか１つを含んでよく、前記少なくとも２つの局所は、頭部、胴体、四肢、上肢、下肢、手部及び足部等のうちの任意２つを含んでよい。別の実施例では、前記目標は人間に限定されなく、更に動物等の様々な可動な生体又は非生体を含んでもよい。
【００３４】
本実施例では、１つ又は複数の局所の特徴が取得され、この特徴はこの局所の空間構造情報、位置情報又は運動状態を表す各種形態の特徴であってよい。この例において、ニューラルネットワーク等の深層学習モデルを用いて前記画像を検出し、前記特徴を取得するようにしてよい。
【００３５】
一例では、前記特徴は人体骨格の関節点同士の相対的位置関係を表すことができる。別の例では、前記特徴は、隣接時刻で人体骨格の対応関節点の位置変化関係を表す、又は現在画像と初期座標系（カメラ座標系と呼んでも良い）の人体骨格の対応関節点の位置変化関係を表すことができる。更に具体的には、この特徴は、深層学習モデル（例えば、ＯｐｅｎＰｏｓｅプロジェクトで使用されるニューラルネットワーク）によって検出した人体骨格の各関節点の世界座標系での３Ｄ座標を含んでよい。更に別の例では、前記特徴は、人体姿勢変化を表すオプティカルフロー特徴等を含んでよい。
【００３６】
ステップＳ１１０において、取得された画像は、１フレームの画像であってもよいし、複数フレームの画像であってもよい。例えば、取得された画像が１フレームの画像である時に、その後で得られた運動情報は現在画像における関節点のカメラ座標系の対応関節点に対する運動を反映できる。更に例を挙げると、取得された画像が複数フレームの画像である時に、その後で得られた運動情報は現在画像における関節点の前の複数フレームの画像の対応関節点に対する運動を反映するか、現在画像における関節点のカメラ座標系の対応関節点に対する運動を反映することができる。本願では取得される画像の数量が限定されない。
【００３７】
前記特徴を取得した後、局所の運動情報が得られ、前記運動情報は、前記局所に対応する動作変化及び／又は動作変化による表情変化等を表す。
【００３８】
一例では、Ｓ１２０に係る２つの局所が頭部と胴体であるとすれば、ステップＳ１４０において、被制御モデルにおける頭部に対応する局所を制御して運動させ、且つ被制御モデルにおける胴体に対応する局所を制御して運動させる。
【００３９】
前記運動情報の情報は局所に対応するキーポイントの座標を含むが、それらに限定されなく、この座標は２Ｄ座標及び３Ｄ座標を含むが、それらに限定されなく、この座標は、局所に対応するキーポイントの、基準位置に対する変化を表すことができ、それによって対応局所の運動状况を表すことができる。前記運動情報はベクトル、アレー、１次元数値、行列等の各種の情報形式で表してよい。
【００４０】
前記被制御モデルは前記目標に対応するモデルであってよい。例えば、目標は人間であれば、前記被制御モデルが人体モデルであり、前記目標は動物であれば、前記被制御モデルが対応の動物の身体モデルであってよく、前記目標は乗り物であれば、前記被制御モデルが乗り物のモデルであってよい。
【００４１】
本実施例では、前記被制御モデルは目標所属種類に対応するモデルである。このモデルは事前に決定されたものであってよく、更に多種のスタイルに分けられてよい。前記被制御モデルのスタイルは、ユーザコマンドに基づいて決定されてよく、例えば、実際の人物をシミュレートする実際人物スタイル、アニメスタイル、ネットで人気を集めたスタイル、異なる風格のスタイル、ゲームスタイルという様々なスタイルを含んでよい。そのうち、異なる風格のスタイルは、文芸スタイル又はロックスタイルであってよい。ゲームスタイルでは、被制御モデルはゲーム中のキャラクターであってよい。
【００４２】
例えば、オンライン授業中に、プライバシーを保護する観点から、自分の顔や姿を公開したくない教師がいる。直接録画すると、教師の顔や姿等が必ず公開されてしまう。本実施例では、画像取得等の手法によって教師の運動画像を取得し、続いて特徴抽出及び運動情報の取得によって仮想被制御モデルを制御して運動させることができる。そのようにして、自身の肢体運動によって教師の運動を被制御モデルにまねさせて肢体運動授業を完了させることができ、一方、被制御モデルの運動によって授業するため、この教師の顔や姿が直接授業動画に公開されることがなく、教師のプライバシーが保護される。
【００４３】
更に例を挙げると、道路監視ビデオで、車両のビデオを直接取得すれば、ビデオが一旦ネットに公開されると、一部の特定のユーザの車両の情報が全て公開されてしまい、なお、監視しないと、交通事故が発生した時に責任判定ができないことがある。本実施例の方法によれば、車両モデルによって実際の車両の運動をシミュレートして監視ビデオを取得することができ、車両のブランド、車種、色及び新しさ等を隠し、車両のナンバープレート情報及び／又は車両の全体的な外輪郭をこの監視ビデオに保留すればよく、それによってユーザのプライバシーを保護する。
【００４４】
いくつかの実施例では、図２に示すように、前記ステップＳ１２０は、ステップＳ１２１〜ステップＳ１２２を含んでもよい。
ステップＳ１２１では、前記画像に基づいて前記目標の第１種局所の第１種特徴を取得する。
ステップＳ１２２では、前記画像に基づいて前記目標の第２種局所の第２種特徴を取得する。
【００４５】
本実施例では、前記第１種特徴と前記第２種特徴は、対応局所の空間構造情報、位置情報及び／又は運動状態を表す特徴である。
【００４６】
異なる種類の特徴は異なる特性を有し、異なる種類の局所に適用すればより高い精度を実現できる。例えば、人体顔部の筋肉運動を例とすれば、四肢の運動に比べると、異なる特徴の運動によって引き起こされる空間変化の精度が異なり、この場合に、本実施例では顔と四肢については、種類が異なってそれぞれ顔又は四肢に合致する精度の特徴で表して良い。
【００４７】
いくつかの実施例では、例えば、画像に基づいてそれぞれ第１種局所の第１種特徴と第２種局所の第２種特徴を取得する。
【００４８】
前記第１種局所と前記第２種局所は異なる種類の局所であり、異なる種類の局所は異なる種類の局所の運動可能幅又は異なる種類の局所の運動精度によって区別してもよい。
【００４９】
本実施例では、前記第１種局所と第２種局所は運動最大幅が大きく相違する２種類の局所であってよい。例えば、第１種局所は頭部であってよく、頭部の五官がいずれも運動可能であるが、頭部の五官の運動が全て小さい。頭部が一体として運動することも可能であり、例えば、軽く頭を下げるか、頭を横に振る等が可能であるが、運動幅が肢体又は胴体の運動幅に比べて小さい。
【００５０】
第２種局所は上肢、下肢又は四肢であってよく、肢体運動の幅がいずれも大きい。これら２種類の局所の運動状態を同じ種類の特徴で表せば、ある局所の運動幅に対応させるために、精度が小さくなったり、アルゴリズムの複雑度が大きくなったりする等の問題が発生することがある。
【００５１】
ここで、異なる種類の局所の特性に基づいて異なる種類の特徴で運動情報を取得することは、同じ種類の特徴で同じ種類の局所を表す関連方式に比べて、少なくとも１種の局所の情報正確度を増加することができ、運動情報の精度を高くした。
【００５２】
いくつかの実施例では、第１種特徴と第２種特徴を取得する取得主体が異なり、例えば、異なる深層学習モデル又は深層学習モジュールを用いて取得する。第１種特徴と第２種特徴の取得論理が異なる。
【００５３】
いくつかの実施例では、前記ステップＳ１２１には、前記画像に基づいて頭部の表情特徴を取得するステップを含んでよい。
【００５４】
本実施例では、前記第１種局所は顔部を含む頭部であり、前記表情特徴は、眉の運動、口の運動、鼻の運動、目の運動及び頬の運動の少なくとも１つを含むが、それらに限定されない。眉の運動は、眉を上げる運動、眉を垂れる運動を含んでよい。口の運動は、口を開く、口を閉じる、下唇を突き出す、口をとがらせる、口をゆがめる、歯をむき出す等を含んでよい。鼻の運動は、鼻内へ息を吸うことで鼻が収縮する運動、息を吐き出すに伴って鼻が広がる運動を含んでよい。眼部運動は、目縁の運動及び／又は眼球の運動を含んでよいが、それらに限定されない。前記目縁の運動は目縁の大きさ及び／又は形状を変更することがあり、例えば、目を細くしたり、目を見張ったり、笑ったりする時の目縁の形状と大きさが変わる。眼球の運動は、眼球の目縁内での位置を含んでよく、例えば、ユーザ視線の変化で眼球が目縁の異なる位置に位置するようになり、左右目の眼球が同時に運動すると、ユーザの異なる気持ち状態等を反映できる。頬運動については、笑顔になると、えくぼなどが現れ、頬の形状もそれに伴って変わるユーザがいる。
【００５５】
いくつかの実施例では、前記頭部の運動は前記表情運動に限定されなく、そのため前記第１種特徴は前記表情特徴に限定されなく、前記頭部の毛髪運動等の毛髪運動特徴を更に含み、前記第１種特徴は更に、頭を横に振る及び／又は軽く頭を下げる等の頭部の一体とした運動特徴を含んでよい。
【００５６】
いくつかの実施例では、前記ステップＳ１２１には、前記画像に基づいて前記表情特徴の強度係数を取得するステップを更に含む。
【００５７】
本実施例では、前記強度係数が顔部表情の表情幅に対応してよい。例えば、それぞれ表情動作に一対一に対応する複数のベース表情を顔部に設置し、ここの強度係数はこの表情動作の強度を表すためのものとなってよく、例えば、この強度は表情動作の幅であってよい。
【００５８】
いくつかの実施例では、前記強度係数が大きいほど、表す強度が高い。例えば、前記強度係数が高いほど、口を開くベース表情の幅が大きく、口をとがらせるベース表情の幅が大きい等を示す。更に例を挙げると、前記強度係数が大きいほど、眉を上げるベース表情の眉の高さが大きい。
【００５９】
強度係数の導入によって、被制御モデルが目標の現在の動作をシミュレートすることができるだけでなく、目標の現在の表情の強度を精確にシミュレートすることもでき、表情の精確な移転が実現される。そのようにして、この方法を体感ゲームに用いれば、ゲームキャラクターが被制御対象となり、このような方法によれば、ゲームキャラクターがユーザの肢体動作に制御されることが可能であるだけでなく、ユーザの表情特徴を精確にシミュレートすることもできる。そのようにして、ゲームシーンで、ゲームシーンの真似程度を高め、ユーザのゲーム体験を高める。
【００６０】
本実施例では、目標が人間である時に、メッシュ検出等によって頭部の表情変化を表すメッシュ（ｍｅｓｈ）情報を取得し、ｍｅｓｈ情報に基づいて被制御モデルの変化を制御する。このｍｅｓｈ情報は、四辺形メッシュ情報及び／又は三角形パッチ情報を含むが、それらに限定されない。四辺形メッシュ情報は経緯線の情報を示し、三角形パッチ情報は３つのキーポイントを連結してなった三角面の情報である。
【００６１】
例えば、ｍｅｓｈ情報は、顔部を含む体表の特定個数の顔部キーポイントで形成されたものであり、四辺形メッシュ情報で表されるメッシュの経緯線の交点は前記顔部キーポイント所在位置となってよく、メッシュの交点の位置変化は表情変化となり、そのようにして、四辺形メッシュ情報に基づいて得られた表情特徴と強度係数は、被制御モデルの顔部の表情の精確な制御に用いることができる。更に例を挙げると、三角形パッチ情報に対応する三角面の頂点は顔部キーポイントを含み、キーポイントの位置での変化は表情変化となる。三角形パッチ情報に基づいて得られた表情特徴と強度係数は、被制御モデルの顔部の表情の精確な制御に用いることができる。
【００６２】
いくつかの実施例では、前記表情特徴の強度係数を取得するステップは、画像に基づいて第１種局所のうちの各サブ局所を表す強度係数を取得するステップを含んでよい。
【００６３】
例えば、顔部の五官については、目、眉、鼻、口、耳はそれぞれ少なくとも１つのベース表情に対応し、複数のベース表情に対応するものもあり、１つのベース表情は１つの五官の１種の表情動作に対応し、強度係数はこの表情動作の幅を表す。
【００６４】
いくつかの実施例では、前記ステップＳ１３０には、前記表情特徴と前記強度係数に基づいて頭部の運動情報を決定するステップを含んでよく、前記ステップＳ１４０には、頭部の運動情報に基づいて前記被制御モデルの対応頭部の表情変化を制御するステップを含んでよい。
【００６５】
いくつかの実施例では、前記ステップＳ１２２には、前記画像に基づいて前記目標の第２種局所のキーポイントの位置情報を取得するステップを含んでよい。
【００６６】
この位置情報は目標のキーポイントの位置情報で表してよく、このキーポイントはサポートキーポイントと外輪郭キーポイントを含んでよい。人間を例とすると、サポートキーポイントは人体の骨格キーポイントを含んでよく、輪郭キーポイントは人体体表の外輪郭のキーポイントであってよい。本願ではキーポイントの数量が限定されないが、少なくとも骨格の一部を表せるキーポイントでなければならない。
【００６７】
前記位置情報は座標で表してよく、例えば、特定座標系の２Ｄ座標及び／又は３Ｄ座標で表す。この特定座標系は、画像の所在する画像座標系を含むが、それに限定されない。位置情報はキーポイントの座標であってよく、前記ｍｅｓｈ情報と異なることは言うまでもない。第２種局所が第１種局所と異なるので、位置情報を用いて第２種局所の運動変化をより精確に表すことができる。
【００６８】
いくつかの実施例では、前記ステップＳ１３０には、前記位置情報に基づいて前記第２種局所の運動情報を決定するステップを含んでよい。
【００６９】
目標が人間であることを例とすると、前記第２種局所は、胴体及び／又は四肢、胴体及び／又は上肢、胴体及び／又は下肢を含むが、それらに限定されない。
【００７０】
更に、前記ステップＳ１２２には、具体的には、前記画像に基づいて前記目標の第２種局所のサポートキーポイントの第１座標を取得するステップと、前記第１座標に基づいて第２座標を取得するステップと、を含んでよい。
【００７１】
前記第１座標と前記第２座標はいずれもサポートキーポイントを表す座標である。目標が人間又は動物であることを例とすると、ここのサポートキーポイントは骨格キーポイントである。
【００７２】
前記第１座標と第２座標は異なる種類の座標であってもよく、例えば、第１座標は２Ｄ座標系での２Ｄ座標であり、第２座標は３Ｄ座標系での３Ｄ座標である。第１座標と第２座標は同じ種類の座標であってもよい。例えば、前記第２座標は第１座標を補正した後の座標であり、この時に、第１座標と第２座標は同じ種類の座標である。例えば、第１座標と第２座標は共に３Ｄ座標であるか、共に２Ｄ座標である。
【００７３】
いくつかの実施例では、前記画像に基づいて前記目標の第２種局所のサポートキーポイントの第１座標を取得するステップは、２Ｄ画像に基づいて前記第２種局所のサポートキーポイントの第１の２Ｄ座標を取得するステップを含み、前記第１座標に基づいて第２座標を取得するステップは、前記第１の２Ｄ座標と２Ｄ座標から３Ｄ座標への変換関係に基づいて前記第１の２Ｄ座標に対応する第１の３Ｄ座標を取得するステップを含む。
【００７４】
いくつかの実施例では、前記画像に基づいて前記目標の第２種局所のサポートキーポイントの第１座標を取得するステップは、３Ｄ画像に基づいて前記目標の第２種局所のサポートキーポイントの第２の３Ｄ座標を取得するステップを含み、前記第１座標に基づいて第２座標を取得するステップは、前記第２の３Ｄ座標に基づいて第３の３Ｄ座標を取得するステップを含む。
【００７５】
例えば、ステップＳ１１０において２Ｄ画像と２Ｄ画像に対応する深度画像を含む３Ｄ画像を直接取得する。２Ｄ画像はサポートキーポイントのｘｏｙ平面での座標値を提供でき、深度画像での深度値は、サポートキーポイントのｚ軸での座標を提供できる。ｚ軸がｘｏｙ平面に垂直である。
【００７６】
いくつかの実施例では、前記第２の３Ｄ座標に基づいて第３の３Ｄ座標を取得するステップは、前記第２の３Ｄ座標に基づいて、前記３Ｄ画像での第２種局所の遮られた部分に対応するサポートキーポイントの３Ｄ座標を補正して、前記第３の３Ｄ座標を取得するステップを含む。
【００７７】
本実施例では、まず、３Ｄモデルを用いて３Ｄ画像から第２の３Ｄ座標を抽出し、続いて、目標における異なる局所が遮られたことを考慮した上で、補正することで目標の異なる局所の３Ｄ空間での正確な第３の３Ｄ座標を取得し、それによって後続の被制御モデルの制御精度を確保する。
【００７８】
いくつかの実施例では、前記ステップＳ１３０は、前記位置情報に基づいて前記第２種局所の四元数を決定するステップを含んでよい。
【００７９】
位置情報に基づいて四元数を決定する具体的な方法については、以下の例３の説明を参照してよい。
【００８０】
いくつかの実施例では、前記運動情報は四元数で表すことに限定されなく、更に、異なる座標系での座標値、例えば、オイラー座標系又はラグランジュ座標系での座標値等で表してもよい。四元数によって第２種局所の空間位置及び／又は各方向での回転を精確に示すことができる。
【００８１】
いくつかの実施例では、四元数を運動情報とすることになり、具体的に実施する際、四元数に限定されなく、各種座標系での基準点に対する座標値で表してもよく、例えば、前記四元数の代わりにオイラー座標又はラグランジュ座標を利用してもよい。
【００８２】
いくつかの実施例では、前記ステップＳ１２０には、前記第２種局所のうちの第１局所のサポートキーポイントの第１位置情報を取得するステップと、前記第２種局所のうちの第２局所のサポートキーポイントの第２位置情報を取得するステップと、を含んでよい。
【００８３】
前記第２種局所は、少なくとも２つの異なる局所を含んでよい。そのようにして、被制御モデルは目標の少なくとも２つの局所の運動を同時にシミュレートすることができる。
【００８４】
いくつかの実施例では、前記ステップＳ１３０は、前記第１位置情報によって前記第１局所の運動情報を決定するステップと、前記第２位置情報によって前記第２局所の運動情報を決定するステップと、を含んでよい。
【００８５】
いくつかの実施例では、前記ステップＳ１４０は、前記第１局所の運動情報によって前記被制御モデルの前記第１局所に対応する局所の運動を制御するステップと、前記第２局所の運動情報によって前記被制御モデルの前記第２局所に対応する局所の運動を制御するステップと、を含んでよい。
【００８６】
別の実施例では、前記第１局所は胴体であり、前記第２局所は上肢、下肢又は四肢である。
【００８７】
いくつかの実施例では、前記方法は、前記少なくとも２つの局所の特徴及び２つの局所を連結するための連結部の第１運動制約条件によって前記連結部の第２種の運動情報を決定するステップと、前記第２種の運動情報によって前記被制御モデルの連結部の運動を制御するステップと、を更に含む。
【００８８】
いくつかの実施例では、ある局所の運動情報は運動情報の取得モデルによって単独的に取得可能であり、そのように得られた運動情報を第１種の運動情報と称してよい。ある局所は他の２つ又は２つ以上の局所を繋ぐための連結部であり、これらの連結部の運動情報は、説明の便宜上、本実施例では第２種の運動情報と称する。ここの第２種の運動情報は目標における局所の運動状况を表す情報の１種ともなる。いくつかの実施例では、前記第２種の運動情報はこの連結部に連結される２つの局所の第１種の運動情報に基づいて決定されてよい。
【００８９】
そのため、第２種の運動情報と第１種の運動情報との相違点は、第２種の運動情報が連結部の運動情報であり、第１種の運動情報が連結部以外の他の局所の運動情報であり、第１種の運動情報が対応局所の運動状態に基づいて単独的に生成されるものであり、第２種の運動情報が対応連結部に連結される他の局所の運動情報に関連する可能性があることにある。
【００９０】
いくつかの実施例では、前記ステップＳ１４０は、前記連結部の種類に応じて前記連結部を制御する制御方式を決定するステップと、前記制御方式及び前記第２種の運動情報によって前記被制御モデルの連結部の運動を制御するステップと、を含んでよい。
【００９１】
この連結部は他の２つの局所をつなぐために用いられ、例えば、人間を例とすると、頸部、手首、足首又は腰はいずれも２つの局所をつなぐ連結部である。
【００９２】
これらの連結部の運動情報は、検出しにくく、又は一定の程度でそれに隣接する他の局所に依存することがあるので、本実施例では、連結部に連結される２つ又は２つ以上の他の局所の第１種の運動情報に基づいて、前記連結部の運動情報を決定して、対応連結部の第２種の運動情報を取得することができる。
【００９３】
本実施例では連結部の運動情報の取得手法及び制約条件等の特別な情報を考慮した上で、連結部の種類に応じて、対応の制御方式を決定して、被制御モデルにおける対応連結部の精確な制御を実現する。
【００９４】
例えば、手首の横方向回転については、上腕から手部への伸び方向を軸として回転すれば、手首の横方向での回転は上腕の回転によって引き起こされるものである。
【００９５】
更に例を挙げると、足首の横方向回転については、すねの伸び方向を軸として回転すれば、足首の回転は直接すねとの連動で発生し、勿論、太ももがすねを連動させ、すねが更に前記足首を連動させることも可能である。
【００９６】
頸部のような連結部については、連結部の回転が顔部向きと胴体向きを決定する。
【００９７】
別の実施例では、前記連結部の種類に応じて前記連結部を制御する制御方式を決定するステップは、前記連結部が第１種の連結部であれば、第１種の制御方式を使用すると決定するステップであって、前記第１種の制御方式は前記被制御モデルにおける前記第１種の連結部に対応する連結部の運動を直接的に制御するために用いられるステップを含む。
【００９８】
いくつかの実施例では、前記第１種の連結部は他の局所と連動せず、自ら回転する。
【００９９】
別の実施例では、連結部は、第１種の連結部以外の第２種の連結部を更に含む。ここの第２種の連結部の運動は自体に限定されなく、他の局所と連動する。
【０１００】
いくつかの実施例では、前記連結部の種類に応じて前記連結部を制御する制御方式を決定するステップは、前記連結部が第２種の連結部であれば、第２種の制御方式を使用すると決定するステップであって、前記第２種の制御方式は、前記被制御モデルの前記第２種の連結部以外の局所を制御することで、前記第２種の連結部の運動を間接的に制御するために用いられるステップを含む。
【０１０１】
この第２種の連結部以外の局所は、前記第２種の連結部に直接的に連結される局所、又は、前記第２種の連結部に間接的に連結される局所を含むが、それらに限定されない。
【０１０２】
例えば、手首が横方向に回転している時に、上肢全体が運動していることが可能であり、そのため、肩及び肘部が何れも回転しており、このように、肩及び／又は肘部の横方向回転を制御することで、前記手首を間接的に連動させて回転させることができる。
【０１０３】
いくつかの実施例では、前記制御方式及び前記第２種の運動情報によって被制御モデルの連結部の運動を制御するステップは、前記第２種の制御方式であれば、前記第２種の運動情報を分解して、牽引部が連結部を牽引して回転させる前記連結部の第１種の回転情報を取得するステップと、前記第１種の回転情報によって前記牽引部の運動情報を調整するステップと、前記牽引部の調整後の運動情報に基づいて前記被制御モデルにおける牽引部の運動を制御して前記連結部の運動を間接的に制御するステップと、を含む。
【０１０４】
本実施例では、第１種の回転情報は第２種の連結部の自身の運動で生成する回転情報でなく、第２種の連結部に連結される他の局所（即ち、牽引部）の運動で第２種の連結部が牽引され、目標の特定基準点（例えば、人体中心）に対して第２種の連結部が生成する運動情報である。
【０１０５】
本実施例では、前記牽引部は前記第２種の連結部に直接的に連結される局所である。手首が前記第２種の連結部となることを例とすると、前記牽引部は前記手首の上部の肘ないし肩である。足首が前記第２種の連結部となることを例とすると、前記牽引部は前記足首の上部のひざないし太ももの付け根である。
【０１０６】
手首の肩部、肘、手首の直線方向に沿った横方向回転は、肩部又は肘と連動して発生するものである可能性があり、しかし、運動情報を検出する時に、手首の運動によるものとされ、そのため、手首の横方向回転情報の値を実質的には肘又は肩部に付与すべきであり、このような伝達付与によって肘又は肩部の運動情報の調整が実現され、調整後の運動情報に基づいて被制御モデルにおける肘又は肩部の運動を制御し、そのようにして、肘又は肩部に対応する横方向回転は、画像の効果から言えば、被制御モデルの手首によって体現され、それによって被制御モデルが目標の運動を精確にシミュレートすることを実現した。
【０１０７】
いくつかの実施例では、前記方法は、前記第２種の運動情報を分解して、前記第２種の連結部が前記牽引部に対して回転した第２種の回転情報を取得するステップと、前記第２種の回転情報に基づいて前記被制御モデルの前記連結部の前記牽引部に対する回転を制御するステップと、を更に含む。
【０１０８】
前記第１種の回転情報は、回転情報を抽出する情報モデルによって直接的に画像の特徴から取得される情報であり、第２種の回転情報は、前記第１種の回転情報を調整することで得られる回転情報である。本実施例では、まず第２種の連結部の特徴、例えば、２Ｄ座標又は３Ｄ座標を介して第２種の連結部の特定姿勢に対する運動情報を知ることができ、この運動情報を第２種の運動情報と称する。前記第２種の運動情報は、回転情報を含むが、それに限定されない。
【０１０９】
いくつかの実施例では、前記第２種の連結部は手首、足首を含む。
【０１１０】
別の実施例では、前記第２種の連結部が手首であれば、前記手首に対応する牽引部は下腕及び／又は上腕を含み、及び／又は、前記第２種の連結部が足首であれば、前記足首に対応する牽引部はすね及び／又は太ももを含む。
【０１１１】
いくつかの実施例では、前記第１種の連結部は頭部と胴体をつなぐ頸部を含む。
【０１１２】
更に別の実施例では、前記少なくとも２つの局所の特徴及び前記連結部の第１運動制約条件によって連結部の運動情報を決定するステップは、前記少なくとも２つの局所の特徴によって、前記少なくとも２つの局所の向き情報を決定するステップと、少なくとも２つの局所の向き情報によって、前記連結部の候補向き情報を決定するステップと、前記候補向き情報と前記第１運動制約条件によって、前記連結部の運動情報を決定するステップと、を含む。
【０１１３】
いくつかの実施例では、少なくとも２つの局所の向き情報によって前記連結部の候補向き情報を決定するステップは、少なくとも２つの局所の向き情報によって、前記連結部の第１候補向きと第２候補向きを決定するステップを含む。
【０１１４】
２つの局所の向き情報が２つの夾角を形成することが可能であり、これら２つの夾角が連結部の異なる向きの回転情報に対応するので、これら２つの夾角のそれぞれに対応する向きが共に候補向きとなり、２つの候補向きのうち、連結部の運動の第１運動制約条件を満たすのは１つしかないため、第１運動制約条件の目標の向きによって前記第２種の運動情報を決定する必要がある。本実施例では回転夾角が前記第１運動制約条件を満たした夾角を前記第２種の運動情報とする。
【０１１５】
例えば、顔の向きと胴体の向きによって２つの夾角が形成され、これら２つの夾角の和が１８０度であり、これら２つの夾角をそれぞれ第１夾角と第２夾角とする。顔と胴体をつなぐ頸部は−９０〜９０度の範囲を第１運動制約条件とし、第１運動制約条件によって９０度超の角度が排除される。そのようにして、被制御モデルが目標をシミュレートして運動する過程で、時計回り又は反時計回りに９０度以上、例えば、１２０度、１８０度の回転角度で回転する異常な状況を低減することができる。−９０〜９０度の範囲を前記第１運動制約条件とすれば、この第１運動制約条件は−９０度と９０度の２つの極限角度に対応する。
【０１１６】
回転角度が−９０〜９０度の範囲を超えると、検出された回転角度が第１運動制約条件で限定された最大角度に修正される。例えば、９０度以上の回転角度が検出されると、検出された回転角度がそれに近い極限角度、例えば９０度に修正される。
【０１１７】
いくつかの実施例では、前記候補向き情報と前記第１運動制約条件によって前記連結部の運動情報を決定するステップは、前記第１候補向き情報と第２候補向き情報から向き変更制約範囲内にある目標向き情報を選択するステップと、前記目標向き情報によって前記連結部の運動情報を決定するステップと、を含む。
【０１１８】
例えば、頸部を例とすると、顔部が右に向かっている場合に、対応する頸部の向きは右への９０度又は左への２７０度である可能性があるが、人体の生理学的構造の観点から、人体の頸部向きの変更において左へ２７０度回転させることで頸部を右へ向かわせることが不可能である。この時に、頸部の向きとして、右への９０度及び左への２７０度がいずれも候補向き情報となり、更に前記第１運動制約条件によって頸部の向き情報を決定する必要がある。この例において、右への９０度の頸部を頸部の目標向き情報とし、且つ右への９０度の頸部によって、右へ９０度回転したことを頸部の現在のカメラ座標系に対する第２種の運動情報とする。
【０１１９】
ここの目標向き情報は前記第１運動制約条件を満たした情報である。
【０１２０】
いくつかの実施例では、前記少なくとも２つの局所の特徴によって、前記少なくとも２つの局所の向き情報を決定するステップは、前記少なくとも２つの局所のうちの各局所の第１キーポイントと第２キーポイントを取得するステップと、前記少なくとも２つの局所のうちの各局所の第１基準点を取得するステップであって、前記第１基準点は、前記目標内の特定キーポイントであるステップと、前記第１キーポイントと前記第１基準点に基づいて第１ベクトルを生成するステップと、前記第２キーポイントと前記第１基準点に基づいて第２ベクトルを生成するステップと、前記第１ベクトルと前記第２ベクトルに基づいて前記少なくとも２つの局所のうちの各局所の向き情報を決定するステップと、を含む。
【０１２１】
前記２つの局所のうちの第１局所が人体の肩部であれば、前記第１局所の第１基準点は前記目標の腰部キーポイント又は股間のキーポイントの中点であってよい。前記２つの局所のうちの第２局所が顔であれば、前記第２局所の第１基準点は顔に連結される頸部と肩部の連結点であってよい。
【０１２２】
第１基準点と対応の２つのキーポイントを連結して２つのベクトルを形成し、次にこれら２つのベクトルのクロス積を計算してこれら２つのベクトルの法線ベクトルを取得し、この法線ベクトルの方向を対応局所の向きとしてよい。従って、いくつかの実施例では、前記２つのベクトルに基づいて前記少なくとも２つの局所のうちの各局所の向き情報を決定するステップは、１つの局所の前記第１ベクトルと前記第２ベクトルのクロス積を計算して対応局所所在平面の法線ベクトルを得るステップと、前記法線ベクトルをこの局所の向き情報とするステップと、を含む。
【０１２３】
この法線ベクトルが決定されると、局所の所在する平面の向きが決定される。
【０１２４】
いくつかの実施例では、前記少なくとも２つの局所の運動情報に基づいて前記連結部の前記運動情報を決定するステップは、前記連結部の第２基準点に対する第４の３Ｄ座標を取得するステップと、前記第４の３Ｄ座標によって前記連結部の絶対回転情報を取得するステップと、を含み、前記運動情報によって被制御モデルの対応局所の運動を制御するステップは、前記絶対回転情報に基づいて前記被制御モデルの対応連結部の運動を制御するステップを含む。
【０１２５】
いくつかの実施例では、前記第２基準点は目標のサポートキーポイントのうちの１つであってよく、目標が人間であることを例とすると、この第２基準点は前記第１種の連結部に連結される局所のキーポイントであってよい。例えば、頸部を例とすると、第２基準点は頸部に連結される肩部のキーポイントであってよい。
【０１２６】
別の実施例では、前記第２基準点は前記第１基準点と同じものであってもよく、例えば、第１基準点と第２基準点は共に人体の根ノードであってよく、人体の根ノードは人体股間部の２つのキーポイントの連結線の中点であってよい。この根ノードは図７Ｂに示すキーポイント０を含むが、それに限定されない。図７Ｂは人体の骨格模式図であり、図７Ｂには番号が０−１６の合計１７個の骨格関節点を含む。
【０１２７】
別の実施例では、前記絶対回転情報に基づいて前記被制御モデルの対応連結部の運動を制御するステップは、前記目標における複数の前記連結部同士の牽引階層関係によって前記絶対回転情報を分解して、相対的回転情報を取得するステップと、前記相対的回転情報に基づいて前記被制御モデルの対応連結部の運動を制御するステップと、を更に含む。
【０１２８】
例えば、以下、階層関係の一例を列挙する。第１階層は骨盤、第２階層は腰部、第３階層は太もも（例えば、左太もも、右太もも）、第４階層はすね（例えば、左すね、右すね）、第５階層は足部である。
【０１２９】
更に、以下、階層関係の別の例を列挙する。第１階層は胸、第２階層は頸部、第３階層は頭である。
【０１３０】
更に、以下、階層関係のまた１つの例を列挙する。第１階層は肩部に対応する鎖骨、第２階層は上腕、第３階層は下腕（前腕とも称する）、第４階層は手部である。
【０１３１】
第１階層〜第５階層は、階層関係が順に低くなり、高階層の局所の運動は低階層の局所の運動に影響を及ぼす。従って、牽引部の階層が連結部の階層より高い。
【０１３２】
前記第２種の運動情報を決定する時に、まず、各階層の局所に対応するキーポイントの運動情報を取得し、続いて、階層関係に基づいて、低階層の局所のキーポイントの高階層の局所のキーポイントに対する運動情報（即ち、前記相対的回転情報）を決定する。
【０１３３】
例えば、四元数で運動情報を表し、そのため、相対的回転情報は以下の計算式（１）で表してよく、各キーポイントのカメラ座標系に対する回転四元数｛Ｑ０，Ｑ１，…，Ｑ１８｝を計算し、続いて、各キーポイントの親キーポイントに対する回転四元数ｑｉを計算する。
ｑｉ＝Ｑ−１ｐａｒｅｎｔ（ｉ）・Ｑｉ                                  （１）
親キーポイントｐａｒｅｎｔ（ｉ）は現在キーポイントｉの前の階層のキーポイントである。Ｑｉは現在キーポイントｉのカメラ座標系に対する回転四元数であり、Ｑ−１ｐａｒｅｎｔ（ｉ）は前の階層のキーポイントの逆回転パラメータである。例えば、Ｑｐａｒｅｎｔ（ｉ）が前の階層のキーポイントの回転パラメータであり、且つ回転角度が９０度であり、そのようにＱ−１ｐａｒｅｎｔ（ｉ）の回転角度が−９０度である。
【０１３４】
いくつかの実施例では、前記絶対回転情報に基づいて前記被制御モデルの対応連結部の運動を制御するステップは、第２制約条件によって前記相対的回転情報を補正するステップを更に含み、前記相対的回転情報に基づいて前記被制御モデルの対応連結部の運動を制御するステップは、補正後の前記相対的回転情報に基づいて前記被制御モデルの対応連結部の運動を制御するステップを含む。
【０１３５】
いくつかの実施例では、前記第２制約条件は、前記連結部の回転可能角度を含む。
【０１３６】
いくつかの実施例では、前記方法は、前記第２種の運動情報に対して姿勢欠陥補正を行って補正後の第２種の運動情報を取得するステップを更に含み、前記第２種の運動情報によって前記被制御モデルの連結部の運動を制御する前記ステップは、前記補正後の第２種の運動情報に基づいて前記被制御モデルの連結部の運動を制御するステップを含む。
【０１３７】
例えば、形体があまり標準的ではない問題、歩く時に違和感がある問題等が存在するユーザがいる。被制御モデルが直接模倣しておかしい動作をする等の現象を低減するために、本実施例では、第２種の運動情報に対して姿勢欠陥補正を行って補正後の第２種の運動情報を取得してもよい。
【０１３８】
いくつかの実施例では、前記方法は、前記第１種の運動情報に対して姿勢欠陥補正を行って補正後の第１種の運動情報を取得するステップを更に含み、前記ステップＳ１４０は、前記補正後の第１種の運動情報に基づいて前記被制御モデルの対応局所の運動を制御するステップを含んでよい。
【０１３９】
いくつかの実施例では、前記姿勢欠陥補正は、上肢と下肢の方向が一致した欠陥、がに股運動欠陥、足部を外股にした運動欠陥、足部を内股にした運動欠陥の中の少なくとも一項を含む。
【０１４０】
いくつかの実施例では、前記方法は、前記目標の形体と基準形体との間の相違情報によって、前記姿勢欠陥補正パラメータを取得するステップであって、前記姿勢欠陥補正パラメータは、前記第１種の運動情報及び／又は第２種の運動情報を補正するために用いられるステップを更に含む。
【０１４１】
例えば、目標を含む画像を用いて前記被制御モデルを制御する前に、先に前記目標の形体を検出し、続いて検出された形体を基準形体と比較して相違情報を得、相違情報に基づいて姿勢欠陥補正を行う。
【０１４２】
特定姿勢を保持するプロンプトを表示画面に出力し、ユーザが前記プロンプトを見た後、前記特定姿勢を保持し、そのようにして画像デバイスが特定姿勢を維持したユーザの画像を取得でき、続いて画像検出によってユーザの維持した特定姿勢が十分に標準的なものであるか否かを決定して、前記相違情報を得る。この特定姿勢は、人体の直立姿勢を含んでよいが、それに限定されない。
【０１４３】
例えば、足部を外股にする人がいるが、正常な標準的立ち姿勢は両足のつま先とかかの連結線が互に平行するようになるはずであり、目標の特徴に対応する第１種の運動情報及び／又は第２種の運動情報を取得して被制御モデルを制御する時に、このような形体への非標準補正（即ち、前記姿勢欠陥補正）を考えられる。
【０１４４】
別の実施例では、前記方法は、前記目標の別々の局所の割合関係によって基準モデルの別々の局所の割合を補正して、補正後の前記被制御モデルを取得するステップを更に含む。
【０１４５】
別々の目標の各部分の割合関係は相違することがある。例えば、人間を例とすると、プロのファッションモデルの脚長と頭長の割合は普通の人より長い。更に、臀部がふくよかで、股間の幅が普通の人より大きい人がいる。
【０１４６】
基準モデルは大規模の人体データに基づいて得られた平均値モデルであってよく、被制御モデルが目標の運動をより精確にシミュレートすることができるように、本実施例では、目標の別々の局所の割合関係によって基準モデルの別々の局所の割合を補正して、補正後の前記被制御モデルを取得する。例えば、目標が人間であることを例とすると、補正される局所は、股間部及び／又は脚部を含むが、それらに限定されない。
【０１４７】
図３Ａ、図３Ｂ及び図３Ｃに示すように、画像左上角の小さい画像は取得された画像であり、右下角は人体の被制御モデルである。図３Ａから図３Ｂへ、次に図３Ｂから図３Ｃへ、このユーザの手部は動かしており、被制御モデルの手もそれに伴って動かしている。ユーザの手部運動は、図３Ａ〜図３Ｃにおいて、順に拳を握り、手のひらを広げ、人差し指を伸ばすように変化し、被制御モデルは、ユーザのジェスチャーをシミュレートして、拳を握り、手のひらを広げ、人差し指を伸ばすように変化する。
【０１４８】
図４Ａ、図４Ｂ及び図４Ｃに示すように、画像左上角の小さい画像は取得された画像であり、右下角は人体の被制御モデルである。図４Ａから図４Ｂへ、次に図４Ｂから図４Ｃへ、このユーザの胴体は動かしており、被制御モデルの胴体もそれに伴って動かしている。図４Ａから図４Ｃへ、ユーザは、股間を画像の右へ突き出し、股間を画像の左へ突き出し、最後にまっすぐに立つように変化する。被制御モデルもユーザをシミュレートして胴体運動をする。
【０１４９】
図５Ａ、図５Ｂ及び図５Ｃに示すように、画像左上角の小さい画像は取得された画像であり、右下角は人体の被制御モデルである。図５Ａから図５Ｃへ、ユーザは画像右側へ足を踏み出し、画像の左側へ足を踏み出し、最後にまっすぐに立ち、被制御モデルもユーザをシミュレートして足部運動をする。
【０１５０】
なお、図４Ａ〜図４Ｃにおいて、被制御モデルは更にユーザの表情の変化をもシミュレートする。
【０１５１】
図６に示すように、本実施例は、以下のモジュールが含まれる画像処理装置を提供する。
第１取得モジュール１１０は、画像を取得する。
第２取得モジュール１２０は、前記画像に基づいて目標の局所の特徴を取得する。
第１決定モジュール１３０は、前記特徴に基づいて前記局所の運動情報を決定する。
制御モジュール１４０は、前記運動情報によって被制御モデルの対応局所の運動を制御する。
【０１５２】
いくつかの実施例では、前記第２取得モジュール１２０は、具体的には、前記画像に基づいて前記目標の第１種局所の第１種特徴を取得し、及び／又は、前記画像に基づいて前記目標の第２種局所の第２種特徴を取得するために用いられる。
【０１５３】
いくつかの実施例では、前記第２取得モジュール１２０は、具体的には、前記画像に基づいて頭部の表情特徴及び前記表情特徴の強度係数を取得するために用いられる。
【０１５４】
いくつかの実施例では、前記画像に基づいて前記表情特徴の前記強度係数を取得とき、前記第２取得モジュールは、具体的には、前記画像に基づいて前記第１種局所のうちの各サブ局所を表す強度係数を取得するために用いられる。
【０１５５】
いくつかの実施例では、前記第１決定モジュール１３０は、具体的には、前記表情特徴と前記強度係数に基づいて前記頭部の運動情報を決定するために用いられ、前記制御モジュール１４０は、具体的には、前記頭部の前記運動情報によって前記被制御モデルの頭部の表情変化を制御するために用いられる。
【０１５６】
いくつかの実施例では、前記第２取得モジュール１２０は、前記画像に基づいて前記第１種局所のメッシュ情報を取得するために用いられる。
【０１５７】
いくつかの実施例では、前記第２取得モジュール１２０は、具体的には、画像に基づいて第１種局所のうちの各サブ局所を表す強度係数を取得するために用いられる。
【０１５８】
いくつかの実施例では、前記第２取得モジュール１２０は、具体的には、前記画像に基づいて前記目標の第２種局所のキーポイントの位置情報を取得するために用いられ、前記第１決定モジュール１３０は、具体的には、前記位置情報に基づいて前記第２種局所の運動情報を決定するために用いられる。
【０１５９】
いくつかの実施例では、前記第２取得モジュール１２０は、具体的には、前記画像に基づいて前記目標の第２種局所のサポートキーポイントの第１座標を取得するステップと、前記第１座標に基づいて第２座標を取得するステップとに用いられる。
【０１６０】
いくつかの実施例では、前記第２取得モジュール１２０は、具体的には、２Ｄ画像に基づいて前記第２種局所のサポートキーポイントの第１の２Ｄ座標を取得し、前記第１の２Ｄ座標と２Ｄ座標から３Ｄ座標への変換関係に基づいて前記第１の２Ｄ座標に対応する第１の３Ｄ座標を取得するために用いられる。
【０１６１】
いくつかの実施例では、前記第２取得モジュール１２０は、具体的には、３Ｄ画像に基づいて前記目標の第２種局所のサポートキーポイントの第２の３Ｄ座標を取得し、前記第２の３Ｄ座標に基づいて第３の３Ｄ座標を取得するために用いられる。
【０１６２】
いくつかの実施例では、前記第２取得モジュール１２０は、具体的には、前記第２の３Ｄ座標に基づいて、前記３Ｄ画像での第２種局所の遮られた部分に対応するサポートキーポイントの３Ｄ座標を補正して、前記第３の３Ｄ座標を取得するために用いられる。
【０１６３】
いくつかの実施例では、前記第１決定モジュール１３０は、具体的には、前記位置情報に基づいて前記第２種局所の四元数を決定するために用いられる。
【０１６４】
いくつかの実施例では、前記第２取得モジュール１２０は、具体的には、前記第２種局所のうちの第１局所のサポートキーポイントの第１位置情報を取得し、前記第２種局所のうちの第２局所のサポートキーポイントの第２位置情報を取得するために用いられる。
【０１６５】
いくつかの実施例では、前記第１決定モジュール１３０は、具体的には、前記第１位置情報によって前記第１局所の運動情報を決定し、前記第２位置情報によって前記第２局所の運動情報を決定するために用いられる。
【０１６６】
いくつかの実施例では、前記制御モジュール１４０は、具体的には、前記第１局所の運動情報によって前記被制御モデルの前記第１局所に対応する局所の運動を制御し、前記第２局所の運動情報によって前記被制御モデルの前記第２局所に対応する局所の運動を制御するために用いられる。
【０１６７】
いくつかの実施例では、前記第１局所は胴体であり、前記第２局所は上肢、下肢又は四肢である。
【０１６８】
以下、上記の任意の実施例に基づいていくつかの具体的な例を列挙する。
（例１）
【０１６９】
本実例は画像処理方法を提供し、この方法のステップは以下のとおりである。
【０１７０】
目標を含む画像を取得し、当該目標は、人体を含むが、それに限定されない。
【０１７１】
顔面の輪郭キーポイントであってよい人体の顔部キーポイントを検出する。
【０１７２】
人体の胴体キーポイント及び／又は肢体キーポイントを検出し、ここの胴体キーポイント及び／又は肢体キーポイントは共に３Ｄ座標で表される３Ｄキーポイントであってよい。この３Ｄ標は、２Ｄ画像から２Ｄ座標を検出してから２Ｄ座標を３Ｄ座標に変換する変換アルゴリズムに基づいて取得した３Ｄ座標を含んでよい。この３Ｄ座標は、更に、３Ｄカメラで取得した３Ｄ画像から抽出された３Ｄ座標であってよい。ここの肢体キーポイントは上肢キーポイント及び／又は下肢キーポイントを含んでよい。手部を例とすると、この上肢キーポイントの手部キーポイントは、手首関節のキーポイント、掌関節のキーポイント、指関節のキーポイント、指先キーポイントを含むが、それらに限定されなく、これらのキーポイントの位置は手部と手の指の運動を反映できる。
【０１７３】
顔キーポイントによって顔のメッシュ（ｍｅｓｈ）情報を生成する。ｍｅｓｈ情報に基づいて前記目標の現在の表情に対応するベース表情を選択し、このベース表情によって前記被制御モデルの表情を制御し、ｍｅｓｈ情報の反映する強度係数によって被制御モデルの各ベース表情に対応する表情強度を制御する。
【０１７４】
前記胴体キーポイント及び／又は肢体キーポイントによって四元数に変換する。胴体キーポイントに対応する四元数によって被制御モデルの胴体運動を制御し、及び／又は、肢体キーポイントに対応する四元数によって被制御モデルの肢体運動を制御する。
【０１７５】
例えば、前記顔部キーポイントは、１０６個のキーポイントを含んでよい。前記胴体キーポイント及び／又は肢体キーポイントは、具体的には図７Ａと図７Ｂに示すように、１４個のキーポイント又は１７個のキーポイントを含んでよい。図７Ａに１４個の骨格キーポイントを含む模式図を示し、図７Ｂに１７個の骨格キーポイントを含む模式図を示す。
【０１７６】
図７Ｂは図７Ａに示す１４個のキーポイントに基づいて生成した１７個のキーポイントの模式図であってよい。図７Ｂにおける１７個のキーポイントは、図７Ａに示すキーポイントにキーポイント０、キーポイント７及びキーポイント９が追加されたものである。ここで、キーポイント９の２Ｄ座標はキーポイント８及びキーポイント１０の２Ｄ座標に基づいて一応決定されてよく、キーポイント７の２Ｄ座標はキーポイント８の２Ｄ座標及びキーポイント０の２Ｄ座標によって決定されてよい。キーポイント０は本開示の実施例で提供される基準点となってよく、この基準点を前記の第１基準点及び／又は第２基準点としてよい。
【０１７７】
この例における前記被制御モデルは、ゲームシーンでのゲームキャラクター、オンライン授業シーンでのオンライン教育動画における教師モデル、仮想キャス主シーンでの仮想キャス主であってよい。要するに、前記被制御モデルは適用シーンに応じて決定され、適用シーンによっては、被制御モデルのモデルが異なり及び／又は外観が異なる。
【０１７８】
例えば、伝統的な数学、物理等の授業で、教師モデルの服装として、例えばスーツ等の穏やかで落ち着くように見える服装を採用する傾向がある。更に例を挙げると、ゆが又は体操等の運動の授業で、被制御モデルがスポーツウェアを着用する傾向がある。
（例２）
【０１７９】
本実例は画像処理方法を提供し、この方法のステップは以下のとおりである。
【０１８０】
目標を含む画像を取得し、当該目標は、人体を含むが、それ限定されない。
【０１８１】
人体の胴体キーポイントと肢体キーポイントを検出し、ここの胴体キーポイント及び／又は肢体キーポイントは共に３Ｄ座標で表される３Ｄキーポイントであってよい。この３Ｄ座標は、２Ｄ画像から２Ｄ座標を検出してから２Ｄ座標を３Ｄ座標に変換する変換アルゴリズムに基づいて取得した３Ｄ座標を含んでよい。この３Ｄ座標は、更に、３Ｄカメラで取得した３Ｄ画像から抽出された３Ｄ座標であってよい。ここの肢体キーポイントは、上肢キーポイント及び／又は下肢キーポイントを含んでよい。手部を例とすると、この上肢キーポイントの手部キーポイントは、手首関節のキーポイント、掌関節のキーポイント、指関節のキーポイント、指先キーポイントを含むが、それらに限定されない。これらのキーポイントの位置は手部と手の指の運動を反映できる。
【０１８２】
胴体キーポイントを、胴体運動を表す四元数に変換し、この四元数を胴体四元数と称してよい。肢体キーポイントを肢体運動を表す四元数に変換し、この四元数を肢体四元数と称してよい。
【０１８３】
胴体四元数を用いて被制御モデルの胴体運動を制御する。肢体四元数を用いて被制御モデルの肢体運動を制御する。
【０１８４】
前記胴体キーポイントと肢体キーポイントは、具体的には図７Ａと図７Ｂに示すように、１４個のキーポイント又は１７個のキーポイントを含んでよい。
【０１８５】
この例における前記被制御モデルは、ゲームシーンでのゲームキャラクター、オンライン授業シーンでのオンライン教育動画における教師モデル、仮想キャス主シーンでの仮想キャス主であってよい。要するに、前記被制御モデルは適用シーンに応じて決定され、適用シーンによっては、被制御モデルのモデルが異なり及び／又は外観が異なる。
【０１８６】
例えば、伝統的な数学、物理等の授業で、教師モデルの服装として、例えばスーツ等の穏やかで落ち着くように見える服装を採用する傾向がある。更に例を挙げると、ゆが又は体操等の運動の授業で、被制御モデルがスポーツウェアを着用する傾向がある。
（例３）
【０１８７】
この例は画像処理方法を提供し、この方法のステップは以下のとおりである。
【０１８８】
目標を含む画像を取得し、当該目標は、人体であってよい。
【０１８９】
前記画像から目標の３次元空間での３Ｄ姿勢を取得し、この３Ｄ姿勢は人体の骨格キーポイントの３Ｄ座標で表してよい。
【０１９０】
人体の関節のカメラ座標系での絶対回転パラメータを取得し、この絶対回転位置はカメラ座標系での座標に基づいて決定されてよい。
【０１９１】
この座標によって関節の座標方向を取得する。階層関係に基づいて関節の相対的回転パラメータを決定する。前記相対的パラメータを決定するステップは、具体的には、関節キーポイントの人体の根ノードに対する位置を決定するステップを含んでよい。ここで、この相対的回転パラメータは四元数で表してよい。ここの階層関係は、関節同士の牽引関係であってよく、例えば、肘関節の運動は所定の程度で手首関節の運動を牽引し、肩関節の運動も肘関節の運動を牽引する等のことがある。前記階層関係は、人体の関節に応じて事前に決定されてよい。
【０１９２】
この四元数を用いて被制御モデルの回転を制御する。
【０１９３】
例えば、以下、階層関係の一例を列挙する。第１階層は骨盤、第２階層は腰部、第３階層は太もも（例えば、左太もも、右太もも）、第４階層はすね（例えば、左すね、右すね）、第５階層は足部である。
【０１９４】
更に、以下、階層関係の別の例を列挙する。第１階層は胸、第２階層は頸部、第３階層は頭である。
【０１９５】
更に、以下、階層関係のまた１つの例を列挙する。第１階層は肩部に対応する鎖骨、；第２階層は上腕、第３階層は下腕（前腕とも称する）、第４階層は手部である。
【０１９６】
第１階層〜第５階層は、階層関係が順に低くなり、高階層の局所の運動は低階層の局所の運動に影響を及ぼす。従って、牽引部の階層が連結部の階層より高い。
【０１９７】
前記第２種の運動情報を決定する時に、まず、各階層の局所のキーポイントの運動情報を取得し、続いて、階層関係に基づいて、低階層の局所のキーポイントの高階層のキーポイントの局所に対する運動情報（即ち、前記相対的回転情報）を決定する。
【０１９８】
例えば、四元数で運動情報を表し、そのため、相対的回転情報は以下の計算式で表してよく、各キーポイントのカメラ座標系に対する回転四元数｛Ｑ０，Ｑ１，…，Ｑ１８｝を計算し、続いて式（１）によって各キーポイントの親キーポイントに対する回転四元数ｑｉを計算する。
【０１９９】
四元数を用いて被制御モデルの各関節の運動を制御する前記ステップは、ｑｉを用いて被制御モデルの各関節の運動を制御するステップを含んでよい。
【０２００】
更なる画像処理方法では、前記方法は、前記四元数を第１オイラー角に変換するステップと、第１オイラー角を変換して、制約条件内にある第２オイラー角を得るステップであって、当該制約条件は、第１オイラー角を角度制約することが可であるステップと、第２オイラー角に対応する四元数を取得してから、この四元数を用いて前記被制御モデルの回転を制御するステップと、を更に含む。第２オイラー角に対応する四元数を取得する場合に、この第２オイラー角を直接四元数に変換してよい。
【０２０１】
人体を例として説明すると、人体検出によって１７個の関節のキーポイントを検出可能であり、更に、左の手と右の手に対応するように２つのキーポイントが設置されており、合計１９個のキーポイントがある。図７Ｂは１７個のキーポイントの骨格模式図である。図８は１９個のキーポイントの骨格模式図である。図８に示す骨格がそれぞれ骨盤、腰部、左太もも、左すね、左足、右太もも、右すね、右足、胸部、頸部、頭部、左鎖骨、右鎖骨、右上腕、右下腕、右手部、左上腕、左下腕、左手を表す１９個のキーポイントに対応するものであってよい。
【０２０２】
まず、画像における人体関節のキーポイントの検出によって画像座標系での１７個のキーポイントの座標を取得可能であり、具体可的には、Ｓ＝｛（ｘ０，ｙ０，ｚ０），…，（ｘ１６，ｙ１６，ｚ１６）｝になる。（ｘｉ，ｙｉ，ｚｉ）はｉ番目のキーポイントの座標であり、ｉの値として０〜１６を取ってもよい。
【０２０３】
１９個の関節のキーポイントのそれぞれの局所座標系での座標がＡ＝｛（ｐ０，ｑ０），…，（ｐ１８，ｑ１８）｝と定義されてよい。ｐｉはノードｉの局所座標系での３次元座標を表し、一般的には元のモデルに固有の固定値であり、修正や移行を要さない。ｑｉは、四元数であり、ノードｉが制御する骨のその親ノード座標系での回転を表し、現在ノードの局所座標系と親ノード局所座標系の回転と見なしてもよい。
【０２０４】
各関節に対応するキーポイントの四元数を計算する手順は以下のようになってもよい。各ノードの局所座標系の座標軸方向を決定する。各骨については、具体的に図９に示すように、子ノードから親ノードに向かう方向をｘ軸とし、この骨の回転可能角度を最も大きくする回転軸をｚ軸とし、回転軸を判断できなければ、人体の顔が向く方向をｙ軸とする。
【０２０５】
この例では左手座標系を例として説明したが、具体的に実施する時に右手座標系を利用してもよい。
【表１】
2021525431.tif 000003
【０２０６】
以上の表において、（ｉ−ｊ）はｉからｊに向かうベクトルを表し、ｘはクロス積の計算を表す。例えば、（１−７）は第１キーポイントから第７キーポイントに向かうベクトルを表す。
【０２０７】
以上の表において、ノード８、１５、１１及び１８は手と足の４つのノードであり、こられ４つのノードの四元数は具体的な姿勢の場合にしか計算できないので、この表にこれら４つのノードを含まない。なお、以上の表では、１９個の骨格ノード番号は図８を参照してよく、１７個の骨格キーポイント番号は図７Ｂを参照してよい。
【０２０８】
前記第１オイラー角を求める手順は以下のようになってもよい。
【０２０９】
関節点局所回転四元数ｑｉを算出した後、まず、それをｘ−ｙ−ｚのデフォルト順序でオイラー角に変換する。
【０２１０】
ｑｉ＝（ｑ０，ｑ１，ｑ２，ｑ３）とし、ｑ０が実数部分であり、ｑ１，ｑ２，ｑ３がいずれも虚数部分である。そのため、オイラー角の計算式は（２）−（４）に示すようになる。
Ｘ＝ａｔａｎ２（２＊（ｑ０＊ｑ１−ｑ２＊ｑ３），１−２＊（ｑ１＊ｑ１＋ｑ２＊ｑ２））      （２）
Ｙ＝ａｓｉｎ（２＊（ｑ１＊ｑ３＋ｑ０＊ｑ２））であり、且つＹの値として−１〜１を取る    （３）
Ｚ＝ａｔａｎ２（２＊（ｑ０＊ｑ３−ｑ１＊ｑ２），１−２＊（ｑ２＊ｑ２＋ｑ３＊ｑ３））      （４）
Ｘが第１方向でのオイラー角であり、Ｙが第２方向でのオイラー角であり、Ｚが第３方向でのオイラー角である。第１方向、第２方向及び第３方向のうちの任意２つのものが垂直である。
【０２１１】
続いて、制限範囲を超えた場合に、境界値に限定して、補正後の第２オイラー角（Ｘ’，Ｙ’，Ｚ’）を得るように、（Ｘ，Ｙ，Ｚ）の３つの角度を制限してもよい。新しい局所座標系回転四元数ｑｉ’に回復する。
【０２１２】
別の更なる画像処理方法では、前記方法は、第２オイラー角に対して姿勢最適化調整を行うステップを更に含む。例えば、第２オイラー角中のある角度を調整する場合に、事前に設定された規則に基づいて、姿勢が最適化されたオイラー角に調整して第３オイラー角を得るようにしてよい。そのように、第２オイラー角に対応する四元数を取得するステップは、第３オイラー角を、被制御モデルを制御する四元数に変換するステップを含んでよい。
【０２１３】
更に別の更な画像処理方法では、前記方法は、第２オイラー角を四元数に変換した後、変換後の四元数に対して姿勢最適化処理を行うステップを更に含む。例えば、特定規則に基づいて調整して、調整後の四元数を得、最終的な調整後の四元数によって前記被制御モデルを制御する。
【０２１４】
いくつかの実施例では、第２オイラー角又は第２オイラー角を変換して得られた四元数を調整する時に、特定規則に基づいて調整してもよく、深層学習モデルが自ら最適化調整してもよく、具体的な実施形態は様々あり、本願で限定されない。
【０２１５】
なお、また１つの画像処理方法では、前処理を更に含んでもよい。例えば、取得された人体のサイズによって、被制御モデルの股間部及び／又は肩部の幅を修正して、人体の姿勢全体を補正する。人体の立ち姿勢については、まっすぐに立った場合の補正、小腹を張った場合の補正を行って良い。立っている時に小腹を張る人がいて、小腹を張った場合の補正によって、被制御モデルはユーザが小腹を張っている動作をシミュレートすることがない。立っている時に背中を曲げる人がいて、背中を曲げた場合の補正によって、被制御モデルはユーザが背中を曲げている動作等をシミュレートすることがない。
（例４）
【０２１６】
この例は画像処理方法を提供し、この方法のステップは以下のとおりである。
【０２１７】
目標を含む画像を取得し、当該目標は、人体、人体の上肢、人体の下肢の少なくとも１つを含んでよい。
【０２１８】
目標関節の画像座標系での位置情報によって目標関節の座標系を取得する。肢体局所の画像座標系での位置情報に基づいて、目標関節の運動を牽引する肢体局所の座標系を取得する。
【０２１９】
前記目標関節の座標系と肢体局所の座標系に基づいて目標関節の肢体局所に対する回転を決定して、目標関節の自身回転パラメータと肢体局所に牽引される回転パラメータを含む回転パラメータを得る。
【０２２０】
第１角度制約によって肢体局所に牽引される回転パラメータを制約して、最終牽引回転パラメータを得る。最終牽引回転パラメータによって、肢体局所の回転パラメータを補正する。肢体局所の座標系と肢体局所の補正後の回転パラメータによって相対的回転パラメータを取得し、相対的回転パラメータに対して第２角度制約を行って、制約された相対的回転パラメータを得る。
【０２２１】
制約された回転パラメータに基づいて四元数を取得する。この四元数によって被制御モデルの目標関節の運動を制御する。
【０２２２】
例えば、人体の上肢を処理する時に、画像座標系での手部の座標系を取得し、且つ前腕の座標系及び上腕の座標系を取得する。この時の目標関節は手首関節である。手部の前腕に対する回転を自身回転と牽引される回転に分解する。牽引される回転を前腕に伝達し、具体的には、例えば、牽引される回転の値を前腕対応方向の回転に付与し、前腕の第１角度制約によって前腕の最大回転を制約する。続いて、手部の補正後の前腕に対する回転を決定して相対的回転パラメータを得る。この相対的回転パラメータに対して第２角度制約を行って、手部の前腕に対する回転を得る。
【０２２３】
人体の下肢を処理する時に、画像座標系での足部の座標系を取得し、且つすねの座標系及び太ももの座標系を取得し、この時の目標関節は足首関節である。足部のすねに対する回転を自身回転と牽引される回転に分解する。牽引される回転をすねに伝達し、具体的には、例えば、牽引される回転の値をすね対応方向の回転に付与し、すねの第１角度制約によってすねの最大回転を限制する。続いて、足部の補正後のすねに対する回転を決定して相対的回転パラメータを得る。この相対的回転パラメータに対して第２角度制約を行って、足部のすねに対する回転を得る。
（例５）
【０２２４】
頸部は頭の向きを制御するものであり、顔、体、手はそれぞれ独立した部分であり、最終的に一体になり、頸部の回転が非常に重要である。
【０２２５】
人体のキーポイントによって人体の向きを算出できる。顔キーポイントによって顔の向きを算出でき、これら２つの向きの相対的位置が頸部の回転角度となる。連結部の角度問題を解決するために、相対的計算を行う。例えば、体が０度、顔が９０度であり、被制御モデルを制御するには、それは局所角度、頭及び体の角度変化しかに注目せず、被制御モデルの頸部の角度を算出する必要があり、それによって被制御モデルの頭を制御できる。
【０２２６】
この例では、まず、画像に基づいてユーザの現在の顔部の向き決定し、続いて、頸部の回転角度を計算する。頸部が所定範囲内で回転し、例えば、頸部が最も多く９０度回転可能であるとする。算出された回転角度がこの範囲（−９０度〜９０度）を超えた場合に、範囲の境界を頸部の回転角度（例えば、−９０度又は９０度）とする。
【０２２７】
３Ｄキーポイントで体又は顔部の向きを計算してもよく、具体的には、顔部又は体の所在する平面内の１本の直線に存在しない２つのベクトルのクロス積を計算してこの平面の法線ベクトルを得、この法線ベクトルを顔部又は体の向きとするように、向きを計算してもよい。この向きを体と顔部との間の連結部（頸部）の向きとしてもよい。
【０２２８】
図１０に示すように、本願の実施例は、情報を記憶するためのメモリ１００２と、前記メモリ１００２に接続され、前記メモリ１００２に記憶されているコンピュータ実行可能なコマンドを実行することで前記１つ又は複数の技術的解決手段で提供された画像処理方法、例えば、図１及び／又は図２に示す画像処理方法を実現可能であるプロセッサ１００１と、を含む画像デバイスを提供する。
【０２２９】
このメモリ１００２は、ランダムアクセスメモリ、読み出し専用メモリ、フラッシュメモリ等のような様々なメモリであってよい。前記メモリ１００２は、例えば、コンピュータ実行可能なコマンド等の情報を記憶するために用いてよい。前記コンピュータ実行可能なコマンドは、例えば、目標プログラムコマンド及び／又はソースプログラムコマンド等のような様々なプログラムコマンドであってよい。
【０２３０】
前記プロセッサ１００１は、例えば、中央処理装置、マイクロプロセッサ、デジタル信号プロセッサ、プログラマブルアレイ、デジタル信号プロセッサ、特定用途向け集積回路又は画像プロセッサ等の様々なプロセッサであってよい。
【０２３１】
前記プロセッサ１００１はバスを介して前記メモリ１００２に接続されてよい。前記バスは、集積回路バス等であってよい。
【０２３２】
ある実施例では、前記端末装置は、更に、ネットワークインターフェイス１００３、例えば、ローカルネットワークインターフェイス、送受信アンテナ等を含む通信インターフェイスを含んでよい。前記通信インターフェイスは同様に前記プロセッサ１００１に接続され、情報送受信を実行可能である。
【０２３３】
ある実施例では、前記端末装置は、例えば、キーボード、タッチパネル等の各種の入出力装置を含むマンマシンインターフェイス１００５を更に含む。
【０２３４】
ある実施例では、前記画像デバイスは、各種プロンプト、取得された顔画像及び／又は各種画面を表示可能な表示器１００４を更に含む。
【０２３５】
本願の実施例は、コンピュータ実行可能コードが記憶されているコンピュータ記憶媒体であって、前記コンピュータ実行可能コードが実行されると、前記１つ又は複数の技術的解決手段で提供された画像処理方法、例えば図１及び／又は図２に示す画像処理方法を実現可能である非揮発性コンピュータ記憶媒体を提供する。
【０２３６】
なお、本願が提供するいくつかの実施例では、開示した機器および方法は、他の形態で実現することができることを理解すべきである。以上に記載の機器の実施例は例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際に実現する場合に別の形態で分割してもよく、例えば、複数のユニットまたはコンポーネントは組み合わせてもよいし、または別のシステムに統合してもよいし、または一部の特徴を省略もしくは実行しなくてもよい。また、図示または説明した各構成要素の結合、または直接結合、または通信接続は、いくつかのインターフェイス、機器またはユニットを介した間接結合または通信接続であり得、電気的、機械的または他の形態であり得る。
【０２３７】
別々の部材として前述したユニットは物理的に分離されてもされなくてもよく、ユニットとして示された部材は物理的ユニットであってもなくてもよく、一箇所にあっても複数のネットワークユニットに分散してもよく、本実施例の解決手段の目的を達成するには、実際の必要に応じて一部または全てのユニットを選択することができる。
【０２３８】
また、本開示の各実施例における各機能ユニットは全て一つの処理モジュールに統合されてもよいし、一つのユニットとして別々に使用されてもよいし、二つ以上で一つのユニットに統合されてもよく、上記統合されたユニットはハードウェアの形で、またはハードウェアとソフトウェアを組み合わせた機能ユニットの形で実現され得る。
【０２３９】
当業者であれば、上記各方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完了できることを理解でき、前記プログラムは、携帯型記憶装置、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能非揮発性記憶媒体に記憶可能であり、該プログラムは実行される時に、上記各方法の実施例を含むステップを実行する。
【０２４０】
以上で説明したのは本開示の具体的な実施形態に過ぎず、本開示の保護範囲がそれに限定されるものでなく、本開示に記載された技術範囲内に当業者に容易に想到される変化又は取り替えは、全て本開示の保護範囲に含まれる。従って、本開示の保護範囲は請求項の保護範囲に準ずるべきである。
【図１】
2021525431.tif 000004
【図２】
2021525431.tif 000005
【図３Ａ】
2021525431.tif 000006
【図３Ｂ】
2021525431.tif 000007
【図３Ｃ】
2021525431.tif 000008
【図４Ａ】
2021525431.tif 000009
【図４Ｂ】
2021525431.tif 000010
【図４Ｃ】
2021525431.tif 000011
【図５Ａ】
2021525431.tif 000012
【図５Ｂ】
2021525431.tif 000013
【図５Ｃ】
2021525431.tif 000014
【図６】
2021525431.tif 000015
【図７Ａ】
2021525431.tif 000016
【図７Ｂ】
2021525431.tif 000017
【図８】
2021525431.tif 000018
【図９】
2021525431.tif 000019
【図１０】
2021525431.tif 000020
【手続補正書】
【提出日】令和2年12月1日(2020.12.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像を取得するステップと、
前記画像に基づいて目標の局所の特徴を取得するステップと、
前記特徴に基づいて前記局所の運動情報を決定するステップと、
前記運動情報によって被制御モデルの対応局所の運動を制御するステップと、を含むことを特徴とする画像処理方法。
【請求項２】
前記画像に基づいて前記目標の局所の特徴を取得するステップは、
前記画像に基づいて前記目標の第１種局所の第１種特徴を取得するステップ、及び／又は、
前記画像に基づいて前記目標の第２種局所の第２種特徴を取得するステップと、を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記画像に基づいて前記目標の前記第１種局所の前記第１種特徴を取得するステップは、
前記画像に基づいて頭部の表情特徴及び前記表情特徴の強度係数を取得するステップを含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記画像に基づいて前記表情特徴の前記強度係数を取得するステップは、
前記画像に基づいて前記第１種局所のうちの各サブ局所を表す強度係数を取得するステップを含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記特徴に基づいて前記局所の運動情報を決定するステップは、
前記表情特徴と前記強度係数に基づいて前記頭部の運動情報を決定するステップを含み、
前記運動情報によって前記被制御モデルの前記対応局所の運動を制御するステップは、
前記頭部の前記運動情報によって前記被制御モデルの頭部の表情変化を制御するステップを含むことを特徴とする請求項３又は４に記載の方法。
【請求項６】
前記画像に基づいて前記目標の前記第２種局所の前記第２種特徴を取得するステップは、
前記画像に基づいて前記目標の前記第２種局所のキーポイントの位置情報を取得するステップを含み、
前記特徴に基づいて前記局所の前記運動情報を決定する前記ステップは、
前記位置情報に基づいて前記第２種局所の運動情報を決定するステップを含むことを特徴とする請求項２−５のいずれか一項に記載の方法。
【請求項７】
前記画像に基づいて前記目標の前記第２種局所の前記キーポイントの位置情報を取得するステップは、
前記画像に基づいて前記目標の前記第２種局所のサポートキーポイントの第１座標を取得するステップと、
前記第１座標に基づいて第２座標を取得するステップと、を含むことを特徴とする請求項６に記載の方法。
【請求項８】
前記画像に基づいて前記目標の前記第２種局所の前記サポートキーポイントの第１座標を取得するステップは、
２Ｄ画像に基づいて前記第２種局所の前記サポートキーポイントの第１の２Ｄ座標を取得するステップを含み、
前記第１座標に基づいて前記第２座標を取得するステップは、
前記第１の２Ｄ座標と２Ｄ座標から３Ｄ座標への変換関係に基づいて前記第１の２Ｄ座標に対応する第１の３Ｄ座標を取得するステップを含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記画像に基づいて前記目標の前記第２種局所の前記サポートキーポイントの第１座標を取得するステップは、
３Ｄ画像に基づいて前記目標の前記第２種局所の前記サポートキーポイントの第２の３Ｄ座標を取得するステップを含み、
前記第１座標に基づいて前記第２座標を取得するステップは、
前記第２の３Ｄ座標に基づいて第３の３Ｄ座標を取得するステップを含むことを特徴とする請求項７に記載の方法。
【請求項１０】
前記第２の３Ｄ座標に基づいて前記第３の３Ｄ座標を取得するステップは、
前記第２の３Ｄ座標に基づいて、前記３Ｄ画像での前記第２種局所の遮られた部分に対応するサポートキーポイントの３Ｄ座標を補正して、前記第３の３Ｄ座標を取得するステップを含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記位置情報に基づいて前記第２種局所の運動情報を決定するステップは、
前記位置情報に基づいて前記第２種局所の四元数を決定するステップを含むことを特徴とする請求項６に記載の方法。
【請求項１２】
前記画像に基づいて前記目標の前記第２種局所の前記キーポイントの位置情報を取得するステップは、
前記第２種局所のうちの第１局所のサポートキーポイントの第１位置情報を取得するステップと、
前記第２種局所のうちの第２局所のサポートキーポイントの第２位置情報を取得するステップと、を含むことを特徴とする請求項６に記載の方法。
【請求項１３】
前記位置情報に基づいて前記第２種局所の運動情報を決定するステップは、
前記第１位置情報によって前記第１局所の運動情報を決定するステップと、
前記第２位置情報によって前記第２局所の運動情報を決定するステップと、を含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
前記運動情報によって前記被制御モデルの前記対応局所の運動を制御するステップは、
前記第１局所の前記運動情報によって前記被制御モデルの前記第１局所に対応する局所の運動を制御するステップと、
前記第２局所の前記運動情報によって前記被制御モデルの前記第２局所に対応する局所の運動を制御するステップと、を含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記第１局所は胴体であり、及び／又は、前記第２局所は上肢、下肢又は四肢であることを特徴とする請求項１２−１４のいずれか一項に記載の方法。
【請求項１６】
画像を取得するための第１取得モジュールと、
前記画像に基づいて目標の局所の特徴を取得するための第２取得モジュールと、
前記特徴に基づいて前記局所の運動情報を決定するための第１決定モジュールと、
前記運動情報によって被制御モデルの対応局所の運動を制御するための制御モジュールと、を含むことを特徴とする画像処理装置。
【請求項１７】
画像デバイスであって、
メモリと、
前記メモリに接続されるプロセッサと、を備え、
前記プロセッサは、前記メモリに記憶されているコンピュータ実行可能なコマンドを実行することで、上記請求項１−１５のいずれか一項により提供される方法を実現することを特徴とする画像デバイス。
【請求項１８】
コンピュータ実行可能なコマンドが記憶されている非揮発性コンピュータ記憶媒体であって、
前記コンピュータ実行可能なコマンドがプロセッサによって実行されると、上記請求項１−１５のいずれか一項により提供される方法が実現されることを特徴とする非揮発性コンピュータ記憶媒体。
【国際調査報告】
2021525431.tif 000021
2021525431.tif 000022
2021525431.tif 000023
2021525431.tif 000024
2021525431.tif 000025
2021525431.tif 000026