(57)【要約】  本開示は、目標対象の動作認識方法、装置及び電子機器を開示する。ここで、前記目標対象の動作認識方法は、画像ソースから目標対象を含む原画像を取得するステップと、前記原画像から前記目標対象を認識するステップと、前記目標対象の複数のキーポイントを検出するステップと、検出されたキーポイントによって、前記キーポイントが遮断されているか否かを示すための前記複数のキーポイントの可視性属性を判断するステップと、前記複数のキーポイントの可視性属性の組合値により前記目標対象の動作を認識するステップと、を含む。本開示は、キーポイントの可視性によって目標対象の動作を判断して、従来技術において複雑な動作を正確に認識できなかったという技術的問題を解決した。
2021531589.tif 000002
【特許請求の範囲】
【請求項１】
画像ソースから目標対象を含む原画像を取得するステップと、
前記原画像から前記目標対象を認識するステップと、
前記目標対象の複数のキーポイントを検出するステップと、
検出されたキーポイントによって、前記キーポイントが遮断されているか否かを示すための前記複数のキーポイントの可視性属性を判断するステップと、
前記複数のキーポイントの可視性属性の組合値により前記目標対象の動作を認識するステップと、を含む目標対象の動作認識方法。
【請求項２】
前記複数のキーポイントの可視性属性の組合値により前記目標対象の動作を認識する前記ステップの後、
前記目標対象の動作が第１動作であるか否かを判断するステップと、
前記目標対象の動作が第１動作であれば、前記第１動作に対応する第１処理によって前記原画像を処理するステップと、を更に含む請求項１に記載の目標対象の動作認識方法。
【請求項３】
前記原画像から前記目標対象を認識する前記ステップには、
原画像の現在画像フレームを取得するステップと、
前記画像フレーム中の画像特徴を抽出して特徴画像を形成するステップと、
前記特徴画像に複数の矩形枠を生成するステップと、
それぞれの矩形枠に含まれる目標対象の画像特徴の数量を判断するステップと、
含む目標対象の画像特徴数量が最も多い矩形枠を出力して目標対象の外接枠とするステップと、を含む請求項１に記載の目標対象の動作認識方法。
【請求項４】
前記目標対象の複数のキーポイントを検出する前記ステップには、
前記認識された目標対象をキーポイント検出モデルに入力するステップと、
前記キーポイント検出モデルがそれぞれのキーポイントの前記原画像での座標を出力するステップと、を含む請求項１に記載の目標対象の動作認識方法。
【請求項５】
検出されたキーポイントによって、前記キーポイントが遮断されているか否かを示すための前記複数のキーポイントの可視性属性を判断する前記ステップには、
複数のキーポイントが検出された目標対象を可視性判断モデルに入力するステップと、
可視性判断モデルが前記複数のキーポイントのそれぞれの可視性確率を出力するステップと、
前記可視性確率を第１閾値と比較して前記可視性属性の値を出力するステップと、を含む請求項１に記載の目標対象の動作認識方法。
【請求項６】
前記複数のキーポイントの可視性属性の組合値により前記目標対象の動作を認識する前記ステップには、
特定動作に対応する、前記複数のキーポイントの可視性属性の組合値の基準値を取得するステップと、
前記可視性属性の組合値を前記基準値と対比するステップと、
前記組合値が前記基準値とマッチング可能であれば、前記基準値に対応する特定動作を出力して認識された目標対象の動作とするステップと、を含む請求項１に記載の目標対象の動作認識方法。
【請求項７】
前記複数のキーポイントの可視性属性の組合値により前記目標対象の動作を認識する前記ステップには、
特定動作に対応する、前記複数のキーポイントの可視性属性の組合値の変化基準値を取得するステップと、
連続した２フレームの画像中の前記複数のキーポイントの可視性属性の２つの組合値を取得するステップと、
前記２つの組合値に基づいて組合値の変化値を計算するステップと、
前記組合値の変化値を前記組合値の変化基準値と対比するステップと、
前記組合値の変化値が前記組合値の変化基準値とマッチング可能であれば、前記変化基準値に対応する特定動作を出力して認識された目標対象の動作とするステップと、を含む請求項１に記載の目標対象の動作認識方法。
【請求項８】
前記目標対象の動作が第１動作であれば、前記第１動作に対応する第１処理によって前記原画像を処理する前記ステップには、
前記目標対象の動作が第１動作であることに応えて、前記第１動作に対応する第１処理及び第１処理のパラメータを取得するステップと、
前記第１処理及び第１処理のパラメータによって原画像を処理して処理後の画像を取得するステップと、を含む請求項２に記載の目標対象の動作認識方法。
【請求項９】
前記第１処理は画像の明るさを低減することであり、前記第１処理のパラメータは明るさの低減百分率であり、前記第１処理及び第１処理のパラメータによって原画像を処理して処理後の画像を取得する前記ステップには、
原画像の各画素のＲＧＢ色空間での３チャンネルの３色成分を取得するステップと、
前記各画素の３色成分からそれぞれ前記百分率の色成分値を引いて処理後の各画素の３色成分値を取得するステップと、を含む請求項８に記載の目標対象の動作認識方法。
【請求項１０】
画像ソースから目標対象を含む原画像を取得するための原画像取得モジュールと、
前記原画像から前記目標対象を認識するための目標対象認識モジュールと、
前記目標対象の複数のキーポイントを検出するためのキーポイント検出モジュールと、
検出されたキーポイントによって、前記キーポイントが遮断されているか否かを示すための前記複数のキーポイントの可視性属性を判断するための可視性判断モジュールと、
前記複数のキーポイントの可視性属性の組合値により前記目標対象の動作を認識するための動作認識モジュールと、を含む目標対象の動作認識装置。
【請求項１１】
コンピュータ可読コマンドを記憶するためのメモリと、
前記コンピュータ可読コマンドを実行し、実行する時に請求項１−９のいずれか一項に記載の目標対象の動作認識方法を実現するためのプロセッサーと、を含む電子機器。
【請求項１２】
コンピュータ可読コマンドを記憶するための非一時的コンピュータ可読記憶媒体であって、前記コンピュータ可読コマンドがコンピュータにより実行されると、前記コンピュータが請求項１−９のいずれか一項に記載の目標対象の動作認識方法を実行する非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１９年４月２９日に提出された、出願番号が２０１９１０３５３５００．６で、発明の名称が「目標対象の動作認識方法、装置及び電子機器」である中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
本開示は、目標認識及び画像処理に関し、特に、目標対象の動作認識方法、装置及び電子機器に関する。
【背景技術】
【０００２】
コンピュータ技術が発展するに伴って、スマート端末の応用範囲が大幅に広がってきており、例えば、スマート端末で音楽を聴いたり、ゲームをしたり、オンラインでチャットしたり、写真を撮ったりすることができる。スマート端末の撮影技術は、撮影画素が１，０００万画素を超えており、高い解像度及びプロのカメラに比べられる撮影効果を有する。
【０００３】
現在、スマート端末を用いて写真を撮る時に、工場出荷時に内蔵した撮影ソフトウェアを用いて伝統的な機能の撮影効果を実現できるだけでなく、ネットワーク側からアプリケーション（Ａｐｐｌｉｃａｔｉｏｎ；ＡＰＰと略称する）をダウンロードすることによって付加機能を有した撮影効果を実現したり、映像に特殊効果を加えたりすることができる。効果を加える前に、ユーザの動作を認識することがある。
【０００４】
従来技術においては、一般的に複数フレーム間の目標対象の状態変化により目標対象の簡単な動作、例えば手のひらの遠近等を判断できるが、そのように単に簡単な状態の変化のみにより目標対象の動作を判断する方式は何らかの比較的複雑な動作を認識できない。
【発明の概要】
【０００５】
本開示の一態様によれば、技術的解決手段として、
画像ソースから目標対象を含む原画像を取得するステップと、前記原画像から前記目標対象を認識するステップと、前記目標対象の複数のキーポイントを検出するステップと、検出されたキーポイントによって、前記キーポイントが遮断されているか否かを示すための前記複数のキーポイントの可視性属性を判断するステップと、前記複数のキーポイントの可視性属性の組合値により前記目標対象の動作を認識するステップと、を含む目標対象の動作認識方法を提供する。
【０００６】
更に、前記複数のキーポイントの可視性属性の組合値により前記目標対象の動作を認識する前記ステップの後、前記目標対象の動作が第１動作であるか否かを判断するステップと、前記目標対象の動作が第１動作であれば、前記第１動作に対応する第１処理によって前記原画像を処理するステップと、を更に含む。
【０００７】
更に、前記原画像から前記目標対象を認識する前記ステップには、原画像の現在画像フレームを取得するステップと、前記画像フレーム中の画像特徴を抽出して特徴画像を形成するステップと、前記特徴画像に複数の矩形枠を生成するステップと、それぞれの矩形枠に含まれる目標対象の画像特徴の数量を判断するステップと、含む目標対象の画像特徴数量が最も多い矩形枠を出力して目標対象の外接枠とするステップと、を含む。
【０００８】
更に、前記目標対象の複数のキーポイントを検出する前記ステップには、前記認識された目標対象をキーポイント検出モデルに入力するステップと、前記キーポイント検出モデルがそれぞれのキーポイントの前記原画像での座標を出力するステップと、を含む。
【０００９】
更に、検出されたキーポイントによって、前記キーポイントが遮断されているか否かを示すための前記複数のキーポイントの可視性属性を判断する前記ステップには、複数のキーポイントが検出された目標対象を可視性判断モデルに入力するステップと、可視性判断モデルが前記複数のキーポイントのそれぞれの可視性確率を出力するステップと、前記可視性確率を第１閾値と比較して前記可視性属性の値を出力するステップと、を含む。
【００１０】
更に、前記複数のキーポイントの可視性属性の組合値により前記目標対象の動作を認識する前記ステップには、特定動作に対応する、前記複数のキーポイントの可視性属性の組合値の基準値を取得するステップと、前記可視性属性の組合値を前記基準値と対比するステップと、前記組合値が前記基準値とマッチング可能であれば、前記基準値に対応する特定動作を出力して認識された目標対象の動作とするステップと、を含む。
【００１１】
更に、前記複数のキーポイントの可視性属性の組合値により前記目標対象の動作を認識する前記ステップには、特定動作に対応する、前記複数のキーポイントの可視性属性の組合値の変化基準値を取得するステップと、連続した２フレームの画像中の前記複数のキーポイントの可視性属性の２つの組合値を取得するステップと、前記２つの組合値に基づいて組合値の変化値を計算するステップと、前記組合値の変化値を前記組合値の変化基準値と対比するステップと、前記組合値の変化値が前記組合値の変化基準値とマッチング可能であれば、前記変化基準値に対応する特定動作を出力して認識された目標対象の動作とするステップと、を含む。
【００１２】
更に、前記目標対象の動作が第１動作であれば、前記第１動作に対応する第１処理によって前記原画像を処理する前記ステップには、前記目標対象の動作が第１動作であることに応えて、前記第１動作に対応する第１処理及び第１処理のパラメータを取得するステップと、前記第１処理及び第１処理のパラメータによって原画像を処理して処理後の画像を取得するステップと、を含む。
【００１３】
更に、前記第１処理は画像の明るさを低減することであり、前記第１処理のパラメータは明るさの低減百分率であり、前記第１処理及び第１処理のパラメータによって原画像を処理して処理後の画像を取得する前記ステップには、原画像の各画素のＲＧＢ色空間での３チャンネルの３色成分を取得するステップと、前記各画素の３色成分からそれぞれ前記百分率の色成分値を引いて処理後の各画素の３色成分値を取得するステップと、を含む。
【００１４】
本開示の別の態様によれば、技術的解決手段として、更に、
画像ソースから目標対象を含む原画像を取得するための原画像取得モジュールと、前記原画像から前記目標対象を認識するための目標対象認識モジュールと、前記目標対象の複数のキーポイントを検出するためのキーポイント検出モジュールと、検出されたキーポイントによって、前記キーポイントが遮断されているか否かを示すための前記複数のキーポイントの可視性属性を判断するための可視性判断モジュールと、前記複数のキーポイントの可視性属性の組合値により前記目標対象の動作を認識するための動作認識モジュールと、を含む目標対象の動作認識装置を提供する。
【００１５】
更に、前記装置は、前記目標対象の動作が第１動作であるか否かを判断するための第１動作判断モジュールと、前記目標対象の動作が第１動作であれば、前記第１動作に対応する第１処理によって前記原画像を処理するための第１処理モジュールと、を更に含む。
【００１６】
更に、前記目標対象認識モジュールは、原画像の現在画像フレームを取得するための画像フレーム取得モジュールと、前記画像フレーム中の画像特徴を抽出して特徴画像を形成するための特徴抽出モジュールと、前記特徴画像に複数の矩形枠を生成するための矩形枠生成モジュールと、それぞれの矩形枠に含まれる目標対象の画像特徴の数量を判断するための数量判断モジュールと、含む目標対象の画像特徴数量が最も多い矩形枠を出力して目標対象の外接枠とするための外接枠出力モジュールと、を更に含む。
【００１７】
更に、前記キーポイント検出モジュールは、前記認識された目標対象をキーポイント検出モデルに入力するための第１入力モジュールと、前記キーポイント検出モデルがそれぞれのキーポイントの前記原画像での座標を出力するための第１出力モジュールと、を更に含む。
【００１８】
更に、前記可視性判断モジュールは、複数のキーポイントが検出された目標対象を可視性判断モデルに入力するための第２入力モジュールと、可視性判断モデルが前記複数のキーポイントのそれぞれの可視性確率を出力するための可視性確率判断モジュールと、前記可視性確率を第１閾値と比較して前記可視性属性の値を出力するための第２出力モジュールと、を更に含む。
【００１９】
更に、前記動作認識モジュールは、特定動作に対応する、前記複数のキーポイントの可視性属性の組合値の基準値を取得するための基準値取得モジュールと、前記可視性属性の組合値を前記基準値と対比するための基準値対比モジュールと、前記組合値が前記基準値とマッチング可能であれば、前記基準値に対応する特定動作を出力して認識された目標対象の動作とするための第１認識モジュールと、を更に含む。
【００２０】
更に、前記動作認識モジュールは、特定動作に対応する、前記複数のキーポイントの可視性属性の組合値の変化基準値を取得するための変化基準値取得モジュールと、連続した２フレームの画像中の前記複数のキーポイントの可視性属性の２つの組合値を取得するための組合値取得モジュールと、前記２つの組合値に基づいて組合値の変化値を計算するための変化値計算モジュールと、前記組合値の変化値を前記組合値の変化基準値と対比するための変化基準値対比モジュールと、前記組合値の変化値が前記組合値の変化基準値とマッチング可能であれば、前記変化基準値に対応する特定動作を出力して認識された目標対象の動作とするための第２認識モジュールと、を更に含む。
【００２１】
更に、前記第１処理モジュールは、前記目標対象の動作が第１動作であることに応えて、前記第１動作に対応する第１処理及び第１処理のパラメータを取得するための第１処理及びパラメータ取得モジュールと、前記第１処理及び第１処理のパラメータによって原画像を処理して処理後の画像を取得するための第１処理サブモジュールと、を更に含む。
【００２２】
更に、前記第１処理は画像の明るさを低減することであり、前記第１処理のパラメータは明るさの低減百分率であり、前記第１処理サブモジュールは、原画像の各画素のＲＧＢ色空間での３チャンネルの３色成分を取得するための色取得モジュールと、前記各画素の３色成分からそれぞれ前記百分率の色成分値を引いて処理後の各画素の３色成分値を取得するための明るさ処理モジュールと、を含む。
【００２３】
本開示のまた１つの態様によれば、技術的解決手段として、更に、
非一時的コンピュータ可読コマンドを記憶するためのメモリと、前記コンピュータ可読コマンドを実行し、実行する時に上記のいずれか一項の目標対象の動作認識方法に記載のステップを実現するためのプロセッサーと、を含む電子機器を提供する。
【００２４】
本開示のまた１つの態様によれば、技術的解決手段として、更に、
非一時的コンピュータ可読コマンドを記憶するためのコンピュータ可読記憶媒体であって、前記非一時的コンピュータ可読コマンドがコンピュータにより実行されると、前記コンピュータが上記のいずれか一項の方法に記載のステップを実行するコンピュータ可読記憶媒体を提供する。
【００２５】
本開示は、目標対象の動作認識方法、装置及び電子機器を開示する。ここで、前記目標対象の動作認識方法は、画像ソースから目標対象を含む原画像を取得するステップと、前記原画像から前記目標対象を認識するステップと、前記目標対象の複数のキーポイントを検出するステップと、検出されたキーポイントによって、前記キーポイントが遮断されているか否かを示すための前記複数のキーポイントの可視性属性を判断するステップと、前記複数のキーポイントの可視性属性の組合値により前記目標対象の動作を認識するステップと、を含む。本開示は、キーポイントの可視性によって目標対象の動作を判断して、従来技術において複雑な動作を正確に認識できなかったという技術的問題を解決した。
【００２６】
以上、本開示の技術的解決手段を概略的に説明したが、本開示の技術的手段をより明瞭に理解して明細書の内容に基づいて実施できるようにし、且つ本開示の上記及び他の目的、特徴及びメリットをより分かりやすくするために、以下、特に好ましい実施例を挙げて、図面を参照しながら詳細に説明する。
【図面の簡単な説明】
【００２７】
【図１】本開示の一実施例に係る目標対象の動作認識方法のフローチャートである。
【図２】本開示の一実施例に係る目標対象の動作認識方法のステップＳ１０２の更なるフローチャートである。
【図３】本開示の一実施例に係る目標対象の動作認識方法のステップＳ１０３の更なるフローチャートである。
【図４】本開示の一実施例に係る目標対象の動作認識方法のステップＳ１０４の更なるフローチャートである。
【図５】本開示の一実施例に係る目標対象の動作認識方法のステップＳ１０５の更なるフローチャートである。
【図６】本開示の一実施例に係る目標対象の動作認識方法のステップＳ１０５の更なるフローチャートである。
【図７】本開示の一実施例に係る目標対象の動作認識装置の構造模式図である。
【図８】本開示の実施例により提供された電子機器の構造模式図である。
【発明を実施するための形態】
【００２８】
以下、特定の具体的実例を用いて本開示の実施形態を説明するが、当業者であれば、本明細書に開示された内容から、本開示の他の利点および効果を容易に理解できる。無論、記載される実施例は本開示の一部の実施例に過ぎず、全ての実施例ではない。本開示は、別の異なる具体的実施形態で実施または応用してもよく、本明細書の各詳細事項についても、別の異なる観点および応用に基づき、本開示の精神から逸脱しない範囲で各種の補足または変更を加えてもよい。説明すべきは、矛盾しない場合、以下の実施例および実施例にある特徴は、互いに組み合わせることができるということである。当業者が本開示の実施例に基づいて、創造的労力を要することなく得られる全ての他の実施例は、本開示の保護範囲に入る。
【００２９】
説明すべきは、以下、添付の特許請求の範囲内に入る実施例の様々な態様について記述するということである。本明細書に記載される態様は多くの異なる形態で具現化され得、本明細書に記載される任意の特定の構造および／または機能は説明的なものに過ぎないことが明らかである。本開示に基づき、本明細書に記載される一つの態様は、その他任意の態様とは独立して実施してもよく、二つ以上の態様を様々な形で組み合わせてもよいことが、当業者には理解されるであろう。例えば、本明細書において記載される任意の数の態様を使用して、装置が実装され得るおよび／または方法が実施され得る。また、本明細書に記載される態様の一つもしくは複数に加えて、それ以外の他の構造および／または機能性を用いて該装置が実施され得るおよび／または該方法が実践され得る。
【００３０】
なお、以下の実施例に提供される図面は本開示の基本構想を概略的に示すものに過ぎず、図示では、本開示に関係するコンポーネントのみを示し、実際の実施時のコンポーネントの数、形状およびサイズで描かれておらず、実際の実施時、各コンポーネントの形態、数および比率は任意に変更可能であり、そのコンポーネントの構造もより複雑になり得るということを説明する必要がある。
【００３１】
また、以下の記載では、実例を十分に理解できるように具体的な詳細が提供される。しかしながら、前記態様は、これらの具体的詳細なしに実施され得ることが、当業者に理解される。
【００３２】
本開示の実施例は、目標対象の動作認識方法を提供する。本実施例で提供された前記目標対象の動作認識方法は計算装置によって実行可能であり、前記計算装置はソフトウェアとして実現してもよいし、ソフトウェアとハードウェアの組合として実現してもよく、前記計算装置はサーバ、端末装置等に集積設置されてよい。図１に示すように、前記目標対象の動作認識方法は主に下記のステップＳ１０１〜ステップＳ１０５を含む。
【００３３】
ステップＳ１０１：画像ソースから目標対象を含む原画像を取得する。
【００３４】
本開示では、前記画像ソースはローカル記憶空間又はネットワーク記憶空間であり、画像ソースから原画像を取得する前記ステップには、ローカル記憶空間から原画像を取得するか、ネットワーク記憶空間から原画像を取得するステップを含み、どこから原画像を取得するかに関わらず、まず原画像の保存場所を取得する必要があり、次にこの保存場所から原画像を取得し、前記原画像が複数フレームの画像を含み、前記原画像が映像であってもよいし、動的効果のある画像であってもよく、複数フレームの画像を有するものであれば本開示中の原画像としてよい。
【００３５】
本開示では、前記画像ソースが画像センサーであってよく、画像ソースから原画像を取得する前記ステップには、画像センサーから原画像を収集するステップを含む。前記画像センサーとは画像を収集可能な各種デバイスを指し、代表的な画像センサーはビデオカメラ、ウェブカメラ、カメラ等である。この実施例では、前記画像センサーは携帯端末におけるカメラ、例えばスマートフォンにおける前面又は背面カメラであり得、カメラの収集した原画像が直接携帯電話のディスプレイスクリーンに表示可能であり、このステップでは、画像センサーの撮影した映像を取得して、次のステップで画像中の目標対象を更に認識することに用いる。
【００３６】
本開示では、前記原画像に目標対象が含まれており、前記目標対象は１つ又は複数の特定の対象、例えば手、顔、体、各種の動物等であり得る。
【００３７】
代表的な一のアプリケーションにおいて、ユーザが携帯端末のカメラを用いて自分の体の画像を撮影し、携帯端末が撮影した画像を携帯端末の表示装置に表示し、この時にユーザがカメラの前で様々な動作をすることができ、携帯端末がカメラによって収集した体の画像における手姿勢を検出する。目標対象の認識及び検出については下記の何らかのステップで説明し、ここで詳細な説明が省略される。
【００３８】
ステップＳ１０２：前記原画像から前記目標対象を認識する。
【００３９】
図２に示すように、本開示では、前記原画像から前記目標対象を認識する前記ステップには、
原画像の現在画像フレームを取得するステップＳ２０１と、
前記画像フレーム中の画像特徴を抽出して特徴画像を形成するステップＳ２０２と、
前記特徴画像に複数の矩形枠を生成するステップＳ２０３と、
それぞれの矩形枠に含まれる目標対象の画像特徴の数量を判断するステップＳ２０４と、
含む目標対象の画像特徴数量が最も多い矩形枠を出力して目標対象の外接枠とするステップＳ２０５と、を含んでよい。
【００４０】
ここで、ステップＳ２０１において、原画像の現在画像フレームを取得し、画像フレームは実際には１枚の画像であり、例えば、一般の映像画像において、一秒間の映像画像に３０フレームを含むことがあり、つまり、３３ｍｓ毎に１枚の画像を取得し、前記の現在画像フレームは現時点の映像画像再生画像である。
【００４１】
ステップＳ２０２において、前記画像フレームから画像特徴を抽出して特徴画像を形成し、ここで、画像特徴を抽出するには畳み込みの方式を用いてよく、予め設定された畳み込みカーネルを用いて画像フレームにおける画素を抽出、計算して特徴画像を形成し、例えば、１０＊１０のビデオフレームは、３＊３の畳み込みカーネルによって１のストライドで特徴抽出を行って、８＊８の特徴画像を生成可能である。画像フレームに対して多層の畳み込みカーネルによる畳み込みを行って、より小さい特徴画像を生成することができ、複数の畳み込みカーネルを用いて異なる特徴画像を生成することもでき、更にこれら２種の方式を組み合わせてより小さくより多い特徴画像を生成することもでき、最後にこれらの特徴画像を融合して１枚の特徴画像を生成することができることが理解可能である。特徴画像の生成方法として上記のいずれか１種の方法又は多種の方法の組合を用いてよく、ここで限定されないことが理解可能である。
【００４２】
ステップＳ２０３において、前記特徴画像に複数の矩形枠を生成して、前記目標対象の特徴を画定する。具体的には、特徴画像をそれぞれ１つの中心点を含む複数の矩形領域に区画し、複数の所定の大きさの矩形枠を生成して前記中心点を囲むようにしてよく、ここで、前記矩形枠の中心点が前記矩形領域の中心点と重なり、それによって、前記矩形領域を囲むか、前記矩形領域に囲まれる複数の矩形を生成することができる。
【００４３】
ステップＳ２０４において、ステップＳ２０３で生成した矩形に含まれる目標対象の画像特徴の数量を判断する。具体的には、この数量はこの矩形に含まれる目標対象の信頼度で示してよく、信頼度が高いほど、この矩形に含まれる目標対象の画像特徴の数量が多い。
【００４４】
ステップＳ２０５において、含む目標対象の画像特徴の数量が最も多い矩形枠を出力して目標対象の外接枠とする。ステップＳ２０４において、信頼度が類似する矩形枠を多く含むことが可能であり、ステップＳ２０５において信頼度で順序付けでき、例えば、１から０．５までの信頼度の矩形枠を信頼度の降順で順序付け、信頼度が０．５より低い矩形枠を捨てる。続いて順に矩形枠の重なり程度を判断し、重なり程度が大きい矩形枠に対して重複を解消し、最後に唯一の最大信頼度の矩形枠を出力して目標対象の外接枠とする。
【００４５】
目標対象の認識方法が多く、異なる目標対象に対して更に最適化可能であるが、本開示の検討範囲内のことではなく、詳細な説明が省略され、原画像から目標対象を認識できる方法であれば、本開示に応用可能であることが理解される。
【００４６】
ステップＳ１０３：前記目標対象の複数のキーポイントを検出する。
【００４７】
図３に示すように、本開示では、前記目標対象の複数のキーポイントを検出する前記ステップには、
前記認識された目標対象をキーポイント検出モデルに入力するステップＳ３０１と、
前記キーポイント検出モデルがそれぞれのキーポイントの前記原画像での座標を出力するステップＳ３０２と、を含んで良い。
【００４８】
上記ステップにおいて、前記キーポイント検出モデルは予めトレーニングされたキーポイント検出のためのモデルであり、前記キーポイント検出モデルをトレーニングするには、キーポイントがマーキングされた複数の目標対象の画像をトレーニング画像集合とする必要があり、代表的な例として、前記目標対象は手であり、前記キーポイントは番号が０−２１の２２個のキーポイントであり、この時に画像中の手における２２個のキーポイントをマーキングしてトレーニング画像集合としてモデルに入力し、モデルの予測したキーポイントの座標をトレーニング画像集合におけるキーポイントの座標と対比し、且つそれら二者の誤差をキーポイント検出モデルにフィードバックし、キーポイント検出モデルが誤差によりモデルパラメータを調整した後、トレーニング画像集合における各画像に対してマーキングされたキーポイントと同一な座標を正確に予測できるまで、トレーニング画像集合における画像を用いて予測することを継続する。ステップＳ１０２で認識された目標対象を上記トレーニング済みキーポイント検出モデルに入力し、前記キーポイント検出モデルが各番号のキーポイントの原画像での座標を出力する。検出速度を加速するために、ここで入力される目標対象がステップＳ１０２中の外接枠内の目標対象画像であってよく、そのように画像が小さく、認識速度が速く、外接枠の大きさ及び中心点が出力時に既知の数値になっているので、外接枠の位置及び大きさによりキーポイントの原画像に対する座標を算出でき、計算方法についてはここで詳細に説明しない。
【００４９】
ステップＳ１０４：検出されたキーポイントによって、前記キーポイントが遮断されているか否かを示すための前記複数のキーポイントの可視性属性を判断する。
【００５０】
図４に示すように、本開示では、検出されたキーポイントによって前記複数のキーポイントの可視性属性を判断する前記ステップには、
複数のキーポイントが検出された目標対象を可視性判断モデルに入力するステップＳ４０１と、
可視性判断モデルが前記複数のキーポイントのそれぞれの可視性確率を出力するステップＳ４０２と、
前記可視性確率を第１閾値と比較して前記可視性属性の値を出力するステップＳ４０３と、を含んで良い。
【００５１】
上記ステップにおいて、可視性判断モデルを用いる必要があり、前記モデルはマーキング済みトレーニング集合を用いてトレーニングされ、前記マーキング済みトレーニング集合には前記目標対象の各種角度、各種姿勢での画像を含み、且つ目標対象における各キーポイントが可視のものか否か、即ち遮断されているか否かがマーキングされている。前記マーキング済みトレーニング集合における画像を前記可視性判断モデルに入力し、且つモデルの出力を画像のマーキングしたものと比較し、前記モデルの出力がキーポイント可視確率であり、確率が所定の閾値より高ければマーキングしたものに合致すると決定でき、異なっていれば、損失関数を計算して誤差をモデルにフィードバックしてモデルパラメータを調整した後、再度トレーニング集合を入力し且つ結果を出力し、出力結果がマーキングしたものに合致するまでパラメータを繰り返して調整し、モデルのトレーニングが終了する。
【００５２】
上記可視性判断モデルを用いる時に、複数のキーポイントが検出された目標対象を可視性判断モデルに入力し、次に可視性判断モデルが前記複数のキーポイントのそれぞれの可視性確率を出力し、この可視性確率を所定の第１閾値と比較し、この閾値が０．８であってよく、即ち出力された確率が０．８より大きい時に、このキーポイントが可視のものであると考えられ、出力された確率が０．８より低い時に、このキーポイントが可視のものではないと考えられる。次に、この確率を活性化関数で出力し、キーポイント可視値として１を出力し、キーポイント非可視値として０を出力し、そのように可視性属性の値のベクトルが得られ、このベクトルが１＊Ｎのベクトルであり、そのうち、Ｎがキーポイントの数であり、このベクトル中の要素の値が０又は１であり、それぞれ対応するキーポイントが非可視のものか可視のものかを示す。
【００５３】
ステップＳ１０５：前記複数のキーポイントの可視性属性の組合値により前記目標対象の動作を認識する。
【００５４】
図５に示すように、前記複数のキーポイントの可視性属性の組合値により前記目標対象の動作を認識する前記ステップには、
特定動作に対応する、前記複数のキーポイントの可視性属性の組合値の基準値を取得するステップＳ５０１と、
前記可視性属性の組合値を前記基準値と対比するステップＳ５０２と、
前記組合値が前記基準値とマッチング可能であれば、前記基準値に対応する特定動作を出力して認識された目標対象の動作とするステップＳ５０３と、を含んで良い。
【００５５】
上記ステップにおいて、目標対象の静的動作、例えば姿勢を判断でき、具体的には、目標対象が手である時に、手のジェスチャーを認識できる。ステップＳ１０４において、出力される可視性属性の値は可視性属性の組合値、つまりベクトル値であってよい。設定ファイルに１つ又は複数の目標対象の動作の可視性属性の組合値の基準値を予め設定しておいてよく、ベクトルであってもよく、例えば１＊Ｎのベクトルであってよく、可視性属性の組合値が得られた後、前記設定ファイルから前記１つ又は複数の可視性属性の組合値の基準値を取得し、次に前記可視性属性の組合値を前記基準値と比較し、本開示では、前記比較は２つのベクトルの類似度を比較することであってよく、よく用いられる方法としてはピアソン相関係数、ユークリッド距離、コサイン類似度、マンハッタン距離等を用いて２つのベクトルの類似度を判断でき、類似度が所定の第２閾値より高ければ、前記組合値が前記基準値とマッチング可能であると判断し、前記基準値に対応する特定動作を出力して認識された目標対象の動作とする。これで、前記目標対象の動作が認識された。
【００５６】
図６に示すように、前記複数のキーポイントの可視性属性の組合値により前記目標対象の動作を認識する前記ステップには、
特定動作に対応する、前記複数のキーポイントの可視性属性の組合値の変化基準値を取得するステップＳ６０１と、
連続した２フレームの画像中の前記複数のキーポイントの可視性属性の２つの組合値を取得するステップＳ６０２と、
前記２つの組合値に基づいて組合値の変化値を計算するステップＳ６０３と、
前記組合値の変化値を前記組合値の変化基準値と対比するステップＳ６０４と、
前記組合値の変化値が前記組合値の変化基準値とマッチング可能であれば、前記変化基準値に対応する特定動作を出力して認識された目標対象の動作とするステップＳ６０５と、を更に含んで良い。
【００５７】
上記ステップにおいて、目標対象の動的動作、例えば変化動作を判断でき、具体的には、目標対象が手である時に、指をぱちんと鳴らす手の動作を認識でき、ここで、指をぱちんと鳴らす動作は少なくとも２つの手の状態によらなければ認識できない。ステップＳ１０４において、出力される可視性属性の値は可視性属性の組合値、つまりベクトル値であってよい。設定ファイルに１つ又は複数の目標対象の動作の可視性属性の組合値の変化基準値を予め設定しておいてよく、２つのベクトルであってもよく、例えば２つの１＊Ｎのベクトルであってよく、それぞれ目標対象の２つの状態での可視性属性の組合値の基準値を示す。上記ステップにおいて、連続した２フレームの画像中のキーポイントの可視性属性の組合値を取得し、２つの可視性属性の組合値を１つの変化値に組み合わせる必要があり、前記変化値は２つの組合値を首尾連結してなった新しいベクトル、例えば２つの１＊Ｎのベクトルを組み合わせてなった１＊２Ｎのベクトルであってよい。この時に、取得された可視性属性の組合値の変化基準値は２つの１＊Ｎベクトルの組合ベクトルであってよい。次に、組合値の変化値と前記組合値の変化基準値の類似度を比較して二者がマッチング可能か否かを判断し、類似度計算方法が上記と同様である。類似度が所定の第３閾値より高ければ、前記組合値の変化値が前記変化基準値とマッチング可能であると判断し、前記変化基準値に対応する特定動作を出力して認識された目標対象の動作とする。それで、前記目標対象の動作が認識された。
【００５８】
２つのベクトルの類似度を計算する方法が多く、本開示が上記方法に限定されなく、実際には必要に応じて更に各キーポイントの類似度計算時の重み等を設定可能であり、２つのベクトルの類似度を計算することにいかなる他のアルゴリズムも利用でき、厳密マッチング方式さえ利用でき、本開示ではこれについて何の制限も加えなく、ここで詳細な説明も省略されることが理解される。
【００５９】
更に、ステップＳ１０５の後、
前記目標対象の動作が第１動作であるか否かを判断するステップと、
前記目標対象の動作が第１動作であれば、前記第１動作に対応する第１処理によって前記原画像を処理するステップと、を更に含んで良い。
【００６０】
具体的には、前記第１処理は画像の明るさを低減することであり、前記第１処理のパラメータは明るさの低減百分率であり、前記第１処理及び第１処理のパラメータによって原画像を処理して処理後の画像を取得する前記ステップには、
原画像の各画素のＲＧＢ色空間での３チャンネルの３色成分を取得するステップと、
前記各画素の３色成分からそれぞれ前記百分率の色成分値を引いて処理後の各画素の３色成分値を取得するステップと、を含む。
【００６１】
上記ステップは本開示の目標対象の動作認識の具体的な一応用例であり、認識された目標対象の動作によって画像処理操作をトリガし、その画像処理操作の結果として、画像を暗くした。具体的には、前記目標対象は手であってよく、前記動作は指をぱちんと鳴らす動作であってよく、第１処理は画像の明るさを低減することであり、前記第１処理パラメータは５０％であり、そのように、携帯端末のカメラを用いて映像を撮影する場合に用いられる時に、映像に手が現れ、且つ手が指をぱちんと鳴らす動作をしたことが認識されると、携帯端末のスクリーン中の映像の明るさが５０％低減されて、指をぱちんと鳴らして消灯させる効果を実現する。
【００６２】
本開示の目標対象の動作の認識方法によれば、いかなる特殊効果のトリガも実現でき、上記の指をぱちんと鳴らして消灯させる効果が例に過ぎず、他の効果をトリガする手段について詳しい説明が省略されることが理解される。
【００６３】
本開示は、目標対象の動作認識方法、装置及び電子機器を開示する。ここで、前記目標対象の動作認識方法は、画像ソースから目標対象を含む原画像を取得するステップと、前記原画像から前記目標対象を認識するステップと、前記目標対象の複数のキーポイントを検出するステップと、検出されたキーポイントによって、前記キーポイントが遮断されているか否かを示すための前記複数のキーポイントの可視性属性を判断するステップと、前記複数のキーポイントの可視性属性の組合値により前記目標対象の動作を認識するステップと、を含む。本開示は、キーポイントの可視性によって目標対象の動作を判断して、従来技術において複雑な動作を正確に認識できなかったという技術的問題を解決した。
【００６４】
以上、上述のような順番で上記方法の実施例の各ステップを説明したが、当業者であれば、本開示の実施例のステップは必ずしも上記順番通り実行するとは限らず、逆の順番で実行し、並行して実行し、交差して実行するなど他の順番で実行してもよいことが理解され、なお、上記ステップを基礎として、当業者はさらに他のステップを加えることができ、これらの明らかな変形または同等な取り替えも本開示の保護範囲内に含まれるべきであり、ここでは説明を省略する。
【００６５】
以下、本開示の装置の実施例を説明し、本開示の装置の実施例は、本開示の方法の実施例により実現されるステップを実行するために使用でき、説明の便宜上、本開示の実施例に関連する部分のみを示し、開示されない技術的詳細については、本開示の方法の実施例を参照する。
【００６６】
本開示の実施例は、画像の処理装置を提供する。前記装置は上記の目標対象の動作認識方法の実施例に記載のステップを実行可能である。図７に示すように、前記装置７００は主に原画像取得モジュール７０１、目標対象認識モジュール７０２、キーポイント検出モジュール７０３、可視性判断モジュール７０４及び動作認識モジュール７０５を含む。
【００６７】
原画像取得モジュール７０１は、画像ソースから目標対象を含む原画像を取得するためのものであり、
目標対象認識モジュール７０２は、前記原画像から前記目標対象を認識するためのものであり、
キーポイント検出モジュール７０３は、前記目標対象の複数のキーポイントを検出するためのものであり、
可視性判断モジュール７０４は、検出されたキーポイントによって、前記キーポイントが遮断されているか否かを示すための前記複数のキーポイントの可視性属性を判断するためのものであり、
動作認識モジュール７０５は、前記複数のキーポイントの可視性属性の組合値により前記目標対象の動作を認識するためのものである。
【００６８】
更に、前記装置７００は、
前記目標対象の動作が第１動作であるか否かを判断するための第１動作判断モジュールと、
前記目標対象の動作が第１動作であれば、前記第１動作に対応する第１処理によって前記原画像を処理するための第１処理モジュールと、を更に含む。
【００６９】
更に、前記目標対象認識モジュール７０２は、
原画像の現在画像フレームを取得するための画像フレーム取得モジュールと、
前記画像フレーム中の画像特徴を抽出して特徴画像を形成するための特徴抽出モジュールと、
前記特徴画像に複数の矩形枠を生成するための矩形枠生成モジュールと、
それぞれの矩形枠に含まれる目標対象の画像特徴の数量を判断するための数量判断モジュールと、
含む目標対象の画像特徴数量が最も多い矩形枠を出力して目標対象の外接枠とするための外接枠出力モジュールと、を更に含む。
【００７０】
更に、前記キーポイント検出モジュール７０３は、
前記認識された目標対象をキーポイント検出モデルに入力するための第１入力モジュールと、
前記キーポイント検出モデルがそれぞれのキーポイントの前記原画像での座標を出力するための第１出力モジュールと、を更に含む。
【００７１】
更に、前記可視性判断モジュール７０４は、
複数のキーポイントが検出された目標対象を可視性判断モデルに入力するための第２入力モジュールと、
可視性判断モデルが前記複数のキーポイントのそれぞれの可視性確率を出力するための可視性確率判断モジュールと、
前記可視性確率を第１閾値と比較して前記可視性属性の値を出力するための第２出力モジュールと、を更に含む。
【００７２】
更に、前記動作認識モジュール７０５は、
特定動作に対応する、前記複数のキーポイントの可視性属性の組合値の基準値を取得するための基準値取得モジュールと、
前記可視性属性の組合値を前記基準値と対比するための基準値対比モジュールと、
前記組合値が前記基準値とマッチング可能であれば、前記基準値に対応する特定動作を出力して認識された目標対象の動作とするための第１認識モジュールと、を更に含む。
【００７３】
更に、前記動作認識モジュール７０５は、
特定動作に対応する、前記複数のキーポイントの可視性属性の組合値の変化基準値を取得するための変化基準値取得モジュールと、
連続した２フレームの画像中の前記複数のキーポイントの可視性属性の２つの組合値を取得するための組合値取得モジュールと、
前記２つの組合値に基づいて組合値の変化値を計算するための変化値計算モジュールと、
前記組合値の変化値を前記組合値の変化基準値と対比するための変化基準値対比モジュールと、
前記組合値の変化値が前記組合値の変化基準値とマッチング可能であれば、前記変化基準値に対応する特定動作を出力して認識された目標対象の動作とするための第２認識モジュールと、を更に含む。
【００７４】
更に、前記第１処理モジュールは、
前記目標対象の動作が第１動作であることに応えて、前記第１動作に対応する第１処理及び第１処理のパラメータを取得するための第１処理及びパラメータ取得モジュールと、
前記第１処理及び第１処理のパラメータによって原画像を処理して処理後の画像を取得するための第１処理サブモジュールと、を更に含む。
【００７５】
更に、前記第１処理は画像の明るさを低減することであり、前記第１処理のパラメータは明るさの低減百分率であり、前記第１処理サブモジュールは、
原画像の各画素のＲＧＢ色空間での３チャンネルの３色成分を取得するための色取得モジュールと、
前記各画素の３色成分からそれぞれ前記百分率の色成分値を引いて処理後の各画素の３色成分値を取得するための明るさ処理モジュールと、を含む。
【００７６】
図７に示す装置は図１−図６に示す実施例の方法を実行でき、本実施例で詳細に説明されない部分については、図１−図６に示す実施例の相関説明を参照し得る。前記技術的解決手段の実行プロセス及び技術効果については、図１−図６に示す実施例中の説明を参照し、ここで詳細な説明を省略する。
【００７７】
以下、本開示の実施例を実現することに適合する電子機器８００の構造模式図を示す図８を参照する。本開示の実施例中の電子機器は、例えば、携帯電話、ノートパソコン、デジタル放送受信機、ＰＤＡ（パーソナル・デジタル・アシスタント）、ＰＡＤ（タブレット）、ＰＭＰ（可搬式マルチメディア再生機）、車載端末（例えば、車載ナビゲーション端末）などの携帯端末、および例えばデジタルＴＶ、デスクトップコンピュータなどの固定端末を含み得るが、これらに限定されない。図８に示された電子機器は一例に過ぎず、本開示の実施例の機能及び使用範囲に何の制限も加えない。
【００７８】
図８に示すように、電子機器８００は処理装置（例えば、中央処理装置、グラフィックプロセッサー等）８０１を含んでよく、それは読み取り専用メモリ（ＲＯＭ）８０２に記憶されたプログラム又は記憶装置８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされたプログラムによって各種の適切な動作及び処理を実現することができる。ＲＡＭ８０３には、電子機器８００の動作に必要な各種のプログラムやデータが格納されている。処理装置８０１、ＲＯＭ８０２及びＲＡＭ８０３は、通信バス８０４を介して相互に接続される。入力／出力（Ｉ／Ｏ）インタフェース８０５も通信バス８０４に接続される。
【００７９】
一般的には、例えばタッチスクリーン、タッチパネル、キーボード、マウス、画像センサー、マイクロホン、加速度計、ジャイロ等を含む入力装置８０６と、例えば液晶ディスプレイー（ＬＣＤ）、スピーカー、発振器等を含む出力装置８０７と、例えば磁気テープ、ハードディスク等を含む記憶装置８０８と、通信装置８０９とがＩ／Ｏインタフェース８０５に接続されていてよい。通信装置８０９は電子機器８００が他のデバイスと無線又は有線通信してデータを交換することを可能にする。図８に各種装置を備えた電子機器８００が示されているが、示された装置の全てを実施したり、具備したりすることを要求する意図がないことを理解されたい。それ以上又は以下の装置を代替的に実施したり、具備したりすることが可能である。
【００８０】
特に、本開示の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本開示の実施例はコンピュータプログラム製品を含み、それはコンピュータ可読媒体に搭載された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含む。このような実施例では、前記コンピュータプログラムは通信装置８０９によってネットワークからダウンロード及びインストールされ、又は記憶装置８０８からインストールされ、またはＲＯＭ８０２からインストールされ得る。処理装置８０１によって前記コンピュータプログラムを実行する時に、本開示の実施例の方法で限定された上記機能を実行する。
【００８１】
本開示の上記コンピュータ可読媒体はコンピュータ可読信号媒体又はコンピュータ可読記憶媒体又はそれらの任意の組合せであってよいことを説明する必要がある。コンピュータ可読記憶媒体は、例えば、電気、磁気、光、電磁、赤外線又は半導体のシステム、装置又はデバイス或いはそれらの任意の組合であってよいが、それらに限定されない。コンピュータ可読記憶媒体は、より具体的な例として、１つ又は複数の導線を有する電気接続、携帯型コンピュータディスク、ハードディス、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、コンパクトディスク・リード・オンリー・メモリ（ＣＤ−ＲＯＭ）、光学記憶装置、磁気記憶装置又はそれらの任意の適切な組合を含んでよいが、それらに限定されない。本開示では、コンピュータ可読記憶媒体はプログラムを含むか記憶するいかなる有形媒体であってもよく、前記プログラムはコマンド実行システム、装置又はデバイスに使用されるか、それらと組み合わせて使用されることが可能である。本開示では、コンピュータ可読信号媒体はベースバンドで伝播されるデータ信号又は搬送波で一部を伝播するデータ信号を含んでよく、その中にコンピュータ可読プログラムコードを搭載した。このように伝播されるデータ信号は多種の形式を採用してよく、電磁信号、光信号又はそれらの任意の適切な組合を含むが、それらに限定されない。コンピュータ可読信号媒体は更にコンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、前記コンピュータ可読媒体はコマンド実行システム、装置又はデバイスに使用されるかそれらと組み合わせて使用されるプログラムを送信、伝播又は伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは任意の適切な媒体で伝送可能であり、電線、光ケーブル、ＲＦ（ラジオ周波数）等又はそれらの任意の適切な組合を含んでよいが、それらに限定されない。
【００８２】
上記コンピュータ可読媒体は上記電子機器に含まれるものであってもよいし、前記電子機器に実装されていない単独したものであってもよい。
【００８３】
上記コンピュータ可読媒体には１つ又は複数のプログラムが搭載されており、上記１つ又は複数のプログラムが前記電子機器により実行されると、前記電子機器は、画像ソースから目標対象を含む原画像を取得し、前記原画像から前記目標対象を認識し、前記目標対象の複数のキーポイントを検出し、検出されたキーポイントによって、前記キーポイントが遮断されているか否かを示すための前記複数のキーポイントの可視性属性を判断し、前記複数のキーポイントの可視性属性の組合値により前記目標対象の動作を認識する。
【００８４】
本開示の操作を実行するためのコンピュータプログラムコードは１種又は多種のプログラミング言語又はそれらの組合を用いて書くことが可能であり、上記プログラミング言語はオブジェクト指向のプログラミング言語、例えばＪａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋を含み、更に一般の手続き型プログラミング言語、例えば「Ｃ」言語又は類似的なプログラミング言語を含む。プログラムコードは完全にユーザコンピュータで実行したり、部分的にユーザコンピュータで実行したり、独立したソフトウェアパッケージとして実行したり、一部をユーザコンピュータで一部をリモートコンピュータで実行したり、完全にリモートコンピュータ又はサーバで実行したりすることができる。リモートコンピュータの場合に、リモートコンピュータはローカルエリアネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意のネットワークによってユーザコンピュータに接続でき、又は、外部コンピュータに接続できる（例えばインターネットサービスプロバイダーを用いてインターネット経由で接続する）。
【００８５】
図面のうちフローチャートおよびブロック図は本開示の各種の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたはコードの一部分を代表することができ、前記モジュール、プログラムセグメントまたはコードの一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの置換としての実現形態では、ブロックに表記される機能は図面に付したものと異なる順序で実現してもよいことを理解されたい。例えば、二つの連続的に示されたブロックは実質的に同時に実行してもよく、また、係る機能によって、それらは逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または操作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。
【００８６】
本開示の実施例に記載のユニットはソフトウェアで実現してもよいし、ハードウェアで実現してもよい。ここで、ユニットの名称は前記ユニット自身を限定しない場合がある。
【００８７】
上述したのは本開示の好ましい実施例及び適用する技術原理の説明に過ぎない。本開示に係る開示範囲は、上記技術特徴の特定組合による技術手段に限定されなく、上記開示の構想を逸脱することなく上記技術特徴又はそれと同等な特徴を任意に組み合わせて形成した他の技術手段をも含むべきであることが当業者に自明である。例えば、上記特徴と本開示の開示内容（それに限定されない）による類似的な機能を有する技術特徴を互いに取り替えて形成した技術手段をも含む。
【図１】
2021531589.tif 000003
【図２】
2021531589.tif 000004
【図３】
2021531589.tif 000005
【図４】
2021531589.tif 000006
【図５】
2021531589.tif 000007
【図６】
2021531589.tif 000008
【図７】
2021531589.tif 000009
【図８】
2021531589.tif 000010
【国際調査報告】
2021531589.tif 000011
2021531589.tif 000012
2021531589.tif 000013
2021531589.tif 000014