(57)【要約】  本願は、顔キーポイント検出方法、装置、コンピュータ機器及び記憶媒体に関し、検出待ち顔画像を取得し、検出待ち顔画像は、検出待ちフレームの顔画像であり、前記検出待ち顔画像に従って、前記検出待ち顔画像に各キーポイントの部分画像がそれぞれ含まれていると決定し、各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定し、各キーポイントの候補点を共同制約して、各顔キーポイントを決定する。検出待ち顔画像全体における各キーポイントをそれぞれ含む部分画像について、当該部分画像内の対応するキーポイントの候補点をそれぞれ決定する。したがって、計算量を減らして、キーポイント候補点の決定効率を向上させることができる。それにより、各顔キーポイントの検出効率を向上させることができる。
2022502751.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータ機器が実行する、顔キーポイント検出方法であって、
検出待ち顔画像を取得するステップであって、前記検出待ち顔画像は、検出待ちフレームの顔画像であるステップと、
前記検出待ち顔画像に基づき、前記検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップと、
各部分画像に基づいて、前記部分画像のそれぞれに対応するキーポイントの候補点をそれぞれ決定するステップと、
各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップと、
を含むことを特徴とする、顔キーポイント検出方法。
【請求項２】
前記各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップは、
線形モデルに基づき、前記キーポイントのそれぞれの候補点を共同制約して、前記顔キーポイントのそれぞれを決定するステップ
を含むことを特徴とする、請求項１に記載の顔キーポイント検出方法。
【請求項３】
前記各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、
前記検出待ちフレームが、プリセットフレームではない場合、前記検出待ちフレームの前のフレームにおいて各キーポイントをそれぞれ含む部分画像を取得するステップと、
前記前のフレーム及び前記検出待ちフレームに対応する部分画像に基づいて、前記検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップと、
を含むことを特徴とする、請求項１に記載の顔キーポイント検出方法。
【請求項４】
前記各キーポイントの候補点を共同制約して、各顔キーポイントを決定した後、前記顔キーポイント検出方法は、
前記顔キーポイントのそれぞれに基づき、部分画像の抽出を実行して、次のフレームの顔画像の前のフレームにおいて各キーポイントをそれぞれ含む部分画像を決定するステップ
をさらに含むことを特徴とする、請求項１に記載の顔キーポイント検出方法。
【請求項５】
前記各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、
前記検出待ちフレームがプリセットフレームである場合、前記検出待ちフレームの各部分画像に基づいて、前記検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップ
を含むことを特徴とする、請求項１に記載の顔キーポイント検出方法。
【請求項６】
前記検出待ち顔画像は顔画像であり、前記顔キーポイントは顔キーポイントであることを特徴とする、請求項１に記載の顔キーポイント検出方法。
【請求項７】
前記各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定する方式は、
各部分画像について、前記部分画像のヒットマップを決定するステップであって、前記ヒットマップは、対応する部分画像内の各ピクセルがキーポイントとして使用される確率を含むステップと、
前記ヒットマップに従って、前記部分画像に対応するキーポイントの候補点を決定するステップと、
を含むことを特徴とする、請求項１に記載の顔キーポイント検出方法。
【請求項８】
前記検出待ち顔画像を取得するステップは、
初期の顔画像を取得するステップと、
前記初期の顔画像を前処理して、前記検出待ち顔画像を取得するステップと、
を含むことを特徴とする、請求項１に記載の顔キーポイント検出方法。
【請求項９】
前記前処理は、
両目の瞳孔キーポイントが同じ水平線にあるように、前記初期の顔画像を回転させること、
又は／及び、
両目の瞳孔キーポイントの水平距離がプリセットの値になるように、前記初期の顔画像をスケーリングすること
を含むことを特徴とする、請求項８に記載の顔キーポイント検出方法。
【請求項１０】
前記検出待ち顔画像に従って、前記検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップは、
前記検出待ち顔画像に対して顔キーポイントの初期化を実行するステップと、
初期化結果に基づいて前記検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップと、
を含むことを特徴とする、請求項９に記載の顔キーポイント検出方法。
【請求項１１】
顔キーポイント検出装置であって、
検出待ち顔画像を取得するように構成される画像全体取得モジュールであって、前記検出待ち顔画像は、検出待ちフレームの顔画像である画像全体取得モジュールと、
前記検出待ち顔画像に従って、前記検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するように構成される部分画像決定モジュールと、
各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するように構成される部分候補点決定モジュールと、
各キーポイントの候補点を共同制約して、各顔キーポイントを決定するように構成されるキーポイント全体決定モジュールと、
を備えることを特徴とする、顔キーポイント検出装置。
【請求項１２】
前記キーポイント全体決定モジュールは、線形モデルに基づき、前記キーポイントのそれぞれの候補点を共同制約して、前記顔キーポイントのそれぞれを決定するように構成されることを特徴とする、請求項１１に記載の顔キーポイント検出装置。
【請求項１３】
前記部分候補点決定モジュールは、前記検出待ちフレームが、プリセットフレームではない場合、前記検出待ちフレームの前のフレームにおいて各キーポイントをそれぞれ含む部分画像を取得し、前記前のフレーム及び前記検出待ちフレームに対応する部分画像に基づいて、前記検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するように構成される、請求項１１に記載の顔キーポイント検出装置。
【請求項１４】
前記顔キーポイント検出装置はさらに、
キーポイント全体決定モジュールが各キーポイントの候補点を共同制約して、各顔キーポイントを決定した後、前記顔キーポイントのそれぞれに基づき、部分画像の抽出を実行して、次のフレームの顔画像の前のフレームにおいて各キーポイントをそれぞれ含む部分画像を決定するように構成される先順位の部分画像決定モジュールを備える
ことを特徴とする、請求項１１に記載の顔キーポイント検出装置。
【請求項１５】
前記部分候補点決定モジュールは、前記検出待ちフレームがプリセットフレームである場合、前記検出待ちフレームの各部分画像に基づいて、前記検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するように構成されることを特徴とする、請求項１１に記載の顔キーポイント検出装置。
【請求項１６】
前記検出待ち顔画像は顔画像であり、前記顔キーポイントは顔キーポイントである、請求項１１に記載の顔キーポイント検出装置。
【請求項１７】
前記部分候補点決定モジュールは、各部分画像について、前記部分画像のヒットマップを決定し、前記ヒットマップは、対応する部分画像内の各ピクセルがキーポイントとして使用される確率を含み、前記ヒットマップに従って、前記部分画像に対応するキーポイントの候補点を決定するように構成されることを特徴とする、請求項１１に記載の顔キーポイント検出装置。
【請求項１８】
前記画像全体取得モジュールは、初期の顔画像を取得し、前記初期の顔画像を前処理して、前記検出待ち顔画像を取得するように構成される、請求項１１に記載の顔キーポイント検出装置。
【請求項１９】
前記画像全体取得モジュールは、両目の瞳孔キーポイントが同じ水平線にあるように、前記初期の顔画像を回転させ、又は／及び、両目の瞳孔キーポイントの水平距離がプリセットの値になるように、前記初期の顔画像をスケーリングするように構成されることを特徴とする、請求項１８に記載の顔キーポイント検出装置。
【請求項２０】
前記部分候補点決定モジュールは、前記検出待ち顔画像に対して顔キーポイントの初期化を実行し、初期化結果に基づいて前記検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するように構成されることを特徴とする、請求項１９に記載の顔キーポイント検出装置。
【請求項２１】
コンピュータ機器であって、
メモリと、プロセッサとを備え、前記メモリには、コンピュータプログラムが記憶され、前記プロセッサが前記コンピュータプログラムを実行するとき、請求項１ないし１０のいずれか一項に記載の顔キーポイント検出方法のステップを実現することを特徴とする、コンピュータ機器。
【請求項２２】
コンピュータプログラムであって、
コンピュータに、請求項１ないし１０のいずれか一項に記載の顔キーポイント検出方法を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１８年１２月１０日に中国特許局に提出された、出願番号が２０１８１１５０３９０５．５であり、発明の名称が「顔キーポイント検出方法、装置、コンピュータ機器及び記憶媒体」である中国特許出願の優先権を主張し、その内容の全てが引用により本願に組み込まれている。
【０００２】
本願は、人工知能分野に関し、特に、顔キーポイント検出方法、装置、コンピュータ機器及び記憶媒体に関する。
【背景技術】
【０００３】
顔キーポイントの検出技術は、顔認識、顔の位置合わせ、顔のメイクなどのアプリケーションで重要な役割を果たしている。それらに関する顔キーポイント検出方式は、顔の全体的な特徴に基づいて、顔キーポイント検出を実行することができる。例えば、顔キーポイント検出（Ｌａｎｄｍａｒｋ  Ｄｅｔｅｃｔｉｏｎ）とは、顔画像内のキーポイントの位置座標を特定することである。顔キーポイント検出を実行する場合、図１に示されたように、顔全体の画像を入力とし、ニューラルネットワーク又は数学モデルを介して、全ての顔キーポイントの位置座標を同時に出力する。
【０００４】
それらに関するキーポイント検出方法は、顔画像全体を検出対象として、キーポイントの検出を実行するため、検出効率が低いという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
これらに基づいて、上記の顔キーポイントを検出する効率が低いという問題を解決することができるために、検出効率が向上できる顔キーポイント検出方法、装置、コンピュータ機器及び記憶媒体を提供する。
【課題を解決するための手段】
【０００６】
顔キーポイント検出方法は、
検出待ち顔画像を取得するステップであって、前記検出待ち顔画像は、検出待ちフレームの顔画像であるステップと、
前記検出待ち顔画像に基づき、前記検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップと、
各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップと、
各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップと、を含む。
【０００７】
顔キーポイント検出装置は、
検出待ち顔画像を取得するように構成される画像全体取得モジュールであって、前記検出待ち顔画像は、検出待ちフレームの顔画像である画像全体取得モジュールと、
前記検出待ち顔画像に従って、前記検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するように構成される部分画像決定モジュールと、
各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するように構成される部分候補点決定モジュールと、
各キーポイントの候補点を共同制約して、各顔キーポイントを決定するように構成されるキーポイント全体決定モジュールと、を備える。
【０００８】
コンピュータ機器は、メモリと、プロセッサとを備え、前記メモリにはコンピュータプログラムが記憶され、前記プロセッサが前記コンピュータプログラムを実行するとき、
検出待ち顔画像を取得するステップであって、前記検出待ち顔画像は、検出待ちフレームの顔画像であるステップと、
前記検出待ち顔画像に基づき、前記検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップと、
各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップと、
各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップと、を実現する。
【０００９】
コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されると、
検出待ち顔画像を取得するステップであって、前記検出待ち顔画像は、検出待ちフレームの顔画像であるステップと、
前記検出待ち顔画像に基づき、前記検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップと、
各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップと、
各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップと、を実現する。
【発明の効果】
【００１０】
上記の顔キーポイント検出方法、装置、コンピュータ機器及び記憶媒体は、検出待ち顔画像を取得し、前記検出待ち顔画像は、検出待ちフレームの顔画像であり、前記検出待ち顔画像に従って、前記検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定し、各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定し、各キーポイントの候補点を共同制約して、各顔キーポイントを決定する。検出待ち顔画像全体における各キーポイントをそれぞれ含む部分画像について、当該部分画像内の対応するキーポイントの候補点をそれぞれ決定する。したがって、計算量を減らして、キーポイント候補点の決定効率を向上させることができる。それにより、各顔キーポイントの検出効率を向上させることができる。当該顔キーポイント検出方法をメイクアップアプリケーションに適用すると、検出効率が向上するため、キーポイント検出の時間消費を削減し、実行中のフリーズ現象を低減し、よりスムーズなメイクアップ効果を得ることができる。
【図面の簡単な説明】
【００１１】
【図１】関連技術方式における顔キーポイント検出方法の原理図である。
【図２】一実施例における顔キーポイント検出方法の適用環境の概略図である。
【図３】一実施例における顔キーポイント検出方法の例示的なフローチャートである。
【図４】一具体的な実施例における顔キーポイント検出方法のニューラルネットワーク構造の概略図である。
【図５】一具体的な実施例における顔キーポイント検出方法の別のニューラルネットワーク構造の概略図である。
【図６】一具体的な実施例における顔キーポイント検出方法の原理図である。
【図７】一具体的な実施例における顔キーポイント検出方法の例示的なフローチャートである。
【図８】関連技術方式により得られたメイクが乱れている場合の概略図である。
【図９】一実施例の顔キーポイント検出方法によるメイクが正しい場合の概略図である。
【図１０】一実施例における顔キーポイント検出装置の構造のブロック図である。
【発明を実施するための形態】
【００１２】
本願の目的、技術的解決策および利点をより明確且つ明らかにするために、以下、図面および実施例を参照して、本願についてさらに詳細に説明する。ここで説明された具体的な実施例は、本願を説明するものに過ぎず、本願を限定しないことを理解されたい。
【００１３】
図２は、一実施例における顔キーポイント検出方法の適用環境の概略図である。当該顔キーポイント検出方法はコンピュータ機器によって実行されることができる。当該コンピュータ機器は、端末またはサーバであり得る。端末は、携帯電話、タブレットコンピュータ、デスクトップコンピュータなど、デスクトップデバイスまたは移動端末であり得る。サーバは、独立した物理サーバ、物理サーバクラスタまたは仮想サーバであり得る。ここで、当該コンピュータ機器は、システムバスを介して接続されたプロセッサ、メモリ及びネットワークインターフェースを備える。ここで、メモリは、不揮発性記憶媒体及び内部メモリを含む。当該コンピュータ機器の不揮発性記憶媒体には操作システム及びコンピュータプログラムが記憶され、当該コンピュータプログラムがプロセッサによって実行される時、プロセッサが顔キーポイント検出方法のステップを実行するようにすることができる。当該内部メモリにコンピュータプログラムが記憶され、当該コンピュータプログラムがプロセッサによって実行される時、プロセッサが顔キーポイント検出方法のステップを実行するようにすることができる。
【００１４】
当業者は、図２に示された構造が、本願の技術案に関連する構造の一部のブロック図に過ぎず、本願の技術案が適用されるコンピュータ機器を限定するものではないことを理解することができる。特定のコンピュータ機器は、図に示されているよりも多い又は少ない部材を含むか、特定の部材を組み合わせるか、異なる部材配置を有する場合がある。
【００１５】
図３に示されたように、一実施例において、顔キーポイント検出方法を提供する。当該方法は、図２のコンピュータ機器によって実行されることができる。当該顔キーポイント検出方法は、次のステップを含む。
【００１６】
ステップＳ３０２において、検出待ち顔画像を取得し、検出待ち顔画像は、検出待ちフレームの顔画像である。
【００１７】
検出待ち顔画像は、１枚の独立した顔画像であってもよく、動的シーン内の連続する複数のフレームの顔画像のうちの１つのフレーム画像であってもよい。検出待ち顔画像は、顔情報を含む画像であってもよい。顔は、人間の顔、即ち、顔を指すことができる。顔は、動物の顔を指すこともでき、例えば、猫、犬、ライオン、トラ、ホッキョクグマなどの動物の顔であり得る。
【００１８】
当該方法は、動的シーンに適用されることができ、動的シーンは、２つ以上のフレームの画像を含むシーンであり、顔キーポイントを検出する場合、シーン内の２つ以上のフレームの顔画像を検出する必要があることを理解することができる。例えば、各フレームの顔画像に対して顔キーポイントの検出を実行することであり得る。
【００１９】
ステップＳ３０４において、検出待ち顔画像に基づき、検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定する。
【００２０】
ここで、キーポイントは、目角、瞼の中点、鼻の先、口元、輪郭上の点など、顔画像内の顔の器官上の点であり得る。顔のタイプが決定された場合、例えば、顔が人の顔である場合、顔の各キーポイントを事前に定義することができる。ここで、顔のタイプは、顔が人の顔であるか、動物の顔であるかを指示することができる。一可能な実施形態において、顔のタイプは、人の顔タイプ、猫の顔タイプ及び犬の顔タイプのうちの少なくとも１つを含み得る。
【００２１】
そのうちの１つの実施例において、顔の各キーポイントを事前に定義し、定義されたキーポイントのそれぞれに従って１枚の部分画像を取得することができ、即ち、１枚の部分画像は、１つのキーポイントに対応する。ここで、顔の各キーポイントを事前に定義することは、顔画像における当該キーポイントの位置に従って、キーポイントを表記することを含み得、例えば、キーポイントを第１キーポイント、第２キーポイント、・・・第Ｎキーポイントに表記することができ、ここで、Ｎは、顔キーポイントの総数であり、ここで、第１キーポイントは、目角のキーポイントであり得、第２キーポイントは瞼の中点のキーポイントであり得、・・・第５２キーポイントは口元のキーポイントなどであり得る。
【００２２】
例示的に、Ｎは８６であり得、ここで、目は２２個のキーポイントを含み得、眉毛は１６個のキーポイントを含み得、鼻は１１個のキーポイントを含み得、口は１８個のキーポイントを含み得、顔の輪郭は１９個のキーポイントを含み得る。
【００２３】
例示的に、器官の各キーポイントに従って分類することもでき、例えば、キーポイントを目のキーポイント、眉毛のキーポイント、鼻のキーポイント、口のキーポイント、輪郭のキーポイントなど、様々なタイプのキーポイントに分類することができ、ここで、第１キーポイント〜第２２キーポイントは、目の各キーポイントであり得、第２３キーポイント〜第３８キーポイントは、眉毛のキーポイントであり得る。当該部分画像のサイズは、検出待ち顔画像の１０分の１、２０分の１などよりも小さい場合があり、とにかく、当該部分画像は、検出待ち顔画像よりもはるかに小さい。
【００２４】
他の実施例において、プリセットルールに従って、顔の複数のキーポイントを事前に定義し得ることを理解できる。複数のキーポイントについて、当該複数のキーポイントに対応する部分画像を取得し、即ち、１枚の部分画像は、複数のキーポイントに対応する。一可能な実施形態において、顔の複数のキーポイントを事前に定義することは、器官に従って顔キーポイントを分類して定義することを含み得、キーポイントのタイプは、目のキーポイント、眉毛のキーポイント、鼻のキーポイント、口のキーポイント、輪郭のキーポイントのうちの少なくとも１つを含み得る。例えば、同じタイプの複数のキーポイントは、目の第１キーポイント〜第２２キーポイントであってもよく、眉毛の第２３キーポイント〜第３８キーポイントであってもよい。当該部分画像のサイズは、検出待ち顔画像の半分、５分の１などよりも小さい場合があり、とにかく、当該部分画像は、検出待ち顔画像よりも小さい。
【００２５】
キーポイントの定義方式に基づいて、部分画像を抽出することができる。例えば、キーポイントのそれぞれについて、検出待ち顔画像を抽出して、当該キーポイントに対応する部分画像を抽出する。当該キーポイントに対応する部分画像は、当該キーポイントを含む部分画像であり、例えば、第１キーポイントについて、検出待ち顔画像を抽出して、当該第１キーポイントを含む部分画像を抽出する。更に例えば、プリセットルールに従って、同じタイプの複数のキーポイントについて、検出待ち顔画像を抽出して、当該タイプのキーポイントに対応する部分画像を抽出する。当該タイプのキーポイントに対応する部分画像は、当該タイプのキーポイントの全てを含む部分画像であり、例えば、目のキーポイントについて、検出待ち顔画像を抽出して、当該第１キーポイント〜第２２キーポイントを含む部分画像を抽出する。
【００２６】
１枚の部分画像が１つのキーポイントに対応する実施形態は、１枚の部分画像が複数のキーポイントに対応する実施形態と比べると、より小さい部分画像を抽出することができるため、検出効率をより高く向上させることができることに留意されたい。また、１枚の部分画像が複数のキーポイントに対応する実施形態は、１枚の部分画像が１つのキーポイントに対応する実施形態と比べると、抽出した部分画像の数が少なくなり、コンピュータ機器の演算量を減らすことができ、それにより、顔キーポイントをより早く決定することができる。
【００２７】
ステップＳ３０６において、各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定する。
【００２８】
各部分画像について、当該部分画像のテクスチャ特徴に基づき、当該部分画像に対応するキーポイントの候補点を決定することができる。即ち、各部分画像に対してキーポイント検出を実行して、当該部分画像に対応するキーポイントの候補点を決定することができる。候補点は、当該部分画像に対応するキーポイントとなる可能性のある点を指す。
【００２９】
いくつかの実施例において、トレーニングされたニューラルネットワークモデルを使用して、部分画像に対応するキーポイントの候補点を決定することができる。例えば、対応するニューラルネットワークモデルを使用して各キーポイントをマッピングして、当該キーポイントの候補点を取得することができる。各キーポイントに対応するニューラルネットワークは、事前にトレーニングされた部分画像ベースのニューラルネットワークモデルであり得る。１枚の部分画像が１つのキーポイントに対応することを例にとると、ニューラルネットワークモデルの数は、事前に定義された顔キーポイントの数と等しく、各キーポイントは、１つの部分画像ベースのニューラルネットワークモデルに対応することができる。このように、複数の部分画像を複数のニューラルネットワークモデルに同時に入力して、同期処理をして、処理速度を高速化することができる。当該部分画像ベースのニューラルネットワークモデルの入力は部分画像であり、出力は当該部分画像のヒットマップであり得る。ヒットマップ（Ｈｅａｔ  Ｍａｐ）とは、点分布の確率でエネルギ準位を表す画像を指し、画像内の１つのピクセル値の大きさは、当該ピクセルがキーポイントである確率を表す。ヒットマップは、部分画像内の各ピクセルがキーポイントとして使用される確率を表すことができる。確率値がプリセット条件を満たすピクセルは候補点であり、プリセット条件は、確率値がプリセットされた確率値より大きいことであり得、例えば、プリセットされた確率値は、０、０．１、０．５など、０から１の範囲の任意の値であり得る。このように、ニューラルネットワークを介して当該部分画像に対応するキーポイントの候補点を決定する方式は、顔キーポイント検出の正確度をさらに向上させることができる。
【００３０】
ステップＳ３０８において、各キーポイントの候補点を共同制約して、各顔キーポイントを決定する。
【００３１】
各キーポイントの候補点は各部分画像にそれぞれ対応するため、検出待ち顔画像全体の顔キーポイントを決定する場合、各部分画像に対応するキーポイントの候補点を共同制約して、当該部分画像に対応するキーポイントを決定する必要がある。検出待ち画像の各部分画像に対応するキーポイントのセットは、検出待ち顔画像全体の顔キーポイントである。各部分画像に対応するキーポイントを取得することにより、検出待ち画像全体の顔キーポイントを取得し、各部分画像を並行して処理するため、顔検出プロセスの時間消費を低減する。
【００３２】
一可能な実施形態において、各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップは、共同制約の条件に基づき、各部分画像内の候補点を共同制約して、各部分画像内のキーポイントを決定して、検出待ち顔画像全体の顔キーポイントを決定するステップを含み得る。ここで、共同制約の条件は、各部分画像に対応するキーポイントを組み合わせて満たされるべき条件を指示する。例えば、検出待ち顔画像内の顔の顔タイプが人の顔タイプである場合、ジョイント制約条件は、各部分画像に対応するキーポイントを組み合わせて満たされるべき顔特徴ベースの条件である。ここで、顔特徴ベースの条件は、目のキーポイントは口のキーポイントの上にあること、鼻のキーポイントは目のキーポイントと口のキーポイントの間にあることなどを含み得る。
【００３３】
いくつかの実施例において、各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップは、トレーニングされたニューラルネットワークモデルを使用して、各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップを含み得る。当該ニューラルネットワークモデルの入力は、部分画像のヒットマップであり得、出力は、検出待ち顔画像の各顔キーポイントであり得る。このように、ニューラルネットワークモデルを介して顔キーポイントを決定することは、顔キーポイントの検出効率をさらに向上させることができる。
【００３４】
各部分画像が複数のキーポイントに対応する場合、共同制約する時に、回転操作を実行する必要があるため、線形モデルを使用して共同制約を実行することができないことに留意されたい。各部分画像が１つのキーポイントに対応する場合、共同制約する時に、回転操作を実行する必要がないため、線形モデルを使用して共同制約を実行することができる。線形モデルに基づいて各キーポイントの候補点に対して共同制約を実行する場合、必要なソリューションは１つだけであり、複数のソリューションを必要とする非線形モデルより計算量が少なくなり、検出速度も早くなる。
【００３５】
本実施例において、各部分画像で、キーポイント確率が最も高いピクセルを単に顔キーポイントとして使用するのではなく、共同制約を実行する必要があることに留意されたい。例えば、特定のキーポイントにオクルージョンや暗光などの干渉要因がある場合、対応するピクセルがキーポイントとして使用される確率値が比較的に低くなるが、共同制約では、上記の干渉要因がチェックアウトされ、それらが顔キーポイントとして出力される。
【００３６】
本実施例の顔キーポイント検出方法に基づき、検出待ち顔画像を取得し、検出待ち顔画像に基づき、検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定し、各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定し、各キーポイントの候補点を共同制約して、各顔キーポイントを決定する。検出待ち顔画像全体における各キーポイントをそれぞれ含む部分画像について、当該部分画像内の対応するキーポイントの候補点をそれぞれ決定する。計算量を減らして、キーポイント候補点の決定効率を向上させることができる。それにより、各顔キーポイントの検出効率を向上させることができる。さらに、部分画像は、部分的な細部の特徴をより良く具現するため、本実施例に基づく顔キーポイント検出方法は、キーポイント検出の正確度を向上させることもできる。当該顔キーポイント検出方法をメイクアップアプリケーションに適用すると、検出効率が向上するため、キーポイント検出の時間消費を削減し、実行中のフリーズ現象を低減し、よりスムーズなメイクアップ効果を得ることができる。
【００３７】
動的シーンは、例えば、ビデオ共有アプリケーション、ビデオ撮影アプリケーション、ビデオ美化アプリケーションなどのアプリケーションにおける動的シーンであり得る。これらの動的シーンでは、アイシャドウを塗ったり、口紅を付けたり、小顔にするなど、顔をメイクアップすることができる。顔をメイクアップする時には、先ず、顔の五官を正確に特定すること、即ち、顔のキーポイント検出を実行する必要がある。各器官のキーポイントを検出した後、コンピュータグラフィックス（ＣＧ：Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）レンダリング技術を使用して、顔画像をメイクアップすることができる。本実施例に基づく顔キーポイント検出方法は、検出正確度が高いという有益な効果を有するため、顔をメイクアップするときに横顔、オクルージョン及び暗光などの特殊な状況による不正解なキーポイント検出やメイクアップが誤るという問題を回避することができる。それにより、メイクアップの安定性を向上させる。
【００３８】
動的シーンにはリアルタイム要件が高く、即ち、ビデオフレーム内の顔画像の顔キーポイントをリアルタイムで検出する必要があり、即ち、検出効率に対する要件が高く、本実施例に基づく顔キーポイント検出方法は、動的シーンにより良く適用することができることに留意されたい。動的シーンの流暢さを確保しながら、実行端末がスマート端末である適用環境に適用する。
【００３９】
そのうちの１つの実施例において、各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップは、線形モデルに基づいて各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップを含む。
【００４０】
本実施例に基づく顔キーポイント検出方法では、部分画像のそれぞれが１つのキーポイントに対応することを理解することができる。共同制約する時には、回転操作を実行する必要がないため、線形モデルに基づき各キーポイントの候補点に対して共同制約を実行し、それにより、検出待ち顔画像内の各顔キーポイントを決定することができる。特に、横顔の姿では、従来の非線形モデルに解の偏差があることが多いが、線形モデルベース共同制約は、より正確な顔キーポイントを取得することができる。線形モデルに基づき各キーポイントの候補点に対して共同制約を実行する場合、必要なソリューションは１つだけであるため、複数のソリューションを必要とする非線形モデルより計算量が少なく、且つグローバルな最適化への収束を保証することができる。
【００４１】
非線形モデルと比較して、線形モデルは、グローバルな最適化への収束を保証することができ、計算量を少なくする効果がある。したがって、本実施例に基づく顔キーポイント検出方法は、各顔キーポイントを決定する効率をさらに向上させる同時に、顔キーポイント検出の正確度を向上させることができる。当該顔キーポイント検出方法をメイクアップアプリケーションに適用すると、検出効率及び正確度が向上するため、キーポイント検出の時間消費をさらに削減し、実行中のフリーズ現象を低減し、よりスムーズなメイクアップ効果を得ることができる。同時に、線形モデルはグローバルな最適化を保証することができるため、横顔の姿での解の偏差があることを回避し、横顔の姿でのメイクアップの正確度を向上させることができる。
【００４２】
さらに、線形モデルは、動的線形点分布モデルである。動的線形点分布モデルは、動的な線形制約条件に基づく点分布モデルである。一可能な実施形態において、各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップは、動的線形点分布モデルに基づいて、各部分画像の制約パラメータを取得するステップと、各制約パラメータに基づき、各部分画像のキーポイントの候補点を共同制約して、各部分画像の顔キーポイントを取得するステップと、を含む。
【００４３】
点分布モデル（ＰＤＭ：Ｐｏｉｎｔ  Ｄｉｓｔｒｉｂｕｔｉｏｎ  Ｍｏｄｅｌ）とは、特定のカテゴリの対象におけるキーポイントの分布の統計モデルを指し、当該カテゴリの対象の形状特徴を反映することができる。本実施例において、点分布モデルは、顔キーポイント分布の統計モデルである。動的な線形点分布モデル、制約パラメータ（ＰＤＭパラメータ）をリアルタイムで動的に更新することができるため、検出結果が正確になる。したがって、本実施例に基づく顔キーポイント検出方法は、グローバルな最適化への収束を保証し、計算量が少なく、制約パラメータをリアルタイムで動的に更新することができる。それにより、本実施例に基づく顔キーポイント検出方法は、各顔キーポイントを決定する効率をさらに向上させる同時に、顔キーポイント検出の正確度をさらに向上させることができる。
【００４４】
そのうちの１つの具体的な実施例において、動的線形点分布モデルの入力は各部分画像のヒットマップであり、出力は各顔キーポイントである。当該動的線形点分布モデルにおける共同制約解決プロセスの最適化目標関数は、
【００４５】
【数１】
2022502751.tif 000003
【００４６】
であり得る。
【００４７】
ここで、Hk[x,y]は、ｋ番目のキーポイントが［ｘ，ｙ］座標に位置する確率であり、λは、通常の制約強度であり、経験により０．１〜５．０の任意の値に設定することができ、ＢはＰＤＭパラメータである。ＭＰＤＭは、点分布モデルの基底ベクトルで構成される行列であり、ＭＰＤＭは、複合構築行列であり、Λは、主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐｌｅ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ、主成分分析とは、トレーニングデータ内のキーポイントデータの冗長成分を除去して、主成分ベクトルを取得することを指す）の主成分ベクトルに対応する特徴値で構成されるベクトルであり、ｓ．ｔ．は、制約条件を示す。
【００４８】
ここで、ＰＣＡは、次元削減によって、原データの複数の指標を少数の包括的な指標に変換し、当該少数の包括的な指標は原データのほとんどの情報を反映することができるため、当該少数の包括的な指標は原データの主成分と見なされることができる。
【００４９】
さらに、本実施例において、制約条件は、
【００５０】
【数２】
2022502751.tif 000004
【００５１】
であり、ここで、［ｘ，ｙ］は、各顔キーポイントの３次元空間座標を表し、ｓは、スケーリングファクタを示し、１つの浮動小数点数であり得、Φは、ＰＣＡ基底ベクトルで構成される行列を表し、ＢはＰＤＭパラメータを表し、Ｔは、シフトファクタを表す。上記の式の乗算は行列乗算であり、行列乗算には結合法則があるため、上記の制約条件はさらに、［Ｘ，Ｙ］＝ＭＰＤＭ・Ｂに書き直すことができます。ここで、ＭＰＤＭは複合構築行列であり得、例えば、ＭＰＤＭの第１列は
【００５２】
【数３】
2022502751.tif 000005
【００５３】
であり、ＭＰＤＭの第２列は、ベクトル［１，０，１，０，……，１，０］であり、ＭＰＤＭの第３列はベクトル［０，１，０，１，……，０，１］であり、ＭＰＤＭの第４列から最後の列はＰＣＡ基底ベクトルである。パラメータＢを解くとき、Ｂ＝（ＭＰＤＭ）-1・［Ｘ，Ｙ］であり、ここで、（ＭＰＤＭ）-1はＭＰＤＭの擬似逆行列を表す。
【００５４】
従来の制約条件と比較すると、
【００５５】
【数４】
2022502751.tif 000006
【００５６】
であり、ここで、Ｒは回転係数を表し、
【００５７】
【数５】
2022502751.tif 000007
【００５８】
として表されることができる。
【００５９】
ここで、θ、φ、ψは、それぞれ、３次元空間座標のＸ、Ｙ、Ｚ軸を回って回転する角度を表す。従来の制約条件には非線形係数Ｒがあるため、当該式のパラメータＢを解く必要がある。これには、勾配降下法などの複雑なアルゴリズムを使用する必要があり、時間消費が多く、グローバルな最適化を保証するとは限らない。
【００６０】
本実施形態ベースの動的線形点分布モデルでは、共同制約する時、回転操作を実行する必要がなく、制約条件には非線形係数がないため、顔キーポイント検出の効率が高い。
【００６１】
他の実施例において、線形モデルは線形点分布モデルであってもよいことを理解することができ、このように、各顔キーポイントを決定する効率をさらに向上させる同時に、顔キーポイント検出正確度を向上させるという有益な効果を得ることができる。
【００６２】
そのうちの１つの実施例において、各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、検出待ちフレームが、プリセットフレームではない場合、検出待ちフレームの前のフレームにおいて各キーポイントをそれぞれ含む部分画像を取得するステップと、前のフレーム及び検出待ちフレームに対応する部分画像に基づいて、検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップとを含む。
【００６３】
ここで、プリセットされたフレームは、事前に設定されたフレームであり得、当該プリセットされたフレームは、非キーフレームまたは最初のフレームであり得る。ここで、キーフレームとは、キー情報を含むビデオフレームであってもよく、プリセットされた数のフレームまたは時間ごとに取得したビデオフレームなどであってもよい。プリセットされていないフレームはキーフレーム、非最初のフレームである。最初のフレームとは、動的シーンにおいて顔キーポイントを検出するための第１フレームを指すことができる。非最初のフレームとは、動的シーンにおいて顔キーポイントを検出するための第１フレームの後のフレームを指すことができる。前のフレームは、検出待ちフレームの前の任意のフレームであり、前のフレームは検出待ちフレームの前のフレームを含んでもよく、検出待ちフレームの前の複数のフレームを含んでもよい。さらに、前のフレームは、検出待ちフレームと連続する少なくとも１つのフレームであり得る。例えば、前のフレームは、検出待ちフレームの前のフレームであり得る。
【００６４】
一可能な実施形態において、各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、プリセットされたフレームが最初のフレームであり、検出待ちフレームがプリセットされていないフレームであり、即ち、検出待ちフレームが非最初のフレームである場合、検出待ちフレームの前のフレームにおいて各キーポイントをそれぞれ含む部分画像を取得するステップと、前のフレーム及び検出待ちフレームに対応する部分画像に基づいて、検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップとを含む。ここで、前のフレーム及び検出待ちフレームに対応する部分画像は、同じキーポイントに対応する前のフレーム内の部分画像及び検出待ちフレーム内の部分画像である。
【００６５】
一可能な実施形態において、各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、プリセットされたフレームが非キーフレームであり、検出待ちフレームがプリセットされていないフレームであり且つ非最初のフレームである場合、検出待ちフレームの前のフレームにおいて各キーポイントをそれぞれ含む部分画像を取得するステップと、前のフレーム及び検出待ちフレームに対応する部分画像に基づいて、検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップとを含む。
【００６６】
ここで、検出待ちフレームがプリセットされていないフレームであり且つ非最初のフレームである場合、当該検出待ちフレームがキーフレームであり、且つ当該キーフレームが動的シーンの最初のフレームではないことを意味する。前のフレーム及び検出待ちフレームに対応する部分画像は、同じキーポイントに対応する前のフレーム内の部分画像及び検出待ちフレーム内の部分画像である。
【００６７】
本実施例において、検出待ちフレームが、プリセットフレームではない場合、検出待ちフレーム及びその前のフレームに対応する部分画像を組み合わせて、当該検出待ち顔画像に対応するキーポイントの候補点を決定し、即ち、当該検出待ちフレームの部分画像に対応するキーポイントの候補点を決定する。前のフレーム及び検出待ちフレームに対応する部分画像は、同じキーポイントに対応する前のフレーム内の部分画像及び検出待ちフレーム内の部分画像である。検出待ちフレームの部分画像の数は１より大きいことを理解することができる。当該検出待ちフレームの部分画像の数は、当該検出待ちフレーム内の顔キーポイントの数と同じであってもよい。
【００６８】
前のフレームの部分画像の決定する方法は、事前検出によりキーポイント位置を予測し、当該予測されたキーポイント位置に基づき、部分画像の抽出を実行して、前のフレームの部分画像を取得することができ、前のフレームの顔キーポイントの検出結果に基づき、部分画像の抽出を実行して、前のフレームの部分画像を取得することもできる。ここで、前のフレームの顔キーポイントの検出結果は、本願実施例で提供する顔キーポイント検出方法を用いて当該前のフレームを検出することにより取得された検出結果である。
【００６９】
本実施例に基づく顔キーポイント検出方法は、検出待ちフレームがプリセットフレームではない場合、検出待ちフレーム及びその前のフレームを組み合わせて、当該検出待ちフレームの部分画像に対応するキーポイントの候補点を決定し、このように、前のフレームと検出待ちフレーム内のキーポイントの一貫性を確保することができる。それにより、動的シーンのキーポイントの安定性を向上させることができる。当該顔キーポイント検出方法がメイクアップアプリケーションに適用される場合、ビデオの連続フレームでの顔キーポイント検出の安定性を向上させ、メイクが揺れるという問題を改善することができる。
【００７０】
そのうちの１つの実施例において、各キーポイントの候補点を共同制約して、各顔キーポイントを決定した後、上記のステップは、前記顔キーポイントのそれぞれに基づき、部分画像の抽出を実行して、次のフレームの顔画像の前のフレームにおいて各キーポイントをそれぞれ含む部分画像を決定することをさらに含む。
【００７１】
ここで、検出待ちフレームの顔キーポイントに基づいて、部分画像の抽出を実行し、各キーポイントをそれぞれ含む、当該検出待ちフレームの次のフレームの顔画像の前のフレーム（即ち、現在検出するフレーム）の部分画像を決定することができ、即ち、本願実施例で提供する顔キーポイント検出方法を用いて、現在検出するフレームの顔キーポイントを取得した後、取得した顔キーポイントに基づき、部分画像の抽出を実行して、各キーポイントを含む部分画像を取得し、その後、次の検出待ちフレームを処理し、したがって、取得した、各キーポイントが含まれている部分画像を検出待ち次のフレームの前のフレームの部分画像として使用することができる。例えば、当前検出待ちフレームが第Ｎ（Ｎは自然数である）フレームであると、第Ｎフレームの各顔キーポイントに基づき、部分画像をそれぞれ抽出して、第Ｎ＋１フレームの顔画像の前のフレームにおいて各キーポイントをそれぞれ含む部分画像を取得する。同じ方法で、最初のｍフレームにおいて各キーポイントをそれぞれ含む部分画像を取得することができる。ｍはＮより小さい自然数である。
【００７２】
このように、事前検出方式よりも、前のフレームにおいて各キーポイントをそれぞれ含む部分画像をより正確に決定することができ、それにより、キーポイント検出の正確度をさらに向上させることができる。
【００７３】
そのうちの１つの実施例において、各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、検出待ちフレームがプリセットフレームである場合、検出待ちフレームの各部分画像に基づいて、検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップを含む。
【００７４】
即ち、検出待ちフレームが事前に設定されたフレームである場合、当該検出待ちフレームの各部分画像に従って、検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定することができる。当該プリセットされたフレームは、非キーフレームまたは最初のフレームであり得る。このように、検出待ちフレームがプリセットフレームである場合、例えば、当該検出待ちフレームが最初のフレームである場合、前のフレームは存在せず、当該検出待ちフレームの各部分画像に基づいて、当該検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定する。
【００７５】
そのうちの１つの実施例において、各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、プリセットされたフレームは最初のフレームであり、検出待ちフレームがプリセットフレームである場合、検出待ちフレームの各部分画像に基づいて、検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップを含む。検出待ちフレームが最初のフレームであるため、当該検出待ちフレームの前のフレームが存在せず、コンピュータ機器は、検出待ちフレームの各部分画像に従って、検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定することができる。
【００７６】
そのうちの１つの実施例において、各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、プリセットされたフレームは非キーフレームであり、検出待ちフレームがプリセットフレームである場合、検出待ちフレームの各部分画像に基づいて、検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップを含む。ここで、非キーフレームは、キー情報が含まれてないビデオフレームであってもよく、したがって、非キーフレームの処理方式を簡略化することができ、非キーフレーム自体の各部分画像のみに基づいて、各部分画像に対応するキーポイントの候補点を取得することができ、コンピュータ機器の演算量が低減する。
【００７７】
そのうちの１つの具体的な実施例において、図４及び図５に示されたように、トレーニングされたニューラルネットワークモデルを使用して、部分画像に対応するキーポイントの候補点を決定し、部分画像の各ピクセルがキーポイントとして使用される確率をヒットマップの形態で表し、それにより、キーポイントの候補点を決定する。例えば、各ニューラルネットワークモデルの入力は、１つの１６×１６の部分画像であり、出力は８×８のヒットマップであり、それらの間には、２つの畳み込み層及び１つの全結合層があり、畳み込み層の畳み込みカーネルサイズは全て５×５であり、畳み込み層中では充填及びプーリングは使用されず、畳み込み層の全ては正規化線形ユニット（ＲｅＬＵ：Ｔｈｅ  Ｒｅｃｔｉｆｉｅｄ  Ｌｉｎｅａｒ  Ｕｎｉｔ）を活性化関数として使用する。ヒットマップのピクセル値の大きさは、当該ピクセルがキーポイントである確率の高さを表し、ピクセル値が大きいほど、当該点ピクセルがキーポイントである確率が高くなる。当該ニューラルネットワークがトレーニングされると、ニューラルネットワークのパラメータは、分散が０．０１であり、平均値が０であるガウス分布で初期化され、トレーニング方法は、確率的勾配降下法（ＳＧＤ：Ｓｔｏｃｈａｓｔｉｃ  Ｇｒａｄｉｅｎｔ  Ｄｅｓｃｅｎｔ）アルゴリズムを使用してニューラルネットワークのパラメータを解き、各反復トレーニングにおいて、逆伝播誤差は、予測されたヒットマップと表記したヒットマップの間のユークリッド距離である。各キーポイントの候補点は、同じニューラルネットワーク構造を使用して決定されるが、それらは独立してトレーニングされるため、各顔キーポイントに対応するニューラルネットワークのパラメータは異なる。トレーニングに使用されるトレーニングデータは、公開された３００Ｗデータセット及びＹｏｕｔｕＬａｂによって表記されたデータセットである可能性があることに留意されたい。
【００７８】
当該具体的な実施例では、図４及び図６に示されたように、検出待ちフレームがプリセットフレームである場合、検出待ちフレームの各部分画像に基づいて、検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定する。図５及び図６に示されたように、検出待ちフレームが、プリセットフレームではない場合、検出待ちフレームの前のフレームにおいて各キーポイントをそれぞれ含む部分画像を取得し、前のフレーム及び検出待ちフレームに対応する部分画像に基づいて、検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定する。ここで、図６において上に位置する顔画像はプリセットされたフレームの顔画像であり、下に位置する顔画像は、プリセットされていないフレームの顔画像である。即ち、検出待ちフレームがプリセットフレームである場合、検出待ち顔画像内の各キーポイントの候補点は、当該検出待ちフレームの１枚の部分画像によって決定されたものである。検出待ちフレームが、プリセットフレームではない場合、検出待ち顔画像内の各キーポイントの候補点は、当該検出待ちフレームの１枚の部分画像及び前のフレームの１枚の部分画像を組み合わせ、合計２枚の部分画像によって決定されたものである。
【００７９】
そのうちの１つの実施例において、検出待ち顔画像は顔画像であり、顔キーポイントは顔キーポイントである。
【００８０】
顔キーポイント（Ｆａｃｉａｌ  Ｌａｎｄｍａｒｋｓ）は、目角、瞼の中点、鼻の先、口元、輪郭などの点の集合など、顔画像内で五官の意味を持つ点の集合を指す。
【００８１】
本実施例に基づく顔キーポイント検出方法は、顔キーポイントの決定効率及び正確度を向上させることができる。
【００８２】
そのうちの１つの実施例において、各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定する方式は、各部分画像について、部分画像のヒットマップを決定するステップであって、当該ヒットマップは、対応する部分画像内の各ピクセルがキーポイントとして使用される確率を含むステップと、当該ヒットマップに従って、部分画像に対応するキーポイントの候補点を決定するステップとを含む。
【００８３】
部分画像内の各ピクセルがとしてキーポイントとして使用される確率をヒットマップで表すことができる。当該候補点は、キーポイントとして使用される確率がプリセットされた確率値より大きいピクセルであり得る。当該プリセットされた確率値は、０、０．１など、０と１の間の任意の数であり得る。即ち、当該ヒットマップに従って、部分画像に対応するキーポイントの候補点を決定することができる。特定のキーポイントにオクルージョンや暗光などの干渉要因がある場合、対応するヒットマップでのヒット値も低いが、共同制約する時、上記の干渉要因がテックアウトされる。
【００８４】
ヒットマップにはキーポイント分布の確率情報が含まれたため、特定のキーポイントにオクルージョンや暗光などの干渉要因がある場合、対応するヒットマップでのヒット値も低いため、横顔、オクルージョン及び暗光などの特殊な状況でのキーポイントの検出正確度を向上させることができる。当該顔キーポイント検出方法がメイクアップアプリケーションに適用される場合、当該方法は横顔、オクルージョン及び暗光などの特殊な状況でのキーポイントの検出正確度を向上させることができるため、横顔、オクルージョン及び暗光などの特殊な状況でのメイクアップの正確度を向上させ、メイクの位置が混乱するという問題を改善する。
【００８５】
そのうちの１つの実施例において、検出待ち顔画像を取得するステップは、初期の顔画像を取得するステップと、初期の顔画像を前処理して、検出待ち顔画像を取得するステップとを含む。
【００８６】
初期の顔画像は、カメラによって収集された未加工の顔画像であり得る。前処理は、両目の瞳孔キーポイントが同じ水平線にあり、又は／及び、双眼瞳孔キーポイントの水平距離がプリセットの値になるように、回転又は／及びスケーリングなどの操作することである。回転とは、顔画像を両目の瞳孔キーポイントが同じ水平線にあるように回転させることを指す。スケーリングとは、顔画像を引き伸ばすか圧縮するプロセスを指す。前処理は、初期の顔画像のテクスチャ特徴画像を取得すること、又は／及び、初期の顔画像に対して顔エリアのポジショニングなどの操作を実行することも含み得る。このように、顔キーポイント検出の効率をさらに向上させることができる。
【００８７】
そのうちの１つの実施例において、前処理は、両目の瞳孔キーポイントが水平線にあるように、初期の顔画像を回転させ、又は／及び、両目の瞳孔キーポイントの水平距離がプリセットの値になるように、初期の顔画像をスケーリングする。当該プリセットの値は、事前に決定された両目の瞳孔のキーポイントの水平距離値である。例えば、１６０ピクセルであり得る。このように、顔キーポイント検出の効率をさらに向上させることができる。
【００８８】
そのうちの１つの実施例において、検出待ち顔画像に基づき、検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップは、検出待ち顔画像に対して顔キーポイントの初期化を実行するステップと、初期化結果に基づいて検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップとを含む。
【００８９】
本実施例において、検出待ち顔画像に対して顔キーポイントの初期化を実行する方式は、動的シーンの最初のフレームであってもよく、１枚の独立した顔画像であってもよいなど、検出待ち顔画像がその前のフレームの顔画像を有しない場合、平均顔モデルのキーポイント座標に従って、初期化キーポイントの初期化結果を決定することができることを含み得る。当該初期化結果は、平均顔モデルのキーポイント座標であってもよい。平均顔モデルのキーポイント座標は、大量の顔モデルを分析した後に取得された各顔キーポイントの平均位置座標であり得る。検出待ち顔画像がその前のフレームの顔画像を有する場合、前のフレームの顔画像のキーポイント座標に従って、初期化キーポイントの初期化結果を決定することができる。当該初期化結果は、前のフレームの顔画像のキーポイント座標であり得る。
【００９０】
他の実施例において、事前検出方法により、検出待ち顔画像に対して顔キーポイントの初期化を実行するなど、他の方法で、検出待ち顔画像に対して顔キーポイントの初期化を実行することもできることを理解することができる。
【００９１】
初期化結果に基づいて検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定することは、初期化結果を対応するキーポイントの部分画像の中心として使用して、プリセットされたサイズで画像を抽出して、当該キーポイントを含む部分画像を取得することであってもよい。
【００９２】
このように、検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定する効率的な実施形態を提供し、それにより、顔キーポイントの検出効率をさらに向上させる。
【００９３】
図７に示されたように、一具体的な実施例において、顔キーポイント検出方法は動的シーンに適用され、当該顔キーポイント検出方法は、
初期の顔画像を取得するステップと、両目の瞳孔キーポイントが同じ水平線にあり、且つ両目の瞳孔キーポイントの水平距離がプリセットの値になるように、初期の顔画像を回転及びスケーリングして、検出待ち顔画像を取得するステップであって、検出待ち顔画像は、検出待ちフレームの顔画像であり、検出待ち顔画像は顔画像であるステップと、
検出待ち顔画像に対して顔キーポイントの初期化を実行するステップと、初期化結果に基づいて検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップであって、当該検出待ち顔画像は、検出待ちフレームの顔画像であるステップと、
検出待ちフレームが、プリセットフレームではない場合、検出待ちフレームの前のフレームにおいて各キーポイントをそれぞれ含む部分画像を取得するステップと、前のフレーム及び検出待ちフレームに対応する部分画像に基づいて、検出待ち顔画像において各部分画像に対応するヒットマップをそれぞれ決定するステップと、
検出待ちフレームがプリセットフレームである場合、検出待ちフレームの各部分画像に基づいて、検出待ち顔画像において各部分画像に対応するヒットマップをそれぞれ決定するステップと、
動的線形点分布モデルに基づいて各ヒットマップを共同制約して、各顔キーポイントを決定するステップであって、顔キーポイントは顔キーポイントであるステップと、
前記顔キーポイントのそれぞれに基づき、部分画像の抽出を実行して、次のフレームの顔画像の前のフレームにおいて各キーポイントをそれぞれ含む部分画像を決定するステップとを含む。
【００９４】
本実施例に基づく顔キーポイント検出方法は、顔キーポイントの検出効率、正確度及び安定性を向上させることができる。
【００９５】
上記の顔キーポイント検出方法の有益な効果をより明確に説明するためには、図８及び図９を参照する。図８は、当顔の片側に暗光がある場合、先行技術で当該横顔の眉毛エリア、目エリアのキーポイントが乱れていることを検出したことであり、したがって、対象に「眼鏡をかけてる」という「メイクアップ操作」を実行する時、眼鏡の位置が明らかに混乱している。図９は、本願の実施形態を用いて当該暗光のある側面の眉毛エリア、目エリアのキーポイントが正解であることであり、したがって、対象に「眼鏡をかけている」という「メイクアップ操作」を実行する時、眼鏡の位置が正しい。
【００９６】
図３及び図７のフローチャートにおける各ステップは、矢印の指示に従って順次に表示されるが、これらのステップは、必ず、矢印によって指示された順序に従って順序に実行されるとは限らないことに留意されたい。本明細書で明確に説明されていない限り、これらのステップの実行に対して厳しく順序を限定せず、これらのステップは、他の順序で実行されてもよい。さらに、図３、図７の少なくとも一部のステップは、複数のサブステップまたは複数の段階を含み得、これらのサブステップまたは段階は、必ず、同じ時刻で実行されて完了するとは限れず、異なる時刻で実行される場合もあり、これらのステップまたは段階の実行順序は、必ず、順次に実行されることに限らず、他のステップまたは他のステップのサブステップまたは段階の少なくとも一部と交代または交互に実行することができる。
【００９７】
一実施例において、図１０に示されたように、顔キーポイント検出装置を提供し、当該顔キーポイント検出装置は、
検出待ち顔画像を取得するように構成される画像全体取得モジュール８０２であって、当該検出待ち顔画像は、検出待ちフレームの顔画像である画像全体取得モジュール８０２と、
当該検出待ち顔画像に従って、当該検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するように構成される部分画像決定モジュール８０４と、
各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するように構成される部分候補点決定モジュール８０６と、
各キーポイントの候補点を共同制約して、各顔キーポイントを決定するように構成されるキーポイント全体決定モジュール８０８とを備える。
【００９８】
当該顔キーポイント検出装置は、検出待ち顔画像を取得し、当該検出待ち顔画像に基づき、当該検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定し、各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定し、各キーポイントの候補点を共同制約して、各顔キーポイントを決定する。検出待ち顔画像全体における各キーポイントをそれぞれ含む部分画像について、当該部分画像内の対応するキーポイントの候補点をそれぞれ決定する。したがって、計算量を減らして、キーポイント候補点の決定効率を向上させることができる。それにより、各顔キーポイントの検出効率を向上させることができる。
【００９９】
そのうちの１つの実施例において、キーポイント全体決定モジュールは、線形モデルに基づき、各キーポイントの候補点を共同制約して、各顔キーポイントを決定するように構成される。
【０１００】
そのうちの１つの実施例において、当該線形モデルは、動的線形点分布モデルである。
【０１０１】
そのうちの１つの実施例において、部分候補点決定モジュールは、当該検出待ちフレームが、プリセットフレームではない場合、当該検出待ちフレームの前のフレームにおいて各キーポイントをそれぞれ含む部分画像を取得し、当該前のフレーム及び当該検出待ちフレームに対応する部分画像に基づいて、当該検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するように構成される。
【０１０２】
そのうちの１つの実施例において、当該顔キーポイント検出装置はさらに、キーポイント全体決定モジュールが各キーポイントの候補点を共同制約して、各顔キーポイントを決定した後、当該顔キーポイントのそれぞれに基づき、部分画像の抽出を実行して、次のフレームの顔画像の前のフレームにおいて各キーポイントをそれぞれ含む部分画像を決定するように構成される先順位の部分画像決定モジュールを備える。
【０１０３】
そのうちの１つの実施例において、部分候補点決定モジュールは、当該検出待ちフレームがプリセットフレームである場合、当該検出待ちフレームの各部分画像に基づいて、当該検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するように構成される。
【０１０４】
そのうちの１つの実施例において、当該検出待ち顔画像は顔画像であり、当該顔キーポイントは顔キーポイントである。
【０１０５】
そのうちの１つの実施例において、部分候補点決定モジュールは、各部分画像について、当該部分画像のヒットマップを決定し、当該ヒットマップは、対応する部分画像内の各ピクセルがキーポイントとして使用される確率を含み、
当該ヒットマップに従って、当該部分画像に対応するキーポイントの候補点を決定するように構成される。
【０１０６】
そのうちの１つの実施例において、画像全体取得モジュールは、初期の顔画像を取得し、当該初期の顔画像を前処理して、当該検出待ち顔画像を取得するように構成される。
【０１０７】
そのうちの１つの実施例において、画像全体取得モジュールはさらに、両目の瞳孔キーポイントが同じ水平線にあるように、当該初期の顔画像を回転させ、又は／及び、両目の瞳孔キーポイントの水平距離がプリセットの値になるように、当該初期の顔画像をスケーリングするように構成される。
【０１０８】
そのうちの１つの実施例において、部分候補点決定モジュールは、当該検出待ち顔画像に対して顔キーポイントの初期化を実行し、初期化結果に基づいて当該検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するように構成される。
【０１０９】
一実施例において、コンピュータ機器を提供し、当該コンピュータ機器はサーバであってもよく、当該コンピュータ機器は、システムバスを介して接続されたプロセッサ、メモリ及びネットワークインターフェースを備える。ここで、当該コンピュータ機器のプロセッサは、計算や制御機能を提供するために使用される。当該コンピュータ機器のメモリは、不揮発性記憶媒体及び内部メモリを含む。当該不揮発性記憶媒体には、操作システム及びコンピュータプログラムが記憶される。当該内部メモリは、不揮発性記憶媒体内の操作システム及びコンピュータプログラムの実行のための環境を提供する。当該コンピュータ機器のネットワークインターフェースは、ネットワーク接続を介して外部の端末と通信するために使用される。当該コンピュータプログラムがプロセッサによって実行されると、顔キーポイント検出方法を実現する。
【０１１０】
一実施例において、コンピュータ機器を提供し、当該コンピュータ機器は端末であってもよい。当該コンピュータ機器は、システムバスを介して接続されたプロセッサ、メモリ、ネットワークインターフェース、ディスプレイスクリーン及び入力装置を備える。ここで、当該コンピュータ機器のプロセッサは、計算や制御機能を提供するために使用される。当該コンピュータ機器のメモリは、不揮発性記憶媒体及び内部メモリを含む。当該不揮発性記憶媒体には、操作システム及びコンピュータプログラムが記憶される。当該内部メモリは、不揮発性記憶媒体内の操作システム及びコンピュータプログラムの実行のための環境を提供する。当該コンピュータ機器のネットワークインターフェースは、ネットワーク接続を介して外部の端末と通信するために使用される。当該コンピュータプログラムがプロセッサによって実行されると、顔キーポイント検出方法を実現する。当該コンピュータ機器のディスプレイスクリーンは、液晶ディスプレイスクリーンまたは電子インクディスプレイスクリーンであってもよく、当該コンピュータ機器の入力装置は、ディスプレイスクリーンを覆うタッチ層であってもよく、コンピュータ機器のハウジングに配置されたキー、トラックボールまたはタッチパッドであってもよく、さらに外部のキーボード、タッチパッドまたはマウスなどであってもよい。
【０１１１】
一実施形態において、コンピュータ機器を提供し、当該コンピュータ機器は、サーバまたは端末であってもよい。当該コンピュータ機器は、メモリと、プロセッサとを備え、当該メモリにはコンピュータプログラムが記憶され、当該プロセッサが当該コンピュータプログラムを実行するとき、上記の顔キーポイント検出方法のステップを実現する。
【０１１２】
そのうちの１つの実施例において、当該コンピュータ機器は、メモリと、プロセッサとを備え、当該メモリにはコンピュータプログラムが記憶され、当該プロセッサが当該コンピュータプログラムを実行するとき、
【０１１３】
検出待ち顔画像を取得するステップであって、当該検出待ち顔画像は、検出待ちフレームの顔画像であるステップと、
当該検出待ち顔画像に基づき、当該検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップと、
各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップと、
各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップとを実現する。
【０１１４】
そのうちの１つの実施例において、当該各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップは、
線形モデルに基づき、各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップを含む。
【０１１５】
そのうちの１つの実施例において、当該線形モデルは、動的線形点分布モデルである。
【０１１６】
そのうちの１つの実施例において、当該各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、
当該検出待ちフレームが、プリセットフレームではない場合、当該検出待ちフレームの前のフレームにおいて各キーポイントをそれぞれ含む部分画像を取得するステップと、
当該前のフレーム及び当該検出待ちフレームに対応する部分画像に基づいて、当該検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップとを含む。
【０１１７】
そのうちの１つの実施例において、当該各キーポイントの候補点を共同制約して、各顔キーポイントを決定した後、当該方法は、
当該顔キーポイントのそれぞれに基づき、部分画像の抽出を実行して、次のフレームの顔画像の前のフレームにおいて各キーポイントをそれぞれ含む部分画像を決定するステップをさらに含む。
【０１１８】
そのうちの１つの実施例において、当該各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、
当該検出待ちフレームがプリセットフレームである場合、当該検出待ちフレームの各部分画像に基づいて、当該検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップを含む。
【０１１９】
そのうちの１つの実施例において、当該検出待ち顔画像は顔画像であり、当該顔キーポイントは顔キーポイントである。
【０１２０】
そのうちの１つの実施例において、当該各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定する方式は、
各部分画像について、当該部分画像のヒットマップを決定するステップであって、当該ヒットマップは、対応する部分画像内の各ピクセルがキーポイントとして使用される確率を含むステップと、
当該ヒットマップに従って、当該部分画像に対応するキーポイントの候補点を決定するステップとを含む。
【０１２１】
そのうちの１つの実施例において、当該検出待ち顔画像を取得するステップは、
初期の顔画像を取得するステップと、
当該初期の顔画像を前処理して、当該検出待ち顔画像を取得するステップとを含む。
【０１２２】
そのうちの１つの実施例において、当該前処理は、
両目の瞳孔キーポイントが同じ水平線にあるように、当該初期の顔画像を回転させること、
及び／又は、
両目の瞳孔キーポイントの水平距離がプリセットの値になるように、当該初期の顔画像をスケーリングすることを含む。
【０１２３】
そのうちの１つの実施例において、当該検出待ち顔画像に基づき、当該検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップは、
当該検出待ち顔画像に対して顔キーポイントの初期化を実行するステップと、
初期化結果に基づいて当該検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップとを含む。
【０１２４】
そのうちの１つの実施形態において、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供し、当該コンピュータプログラムがプロセッサによって実行されると、上記の顔キーポイント検出方法のステップを実現する。
【０１２５】
そのうちの１つの実施例において、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供し、当該コンピュータプログラムがプロセッサによって実行されると、
検出待ち顔画像を取得するステップであって、当該検出待ち顔画像は、検出待ちフレームの顔画像であるステップと、
当該検出待ち顔画像に基づき、当該検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップと、
各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップと、
各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップとを実現する。
【０１２６】
そのうちの１つの実施例において、当該各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップは、
線形モデルに基づき、各キーポイントの候補点を共同制約して、各顔キーポイントを決定するステップを含む。
【０１２７】
そのうちの１つの実施例において、当該線形モデルは、動的線形点分布モデルである。
【０１２８】
そのうちの１つの実施例において、当該各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、
当該検出待ちフレームが、プリセットフレームではない場合、当該検出待ちフレームの前のフレームにおいて各キーポイントをそれぞれ含む部分画像を取得するステップと、
当該前のフレーム及び当該検出待ちフレームに対応する部分画像に基づいて、当該検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップとを含む。
【０１２９】
そのうちの１つの実施例において、当該各キーポイントの候補点を共同制約して、各顔キーポイントを決定した後、当該方法は、
当該顔キーポイントのそれぞれに基づき、部分画像の抽出を実行して、次のフレームの顔画像の前のフレームにおいて各キーポイントをそれぞれ含む部分画像を決定するステップをさらに含む。
【０１３０】
そのうちの１つの実施例において、当該各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップは、
当該検出待ちフレームがプリセットフレームである場合、当該検出待ちフレームの各部分画像に基づいて、当該検出待ち顔画像内の各部分画像に対応するキーポイントの候補点をそれぞれ決定するステップを含む。
【０１３１】
そのうちの１つの実施例において、当該検出待ち顔画像は顔画像であり、当該顔キーポイントは顔キーポイントである。
【０１３２】
そのうちの１つの実施例において、当該各部分画像に基づいて、各部分画像に対応するキーポイントの候補点をそれぞれ決定する方式は、
各部分画像について、当該部分画像のヒットマップを決定するステップであって、当該ヒットマップは、対応する部分画像内の各ピクセルがキーポイントとして使用される確率を含むステップと、
当該ヒットマップに従って、当該部分画像に対応するキーポイントの候補点を決定するステップとを含む。
【０１３３】
そのうちの１つの実施例において、当該検出待ち顔画像を取得するステップは、
初期の顔画像を取得するステップと、
当該初期の顔画像を前処理して、当該検出待ち顔画像を取得するステップとを含む。
【０１３４】
そのうちの１つの実施例において、当該前処理は、
両目の瞳孔キーポイントが同じ水平線にあるように、当該初期の顔画像を回転させること、
及び／又は、
両目の瞳孔キーポイントの水平距離がプリセットの値になるように、当該初期の顔画像をスケーリングすることを含む。
【０１３５】
そのうちの１つの実施例において、当該検出待ち顔画像に基づき、当該検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップは、
当該検出待ち顔画像に対して顔キーポイントの初期化を実行するステップと、
初期化結果に基づいて当該検出待ち顔画像における各キーポイントをそれぞれ含む部分画像を決定するステップとを含む。
【０１３６】
上記の実施例の方法の全てまたは一部のプロセスは、コンピュータプログラムによって、関連するハードウェアに命令することにより完了してもよいことを当業者なら自明である。前記コンピュータプログラムは、不揮発性コンピュータ可読取記憶媒体に記憶されてもよく、当該コンピュータプログラムは実行される場合、上記の各方法の実施例のプロセスを含み得る。ここで、本願で提供される各実施例で使用されるメモリ、ストレージ、データベースまたは他の媒体への参照の全ては、不揮発性及び／または揮発性メモリを含み得る。不揮発性メモリは、読み取り専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）またはフラッシュメモリを含み得る。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）または外部キャッシュメモリを含み得る。説明するものであるが限定するものではないこととして、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、デュアルデータ率ＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、強化型ＳＤＲＡＭ（ＥＳＤＲＡＭ）、同期接続（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、ラムバス（Ｒａｍｂｕｓ）直接ＲＡＭ（ＲＤＲＡＭ）、直接メモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）、およびメモリバスダイナミックＲＡＭ（ＲＤＲＡＭ）などの様々な形であってもよい。
【０１３７】
以上、実施例の各技術的特徴を任意に組み合わせることができ、説明を簡潔にするために、上述の実施例における各技術的特徴の全ての可能な組み合わせについて説明していない。しかしながら、これらの技術的特徴の組み合わせに矛盾がない限り、それらの全ては、本明細書の範囲と見なされるべきである。
【０１３８】
上記の実施例は本願のいくつかの実施形態のみを説明しており、それらの説明はより具体的且つ詳細であるが、本発明の特許の範囲を限定するものとして解釈されるべきではない。当業者にとって、本願の構想から逸脱することなく、いくつかの変形又は改善を加えることもでき、これらの変形又は改善は、両方とも、本願の保護範囲に属することに留意されたい。したがって、本願の特許の保護範囲は、特許請求を基準とするべきである。
【図１】
2022502751.tif 000008
【図２】
2022502751.tif 000009
【図３】
2022502751.tif 000010
【図４】
2022502751.tif 000011
【図５】
2022502751.tif 000012
【図６】
2022502751.tif 000013
【図７】
2022502751.tif 000014
【図８】
2022502751.tif 000015
【図９】
2022502751.tif 000016
【図１０】
2022502751.tif 000017
【国際調査報告】
2022502751.tif 000018
2022502751.tif 000019
2022502751.tif 000020
2022502751.tif 000021