(57)【要約】  肖像属性モデル構築方法であって、顔検出データを取得し、関心のある顔領域を確定することと、前記関心のある顔領域の一部の肖像属性をランダムにタグ付けし、訓練サンプルを得ることと、前記訓練サンプルに基づいて肖像属性モデルを訓練することと、訓練済み肖像属性モデルを能動学習アルゴリズムによって最適化し、最適化された肖像属性モデルを得ることと、を含む。
2021524955.tif 000002
【特許請求の範囲】
【請求項１】
肖像属性モデル構築方法であって、
顔検出データを取得し、関心のある顔領域を確定することと、
前記関心のある顔領域の一部の肖像属性をランダムにタグ付けし、訓練サンプルを得ることと、
前記訓練サンプルに基づいて肖像属性モデルを訓練することと、
訓練済み肖像属性モデルから出力されたタグ無しサンプルセットに基づき、訓練済み肖像属性モデルを能動学習アルゴリズムによって最適化し、最適化された肖像属性モデルを得ることと、を含む肖像属性モデル構築方法。
【請求項２】
訓練済み肖像属性モデルから出力されたタグ無しサンプルセットに基づき、訓練済み肖像属性モデルを能動学習アルゴリズムによって最適化し、最適化された肖像属性モデルを得ることは、
訓練済み肖像属性モデルから出力されたタグ無しサンプルセットを取得することと、
予め設定されたクエリ関数を呼び出し、前記タグ無しサンプルセットからタグ付けされるサンプルを選択することと、
前記タグ付けされるサンプルをタグ付けし、タグ付けされたサンプルを得ることと、
前記タグ付けされたサンプルを歴史タグ付け済みサンプルに加え、新しい訓練サンプルを形成することと、
前記新しい訓練サンプルに基づいて前記訓練済み肖像属性モデルを最適化し、最適化された前記訓練済み肖像属性モデルを訓練済み肖像属性モデルとして再利用することとを含むことを特徴とする請求項１に記載の方法。
【請求項３】
関心のある顔領域の一部の肖像属性をランダムにタグ付けし、訓練サンプルを得ることは、
確定された複数の関心のある顔領域をデータセットとすることと、
タグ付け対象となるサンプルとして前記データセットのうちの関心のある顔領域の一部をランダムに選択することと、
前記タグ付け対象となるサンプルを肖像属性タグ付けサーバにプッシュすることと、
前記肖像属性タグ付けサーバからフィードバックされた肖像属性タグ付け結果を受信し、訓練サンプルを得ることとを含み、ここで、前記肖像属性タグ付け結果が、前記肖像属性タグ付けサーバがタグ付け対象となる属性指標のセットに基づいて前記タグ付け対象となるサンプルに対して肖像属性タグ付けすることによって得られ、前記タグ付け対象となる属性指標のセットが年齢、性別、前髪の有無、眼鏡を着用するかどうか、化粧の種類、眉毛を描くかどうか、口紅を塗るかどうか、チークカラーを塗るかどうか、髪型、肌の状態、顔の形、顔の上下停比較、顔の三停比較、ひげの種類、眉毛の形状、および見上げ皺の有無などの属性指標を含むことを特徴とする請求項１に記載の方法。
【請求項４】
顔検出データを取得し、関心のある顔領域を確定することは、
顔検出データを取得することと、
前記顔検出データを訓練済みニューラルネットワークモデルに入力し、関心のある顔領域を確定することとを含み、ここで、前記訓練済みニューラルネットワークモデルがサンプルデータのうちの顔検出データを入力データとし、サンプルデータのうちの顔位置を出力とし、訓練回数が予め設定された閾値に達するまで、逆伝播アルゴリズムおよびクロスエントロピー損失を用いてニューラルネットワークモデルにおける予め設定されたパラメータを調整し、そのうち、前記クロスエントロピー損失が、前記ニューラルネットワークモデルが前記サンプルデータのうちの顔検出データを認識し、予測顔位置を得て、かつ予測された顔位置を前記サンプルデータのうちの顔位置と比較することで得られたデータによって訓練されて得られることを特徴とする請求項１に記載の方法。
【請求項５】
顔検出データを訓練済みニューラルネットワークモデルに入力し、関心のある顔領域を確定することは、
顔検出データを取得することと、
前記顔検出データを訓練済みニューラルネットワークモデルに入力し、顔位置領域を取得することと、
顔位置領域のエッジを認識することと、
前記エッジに沿って予め設定された数の画素距離を拡張し、関心のある顔領域を得ることと、を含むことを特徴とする請求項４に記載の方法。
【請求項６】
顔検出データを訓練済みニューラルネットワークモデルに入力し、関心のある顔領域を確定することは、
顔検出データを取得することと、
前記顔検出データを訓練済みニューラルネットワークモデルに入力し、顔位置領域を取得することと、
前記顔位置領域に基づいて顔頭部位置情報を取得することと、
前記顔頭部位置情報に基づいて拡大し、関心のある顔領域を得ることと、を含むことを特徴とする請求項４に記載の方法。
【請求項７】
前記ニューラルネットワークモデルは、８層の畳み込み層と、４層のダウンサンプリング層と、２層の完全リンク層とを有する畳み込みニューラルネットワークモデルを含むことを特徴とする請求項４に記載の方法。
【請求項８】
前記訓練サンプルに基づいて肖像属性モデルを訓練することは、
前記訓練サンプルを訓練データと検証データにランダムに分割し、そのうち、前記訓練データのデータ量が前記検証データのデータ量よりも多いことと、
前記訓練データのうちの前記関心のある顔領域を入力とし、前記訓練データのうちの肖像属性を出力とし、肖像属性モデルを訓練することと、
前記検証データに基づいて訓練済み肖像属性モデルを検証することと、
検証に合格した場合には、訓練済み肖像属性モデルを得ることと、
検証に失敗した場合には、前記関心のある顔領域の一部の肖像属性を再びランダムにタグ付けし、訓練サンプルを得ることと、を含むことを特徴とする請求項１に記載の方法。
【請求項９】
訓練済み肖像属性モデルから出力されたタグ無しサンプルセットに基づき、訓練済み肖像属性モデルを能動学習アルゴリズムによって最適化し、最適化された肖像属性モデルを得た後、さらに、
最適化された肖像属性モデルによって肖像属性を認識することを含むことを特徴とする請求項１に記載の方法。
【請求項１０】
肖像属性モデル構築装置であって、
顔検出データを取得し、関心のある顔領域を確定するためのデータ取得モジュールと、
前記関心のある顔領域の一部の肖像属性をランダムにタグ付けし、訓練サンプルを得るためのタグ付けモジュールと、
前記訓練サンプルに基づいて肖像属性モデルを訓練するための訓練モジュールと、
訓練済み肖像属性モデルから出力されたタグ無しサンプルセットに基づき、訓練済み肖像属性モデルを能動学習アルゴリズムによって最適化し、最適化された肖像属性モデルを得るためのモデル最適化モジュールと、を備えることを特徴とする肖像属性モデル構築装置。
【請求項１１】
前記モデル最適化モジュールは、さらに、訓練済み肖像属性モデルから出力されたタグ無しサンプルセットを取得することと、予め設定されたクエリ関数を呼び出し、前記タグ無しサンプルセットからタグ付けされるサンプルを選択することと、前記タグ付けされるサンプルをタグ付けし、タグ付けされたサンプルを得ることと、前記タグ付けされたサンプルを歴史タグ付け済みサンプルに加え、新しい訓練サンプルを形成することと、前記新しい訓練サンプルに基づいて前記訓練済み肖像属性モデルを最適化し、最適化された前記訓練済み肖像属性モデルを訓練済み肖像属性モデルとして再利用することとに使用されることを特徴とする請求項１０に記載の装置。
【請求項１２】
前記タグ付けモジュールは、さらに、確定された複数の関心のある顔領域をデータセットとすることと、タグ付け対象となるサンプルとして前記データセットにおける関心のある顔領域の一部をランダムに選択することと、前記タグ付け対象となるサンプルを肖像属性タグ付けサーバにプッシュすることと、前記肖像属性タグ付けサーバからフィードバックされた肖像属性タグ付け結果を受信し、訓練サンプルを得ることとに使用され、ここで、前記肖像属性タグ付け結果が、前記肖像属性タグ付けサーバがタグ付け対象となる属性指標のセットに基づいて前記タグ付け対象となるサンプルに対して肖像属性タグ付けすることによって得られ、前記タグ付け対象となる属性指標のセットが、年齢、性別、前髪の有無、眼鏡を着用するかどうか、化粧の種類、眉毛を描くかどうか、口紅を塗るかどうか、チークカラーを塗るかどうか、髪型、肌の状態、顔の形、顔の上下停比較、顔の三停比較、ひげの種類、眉毛の形状および見上げ皺の有無などの属性指標を含むことを特徴とする請求項１０に記載の装置。
【請求項１３】
前記データ取得モジュールは、さらに、顔検出データを取得することと、前記顔検出データを訓練済みニューラルネットワークモデルに入力し、関心のある顔領域を確定することとに使用され、ここで、前記訓練済みニューラルネットワークモデルが、サンプルデータのうちの顔検出データを入力データとし、サンプルデータのうちの顔位置を出力とし、訓練回数が予め設定された閾値に達するまで、逆伝播アルゴリズムおよびクロスエントロピー損失を用いてニューラルネットワークモデルにおける予め設定されたパラメータを調整し、そのうち、前記クロスエントロピー損失が、前記ニューラルネットワークモデルが前記サンプルデータのうちの顔検出データを認識し、予測顔位置を得て、かつ予測された顔位置を前記サンプルデータのうちの顔位置と比較することで得られたデータによって訓練されて得られることを特徴とする請求項１０に記載の装置。
【請求項１４】
前記データ取得モジュールは、さらに、顔検出データを取得することと、前記顔検出データを訓練済みニューラルネットワークモデルに入力し、顔位置領域を取得することと、顔位置領域のエッジを認識することと、前記エッジに沿って予め設定された数の画素距離を拡張し、関心のある顔領域を得ることとに使用されることを特徴とする請求項１３に記載の装置。
【請求項１５】
メモリと、１つ以上のプロセッサとを含むコンピュータ機器であって、前記メモリにはコンピュータ読み取り可能な命令が記憶されており、前記コンピュータ読み取り可能な命令が前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサが、
顔検出データを取得し、関心のある顔領域を確定するステップと、
前記関心のある顔領域の一部の肖像属性をランダムにタグ付けし、訓練サンプルを得るステップと、
前記訓練サンプルに基づいて肖像属性モデルを訓練するステップと、
訓練済み肖像属性モデルから出力されたタグ無しサンプルセットに基づき、訓練済み肖像属性モデルを能動学習アルゴリズムによって最適化し、最適化された肖像属性モデルを得るステップと、を実行するコンピュータ機器。
【請求項１６】
前記プロセッサは、前記コンピュータ読み取り可能な命令を実行する際に、訓練済み肖像属性モデルから出力されたタグ無しサンプルセットを取得するステップと、
予め設定されたクエリ関数を呼び出し、前記タグ無しサンプルセットからタグ付けされるサンプルを選択するステップと、
前記タグ付けされるサンプルをタグ付けし、タグ付けされたサンプルを得るステップと、
前記タグ付けされたサンプルを歴史タグ付け済みサンプルに加え、新しい訓練サンプルを形成するステップと、
前記新しい訓練サンプルに基づいて前記訓練済み肖像属性モデルを最適化し、最適化された前記訓練済み肖像属性モデルを訓練済み肖像属性モデルとして再利用するステップと、をさらに実行することを特徴とする請求項１５に記載のコンピュータ機器。
【請求項１７】
前記プロセッサは、前記コンピュータ読み取り可能な命令を実行する際に、確定された複数の関心のある顔領域をデータセットとするステップと、
タグ付け対象となるサンプルとして前記データセットにおける関心のある顔領域の一部をランダムに選択するステップと、
前記タグ付け対象となるサンプルを肖像属性タグ付けサーバにプッシュするステップと、
前記肖像属性タグ付けサーバからフィードバックされた肖像属性タグ付け結果を受信し、訓練サンプルを得るステップとをさらに実行し、ここで、前記肖像属性タグ付け結果が、前記肖像属性タグ付けサーバがタグ付け対象となる属性指標のセットに基づいて前記タグ付け対象となるサンプルに対して肖像属性タグ付けすることによって得られ、前記タグ付け対象となる属性指標のセットが、年齢、性別、前髪の有無、眼鏡を着用するかどうか、化粧の種類、眉毛を描くかどうか、口紅を塗るかどうか、チークカラーを塗るかどうか、髪型、肌の状態、顔の形、顔の上下停比較、顔の三停比較、ひげの種類、眉毛の形状、および見上げ皺の有無などの属性指標を含むことを特徴とする請求項１５に記載のコンピュータ機器。
【請求項１８】
コンピュータ読み取り可能な命令が記憶された１つ以上の不揮発性コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な命令が１つ以上のプロセッサによって実行される際に、前記１つ以上のプロセッサが、
顔検出データを取得し、関心のある顔領域を確定するステップと、
前記関心のある顔領域の一部の肖像属性をランダムにタグ付けし、訓練サンプルを得るステップと、
前記訓練サンプルに基づいて肖像属性モデルを訓練するステップと、
訓練済み肖像属性モデルから出力されたタグ無しサンプルセットに基づき、訓練済み肖像属性モデルを能動学習アルゴリズムによって最適化し、最適化された肖像属性モデルを得るステップと、を実行する不揮発性コンピュータ読み取り可能な記憶媒体。
【請求項１９】
前記コンピュータ読み取り可能な命令が前記プロセッサによって実行される際に、訓練済み肖像属性モデルから出力されたタグ無しサンプルセットを取得するステップと、
予め設定されたクエリ関数を呼び出し、前記タグ無しサンプルセットからタグ付けされるサンプルを選択するステップと、
前記タグ付けされるサンプルをタグ付けし、タグ付けされたサンプルを得るステップと、
前記タグ付けされたサンプルを歴史タグ付け済みサンプルに加え、新しい訓練サンプルを形成するステップと、
前記新しい訓練サンプルに基づいて前記訓練済み肖像属性モデルを最適化し、最適化された前記訓練済み肖像属性モデルを訓練済み肖像属性モデルとして再利用するステップとをさらに実行することを特徴とする請求項１８に記載の記憶媒体。
【請求項２０】
前記コンピュータ読み取り可能な命令が前記プロセッサによって実行される際に、
確定された複数の関心のある顔領域をデータセットとするステップと、
タグ付け対象となるサンプルとして前記データセットにおける関心のある顔領域の一部をランダムに選択するステップと、
前記タグ付け対象となるサンプルを肖像属性タグ付けサーバにプッシュするステップと、
前記肖像属性タグ付けサーバからフィードバックされた肖像属性タグ付け結果を受信し、訓練サンプルを得るステップとを実行し、ここで、前記肖像属性タグ付け結果が、前記肖像属性タグ付けサーバがタグ付け対象となる属性指標のセットに基づいて前記タグ付け対象となるサンプルに対して肖像属性タグ付けすることによって得られ、前記タグ付け対象となる属性指標のセットが、年齢、性別、前髪の有無、眼鏡を着用するかどうか、化粧の種類、眉毛を描くかどうか、口紅を塗るかどうか、チークカラーを塗るかどうか、髪型、肌の状態、顔の形、顔の上下停比較、顔の三停比較、ひげの種類、眉毛の形状、および見上げ皺の有無などの属性指標を含むことを特徴とする請求項１８に記載の記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１９年０４月１６日に中国特許庁に提出された出願番号が２０１９１０３０３１３２４であり、発明名称が「肖像属性モデル構築方法、装置、コンピュータ機器および記憶媒体」の中国特許出願の優先権を主張するものであり、その内容の全てが参照により本出願に組み込まれる。
【０００２】
本出願は、肖像属性モデル構築方法、装置、コンピュータ機器および記憶媒体に関する。
【背景技術】
【０００３】
人工知能技術の発展に伴い、ＡＩ（ａｒｔｉｆｉｃｉａｌ  ｉｎｔｅｌｌｉｇｅｎｃｅ：人工知能）肖像技術はますます成熟しており、顔検出入退室管理システム、ＡＩ肖像撮影技術、ＡＩ肖像画像合成技術などの人々の生活により多くの楽しさと便利さをもたらすことができる。
【０００４】
ＡＩ肖像モデルはＡＩ肖像技術の基礎であり、従来のＡＩ肖像モデルの訓練では大量のデータセットとタグが必要であり、タグ付けには多くの時間と経済的なコストがかかり、大量のデータを用いてモデルを訓練するため長い時間がかかる。
【０００５】
従って、現在、肖像属性モデルを構築するための効率的な方法が急務となっている。
【発明の概要】
【課題を解決するための手段】
【０００６】
本出願に開示される様々な実施例によれば、肖像属性モデル構築方法、装置、コンピュータ機器および記憶媒体が提供される。
【０００７】
肖像属性モデル構築方法であって、
顔検出データを取得し、関心のある顔領域を確定することと、
前記関心のある顔領域の一部の肖像属性をランダムにタグ付けし、訓練サンプルを得ることと、
前記訓練サンプルに基づいて肖像属性モデルを訓練することと、
訓練済み肖像属性モデルから出力されたタグ無しサンプルセットに基づき、訓練済み肖像属性モデルを能動学習アルゴリズムによって最適化し、最適化された肖像属性モデルを得ることと、を含む。
【０００８】
肖像属性モデル構築装置であって、
顔検出データを取得し、関心のある顔領域を確定するためのデータ取得モジュールと、
前記関心のある顔領域の一部の肖像属性をランダムにタグ付けし、訓練サンプルを得るためのタグ付けモジュールと、
前記訓練サンプルに基づいて肖像属性モデルを訓練するための訓練モジュールと、
訓練済み肖像属性モデルから出力されたタグ無しサンプルセットに基づき、訓練済み肖像属性モデルを能動学習アルゴリズムによって最適化し、最適化された肖像属性モデルを得るためのモデル最適化モジュールと、を備える。
【０００９】
メモリと、１つ以上のプロセッサとを含むコンピュータ機器であって、前記メモリにはコンピュータ読み取り可能な命令が記憶されており、前記コンピュータ読み取り可能な命令が前記プロセッサによって実行されると、前記１つ以上のプロセッサが、
顔検出データを取得し、関心のある顔領域を確定するステップと、
前記関心のある顔領域の一部の肖像属性をランダムにタグ付けし、訓練サンプルを得るステップと、
前記訓練サンプルに基づいて肖像属性モデルを訓練するステップと、
訓練済み肖像属性モデルから出力されたタグ無しサンプルセットに基づき、訓練済み肖像属性モデルを能動学習アルゴリズムによって最適化し、最適化された肖像属性モデルを得るステップと、を実行する。
【００１０】
コンピュータ読み取り可能な命令が記憶された１つ以上の不揮発性コンピュータ読み取り可能な記憶媒体であって、コンピュータ読み取り可能な命令は、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサが、
顔検出データを取得し、関心のある顔領域を確定するステップと、
前記関心のある顔領域の一部の肖像属性をランダムにタグ付けし、訓練サンプルを得るステップと、
前記訓練サンプルに基づいて肖像属性モデルを訓練するステップと、
訓練済み肖像属性モデルから出力されたタグ無しサンプルセットに基づき、訓練済み肖像属性モデルを能動学習アルゴリズムによって最適化し、最適化された肖像属性モデルを得るステップと、を実行する。
【００１１】
本出願の１つ以上の実施例の詳細は、以下の図面および説明に記載されている。本出願の他の特徴および利点は、明細書、図面、および特許請求の範囲から明らかになる。
【図面の簡単な説明】
【００１２】
本出願の実施例における技術的解決手段をより明確に説明するために、以下は、実施例で使用される図面を簡単に紹介し、当然のことながら、以下で説明される図面は、本出願のいくつかの実施例に過ぎず、当業者であれば、創造的労働を要することなく、これらの図面に基づく他の図面を得ることができる。
【００１３】
【図１】１つ以上の実施例による肖像属性モデル構築方法のフローチャートである。
【図２】別の実施例による肖像属性モデル構築方法のフローチャートである。
【図３】能動学習アルゴリズムの最適化プロセスを示す概略図である。
【図４】１つ以上の実施例による肖像属性モデル構築装置のブロック図である。
【図５】１つ以上の実施例によるコンピュータ機器のブロック図である。
【発明を実施するための形態】
【００１４】
本出願の技術的解決手段および利点をより明確にするために、以下は、図面および実施例を参照しながら本出願をさらに詳細に説明する。ここで説明される具体的な実施例は、本出願を解釈するためのものに過ぎず、本出願を限定するためのものではないことを理解すべきである。
【００１５】
図１に示すように、肖像属性モデル構築方法であって、以下のＳ２００、Ｓ４００、Ｓ６００、およびＳ８００を含む。
【００１６】
Ｓ２００において、顔検出データを取得し、関心のある顔領域を確定する。
【００１７】
顔検出データは、ユーザの顔を検出した後に得られるデータであり、具体的には、サンプル顔に対して顔検出を行うことで得られる顔検出データである。顔検出データを分析し、関心のある顔領域を確定する。具体的には、顔検出データを訓練済みニューラルネットワークモデルに入力し、訓練済みニューラルネットワークモデルによって関心のある顔領域を正確に確定することができる。
【００１８】
Ｓ４００において、関心のある顔領域の一部の肖像属性をランダムにタグ付けし、訓練サンプルを得る。
【００１９】
肖像属性は、年齢、性別、前髪の有無、眼鏡を着用するかどうか、化粧の種類、眉毛を描くかどうか、口紅を塗るかどうか、チークカラーを塗るかどうか、髪型、肌の状態、顔の形、顔の上下停比較、顔の三停比較、ひげの種類、眉毛の形状、見上げ皺の有無を具体的に含む１６の属性を含むことができる。関心のある顔領域をデータセットとし、タグ付け対象として当該データセットにおける関心のある顔領域の一部をランダムに選択し、これらのタグ付け対象に対応する肖像属性データを取得し、例えば、選択されたデータセットを手動で肖像属性タグ付け者にプッシュし、タグ付け者から返された肖像属性データを受信し、これらの肖像属性データを対応する関心のある顔領域のデータに更新して、訓練サンプルを得ることができる。
【００２０】
一実施例において、上記の関心のある顔領域の一部の肖像属性をランダムにタグ付けし、訓練サンプルを得ることは、具体的には、確定された複数の関心のある顔領域をデータセットとすることと、タグ付け対象となるサンプルとしてデータセットにおける関心のある顔領域の一部をランダムに選択することと、タグ付け対象となるサンプルを肖像属性タグ付けサーバにプッシュすることと、肖像属性タグ付けサーバからフィードバックされた肖像属性タグ付け結果を受信し、訓練サンプルを得ることと、を含むことができ、ここで、肖像属性タグ付け結果が、肖像属性タグ付けサーバがタグ付け対象となる属性指標のセットに基づいてタグ付け対象となるサンプルに対して肖像属性タグ付けすることによって得られ、タグ付け対象となる属性指標のセットが、年齢、性別、前髪の有無、眼鏡を着用するかどうか、化粧の種類、眉毛を描くかどうか、口紅を塗るかどうか、チークカラーを塗るかどうか、髪型、肌の状態、顔の形、顔の上下停比較、顔の三停比較、ひげの種類、眉毛の形状、および見上げ皺の有無などの属性指標を含む。肖像属性タグ付けサーバは、専門家の経験データに基づいて設定されたサードパーティサーバであり、当該サーバは、提供されたタグ付け対象となる属性指標のセットに対して、専門家のデータを肖像属性の自動タグ付けに利用することができるが、一般的には、当該サーバは、ビッグデータに基づく専門家の経験データを肖像属性のタグ付けに利用することになり、そのデータ処理量が大きいため、サーバの性能に対する要求が高くなる。
【００２１】
Ｓ６００において、訓練サンプルに基づいて肖像属性モデルを訓練する。
【００２２】
肖像属性モデルとは、予め構築された初期モデルであり、それは、既存の肖像属性モデルであってもよいし、畳み込みニューラルネットワークモデルなどの肖像属性モデル構築に用いられる初期汎用モデルであってもよい。訓練サンプルを入力とし、肖像属性を出力として肖像属性モデルを訓練する。関心のある顔領域をデータセットとし、データセットにおけるサンプルの一部をランダムに選択して肖像属性をタグ付けし、肖像属性がタグ付けされたサンプルを訓練セットと検証セットに分割し、訓練セットに従って初期肖像属性モデルを訓練し、訓練された初期肖像属性モデルを検証セットに従って検証し、検証に合格した場合には肖像属性訓練モデルを得る。ここでは、少数の関心のある顔領域の属性をタグ付けし、肖像属性モデルを訓練および検証し、モデルが正確に構築されることが保証される前提で、処理する必要があるデータ量を減らす。肖像属性モデルは、予め構築された初期畳み込みニューラルネットワークモデルであってもよく、得られた訓練サンプルを入力、肖像属性を出力として当該初期畳み込みニューラルネットワークモデルを訓練し、訓練された畳み込みニューラルネットワークモデルを得る。
【００２３】
Ｓ８００において、訓練済み肖像属性モデルから出力されたタグ無しサンプルセットに基づき、訓練済み肖像属性モデルを能動学習アルゴリズムによって最適化し、最適化された肖像属性モデルを得る。
【００２４】
能動学習とは、特定のアルゴリズムで最も有用なタグ無しサンプルをクエリし、タグ付けのために専門家に引き渡し、次にクエリされたサンプルを使用して分類モデルを訓練し、モデルの精度を向上させることを指す。能動学習アルゴリズムモデルは、Ａ＝（Ｃ、Ｑ、Ｓ、Ｌ、Ｕ）で表される５つの因子から構成される。ここで、Ｃはグループまたは分類器である。Ｌは、タグ付け済みサンプルを訓練するために選択された訓練セットである。Ｑは、タグ無しサンプルプールＵから情報量の多い情報をクエリするためのクエリ関数である。Ｓは、Ｕのサンプルを正しくタグ付けすることができるスーパーバイザである。少数の訓練セットから得られた訓練済み肖像属性モデルは、特定のクエリ関数Ｑによって最も有用なサンプル（情報量が最も多いサンプル）の１つまたは１バッチを選択し、タグ付けのためにスーパーバイザに送信し、次に、得られた新しいサンプルとタグを利用してモデルを再度訓練し、次のクエリを実行し、モデルの性能が要件を満たしているか、タグ無しサンプルが十分でない場合に循環を停止する。ここでは、訓練済み肖像属性モデルから出力されたタグ無しサンプルセットを入力データとして利用し、最終的な肖像属性モデルが肖像属性認識の要件を満たすように能動学習により訓練済み肖像属性モデルを連続的に最適化する。最適化された肖像属性モデルが得られた後、肖像属性を認識する必要がある場合には、ユーザはサーバに写真を入力するだけでよく、サーバは上記の最適化された肖像属性モデルを実行し、肖像属性をユーザに出力してフィードバックする。
【００２５】
上記の肖像属性モデル構築方法では、顔検出データを取得し、関心のある顔領域を確定し、関心のある顔領域の一部の肖像属性をランダムにタグ付けし、訓練サンプルを得て、訓練サンプルに基づいて肖像属性モデルを訓練し、訓練済み肖像属性モデルを能動学習アルゴリズムによって最適化し、最適化された肖像属性モデルを得る。プロセス全体では、タグ付け済みサンプルの一部のみを訓練して訓練時間を短縮し、かつ能動学習アルゴリズムを用いて訓練済み肖像属性モデルを最適化し、モデルの性能を向上させ、最適化された肖像属性モデルにより、肖像属性認識を効率的かつ正確に実現することができる。
【００２６】
図２に示すように、一実施例において、ステップＳ８００は、
訓練済み肖像属性モデルから出力されたタグ無しサンプルセットを取得するＳ８１０と、
予め設定されたクエリ関数を呼び出し、タグ無しサンプルセットからタグ付けされるサンプルを選択するＳ８２０と、
タグ付けされるサンプルをタグ付けし、タグ付けされたサンプルを得るＳ８３０と、
タグ付けされたサンプルを歴史タグ付け済みサンプルに加え、新しい訓練サンプルを形成するＳ８４０と、
新しい訓練サンプルに基づいて訓練済み肖像属性モデルを最適化し、最適化された訓練済み肖像属性モデルを訓練済み肖像属性モデルとして再利用するＳ８５０と、を含む。
【００２７】
肖像属性モデルは、肖像属性がタグ付けされた肖像属性モデルの一部によって訓練されて得られるため、すべての関心のある顔領域に対して肖像属性をタグ付けすることができない可能性あり、最終的に肖像属性モデルを得て肖像属性を正確に抽出することを確実にするために、訓練済み肖像属性モデルを最適化する必要がある。図３に示すように、能動学習アルゴリズムを用いて最適化する場合、サーバは、訓練済み肖像属性モデルから出力されたタグ無しサンプルセットを取得し、予め設定されたクエリ関数Ｑによって、タグ無しサンプルセットから１つ以上のタグ付けされるサンプルを選択し、一般的に、予め設定されたクエリ関数によって、クエリ情報量が最も多いサンプルをこのラウンドのタグ付けされるサンプルとして選択することができ、スーパーバイザＳは、タグ付けされるサンプルにタグを付け、タグ付けされたサンプルＬｎを得て、タグ付けされたサンプルＬｎを肖像特徴タグ付け（タギング）訓練セットＬに加え、訓練セットＬによって以前の訓練済み肖像属性モデルを最適化し、このラウンドの最適化された訓練済み肖像属性モデルを訓練済み肖像属性モデルとして再利用する。
【００２８】
一実施例において、顔検出データを取得し、関心のある顔領域を確定することは、顔検出データを取得することと、顔検出データを訓練済みニューラルネットワークモデルに入力し、関心のある顔領域を確定することとを含み、ここで、訓練済みニューラルネットワークモデルが、サンプルデータのうちの顔検出データを入力データとし、サンプルデータのうちの顔位置を出力とし、訓練回数が予め設定された閾値に達するまで、逆伝播アルゴリズムおよびクロスエントロピー損失を用いてニューラルネットワークモデルにおける予め設定されたパラメータを調整し、そのうち、クロスエントロピー損失が、ニューラルネットワークモデルがサンプルデータのうちの顔検出データを認識し、予測顔位置を得て、かつ予測された顔位置をサンプルデータのうちの顔位置と比較することで得られたデータによって訓練されて得られる。
【００２９】
本実施例において、訓練済みニューラルネットワークモデルによって、顔検出データに基づいて関心のある顔領域を認識する。訓練済みニューラルネットワークモデルは、サンプル顔データを入力データとし、顔位置を出力として連続的に訓練することで得られる。実際の応用では、大量の顔データを収集し、従来の技術を用いてこられの顔データに対応する顔位置を取得することに対して、顔データをサンプル顔データとして初期モデルに入力し、対応する顔位置を出力として初期モデルを連続的に訓練し、訓練済みニューラルネットワークモデルを得る。上記の訓練プロセスは、具体的には、サンプルデータのうちの顔検出データを入力データとし、サンプルデータのうちの顔位置を出力とし、訓練回数が予め設定された閾値に達するまで、逆伝播アルゴリズムおよびクロスエントロピー損失を用いてニューラルネットワークモデルにおける予め設定されたパラメータを調整することであってもよく、そのうち、クロスエントロピー損失が、ニューラルネットワークモデルによってサンプルデータのうちの顔検出データを認識し、予測顔位置を得て、かつ予測された顔位置をサンプルデータのうちの顔位置と比較することによって得られたデータで訓練されて得られる。サンプルデータが歴史レコードから取得された、モデル訓練のための顔対象であってもよくこられのサンプル顔に対して顔検出を行い、顔検出データを取得し、従来の方法で対応する顔位置を取得し、例えば、顔検出データの二次分析と位置決めにより、目、鼻、口の位置や顔の輪郭の位置などの顔の各特徴部分の位置を正確に認識することができ、これらの特徴部分の位置に基づいて顔全体の位置を取得し、サンプル顔検出データをニューラルネットワークモデルに入力し、顔位置を出力としてニューラルネットワークモデルを訓練し、訓練済みニューラルネットワークモデルを得る。ここで、ニューラルネットワークモデルは、８層の畳み込み層と、４層のダウンサンプリング層と、２層の完全リンク層とを有する畳み込みニューラルネットワークモデルであってもよい。
【００３０】
一実施例において、顔検出データを取得し、顔検出データを訓練済みニューラルネットワークモデルに入力し、関心のある顔領域を確定することは、顔検出データを取得することと、顔検出データを訓練済みニューラルネットワークモデルに入力し、顔位置領域を取得することと、顔位置領域のエッジを認識することと、エッジに沿って予め設定された数の画素距離を拡張し、関心のある顔領域を得ることと、を含む。
【００３１】
顔検出データを訓練済みニューラルネットワークモデルに入力し、訓練済みニューラルネットワークモデルは、目、鼻、口や頭などの顔の位置を予測して出力し、顔位置領域を得て、顔位置領域を拡大し、拡大する時に、顔位置領域のエッジに沿って予め設定された数の画素距離を拡張し、関心のある顔領域を確定する。実際の応用では、ユーザの１枚の写真をサーバに入力し、サーバは、入力された写真に対して顔検出を行い、顔検出データを得て、また、顔検出データを訓練済みニューラルネットワークモデルに入力し、当該訓練された訓練済みニューラルネットワークモデルによって顔位置を予測し、顔位置に基づいて顔頭部位置情報を取得し、顔頭部位置情報に基づいて拡大し、最終的に関心のある顔領域を確定するようにしてもよい。
【００３２】
一実施例において、訓練サンプルに基づいて肖像属性モデルを訓練することは、訓練サンプルを訓練データと検証データにランダムに分割し、訓練データのデータ量が検証データのデータ量よりも多いことと、訓練データのうちの関心のある顔領域を入力とし、訓練データのうちの肖像属性を出力とし、肖像属性モデルを訓練することと、検証データに基づいて訓練済み肖像属性モデルを検証することと、検証に合格した場合には、訓練済み肖像属性モデルを得ることと、検証に失敗した場合には、関心のある顔領域の一部の肖像属性を再びランダムにタグ付けし、訓練サンプルを得ることと、を含む。
【００３３】
本実施例において、訓練サンプルを訓練データと検証データとの２つの部分に分割し、訓練データを用いて肖像属性モデルを訓練し、検証データを用いて訓練済み肖像属性モデルを検証し、検証に失敗した場合には、訓練データを再選択して肖像属性モデルを再度訓練し、訓練データの再選択が、前回の訓練データのうちの他の部分を選択し、又は訓練サンプルを再び訓練データと検証データにランダムに分割することであってもよい。すなわち、検証に失敗した場合には、関心のある顔領域の一部の肖像属性を再びランダムにタグ付けし、訓練サンプルを得る。必要に応じて、訓練サンプルを訓練データと検証データに分割するプロセスで、訓練サンプルの大きな部分を訓練データに分割し、訓練サンプルの小さい部分を検証データに分割することができる。
【００３４】
一実施例において、訓練済み肖像属性モデルを能動学習アルゴリズムによって最適化し、最適化された肖像属性モデルを得た後、さらに、最適化された肖像属性モデルによって肖像属性を認識することを含む。
【００３５】
最適化された肖像属性モデルは、入力された写真の肖像属性を正確に認識することができ、ユーザに利便性をもたらす。実際の応用では、ユーザは、写真をサーバに送信し、サーバは、ユーザから入力された写真を受信すると、写真に対して顔検出を行い、顔検出結果を最適化された肖像属性モデルに入力し、最適化された肖像属性モデルに対して肖像属性認識を行い、肖像属性を正確に抽出し、抽出された肖像属性をユーザにフィードバックする。さらに、顔検出結果を最適化された肖像属性モデルに入力する前に、顔検出結果を正規化することができ、サーバは、ＭＡＴＬＡＢ（登録商標）ソフトウェアを実行することによって顔検出結果の画像を正規化し、正規化された画像を最適化された肖像属性モデルに入力することができる。
【００３６】
図１−２のフローチャートにおける各ステップは、矢印で指示されているように順次示されているが、必ずしも矢印で指示された順序で順次実行されるとは限らないことが理解すべきである。本明細書に明示的に記載されていない限り、これらのステップは、実行順序が厳密に制限されず、他の順序で実行されてもよい。さらに、図１−２でのステップの少なく一部は、複数のサブステップまたは複数の段階を含んでもよく、これらのサブステップまたは段階は、必ずしも同じ時点に実行されるわけではなく、異なる時点に実行されてもよく、これらのサブステップまたは段階が必ずしも順次実行されるわけではなく、他のステップまたは他のステップのサブステップまたは段階の少なくとも一部と順番にまたは交互に実行されてもよい。
【００３７】
図４に示すように、肖像属性モデル構築装置であって、
顔検出データを取得し、関心のある顔領域を確定するためのデータ取得モジュール２００と、
関心のある顔領域の一部の肖像属性をランダムにタグ付けし、訓練サンプルを得るためのタグ付けモジュール４００と、
訓練サンプルに基づいて肖像属性モデルを訓練するための訓練モジュール６００と、
訓練済み肖像属性モデルから出力されたタグ無しサンプルセットに基づき、訓練済み肖像属性モデルを能動学習アルゴリズムによって最適化し、最適化された肖像属性モデルを得るためのモデル最適化モジュール８００と、を備える。
【００３８】
上記の肖像属性モデル構築装置では、データ取得モジュール２００は、顔検出データを取得し、関心のある顔領域を確定し、タグ付けモジュール４００は、関心のある顔領域の一部の肖像属性をランダムにタグ付けし、訓練サンプルを得て、訓練モジュール６００は、訓練サンプルに基づいて肖像属性モデルを訓練し、モデル最適化モジュール８００は、訓練済み肖像属性モデルを能動学習アルゴリズムによって最適化し、最適化された肖像属性モデルを得る。プロセス全体では、タグ付け済みサンプルの一部のみを訓練して訓練時間を短縮し、かつ能動学習アルゴリズムを用いて訓練済み肖像属性モデルを最適化し、モデルの性能を向上させ、最適化された肖像属性モデルにより、肖像属性認識を効率的かつ正確に実現することができる。
【００３９】
一実施例において、モデル最適化モジュール８００は、さらに、訓練済み肖像属性モデルから出力されたタグ無しサンプルセットを取得することと、予め設定されたクエリ関数を呼び出し、タグ無しサンプルセットからタグ付けされるサンプルを選択することと、タグ付けされるサンプルをタグ付けし、タグ付けされたサンプルを得ることと、タグ付けされたサンプルを歴史タグ付け済みサンプルに加え、新しい訓練サンプルを形成することと、新しい訓練サンプルに基づいて訓練済み肖像属性モデルを最適化し、最適化された訓練済み肖像属性モデルを訓練済み肖像属性モデルとして再利用することとに使用される。
【００４０】
一実施例において、タグ付けモジュール４００は、さらに、確定された複数の関心のある顔領域をデータセットとすることと、タグ付け対象となるサンプルとしてデータセットにおける関心のある顔領域の一部をランダムに選択することと、タグ付け対象となるサンプルを肖像属性タグ付けサーバにプッシュすることと、肖像属性タグ付けサーバからフィードバックされた肖像属性タグ付け結果を受信し、訓練サンプルを得ることとに使用され、ここで、肖像属性タグ付け結果が、肖像属性タグ付けサーバがタグ付け対象となる属性指標のセットに基づいてタグ付け対象となるサンプルに対して肖像属性タグ付けすることによって得られ、タグ付け対象となる属性指標のセットが、年齢、性別、前髪の有無、眼鏡を着用するかどうか、化粧の種類、眉毛を描くかどうか、口紅を塗るかどうか、チークカラーを塗るかどうか、髪型、肌の状態、顔の形、顔の上下停比較、顔の三停比較、ひげの種類、眉毛の形状、および見上げ皺の有無などの属性指標を含む。
【００４１】
一実施例において、データ取得モジュール２００は、さらに、顔検出データを取得することと、顔検出データを訓練済みニューラルネットワークモデルに入力し、関心のある顔領域を確定することとに使用され、ここで、訓練済みニューラルネットワークモデルが、サンプルデータのうちの顔検出データを入力データとし、サンプルデータのうちの顔位置を出力とし、訓練回数が予め設定された閾値に達するまで、逆伝播アルゴリズムおよびクロスエントロピー損失を用いてニューラルネットワークモデルにおける予め設定されたパラメータを調整し、そのうち、クロスエントロピー損失が、ニューラルネットワークモデルがサンプルデータのうちの顔検出データを認識し、予測顔位置を得て、かつ予測された顔位置をサンプルデータのうちの顔位置と比較することで得られたデータによって訓練されて得られる。
【００４２】
一実施例において、データ取得モジュール２００は、さらに、顔検出データを取得することと、顔検出データを訓練済みニューラルネットワークモデルに入力し、顔位置領域を取得することと、顔位置領域のエッジを認識することと、エッジに沿って予め設定された数の画素距離を拡張し、関心のある顔領域を得ることとに使用される。
【００４３】
一実施例において、訓練モジュール６００は、さらに、訓練サンプルを訓練データと検証データにランダムに分割し、そのうち、訓練データのデータ量が検証データのデータ量よりも多いことと、訓練データのうちの関心のある顔領域を入力とし、訓練データのうちの肖像属性を出力とし、肖像属性モデルを訓練することと、検証データに基づいて訓練済み肖像属性モデルを検証することと、検証に合格した場合には、訓練済み肖像属性モデルを得ることと、検証に失敗した場合には、関心のある顔領域の一部の肖像属性を再びランダムにタグ付けし、訓練サンプルを得ることとに使用される。
【００４４】
肖像属性モデル構築装置の具体的な制限事項については、上記の肖像属性モデル構築方法に対する制限事項を参照することができ、ここでは繰り返さない。上記の肖像属性モデル構築装置における各モジュールは、全部または一部でソフトウェア、ハードウェアおよびそれらの組み合わせによって実現されてもよい。前記各モジュールは、ハードウェア形態でコンピュータ機器内のプロセッサに埋め込まれ、またはそのプロセッサとは独立してもよく、また、前記各モジュールに対応する操作を実行するためにプロセッサによって呼び出されるように、ソフトウェア形態でコンピュータ機器内のメモリに記憶されてもよい。
【００４５】
一実施例において、コンピュータ機器が提供され、当該コンピュータ機器はサーバであってもよく、その内部構造が図５に示される。当該コンピュータ機器は、システムバスを介して接続されたプロセッサと、メモリと、ネットワークインターフェイスと、データベースとを備える。ここで、当該コンピュータ機器のプロセッサは、計算および制御機能を提供するために使用される。当該コンピュータ機器のメモリは、不揮発性記憶媒体と、内部メモリとを含む。当該不揮発性記憶媒体には、オペレーティングシステム、コンピュータプログラム、およびデータベースが記憶されている。当該内部メモリは、不揮発性記憶媒体におけるオペレーティングシステムやコンピュータプログラムを動作させるための環境を提供する。当該コンピュータ機器のデータベースは、サンプル顔データまたはサンプル顔検出データを記憶するために使用される。当該コンピュータ機器のネットワークインターフェイスは、ネットワーク接続を介して外部端末と通信するためのものである。当該コンピュータプログラムは、肖像属性モデル方法を実現するために、プロセッサによって実行される。
【００４６】
当業者であれば、図５に示された構造は、本出願の技術的解決手段に関連する構造の一部のブロック図に過ぎず、本出願の技術的解決手段が適用されるコンピュータ機器の制限を構成するものではないと理解すべきであり、具体的には、コンピュータ機器は、図示されたものよりも多くまたは少ない部品を含むか、特定の部品の組み合わせを含むか、部品の異なる配置を有することができる。
【００４７】
メモリと、１つ以上のプロセッサとを含むコンピュータ機器であって、メモリには、コンピュータ読み取り可能な命令が記憶されており、コンピュータ読み取り可能な命令がプロセッサによって実行されると、１つ以上のプロセッサは、本出願のいずれかの実施例による肖像属性モデル構築のステップを実現する。
【００４８】
コンピュータ読み取り可能な命令が記憶された１つ以上の不揮発性コンピュータ読み取り可能な記憶媒体であって、コンピュータ読み取り可能な命令が１つ以上のプロセッサによって実行されると、１つ以上のプロセッサは、本出願のいずれかの実施例による肖像属性モデル構築のステップを実現する。
【００４９】
当業者であれば、上述した実施例の方法におけるプロセスの全部または一部が、コンピュータ読み取り可能な命令を通じて関連ハードウェアに命令することによって実施され得ることを理解すべきであり、前記のコンピュータ読み取り可能な命令は、不揮発性コンピュータ読み取り可能な記憶媒体に記憶されてもよく、当該コンピュータ読み取り可能な命令は、実行されると、上述した各方法の実施例のプロセスを含んでもよい。ここで、本出願による各実施例で使用されるメモリ、記憶、データベースまたは他の媒体に関する任意の参照は、不揮発性および／または揮発性メモリを含むことができる。不揮発性メモリは、読み出し専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的にプログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブルＲＯＭ（ＥＥＰＲＯＭ）、またはフラッシュメモリを含んでもよい。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）または外部キャッシュメモリを含んでもよい。制限ではなく例として、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、拡張ＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクロナスリンク（Ｓｙｎｃｈｌｉｎｋ）  ＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）、およびメモリバスダイナミックＲＡＭ（ＲＤＲＡＭ）などの多くの形態で利用可能である。
【００５０】
上記実施例の各技術的特徴は、任意の組み合わせが可能であり、説明を簡略化するために、上記実施例の各技術的特徴のすべての可能な組み合わせについては説明しないが、これらの技術的特徴の組み合わせに矛盾がない限り、本明細書の範囲内であると考えるべきである。
【００５１】
上記実施例は、いくつかの実施形態を表すものに過ぎず、その説明が比較的詳細であるが、本発明の特許請求の範囲に対する限定として理解されるべきではない。当業者にとって、本出願の概念から逸脱することなく、いくつかの変形および改良を行うことができ、これらはすべて本出願の保護範囲内にあることを指摘しておくべきである。従って、本出願における特許の保護範囲は、添付の特許請求の範囲に従うものとする。
【符号の説明】
【００５２】
200  データ取得モジュール
400  タグ付けモジュール
600  訓練モジュール
800  モデル最適化モジュール
【図１】
2021524955.tif 000003
【図２】
2021524955.tif 000004
【図３】
2021524955.tif 000005
【図４】
2021524955.tif 000006
【図５】
2021524955.tif 000007
【国際調査報告】
2021524955.tif 000008
2021524955.tif 000009
2021524955.tif 000010
2021524955.tif 000011