(57)【要約】      （修正有）【課題】新しい顔イメージが継続的に追加されるスマートデータベースを効果的に管理する。【解決手段】顔認識のための新しい顔イメージが継続的に格納されるスマートデータベースに格納された少なくとも一つの特定人物に対応する一つ以上の特定の顔イメージをカウントし、カウントした第１カウント済み値が予め設定された第１設定値を満足するかを確認する段階及び第１カウント済み値が第１設定値を満足すると、各特定の顔イメージをニューラルアグリゲーションネットワークに入力して、各特定の顔イメージに対する各クオリティスコアを生成させ、クオリティスコアを降順に整列させ、各特定の顔イメージのうちカウントされた部分の数を表す第２カウント済み値が予め設定された第２設定値と同一になるまで分類された各特定の顔イメージを降順にカウントし、スマートデータベースから各特定の顔イメージのうちカウントされていない部分を削除する段階と、を含む。【選択図】図２
2020123350.tif 000002
【特許請求の範囲】
【請求項１】
顔認識のための各顔イメージを格納するスマートデータベースを管理する方法において、
（ａ）管理装置が、顔認識のための新しい顔イメージが継続的に格納されるスマートデータベースに格納された少なくとも一つの特定人物に対応する一つ以上の特定の顔イメージをカウントし、前記各特定の顔イメージをカウントした第１カウント済み値（ｃｏｕｎｔｅｄ  ｖａｌｕｅ）が予め設定された第１設定値を満足するのかを確認する段階；及び
（ｂ）前記第１カウント済み値が前記第１設定値を満足すると、前記管理装置が、前記各特定の顔イメージをニューラルアグリゲーションネットワーク（ｎｅｕｒａｌ  ａｇｇｒｅｇａｔｉｏｎ  ｎｅｔｗｏｒｋ）に入力して、前記ニューラルアグリゲーションネットワークをもって、前記各特定の顔イメージをアグリゲートして前記各特定の顔イメージそれぞれに対する各クオリティスコア（ｑｕａｌｉｔｙ  ｓｃｏｒｅ）を生成させ、前記各特定の顔イメージに対応する前記クオリティスコアを前記クオリティスコアの降順に整列させ、前記各特定の顔イメージのうちカウントされた部分の数を表す第２カウント済み値が予め設定された第２設定値と同一になるまで分類された前記各特定の顔イメージを降順にカウントし、前記スマートデータベースから前記各特定の顔イメージのうちカウントされていない部分を削除する段階；
を含むことを特徴とする方法。
【請求項２】
（ｃ）前記管理装置が、前記クオリティスコアのうち前記カウントされた部分を利用して前記各特定の顔イメージのうち一つ以上の特徴を加重合算（ｗｅｉｇｈｔｅｄ  ｓｕｍｍａｔｉｏｎ）して少なくとも一つの最適な特徴を生成し、前記最適な特徴を前記特定人物に対応する代表の顔として設定する段階；
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記（ｂ）段階で、
前記管理装置は、前記各特定の顔イメージを前記ニューラルアグリゲーションネットワークのＣＮＮに入力して、前記ＣＮＮをもって、前記特定の顔イメージそれぞれに対応する一つ以上の特徴を生成させ、前記各特徴がエンベディングされた少なくとも一つの特徴ベクトルを少なくとも２つのアテンションブロック（ａｔｔｅｎｔｉｏｎ  ｂｌｏｃｋ）を含むアグリゲーションモジュールに入力して、前記アグリゲーションモジュールをもって、前記特徴それぞれに対するクオリティスコアそれぞれを生成させることを特徴とする請求項１に記載の方法。
【請求項４】
前記（ｂ）段階で、
前記管理装置は、（ｉ）（ｉ−１）前記スマートデータベースに格納されている前記特定の顔イメージそれぞれに対応する一つ以上の特徴及び（ｉ−２）前記各クオリティスコアを（ｉｉ）前記特定人物にマッチングし、前記マッチングされた特徴及びマッチングされたクオリティスコアを前記スマートデータベースに格納することを特徴とする請求項１に記載の方法。
【請求項５】
（ｄ）前記管理装置が、（ｉ）前記スマートデータベースに格納されている前記特定人物に対応する前記各特定の顔イメージを利用して顔認識システムを学習させるか、（ｉｉ）前記特定人物に対応する前記各特定の顔イメージを前記顔認識システムに対応する学習装置に伝送して、前記学習装置をもって、前記各特定の顔イメージを利用して前記顔認識システムを学習させるようにする段階；
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記ニューラルアグリゲーションネットワークは、学習装置により、（ｉ）一つの顔に対するビデオまたは前記一つの顔に対するイメージセットに対応する複数の学習用顔イメージを前記ニューラルアグリゲーションネットワークのＣＮＮに入力して、前記ＣＮＮをもって、前記学習用顔イメージに少なくとも一回のコンボリューション演算を適用することによって、一つ以上の学習用特徴を生成させ、（ｉｉ）前記各学習用特徴がエンベディングされた少なくとも一つの学習用特徴ベクトルを、少なくとも２つのアテンションブロックを含む前記ニューラルアグリゲーションネットワークのアグリゲーションモジュールに入力して、前記アグリゲーションモジュールをもって、以前のイテレーション（ｉｔｅｒａｔｉｏｎ）で学習された一つ以上のアテンションパラメータを使用した前記各学習用特徴のアグリゲーションにより前記学習用特徴それぞれに対する学習用クオリティスコアそれぞれを生成させ、（ｉｉｉ）前記学習用クオリティスコアを利用して前記各学習用特徴を加重合算して少なくとも一つの前記学習用最適な特徴が出力されるようにし、（ｉｖ）前記学習用最適な特徴及びこれに対応する原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）を参照して、ロスレイヤから出力された一つ以上のロスが最小化されるように前記少なくとも２つのアテンションブロックの前記以前のイテレーションで学習された前記アテンションパラメータをアップデートする過程を複数回経て学習が完了した状態であることを特徴とする請求項１に記載の方法。
【請求項７】
顔認識のための各顔イメージを格納するスマートデータベースを管理する装置において、
少なくとも一つのインストラクションを格納する少なくとも一つのメモリと、
前記各インストラクションを遂行するように設定された少なくとも一つのプロセッサとを含み、前記プロセッサは、（Ｉ）顔認識のための新しい顔イメージが継続的に格納されるスマートデータベースに格納された少なくとも一つの特定人物に対応する一つ以上の特定の顔イメージをカウントし、前記各特定の顔イメージをカウントした第１カウント済み値（ｃｏｕｎｔｅｄ  ｖａｌｕｅ）が予め設定された第１設定値を満足するのかを確認するプロセス；及び（ＩＩ）前記第１カウント済み値が前記第１設定値を満足すると、前記各特定の顔イメージをニューラルアグリゲーションネットワーク（ｎｅｕｒａｌ  ａｇｇｒｅｇａｔｉｏｎ  ｎｅｔｗｏｒｋ）に入力して、前記ニューラルアグリゲーションネットワークをもって、前記各特定の顔イメージをアグリゲートして前記特定の顔イメージそれぞれに対する各クオリティスコア（ｑｕａｌｉｔｙ  ｓｃｏｒｅ）を生成させ、前記特定の顔イメージに対応する前記クオリティスコアを前記クオリティスコアの降順に整列させ、前記各特定の顔イメージのうちカウントされた部分の数を表す第２カウント済み値が予め設定された第２設定値と同一になるまで分類された前記各特定の顔イメージを降順にカウントし、前記スマートデータベースから前記各特定の顔イメージのうちカウントされていない部分を削除するプロセス；を遂行することを特徴とする装置。
【請求項８】
前記プロセッサが、
（ＩＩＩ）前記クオリティスコアのうち前記カウントされた部分を利用して前記各特定の顔イメージのうち一つ以上の特徴を加重合算（ｗｅｉｇｈｔｅｄ  ｓｕｍｍａｔｉｏｎ）して少なくとも一つの最適な特徴を生成し、前記最適な特徴を前記特定人物に対応する代表の顔として設定するプロセス；をさらに遂行することを特徴とする請求項７に記載の装置。
【請求項９】
前記（ＩＩ）プロセスは、
前記各特定の顔イメージを前記ニューラルアグリゲーションネットワークのＣＮＮに入力して、前記ＣＮＮをもって、前記特定の顔イメージそれぞれに対応する一つ以上の特徴を生成させ、前記各特徴がエンベディングされた少なくとも一つの特徴ベクトルを少なくとも２つのアテンションブロック（ａｔｔｅｎｔｉｏｎ  ｂｌｏｃｋ）を含むアグリゲーションモジュールに入力して、前記アグリゲーションモジュールをもって、前記特徴それぞれに対するクオリティスコアそれぞれを生成させることを特徴とする請求項７に記載の装置。
【請求項１０】
前記（ＩＩ）プロセスは、
前記プロセッサが、（ｉ）（ｉ−１）前記スマートデータベースに格納されている前記特定の顔イメージそれぞれに対応する一つ以上の特徴及び（ｉ−２）前記各クオリティスコアを（ｉｉ）前記特定人物にマッチングし、前記マッチングされた特徴とマッチングされたクオリティスコアとを前記スマートデータベースに格納することを特徴とする請求項７に記載の装置。
【請求項１１】
（ＩＶ）前記プロセッサが、（ｉ）前記スマートデータベースに格納されている前記特定人物に対応する前記各特定の顔イメージを利用して顔認識システムを学習させるか、（ｉｉ）前記特定人物に対応する前記各特定の顔イメージを前記顔認識システムに対応する学習装置に伝送して、前記学習装置をもって、前記各特定の顔イメージを利用して前記顔認識システムを学習させるようにするプロセス；をさらに遂行することを特徴とする請求項７に記載の装置。
【請求項１２】
前記ニューラルアグリゲーションネットワークは、学習装置により、（ｉ）一つの顔に対するビデオまたは前記一つの顔に対するイメージセットに対応する複数の各学習用顔イメージを前記ニューラルアグリゲーションネットワークのＣＮＮに入力して、前記ＣＮＮをもって、前記学習用顔イメージに少なくとも一回のコンボリューション演算を適用することによって、一つ以上の学習用特徴を生成させ、（ｉｉ）前記各学習用特徴がエンベディングされた少なくとも一つの学習用特徴ベクトルを、少なくとも２つのアテンションブロックを含む前記ニューラルアグリゲーションネットワークのアグリゲーションモジュールに入力して、前記アグリゲーションモジュールをもって、以前のイテレーション（ｉｔｅｒａｔｉｏｎ）で学習された一つ以上のアテンションパラメータを使用した前記各学習用特徴のアグリゲーションにより前記学習用特徴それぞれに対する学習用クオリティスコアそれぞれを生成させ、（ｉｉｉ）前記学習用クオリティスコアを利用して前記各学習用特徴を加重合算して少なくとも一つの前記学習用最適な特徴が出力されるようにし、（ｉｖ）前記学習用最適な特徴及びこれに対応する原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）を参照してロスレイヤから出力された一つ以上のロスが最小化されるように前記少なくとも２つのアテンションブロックの前記以前のイテレーションで学習された前記アテンションパラメータをアップデートする過程を複数回経て学習が完了した状態であることを特徴とする請求項７に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続学習を基盤とする顔認識のためのスマートデータベースを管理する方法及び装置に関し、より詳細には、新しい顔イメージが継続的に追加されるスマートデータベースから検索された特定人物に対応する全ての特定の顔イメージそれぞれに対して、ニューラルアグリゲーションネットワークから出力される各特徴に対応する各クオリティスコアを参照することによってスマートデータベースを管理し、前記特徴及び各クオリティスコアの加重合算により生成された加重合算の特徴を代表の顔として選択してスマートデータベースを管理する方法及び装置に関する。
【背景技術】
【０００２】
ディープラーニング（Ｄｅｅｐ  ｌｅａｒｎｉｎｇ）は、多数のプロセッシングレイヤが含まれたディープグラフを使用して高水準のデータ抽出をモデリングするために試みるアルゴリズムセットを基盤とするマシンラーニング（ｍａｃｈｉｎｅ  ｌｅａｒｎｉｎｇ）及び人工ニューラルネットワーク（ａｒｔｉｆｉｃｉａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）の一種である。一般的なディープラーニングアーキテクチャには、多くのニューロンレイヤと数百万個のパラメータとが含まれ得る。このようなパラメータは、高速ＣＰＵが取り付けられたコンピュータにおいて大量のデータにより学習され得、ＲｅＬＵ（ｒｅｃｔｉｆｉｅｄ  ｌｉｎｅａｒ  ｕｎｉｔｓ）、ドロップアウト（ｄｒｏｐｏｕｔ）、データ増強（ｄａｔａ  ａｕｇｍｅｎｔａｔｉｏｎ）、ＳＧＤ（ｓｔｏｃｈａｓｔｉｃ  ｇｒａｄｉｅｎｔ  ｄｅｓｃｅｎｔ）などのような多くのレイヤで作動し得る新たな学習技術によりガイドされる。
【０００３】
既存のディープラーニングアーキテクチャの中でＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）は、最も広く使用されるディープラーニングアーキテクチャのうちの一つである。ＣＮＮの基本概念は知られるようになってから２０年以上になるが、ＣＮＮの真の力は、最近、ディープラーニング理論が開発された以後に認められた。現在までＣＮＮは、顔認識、イメージ分類、イメージキャプションの生成、視覚的質疑応答及び自律走行車両のような人工知能及び機械学習のアプリケーションにおいて大きな成功を成し遂げた。
【０００４】
顔認識は、多くの顔認識アプリケーションにおいて重要なプロセスである。顔感知技術の大部分は、顔の正面を容易に感知することができる。
【０００５】
このような顔認識は、顔イメージが入力されると、特徴抽出ネットワークにより顔イメージから特徴を抽出し、抽出された特徴を使用して顔を認識するようになる。
【０００６】
しかしながら、ＳＮＳ及び写真管理システムなどのように、顔認識が使用されるアプリケーションを通じて同じ人物の新しい顔イメージが継続的に追加される場合、データベース、すなわち、格納装置の容量が限定されていることによって新しい顔イメージが常に追加されるわけではない。また、特定の顔イメージを検索する場合にも、検索時間が増加する問題点がある。
【０００７】
このような問題点を取り除くために、従来には一人のデータベースレコード数が一人に割り当てられた個数を超過した場合、最も古いレコードを削除するか、一人のイメージのうち最も類似度の低い顔イメージを削除していた。しかし、削除された顔イメージが顔認識の側面において削除してはならないイメージでもあり得るという未解決の問題点が依然として残されている。
【０００８】
また、従来にはデータベースにおいて、特定人物の顔イメージに対する検索時間を短縮するために代表の顔を選択していた。
【０００９】
しかし、代表の顔を選択するのにおいて、データベースにＮ名の人物及びＮ名の人物それぞれに対するＭ個の顔イメージを格納する場合、一つのクエリに対してＭｘＮマッチングが要求される問題点がある。
【００１０】
これに加えて、検索時間を減らすためには、Ｍ個の顔の中から代表の顔を選択する方式（ｓｃｈｅｍｅ）が必要であり、この方式によってＭ個の顔イメージのうち最も類似度の高い顔イメージを選択するか、Ｍ個の顔イメージの平均特徴を使用して代表の顔イメージが選択される。しかしながら、顔認識の性能の側面から見て、選択された代表の顔イメージが最も最適な顔イメージであると保障するのが難しい問題点がある。
【００１１】
したがって、本発明では、新しい顔イメージが継続的に追加されるスマートデータベースを効果的に管理することができる方法及び装置を提案することにする。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明は、上述した問題点を全て解決することをその目的とする。
【００１３】
本発明は、新しい顔イメージが継続的に追加されるスマートデータベースを効果的に管理し得るようにすることを他の目的とする。
【００１４】
また、本発明は、顔認識の性能の側面において最も類似度の低い顔イメージを削除し得るようにすることをまた他の目的とする。
【００１５】
また、本発明は、顔認識の性能の側面において最も類似度の高い顔イメージを代表の顔イメージとして選択し得るようにすることをまた他の目的とする。
【課題を解決するための手段】
【００１６】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記のとおりである。
【００１７】
本発明の一態様によると、顔認識のための各顔イメージを格納するスマートデータベースを管理する方法において、（ａ）管理装置が、顔認識のための新しい顔イメージが継続的に格納されるスマートデータベースに格納された少なくとも一つの特定人物に対応する一つ以上の特定の顔イメージをカウントし、前記各特定の顔イメージをカウントした第１カウント済み値（ｃｏｕｎｔｅｄ  ｖａｌｕｅ）が予め設定された第１設定値を満足するのかを確認する段階；及び（ｂ）前記第１カウント済み値が前記第１設定値を満足すると、前記管理装置が、前記各特定の顔イメージをニューラルアグリゲーションネットワーク（ｎｅｕｒａｌ  ａｇｇｒｅｇａｔｉｏｎ  ｎｅｔｗｏｒｋ）に入力して、前記ニューラルアグリゲーションネットワークをもって、前記各特定の顔イメージをアグリゲートして前記各特定の顔イメージそれぞれに対する各クオリティスコア（ｑｕａｌｉｔｙ  ｓｃｏｒｅ）を生成させ、前記各特定の顔イメージに対応する前記クオリティスコアを前記クオリティスコアの降順に整列させ、前記各特定の顔イメージのうちカウントされた部分の数を表す第２カウント済み値が予め設定された第２設定値と同一になるまで分類された前記各特定の顔イメージを降順にカウントし、前記スマートデータベースから前記各特定の顔イメージのうちカウントされていない部分を削除する段階；を含むことを特徴とする方法が提供される。
【００１８】
一実施例において、（ｃ）前記管理装置が、前記クオリティスコアのうち前記カウントされた部分を利用して前記各特定の顔イメージのうち一つ以上の特徴を加重合算（ｗｅｉｇｈｔｅｄ  ｓｕｍｍａｔｉｏｎ）して少なくとも一つの最適な特徴を生成し、前記最適な特徴を前記特定人物に対応する代表の顔として設定する段階；をさらに含むことを特徴とする方法が提供される。
【００１９】
一実施例において、前記（ｂ）段階で、前記管理装置は、前記各特定の顔イメージを前記ニューラルアグリゲーションネットワークのＣＮＮに入力して、前記ＣＮＮをもって、前記特定の顔イメージそれぞれに対応する一つ以上の特徴を生成させ、前記各特徴がエンベディングされた少なくとも一つの特徴ベクトルを少なくとも２つのアテンションブロック（ａｔｔｅｎｔｉｏｎ  ｂｌｏｃｋ）を含むアグリゲーションモジュールに入力して、前記アグリゲーションモジュールをもって、前記特徴それぞれに対するクオリティスコアそれぞれを生成させることを特徴とする方法が提供される。
【００２０】
一実施例において、前記（ｂ）段階で、前記管理装置は、（ｉ）（ｉ−１）前記スマートデータベースに格納されている前記特定の顔イメージそれぞれに対応する一つ以上の特徴及び（ｉ−２）前記各クオリティスコアを（ｉｉ）前記特定人物にマッチングし、前記マッチングされた特徴及びマッチングされたクオリティスコアを前記スマートデータベースに格納することを特徴とする方法が提供される。
【００２１】
一実施例において、（ｄ）前記管理装置が、（ｉ）前記スマートデータベースに格納されている前記特定人物に対応する前記各特定の顔イメージを利用して顔認識システムを学習させるか、（ｉｉ）前記特定人物に対応する前記各特定の顔イメージを前記顔認識システムに対応する学習装置に伝送して、前記学習装置をもって、前記各特定の顔イメージを利用して前記顔認識システムを学習させるようにする段階；をさらに含むことを特徴とする方法が提供される。
【００２２】
一実施例において、前記ニューラルアグリゲーションネットワークは、学習装置により、（ｉ）一つの顔に対するビデオまたは前記一つの顔に対するイメージセットに対応する複数の学習用顔イメージを前記ニューラルアグリゲーションネットワークのＣＮＮに入力して、前記ＣＮＮをもって、前記学習用顔イメージに少なくとも一回のコンボリューション演算を適用することによって、一つ以上の学習用特徴を生成させ、（ｉｉ）前記各学習用特徴がエンベディングされた少なくとも一つの学習用特徴ベクトルを、少なくとも２つのアテンションブロックを含む前記ニューラルアグリゲーションネットワークのアグリゲーションモジュールに入力して、前記アグリゲーションモジュールをもって、以前のイテレーション（ｉｔｅｒａｔｉｏｎ）で学習された一つ以上のアテンションパラメータを使用した前記各学習用特徴のアグリゲーションにより前記学習用特徴それぞれに対する学習用クオリティスコアそれぞれを生成させ、（ｉｉｉ）前記学習用クオリティスコアを利用して前記各学習用特徴を加重合算して少なくとも一つの前記学習用最適な特徴が出力されるようにし、（ｉｖ）前記学習用最適な特徴及びこれに対応する原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）を参照して、ロスレイヤから出力された一つ以上のロスが最小化されるように前記少なくとも２つのアテンションブロックの前記以前のイテレーションで学習された前記アテンションパラメータをアップデートする過程を複数回経て学習が完了した状態であることを特徴とする方法が提供される。
【００２３】
本発明の他の態様によると、顔認識のための各顔イメージを格納するスマートデータベースを管理する装置において、少なくとも一つのインストラクションを格納する少なくとも一つのメモリと、前記各インストラクションを遂行するように設定された少なくとも一つのプロセッサとを含み、前記プロセッサは、（Ｉ）顔認識のための新しい顔イメージが継続的に格納されるスマートデータベースに格納された少なくとも一つの特定人物に対応する一つ以上の特定の顔イメージをカウントし、前記各特定の顔イメージをカウントした第１カウント済み値（ｃｏｕｎｔｅｄ  ｖａｌｕｅ）が予め設定された第１設定値を満足するのかを確認するプロセス；及び（ＩＩ）前記第１カウント済み値が前記第１設定値を満足すると、前記各特定の顔イメージをニューラルアグリゲーションネットワーク（ｎｅｕｒａｌ  ａｇｇｒｅｇａｔｉｏｎ  ｎｅｔｗｏｒｋ）に入力して、前記ニューラルアグリゲーションネットワークをもって、前記各特定の顔イメージをアグリゲートして前記特定の顔イメージそれぞれに対する各クオリティスコア（ｑｕａｌｉｔｙ  ｓｃｏｒｅ）を生成させ、前記特定の顔イメージに対応する前記クオリティスコアを前記クオリティスコアの降順に整列させ、前記各特定の顔イメージのうちカウントされた部分の数を表す第２カウント済み値が予め設定された第２設定値と同一になるまで分類された前記各特定の顔イメージを降順にカウントし、前記スマートデータベースから前記各特定の顔イメージのうちカウントされていない部分を削除するプロセス；を遂行することを特徴とする装置が提供される。
【００２４】
一実施例において、前記プロセッサが、（ＩＩＩ）前記クオリティスコアのうち前記カウントされた部分を利用して前記各特定の顔イメージのうち一つ以上の特徴を加重合算（ｗｅｉｇｈｔｅｄ  ｓｕｍｍａｔｉｏｎ）して少なくとも一つの最適な特徴を生成し、前記最適な特徴を前記特定人物に対応する代表の顔として設定するプロセス；をさらに遂行することを特徴とする装置が提供される。
【００２５】
一実施例において、前記（ＩＩ）プロセスは、前記各特定の顔イメージを前記ニューラルアグリゲーションネットワークのＣＮＮに入力して、前記ＣＮＮをもって、前記特定の顔イメージそれぞれに対応する一つ以上の特徴を生成させ、前記各特徴がエンベディングされた少なくとも一つの特徴ベクトルを少なくとも２つのアテンションブロック（ａｔｔｅｎｔｉｏｎ  ｂｌｏｃｋ）を含むアグリゲーションモジュールに入力して、前記アグリゲーションモジュールをもって、前記特徴それぞれに対するクオリティスコアそれぞれを生成させることを特徴とする装置が提供される。
【００２６】
一実施例において、前記（ＩＩ）プロセスは、前記プロセッサが、（ｉ）（ｉ−１）前記スマートデータベースに格納されている前記特定の顔イメージそれぞれに対応する一つ以上の特徴及び（ｉ−２）前記各クオリティスコアを（ｉｉ）前記特定人物にマッチングし、前記マッチングされた特徴とマッチングされたクオリティスコアとを前記スマートデータベースに格納することを特徴とする装置が提供される。
【００２７】
一実施例において、（ＩＶ）前記プロセッサが、（ｉ）前記スマートデータベースに格納されている前記特定人物に対応する前記各特定の顔イメージを利用して顔認識システムを学習させるか、（ｉｉ）前記特定人物に対応する前記各特定の顔イメージを前記顔認識システムに対応する学習装置に伝送して、前記学習装置をもって、前記各特定の顔イメージを利用して前記顔認識システムを学習させるようにするプロセス；をさらに遂行することを特徴とする装置が提供される。
【００２８】
一実施例において、前記ニューラルアグリゲーションネットワークは、学習装置により、（ｉ）一つの顔に対するビデオまたは前記一つの顔に対するイメージセットに対応する複数の各学習用顔イメージを前記ニューラルアグリゲーションネットワークのＣＮＮに入力して、前記ＣＮＮをもって、前記学習用顔イメージに少なくとも一回のコンボリューション演算を適用することによって、一つ以上の学習用特徴を生成させ、（ｉｉ）前記各学習用特徴がエンベディングされた少なくとも一つの学習用特徴ベクトルを、少なくとも２つのアテンションブロックを含む前記ニューラルアグリゲーションネットワークのアグリゲーションモジュールに入力して、前記アグリゲーションモジュールをもって、以前のイテレーション（ｉｔｅｒａｔｉｏｎ）で学習された一つ以上のアテンションパラメータを使用した前記各学習用特徴のアグリゲーションにより前記学習用特徴それぞれに対する学習用クオリティスコアそれぞれを生成させ、（ｉｉｉ）前記学習用クオリティスコアを利用して前記各学習用特徴を加重合算して少なくとも一つの前記学習用最適な特徴が出力されるようにし、（ｉｖ）前記学習用最適な特徴及びこれに対応する原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）を参照してロスレイヤから出力された一つ以上のロスが最小化されるように前記少なくとも２つのアテンションブロックの前記以前のイテレーションで学習された前記アテンションパラメータをアップデートする過程を複数回経て学習が完了した状態であることを特徴とする装置が提供される。
【００２９】
その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。
【発明の効果】
【００３０】
本発明は、顔イメージが継続的に追加されるスマートデータベースを効果的に管理することによって、スマートデータベースのサイズを最小化することが可能となる。
【００３１】
また、本発明は、一人に対する多数の顔イメージが継続的に追加されるスマートデータベースを効果的に管理することによって、スマートデータベースにおける検索時間を節減することが可能となる。
【００３２】
また、本発明は、一人の顔イメージのうち最も類似度の低いイメージを取り除くことで、顔認識性能を最大化し得るレコードを保持することが可能となる。
【００３３】
また、本発明は、一人の顔イメージのうち最も類似度の高いイメージを代表の顔イメージとして選択することで、顔認識の性能を極大化することが可能になる。
【図面の簡単な説明】
【００３４】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
【図１】図１は、本発明の一実施例にしたがって、連続学習を基盤とする顔認識のためのスマートデータベースを管理する管理装置を簡略に示した図面である。
【図２】図２は、本発明の一実施例にしたがって、連続学習を基盤とする顔認識のためのスマートデータベースを管理する方法を簡略に示した図面である。
【図３】図３は、本発明の一実施例にしたがって、連続学習を基盤とする顔認識のためのスマートデータベースを管理する方法で使用されるニューラルアグリゲーションネットワークを簡略に示した図面である。
【図４】図４は、本発明の一実施例にしたがって、連続学習を基盤とする顔認識のためのスマートデータベースを管理する方法においてデータベースに格納されているレコードの状態を簡略に示した図面である。
【図５】図５は、本発明の一実施例による顔認識システムの一例を簡略に示した図面である。
【発明を実施するための形態】
【００３５】
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素である位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
【００３６】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００３７】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００３８】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
【００３９】
図１は、本発明の一実施例にしたがって、連続学習を基盤とする顔認識のためのスマートデータベースを管理する管理装置を簡略に示した図面である。図１を参照すると、管理装置１００は、連続学習を基盤とする顔認識のためのスマートデータベースを管理するための各インストラクションを格納するメモリ１１０と、メモリ１１０に格納されている各インストラクションに対応して、連続学習を基盤とする顔認識のためのスマートデータベースを管理するプロセッサ１２０を含むことができる。
【００４０】
具体的に、管理装置１００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の各構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、コンピューティング装置をもって特定の方式で機能させる各インストラクション）との組み合わせを利用して所望のシステム性能を達成するものであり得る。
【００４１】
また、コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ  Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ  Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置は、オペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
【００４２】
しかし、このように前記コンピュータ装置１００が描写されたからといって、前記コンピュータ装置１００が本発明を実施するためのミディアム、プロセッサ、メモリまたはその他のコンピューティング構成要素が統合された形態である統合プロセッサを含む場合を排除するわけではない。
【００４３】
一方、管理装置１００は、顔認識のための新しい顔イメージが継続的に格納されるスマートデータベースに格納された少なくとも一つの特定人物に対応する一つ以上の特定の顔イメージをカウントし、前記各特定の顔イメージをカウントした第１カウント済み値（ｃｏｕｎｔｅｄ  ｖａｌｕｅ）が予め設定された第１設定値を満足するのかを確認する。そして、前記第１カウント済み値が前記第１設定値を満足すると、前記管理装置１００は、前記各特定の顔イメージをニューラルアグリゲーションネットワーク（ｎｅｕｒａｌ  ａｇｇｒｅｇａｔｉｏｎ  ｎｅｔｗｏｒｋ）に入力して、前記ニューラルアグリゲーションネットワークをもって、前記各特定の顔イメージをアグリゲートして前記各特定の顔イメージに対する各クオリティスコア（ｑｕａｌｉｔｙ  ｓｃｏｒｅ）を生成することができる。以後、管理装置１００は、前記各特定の顔イメージに対応する前記クオリティスコアを前記クオリティスコアの降順に整列させ、前記各特定の顔イメージのうちカウントされた部分の数を表す第２カウント済み値が予め設定された第２設定値と同一になるまで分類された前記各特定の顔イメージを降順にカウントし、前記スマートデータベースから前記各特定の顔イメージのうちカウントされていない部分を削除することができる。
【００４４】
このように構成された本発明の一実施例による管理装置１００を利用して連続学習を基盤とする顔認識のためのスマートデータベースを管理する方法を、図２ないし図５を参照して説明すると以下のとおりである。
【００４５】
図２を参照すると、管理装置１００は、新しい顔イメージが継続的に追加されるスマートデータベース１０から特定人物に対応するすべての特定の顔イメージを検索することができる。ここで、スマートデータベース１０は、すでにそれぞれの人物に対応する各グループの顔イメージを区別して分類し、分類された各顔イメージをそれぞれの人物とマッチングして管理することができる。
【００４６】
そして、管理装置１００は、特定人物に対応する各特定の顔イメージをカウントし、各特定の顔イメージをカウントした第１カウント済み値が予め設定された第１設定値を満足するのかを確認する。
【００４７】
ここで、各特定の顔イメージをカウントした第１カウント済み値が第１設定値を満足すれば、すなわち、第１カウント済み値が第１設定値以上であれば、管理装置１００は、特定人物に対応するすべての特定の顔イメージをニューラルアグリゲーションネットワーク１５０に入力して、ニューラルアグリゲーションネットワーク１５０をもって、各特定の顔イメージをアグリゲートして特定の顔イメージそれぞれに対する各クオリティスコアを生成させる。
【００４８】
すなわち、図３を参照すると、管理装置１００が特定人物に対応するすべての特定の顔イメージをニューラルアグリゲーションネットワーク１５０に入力すると、ニューラルアグリゲーションネットワーク１５０のＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）１５１は、特定の顔イメージそれぞれに少なくとも一回のコンボリューション演算を適用することによって特定の顔イメージそれぞれに対する一つ以上の特徴を生成することができ、ニューラルアグリゲーションネットワーク１５０の特徴エンベディングモジュールは、特定の顔イメージそれぞれの特徴をエンベディングすることによって少なくとも一つの特徴ベクトルを生成することができる。ここで、特定の顔イメージそれぞれに対する特徴それぞれは、顔イメージにおける各特徴、一例として、顔イメージにおける目、鼻、口、耳、顎などの主要な各特徴部位に関する情報であり得る。
【００４９】
そして、ニューラルアグリゲーションネットワーク１５０は、特徴ベクトルをアグリゲーションモジュールである循環（ｒｅｃｕｒｒｅｎｔ）構造の少なくとも２つのアテンションブロック１５２＿１、１５２＿２に入力して、少なくとも２つのアテンションブロック１５２＿１、１５２＿２をもって特徴ベクトル、すなわち、多数の特徴を循環演算して各特徴に対するクオリティスコアそれぞれを生成させる。
【００５０】
ここで、クオリティスコアは、ニューラルアグリゲーションネットワーク１５０が最も高い顔認識の性能を有するように学習状態における出力された値であり得る。
【００５１】
一方、ニューラルアグリゲーションネットワーク１５０は、一つの顔に対するビデオまたは一つの顔に対するイメージセットに対応する複数個の学習用顔の特徴を利用して複数の学習用顔の特徴に対応する一つの顔を認識するために使用されるクオリティスコアを出力するように学習された状態であり得る。
【００５２】
一例として、ニューラルアグリゲーションネットワーク１５０は、学習装置により、（ｉ）一つの顔に対するビデオまたは前記一つの顔に対するイメージセットに対応する複数の学習用顔イメージを前記ニューラルアグリゲーションネットワーク１５０のＣＮＮに入力して、前記ＣＮＮをもって、前記学習用顔イメージに少なくとも一回のコンボリューション演算を適用することによって、一つ以上の学習用特徴を生成させ、（ｉｉ）前記各学習用特徴がエンベディングされた少なくとも一つの学習用特徴ベクトルを、少なくとも２つのアテンションブロック１５２＿１、１５２＿２を含む前記ニューラルアグリゲーションネットワーク１５０のアグリゲーションモジュールに入力して、前記アグリゲーションモジュールをもって、以前のイテレーション（ｉｔｅｒａｔｉｏｎ）で学習された一つ以上のアテンションパラメータを使用した前記各学習用特徴のアグリゲートにより前記学習用特徴それぞれに対する学習用クオリティスコアそれぞれを生成させ、（ｉｉｉ）前記学習用クオリティスコアを利用して前記各学習用特徴を加重合算して少なくとも一つの前記学習用最適な特徴が出力されるようにし、（ｉｖ）前記学習用最適な特徴及びこれに対応する原本正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）を参照してロスレイヤから出力された一つ以上のロスが最小化されるように前記少なくとも２つのアテンションブロック１５２＿１、１５２＿２の前記以前のイテレーションで学習された前記アテンションパラメータをアップデートする過程を複数回経て、学習が完了し得る。
【００５３】
再び、図２を参照すると、管理装置１００は、ニューラルアグリゲーションネットワーク１５０で生成された前記特定の顔イメージに対応する前記クオリティスコアを前記クオリティスコアの降順に整列させ、前記各特定の顔イメージのうちカウントされた部分の数を表す第２カウント済み値が予め設定された第２設定値と同一になるまで分類された前記各特定の顔イメージを降順にカウントし、前記スマートデータベース１０から前記各特定の顔イメージのうちカウントされていない部分を削除する。
【００５４】
すなわち、顔認識のためのクオリティスコアが低い各顔イメージを削除することによって、特定人物に対する顔認識の過程で顔認識の正確性を向上させることができ、特定人物に対する顔認識のための特定の顔イメージを適正な個数で管理することが可能となる。
【００５５】
ここで、第２設定値は第１設定値と同じであるか、第１設定値より小さく設定することができる。
【００５６】
また、図４を参照すると、管理装置１００は、（ｉ）特定の顔イメージそれぞれに対応する特徴、及び（ｉｉ）それぞれの特徴に対応するそれぞれのクオリティスコアをそれぞれのレコード（スマートデータベース１０に格納されている特定人物それぞれの特定の顔イメージに対応するレコード）に格納することによって、（ｉ）（ｉ−１）前記スマートデータベース１０に格納されている前記特定の顔イメージそれぞれに対応する特徴及び（ｉ−２）前記クオリティスコアを（ｉｉ）前記特定人物にマッチングし、前記マッチングされた特徴及びマッチングされたクオリティスコアを管理することが可能になる。
【００５７】
結果的に、特定人物に対応するスマートデータベース１０の各特定レコードの個数が予め設定された個数を超過する場合、管理装置１００は、クオリティスコアが最も低いレコードを取り除いて、顔認識の性能を最大化することができるレコードを維持するようにスマートデータベース１０を管理することが可能になる。
【００５８】
したがって、ニューラルアグリゲーションネットワーク１５０は、顔認識にあまり役立たない特徴には低いクオリティスコアを付与するため、クオリティスコアが最も低いレコードを取り除くことが顔認識の性能の側面から見ると好ましいといえる。
【００５９】
次に、管理装置１００は、クオリティスコアを利用して各特定の顔イメージに対応する多数の特徴を加重合算することによって、顔認識のための最適な特徴を生成し、最適な特徴を特定人物に対応する代表の顔として設定することができる。
【００６０】
すなわち、管理装置１００は、各特定の顔イメージに対応して格納されている特徴のうち顔認識にさらに重要に使用される特徴に、より高い加重値を与える加重合算により生成された最適な特徴を代表の顔として選択して記録することで、顔認識の性能を極大化することを可能にする。
【００６１】
したがって、ニューラルアグリゲーションネットワーク１５０を使用して、平均特徴ではなくクオリティスコアの加重合算により生成された特徴を取得するようになり、クオリティスコアは最も高い認識性能を有するように学習された状態における出力値であるので、加重合算により生成された特徴が特定人物の顔認識のための最適な特徴であり得る。
【００６２】
また、管理装置１００は、特定人物に対応するクオリティスコアが高い予め設定された個数の各特定の顔イメージをスマートデータベース１０に格納することによって、学習データ管理を遂行することができ、顔認識システムの連続学習を遂行するための学習データとして予め設定された個数の特定の顔イメージを利用することもできる。ここで、予め設定された個数は、予め設定されたカウントと同一であるか異なり得る。
【００６３】
すなわち、管理装置１００は、（ｉ）前記スマートデータベース１０に格納されている前記特定人物に対応する前記各特定の顔イメージを利用して顔認識システムを学習させるか、（ｉｉ）前記特定人物に対応する前記各特定の顔イメージを前記顔認識システムに対応する学習装置に伝送して、前記学習装置をもって、前記各特定の顔イメージを利用して前記顔認識システムを学習させるようにすることができる。
【００６４】
一例として、図５を参照すると、学習用顔イメージであるスマートデータベース１０に格納されている特定人物に対応する特定の顔イメージのうち一つが取得されると、管理装置１００または学習装置が、少なくとも一つのコンボリューションレイヤ２１０をもって、特定の顔イメージのうち一つに少なくとも一回のコンボリューション演算を適用することによって特定の顔イメージのうち一つに対応する少なくとも一つの学習用特徴を生成させ、学習用特徴を少なくとも一つのＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤ２２０に入力することによって、ＦＣレイヤ２２０をもって、学習用特徴にＦＣ演算を適用して特定の顔イメージのうち一つに対応する人物を認識し、認識された人物の少なくとも一つのクラスを出力させる。以後、管理装置１００または学習装置は、ロスレイヤ２３０をもって、ＦＣレイヤ２２０から出力されたクラス及びこれに対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）を参照して一つ以上のロスを計算させ、ロスを最小化するようにＦＣレイヤ２２０及びコンボリューションレイヤ２１０のうち少なくとも一つのパラメータをアップデートする過程を繰り返して、顔認識システムを学習させることができる。
【００６５】
また、図５では、コンボリューションレイヤ２１０とＦＣレイヤ２２０とを含む顔認識システムを例示として説明したが、入力イメージ上で顔を感知し、感知された顔を認識する他の顔認識システムは、ＲＰＮとプーリングレイヤとをさらに含むことができ、ディープラーニングを基盤とする顔認識の連続学習のための学習データとして出力されたクラスを利用することができる。
【００６６】
前記で説明したように、本発明は、新しい顔イメージが継続的に追加されるスマートデータベース１０から検索された特定人物に対応するすべての特定の顔イメージそれぞれに対してニューラルアグリゲーションネットワーク１５０を利用して生成した各特徴と特徴それぞれに対応する各クオリティスコアとを格納して、結果的に特定人物に対応するスマートデータベース１０の各特定レコードの個数が予め設定された個数を超過する場合、管理装置１００は、クオリティスコアが最も低いレコードを取り除いて顔認識の性能を最大化することができるレコードを保持するようにスマートデータベース１０を管理することができ、記録された各特徴のうち顔認識にさらに重要に使用される特徴に、より高い加重値を与える加重合算の特徴を代表の顔として選択して格納することによって、顔認識の性能を極大化することが可能になる。また、特定の人物に対応するクオリティスコアが高い予め設定された個数の特定の顔イメージをスマートデータベース１０に格納することによって、予め設定された個数の特定の顔イメージを利用して顔認識システムの連続学習を遂行するための学習データとして利用することが可能になる。
【００６７】
また、以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ  Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【００６８】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
【００６９】
したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020123350.tif 000003
【図２】
2020123350.tif 000004
【図３】
2020123350.tif 000005
【図４】
2020123350.tif 000006
【図５】
2020123350.tif 000007