(57)【要約】本開示の実施例はアンカー決定方法及び装置、電子機器並びに記憶媒体を開示し、前記方法は、被処理画像に対して特徴抽出を行って、前記被処理画像の第１特徴マップを取得するステップと、アンカー予測ネットワークによって前記第１特徴マップに対してアンカー予測を行って、前記第１特徴マップにおけるアンカーを生成する位置の情報と前記アンカーの形状情報を取得するステップとを含む。
2021512378.tif 000002
【特許請求の範囲】
【請求項１】
アンカー決定方法であって、
被処理画像に対して特徴抽出を行って、前記被処理画像の第１特徴マップを取得するステップと、
アンカー予測ネットワークによって前記第１特徴マップに対してアンカー予測を行って、前記第１特徴マップにおけるアンカーを生成する位置の情報と前記アンカーの形状情報を取得するステップとを含む、前記アンカー決定方法。
【請求項２】
前記アンカー予測ネットワークは、位置予測サブネットワークを含み、
前記アンカー予測ネットワークによって前記第１特徴マップに対してアンカー予測を行って、前記第１特徴マップにおけるアンカーを生成する位置の情報を取得する前記ステップは、
前記第１特徴マップを前記位置予測サブネットワークに入力して、前記第１特徴マップにおける各位置でアンカーを生成する確率を決定するステップと、
前記確率がプリセットの閾値より大きいか等しい位置情報を前記アンカーの位置情報として決定するステップとを含む、
請求項１に記載の方法。
【請求項３】
前記アンカー予測ネットワークは、形状予測サブネットワークを含み、
前記アンカー予測ネットワークによって前記第１特徴マップに対してアンカー予測を行って、前記第１特徴マップにおける前記アンカーの形状情報を取得する前記ステップは、
第１特徴マップを形状予測サブネットワークに入力して、前記アンカーの形状情報を決定するステップを含む、
請求項１に記載の方法。
【請求項４】
前記アンカーの形状情報に基づいて、修正ネットワークによって前記第１特徴マップに対して特徴修正を行って、第２特徴マップを取得するステップを更に含む、
請求項１に記載の方法。
【請求項５】
前記修正ネットワークは、第１畳み込み層と第２畳み込み層を含み、
前記アンカーの形状情報に基づいて、修正ネットワークによって前記第１特徴マップに対して特徴修正を行って、第２特徴マップを取得する前記ステップは、
前記アンカーの形状情報を第１畳み込み層に入力して、前記第２畳み込み層のオフセット量を取得するステップと、
前記第１特徴マップと前記オフセット量を前記第２畳み込み層に入力して、前記第２特徴マップを取得するステップとを含む、
請求項４に記載の方法。
【請求項６】
前記アンカーと前記第２特徴マップに対して分類とアンカー補正を行って、前記被処理画像に対する認識結果を取得するステップを更に含む、
請求項４又は５に記載の方法。
【請求項７】
前記アンカーと前記第２特徴マップに対して分類とアンカー補正を行って、前記被処理画像に対する推奨領域を取得するステップと、
前記推奨領域と前記第２特徴マップに対して分類と領域補正を行って、前記被処理画像に対する認識結果を取得するステップとを更に含む、
請求項４又は５に記載の方法。
【請求項８】
前記被処理画像に対して特徴抽出を行って、前記被処理画像の第１特徴マップを取得する前記ステップは、
予めトレーニングされた特徴抽出ネットワークを用いて前記被処理画像に対して特徴抽出を行って、前記被処理画像の第１特徴マップを取得するステップを含む、
請求項１に記載の方法。
【請求項９】
アンカー決定装置であって、
被処理画像に対して特徴抽出を行って、前記被処理画像の第１特徴マップを取得するように構成される特徴抽出モジュールと、
アンカー予測ネットワークによって前記第１特徴マップに対してアンカー予測を行って、前記第１特徴マップにおけるアンカーを生成する位置の情報と前記アンカーの形状情報を取得するように構成されるアンカー予測モジュールとを含む、
前記アンカー決定装置。
【請求項１０】
前記アンカー予測ネットワークは、位置予測サブネットワークを含み、前記アンカー予測モジュールは、
前記第１特徴マップを前記位置予測サブネットワークに入力して、前記第１特徴マップにおける各位置でアンカーを生成する確率を決定するように構成される確率生成サブモジュールと、
前記確率がプリセットの閾値より大きいか等しい位置情報を前記アンカーの位置情報として決定するように構成される位置情報決定サブモジュールとを含む、
請求項９に記載の装置。
【請求項１１】
前記アンカー予測ネットワークは、形状予測サブネットワークを含み、前記アンカー予測モジュールは、
第１特徴マップを形状予測サブネットワークに入力して、前記アンカーの形状情報を決定するように構成される形状情報決定サブモジュールを含む、
請求項９に記載の装置。
【請求項１２】
前記アンカー決定装置は、
前記アンカーの形状情報に基づいて、修正ネットワークによって前記第１特徴マップに対して特徴修正を行って、第２特徴マップを取得するように構成される修正モジュールを更に含む、
請求項９に記載の装置。
【請求項１３】
前記修正ネットワークは、第１畳み込み層と第２畳み込み層を含み、
前記修正モジュールは、
前記アンカーの形状情報を第１畳み込み層に入力して、前記第２畳み込み層のオフセット量を取得するように構成される第１畳み込みサブモジュールと、
前記第１特徴マップと前記オフセット量を前記第２畳み込み層に入力して、前記第２特徴マップを取得するように構成される第２畳み込みサブモジュールとを含む、
請求項１２に記載の装置。
【請求項１４】
前記アンカーと前記第２特徴マップに対して分類とアンカー補正を行って、前記被処理画像に対する認識結果を取得するように構成される第１認識結果決定モジュールを更に含む、
請求項１２又は１３に記載の装置。
【請求項１５】
前記アンカーと前記第２特徴マップに対して分類とアンカー補正を行って、前記被処理画像に対する推奨領域を取得するように構成される推奨領域決定モジュールと、
前記推奨領域と前記第２特徴マップに対して分類と領域補正を行って、前記被処理画像に対する認識結果を取得するように構成される第２認識結果決定モジュールとを更に含む、
請求項１２又は１３に記載の装置。
【請求項１６】
前記特徴抽出モジュールは、
予めトレーニングされた特徴抽出ネットワークを用いて前記被処理画像に対して特徴抽出を行って、前記被処理画像の第１特徴マップを取得するように構成される特徴抽出サブモジュールを含む、
請求項９に記載の装置。
【請求項１７】
電子機器であって、
請求項１〜８のいずれか一項に記載の方法を実行するように構成されるプロセッサと、
プロセッサ実行可能命令を記憶するためのメモリとを含む、前記電子機器。
【請求項１８】
コンピュータプログラム命令が記憶されたコンピュータ可読記憶媒体であって、
前記コンピュータプログラム命令がプロセッサにより実行される時に、請求項１〜８のいずれか一項に記載の方法が実現される、前記コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１８年１２月２９日に出願された、出願番号２０１８１１６３９７０２．９の中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、該中国特許出願の全ての内容が参照によって本願に組み込まれる。
【０００２】
本開示は、画像処理技術に関し、特に、アンカー決定方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【０００３】
アンカーは、現在の物体検出技術の基本的な要素の１つであり、領域候補アルゴリズムの基盤でもある。現在の物体検出器は、一般的には高密度で均一なアンカーの生成手段に依存し、即ち、マップ全体において、所定のスケール、アスペクト比及びステップサイズにより均一なアンカーを生成する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示の実施例は、アンカーの決定のための技術的手段を提供する。
【課題を解決するための手段】
【０００５】
本開示の実施例の一態様によれば、被処理画像に対して特徴抽出を行って、前記被処理画像の第１特徴マップを取得するステップと、アンカー予測ネットワークによって前記第１特徴マップに対してアンカー予測を行って、前記第１特徴マップにおけるアンカーを生成する位置の情報と前記アンカーの形状情報を取得するステップとを含むアンカー決定方法を提供する。
【０００６】
可能な一実施形態では、前記アンカー予測ネットワークは、位置予測サブネットワークを含み、アンカー予測ネットワークによって前記第１特徴マップに対してアンカー予測を行って、前記第１特徴マップにおけるアンカーを生成する位置の情報を取得する前記ステップは、前記第１特徴マップを前記位置予測サブネットワークに入力して、前記第１特徴マップにおける各位置でアンカーを生成する確率を決定するステップと、前記確率がプリセットの閾値より大きいか等しい位置情報を前記アンカーの位置情報として決定するステップとを含む。
【０００７】
可能な一実施形態では、前記アンカー予測ネットワークは、形状予測サブネットワークを含み、前記アンカー予測ネットワークによって前記第１特徴マップに対してアンカー予測を行って、前記第１特徴マップにおける前記アンカーの形状情報を取得する前記ステップは、第１特徴マップを形状予測サブネットワークに入力して、前記アンカーの形状情報を決定するステップを含む。
【０００８】
可能な一実施形態では、前記方法は、前記アンカーの形状情報に基づいて、修正ネットワークによって前記第１特徴マップに対して特徴修正を行って、第２特徴マップを取得するステップを更に含む。
【０００９】
可能な一実施形態では、前記修正ネットワークは、第１畳み込み層と第２畳み込み層を含み、
前記アンカーの形状情報に基づいて、修正ネットワークによって前記第１特徴マップに対して特徴修正を行って、第２特徴マップを取得する前記ステップは、前記アンカーの形状情報を第１畳み込み層に入力して、前記第２畳み込み層のオフセット量を取得するステップと、前記第１特徴マップと前記オフセット量を前記第２畳み込み層に入力して、前記第２特徴マップを取得するステップとを含む。
【００１０】
可能な一実施形態では、前記方法は、前記アンカーと前記第２特徴マップに対して分類とアンカー補正を行って、前記被処理画像に対する認識結果を取得するステップを更に含む。
【００１１】
可能な一実施形態では、前記方法は、前記アンカーと前記第２特徴マップに対して分類とアンカー補正を行って、前記被処理画像に対する推奨領域を取得するステップと、前記推奨領域と前記第２特徴マップに対して分類と領域補正を行って、前記被処理画像に対する認識結果を取得するステップとを更に含む。
【００１２】
可能な一実施形態では、前記被処理画像に対して特徴抽出を行って、前記被処理画像の第１特徴マップを取得する前記ステップは、予めトレーニングされた特徴抽出ネットワークを用いて前記被処理画像に対して特徴抽出を行って、前記被処理画像の第１特徴マップを取得するステップを含む。
【００１３】
本開示の実施例の一態様によれば、被処理画像に対して特徴抽出を行って、前記被処理画像の第１特徴マップを取得するように構成される特徴抽出モジュールと、アンカー予測ネットワークによって前記第１特徴マップに対してアンカー予測を行って、前記第１特徴マップにおけるアンカーを生成する位置の情報と前記アンカーの形状情報を取得するように構成されるアンカー予測モジュールとを含むアンカー決定装置を提供する。
【００１４】
可能な一実施形態では、前記アンカー予測ネットワークは、位置予測サブネットワークを含み、前記アンカー予測モジュールは、前記第１特徴マップを前記位置予測サブネットワークに入力して、前記第１特徴マップにおける各位置でアンカーを生成する確率を決定するように構成される確率生成サブモジュールと、前記確率がプリセットの閾値より大きいか等しい位置情報を前記アンカーの位置情報として決定するように構成される位置情報決定サブモジュールとを含む。
【００１５】
可能な一実施形態では、前記アンカー予測ネットワークは、形状予測サブネットワークを含み、アンカー予測モジュールは、第１特徴マップを形状予測サブネットワークに入力して、前記アンカーの形状情報を決定するように構成される形状情報決定サブモジュールを含む。
【００１６】
可能な一実施形態では、前記アンカー決定装置は、前記アンカーの形状情報に基づいて、修正ネットワークによって前記第１特徴マップに対して特徴修正を行って、第２特徴マップを取得するように構成される修正モジュールを更に含む。
【００１７】
可能な一実施形態では、前記修正ネットワークは、第１畳み込み層と第２畳み込み層を含み、
前記修正モジュールは、前記アンカーの形状情報を第１畳み込み層に入力して、前記第２畳み込み層のオフセット量を取得するように構成される第１畳み込みサブモジュールと、前記第１特徴マップと前記オフセット量を前記第２畳み込み層に入力して、前記第２特徴マップを取得するように構成される第２畳み込みサブモジュールとを含む。
【００１８】
可能な一実施形態では、前記装置は、前記アンカーと前記第２特徴マップに対して分類とアンカー補正を行って、前記被処理画像に対する認識結果を取得するように構成される第１認識結果決定モジュールを更に含む。
【００１９】
可能な一実施形態では、前記装置は、前記アンカーと前記第２特徴マップに対して分類とアンカー補正を行って、前記被処理画像に対する推奨領域を取得するように構成される推奨領域決定モジュールと、前記推奨領域と前記第２特徴マップに対して分類と領域補正を行って、前記被処理画像に対する認識結果を取得するように構成される第２認識結果決定モジュールとを更に含む。
【００２０】
可能な一実施形態では、前記特徴抽出モジュールは、予めトレーニングされた特徴抽出ネットワークを用いて前記被処理画像に対して特徴抽出を行って、前記被処理画像の第１特徴マップを取得するように構成される特徴抽出サブモジュールを含む。
【００２１】
本開示の実施例の一態様によれば、上記アンカー決定方法を実行するように構成されるプロセッサと、プロセッサ実行可能命令を記憶するためのメモリとを含む電子機器を提供する。
【００２２】
本開示の実施例の一態様によれば、コンピュータプログラム命令が記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行される時に上記アンカー決定方法が実現されるコンピュータ可読記憶媒体を提供する。
【発明の効果】
【００２３】
本開示の実施例に係るアンカー決定方法は、被処理画像の特徴マップに対してアンカー予測を行って、アンカーの位置情報とアンカーの形状情報を取得することができ、それによって、不均一で且つ任意の大きさおよび形状のアンカーを生成して、物体検出の正確率を高めることができる。
【００２４】
以上の一般的な説明と以下の詳細説明は解釈するための例示的なものに過ぎず、本開示を制限しないことを理解すべきである。以下の図面と関連付けられた例示的な実施例に対する詳細な説明によれば、本開示の他の特徴および態様は明確になる。
【図面の簡単な説明】
【００２５】
ここの図面は明細書に組み込まれて明細書の一部を構成し、これらの図面は本開示に合致する実施例を示し、明細書と共に本開示の技術的手段を説明するために用いられる。
【図１】本開示の実施例に係るアンカー決定方法のフローチャート１を示す。
【図２】本開示の実施例に係るアンカー決定方法のフローチャート２を示す。
【図３】本開示の実施例に係るアンカー決定方法のフローチャート３を示す。
【図４】本開示の実施例に係るアンカー決定方法のフローチャート４を示す。
【図５ａ】本開示の実施例に係るアンカー決定方法の適用シナリオの模式図を示す。
【図５ｂ】本開示の実施例に係るアンカー決定方法の適用シナリオの模式図を示す。
【図６】本開示の実施例に係るアンカー決定装置のブロック図を示す。
【図７】本開示の実施例に係る電子機器のブロック図を示す。
【図８】本開示の実施例の別の電子機器のブロック図を示す。。
【発明を実施するための形態】
【００２６】
以下に図面を参照しながら本開示の様々な例示的実施例、特徴および態様を詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を表す。図面において実施例の様々な態様を示したが、特に断らない限り、比例に従って図面を作る必要がない。
【００２７】
本明細書で使用される「例示的」という用語は、「例、実施例として用いられることまたは説明的なもの」を意味する。本明細書で「例示的」として説明されたいかなる実施例は、必ずしも他の実施例より優れるまたはより良好であると解釈されるべきではない。
【００２８】
本明細書における「及び／又は」という用語は、関連対象の関連関係を記述するためのものに過ぎず、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａが単独して存在し、ＡとＢが同時に存在し、Ｂが単独して存在するという３つの場合を示してもよい。また、本明細書における「少なくとも１つ」という用語は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組合せを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣで構成される集合から選択されるいずれか１つ又は複数の要素を含むことを示してもよい。
【００２９】
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的詳細を示す。当業者であれば、何らかの具体的詳細がなくても、本開示は同様に実施できることを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するように、当業者に既知の方法、手段、要素および回路に対する詳細な説明を省略する。
【００３０】
図１は、本開示の実施例に係るアンカー決定方法のフローチャート１を示す。該アンカー決定方法は、ユーザ装置（Ｕｓｅｒ  Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、モバイル機器、ユーザ端末、端末、セル方式の携帯無線電話、コードレス電話、携帯情報端末（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、ハンドヘルドデバイス、コンピューティング装置、車載装置、ウェアラブル装置等の端末装置又は他の処理装置（例えば、サーバ）により実行してもよい。いくつかの可能な実施形態では、該アンカー決定方法はメモリに記憶されたコンピュータ読取可能命令をプロセッサにより呼び出すことで実現してもよい。
【００３１】
図１に示すように、前記方法は、以下のステップを含む。
【００３２】
ステップＳ１１において、被処理画像に対して特徴抽出を行って、前記被処理画像の第１特徴マップを取得する。
【００３３】
可能な一実施形態では、前記被処理画像は画像取得装置（例えば、カメラ）で取得されたある領域（例えば、モールの入口、道路の交差点等）のシナリオ画像であってもよく、直接入力されて保存された画像又はビデオフレームであってもよい。被処理画像には、例えば人、動物、車両等、検出される１つ又は複数の対象又は物体を含んでよい。例えば、前記被処理画像は「ゴールデンレトリバーが日光浴をしている」シナリオ写真であってよく、本実施形態ではアンカー検出方式によって「ゴールデンレトリバー」のシナリオ写真での位置や形状を検出することができる。
【００３４】
ステップＳ１２において、アンカー予測ネットワークによって前記第１特徴マップに対してアンカー予測を行って、前記第１特徴マップにおけるアンカーを生成する位置の情報とアンカーの形状情報を取得する。
【００３５】
可能な一実施形態では、アンカーは特徴マップにおける対象又は物体が存在可能な領域（矩形枠）を表すためのものであり、ここで、矩形枠の中心点はアンカーの位置を表してよく、矩形枠の長さ及び幅はアンカーの形状を表してよい。アンカーの位置する領域を他の形状で表してもよく、本開示の実施例がこれを限定するものではないことを理解すべきである。
【００３６】
可能な一実施形態では、アンカー予測ネットワークは、第１特徴マップにおいて生成可能なアンカーの位置や形状を予測するために利用可能である。ここで、アンカー予測ネットワークは、例えば、畳み込みニューラルネットワーク（ＣＮＮ、Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）を含んでよく、本開示の実施例はアンカー予測ネットワークの具体的な種類を限定するものではない。
【００３７】
本開示の実施例に係るアンカー決定方法は、被処理画像の特徴マップに対してアンカー予測を行って、アンカーの位置情報とアンカーの形状情報を取得することができ、それによって、不均一で且つ任意の大きさや形状のアンカーを生成して、物体検出の正確率を高めることができる。
【００３８】
可能な一実施形態では、ステップＳ１１において、で被処理画像に対して特徴抽出を行って、前記被処理画像の第１特徴マップを取得することができる。ここで、ステップＳ１１は、予めトレーニングされた特徴抽出ネットワークを用いて前記被処理画像に対して特徴抽出を行って、前記被処理画像の第１特徴マップを取得するステップを含んでよい。
【００３９】
例を挙げると、特徴抽出ネットワークは、予めトレーニングされた畳み込みニューラルネットワーク（ＣＮＮ）であってよく、被処理画像を特徴抽出ネットワークに入力して処理することにより、被処理画像の第１特徴マップを取得することができる。
【００４０】
可能な一実施形態では、特徴抽出ネットワークは、複数の畳み込み層を含み、且つ畳み込みカーネルのサイズがそれぞれ異なる。この場合に、得られた第１特徴マップは、サイズが異なる複数の特徴マップを含んでよい。本開示の実施例は、特徴抽出ネットワークの具体的なネットワークタイプ及び第１特徴マップの数量を限定するものではない。
【００４１】
可能な一実施形態で、得られた第１特徴マップにしたがって、ステップＳ１２において、でアンカー予測ネットワークによって第１特徴マップでにおいてアンカーを生成可能な位置及びアンカーの形状を予測することができる。
【００４２】
ここで、可能な一実施形態では、アンカー予測ネットワークは、位置予測サブネットワークを含んでよく、アンカー予測ネットワークによって前記第１特徴マップに対してアンカー予測を行って、前記第１特徴マップにおけるアンカーを生成する位置の情報を取得するステップＳ１２は、前記第１特徴マップを前記位置予測サブネットワークに入力して、前記第１特徴マップにおける各位置でアンカーを生成する確率を決定するステップと、前記確率がプリセットの閾値より大きいか等しい位置情報を前記アンカーの位置情報として決定するするステップと、を含んでよい。
【００４３】
例を挙げると、位置予測サブネットワークは、アンカーの位置を予測するために利用可能である。位置予測サブネットワークは、少なくとも畳み込み層と活性化層（例えば、ｓｉｇｍｏｉｄ活性化層）を含んでよい。形状がＭ＊Ｃ＊Ｈ＊Ｗである第１特徴マップ（ただし、Ｍはバッチサイズ（ｂａｔｃｈ  ｓｉｚｅ）を表し、Ｃは特徴マップの第１チャンネル数量を表し、ＨとＷはそれぞれ第１特徴マップの高さと幅を表す）に関しては、第１特徴マップを畳み込み層（例えば、畳み込みカーネルのサイズがＡ×Ａであって、Ａが１より大きいか等しい整数である）に入力して処理して、形状がＭ＊１＊Ｈ＊Ｗの特徴マップを出力することができる。次に、形状がＭ＊１＊Ｈ＊Ｗの特徴マップを活性化層に入力して処理して、第１特徴マップにおける各位置（Ｈ＊Ｗ個の位置）でアンカーを生成する確率を取得することができる。
【００４４】
可能な一実施形態では、確率がプリセットの閾値より大きいか等しい位置情報をアンカーの位置情報として決定してもよい。即ち、確率が該閾値Ｐより小さい位置を全て除去するように、閾値Ｐ（０＜Ｐ＜１）が予め設定されていてもよい。
【００４５】
ここで、該閾値が大きいほど、生成するアンカーの数量が少なく、逆に、該閾値が小さいほど、生成するアンカーの数量が多い。生成するアンカーの数量が少ない時に、推奨領域が小さく、目標検出の演算量も少ない。当業者は、実際に応じて閾値Ｐを設定してよく、本開示の実施例は閾値Ｐの具体的な値を限定するものではない。
【００４６】
このような形態によれば、第１特徴マップにおいて生成可能なアンカーの位置情報を決定して、不均一なアンカーを生成することができる。
【００４７】
可能な一実施形態では、アンカー予測ネットワークは、形状予測サブネットワークを含んでよく、アンカー予測ネットワークによって前記第１特徴マップに対してアンカー予測を行って、前記第１特徴マップにおける前記アンカーの形状情報を取得するステップＳ１２は、第１特徴マップを形状予測サブネットワークに入力して、前記アンカーの形状情報を決定するステップを含んでよい。
【００４８】
例を挙げると、形状予測サブネットワークは、アンカーの形状を予測するために利用可能である。形状予測サブネットワークは、少なくとも畳み込み層を含んでよい。形状がＭ＊Ｃ＊Ｈ＊Ｗの第１特徴マップに関しては、第１特徴マップを該畳み込み層（例えば、畳み込みカーネルのサイズがＢ×Ｂであって、Ｂが１より大きいか等しい整数である）に入力して処理して、形状がＭ＊２＊Ｈ＊Ｗの特徴マップを出力することができる。ここで、２は、それぞれ各位置について予測するアンカーの高さと幅（相対値）を表す２つのチャンネルを表し、ｄｈとｄｗと記す。
【００４９】
可能な一実施形態では、アンカーの高さの実際値ｈは、式ｈ＝８＊ｓ＊ｅｘｐ（ｄｈ）によって算出でき、アンカーの幅の実際値ｗは、式ｗ＝８＊ｓ＊ｅｘｐ（ｄｗ）によって算出でき、ただし、ｓは、形状予測サブネットワークの畳み込み層のステップサイズを表すためのものである。
【００５０】
可能な一実施形態では、予測された各位置のアンカーの高さと幅により、第１特徴マップにおける全てのアンカーの形状情報を決定できる。このように、位置予測サブネットワークで得られたアンカーの位置情報により、生成可能なアンカーの形状情報を決定することができる。
【００５１】
このような形態によれば、第１特徴マップにおいて生成可能なアンカーの形状情報を決定して、任意の大きさや形状のアンカーを生成することができる。
【００５２】
可能な一実施形態では、４次元特徴ベクトル（ｘ，ｙ，ａ，ｂ）でアンカーの位置情報と形状情報を表してよい。ここで、ｘとｙは、それぞれアンカーの位置（矩形枠の中心点）の第１特徴マップの横座標と縦座標を表し、ａとｂは、それぞれアンカーの領域（矩形枠）の高さと幅を表す。
【００５３】
可能な一実施形態では、４次元特徴ベクトル（ｘ１，ｙ１，ｘ２，ｙ２）でアンカーの位置情報と形状情報を表してもよい。ここで、ｘ１とｙ１は、それぞれアンカー領域（矩形枠）の左上頂点の第１特徴マップでの横座標と縦座標を表し、ｘ２とｙ２は、それぞれアンカー領域の右下頂点の第１特徴マップでの横座標と縦座標を表す。本開示の実施例はアンカーの位置情報と形状情報の具体的表現形態を限定するものではない。
【００５４】
図２は、本開示の実施例に係るアンカー決定方法のフローチャート２を示す。可能な一実施形態では、図２に示すように、前記アンカー決定方法は、
前記アンカーの形状情報に基づいて、修正ネットワークによって前記第１特徴マップに対して特徴修正を行って、第２特徴マップを取得するステップＳ１３を更に含んでよい。
【００５５】
可能な一実施形態では、修正ネットワークは、第１特徴マップの偏差を修正するために利用可能である。アンカーの形状情報を修正ネットワークに入力して処理して、修正後の特徴マップ（第２特徴マップ）を出力できる。ここで、修正ネットワークは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）であってよく、本開示の実施例は修正ネットワークの具体的なネットワークタイプを限定するものではない。
【００５６】
可能な一実施形態では、前記修正ネットワークは、第１畳み込み層と第２畳み込み層を含んでよく、ステップＳ１３は、前記アンカーの形状情報を第１畳み込み層に入力して、前記第２畳み込み層のオフセット量を取得するステップと、前記第１特徴マップと前記オフセット量を前記第２畳み込み層に入力して、前記第２特徴マップを取得するステップと、を含んでよい。
【００５７】
例を挙げると、修正ネットワークの第１畳み込み層は第２畳み込み層のオフセット量を決定するために利用可能であり、ここで、第１畳み込み層の畳み込みカーネルのサイズは、例えば１×１であってよい。アンカーの形状情報を第１畳み込み層に入力して、第２畳み込み層のオフセット量を出力できる。
【００５８】
可能な一実施形態では、修正ネットワークの第２畳み込み層は、特徴マップを修正するために利用可能である。ここで、第２畳み込み層は変形可能な畳み込み層であってよく、その畳み込みカーネルのサイズがＮ×Ｎであってよい（Ｎが１より大きい整数であり、例えば、Ｎ＝３である）。第１特徴マップとオフセット量を第２畳み込み層に入力して処理して、修正後の特徴マップ（第２特徴マップ）を出力できる。
【００５９】
このような形態によれば、第１特徴マップの修正を実現して、物体検出の正確率を高めることができる。
【００６０】
本開示の実施例に係るアンカー決定方法は物体検出のために利用可能であり、例えば、一段階（ｓｉｎｇｌｅ−ｓｔａｇｅ）物体検出又は二段階（ｔｗｏ−ｓｔａｇｅ）物体検出のために利用可能である。
【００６１】
図３は、本開示の実施例に係るアンカー決定方法のフローチャート３を示す。可能な一実施形態では、図３に示すように、前記アンカー決定方法は、前記アンカーと前記第２特徴マップに対して分類とアンカー補正を行って、前記被処理画像に対する認識結果を取得するステップＳ１４を更に含んでよい。
【００６２】
例を挙げると、一段階の物体検出において、アンカーと第２特徴マップに対して直接に分類とアンカー補正を行って、認識結果を取得することができる。ここで、分類とアンカー補正は同時に行ってもよく、相前後して実行してもよく、本開示の実施例は分類とアンカー補正の実行順序を限定するものではない。
【００６３】
可能な一実施形態では、アンカーの領域（矩形枠）の分類において、アンカーと第２特徴マップを分類ネットワークに入力して処理することができ、該分類ネットワークは、１つ又は複数の畳み込み層及び出力チャンネル数がカテゴリー数である畳み込み層を含んでよい。該分類ネットワークの１つ又は複数の畳み込み層を通過した後、更に出力チャンネル数がカテゴリー数である畳み込み層を通過することで、アンカーが各カテゴリーに属する分類確率を出力することができる。このように、アンカーが各カテゴリーに属する分類確率をアンカー分類結果として決定することができる。
【００６４】
可能な一実施形態では、アンカー補正において、アンカー境界ボックス回帰の手法によって補正プロセスを実現することができる。アンカーと第２特徴マップをアンカー補正ネットワークに入力して処理することができ、該アンカー補正ネットワークは、１つ又は複数の畳み込み層及び出力チャンネル数が４である畳み込み層を含んでよい。該アンカー補正ネットワークの１つ又は複数の畳み込み層を通過した後、更に出力チャンネル数が４である畳み込み層を通過することで、アンカー領域（矩形枠）の位置（４次元特徴ベクトル）、例えば、矩形枠の中心点座標、幅及び高さ、又は矩形枠の左上頂点座標と右下頂点座標等を出力することができる。このように、矩形枠の位置をアンカー補正結果として決定することができる。
【００６５】
可能な一実施形態では、得られたアンカー分類結果とアンカー補正結果により、被処理画像の認識結果を決定することができる。即ち、認識結果は、被処理画像中の検出された物体のカテゴリーと領域座標を含む。
【００６６】
このような形態によれば、一段階物体検出の認識結果を取得して、物体検出の正確率を高めることができる。
【００６７】
図４は、本開示の実施例に係るアンカー決定方法のフローチャート４を示す。可能な一実施形態では、図４に示すように、前記アンカー決定方法は、
前記アンカーと前記第２特徴マップに対して分類とアンカー補正を行って、前記被処理画像に対する推奨領域を取得するステップＳ１５と、
前記推奨領域と前記第２特徴マップに対して分類と領域補正を行って、前記被処理画像に対する認識結果を取得するステップＳ１６と、を更に含んでよい。
【００６８】
例を挙げると、二段階の物体検出において、ステップＳ１５でアンカーと第２特徴マップに対して分類とアンカー補正を行って、被処理画像の推奨領域を取得することができる。ここで、分類とアンカー補正は同時に行ってもよく、相前後して実行してもよく、本開示は分類とアンカー補正の実行順序を限定するものではない。
【００６９】
可能な一実施形態では、ステップＳ１５での分類において、アンカーと第２特徴マップを分類畳み込みネットワーク（例えば、２クラス分類器）に入力して処理して、各アンカーのカテゴリーを取得し、且つプリセットのカテゴリー（例えば前景カテゴリー）のアンカーの領域を被処理画像に対する推奨領域として決定することができる。本開示は分類畳み込みネットワークの具体的な種類を限定するものではない。
【００７０】
可能な一実施形態では、ステップＳ１５でのアンカー補正において、アンカー境界ボックス回帰の手法によって補正プロセスを実現することができる。アンカーと第２特徴マップをアンカー補正ネットワークに入力して処理することができ、全てのアンカーの領域（矩形枠）の位置を出力可能である。このように、分類で得られた推奨領域により、アンカー補正後の推奨領域の位置を決定することができる。本開示はアンカー補正ネットワークの具体的な種類を限定するものではない。
【００７１】
可能な一実施形態では、推奨領域を決定した後、ステップＳ１６で前記推奨領域と前記第２特徴マップに対して分類と領域補正を行って、前記被処理画像に対する認識結果を取得することができる。ここで、分類と領域補正は同時に行ってもよく、相前後して実行してもよく、本開示は分類と領域補正の実行順序を限定するものではない。
【００７２】
可能な一実施形態では、ステップＳ１６での分類において、推奨領域と第２特徴マップを分類ネットワーク（例えば、多クラス分類器）に入力して処理して、推奨領域が各カテゴリーに属する分類確率を出力することができる。このように、推奨領域が各カテゴリーに属する分類確率を推奨領域の分類結果とすることができる。本開示は分類ネットワークの具体的な種類を限定するものではない。
【００７３】
可能な一実施形態では、ステップＳ１６での領域補正において、アンカー境界ボックス回帰の手法によって補正プロセスを実現することができる。推奨領域と第２特徴マップを領域補正ネットワークに入力して処理して、推奨領域の位置を出力することができる。このように、推奨領域の補正結果を決定することができる。
【００７４】
可能な一実施形態では、推奨領域の分類結果と補正結果により、被処理画像の認識結果を決定することができる。即ち、認識結果は、被処理画像中の検出された物体のカテゴリーと領域座標を含む。
【００７５】
このような形態によれば、二段階物体検出の認識結果を取得して、物体検出の正確率を高めることができる。
【００７６】
可能な一実施形態では、前記アンカー決定方法は、アンカー予測ネットワークをトレーニングするプロセスを更に含んでよい。例えば、ラベリングしたトレーニング集合によって前記アンカー予測ネットワークをトレーニングする。トレーニング集合のラベリング情報は、トレーニング集合のトレーニング画像内の対象／物体の位置、形状及び／又はカテゴリーをラベリングするために使用される。
【００７７】
可能な一実施形態では、前記アンカー予測ネットワークをトレーニングするプロセスで、トレーニング集合のトレーニング画像を前記アンカー予測ネットワークに入力して処理して予測結果を取得し、予測結果及びトレーニング画像のラベリング情報によりアンカー予測ネットワークのネットワーク損失を決定し、前記ネットワーク損失によりアンカー予測ネットワークをトレーニングすることができる。
【００７８】
ここで、前記アンカー予測ネットワークのネットワーク損失は、位置予測サブネットワークと形状予測サブネットワークのネットワーク損失を含んでよい。アンカー予測ネットワークのネットワーク損失は、下式で示してよく、
2021512378.tif 000003
【００７９】
ただし、Ｌはアンカー予測ネットワークのネットワーク損失を表し、Ｌｌｏｃは位置予測サブネットワークのネットワーク損失を表し、Ｌｓｈａｐｅは形状予測サブネットワークのネットワーク損失を表し、Ｌｃｌｓはアンカー予測ネットワークの回帰損失を表し、Ｌｒｅｇはアンカー予測ネットワークの分類損失を表す。λ１は位置予測サブネットワークのネットワーク損失の重みを表し、λ２は形状予測サブネットワークのネットワーク損失重みを表す。
【００８０】
本開示の実施例はアンカー予測ネットワークの具体的なトレーニング形態を制限するものではない。
【００８１】
図５ａ及び図５ｂは本開示の実施例に係るアンカー決定方法の適用シナリオの模式図を示す。図５ａに示すように、該実施形態では、複数の第１特徴マップを含む特徴集合５１０から複数の第１特徴マップを取得し、各ネットワークに並行入力することができ、アンカー（ａｎｃｈｏｒｓ）の位置と形状情報５２０及び修正後の特徴マップ（第２特徴マップ５３０）がそれぞれ各アンカー予測ネットワークに取得される。アンカーの位置と形状情報５２０及び第２特徴マップ５３０に基づいて、一段階物体検出又は二段階物体検出を行って、認識結果（ｐｒｅｄｉｃｔｉｏｎ）を取得することができる。
【００８２】
図５ｂに示すように、該実施形態では、該ネットワークは、位置予測サブネットワーク及び形状予測サブネットワークを含むアンカー予測ネットワーク５１と、修正ネットワーク５２とを含む。
【００８３】
該実施形態では、被処理画像に対して特徴抽出を行って第１特徴マップ５１０を取得することができ、第１特徴マップ５１０をアンカー予測ネットワーク５１の位置予測サブネットワークと形状予測サブネットワークに入力して処理して、アンカーの位置と形状情報５２０を出力することができ、第１特徴マップ５１０及びアンカーの形状情報を修正ネットワーク５２に入力して処理して、修正後の特徴マップ（第２特徴マップ５３０）を出力することができ、それによってアンカー決定及び特徴マップ修正の全プロセスが実現される。
【００８４】
本開示の実施例に係るアンカー決定方法によれば、関連技術においてスライディングウィンドウ手法を用いて生成される、均一的で、形状が予め定義されたアンカーの代わりに、まばらで任意の形状のアンカーを生成し、アンカーの形状により特徴マップを修正することができる。本開示の実施例によれば、領域候補ネットワーク（領域推奨）の再現率を著しく高めることができ、顔検出、自動運転等のシナリオに適用して顔、車両又は一般物体等の検出正確率及び検出速度を高めることができる。
【００８５】
本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて、組合せ後の実施例を形成することができることが理解され、紙数に限りがあるので、本開示では詳細な説明を省略する。
【００８６】
図６は本開示の実施例に係るアンカー決定装置のブロック図を示し、図６に示すように、前記アンカー決定装置６０は、
被処理画像に対して特徴抽出を行って、前記被処理画像の第１特徴マップを取得するように構成される特徴抽出モジュール６１と、
アンカー予測ネットワークによって前記第１特徴マップに対してアンカー予測を行って、前記第１特徴マップにおけるアンカーを生成する位置の情報と前記アンカーの形状情報を取得するように構成されるアンカー予測モジュール６２とを含む。
【００８７】
可能な一実施形態では、前記アンカー予測ネットワークは位置予測サブネットワークを含み、前記アンカー予測モジュールは、前記第１特徴マップを前記位置予測サブネットワークに入力して、前記第１特徴マップにおける各位置でアンカーを生成する確率を決定するように構成される確率生成サブモジュールと、前記確率がプリセットの閾値より大きいか等しい位置情報を前記アンカーの位置情報として決定するように構成される位置情報決定サブモジュールとを含む。
【００８８】
可能な一実施形態では、前記アンカー予測ネットワークは形状予測サブネットワークを含み、アンカー予測モジュールは、第１特徴マップを形状予測サブネットワークに入力して、前記アンカーの形状情報を決定するように構成される形状情報決定サブモジュールを含む。
【００８９】
可能な一実施形態では、前記アンカー決定装置は、前記アンカーの形状情報に基づいて、修正ネットワークによって前記第１特徴マップに対して特徴修正を行って、第２特徴マップを取得するように構成される修正モジュールを更に含む。
【００９０】
可能な一実施形態では、前記修正ネットワークは第１畳み込み層と第２畳み込み層を含み、
前記修正モジュールは、前記アンカーの形状情報を第１畳み込み層に入力して、前記第２畳み込み層のオフセット量を取得するように構成される第１畳み込みサブモジュールと、前記第１特徴マップと前記オフセット量を前記第２畳み込み層に入力して、前記第２特徴マップを取得するように構成される第２畳み込みサブモジュールとを含む。
【００９１】
可能な一実施形態では、前記装置は、前記アンカーと前記第２特徴マップに対して分類とアンカー補正を行って、前記被処理画像に対する認識結果を取得するように構成される第１認識結果決定モジュールを更に含む。
【００９２】
可能な一実施形態では、前記装置は、前記アンカーと前記第２特徴マップに対して分類とアンカー補正を行って、前記被処理画像に対する推奨領域を取得するように構成される推奨領域決定モジュールと、前記推奨領域と前記第２特徴マップに対して分類と領域補正を行って、前記被処理画像に対する認識結果を取得するように構成される第２認識結果決定モジュールとを更に含む。
【００９３】
可能な一実施形態では、前記特徴抽出モジュールは、予めトレーニングされた特徴抽出ネットワークを用いて前記被処理画像に対して特徴抽出を行って、前記被処理画像の第１特徴マップを取得するように構成される特徴抽出サブモジュールを含む。
【００９４】
いくつかの実施例では、本開示の実施例で提供された装置に備えた機能又はモジュールは、上記方法実施例に記載の方法を実行するために用いられ、その具体的な実施形態については上記方法実施例の説明を参照してもよく、簡単化するために、ここで重複説明は割愛する。
【００９５】
本開示の実施例は、コンピュータプログラム命令が記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行される時に上記方法が実現されるコンピュータ可読記憶媒体を更に提供する。コンピュータ可読記憶媒体は非揮発性コンピュータ可読記憶媒体であってよい。
【００９６】
本開示の実施例は、上記アンカー決定方法を実行するように構成されるプロセッサと、プロセッサ実行可能命令を記憶するためのメモリとを含む電子機器を更に提供する。
【００９７】
図７は一例示的実施例により示された電子機器８００のブロック図である。例えば、電子機器８００は携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、携帯情報端末などの端末であってもよい。
【００９８】
図７を参照すると、電子機器８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インターフェイス８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つまたは複数を含むことができる。
【００９９】
処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを完了するために、一つまたは複数のプロセッサ８２０を含んで命令を実行することができる。また、処理コンポーネント８０２は、他のコンポーネントとの対話のために、一つまたは複数のモジュールを含むことができる。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８との対話のために、マルチメディアモジュールを含むことができる。
【０１００】
メモリ８０４は電子機器８００での動作をサポートするために様々なタイプのデータを記憶するように構成される。これらのデータの例は電子機器８００において動作するためのあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ、Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ、Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ、Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ、Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または非揮発性記憶機器またはそれらの組み合わせによって実現できる。
【０１０１】
電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つまたは複数の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含むことができる。
【０１０２】
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インターフェイスを提供する画面を含む。いくつかの実施例では、画面は液晶ディスプレイ（ＬＣＤ、Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）およびタッチパネル（ＴＰ、Ｔｏｕｃｈ  Ｐａｎｅｌ）を含むことができる。画面がタッチパネルを含む場合、ユーザからの入力信号を受信するために、タッチ画面として実現してもよい。タッチパネルは、タッチ、スワイプおよびタッチパネルでのジェスチャを検知するために、一つまたは複数のタッチセンサを含む。前記タッチセンサはタッチまたはスワイプ動きの境界を検知するのみならず、前記タッチまたはスワイプ操作に関連する持続時間および圧力を検出することもできる。いくつかの実施例では、マルチメディアコンポーネント８０８はフロントカメラおよび／またはリアカメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、フロントカメラおよび／またはリアカメラは外部のマルチメディアデータを受信することができる。各フロントカメラおよびリアカメラは固定された光学レンズ系または焦点距離および光学ズーム能力を有するものであってもよい。
【０１０３】
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成されたマイク（ＭＩＣ、Ｍｉｃｒｏｐｈｏｎｅ）を含む。受信されたオーディオ信号はさらにメモリ８０４に記憶され、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
【０１０４】
Ｉ／Ｏインターフェイス８１２は処理コンポーネント８０２と周辺インターフェイスモジュールとの間でインターフェイスを提供し、上記周辺インターフェイスモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含むことができるが、これらに限定されない。
【０１０５】
センサコンポーネント８１４は電子機器８００に各面での状態評価を提供するための一つまたは複数のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、コンポーネントの相対的位置決め、例えば前記コンポーネントが電子機器８００の表示装置およびキーパッドであることを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するために用いられるように構成された近接センサを含む。センサコンポーネント８１４はさらに、金属酸化物半導体素子（ＣＭＯＳ、Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）または電荷結合素子（ＣＣＤ、Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含むことができる。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含むことができる。
【０１０６】
通信コンポーネント８１６は電子機器８００と他の機器との間の有線または無線通信を実現するように配置される。電子機器８００は通信規格に基づく無線ネットワーク、例えばワイヤレスフィデリティ（ＷｉＦｉ）、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルによって外部の放送管理システムの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ、Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）モジュールを含む。例えば、ＮＦＣモジュールでは無線周波数識別（ＲＦＩＤ、Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ、Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ）技術、超広帯域（ＵＷＢ、Ｕｌｔｒａ  ＷｉｄｅＢａｎｄ）技術、ブルートゥース（ＢＴ、Ｂｌｕｅ  Ｔｏｏｔｈ、登録商標）技術および他の技術によって実現できる。
【０１０７】
例示的な実施例では、電子機器８００は一つまたは複数の特定用途向け集積回路（ＡＳＩＣ、Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサ（ＤＳＰ、Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ、Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ、Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現し、上記方法を実行するために用いることができる。
【０１０８】
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行されて上記方法を完了することができる。
【０１０９】
図８は一例示的実施例により示された別の電子機器１９００のブロック図である。例えば、電子機器１９００はサーバとして提供できる。図８を参照すると、電子機器１９００は、さらに一つまたは複数のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリリソースを含む。メモリ１９３２に記憶されたアプリケーションプログラムはそれぞれが１セットの命令に対応する一つまたは複数のモジュールを含むことができる。また、処理コンポーネント１９２２は命令を実行し、それによって上記方法を実行するように構成される。
【０１１０】
電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成された電源コンポーネント１９２６、電子機器１９００をネットワークにアクセスさせるように構成された有線または無線ネットワークインターフェイス１９５０、および入出力（Ｉ／Ｏ）インターフェイス１９５８を含むことができる。電子機器１９００はメモリ１９３２に記憶されたオペレーティングシステム、例えばＷｉｎｄｏｗｓ  ＳｅｒｖｅｒＴＭ、Ｍａｃ  ＯＳ  ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。
【０１１１】
例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は電子機器１９００の処理コンポーネント１９２２によって実行して上記方法を完了することができる。
【０１１２】
本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各態様を実現させるためのコンピュータ読み取り可能プログラム命令がロードされているコンピュータ読み取り可能記憶媒体を含むことができる。
【０１１３】
コンピュータ読み取り可能記憶媒体は、命令実行機器により使用される命令を保持および記憶可能な有形の機器であってもよい。コンピュータ読み取り可能記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能記憶媒体のさらに具体的な例（非包括的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、機械的符号化装置、例えば命令が記憶されるパンチカードまたはスロット内の突起構造、および上記の任意の適当な組み合わせを含む。本文で使用されるコンピュータ読み取り可能記憶媒体は、瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
【０１１４】
本文で記述したコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能記憶媒体から各コンピューティング／処理機器にダウンロードされるか、インターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークなどのネットワークによって外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは、銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含むことができる。各コンピューティング／処理機器内のネットワークアダプタカードまたはネットワークインターフェイスはネットワークからコンピュータ読み取り可能プログラム命令を受信し、該コンピュータ読み取り可能プログラム命令を転送し、各コンピューティング／処理機器内のコンピュータ読み取り可能記憶媒体に記憶する。
【０１１５】
本開示の動作を実行するためのコンピュータプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つまたは複数のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズすることで、該電子回路はコンピュータ読み取り可能プログラム命令を実行し、それにより本開示の各態様を実現できるようになる。
【０１１６】
なお、ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら、本開示の各態様を説明しが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能プログラム命令によって実現できることを理解すべきである。
【０１１７】
これらのコンピュータ読み取り可能プログラム命令は、機械を製造するために、共通コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されてもよく、それにより、これらの命令はコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行され、フローチャートおよび／またはブロック図の一つまたは複数のブロックにおいて指定された機能／動作を実現する手段を創出する。また、これらのコンピュータ読み取り可能プログラム命令は、コンピュータ読み取り可能記憶媒体に記憶し、それによってコンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させることができ、それにより、命令が記憶されたコンピュータ読み取り可能記憶媒体は、フローチャートおよび／またはブロック図の一つまたは複数のブロックにおいて指定された機能／動作の各態様を実現する命令を含む製品を備える。
【０１１８】
コンピュータ読み取り可能プログラムは、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードすることにより、コンピュータ実施プロセスを生成するように、コンピュータ、他のプログラマブルデータ処理装置または他の機器において一連の動作ステップを実行させることができ、それにより、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令はフローチャートおよび／またはブロック図の一つまたは複数のブロックにおいて指定された機能／動作を実現する。
【０１１９】
図面のフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部は指定された論理機能を実現するための一つまたは複数の実行可能命令を含む。いくつかの置換としての実現形態では、ブロックに表記される機能は図面に付したものと異なる順序で実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、関連する機能によって、それらは逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。
【０１２０】
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ開示された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書で使用される用語の選択は、各実施例の原理、実際の適用または市場における技術への技術的改善を最適に解釈するか、または他の当業者に本文で開示された各実施例を理解させるためのものである。
【図１】
2021512378.tif 000004
【図２】
2021512378.tif 000005
【図３】
2021512378.tif 000006
【図４】
2021512378.tif 000007
【図５ａ】
2021512378.tif 000008
【図５ｂ】
2021512378.tif 000009
【図６】
2021512378.tif 000010
【図７】
2021512378.tif 000011
【図８】
2021512378.tif 000012
【手続補正書】
【提出日】令和2年4月28日(2020.4.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
アンカー決定方法であって、
被処理画像に対して特徴抽出を行って、前記被処理画像の第１特徴マップを取得するステップと、
アンカー予測ネットワークによって前記第１特徴マップに対してアンカー予測を行って、前記第１特徴マップにおけるアンカーを生成する位置の情報と前記アンカーの形状情報を取得するステップとを含む、前記アンカー決定方法。
【請求項２】
前記アンカー予測ネットワークは、位置予測サブネットワークを含み、
前記アンカー予測ネットワークによって前記第１特徴マップに対してアンカー予測を行って、前記第１特徴マップにおけるアンカーを生成する位置の情報を取得する前記ステップは、
前記第１特徴マップを前記位置予測サブネットワークに入力して、前記第１特徴マップにおける各位置でアンカーを生成する確率を決定するステップと、
前記確率がプリセットの閾値より大きいか等しい位置情報を前記アンカーの位置情報として決定するステップとを含む、
請求項１に記載の方法。
【請求項３】
前記アンカー予測ネットワークは、形状予測サブネットワークを含み、
前記アンカー予測ネットワークによって前記第１特徴マップに対してアンカー予測を行って、前記第１特徴マップにおける前記アンカーの形状情報を取得する前記ステップは、
第１特徴マップを形状予測サブネットワークに入力して、前記アンカーの形状情報を決定するステップを含む、
請求項１に記載の方法。
【請求項４】
前記アンカーの形状情報に基づいて、修正ネットワークによって前記第１特徴マップに対して特徴修正を行って、第２特徴マップを取得するステップを更に含む、
請求項１に記載の方法。
【請求項５】
前記修正ネットワークは、第１畳み込み層と第２畳み込み層を含み、
前記アンカーの形状情報に基づいて、修正ネットワークによって前記第１特徴マップに対して特徴修正を行って、第２特徴マップを取得する前記ステップは、
前記アンカーの形状情報を第１畳み込み層に入力して、前記第２畳み込み層のオフセット量を取得するステップと、
前記第１特徴マップと前記オフセット量を前記第２畳み込み層に入力して、前記第２特徴マップを取得するステップとを含む、
請求項４に記載の方法。
【請求項６】
前記アンカーと前記第２特徴マップに対して分類とアンカー補正を行って、前記被処理画像に対する認識結果を取得するステップを更に含む、
請求項４又は５に記載の方法。
【請求項７】
前記アンカーと前記第２特徴マップに対して分類とアンカー補正を行って、前記被処理画像に対する推奨領域を取得するステップと、
前記推奨領域と前記第２特徴マップに対して分類と領域補正を行って、前記被処理画像に対する認識結果を取得するステップとを更に含む、
請求項４又は５に記載の方法。
【請求項８】
前記被処理画像に対して特徴抽出を行って、前記被処理画像の第１特徴マップを取得する前記ステップは、
予めトレーニングされた特徴抽出ネットワークを用いて前記被処理画像に対して特徴抽出を行って、前記被処理画像の第１特徴マップを取得するステップを含む、
請求項１に記載の方法。
【請求項９】
アンカー決定装置であって、
被処理画像に対して特徴抽出を行って、前記被処理画像の第１特徴マップを取得するように構成される特徴抽出モジュールと、
アンカー予測ネットワークによって前記第１特徴マップに対してアンカー予測を行って、前記第１特徴マップにおけるアンカーを生成する位置の情報と前記アンカーの形状情報を取得するように構成されるアンカー予測モジュールとを含む、
前記アンカー決定装置。
【請求項１０】
電子機器であって、
請求項１〜８のいずれか一項に記載の方法を実行するように構成されるプロセッサと、
プロセッサ実行可能命令を記憶するためのメモリとを含む、前記電子機器。
【請求項１１】
コンピュータプログラム命令が記憶されたコンピュータ可読記憶媒体であって、
前記コンピュータプログラム命令がプロセッサにより実行される時に、請求項１〜８のいずれか一項に記載の方法が実現される、前記コンピュータ可読記憶媒体。
【国際調査報告】
2021512378.tif 000013
2021512378.tif 000014
2021512378.tif 000015
2021512378.tif 000016