(57)【要約】本願の実施形態は物体検出のための方法、装置および機器を開示し、前記方法は検出対象の画像における複数の特定待ち目標を取得することと、それぞれ少なくとも一つのカテゴリに対する前記複数の特定待ち目標の信頼度を特定し、前記信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定し、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を特定することと、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を前記複数の特定待ち目標の位置オフセット値とすることと、前記複数の特定待ち目標の所属カテゴリ、前記複数の特定待ち目標の位置オフセット値および所属カテゴリに対する前記複数の特定待ち目標の信頼度に基づき、前記検出対象の画像における少なくとも一つの特定待ち目標の位置情報および所属カテゴリを特定することと、を含む。本願の実施形態はリアルタイム性に対する要求が高い物体検出用途において効果的に用いることができる。
2020527793.tif 000002
【特許請求の範囲】
【請求項１】
検出対象の画像における複数の特定待ち目標を取得することと、
それぞれ少なくとも一つのカテゴリに対する前記複数の特定待ち目標の信頼度を特定し、前記信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定し、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を特定することと、
前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を前記複数の特定待ち目標の位置オフセット値とすることと、
前記複数の特定待ち目標の所属カテゴリ、前記複数の特定待ち目標の位置オフセット値および所属カテゴリに対する前記複数の特定待ち目標の信頼度に基づき、前記検出対象の画像における少なくとも一つの特定待ち目標の位置情報および所属カテゴリを特定することとを含む、ことを特徴とする物体検出のための方法。
【請求項２】
検出対象の画像における複数の特定待ち目標を取得する前記ステップは、
検出対象の画像における、少なくとも一つの予め設定された領域サイズに基づいて形成された複数の特定待ち目標を取得することを含む、ことを特徴とする請求項１に記載の方法。
【請求項３】
検出対象の画像における、少なくとも一つの予め設定された領域サイズに基づいて形成された複数の特定待ち目標を取得する前記ステップは、
検出対象の画像の特徴マップを取得することと、
前記特徴マップにおける一つの特徴点に対して、基準ボックス構成情報に基づいて前記特徴点の基準ボックスを形成し、前記特徴点の基準ボックスを一つの特定待ち目標とすることと、
前記特徴マップにおける複数の特徴点に対応する複数の特定待ち目標を取得することとを含む、ことを特徴とする請求項２に記載の方法。
【請求項４】
検出対象の画像の特徴マップを取得する前記ステップは、
検出対象の画像を畳み込みニューラルネットワークにおけるバックボーンネットワークに入力することと、
前記バックボーンネットワークが出力する特徴マップを前記畳み込みニューラルネットワークにおけるフィルタ層に入力し、前記フィルタ層によって予め設定されたスライディングウィンドウに基づいて前記特徴マップに対してフィルタリング処理を行い、前記フィルタリング処理後の特徴マップを前記検出対象の画像の特徴マップとすることとを含む、ことを特徴とする請求項３に記載の方法。
【請求項５】
検出対象の画像における、少なくとも一つの予め設定された領域サイズに基づいて形成された複数の特定待ち目標を取得する前記ステップは、
検出対象の画像の特徴マップを取得することと、
基準ボックス構成情報に基づいて前記特徴マップに対してプーリング処理を行い、複数の新たな特徴マップを得て、複数の新たな特徴マップを複数の特定待ち目標とすることとを含む、ことを特徴とする請求項２に記載の方法。
【請求項６】
前記予め設定された領域サイズは、三つの異なる長さおよび三つの異なるアスペクト比に基づいて形成された九つの予め設定された領域サイズ、または三つの異なる幅および三つの異なるアスペクト比に基づいて形成された九つの予め設定された領域サイズ、または三つの異なる長さおよび幅に基づいて形成された九つの予め設定された領域サイズを含む、ことを特徴とする請求項２から５のいずれか一項に記載の方法。
【請求項７】
前記カテゴリは、二つの物体カテゴリおよび一つの背景カテゴリを含む、ことを特徴とする請求項１から６のいずれか一項に記載の方法。
【請求項８】
それぞれ少なくとも一つのカテゴリに対する前記複数の特定待ち目標の信頼度を特定し、前記信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定する前記ステップは、
一つの特定待ち目標に対して、前記特定待ち目標がそれぞれ前記少なくとも一つのカテゴリに属する信頼度を計算し、最高信頼度に対応するカテゴリを前記特定待ち目標の所属カテゴリとすることを含む、ことを特徴とする請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を特定する前記ステップは、
一つの特定待ち目標に対して、所属カテゴリに対する前記特定待ち目標の上オフセット値、下オフセット値、左オフセット値および右オフセット値を計算することを含む、ことを特徴とする請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記特定待ち目標の位置情報は、特定待ち目標の境界ボックス位置情報を含む、ことを特徴とする請求項１から９のいずれか一項に記載の方法。
【請求項１１】
前記複数の特定待ち目標の所属カテゴリ、前記複数の特定待ち目標の位置オフセット値および所属カテゴリに対する前記複数の特定待ち目標の信頼度に基づき、前記検出対象の画像における少なくとも一つの特定待ち目標の位置情報および所属カテゴリを特定する前記ステップは、
前記複数の特定待ち目標から、信頼度が予め設定された信頼度要求を満たす複数の特定待ち目標を選択して取得することと、
前記選択した複数の特定待ち目標の位置オフセット値に基づいて、検出対象の画像における境界ボックス位置情報を形成することと、
前記選択した複数の特定待ち目標の所属カテゴリを、対応する境界ボックスの所属カテゴリとすることとを含む、ことを特徴とする請求項１０に記載の方法。
【請求項１２】
それぞれ少なくとも一つのカテゴリに対する前記複数の特定待ち目標の信頼度を特定し、前記信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定し、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を特定する前記ステップは、
畳み込みニューラルネットワークにより、それぞれ少なくとも一つのカテゴリに対する前記複数の特定待ち目標の信頼度を特定し、前記信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定し、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を特定することを含み、
前記方法は、さらに、前記畳み込みニューラルネットワークを訓練するステップを含み、前記畳み込みニューラルネットワークを訓練する前記ステップは、
画像サンプル集合から、少なくとも一つの標準位置情報および標準位置の所属カテゴリでラベル付けされた画像サンプルを取得することと、
画像サンプルにおける複数の特定待ち目標を取得することと、
畳み込みニューラルネットワーク内の一つの畳み込み層により、それぞれ少なくとも一つのカテゴリに対する前記複数の特定待ち目標の信頼度を特定し、前記信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定することと、
畳み込みニューラルネットワーク内の別の畳み込み層により、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を特定することと、
前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を前記複数の特定待ち目標の位置オフセット値とすることと、
対応する標準位置に対する前記複数の特定待ち目標の標準位置オフセット値を計算することと、
畳み込みニューラルネットワーク内の一つの損失層により、前記複数の特定待ち目標のうちの少なくとも一つの特定待ち目標の、対応する標準位置のカテゴリに対する位置オフセット値と対応する標準位置オフセット値との誤差を計算し、畳み込みニューラルネットワーク内の一つの損失層により、前記複数の特定待ち目標のうちの少なくとも一つの特定待ち目標の、対応する標準位置の所属カテゴリに対する信頼度と標準位置の所属カテゴリとの誤差を計算し、かつ前記誤差を前記畳み込みニューラルネットワークにおいて逆伝播することと、
画像サンプル集合から取得した画像サンプルの数が所定数に達し、かつ誤差が所定範囲内になるまで訓練し、前記畳み込みニューラルネットワークの訓練を完了することとを含む、ことを特徴とする請求項１から１１のいずれか一項に記載の方法。
【請求項１３】
画像サンプルにおける複数の特定待ち目標を取得する前記ステップは、
画像サンプルにおける、少なくとも一つの予め設定された領域サイズに基づいて形成された複数の特定待ち目標を取得することを含む、ことを特徴とする請求項１２に記載の方法。
【請求項１４】
前記標準位置は、標準境界ボックスを含む、ことを特徴とする請求項１２または１３に記載の方法。
【請求項１５】
対応する標準位置に対する前記複数の特定待ち目標の標準位置オフセット値を計算する前記ステップは、
前記複数の特定待ち目標の各々が対応する、重なり面積の最も大きい標準境界ボックスを特定し、重なり面積の最も大きい標準境界ボックスに対する複数の特定待ち目標の標準位置オフセット値をそれぞれ計算することを含む、ことを特徴とする請求項１４に記載の方法。
【請求項１６】
前記複数の特定待ち目標のうちの少なくとも一つの特定待ち目標は、前記複数の特定待ち目標のうちの複数の正の特定待ち目標から選択した正の特定待ち目標と、複数の特定待ち目標のうちの複数の負の特定待ち目標から選択した負の特定待ち目標とを含み、かつ選択した正の特定待ち目標と選択した負の特定待ち目標は所定比率を満たし、
ある特定待ち目標について、前記特定待ち目標とそれとの重なり面積の最も大きい標準境界ボックスとの重なり面積と、前記特定待ち目標および標準境界ボックスが共同で覆う面積との比率が第一比率閾値よりも大きい場合、前記特定待ち目標は正の特定待ち目標であり、前記比率が第二比率閾値よりも小さい場合、前記特定待ち目標は負の特定待ち目標である、ことを特徴とする請求項１４または１５に記載の方法。
【請求項１７】
検出対象の画像における複数の特定待ち目標を取得するための特定待ち目標取得モジュールと、
それぞれ少なくとも一つのカテゴリに対する前記複数の特定待ち目標の信頼度を特定し、前記信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定し、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を特定するためのカテゴリおよび位置オフセット値予測モジュールと、
前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を前記複数の特定待ち目標の位置オフセット値とするための位置オフセット特定モジュールと、
前記複数の特定待ち目標の所属カテゴリ、前記複数の特定待ち目標の位置オフセット値および所属カテゴリに対する前記複数の特定待ち目標の信頼度に基づき、前記検出対象の画像における少なくとも一つの特定待ち目標の位置情報および所属カテゴリを特定するための検出結果特定モジュールとを含む、ことを特徴とする物体検出のための装置。
【請求項１８】
前記特定待ち目標取得モジュールは具体的に、検出対象の画像における、少なくとも一つの予め設定された領域サイズに基づいて形成された複数の特定待ち目標を取得するために用いられる、ことを特徴とする請求項１７に記載の装置。
【請求項１９】
前記特定待ち目標取得モジュールは、
検出対象の画像の特徴マップを取得し、前記特徴マップにおける一つの特徴点に対して、基準ボックス構成情報に基づいて前記特徴点の基準ボックスを形成し、前記特徴点の基準ボックスを一つの特定待ち目標とし、前記特徴マップにおける複数の特徴点に対応する複数の特定待ち目標を取得するための第一の特定待ち目標取得サブモジュールを含む、ことを特徴とする請求項１８に記載の装置。
【請求項２０】
前記第一の特定待ち目標取得サブモジュールは具体的に、検出対象の画像を畳み込みニューラルネットワークにおけるバックボーンネットワークに入力し、前記バックボーンネットワークが出力する特徴マップを前記畳み込みニューラルネットワークにおけるフィルタ層に入力し、前記フィルタ層によって予め設定されたスライディングウィンドウに基づいて前記特徴マップに対してフィルタリング処理を行い、前記フィルタリング処理後の特徴マップを前記検出対象の画像の特徴マップとするために用いられる、ことを特徴とする請求項１９に記載の装置。
【請求項２１】
前記特定待ち目標取得モジュールは、
検出対象の画像の特徴マップを取得し、基準ボックス構成情報に基づいて前記特徴マップに対してプーリング処理を行い、複数の新たな特徴マップを得て、複数の新たな特徴マップを複数の特定待ち目標とするための第二の特定待ち目標取得サブモジュールを含む、ことを特徴とする請求項１８に記載の装置。
【請求項２２】
前記予め設定された領域サイズは、三つの異なる長さおよび三つの異なるアスペクト比に基づいて形成された九つの予め設定された領域サイズ、または三つの異なる幅および三つの異なるアスペクト比に基づいて形成された九つの予め設定された領域サイズ、または三つの異なる長さおよび幅に基づいて形成された九つの予め設定された領域サイズを含む、ことを特徴とする請求項１８から２１のいずれか一項に記載の装置。
【請求項２３】
前記カテゴリは、少なくとも二つの物体カテゴリおよび一つの背景カテゴリを含む、ことを特徴とする請求項１７から２２のいずれか一項に記載の装置。
【請求項２４】
前記カテゴリおよび位置オフセット値予測モジュールは具体的に、
一つの特定待ち目標に対して、前記特定待ち目標がそれぞれ前記少なくとも一つのカテゴリに属する信頼度を計算し、最高信頼度に対応するカテゴリを前記特定待ち目標の所属カテゴリとするために用いられる、ことを特徴とする請求項１７から２３のいずれか一項に記載の装置。
【請求項２５】
前記カテゴリおよび位置オフセット値予測モジュールは具体的に、
一つの特定待ち目標に対して、所属カテゴリに対する前記特定待ち目標の上オフセット値、下オフセット値、左オフセット値および右オフセット値を計算するために用いられる、ことを特徴とする請求項１７から２４のいずれか一項に記載の装置。
【請求項２６】
前記特定待ち目標の位置情報は、特定待ち目標の境界ボックス位置情報を含む、ことを特徴とする請求項１７から２５のいずれか一項に記載の装置。
【請求項２７】
前記検出結果特定モジュールは具体的に、前記複数の特定待ち目標から、信頼度が予め設定された信頼度要求を満たす複数の特定待ち目標を選択して取得し、前記選択した複数の特定待ち目標の位置オフセット値に基づいて、検出対象の画像における境界ボックス位置情報を形成し、前記選択した複数の特定待ち目標の所属カテゴリを、対応する境界ボックスの所属カテゴリとするために用いられる、ことを特徴とする請求項２６に記載の装置。
【請求項２８】
前記カテゴリおよび位置オフセット値予測モジュールは畳み込みニューラルネットワークにより実現され、
さらに、
画像サンプル集合から、少なくとも一つの標準位置情報および標準位置の所属カテゴリでラベル付けされた画像サンプルを取得し、
画像サンプルにおける複数の特定待ち目標を取得し、
畳み込みニューラルネットワーク内の一つの畳み込み層により、それぞれ少なくとも一つのカテゴリに対する前記複数の特定待ち目標の信頼度を特定し、前記信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定し、
畳み込みニューラルネットワーク内の別の畳み込み層により、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を特定し、
前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を前記複数の特定待ち目標の位置オフセット値とし、
対応する標準位置に対する前記複数の特定待ち目標の標準位置オフセット値を計算し、
畳み込みニューラルネットワーク内の一つの損失層により、前記複数の特定待ち目標のうちの少なくとも一つの特定待ち目標の、対応する標準位置のカテゴリに対する位置オフセット値と対応する標準位置オフセット値との誤差を計算し、畳み込みニューラルネットワーク内の一つの損失層により、前記複数の特定待ち目標のうちの少なくとも一つの特定待ち目標の、対応する標準位置の所属カテゴリに対する信頼度と標準位置の所属カテゴリとの誤差を計算し、かつ前記誤差を前記畳み込みニューラルネットワークにおいて逆伝播し、
画像サンプル集合から取得した画像サンプルの数が所定数に達し、かつ誤差が所定範囲内になるまで訓練し、前記畳み込みニューラルネットワークの訓練を完了するための訓練モジュールを含む、ことを特徴とする請求項１７から２７のいずれか一項に記載の装置。
【請求項２９】
前記訓練モジュールは具体的に、画像サンプルにおける、少なくとも一つの予め設定された領域サイズに基づいて形成された複数の特定待ち目標を取得するために用いられる、ことを特徴とする請求項２８に記載の装置。
【請求項３０】
前記標準位置は、標準境界ボックスを含む、ことを特徴とする請求項２８または２９に記載の装置。
【請求項３１】
前記訓練モジュールは具体的に、前記複数の特定待ち目標の各々が対応する、重なり面積の最も大きい標準境界ボックスを特定し、重なり面積の最も大きい標準境界ボックスに対する複数の特定待ち目標の標準位置オフセット値をそれぞれ計算するために用いられる、ことを特徴とする請求項３０に記載の装置。
【請求項３２】
前記一部の特定待ち目標は、前記複数の特定待ち目標のうちの複数の正の特定待ち目標から選択した正の特定待ち目標と、複数の特定待ち目標のうちの複数の負の特定待ち目標から選択した負の特定待ち目標とを含み、かつ選択した正の特定待ち目標と選択した負の特定待ち目標は所定比率を満たし、
ある特定待ち目標について、前記特定待ち目標とそれとの重なり面積の最も大きい標準境界ボックスとの重なり面積と、前記特定待ち目標および標準境界ボックスが共同で覆う面積との比率が第一比率閾値よりも大きい場合、前記特定待ち目標は正の特定待ち目標であり、前記比率が第二比率閾値よりも小さい場合、前記特定待ち目標は負の特定待ち目標である、ことを特徴とする請求項３０または３１に記載の装置。
【請求項３３】
請求項１７から３２のいずれか一項に記載の物体検出のための装置を含むプロセッサを含む、ことを特徴とする電子機器。
【請求項３４】
コンピュータプログラムを記憶するためのメモリ、および
プロセッサを含み、
前記プロセッサが、前記メモリに記憶されたコンピュータプログラムを実行し、しかも前記コンピュータプログラムは実行される時、上記請求項１から１６のいずれか一項に記載の物体検出のための方法を実現するために用いられる、電子機器。
【請求項３５】
コンピュータプログラムが記憶されているコンピュータ読み取り可能記憶媒体であって、該コンピュータプログラムはプロセッサに実行される時、上記請求項１から１６のいずれか一項に記載の物体検出のための方法を実現する、コンピュータ読み取り可能記憶媒体。
【請求項３６】
コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードが機器において実行される時、前記機器内のプロセッサは請求項１から１６のいずれか一項に記載の物体検出のための方法を実現するための命令を実行する、ことを特徴とするコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は２０１７年１１月２２日に中国特許局に提出された、出願番号ＣＮ２０１７１１１７５５５９．８、名称「物体検出のための方法、装置および機器」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【０００２】
本願はコンピュータビジョン技術に関し、特に物体検出のための方法、装置、電子機器およびコンピュータ読み取り可能記憶媒体に関する。
【背景技術】
【０００３】
画像認識などのコンピュータビジョン分野では、物体、特に一般物体を高速かつ正確に検出する必要がある。
【０００４】
従来の一般物体検出は通常、物体位置特定プロセスおよび物体カテゴリ認識プロセスを含み、そのうち、物体位置特定プロセスは主に画像における物体の境界ボックスを特定するために用いられ、それに対して物体カテゴリ認識プロセスは主に物体が属するカテゴリを特定するために用いられる。
【０００５】
従来の物体位置特定では、選択的検索（Ｓｅｌｅｃｔｉｖｅ  Ｓｅａｒｃｈ）アルゴリズムまたは領域提案ネットワーク（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ、ＲＰＮ）などにより画像における物体らしい複数の候補ボックスを得て、さらに畳み込みニューラルネットワークによって各候補ボックスを回帰処理し、それによって候補ボックスの位置をより正確にする実現方法が一般的である。
【０００６】
従来の物体カテゴリ認識では、物体位置特定プロセスで特定された候補ボックスを対象にして、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、ＣＮＮ）を分類器とし、それによりＣＮＮによって各候補ボックスが各予め設定されたカテゴリに属する信頼度を特定し、信頼度が最も高いカテゴリを候補ボックスの属するカテゴリとする実現方法が一般的である。
【発明の概要】
【０００７】
本願の実施形態は物体検出のための方法、装置および機器を提供する。
【０００８】
本願の実施形態の一態様によれば、検出対象の画像における複数の特定待ち目標を取得することと、それぞれ少なくとも一つのカテゴリに対する前記複数の特定待ち目標の信頼度を特定し、前記信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定し、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を特定することと、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を前記複数の特定待ち目標の位置オフセット値とすることと、前記複数の特定待ち目標の所属カテゴリ、前記複数の特定待ち目標の位置オフセット値および所属カテゴリに対する前記複数の特定待ち目標の信頼度に基づき、前記検出対象の画像における少なくとも一つの特定待ち目標の位置情報および所属カテゴリを特定することと、を含む物体検出のための方法が提供される。
【０００９】
本願の一実施形態では、検出対象の画像における複数の特定待ち目標を取得する前記ステップは、検出対象の画像における、少なくとも一つの予め設定された領域サイズに基づいて形成された複数の特定待ち目標を取得することを含む。
【００１０】
本願の別の実施形態では、検出対象の画像における、少なくとも一つの予め設定された領域サイズに基づいて形成された複数の特定待ち目標を取得する前記ステップは、検出対象の画像の特徴マップを取得することと、前記特徴マップにおける一つの特徴点に対して、基準ボックス構成情報に基づいて前記特徴点の基準ボックスを形成し、前記特徴点の基準ボックスを一つの特定待ち目標とすることと、前記特徴マップにおける複数の特徴点に対応する複数の特定待ち目標を取得することと、を含む。
【００１１】
本願のさらに別の実施形態では、検出対象の画像の特徴マップを取得する前記ステップは、検出対象の画像を畳み込みニューラルネットワークにおけるバックボーンネットワークに入力することと、前記バックボーンネットワークが出力する特徴マップを前記畳み込みニューラルネットワークにおけるフィルタ層に入力し、前記フィルタ層によって予め設定されたスライディングウィンドウに基づいて前記特徴マップに対してフィルタリング処理を行い、前記フィルタリング処理後の特徴マップを前記検出対象の画像の特徴マップとすることと、を含む。
【００１２】
本願のさらに別の実施形態では、検出対象の画像における、少なくとも一つの予め設定された領域サイズに基づいて形成された複数の特定待ち目標を取得する前記ステップは、検出対象の画像の特徴マップを取得することと、基準ボックス構成情報に基づいて前記特徴マップに対してプーリング処理を行い、複数の新たな特徴マップを得て、複数の新たな特徴マップを複数の特定待ち目標とすることと、を含む。
【００１３】
本願のさらに別の実施形態では、前記予め設定された領域サイズは、三つの異なる長さおよび三つの異なるアスペクト比に基づいて形成された九つの予め設定された領域サイズ、または三つの異なる幅および三つの異なるアスペクト比に基づいて形成された九つの予め設定された領域サイズ、または三つの異なる長さおよび幅に基づいて形成された九つの予め設定された領域サイズを含む。
【００１４】
本願のさらに別の実施形態では、前記カテゴリは、少なくとも二つの物体カテゴリおよび一つの背景カテゴリを含む。
【００１５】
本願のさらに別の実施形態では、それぞれ少なくとも一つのカテゴリに対する前記複数の特定待ち目標の信頼度を特定し、前記信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定する前記ステップは、一つの特定待ち目標に対して、前記特定待ち目標がそれぞれ前記少なくとも一つのカテゴリに属する信頼度を計算し、最高信頼度に対応するカテゴリを前記特定待ち目標の所属カテゴリとすることを含む。
【００１６】
本願のさらに別の実施形態では、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を特定する前記ステップは、一つの特定待ち目標に対して、所属カテゴリに対する前記特定待ち目標の上オフセット値、下オフセット値、左オフセット値および右オフセット値を計算することを含む。
【００１７】
本願のさらに別の実施形態では、前記特定待ち目標の位置情報は、特定待ち目標の境界ボックス位置情報を含む。
【００１８】
本願のさらに別の実施形態では、前記複数の特定待ち目標の所属カテゴリ、前記複数の特定待ち目標の位置オフセット値および所属カテゴリに対する前記複数の特定待ち目標の信頼度に基づき、前記検出対象の画像における少なくとも一つの特定待ち目標の位置情報および所属カテゴリを特定する前記ステップは、前記複数の特定待ち目標から、信頼度が予め設定された信頼度要求を満たす複数の特定待ち目標を選択して取得することと、前記選択した複数の特定待ち目標の位置オフセット値に基づいて、検出対象の画像における境界ボックス位置情報を形成することと、前記選択した複数の特定待ち目標の所属カテゴリを、対応する境界ボックスの所属カテゴリとすることと、を含む。
【００１９】
本願のさらに別の実施形態では、それぞれ少なくとも一つのカテゴリに対する前記複数の特定待ち目標の信頼度を特定し、前記信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定し、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を特定する前記ステップは、畳み込みニューラルネットワークにより、それぞれ少なくとも一つのカテゴリに対する前記複数の特定待ち目標の信頼度を特定し、前記信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定し、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を特定することを含み、前記方法はさらに、前記畳み込みニューラルネットワークを訓練するステップを含み、かつ前記畳み込みニューラルネットワークを訓練する前記ステップは、画像サンプル集合から、少なくとも一つの標準位置情報および標準位置の所属カテゴリでラベル付けされた画像サンプルを取得することと、画像サンプルにおける複数の特定待ち目標を取得することと、畳み込みニューラルネットワーク内の一つの畳み込み層により、それぞれ少なくとも一つのカテゴリに対する前記複数の特定待ち目標の信頼度を特定し、前記信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定することと、畳み込みニューラルネットワーク内の別の畳み込み層により、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を特定することと、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を前記複数の特定待ち目標の位置オフセット値とすることと、対応する標準位置に対する前記複数の特定待ち目標の標準位置オフセット値を計算することと、畳み込みニューラルネットワーク内の一つの損失層により、前記複数の特定待ち目標のうちの少なくとも一つの特定待ち目標の、対応する標準位置のカテゴリに対する位置オフセット値と対応する標準位置オフセット値との誤差を計算し、畳み込みニューラルネットワーク内の一つの損失層により、前記複数の特定待ち目標のうちの少なくとも一つの特定待ち目標の、対応する標準位置の所属カテゴリに対する信頼度と標準位置の所属カテゴリとの誤差を計算し、かつ前記誤差を前記畳み込みニューラルネットワークにおいて逆伝播することと、画像サンプル集合から取得した画像サンプルの数が所定数に達し、かつ誤差が所定範囲内になるまで訓練し、前記畳み込みニューラルネットワークの訓練を完了することと、を含む。
【００２０】
本願のさらに別の実施形態では、画像サンプルにおける複数の特定待ち目標を取得する前記ステップは、画像サンプルにおける、少なくとも一つの予め設定された領域サイズに基づいて形成された複数の特定待ち目標を取得することを含む。
【００２１】
本願のさらに別の実施形態では、前記標準位置は、標準境界ボックスを含む。
【００２２】
本願のさらに別の実施形態では、対応する標準位置に対する前記複数の特定待ち目標の標準位置オフセット値を計算する前記ステップは、前記複数の特定待ち目標の各々が対応する、重なり面積の最も大きい標準境界ボックスを特定し、重なり面積の最も大きい標準境界ボックスに対する複数の特定待ち目標の標準位置オフセット値をそれぞれ計算することを含む。
【００２３】
本願のさらに別の実施形態では、前記複数の特定待ち目標のうちの少なくとも一つの特定待ち目標は、前記複数の特定待ち目標のうちの複数の正の特定待ち目標から選択した正の特定待ち目標と、複数の特定待ち目標のうちの複数の負の特定待ち目標から選択した負の特定待ち目標とを含み、かつ選択した正の特定待ち目標と選択した負の特定待ち目標は所定比率を満たし、ある特定待ち目標について、前記特定待ち目標とそれとの重なり面積の最も大きい標準境界ボックスとの重なり面積と、前記特定待ち目標および標準境界ボックスが共同で覆う面積との比率が第一比率閾値よりも大きい場合、前記特定待ち目標は正の特定待ち目標であり、前記比率が第二比率閾値よりも小さい場合、前記特定待ち目標は負の特定待ち目標である。
【００２４】
本願の実施形態の別の一態様によれば、検出対象の画像における複数の特定待ち目標を取得するための特定待ち目標取得モジュールと、それぞれ少なくとも一つのカテゴリに対する前記複数の特定待ち目標の信頼度を特定し、前記信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定し、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を特定するためのカテゴリおよび位置オフセット値予測モジュールと、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を前記複数の特定待ち目標の位置オフセット値とするための位置オフセット特定モジュールと、前記複数の特定待ち目標の所属カテゴリ、前記複数の特定待ち目標の位置オフセット値および所属カテゴリに対する前記複数の特定待ち目標の信頼度に基づき、前記検出対象の画像における少なくとも一つの特定待ち目標の位置情報および所属カテゴリを特定するための検出結果特定モジュールと、を含む物体検出のための装置が提供される。
【００２５】
本願の一実施形態では、前記特定待ち目標取得モジュールは具体的に、検出対象の画像における、少なくとも一つの予め設定された領域サイズに基づいて形成された複数の特定待ち目標を取得するために用いられる。
【００２６】
本願の別の実施形態では、前記特定待ち目標取得モジュールは、検出対象の画像の特徴マップを取得し、前記特徴マップにおける一つの特徴点に対して、基準ボックス構成情報に基づいて前記特徴点の基準ボックスを生成し、前記特徴点の一つの基準ボックスを一つの特定待ち目標とし、前記特徴マップにおける複数の特徴点に対応する複数の特定待ち目標を取得するための第一の特定待ち目標取得サブモジュールを含む。
【００２７】
本願のさらに別の実施形態では、前記第一の特定待ち目標取得サブモジュールは具体的に、検出対象の画像を畳み込みニューラルネットワークにおけるバックボーンネットワークに入力し、前記バックボーンネットワークが出力する特徴マップを前記畳み込みニューラルネットワークにおけるフィルタ層に入力し、前記フィルタ層によって予め設定されたスライディングウィンドウに基づいて前記特徴マップに対してフィルタリング処理を行い、前記フィルタリング処理後の特徴マップを前記検出対象の画像の特徴マップとするために用いられる。
【００２８】
本願のさらに別の実施形態では、前記特定待ち目標取得モジュールは、検出対象の画像の特徴マップを取得し、基準ボックス構成情報に基づいて前記特徴マップに対してプーリング処理を行い、複数の新たな特徴マップを得て、複数の新たな特徴マップを複数の特定待ち目標とするための第二の特定待ち目標取得サブモジュールを含む。
【００２９】
本願のさらに別の実施形態では、前記予め設定された領域サイズは、三つの異なる長さおよび三つの異なるアスペクト比に基づいて形成された九つの予め設定された領域サイズ、または三つの異なる幅および三つの異なるアスペクト比に基づいて形成された九つの予め設定された領域サイズ、または三つの異なる長さおよび幅に基づいて形成された九つの予め設定された領域サイズを含む。
【００３０】
本願のさらに別の実施形態では、前記カテゴリは、少なくとも二つの物体カテゴリおよび一つの背景カテゴリを含む。
【００３１】
本願のさらに別の実施形態では、前記カテゴリおよび位置オフセット値予測モジュールは具体的に、一つの特定待ち目標に対して、前記特定待ち目標がそれぞれ前記少なくとも一つのカテゴリに属する信頼度を計算し、最高信頼度に対応するカテゴリを前記特定待ち目標の所属カテゴリとするために用いられる。
【００３２】
本願のさらに別の実施形態では、前記カテゴリおよび位置オフセット値予測モジュールは具体的に、一つの特定待ち目標に対して、所属カテゴリに対する前記特定待ち目標の上オフセット値、下オフセット値、左オフセット値および右オフセット値を計算するために用いられる。
【００３３】
本願のさらに別の実施形態では、前記特定待ち目標の位置情報は、特定待ち目標の境界ボックス位置情報を含む。
【００３４】
本願のさらに別の実施形態では、前記検出結果特定モジュールは具体的に、前記複数の特定待ち目標から、信頼度が予め設定された信頼度要求を満たす複数の特定待ち目標を選択して取得し、前記選択した複数の特定待ち目標の位置オフセット値に基づいて、検出対象の画像における境界ボックス位置情報を形成し、前記選択した複数の特定待ち目標の所属カテゴリを、対応する境界ボックスの所属カテゴリとするために用いられる。
【００３５】
本願のさらに別の実施形態では、前記カテゴリおよび位置オフセット値予測モジュールは畳み込みニューラルネットワークにより実現され、前記装置はさらに、画像サンプル集合から、少なくとも一つの標準位置情報および標準位置の所属カテゴリでラベル付けされた画像サンプルを取得し、画像サンプルにおける複数の特定待ち目標を取得し、畳み込みニューラルネットワーク内の一つの畳み込み層により、それぞれ少なくとも一つのカテゴリに対する前記複数の特定待ち目標の信頼度を特定し、前記信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定し、畳み込みニューラルネットワーク内の別の畳み込み層により、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を特定し、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を前記複数の特定待ち目標の位置オフセット値とし、対応する標準位置に対する前記複数の特定待ち目標の標準位置オフセット値を計算し、畳み込みニューラルネットワーク内の一つの損失層により、前記複数の特定待ち目標のうちの少なくとも一つの特定待ち目標の、対応する標準位置のカテゴリに対する位置オフセット値と対応する標準位置オフセット値との誤差を計算し、畳み込みニューラルネットワーク内の一つの損失層により、前記複数の特定待ち目標のうちの少なくとも一つの特定待ち目標の、対応する標準位置の所属カテゴリに対する信頼度と標準位置の所属カテゴリとの誤差を計算し、かつ前記誤差を前記畳み込みニューラルネットワークにおいて逆伝播し、画像サンプル集合から取得した画像サンプルの数が所定数に達し、かつ誤差が所定範囲内になるまで訓練し、前記畳み込みニューラルネットワークの訓練を完了するための訓練モジュールを含む。
【００３６】
本願のさらに別の実施形態では、前記訓練モジュールは具体的に、画像サンプルにおける、少なくとも一つの予め設定された領域サイズに基づいて形成された複数の特定待ち目標を取得するために用いられる。
【００３７】
本願のさらに別の実施形態では、前記標準位置は、標準境界ボックスを含む。
【００３８】
本願のさらに別の実施形態では、前記訓練モジュールは具体的に、前記複数の特定待ち目標の各々が対応する、重なり面積の最も大きい標準境界ボックスを特定し、重なり面積の最も大きい標準境界ボックスに対する複数の特定待ち目標の標準位置オフセット値をそれぞれ計算するために用いられる。
【００３９】
本願のさらに別の実施形態では、前記一部の特定待ち目標は、前記複数の特定待ち目標のうちの複数の正の特定待ち目標から選択した正の特定待ち目標と、複数の特定待ち目標のうちの複数の負の特定待ち目標から選択した負の特定待ち目標とを含み、かつ選択した正の特定待ち目標と選択した負の特定待ち目標は所定比率を満たし、ある特定待ち目標について、前記特定待ち目標とそれとの重なり面積の最も大きい標準境界ボックスとの重なり面積と、前記特定待ち目標および標準境界ボックスが共同で覆う面積との比率が第一比率閾値よりも大きい場合、前記特定待ち目標は正の特定待ち目標であり、前記比率が第二比率閾値よりも小さい場合、前記特定待ち目標は負の特定待ち目標である。
【００４０】
本願の実施形態のさらに別の態様によれば、上記いずれか一項の実施形態に記載の物体検出のための装置を含むプロセッサを含むことを特徴とする電子機器が提供される。
【００４１】
本願の実施形態のさらに別の態様によれば、コンピュータプログラムを記憶するためのメモリ、および前記メモリに記憶されたコンピュータプログラムを実行するためのプロセッサを含み、かつ前記コンピュータプログラムは実行される時、上記いずれか一項の実施形態に記載の物体検出のための方法における各ステップを実現する電子機器が提供される。
【００４２】
本願の実施形態のさらに別の態様によれば、コンピュータプログラムが記憶されているコンピュータ記憶媒体であって、該コンピュータプログラムはプロセッサに実行される時、上記いずれか一項の実施形態に記載の物体検出のための方法における各ステップを実現するコンピュータ記憶媒体が提供される。
【００４３】
本願の実施形態のさらに別の態様によれば、コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードが機器において実行される時、前記機器内のプロセッサは上記いずれか一項の実施形態に記載の物体検出のための方法を実現するための命令を実行することを特徴とするコンピュータプログラム製品が提供される。
【００４４】
本願の上記実施形態が提供する物体検出のための方法、装置および機器に基づき、本願の実施形態は各特定待ち目標の所属カテゴリを特定すると共に、各特定待ち目標のそれぞれ各カテゴリに対する位置オフセット値を特定することで、カテゴリ特定プロセスと位置オフセット計算プロセスを並行に実行可能にし、それにより二つのプロセスを順に実行しなければならないことが物体検出のリアルタイム性に与える影響を軽減可能であり、各特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を複数の特定待ち目標の位置オフセット値とすることで、簡単な選択操作によって各特定待ち目標の位置オフセット値を高速に特定可能であり、位置オフセット値特定に時間がかかることが検出のリアルタイム性に与える影響を軽減し、上記プロセスによって本願は信頼度に基づいて全ての特定待ち目標から対応する特定待ち目標を迅速に選択し、選択した対応する特定待ち目標の位置オフセット値に基づいてその位置情報を高速かつ正確に特定することでき、また、本願において予め設定されたカテゴリが三つ以上である場合、本願が提供する技術的解決手段は一般物体の検出を実現可能であり、よって、本願が提供する技術的解決手段は物体検出のリアルタイム性の向上に寄与し、それにより本願が提供する技術的解決手段はリアルタイム性に対する要求が高い物体検出用途において効果的に用いることができる。
【００４５】
以下に図面および実施例により、本願の技術的解決手段をさらに詳細に説明する。
【図面の簡単な説明】
【００４６】
【図１】本願の実施例が提供する一応用シーンの模式図である。
【図２】本願の実施例が提供する物体検出のための方法の一フローチャートである。
【図３】本願の実施例が提供する物体検出のための方法の別のフローチャートである。
【図４】本願の実施例が提供する物体検出のための方法における畳み込みニューラルネットワークを訓練する一例のフローチャートである。
【図５】本願の実施例が提供する物体検出のための方法における畳み込みニューラルネットワークを訓練する一例の構成模式図である。
【図６】本願の実施例が提供する物体検出のための装置の一構成模式図である。
【図７】本願の電子機器の一実施形態の構成模式図である。
【図８】本願のコンピュータ記憶媒体の一実施形態の模式図である。
【発明を実施するための形態】
【００４７】
明細書の一部となる図面は本願の実施例を説明するものであり、かつその説明と共に本願の原理を解釈するために用いられる。
【００４８】
図面と関連付けて、以下の詳細な説明によれば、本願をより明確に理解できる。
【００４９】
ここで、図面を参照しながら本願の様々な例示的実施例を詳細に説明する。なお、特に断らない限り、これらの実施例において記述した部材およびステップの相対的配置、数式および数値は本願の範囲を限定するものではないことに注意すべきである。
【００５０】
同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。
【００５１】
以下の少なくとも一つの例示的実施例に対する説明は実際に説明的なものに過ぎず、本願およびその適用または使用へのなんらの制限にもならない。
【００５２】
関連分野の当業者に既知の技術、方法および機器については、詳細に説明しないが、場合によって、前記技術、方法および機器は明細書の一部と見なすべきである。
【００５３】
なお、類似する符号および英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。
【００５４】
本願の実施例はコンピュータシステム／サーバに適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。コンピュータシステム／サーバとの併用に適する公知の計算システム、環境および／または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステムおよび上記あらゆるシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。
【００５５】
コンピュータシステム／サーバはコンピュータシステムにより実行されるコンピュータシステム実行可能命令（例えばプログラムモジュール）の一般的なコンテキストにおいて説明できる。通常、プログラムモジュールは、特定のタスクを実行するかまたは特定の抽象データ型を実現するルーチン、プログラム、目標プログラム、コンポーネント、ロジック、データ構造などを含むことができる。コンピュータシステム／サーバは、タスクが通信ネットワークにわたって接続された遠隔処理機器により実行される分散型クラウドコンピューティング環境において実施できる。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してもよい。
【００５６】
図１は本願の実施例が提供する一応用シーンの模式図である。図１を参照すると、本願の実施形態に係る、本願を実現可能な応用シーンが例示的に示される。
【００５７】
図１中、自動車１００内に自動車１００外部の空間の画像を収集可能な画像収集装置が取り付けられ、自動車１００は自動運転過程で、例えば、画像収集装置が収集した画像における物体を検出することで、前方の交通信号１２０が緑から赤に変わると特定した場合、自動車１００のブレーキ装置などの部材を適時に制御することで、走行状態の自動車１００を前の車両の後方または道路上の停止線の後方に安全に停止させ、続いて、前方の交通信号１２０が赤から緑に変わり、前方の横断歩道上に歩行者１１０がなく、かつ自動車１００が前の車両との安全距離を維持しているなどを特定した場合、自動車１００のブレーキ装置などの部材を適時に制御することで、停止状態の自動車１００を引き続き道路を進ませるように、画像収集装置が収集した画像における物体を検出し、それによって道路上の歩行者１１０、動物、横断歩道および交通信号１２０などの物体を識別しなければならない。
【００５８】
ただし、当業者であれば、本願の実施形態の適用シーンは該フレームワークにより何ら限定されないことを十分理解できる。
【００５９】
本願の実施形態の物体検出のための方法は一般物体検出のための方法と呼ばれてもよい。図２は本願の実施例が提供する物体検出のための方法の一フローチャートである。該方法は任意の電子機器、例えば端末機器、サーバ、モバイルデバイス、車載機器などによって実行可能である。図２に示すように、本願の物体検出のための方法は、ステップＳ２００、ステップＳ２１０、ステップＳ２２０およびステップＳ２３０を含む。以下に図２における各ステップをそれぞれ説明する。
【００６０】
Ｓ２００において、検出対象の画像における複数の特定待ち目標を取得する。
【００６１】
任意選択的な一例では、該ステップＳ２００はメモリに記憶された対応する命令をプロセッサによって呼び出して実行してもよいし、プロセッサに実行される特定待ち目標取得モジュール６００によって実行してもよい。
【００６２】
任意選択的な一例では、本願の実施例における検出対象の画像はピクチャーまたはリアルタイムに撮影した映像における一つのフレームであってもよい。本願の実施例において、検出対象の画像における複数の特定待ち目標を取得するステップは、検出対象の画像における少なくとも一つの予め設定された領域サイズ（通常複数の予め設定された領域サイズとする）に基づいて形成された複数の特定待ち目標を取得するようにしてもよい。本願における予め設定された領域サイズは予め設定された基準ボックス構成情報によって決定されてもよく、特定待ち目標は検出対象の画像の特徴マップにおける特徴点の基準ボックスであってもよいし、検出対象の画像の特徴マップをもとに形成された小さな特徴マップ（つまり局所特徴マップ）であってもよい。
【００６３】
検出対象の画像における、少なくとも一つの予め設定された領域サイズに基づいて形成された複数の特定待ち目標を取得する一例としては、まず、検出対象の画像の特徴マップを取得し、続いて、該特徴マップにおけるいずれか一つの特徴点について、予め設定された基準ボックス構成情報に基づいて該特徴点の複数の基準ボックスを形成し、それにより特徴マップにおける少なくとも一つの特徴点の基準ボックスを得て、各特徴点の各基準ボックスをそれぞれ一つの特定待ち目標とし、それにより複数の特徴点に対応する複数の特定待ち目標を得る。
【００６４】
検出対象の画像における、少なくとも一つの予め設定された領域サイズに基づいて形成された複数の特定待ち目標を取得する別の例としては、まず、検出対象の画像の特徴マップを取得し、続いて、予め設定された基準ボックス構成情報に基づいて上記特徴マップに対してプーリング処理を行い、それにより複数の新たな特徴マップ（つまり複数の小さな特徴マップまたは複数の局所特徴マップ）を形成し、複数の新たな特徴マップを複数の特定待ち目標とする（例えば、各新たな特徴マップをそれぞれ一つの特定待ち目標とする）。
【００６５】
上記二つの例では、検出対象の画像の特徴マップを取得する一方法としては、従来のＶＧＧ１６（Ｖｉｓｕａｌ  Ｇｅｏｍｅｔｒｙ  Ｇｒｏｕｐ、視覚幾何学グループ）ネットワークにより本願の実施形態の畳み込みニューラルネットワークにおけるバックボーンネットワークを形成し、検出対象の画像を該バックボーンネットワークに供給することで、該バックボーンネットワークをＶＧＧ１６技術に基づいて検出対象の画像の特徴マップを出力可能にするようにしてもよく、それにより本願の実施形態は該バックボーンネットワークの出力に基づいて検出対象の画像の特徴マップを取得することができる。
【００６６】
上記二つの例では、検出対象の画像の特徴マップを取得する別の方法としては、従来のグーグルネット（ＧｏｏｇｌｅＮｅｔ）により本願の実施形態の畳み込みニューラルネットワークにおけるバックボーンネットワークを形成し、検出対象の画像を該バックボーンネットワークに供給することで、該バックボーンネットワークをＧｏｏｇｌｅＮｅｔ技術に基づいて検出対象の画像の特徴マップを出力可能にするようにしてもよく、それにより本願の実施形態は該バックボーンネットワークの出力に基づいて検出対象の画像の特徴マップを取得することができる。
【００６７】
上記二つの例では、検出対象の画像の特徴マップを取得するさらに別の方法としては、従来のＲｅｓＮｅｔにより本願の実施形態の畳み込みニューラルネットワークにおけるバックボーンネットワークを形成し、検出対象の画像を該バックボーンネットワークに供給することで、該バックボーンネットワークをＲｅｓＮｅｔ技術に基づいて検出対象の画像の特徴マップを出力可能にするようにしてもよく、それにより本願の実施形態は該バックボーンネットワークの出力に基づいて検出対象の画像の特徴マップを取得することができる。
【００６８】
上記一例では、本願の実施形態はバックボーンネットワークが出力する特徴マップを最終的に取得する特徴マップとしてもよいし、また本願の実施形態はバックボーンネットワークが出力する特徴マップに対してフィルタリング処理を行い、それによりバックボーンネットワークが出力する特徴マップにおける全ての特徴点に基づいて同じ数の特徴点有する新たな特徴マップを形成し、該新たな特徴マップを最終的に取得する検出対象の画像の特徴マップとしてもよい。上記フィルタリング処理は、下記の様に実現されてもよく、即ち、バックボーンネットワークが出力する全ての特徴点が一つの特徴マップを形成すると設定し、畳み込みニューラルネットワークにおけるフィルタ層が予め設定されたスライディングウィンドウ（例えば、３×３のスライディングウィンドウ）により特徴マップから所定数の特徴点（例えば、９つの特徴点）を順に選択し、毎回選択した全ての特徴点により一つの新たな特徴点を形成し、フィルタ層が得られた全ての新たな特徴点を出力し、かつフィルタ層が出力する全ての新たな特徴点も同様に一つの特徴マップを形成可能であり、ただし、新たな特徴マップにおける各特徴点に対応する検出対象の画像における領域が、バックボーンネットワークが出力する特徴マップにおける対応する特徴点に対応する検出対象の画像中の領域よりも大きくなる。本願の実施形態はフィルタ層が特徴マップをフィルタリングする具体的な実現プロセスを限定しない。本願の実施形態はバックボーンネットワークが出力する特徴マップをフィルタリングすることで新たな特徴マップを形成し、特定した境界ボックス位置情報および境界ボックスの所属カテゴリの正確性の向上に寄与し、それにより物体検出の正確性の向上に寄与する。
【００６９】
任意選択的な一例では、本願の実施形態は予め設定された基準ボックス構成情報によって基準ボックス（つまりＡｎｃｈｏｒ、アンカー）の数およびサイズが定義され、つまり基準ボックスの数もサイズも既知であり、かつ基準ボックスの画像における位置が基準ボックスに対応する特徴点と関連する。通常、複数の基準ボックスのサイズは全て同じではなく、つまり複数の基準ボックスの面積は全て同じではなく、例えば複数の基準ボックスの長さに差があり、複数の基準ボックスの幅に差があり、かつ複数の基準ボックスのアスペクト比に差がある。
【００７０】
任意選択的な一例として、本願の実施形態の基準ボックス構成情報に三つの異なる長さが予め設定され、かつ三つの異なるアスペクト比が予め設定され、それにより予め設定された三つの異なる長さおよび三つの異なるアスペクト比により、九つの異なる形状の基準ボックスを形成することができ、例えば、予め設定された三つの異なる長さはそれぞれ６４、１２８および２５６（単位は画素とする）、予め設定された三つの異なるアスペクト比はそれぞれ０．５、１．０および２．０としてもよく、このように上記三つの異なる長さおよび三つの異なるアスペクト比に基づいて形成された九つの基準ボックスは、６４×３２、６４×６４、６４×１２８、１２８×６４、１２８×１２８、１２８×２５６、２５６×１２８、２５６×２５６および２５６×５１２で表すことができる。
【００７１】
任意選択的な別の例として、本願の実施形態の基準ボックス構成情報に三つの異なる幅が予め設定され、かつ三つの異なるアスペクト比が予め設定され、それにより予め設定された三つの異なる幅および三つの異なるアスペクト比により、九つの異なる形状の基準ボックスを形成可能である。
【００７２】
任意選択的なさらに別の例として、本願の実施形態の基準ボックス構成情報は九つの基準ボックスについて各々の長さおよび幅がそれぞれ予め設定され、それにより形状がそれぞれ異なる九つの基準ボックスを明確に決定可能である。
【００７３】
本願における基準ボックスの数および各基準ボックスのサイズは実際の経験に基づいて設定してもよく、本願の実施形態は基準ボックスの具体的な数を限定せず、基準ボックスのサイズも限定しない。
【００７４】
Ｓ２１０において、それぞれ少なくとも一つのカテゴリに対する複数の特定待ち目標の信頼度を特定し、信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定し、複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を特定する。
【００７５】
任意選択的な一例では、該ステップＳ２１０はメモリに記憶された対応する命令をプロセッサによって呼び出して実行してもよいし、プロセッサに実行されるカテゴリおよび位置オフセット値予測モジュール６１０によって実行してもよい。
【００７６】
任意選択的な一例では、本願は畳み込みニューラルネットワーク内の一つの畳み込み層により、それぞれ少なくとも一つのカテゴリに対する複数の特定待ち目標（例えば、全ての特定待ち目標）の信頼度を特定し、得られた信頼度に基づいて複数の特定待ち目標がそれぞれ属するカテゴリを特定することができる。本願における畳み込みニューラルネットワークは大量のラベル付きの画像サンプルにより訓練されたものであってもよく、該畳み込みニューラルネットワークの訓練プロセスの任意選択的な一例としては以下の図４に対する説明を参照すればよく、ここでは説明を省略する。本願の実施例におけるニューラルネットワークは、バックボーンネットワーク、フィルタ層および／またはプーリング層および二つの畳み込み層（例えば、第一畳み込み層および第二畳み込み層）を含むことができるが、これらに限定されない。
【００７７】
任意選択的な一例では、本願の実施例は少なくとも三つのカテゴリ、例えば、少なくとも二つの物体カテゴリおよび一つの背景カテゴリが予め設定される。例えば、ヒト、イヌ、汽車および椅子などの異なる種類の物体について２０個の物体カテゴリが予め設定され、かつ背景について背景カテゴリが予め設定され、合計２１個のカテゴリがある。カテゴリの数および特定待ち目標の数（例えば、基準ボックスの数）は畳み込みニューラルネットワークにおける対応する畳み込み層の出力次元を決定する。本願は物体カテゴリの数および物体カテゴリに対応する物体の具体的な内容などを限定しない。
【００７８】
任意選択的な一例では、本願の実施形態は畳み込み層による信頼度計算、特定待ち目標の所属カテゴリを特定することができ、例えば、ＲＰＮにおける信頼度予測に用いられる畳み込み層などによる信頼度計算によって、特定待ち目標の所属カテゴリを特定する。例えば、２１個のカテゴリ、つまり第一物体カテゴリ、第二物体カテゴリ、……、第二十物体カテゴリおよび背景カテゴリが予め設定されており、この場合、第一特定待ち目標については、畳み込みニューラルネットワーク内の一つの畳み込み層により、第一特定待ち目標が第一物体カテゴリに属する信頼度、第一特定待ち目標が第二物体カテゴリに属する信頼度、……、第一特定待ち目標が第二十物体カテゴリに属する信頼度および第一特定待ち目標が背景カテゴリに属する信頼度（合計２１個の信頼度）を算出し、この２１個の信頼度を比較することで、最高信頼度を特定し、それにより該最高信頼度に対応するカテゴリを第一特定待ち目標の所属カテゴリとすることができ、以降同様に、本願の実施形態は複数の特定待ち目標がそれぞれ属するカテゴリを特定することができる。
【００７９】
任意選択的な一例では、本願の実施例は畳み込みニューラルネットワーク内の別の畳み込み層により複数の特定待ち目標（例えば、全ての特定待ち目標）の各々の所属カテゴリに対応する位置オフセット値を特定することができる。
【００８０】
本願の実施例では、特定待ち目標の各々の所属カテゴリに対応する位置オフセット値は特定待ち目標のそれぞれ少なくとも一つのカテゴリのうちの各カテゴリに対応する位置オフセット値によって得ることができる。
【００８１】
任意選択的な一例では、本願における位置オフセット値は特定待ち目標のあるカテゴリに属する場合の位置情報を特定するために用いられる。本願における位置オフセット値は通常、上オフセット値、下オフセット値、左オフセット値および右オフセット値を含み、つまり本願の実施形態は畳み込み層により特定待ち目標の各カテゴリに対する上オフセット値、下オフセット値、左オフセット値および右オフセット値を算出することができ、ここで、上オフセット値は特定待ち目標の上辺の垂直方向でのオフセット量を表し、下オフセット値は特定待ち目標の下辺の垂直方向でのオフセット量を表し、左オフセット値は特定待ち目標の左側辺の水平方向でのオフセット量を表し、右オフセット値は特定待ち目標の右側辺の水平方向でのオフセット量を表す。例えば、２１個のカテゴリ、即ち第一物体カテゴリ、第二物体カテゴリ、……、第二十物体カテゴリおよび背景カテゴリが予め設定されると、上記設定に基づき、第一特定待ち目標については、畳み込みニューラルネットワーク内の一つの畳み込み層により第一特定待ち目標の第一物体カテゴリに対する上オフセット値、下オフセット値、左オフセット値および右オフセット値、第一特定待ち目標の第二物体カテゴリに対する上オフセット値、下オフセット値、左オフセット値および右オフセット値、……、第一特定待ち目標の第二十物体カテゴリに対する上オフセット値、下オフセット値、左オフセット値および右オフセット値ならびに第一特定待ち目標の背景カテゴリに対する上オフセット値、下オフセット値、左オフセット値および右オフセット値（合計４×２１個のオフセット値）を算出することができ、以降同様に、本願の実施形態は全ての特定待ち目標のそれぞれ２１個のカテゴリに対する上オフセット値、下オフセット値、左オフセット値および右オフセット値を算出することができる。
【００８２】
上記説明からわかるように、本願の実施例における特定待ち目標の所属カテゴリを特定するプロセスと特定待ち目標の各カテゴリに対する位置オフセット値を計算するプロセスは、互いに依存する関係を有さず、従って、この二つのプロセスは並行に実行しても支障がなく、それにより二つのプロセスを順に実行しなければならないことによる時間コストの増加という現象を低減し、物体検出のリアルタイム性の向上に寄与することができる。
【００８３】
Ｓ２２０において、複数の特定待ち目標（例えば、全ての特定待ち目標）の各々の所属カテゴリに対応する位置オフセット値を複数の特定待ち目標の位置オフセット値（例えば、全ての特定待ち目標の各々の位置オフセット値）とする。
【００８４】
任意選択的な一例では、該ステップＳ２２０はメモリに記憶された対応する命令をプロセッサによって呼び出して実行してもよいし、プロセッサに実行される位置オフセット特定モジュール６２０によって実行してもよい。
【００８５】
任意選択的な一例では、本願の実施形態は上記で特定した一つの特定待ち目標の所属カテゴリおよび上記で算出した該特定待ち目標の少なくとも一つのカテゴリに対する位置オフセット値から該特定待ち目標の位置オフセット値を最終的に特定する、即ち算出した該特定待ち目標の少なくとも一つのカテゴリに対する位置オフセット値から上記で特定した該特定待ち目標の所属カテゴリに対応する位置オフセット値を選択し、該選択した位置オフセット値を該特定待ち目標の位置オフセット値とすることができ、以降同様に、本願の実施形態は複数の特定待ち目標の位置オフセット値を特定することができる。
【００８６】
任意選択的な一例として、既に畳み込みニューラルネットワーク内の一つの畳み込み層により第一特定待ち目標が第一物体カテゴリに属すると特定し、かつ畳み込みニューラルネットワーク内の別の畳み込み層により第一特定待ち目標の第一物体カテゴリに対する上オフセット値、下オフセット値、左オフセット値および右オフセット値、第一特定待ち目標の第二物体カテゴリに対する上オフセット値、下オフセット値、左オフセット値および右オフセット値、……、第一特定待ち目標の第二十物体カテゴリに対する上オフセット値、下オフセット値、左オフセット値および右オフセット値ならびに第一特定待ち目標の背景カテゴリに対する上オフセット値、下オフセット値、左オフセット値および右オフセット値（合計４×２１個のオフセット値）を算出したと設定すると、上記各設定に基づき、本願の実施形態は算出した第一特定待ち目標の第一物体カテゴリに対する上オフセット値、下オフセット値、左オフセット値および右オフセット値を第一特定待ち目標の位置オフセット値とすることができ、以降同様に、本願の実施形態は全ての特定待ち目標の位置オフセット値を特定することができる。
【００８７】
Ｓ２３０において、複数の特定待ち目標の所属カテゴリ（例えば、全ての特定待ち目標の所属カテゴリ、または一部の特定待ち目標の所属カテゴリ）、複数の特定待ち目標の位置オフセット値（例えば、全ての特定待ち目標の位置オフセット値、または一部の特定待ち目標の位置オフセット値）および所属カテゴリに対する複数の特定待ち目標の信頼度（例えば、所属カテゴリに対する全ての特定待ち目標の信頼度、または所属カテゴリに対する一部の特定待ち目標の信頼度）に基づき、検出対象の画像における少なくとも一つの特定待ち目標の位置情報および所属カテゴリを特定する。
【００８８】
任意選択的な一例では、本願における特定待ち目標の位置情報は特定待ち目標の境界ボックス位置情報であってもよい。本願は通常、複数の特定待ち目標から一部の特定待ち目標を選択し、選択した特定待ち目標の位置オフセット値により境界ボックスを形成し、ここで、選択した特定待ち目標の各々の所属カテゴリは対応する境界ボックスの所属カテゴリである。
【００８９】
任意選択的な一例では、本願の実施形態は予め設定された信頼度要求により一部の特定待ち目標を選択してもよく、かつ該予め設定された信頼度要求は信頼度閾値（信頼度閾値は例えば０．８）などであってもよく、例えば、本願の実施形態は複数の特定待ち目標から信頼度が信頼度閾値を超えた（例えば０．８以上）特定待ち目標を選択し、続いて、選択した特定待ち目標の位置オフセット値により対応する境界ボックス位置情報を形成し、選択した特定待ち目標の所属カテゴリを対応する境界ボックスの所属カテゴリとすることができる。また、本願の実施形態は比率または境界ボックス数の閾値により一部の特定待ち目標を選択することもでき、本願の実施形態は複数の特定待ち目標から一部の特定待ち目標を選択する具体的な実現方法を限定しない。
【００９０】
また例えば、上記ステップＳ２１０およびステップＳ２２０で特定した第一特定待ち目標の信頼度が０．９であり、第一特定待ち目標が第一物体カテゴリに属し、かつ第一特定待ち目標の位置オフセット値がそれぞれｙ１、ｙ２、ｘ１およびｘ２であると設定すると、予め設定された信頼度要求は信頼度が信頼度閾値０．８以上であるようにされた場合、第一特定待ち目標に対応する画像における領域、ｙ１、ｙ２、ｘ１およびｘ２に基づいて第一境界ボックスの画像における位置情報を特定し、該第一境界ボックスの所属カテゴリが第一物体カテゴリであると特定することができる。
【００９１】
図３は本願の実施例が提供する物体検出のための方法の別のフローチャートである。図３に示すように、本願の物体検出のための方法は主に、ステップＳ３００、ステップＳ３１０、ステップＳ３２０およびステップＳ３３０を含む。以下に図３における各ステップをそれぞれ説明する。
【００９２】
Ｓ３００において、検出対象の画像の複数の特徴点、例えば、検出対象の画像の各特徴点（つまり全ての特徴点）を取得する。
【００９３】
任意選択的な一例では、本願の実施例における処理対象の画像は静的なピクチャーまたは写真などの画像であってもよいし、動的な映像における映像フレームなどであってもよい。本願の実施形態は例えば従来のＶＧＧ１６ネットワークまたはＧｏｏｇｌｅＮｅｔまたはＲｅｓＮｅｔにより本願の実施形態の畳み込みニューラルネットワークにおけるバックボーンネットワークを形成し、それにより検出対象の画像を該バックボーンネットワークに供給することで、該バックボーンネットワークをＶＧＧ１６またはＧｏｏｇｌｅＮｅｔまたはＲｅｓＮｅｔ技術に基づいて検出対象の画像の複数の特徴点を出力可能にするように、従来の様々な方法により検出対象の画像の特徴点を取得することができる。
【００９４】
任意選択的な一例では、本願の実施例はバックボーンネットワークが出力する複数の特徴点を最終的に取得する検出対象の画像の複数の特徴点としてもよいし、また本願の実施例はバックボーンネットワークが出力する複数の特徴点をフィルタリングし、それによりバックボーンネットワークが出力する複数の特徴点に基づいて同じ数の新たな特徴点を形成し、複数の新たな特徴点を最終的に取得する検出対象の画像の複数の特徴点としてもよい。上記フィルタリング処理は、バックボーンネットワークが出力する複数の特徴点が一つの特徴マップを形成すると設定し、畳み込みニューラルネットワークにおけるフィルタ層がスライディングウィンドウ（例えば、３×３のスライディングウィンドウ）により特徴マップから所定数の特徴点（例えば、９つの特徴点）を順に選択し、毎回選択した全ての特徴点により一つの新たな特徴点を形成し、フィルタ層が得られた全ての新たな特徴点を出力し、かつフィルタ層が出力する全ての新たな特徴点も同様に一つの特徴マップを形成可能であり、ただし、新たな特徴マップにおける各特徴点に対応する検出対象の画像における領域がより大きくなるように、実現してもよい。本願はフィルタ層が特徴マップをフィルタリングする具体的な実現プロセスを限定しない。本願の実施例はバックボーンネットワークが出力する複数の特徴点をフィルタリングして新たな特徴点を形成することで、境界ボックス位置情報および境界ボックスの所属カテゴリをより正確に特定し、それにより物体検出の正確性の向上に寄与することができる。
【００９５】
Ｓ３１０において、各特徴点について、該特徴点の少なくとも一つの基準ボックスの所属カテゴリおよびその信頼度を特定し、該特徴点の少なくとも一つの基準ボックスの各カテゴリに対する位置オフセット値を特定する。
【００９６】
任意選択的な一例では、本願の実施例は畳み込みニューラルネットワーク内の一つの畳み込み層により該特徴点の少なくとも一つの基準ボックスの所属カテゴリおよびその信頼度を特定することができる。本願の実施例における畳み込みニューラルネットワークは大量のラベル付きの画像サンプルにより訓練されたものであり、該畳み込みニューラルネットワークの訓練プロセスの任意選択的な一例としては以下の実施形態における説明を参照すればよい。本願の実施例における畳み込みニューラルネットワークは、バックボーンネットワーク、フィルタ層および少なくとも二つの畳み込み層（例えば第一畳み込み層および第二畳み込み層）を含むことができるが、これらに限定されない。
【００９７】
任意選択的な一例では、本願の実施形態は基準ボックス（つまりＡｎｃｈｏｒ、アンカー）の数およびサイズが予め定義され、つまり基準ボックスの数もサイズも既知であり、かつ基準ボックスの画像における位置が基準ボックスに対応する特徴点と関連する。通常、複数の基準ボックスのサイズは全て同じではなく、つまり複数の基準ボックスの面積は全て同じではなく、例えば複数の基準ボックスの長さに差があり、複数の基準ボックスの幅に差があり、かつ複数の基準ボックスのアスペクト比に差がある。
【００９８】
任意選択的な一例として、本願の実施形態は三つの異なる長さを予め設定し、かつ三つの異なるアスペクト比を予め設定し、それにより予め設定された三つの異なる長さおよび三つの異なるアスペクト比により、九つの異なる形状の基準ボックスを形成することができ、例えば、予め設定された三つの異なる長さはそれぞれ６４、１２８および２５６（単位は画素とする）、予め設定された三つの異なるアスペクト比はそれぞれ０．５、１．０および２．０とすると、上記三つの異なる長さおよび三つの異なるアスペクト比に基づいて形成された九つの基準ボックスは、６４×３２、６４×６４、６４×１２８、１２８×６４、１２８×１２８、１２８×２５６、２５６×１２８、２５６×２５６および２５６×５１２で表すことができる。
【００９９】
任意選択的な別の例として、本願の実施形態は三つの異なる幅を予め設定し、かつ三つの異なるアスペクト比を予め設定し、それにより予め設定された三つの異なる幅および三つの異なるアスペクト比により、九つの異なる形状の基準ボックスを形成することができる。
【０１００】
任意選択的なさらに別の例として、本願の実施形態は九つの基準ボックスについて各々の長さおよび幅をそれぞれ設定し、それにより形状がそれぞれ異なる九つの基準ボックスを明確に決定することができる。
【０１０１】
本願における基準ボックスの数および各基準ボックスのサイズは実際の経験に基づいて設定してもよく、本願の実施形態は基準ボックスの具体的な数を限定せず、基準ボックスのサイズも限定しない。
【０１０２】
任意選択的な一例では、本願の実施形態は少なくとも三つのカテゴリ、例えば少なくとも二つの物体カテゴリおよび一つの背景カテゴリが予め設定される。例えば、ヒト、イヌ、汽車および椅子などの異なる種類の物体について２０個の物体カテゴリが予め設定され、かつ背景について背景カテゴリが予め設定され、合計２１個のカテゴリがある。カテゴリの数および基準ボックスの数は畳み込みニューラルネットワークにおける対応する畳み込み層の出力次元を決定し、例えば、２１個のカテゴリが予め設定された場合、ＲＰＮにおける信頼度予測に用いられる畳み込み層の出力次元は、２１×９×ｈ×ｗとしてもよく、ここで、２１は２１個のカテゴリを表し、９は一つの特徴点の９つの基準ボックスを表し、ｈは特徴マップの高さを表し、ｗは特徴マップの幅を表す。本願の実施例は物体カテゴリの数および物体カテゴリに対応する物体の具体的な内容などを限定しない。
【０１０３】
任意選択的な一例では、本願の実施形態は畳み込み層による信頼度計算、例えば、ＲＰＮにおける信頼度予測に用いられる対応する畳み込み層などによる信頼度計算によって、基準ボックスの所属カテゴリを特定することができる。
【０１０４】
任意選択的な一例として、特徴マップにおける第一特徴点について、第一特徴点が九つの基準ボックス、即ち第一基準ボックスから第九基準ボックスに対応すると設定し、かつ２１個のカテゴリ、即ち第一物体カテゴリ、第二物体カテゴリ、……、第二十物体カテゴリおよび背景カテゴリが予め設定されたと設定すると、上記設定に基づき、畳み込みニューラルネットワーク内の一つの畳み込み層により第一基準ボックスが第一物体カテゴリに属する信頼度、第一基準ボックスが第二物体カテゴリに属する信頼度、……．第一基準ボックスが第二十物体カテゴリに属する信頼度および第一基準ボックスが背景カテゴリに属する信頼度（合計２１個の信頼度）を算出し、この２１個の信頼度を比較することで、最高信頼度を特定し、それにより該最高信頼度に対応するカテゴリを第一基準ボックスの所属カテゴリとすることができ、以降同様に、本願の実施形態は第一特徴点の第一基準ボックスから第九基準ボックスがそれぞれ属するカテゴリ（合計９つのカテゴリ）を特定することができ、さらに本願の実施形態は特徴マップにおける全ての特徴点の第一基準ボックスから第九基準ボックスがそれぞれ属するカテゴリ（合計Ｎ×９個のカテゴリで、Ｎは特徴マップに含まれる特徴点の数）を特定することができる。
【０１０５】
任意選択的な一例では、本願における位置オフセット値は通常、上オフセット値、下オフセット値、左オフセット値および右オフセット値を含み、本願の実施形態は別の畳み込み層により基準ボックスの各カテゴリに対する上オフセット値、下オフセット値、左オフセット値および右オフセット値を算出することができ、ここで、上オフセット値は基準ボックスの上辺の垂直方向でのオフセット量を表し、下オフセット値は基準ボックスの下辺の垂直方向でのオフセット量を表し、左オフセット値は基準ボックスの左側辺の水平方向でのオフセット量を表し、右オフセット値は基準ボックスの右側辺の水平方向でのオフセット量を表す。
【０１０６】
例えば、特徴マップにおける第一特徴点について、第一特徴点が九つの基準ボックス、即ち第一基準ボックスから第九基準ボックスに対応すると設定し、かつ２１個のカテゴリ、即ち第一物体カテゴリ、第二物体カテゴリ、……、第二十物体カテゴリおよび背景カテゴリが予め設定されたと設定すると、上記設定に基づき、畳み込みニューラルネットワーク内の一つの畳み込み層により第一基準ボックスの第一物体カテゴリに対する上オフセット値、下オフセット値、左オフセット値および右オフセット値、第一基準ボックスの第二物体カテゴリに対する上オフセット値、下オフセット値、左オフセット値および右オフセット値、……、第一基準ボックスの第二十物体カテゴリに対する上オフセット値、下オフセット値、左オフセット値および右オフセット値ならびに第一基準ボックスの背景カテゴリに対する上オフセット値、下オフセット値、左オフセット値および右オフセット値（合計４×２１個のオフセット値）を算出することができ、以降同様に、本願の実施形態は第一特徴点の第一基準ボックスから第九基準ボックスのそれぞれ２１個のカテゴリに対する上オフセット値、下オフセット値、左オフセット値および右オフセット値（合計９×４×２１個のオフセット値）を算出することができ、さらに本願の実施形態は特徴マップにおける全ての特徴点の第一基準ボックスから第九基準ボックスのそれぞれ２１個のカテゴリに対する上オフセット値、下オフセット値、左オフセット値および右オフセット値（合計Ｎ×９×４×２１個のオフセット値で、Ｎは特徴マップに含まれる特徴点の数）を特定することができる。
【０１０７】
上記説明からわかるように、本願の実施例における基準ボックスの所属カテゴリを特定するプロセス（つまりステップＳ３１０）と基準ボックスの少なくとも一つのカテゴリに対する位置オフセット値を計算するプロセス（つまりステップＳ３１０）は、互いに依存する関係を有さず、従って、この二つのプロセスは並行に実行しても支障がなく、それにより二つのプロセスを順に実行しなければならないことによる時間コストの増加という現象を低減し、物体検出のリアルタイム性の向上に寄与することができる。
【０１０８】
Ｓ３２０において、複数の特徴点の複数の基準ボックスについて、該基準ボックスの所属カテゴリに対応する位置オフセット値を該基準ボックスの位置オフセット値とする。
【０１０９】
任意選択的な一例では、本願の実施形態は上記で特定した一つの基準ボックスの所属カテゴリおよび上記で算出した該基準ボックスの少なくとも一つのカテゴリに対する位置オフセット値から該基準ボックスの位置オフセット値を最終的に特定する、即ち上記で算出した該基準ボックスの各カテゴリに対する位置オフセット値から上記で特定した該基準ボックスの所属カテゴリに対応する位置オフセット値を選択し、該選択した位置オフセット値を該基準ボックスの位置オフセット値とすることができ、それにより本願の実施形態は複数の基準ボックスの位置オフセット値を特定することができる。
【０１１０】
任意選択的な一例として、既に畳み込みニューラルネットワーク内の一つの畳み込み層により第一特徴点の第一基準ボックスが第一物体カテゴリに属すると特定し、かつ畳み込みニューラルネットワーク内の別の畳み込み層により第一特徴点の第一基準ボックスの第一物体カテゴリに対する上オフセット値、下オフセット値、左オフセット値および右オフセット値、第一特徴点の第一基準ボックスの第二物体カテゴリに対する上オフセット値、下オフセット値、左オフセット値および右オフセット値、……、第一特徴点の第一基準ボックスの第二十物体カテゴリに対する上オフセット値、下オフセット値、左オフセット値および右オフセット値ならびに第一特徴点の第一基準ボックスの背景カテゴリに対する上オフセット値、下オフセット値、左オフセット値および右オフセット値（合計４×２１個のオフセット値）を算出したと設定すると、上記設定に基づき、本願の実施形態は算出した第一特徴点の第一基準ボックスの第一物体カテゴリに対する上オフセット値、下オフセット値、左オフセット値および右オフセット値を第一特徴点の第一基準ボックスの位置オフセット値とすることができ、以降同様に、本願の実施形態は第一特徴点の第一基準ボックスから第九基準ボックスの位置オフセット値を特定することができ、さらに本願の実施形態は特徴マップにおける全ての特徴点の第一基準ボックスから第九基準ボックスの位置オフセット値（合計Ｎ×９個の位置オフセット値、つまりＮ×９×４個のオフセット値で、Ｎは特徴マップに含まれる特徴点の数）を特定することができる。
【０１１１】
Ｓ３３０において、複数の特徴点の基準ボックスの所属カテゴリ、基準ボックスの位置オフセット値および基準ボックスの信頼度に基づいて検出対象の画像に含まれる境界ボックス位置情報および境界ボックスの所属カテゴリを特定する。
【０１１２】
任意選択的な一例では、本願は通常、複数の特徴点の基準ボックスから一部の基準ボックスを選択し、選択した一部の基準ボックスの位置オフセット値により境界ボックスを形成し、ここで、選択した一部の基準ボックスの各々の所属カテゴリは対応する境界ボックスの所属カテゴリである。
【０１１３】
任意選択的な一例では、本願は予め設定された信頼度要求により一部の基準ボックスを選択してもよく、かつ該予め設定された信頼度要求は信頼度閾値（信頼度閾値は例えば０．８）などであってもよく、任意選択的な一例では、本願の実施形態は全ての特徴点の各基準ボックスから信頼度が信頼度閾値を超えた（例えば、０．８以上）基準ボックスを選択し、続いて、選択した各基準ボックスの位置オフセット値により対応する特徴点の境界ボックス位置情報を形成し、選択した各基準ボックスの所属カテゴリを対応する境界ボックスの所属カテゴリとすることができる。また、本願の実施形態は比率または境界ボックス数の閾値により一部の基準ボックスを選択することもでき、本願の実施形態は少なくとも一つの特徴点の基準ボックスから一部の基準ボックスを選択する具体的な実現方法を限定しない。
【０１１４】
例えば、上記ステップＳ３１０で特定した第一特徴点の第一基準ボックスの信頼度が０．９であり、第一特徴点の第一基準ボックスが第一物体カテゴリに属し、かつ第一特徴点の第一基準ボックスの位置オフセット値がそれぞれｙ１、ｙ２、ｘ１およびｘ２であると設定すると、予め設定された信頼度要求は信頼度が信頼度閾値０．８以上であるようにされた場合、第一特徴点に対応する画像における領域、第一基準ボックスの長さおよび幅およびｙ１、ｙ２、ｘ１やｘ２に基づいて第一境界ボックスの画像における位置情報を特定し、該第一境界ボックスの所属カテゴリが第一物体カテゴリであると特定することができる。
【０１１５】
以下に特徴点の基準ボックスを特定待ち目標とすることを例にし、本願の畳み込みニューラルネットワークの訓練プロセスを説明する。図４は本願の実施例が提供する物体検出のための方法における畳み込みニューラルネットワークを訓練する一例のフローチャートである。図４に示すように、本願の実施形態の訓練プロセスは、ステップＳ４００、ステップＳ４１０、ステップＳ４２０、ステップＳ４３０、ステップＳ４４０およびステップＳ４５０を含む。以下に図５と関連付けて図４における各ステップをそれぞれ説明する。
【０１１６】
任意選択的な一例では、図４に含まれるステップＳ４００、ステップＳ４１０、ステップＳ４２０、ステップＳ４３０、ステップＳ４４０およびステップＳ４５０はメモリに記憶された対応する命令をプロセッサによって呼び出して実行してもよいし、プロセッサに実行される訓練モジュールによって実行してもよい。
【０１１７】
Ｓ４００において、サンプル集合から一つの画像サンプルを取得する。ステップＳ４１０へ進む。
【０１１８】
任意選択的な一例では、本願の実施例におけるサンプル集合は通常非空集合であり、かつ通常大量の画像サンプルを含む。サンプル集合内の画像サンプルは通常いずれもラベル付けされ、例えば画像サンプルはいずれも複数の境界ボックス位置情報および標準境界ボックスの所属カテゴリなどでラベル付けされる。境界ボックス位置情報は、境界ボックスの対角線における二つの頂点の画像サンプルにおける二次元座標情報などを含むことができる。画像サンプルのラベルは通常手動で予め付けられたものである。本願の実施形態はサンプル集合から画像サンプルの並び替え順序に従って一つの画像サンプルを選択してもよいし、サンプル集合から画像サンプルをランダムに一つ選択してもよい。
【０１１９】
Ｓ４１０において、畳み込みニューラルネットワークにおけるバックボーンネットワークによって該画像サンプルの特徴マップ、即ち図５における特徴マップ（Ｆｅａｔｕｒｅ  Ｍａｐ）を生成する。ステップＳ４２０へ進む。図５は本願の実施例が提供する物体検出のための方法における畳み込みニューラルネットワークを訓練する一例の構成模式図である。図４における一つ以上のステップは図５を参照するように理解してもよい。
【０１２０】
Ｓ４２０において、畳み込みニューラルネットワークにおけるフィルタ層によって上記特徴マップに対してフィルタリング処理を行い（例えば、図５における畳み込み（Ｃｏｎｖ）層によりフィルタリング処理を実現する）、それによりバックボーンネットワークが出力する特徴マップを新たな特徴マップに変換することができ、ここで、バックボーンネットワークが出力する特徴マップと新たな特徴マップに含まれる特徴点とは数が同じである。ステップＳ４３０、ステップＳ４４０およびステップＳ４５０へ進む。
【０１２１】
Ｓ４３０において、フィルタリング処理後の特徴マップにおける各特徴点の各基準ボックスについて、畳み込みニューラルネットワーク内の一つの畳み込み層（例えば、第一畳み込み層）により該特徴点の該基準ボックスがそれぞれ少なくとも一つのカテゴリに属する信頼度、例えば、図５において畳み込み層により得られた信頼度（ｃｌｓ＿ｓｃｏｒｅ）を計算し、一つの基準ボックスがそれぞれ少なくとも一つのカテゴリに属する信頼度に基づいて該基準ボックスのカテゴリを特定し、例えば、最高信頼度に対応するカテゴリを該基準ボックスの所属カテゴリとする。ステップＳ４６０へ進む。
【０１２２】
Ｓ４４０において、フィルタリング処理後の特徴マップにおける各特徴点の各基準ボックスについて、畳み込みニューラルネットワーク内の一つの畳み込み層（例えば、第二畳み込み層）により該特徴点の基準ボックスの少なくとも一つのカテゴリに対する位置オフセット値、例えば、図５において畳み込み層により得られた位置オフセット値（ｌｏｃ＿ｐｒｅｄ）を計算／予測し、該予測した位置オフセット値は、上オフセット値、下オフセット値、左オフセット値および右オフセット値を含むことができる。ステップＳ４７０へ進む。
【０１２３】
Ｓ４５０において、フィルタリング処理後の特徴マップにおける一つの特徴点の一つの基準ボックスについて、予め設定された補助層により、対応する標準境界ボックスに対する該基準ボックスの標準位置オフセット値、例えば、特徴点の基準ボックスと該特徴点に対応する標準境界ボックスとの上オフセット値、下オフセット値、左オフセット値および右オフセット値を計算する。また、予め設定された補助層により複数の特徴点の基準ボックスの所属カテゴリを対応する標準境界ボックスの所属カテゴリとすることができる。ステップＳ４６０およびステップＳ４７０へ進む。
【０１２４】
任意選択的に、一つの特徴点の一つの基準ボックスについて、補助層は該基準ボックスと少なくとも一つの標準境界ボックスとの重なり面積を計算し、重なり面積が大きい（例えば：最も大きい）標準境界ボックスを該基準ボックスに対応する標準境界ボックスとし、重なり面積が大きい（例えば：最も大きい）標準境界ボックスの所属カテゴリを該基準ボックスの所属カテゴリとすることができる。
【０１２５】
補助層は予め設定された基準ボックス構成情報に基づいて基準ボックスの長さを明確に把握可能であるため、本願における補助層は特徴点および基準ボックスの長さや幅に基づいて該基準ボックスの画像サンプルにおける位置を特定することができ、画像サンプルにおける少なくとも一つの標準境界ボックスはいずれも手動で予めラベル付けされたため、補助層は標準境界ボックスの画像サンプルにおける位置情報（例えば、標準境界ボックスのその対角線方向における二つの頂点の座標など）を把握することができ、それにより本願における補助層は該基準ボックスとそれに対応する標準境界ボックスとの位置オフセット値（例えば、図５において補助層により得られたアンカーターゲット（Ａｎｃｈｏｒ  Ｔａｒｇｅｔ）Ｃ２１）を正確かつ高速に算出することができ、該算出した位置オフセット値は標準位置オフセット値であり、かつ該標準位置オフセット値は、標準上オフセット値、標準下オフセット値、標準左オフセット値および標準右オフセット値を含むことができる。
【０１２６】
説明すべきは、本願の実施例は複数の特徴点の基準ボックスから選択した一部の基準ボックスについて標準位置オフセット値を計算可能であり、つまり位置オフセット値間の誤差の畳み込みニューラルネットワークにおける逆伝播プロセスに参与する基準ボックスはその全てではないということであり、上記場合には、本願における補助層は基準ボックスと標準境界ボックスとの重なり面積に基づいて標準位置オフセット値の計算が必要な基準ボックスを選択することができ、任意選択的に、一つの基準ボックスについて、補助層は各標準境界ボックスのうちそれとの重なり面積の最も大きい標準境界ボックスを該基準ボックスに対応する標準境界ボックスとし、それにより基準ボックスに対応する標準境界ボックスを得ることができ、続いて、補助層は各基準ボックスとそれに対応する標準境界ボックスとの重なり面積が所定の要求を満たすかどうかに基づき、複数の基準ボックスを三類、即ち正サンプル類（即ち重なり面積比率が第一比率閾値よりも大きい類）、負サンプル類（即ち重なり面積比率が第二比率閾値よりも小さい類）および無視サンプル類（即ち重なり面積比率が第一比率閾値と第二比率閾値との間にある類）に分けることができ、その後、補助層は正サンプル類から一部の基準ボックスを選択（例えば、ランダム選択）し、負サンプル類から一部の基準ボックスを選択（例えば、ランダム選択）することができ、かつ補助層が正サンプル類から選択した基準ボックスの数と負サンプル類から選択した基準ボックスの数は通常予め設定された比率、例えば３：１を満たさなければならず、その後、補助層は選択した基準ボックスをラベル付けすることができ、それによって後続の損失層は該ラベルに基づいて対応する基準ボックスについて位置オフセット値間の誤差を計算することができる。
【０１２７】
上記重なり面積比率は、ある特定待ち目標について、該特定待ち目標とそれとの重なり面積の最も大きい標準境界ボックスとの重なり面積と、該特定待ち目標および標準境界ボックスが共同で覆う面積との比率であってもよく、例えば、特定待ち目標Ａの面積を３とし、特定待ち目標Ａに対応する標準境界ボックスＢの面積を４とし、かつ特定待ち目標Ａと標準境界ボックスＢとの重なり面積を２とすると、重なり面積比率は、２／（３＋４−２）＝２／５となる。本願の実施例における第一比率閾値は第二比率閾値よりも大きく、任意選択的な一例では、第一比率閾値は０．７であってもよく、第二比率閾値は０．３であってもよい。本願の実施例は第一比率閾値および第二比率閾値の具体的な値を限定しない。
【０１２８】
Ｓ４６０において、特徴マップにおける特徴点について、損失層により該特徴点の少なくとも一つの基準ボックスが対応する標準境界ボックスの所属カテゴリに属する信頼度と標準信頼度との誤差を計算する。任意選択的な一例として、ステップＳ４３０における畳み込み層で算出した特徴点の少なくとも一つの基準ボックスがそれぞれ少なくとも一つのカテゴリに属する信頼度はいずれも図５における交差エントロピー損失（Ｓｏｆｔｍａｘ  Ｗｉｔｈ  Ｌｏｓｓ）レイヤに伝送され、かつステップＳ４５０での補助層が各特徴点の各基準ボックスについて設定した所属カテゴリも図５におけるＳｏｆｔｍａｘ  Ｗｉｔｈ  Ｌｏｓｓレイヤに伝送され、それによりＳｏｆｔｍａｘ  Ｗｉｔｈ  Ｌｏｓｓレイヤは補助層から伝送された情報および畳み込み層から伝送された情報に基づいて各特徴点の各基準ボックスが対応する標準境界ボックスの所属カテゴリに属する信頼度と標準信頼度との誤差を計算することができ、かつ該誤差はＳｏｆｔｍａｘ  Ｗｉｔｈ  Ｌｏｓｓレイヤによって、バックボーンネットワークまで逆伝播される。
【０１２９】
Ｓ４７０において、特徴マップにおける一つの特徴点の一つの基準ボックスについて、損失層（例えば、スムーズロス（ｓｍｏｏｔｈ  ｌｏｓｓ）レイヤ）によりステップＳ４４０で予測した位置オフセット値とステップＳ４５０で算出した対応する標準位置オフセット値との誤差を計算する。任意選択的に、ｓｍｏｏｔｈ  ｌｏｓｓレイヤは補助層のラベルに基づいて対応する予測した位置オフセット値と算出した対応する標準位置オフセット値との誤差を計算することができ、かつ該誤差はｓｍｏｏｔｈ  ｌｏｓｓレイヤによって、バックボーンネットワークまで逆伝播される（一回反復プロセスを完了する）。ステップＳ４８０へ進む。
【０１３０】
Ｓ４８０において、誤差が要求を満たすかどうか、および訓練を継続するかどうかを判定し、誤差が要求を満たしかつ訓練を継続する必要がない場合、ステップＳ４９０へ進み、訓練を継続する必要がある場合（誤差が要求を満たすのに関わらず）、ステップＳ４００に戻り、誤差が要求を満たさずかつ訓練を継続する必要がない場合、ステップＳ４８１へ進む。
【０１３１】
本願の実施例では、訓練を継続する必要があるかどうかは、反復回数（即ち画像サンプル集合から取得した画像サンプルの数）によって判定でき、例えば、反復回数が所定回数に達した場合、訓練を継続する必要がないと判定し、反復回数が所定回数に達していない場合、訓練を継続する必要があると判定する。本願の実施例における誤差が要求を満たすかどうかは誤差が所定範囲にあるかどうかに基づいて判定でき、例えば、現在の誤差が所定範囲にある場合、現在の誤差が受け入れ可能であると判定し、畳み込みニューラルネットワークの訓練に成功し、現在の誤差が所定範囲以外にある場合、現在の誤差が受け入れ不能であると判定し、畳み込みニューラルネットワークの訓練が失敗になる。
【０１３２】
Ｓ４８１において、畳み込みニューラルネットワークの訓練を成功的に遂行せずに、本回の訓練プロセスを終了する。
【０１３３】
任意選択的に、サンプル集合内の画像サンプルが全て訓練に用いられたまたは読み取られたサンプル数が所定数に達したが、算出した誤差が要求を満たしない場合において、畳み込みニューラルネットワークの訓練に成功せずに本回の訓練プロセスを終了することになるが、後続で畳み込みニューラルネットワークの訓練を継続することができる。
【０１３４】
Ｓ４９０において、畳み込みニューラルネットワークの訓練に成功し、本回の訓練プロセスを終了する。
【０１３５】
本願は誤差の計算プロセスと誤差の逆伝播プロセスを交互に実行することで、畳み込みニューラルネットワークを、計算した誤差が要求を満たすようになるまで訓練し、それにより畳み込みニューラルネットワークの訓練プロセスを成功的に遂行することができる。
【０１３６】
また、本願は訓練に成功した畳み込みニューラルネットワークをテストすることができる。訓練後の畳み込みニューラルネットワークをテストするプロセスは上記物体検出のための方法におけるステップと同じであるが、平均検出正解率（Ａｖｅｒａｇｅ  Ｐｒｅｃｉｓｉｏｎ、ＡＰ）および平均リコール率（Ｒｅｃａｌｌ、即ち全ての境界ボックスのうち標準境界ボックスとの重なり率が所定閾値を超えたもののパーセンテージ）などのパラメータを計算することで本願の畳み込みニューラルネットワークの物体検出性能を評価できるという点だけが異なる。
【０１３７】
任意選択的に、本願は畳み込み層により複数の特徴点の基準ボックスの所属カテゴリを特定してから、基準ボックスの非最大値抑制（ｎｏｎ  ｍａｘｉｍｕｍ  ｓｕｐｐｒｅｓｓｉｏｎ、ＮＭＳ）処理、即ち基準ボックスから面積重なり率が一定の閾値を超えた基準ボックスを除去することができ、ここの面積重なり率は、二つの基準ボックスの交差部分の面積÷（二つの基準ボックスの面積の和−二つの基準ボックスの交差部分の面積）としてもよく、かつ上記閾値は０．３などとしてもよく、その後、本願は面積重なり率が一定の閾値を超えた基準ボックスを除去した基準ボックスから信頼度が最も高い３００個の基準ボックスを選択してＡＰおよびＲｅｃａｌｌなどを計算し、それによって訓練後の畳み込みニューラルネットワークの物体検出性能を把握することができる。
【０１３８】
当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出して完了させることができることを理解すべきであり、前記プログラムはＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行時、上記方法の実施例のステップを実行する。
【０１３９】
図６は本願の実施例が提供する物体検出のための装置の一構成模式図である。該実施形態の装置は本願の上記各方法の実施形態を実現するために用いることができる。図６に示すように、該実施形態の装置は主に、特定待ち目標取得モジュール６００、カテゴリおよび位置オフセット値予測モジュール６１０、位置オフセット特定モジュール６２０および検出結果特定モジュール６３０を含む。任意選択的に、該装置はさらに、訓練モジュール（図６に示さず）を含むことができる。
【０１４０】
特定待ち目標取得モジュール６００は検出対象の画像における複数の特定待ち目標を取得するために用いられ、任意選択的に、特定待ち目標取得モジュール６００は検出対象の画像における、少なくとも一つの予め設定された領域サイズに基づいて形成された複数の特定待ち目標を取得するために用いることができる。特定待ち目標取得モジュール６００が使用する少なくとも一つの予め設定された領域サイズの長さには差があり、少なくとも一つの予め設定された領域サイズの幅には差があり、少なくとも一つの予め設定された領域サイズのアスペクト比には差があり、例えば、予め設定された領域サイズは、三つの異なる長さおよび三つの異なるアスペクト比に基づいて形成された九つの予め設定された領域サイズ、または三つの異なる幅および三つの異なるアスペクト比に基づいて形成された九つの予め設定された領域サイズ、または三つの異なる長さおよび幅に基づいて形成された九つの予め設定された領域サイズを含む。
【０１４１】
一実施形態では、特定待ち目標取得モジュール６００は、主に検出対象の画像の特徴マップを取得し、特徴マップにおける一つの特徴点に対して、基準ボックス構成情報に基づいて該特徴点の基準ボックスを形成し、かつ該特徴点の一つの基準ボックスを一つの特定待ち目標とし、特徴マップにおける複数の特徴点に対応する複数の特定待ち目標を取得するための第一の特定待ち目標取得サブモジュールを含むことができる。第一の特定待ち目標取得サブモジュールは検出対象の画像を畳み込みニューラルネットワークにおけるバックボーンネットワークに供給し、バックボーンネットワークが出力する特徴マップを畳み込みニューラルネットワークにおけるフィルタ層に供給することで、フィルタ層によって予め設定されたスライディングウィンドウに基づいて特徴マップをフィルタリングすることができ、かつ第一の特定待ち目標取得サブモジュールはフィルタリング処理後の特徴マップを検出対象の画像の特徴マップをとすることができる。
【０１４２】
一実施形態では、特定待ち目標取得モジュール６００は、主に検出対象の画像の特徴マップを取得し、基準ボックス構成情報に基づいて特徴マップに対してプーリング処理を行い、それによって複数の新たな特徴マップを形成し、複数の新たな特徴マップを複数の特定待ち目標とするための第二の特定待ち目標取得サブモジュールを含むことができる。
【０１４３】
特定待ち目標取得モジュール６００（例えば第一の特定待ち目標取得サブモジュールおよび第二の特定待ち目標取得サブモジュール）が実行する動作および予め設定された領域サイズなどは上記方法の実施形態におけるステップＳ２００およびステップＳ３００での関連説明を参照すればよく、ここでは説明を省略する。
【０１４４】
カテゴリおよび位置オフセット値予測モジュール６１０はそれぞれ少なくとも一つのカテゴリに対する複数の特定待ち目標の信頼度を特定し、信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定し、かつ複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を特定するために用いられ、例えば、カテゴリおよび位置オフセット値予測モジュール６１０は畳み込みニューラルネットワーク内の一つの畳み込み層により複数の特定待ち目標のそれぞれ各カテゴリに対する信頼度を特定し、上記信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定し、かつカテゴリおよび位置オフセット値予測モジュール６１０は畳み込みニューラルネットワーク内の別の畳み込み層により複数の特定待ち目標のそれぞれ各カテゴリに対する位置オフセット値（例えば、上オフセット値、下オフセット値、左オフセット値および右オフセット値）を特定する。
【０１４５】
任意選択的な一例では、本願の実施例におけるカテゴリは、少なくとも二つの物体カテゴリおよび一つの背景カテゴリ、例えば、二十個の物体カテゴリおよび一つの背景カテゴリを含むことができる。任意選択的に、一つの特定待ち目標に対して、カテゴリおよび位置オフセット値予測モジュール６１０は畳み込みニューラルネットワーク内の一つの畳み込み層により該特定待ち目標がそれぞれ少なくとも一つのカテゴリに属する信頼度を計算し、最高信頼度に対応するカテゴリを該特定待ち目標の所属カテゴリとすることができる。カテゴリおよび位置オフセット値予測モジュール６１０が実行する具体的な動作は上記方法の実施形態におけるステップＳ２１０およびステップＳ３１０での関連説明を参照すればよく、ここでは説明を省略する。
【０１４６】
位置オフセット特定モジュール６２０は複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を複数の特定待ち目標の位置オフセット値とするために用いられる。位置オフセット特定モジュール６２０が実行する具体的な動作は上記方法の実施形態におけるステップＳ２２０およびステップＳ３２０での関連説明を参照すればよく、ここでは説明を省略する。
【０１４７】
検出結果特定モジュール６３０は複数の特定待ち目標の所属カテゴリ、複数の特定待ち目標の位置オフセット値および複数の特定待ち目標の所属カテゴリの信頼度に基づいて検出対象の画像における少なくとも一つの特定待ち目標の位置情報および所属カテゴリを特定するために用いられる。任意選択的な一例として、検出結果特定モジュール６３０は全ての特定待ち目標から信頼度が予め設定された信頼度要求を満たす特定待ち目標を選択し、選択した複数の特定待ち目標の位置オフセット値に基づいて検出対象の画像における特定待ち目標の位置情報（例えば境界ボックス位置情報）を形成し、選択した複数の特定待ち目標の所属カテゴリを対応する特定待ち目標（例えば境界ボックス）が属するカテゴリとすることができる。検出結果特定モジュール６３０が実行する具体的な動作は上記方法の実施形態におけるステップＳ２３０およびステップＳ３３０での関連説明を参照すればよく、ここでは説明を省略する。
【０１４８】
訓練モジュールは主に本願における畳み込みニューラルネットワークを訓練するために用いられる。任意選択的に、訓練モジュールは画像サンプル集合から少なくとも一つの標準境界ボックス位置情報および標準境界ボックスの所属カテゴリでラベル付けされた画像サンプルを取得し、画像サンプルにおける、少なくとも一つの予め設定された領域サイズに基づいて形成された複数の特定待ち目標を取得することができ、その後、訓練モジュールは畳み込みニューラルネットワーク内の一つの畳み込み層によりそれぞれ少なくとも一つのカテゴリに対する複数の特定待ち目標の信頼度を特定し、信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定し、訓練モジュールは畳み込みニューラルネットワーク内の一つの畳み込み層により複数の特定待ち目標のそれぞれ各カテゴリに対する位置オフセット値を特定し、複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を複数の特定待ち目標の位置オフセット値とし、訓練モジュールは対応する標準境界ボックスに対する複数の特定待ち目標の標準位置オフセット値を計算し（例えば、訓練モジュールは複数の特定待ち目標の各々に対応する重なり面積の最も大きい標準境界ボックスを特定し、重なり面積の最も大きい標準境界ボックスに対する複数の特定待ち目標の標準位置オフセット値をそれぞれ計算する）、訓練モジュールは畳み込みニューラルネットワーク内の一つの損失層により対応する標準境界ボックスの所属カテゴリに対する全てまたは一部の特定待ち目標の位置オフセット値と対応する標準位置オフセット値との誤差を計算し、訓練モジュールは畳み込みニューラルネットワーク内の一つの損失層により対応する標準境界ボックスの所属カテゴリに対する全てまたは一部の特定待ち目標の信頼度と標準境界ボックスの所属カテゴリとの誤差を計算し、誤差を畳み込みニューラルネットワークにおいて逆伝播し、訓練モジュールは訓練を継続するかどうかを制御し、例えば、訓練モジュールは画像サンプル集合から取得した画像サンプルの数が所定数に達し、かつ誤差が所定範囲にある場合、畳み込みニューラルネットワークの訓練を成功的に遂行したと判定する。
【０１４９】
上記一部の特定待ち目標は、正の特定待ち目標および負の特定待ち目標を含むことができるが、これらに限定されず、例えば、訓練モジュールは全ての特定待ち目標のうちの全ての正の特定待ち目標から正の特定待ち目標を選択し、全ての特定待ち目標のうちの全ての負の特定待ち目標から負の特定待ち目標を選択し、かつ訓練モジュールが選択した正の特定待ち目標とその選択した負の特定待ち目標は所定比率を満たす。訓練モジュールが実行する具体的な動作、正の特定待ち目標および負の特定待ち目標などの内容は図４および図５に対する上記関連説明を参照すればよく、ここでは説明を省略する。
【０１５０】
本願の実施形態はさらに、電子機器を提供し、例えば移動端末、パーソナルコンピュータ（ＰＣ）、タブレット、サーバなどであってもよい。以下に図７を参照すると、本願の実施形態の端末機器またはサーバの実現に適する電子機器７００の構成模式図が示される。図７に示すように、コンピュータシステム７００は一つ以上のプロセッサ、通信部などを含み、前記一つ以上のプロセッサは例えば、一つ以上の中央処理装置（ＣＰＵ）７０１、および／または一つ以上の画像処理装置（ＧＰＵ）７１３などであり、プロセッサは読み取り専用メモリ（ＲＯＭ）７０２に記憶されている実行可能命令または記憶部分７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされた実行可能命令に従って様々な適当の動作および処理を実行できる。通信部７１２はネットワークカードを含むことができるが、これに限定されず、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含むことができるが、これに限定されない。プロセッサは読み取り専用メモリ７０２および／またはランダムアクセスメモリ７３０と通信して実行可能命令を実行し、バス７０４を介して通信部７１２と接続し、通信部７１２によって他の目標機器と通信し、それにより本願の実施形態が提供するいずれか一項の方法に対応する動作を完了することができる。
【０１５１】
また、ＲＡＭ７０３には、装置の動作に必要な種々のプログラムおよびデータを記憶することができる。ＣＰＵ７０１、ＲＯＭ７０２およびＲＡＭ７０３はバス７０４を介して互いに接続される。ＲＡＭ７０３が存在する場合、ＲＯＭ７０２は任意選択的なモジュールとなる。ＲＡＭ７０３は実行可能命令を記憶するか、または動作時にＲＯＭ７０２へ実行可能命令を書き込み、実行可能命令によってプロセッサ７０１は上記通信方法に対応する動作を実行する。入力／出力（Ｉ／Ｏ）インタフェース７０５もバス７０４に接続される。通信部７１２は統合設置してもよいし、また複数のサブモジュール（例えば複数のＩＢネットワークカード）を有するように設置してもよく、かつ通信バスリンクに存在する。
【０１５２】
キーボード、マウスなどを含む入力部分７０６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）などおよびスピーカーなどを含む出力部分７０７、ハードディスクなどを含む記憶部分７０８、およびＬＡＮカード、モデムのネットワークインタフェースカードなどを含む通信部分７０９といった部品は、Ｉ／Ｏインタフェース７０５に接続される。通信部分７０９はインターネットなどのネットワークによって通信処理を実行する。ドライバ７１０も必要に応じてＩ／Ｏインタフェース７０５に接続される。取り外し可能な媒体７１１、例えば磁気ディスク、光ディスク、磁気光ディスク、半導体メモリなどは、必要に応じてドライバ７１０に取り付けられ、それによってそこから読み出されたコンピュータプログラムが必要に応じて記憶部分７０８にインストールされる。
【０１５３】
説明すべきは、図７に示すアーキテクチャは任意選択的な一実施形態に過ぎず、具体的な実践では、実際の必要に応じて上記図７の部品数およびタイプを選択、減少、増加または交換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えばＧＰＵとＣＰＵは分離設置するかまたはＧＰＵをＣＰＵに統合するようにしてもよく、通信部は分離設置してもよいし、またＣＰＵまたはＧＰＵに統合してもよいなどである。これらの置換可能な実施形態はいずれも本願が開示した保護範囲に属する。
【０１５４】
特に、本願の実施形態によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現可能である。例えば、本願が開示する実施形態はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願の実施形態により提供される方法を実行するステップに対応する命令を含むことができる。このような実施例では、コンピュータプログラムは通信部分７０９によってネットワークからダウンロードおよびインストールでき、および／または取り外し可能な媒体７１１からインストールできる。該コンピュータプログラムは中央処理装置（ＣＰＵ）７０１に実行される時、本願の方法に限定された上記機能を実行する。
【０１５５】
本願の方法および装置、機器は様々な方式で実現し得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組み合わせで本願の方法および装置、機器を実現できる。前記方法のステップに付けられる上記順序は説明するためのものに過ぎず、本願の方法のステップは、特に断らない限り、以上に具体的に記述した順序に限定されない。また、いくつかの実施形態では、本願を記録媒体に記録されたプログラムとして実施してもよく、これらのプログラムは本願に係る方法を実現するための機械可読命令を含む。従って、本願は本願に係る方法を実行するためのプログラムを記憶する記録媒体、例えば、図８に示すコンピュータ読み取り可能記憶媒体８００をも包含する。
【０１５６】
本明細書における各実施例は漸進の方式を採用して記述し、各実施例では他の実施例との相違点を重点に説明し、各実施例間の同じまたは類似部分は互いに参照すればよい。システムの実施例は、方法の実施例に基本的に対応するため、記述したものが比較的簡単で、その関連部分は方法の実施例の一部の説明を参照すればよい。
【０１５７】
本願の方法および装置は様々な方式で実現し得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組み合わせで本願の方法および装置を実現できる。前記方法のステップに付けられる上記順序は説明するためのものに過ぎず、本願の方法のステップは、特に断らない限り、以上に具体的に記述した順序に限定されない。また、いくつかの実施例では、本願を記録媒体に記録されたプログラムとして実施してもよく、これらのプログラムは本願に係る方法を実現するための機械可読指令を含む。従って、本願は本願に係る方法を実行するためのプログラムを記憶する記録媒体をも包含する。
【０１５８】
本願の記述は例示および説明のためのもので、漏れがないものまたは開示した形式に本願を限定するものではない。様々な修正および変更は、当業者にとって自明である。選択および記述した実施例は、本願の原理および実際の適用をより効果的に説明し、かつ当業者に本願を理解させて特定の用途に適する様々な修正付きの様々な実施例を設計するためのものである。
【図１】
2020527793.tif 000003
【図２】
2020527793.tif 000004
【図３】
2020527793.tif 000005
【図４】
2020527793.tif 000006
【図５】
2020527793.tif 000007
【図６】
2020527793.tif 000008
【図７】
2020527793.tif 000009
【図８】
2020527793.tif 000010
【手続補正書】
【提出日】令和2年1月9日(2020.1.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
検出対象の画像における複数の特定待ち目標を取得することと、
それぞれ少なくとも一つのカテゴリに対する前記複数の特定待ち目標の信頼度を特定し、前記信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定し、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を特定することと、
前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を前記複数の特定待ち目標の位置オフセット値とすることと、
前記複数の特定待ち目標の所属カテゴリ、前記複数の特定待ち目標の位置オフセット値および所属カテゴリに対する前記複数の特定待ち目標の信頼度に基づき、前記検出対象の画像における少なくとも一つの特定待ち目標の位置情報および所属カテゴリを特定することとを含む、ことを特徴とする物体検出のための方法。
【請求項２】
検出対象の画像における複数の特定待ち目標を取得する前記ステップは、
検出対象の画像における、少なくとも一つの予め設定された領域サイズに基づいて形成された複数の特定待ち目標を取得することを含む、ことを特徴とする請求項１に記載の方法。
【請求項３】
検出対象の画像における、少なくとも一つの予め設定された領域サイズに基づいて形成された複数の特定待ち目標を取得する前記ステップは、
検出対象の画像の特徴マップを取得することと、
前記特徴マップにおける一つの特徴点に対して、基準ボックス構成情報に基づいて前記特徴点の基準ボックスを形成し、前記特徴点の基準ボックスを一つの特定待ち目標とすることと、
前記特徴マップにおける複数の特徴点に対応する複数の特定待ち目標を取得することとを含む、ことを特徴とする請求項２に記載の方法。
【請求項４】
検出対象の画像の特徴マップを取得する前記ステップは、
検出対象の画像を畳み込みニューラルネットワークにおけるバックボーンネットワークに入力することと、
前記バックボーンネットワークが出力する特徴マップを前記畳み込みニューラルネットワークにおけるフィルタ層に入力し、前記フィルタ層によって予め設定されたスライディングウィンドウに基づいて前記特徴マップに対してフィルタリング処理を行い、前記フィルタリング処理後の特徴マップを前記検出対象の画像の特徴マップとすることとを含む、ことを特徴とする請求項３に記載の方法。
【請求項５】
検出対象の画像における、少なくとも一つの予め設定された領域サイズに基づいて形成された複数の特定待ち目標を取得する前記ステップは、
検出対象の画像の特徴マップを取得することと、
基準ボックス構成情報に基づいて前記特徴マップに対してプーリング処理を行い、複数の新たな特徴マップを得て、複数の新たな特徴マップを複数の特定待ち目標とすることとを含む、ことを特徴とする請求項２に記載の方法。
【請求項６】
前記予め設定された領域サイズは、三つの異なる長さおよび三つの異なるアスペクト比に基づいて形成された九つの予め設定された領域サイズ、または三つの異なる幅および三つの異なるアスペクト比に基づいて形成された九つの予め設定された領域サイズ、または三つの異なる長さおよび幅に基づいて形成された九つの予め設定された領域サイズを含む、ことを特徴とする請求項２から５のいずれか一項に記載の方法。
【請求項７】
前記カテゴリは、二つの物体カテゴリおよび一つの背景カテゴリを含む、ことを特徴とする請求項１から６のいずれか一項に記載の方法。
【請求項８】
それぞれ少なくとも一つのカテゴリに対する前記複数の特定待ち目標の信頼度を特定し、前記信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定する前記ステップは、
一つの特定待ち目標に対して、前記特定待ち目標がそれぞれ前記少なくとも一つのカテゴリに属する信頼度を計算し、最高信頼度に対応するカテゴリを前記特定待ち目標の所属カテゴリとすることを含む、ことを特徴とする請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を特定する前記ステップは、
一つの特定待ち目標に対して、所属カテゴリに対する前記特定待ち目標の上オフセット値、下オフセット値、左オフセット値および右オフセット値を計算することを含む、ことを特徴とする請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記特定待ち目標の位置情報は、特定待ち目標の境界ボックス位置情報を含む、ことを特徴とする請求項１から９のいずれか一項に記載の方法。
【請求項１１】
前記複数の特定待ち目標の所属カテゴリ、前記複数の特定待ち目標の位置オフセット値および所属カテゴリに対する前記複数の特定待ち目標の信頼度に基づき、前記検出対象の画像における少なくとも一つの特定待ち目標の位置情報および所属カテゴリを特定する前記ステップは、
前記複数の特定待ち目標から、信頼度が予め設定された信頼度要求を満たす複数の特定待ち目標を選択して取得することと、
前記選択した複数の特定待ち目標の位置オフセット値に基づいて、検出対象の画像における境界ボックス位置情報を形成することと、
前記選択した複数の特定待ち目標の所属カテゴリを、対応する境界ボックスの所属カテゴリとすることとを含む、ことを特徴とする請求項１０に記載の方法。
【請求項１２】
それぞれ少なくとも一つのカテゴリに対する前記複数の特定待ち目標の信頼度を特定し、前記信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定し、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を特定する前記ステップは、
畳み込みニューラルネットワークにより、それぞれ少なくとも一つのカテゴリに対する前記複数の特定待ち目標の信頼度を特定し、前記信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定し、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を特定することを含み、
前記方法は、さらに、前記畳み込みニューラルネットワークを訓練するステップを含み、前記畳み込みニューラルネットワークを訓練する前記ステップは、
画像サンプル集合から、少なくとも一つの標準位置情報および標準位置の所属カテゴリでラベル付けされた画像サンプルを取得することと、
画像サンプルにおける複数の特定待ち目標を取得することと、
畳み込みニューラルネットワーク内の一つの畳み込み層により、それぞれ少なくとも一つのカテゴリに対する前記複数の特定待ち目標の信頼度を特定し、前記信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定することと、
畳み込みニューラルネットワーク内の別の畳み込み層により、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を特定することと、
前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を前記複数の特定待ち目標の位置オフセット値とすることと、
対応する標準位置に対する前記複数の特定待ち目標の標準位置オフセット値を計算することと、
畳み込みニューラルネットワーク内の一つの損失層により、前記複数の特定待ち目標のうちの少なくとも一つの特定待ち目標の、対応する標準位置のカテゴリに対する位置オフセット値と対応する標準位置オフセット値との誤差を計算し、畳み込みニューラルネットワーク内の一つの損失層により、前記複数の特定待ち目標のうちの少なくとも一つの特定待ち目標の、対応する標準位置の所属カテゴリに対する信頼度と標準位置の所属カテゴリとの誤差を計算し、かつ前記誤差を前記畳み込みニューラルネットワークにおいて逆伝播することと、
画像サンプル集合から取得した画像サンプルの数が所定数に達し、かつ誤差が所定範囲内になるまで訓練し、前記畳み込みニューラルネットワークの訓練を完了することとを含む、ことを特徴とする請求項１から１１のいずれか一項に記載の方法。
【請求項１３】
画像サンプルにおける複数の特定待ち目標を取得する前記ステップは、
画像サンプルにおける、少なくとも一つの予め設定された領域サイズに基づいて形成された複数の特定待ち目標を取得することを含む、ことを特徴とする請求項１２に記載の方法。
【請求項１４】
前記標準位置は、標準境界ボックスを含む、ことを特徴とする請求項１２または１３に記載の方法。
【請求項１５】
対応する標準位置に対する前記複数の特定待ち目標の標準位置オフセット値を計算する前記ステップは、
前記複数の特定待ち目標の各々が対応する、重なり面積の最も大きい標準境界ボックスを特定し、重なり面積の最も大きい標準境界ボックスに対する複数の特定待ち目標の標準位置オフセット値をそれぞれ計算することを含む、ことを特徴とする請求項１４に記載の方法。
【請求項１６】
前記複数の特定待ち目標のうちの少なくとも一つの特定待ち目標は、前記複数の特定待ち目標のうちの複数の正の特定待ち目標から選択した正の特定待ち目標と、複数の特定待ち目標のうちの複数の負の特定待ち目標から選択した負の特定待ち目標とを含み、かつ選択した正の特定待ち目標と選択した負の特定待ち目標は所定比率を満たし、
ある特定待ち目標について、前記特定待ち目標とそれとの重なり面積の最も大きい標準境界ボックスとの重なり面積と、前記特定待ち目標および標準境界ボックスが共同で覆う面積との比率が第一比率閾値よりも大きい場合、前記特定待ち目標は正の特定待ち目標であり、前記比率が第二比率閾値よりも小さい場合、前記特定待ち目標は負の特定待ち目標である、ことを特徴とする請求項１４または１５に記載の方法。
【請求項１７】
検出対象の画像における複数の特定待ち目標を取得するための特定待ち目標取得モジュールと、
それぞれ少なくとも一つのカテゴリに対する前記複数の特定待ち目標の信頼度を特定し、前記信頼度に基づいて複数の特定待ち目標の所属カテゴリを特定し、前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を特定するためのカテゴリおよび位置オフセット値予測モジュールと、
前記複数の特定待ち目標の各々の所属カテゴリに対応する位置オフセット値を前記複数の特定待ち目標の位置オフセット値とするための位置オフセット特定モジュールと、
前記複数の特定待ち目標の所属カテゴリ、前記複数の特定待ち目標の位置オフセット値および所属カテゴリに対する前記複数の特定待ち目標の信頼度に基づき、前記検出対象の画像における少なくとも一つの特定待ち目標の位置情報および所属カテゴリを特定するための検出結果特定モジュールとを含む、ことを特徴とする物体検出のための装置。
【請求項１８】
コンピュータプログラムを記憶するためのメモリ、および
プロセッサを含み、
前記プロセッサが、前記メモリに記憶されたコンピュータプログラムを実行し、しかも前記コンピュータプログラムは実行される時、上記請求項１から１６のいずれか一項に記載の物体検出のための方法を実現するために用いられる、電子機器。
【請求項１９】
コンピュータプログラムが記憶されているコンピュータ読み取り可能記憶媒体であって、該コンピュータプログラムはプロセッサに実行される時、上記請求項１から１６のいずれか一項に記載の物体検出のための方法を実現する、コンピュータ読み取り可能記憶媒体。
【請求項２０】
コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードが機器において実行される時、前記機器内のプロセッサは請求項１から１６のいずれか一項に記載の物体検出のための方法を実現するための命令を実行する、ことを特徴とするコンピュータプログラム製品。
【国際調査報告】
2020527793.tif 000011
2020527793.tif 000012
2020527793.tif 000013
2020527793.tif 000014