(57)【要約】【課題】本発明の実施例は、目標オブジェクト検出方法、及び装置、電子機器、並びに記憶媒体を開示する。【解決手段】前記目標オブジェクト検出方法は、ニューラルネットワークを利用して参考フレームの特徴および検出フレームの特徴をそれぞれ抽出するステップであって、前記参考フレームは目標オブジェクトの検出枠図像であり、前記参考フレームの画像サイズは、前記検出フレームよりも小さいステップと、前記ニューラルネットワーク中の少なくとも２つのネットワーク層から出力された少なくとも２組の特徴の中の各組の特徴を検出器にそれぞれ入力して、前記検出器によって対応的に出力された少なくとも２組の検出結果を取得するステップであって、各組の特徴は、前記参考フレームの特徴および前記検出フレームの特徴を含み、各組の検出結果は、１組の特徴に対応する目標オブジェクトの複数の候補枠の分類結果および回帰結果を含むステップと、前記検出器から出力された少なくとも２組の検出結果に基づいて、前記検出フレームにおける前記目標オブジェクトの検出枠を取得するステップと、を含む。【選択図】図１
2021524093.tif 000002
【特許請求の範囲】
【請求項１】
目標オブジェクト検出方法であって、
ニューラルネットワークを利用して参考フレームの特徴および検出フレームの特徴をそれぞれ抽出するステップであって、前記検出フレームは、ビデオシーケンス中の、目標オブジェクト検出の実行待ちの現在フレームであるか、または、前記現在フレームにおける、前記目標オブジェクトを含む可能性がある領域画像であり、前記参考フレームは、目標オブジェクトの検出枠が確定されたフレームにおける、目標オブジェクトの検出枠図像であり、当該フレームは、前記ビデオシーケンス中で検出時間順序が前記検出フレームの前に位置するフレームであり、前記参考フレームの画像サイズは、前記検出フレームよりも小さいステップと、
前記ニューラルネットワーク中の少なくとも２つのネットワーク層から出力された少なくとも２組の特徴の中の各組の特徴を検出器に入力して、前記各組の特徴毎に、それぞれ、前記検出器によって対応的に出力された１組の検出結果を得るステップであって、前記各組の特徴は、前記参考フレームの特徴および前記検出フレームの特徴を含み、前記各組の検出結果は、前記目標オブジェクトの複数の候補枠の分類結果および回帰結果を含むステップと、
前記検出器が前記少なくとも２組の特徴に対して出力した少なくとも２組の検出結果に基づいて、前記検出フレームにおける前記目標オブジェクトの検出枠を確定するステップと、を含む
ことを特徴とする目標オブジェクト検出方法。
【請求項２】
前記検出フレームにおける前記目標オブジェクトの検出枠を次の一つの参考フレームとして、前記ニューラルネットワークを利用して、前記次の一つの参考フレームの特徴、および、ビデオシーケンス中で時間順序が前記検出フレームの後に位置する次の一つの検出フレームの特徴を、それぞれ抽出するステップと、
前記ニューラルネットワーク中の少なくとも２つのネットワーク層から出力された少なくとも２組の特徴の中の各組の特徴を検出器にそれぞれ入力して、前記検出器によって対応的に出力された１組の検出結果を得るステップであって、前記各組の特徴は、前記次の一つの参考フレームの特徴および前記次の一つの検出フレームの特徴を含むステップと、
前記検出器が前記少なくとも２組の特徴に対して出力した少なくとも２組の検出結果に基づいて、前記次の一つの検出フレームにおける前記目標オブジェクトの検出枠を確定するステップと、をさらに含む
ことを特徴とする請求項１に記載の前記方法。
【請求項３】
前記ニューラルネットワークは、複数の畳込み層を含み、前記ニューラルネットワーク中の少なくとも２つのネットワーク層から出力された少なくとも２組の特徴を検出器にそれぞれ入力するステップは、前記ニューラルネットワーク中の少なくとも２つの畳込み層から出力された少なくとも２組の特徴を検出器にそれぞれ入力するステップを含み、または、
前記ニューラルネットワークは、複数の畳込みブロックを含み、各畳込みブロックは、少なくとも１つの畳込み層を含み、前記ニューラルネットワーク中の少なくとも２つのネットワーク層から出力された少なくとも２組の特徴を検出器にそれぞれ入力するステップは、前記ニューラルネットワーク中の少なくとも２つの畳込みブロックから出力された少なくとも２組の特徴を検出器にそれぞれ入力するステップを含み、または、
前記ニューラルネットワークは、少なくとも１つの畳込みブロックおよび少なくとも１つの畳込み層を含み、各畳込みブロックは、少なくとも１つの畳込み層を含み、前記ニューラルネットワーク中の少なくとも２つのネットワーク層から出力された少なくとも２組の特徴を検出器にそれぞれ入力するステップは、前記ニューラルネットワーク中の少なくとも１つの畳込みブロックおよび少なくとも１つの畳込み層から出力された少なくとも２組の特徴を検出器にそれぞれ入力するステップを含む
ことを特徴とする請求項１または２に記載の前記方法。
【請求項４】
前記検出フレームが、前記目標オブジェクト検出の実行待ちの現在フレームにおける、前記目標オブジェクトを含む可能性がある領域画像である場合、
前記方法は、
前記現在フレームから、前記参考フレームの中心点をその中心点とする、長さおよび／または幅が前記参考フレームの画像の長さおよび／または幅よりも大きい領域画像を、前記検出フレームとして切り取るステップをさらに含む
ことを特徴とする請求項１乃至３のいずれか１項に記載の前記方法。
【請求項５】
前記ニューラルネットワーク中の１つのネットワーク層から出力された１組の特徴を検出器に入力して、前記各組の特徴毎に、それぞれ、前記検出器によって対応的に出力された１組の検出結果を得るステップは、
前記参考フレームの特徴に基づいて、検出器の分類重みおよび回帰重みを取得するステップと、
前記分類重みおよび前記回帰重みをそれぞれ利用して、前記検出フレームの特徴に対して処理を行って、前記検出器から出力された複数の候補枠の分類結果および回帰結果を得るステップと、を含む
ことを特徴とする請求項１乃至４のいずれか１項に記載の前記方法。
【請求項６】
前記参考フレームの特徴に基づいて検出器の分類重みを取得するステップは、
前記検出器中の第１畳込み層を利用して前記参考フレームの特徴に対して畳込み操作を実行して、畳込み操作によって得られた第１特徴を前記検出器の分類重みとするステップを含む
ことを特徴とする請求項５に記載の前記方法。
【請求項７】
前記参考フレームの特徴に基づいて検出器の回帰重みを取得するステップは、
前記検出器中の第２畳込み層を利用して前記参考フレームの特徴に対して畳込み操作を実行して、畳込み操作によって得られた第２特徴を前記検出器の回帰重みとするステップを含む
ことを特徴とする請求項５または６に記載の前記方法。
【請求項８】
前記分類重みおよび前記回帰重みをそれぞれ利用して前記検出フレームの特徴に対して処理を行って、前記検出器から出力された複数の候補枠の分類結果および回帰結果を得るステップは、
前記分類重みを利用して前記検出フレームの特徴に対して畳込み操作を実行して、前記複数の候補枠の分類結果を取得し、前記回帰重みを利用して前記検出フレームの特徴に対して畳込み操作を実行して、前記複数の候補枠の回帰結果を取得するステップと、を含む
ことを特徴とする請求項５乃至７のいずれか１項に記載の前記方法。
【請求項９】
前記分類重みを利用して前記検出フレームの特徴に対して畳込み操作を実行して、複数の候補枠の分類結果を取得するステップは、
前記検出器中の第３畳込み層を利用して前記検出フレームの特徴に対して畳込み操作を実行して、第３特徴を取得するステップであって、前記第３特徴のチャネル数は、前記検出フレームの特徴のチャネル数と同一であるステップと、
前記分類重みを利用して前記第３特徴に対して畳込み操作を実行して、前記複数の候補枠の分類結果を取得するステップと、を含む
ことを特徴とする請求項８に記載の前記方法。
【請求項１０】
前記回帰重み利用して前記検出フレームの特徴に対して畳込み操作を実行して、複数の候補枠の回帰結果を取得するステップは、
第４畳込み層を利用して前記検出フレームの特徴に対して畳込み操作を実行して、第４特徴を取得するステップであって、前記第４特徴のチャネル数は、前記検出フレームの特徴のチャネル数と同一であるステップと、
前記回帰重みを利用して前記第４特徴に対して畳込み操作を実行して、前記複数の候補枠の回帰結果を取得するステップと、を含む
ことを特徴とする請求項８または９に記載の前記方法。
【請求項１１】
前記参考フレームの特徴に基づいて検出器の分類重みを取得するステップは、
前記検出器中の第５畳込み層を利用して前記参考フレームの特徴に対して畳込み操作を実行して、畳込み操作によって得られたＬ個の第５特徴を前記検出器の分類重みとするであって、前記参考フレームの特徴のチャネル数は、Ｍ１であり、前記第５特徴のチャネル数は、Ｎ１であり、Ｍ１、Ｎ１、および、Ｌは、０よりも大きい整数であり、且つ、Ｍ１は、Ｎ１よりも大きいステップを含む
ことを特徴とする請求項５に記載の前記方法。
【請求項１２】
前記分類重みを利用して前記検出フレームの特徴に対して処理を行って、前記検出器から出力された複数の候補枠の分類結果を取得するステップは、
前記検出器中の第６畳込み層を利用して前記検出フレームの特徴に対して畳込み操作を実行して、チャネル数がＮ１であるＬ個の第６特徴を取得するステップであって、前記検出フレームの特徴のチャネル数は、Ｍ２であり、Ｍ２は、０よりも大きい整数であり、且つ、Ｍ２は、Ｎ１よりも大きいステップと、
前記分類重みのＬ個の第５特徴の中の各特徴をそれぞれ利用して前記Ｌ個の第６特徴の中の対応する特徴に対して畳込み操作を実行して、Ｌ個の畳込み結果を取得するステップと、
前記検出器中の第７畳込み層を利用して前記Ｌ個の畳込み結果に対して畳込み操作を実行して、前記複数の候補枠の分類結果を取得するステップと、を含む
ことを特徴とする請求項１１に記載の前記方法前記。
【請求項１３】
Ｌ個の畳込み結果を取得するステップの後に、
前記Ｌ個の畳込み結果をつながるステップをさらに含み、
前記検出器中の第７畳込み層を利用して前記Ｌ個の畳込み結果に対して畳込み操作を実行するステップは、
前記検出器中の第７畳込み層を利用して、つながれたＬ個の畳込み結果に対して畳込み操作を実行するステップを含む
を特徴とする請求項１２に記載の前記方法。
【請求項１４】
前記参考フレームの特徴に基づいて検出器の回帰重みを取得するステップは、
前記検出器中の第８畳込み層を利用して前記参考フレームの特徴に対して畳込み操作を実行して、畳込み操作によって得られたＰ個のチャンネルの第８特徴を前記検出器の回帰重みとするステップであって、前記参考フレームの特徴のチャネル数は、Ｍ１であり、前記第８特徴のチャネル数は、Ｎ２であり、Ｍ１、Ｎ２、および、Ｐは、０よりも大きい整数であり、且つ、Ｍ１は、Ｎ２よりも大きいステップを含む
ことを特徴とする請求項５に記載の前記方法。
【請求項１５】
前記回帰重みを利用して前記検出フレームの特徴に対して処理を行って、前記検出器から出力された複数の候補枠の回帰結果を取得するステップは、
前記検出器中の第９畳込み層を利用して前記検出フレームの特徴に対して畳込み操作を実行して、Ｐ個のチャネル数がＮ２である第９特徴を取得するステップであって、前記検出フレームの特徴のチャネル数は、Ｍ２であり、Ｍ２は、０よりも大きい整数であり、且つ、Ｍ２は、Ｎ２よりも大きいステップと、
前記回帰重み中のＰ個の第８特徴の中の各特徴をそれぞれ利用して前記Ｐ個の第９特徴の中の対応する特徴に対して畳込み操作を実行して、Ｐ個の畳込み結果を取得するステップと、
前記検出器中の第１０畳込み層を利用して前記Ｐ個の畳込み結果に対して畳込み操作を実行して、前記複数の候補枠の回帰結果を取得するステップと、を含む
ことを特徴とする請求項１４に記載の前記方法。
【請求項１６】
Ｐ個の畳込み結果を取得するステップの後に、
前記Ｐ個の畳込み結果をつながるステップをさらに含み、
前記検出器中の第１０畳込み層を利用して前記Ｐ個の畳込み結果に対して畳込み操作を実行するステップは、
前記検出器中の第１０畳込み層を利用して、つながれたＰ個の畳込み結果に対して畳込み操作を実行するステップを含む
を特徴とする請求項１５に記載の前記方法。
【請求項１７】
前記検出器から出力された少なくとも２組の検出結果に基づいて、前記検出フレームにおける前記目標オブジェクトの検出枠を確定するステップは、
前記少なくとも２組の検出結果中の分類結果に対して、重み付け、平均、または、重み付け平均を実行して、複数の候補枠の統括分類結果を取得し、および／または、前記少なくとも２組の検出結果中の回帰結果に対して、重み付け、平均、または、重み付け平均を実行して、複数の候補枠の統括回帰結果を取得するステップと、
前記複数の候補枠の統括分類結果および統括回帰結果に基づいて、前記検出フレームにおける前記目標オブジェクトの検出枠を取得するステップと、を含む
ことを特徴とする請求項１乃至１６のいずれか１項に記載の前記方法。
【請求項１８】
前記複数の候補枠の統括分類結果および統括回帰結果に基づいて、前記検出フレームにおける前記目標オブジェクトの検出枠を取得するステップは、
前記複数の候補枠の統括分類結果および統括回帰結果に基づいて、前記複数の候補枠から１つの候補枠を選択し、選択された候補枠の統括回帰結果中のずれ量に基づいて、前記選択された候補枠に対して回帰を実行して、前記検出フレームにおける前記目標オブジェクトの検出枠を取得するステップを含む
ことを特徴とする請求項１７に記載の前記方法。
【請求項１９】
前記複数の候補枠の統括分類結果および統括回帰結果に基づいて、前記複数の候補枠から１つの候補枠を選択するステップは、
前記統括分類結果の重み係数および前記統括回帰結果の重み係数に基づいて、前記複数の候補枠から１つの候補枠を選択するステップを含む
ことを特徴とする請求項１８に記載の前記方法。
【請求項２０】
複数の候補枠の統括回帰結果を取得するステップの後に、
前記候補枠の統括回帰結果にそれぞれ基づいて、統括分類結果を調整するステップをさらに含み、
前記複数の候補枠の統括分類結果および統括回帰結果に基づいて、前記複数の候補枠から１つの候補枠を選択するステップは、
調整された統括分類結果に基づいて、前記複数の候補枠から１つの候補枠を選択するステップを含む
を特徴とする請求項１８に記載の前記方法。
【請求項２１】
前記目標オブジェクトは、歩行者、車両、ロボット、動物、飛行機、移動可能の静止物の中の任意の１つまたは複数を含む
ことを特徴とする請求項１乃至２０のいずれか１項に記載の前記方法。
【請求項２２】
前記検出フレームにおける前記目標オブジェクトの検出枠を取得した後に、前記ビデオシーケンス中の前記目標オブジェクトの検出枠に対してマーク付けを行うステップ、および／または、
前記ビデオシーケンス中の複数のフレームにおける前記目標オブジェクトの検出枠を取得した後に、前記ビデオシーケンス中の複数のフレームにおける前記目標オブジェクトの検出枠の位置に基づいて、前記ビデオシーケンス中の前記目標オブジェクトの運動軌跡を確定するステップ、および／または、
前記ビデオシーケンス中の複数のフレームにおける前記目標オブジェクトの検出枠を取得した後に、前記目標オブジェクトの検出枠の位置に基づいて、カメラの撮影パラメータを調整するステップ、および／または、
前記検出フレームにおける前記目標オブジェクトの検出枠を取得した後に、前記検出フレームにおける前記目標オブジェクトの検出枠が所定領域範囲内に位置しているか否かを確定し、前記目標オブジェクトの検出枠が所定領域範囲内に位置していることに応答して、プロンプトメッセージを出力するステップ、および／または、
前記目標オブジェクトが複数ある場合、前記検出フレームにおける複数の前記目標オブジェクトの検出枠を取得した後に、前記検出フレームにおける複数の目標オブジェクトと前記参考フレームにおける複数の目標オブジェクトの検出枠をマッチングして、マッチング結果および前記参考フレームにおける各目標オブジェクトの識別子に基づいて、前記検出フレームにおける各目標オブジェクトの識別子をラベル付きするステップ、および／または、
前記目標オブジェクトが複数ある場合、前記ビデオシーケンス中の複数のフレームにおける複数の前記目標オブジェクトの検出枠を取得した後に、前記ビデオシーケンス中の複数のフレームにおける複数の前記目標オブジェクトの検出枠の位置に基づいて、前記ビデオシーケンス中の複数の前記目標オブジェクトの運動軌跡を確定し、前記ビデオシーケンス中の複数の前記目標オブジェクトの運動軌跡に基づいて、複数の前記目標オブジェクトを追跡するステップ、および／または、
前記目標オブジェクトが複数ある場合、前記ビデオシーケンス中の複数のフレームにおける複数の前記目標オブジェクトの検出枠を取得した後に、前記ビデオシーケンス中の複数のフレームにおける複数の前記目標オブジェクトの数および／または位置の変化に基づいて、複数の前記目標オブジェクトの行為を分析するステップ、および／または、
前記ビデオシーケンス中の複数のフレームにおける前記目標オブジェクトの検出枠を取得した後に、前記ビデオシーケンス中の複数のフレームにおける前記目標オブジェクトの検出枠の位置に基づいて、前記目標オブジェクトの運動状態を確定し、前記目標オブジェクトの運動状態および撮影前記ビデオシーケンスのカメラのキャリアの運動状態に基づいて、前記キャリアのインテリジェント運転制御を行うステップをさらに含む
ことを特徴とする請求項１乃至２１のいずれか１項に記載の前記方法。
【請求項２３】
前記キャリアは、車両、ロボット、飛行機を含み、
前記キャリアのインテリジェント運転制御を行うステップは、前記キャリアの運動ルートを計画するステップ、および／または、前記キャリアの運動状態または運転モードを制御するステップを含むこと
を特徴とする請求項２２に記載の前記方法。
【請求項２４】
目標オブジェクト検出ネットワークの訓練方法であって、
少なくとも１つのサンプルペアをニューラルネットワークに入力し、請求項１乃至２３のいずれか１項に記載の目標オブジェクト検出方法を利用して、サンプルペア中の検出フレームにおける目標オブジェクトの検出枠を出力するステップであって、各サンプルペアは、対応する１つの参考フレームおよび１つの検出フレームを含むステップと、
出力された前記検出フレームにおける目標オブジェクトの検出枠を予測検出枠として、前記検出フレームのラベル付き情報および前記予測検出枠に基づいて、前記ニューラルネットワークおよび前記検出器を訓練するステップと、を含む
ことを特徴とする目標オブジェクト検出ネットワークの訓練方法。
【請求項２５】
前記少なくとも２つの異なる検出フレームにおける目標オブジェクトの検出枠の位置は、異なる
ことを特徴とする請求項２４に記載の前記方法。
【請求項２６】
前記少なくとも１つのサンプルペア中の目標オブジェクトの検出枠の位置は、ランダムに配布されるか、または、所定のずれ量に従って均一に配布される
ことを特徴とする請求項２４または２５前記の方法。
【請求項２７】
目標オブジェクト検出装置であって、
参考フレームの特徴および検出フレームの特徴をそれぞれ抽出するためのニューラルネットワークであって、前記検出フレームは、ビデオシーケンス中の、目標オブジェクト検出の実行待ちの現在フレームであるか、または、前記現在フレームにおける、前記目標オブジェクトを含む可能性がある領域画像であり、前記参考フレームは、目標オブジェクトの検出枠が確定されたフレームにおける、目標オブジェクトの検出枠図像であり、当該フレームは、前記ビデオシーケンス中で検出時間順序が前記検出フレームの前に位置するフレームであり、前記参考フレームの画像サイズは、前記検出フレームよりも小さいニューラルネットワークと、
前記ニューラルネットワーク中の少なくとも２つのネットワーク層から出力された少なくとも２組の特徴の中の各組の特徴を受信し、前記各組の特徴に対してそれぞれ１組の検出結果を出力するための検出器であって、前記各組の特徴は、前記参考フレームの特徴および前記検出フレームの特徴を含み、前記各組の検出結果は、前記目標オブジェクトの複数の候補枠の分類結果および回帰結果を含む検出器と、
前記検出器が前記少なくとも２組の特徴に対して出力した少なくとも２組の検出結果に基づいて、前記検出フレームにおける前記目標オブジェクトの検出枠を確定するための取得モジュールと、を備える
ことを特徴とする目標オブジェクト検出装置。
【請求項２８】
前記ニューラルネットワークは、複数の畳込み層を含み、前記検出器は、前記ニューラルネットワーク中の少なくとも２つの畳込み層から出力された少なくとも２組の特徴をそれぞれ受信し、あるいは、
前記ニューラルネットワークは、複数の畳込みブロックを含み、各畳込みブロックは、少なくとも１つの畳込み層を含み、前記検出器は、前記ニューラルネットワーク中の少なくとも２つの畳込みブロックから出力された少なくとも２組の特徴をそれぞれ受信し、あるいは、
前記ニューラルネットワークは、少なくとも１つの畳込みブロックおよび少なくとも１つの畳込み層を含み、各畳込みブロックは、少なくとも１つの畳込み層を含み、前記検出器は、前記ニューラルネットワーク中の少なくとも１つの畳込みブロックおよび少なくとも１つの畳込み層から出力された少なくとも２組の特徴をそれぞれ受信する
を特徴とする請求項２７に記載の前記装置。
【請求項２９】
前記検出フレームが、前記目標オブジェクト検出の実行待ちの現在フレームにおける、前記目標オブジェクトを含む可能性がある領域画像である場合、
前記装置は、
前記現在フレームから、前記参考フレームの中心点をその中心点とする、長さおよび／または幅が前記参考フレームの画像の長さおよび／または幅よりも大きい領域画像を前記検出フレームとして切り取るための選択モジュールをさらに備える
ことを特徴とする請求項２７または２８に記載の前記装置。
【請求項３０】
前記検出器は、前記参考フレームの特徴に基づいて、検出器の分類重みおよび回帰重みを取得し、前記分類重みおよび前記回帰重みをそれぞれ利用して、前記検出フレームの特徴に対して処理を行って、複数の候補枠の分類結果および回帰結果を取得する
を特徴とする請求項２７乃至２９のいずれか１項に記載の前記装置。
【請求項３１】
前記検出器は、
前記参考フレームの特徴に対して畳込み操作を実行し、畳込み操作によって得られた第１特徴を前記検出器の分類重みとするための第１畳込み層と、
前記参考フレームの特徴に対して畳込み操作を実行し、畳込み操作によって得られた第２特徴を前記検出器の回帰重みとするための第２畳込み層と、
前記検出フレームの特徴に対して畳込み操作を実行して、第３特徴を取得し、前記第３特徴のチャネル数は、前記検出フレームの特徴のチャネル数と同一である第３畳込み層と、
前記分類重みを利用して前記第３特徴に対して畳込み操作を実行して、複数の候補枠の分類結果を取得するための第１畳込みユニットと、
前記検出フレームの特徴に対して畳込み操作を実行して、第４特徴を取得し、前記第４特徴のチャネル数は、前記検出フレームの特徴のチャネル数と同一である第４畳込み層と、
前記回帰重みを利用して前記第４特徴に対して畳込み操作を実行して、複数の候補枠の回帰結果を取得するための第２畳込みユニットと、を備える
ことを特徴とする請求項３０に記載の前記装置。
【請求項３２】
前記検出器は、
前記参考フレームの特徴に対して畳込み操作を実行して、畳込み操作によって得られたＬ個の第５特徴を前記検出器の分類重みとするための第５畳込み層であって、前記参考フレームの特徴のチャネル数は、Ｍ１であり、前記第５特徴のチャネル数は、Ｎ１であり、Ｍ１、Ｎ１、および、Ｌは、０よりも大きい整数であり、且つ、Ｍ１は、Ｎ１よりも大きいである第５畳込み層と、
前記検出フレームの特徴に対して畳込み操作を実行し、Ｌ個のチャネル数がＮ１である第６特徴を取得するための第６畳込み層であって、前記検出フレームの特徴のチャネル数は、Ｍ２であり、Ｍ２は、０よりも大きい整数であり、且つ、Ｍ２は、Ｎ１よりも大きいである第６畳込み層と、
前記分類重みのＬ個の第５特徴の中の各特徴をそれぞれ利用して前記Ｌ個の第６特徴の中の対応する特徴に対して畳込み操作を実行し、Ｌ個の畳込み結果を取得するための第３畳込みユニットと、
前記Ｌ個の畳込み結果に対して畳込み操作を実行して、複数の候補枠の分類結果を取得するための第７畳込み層と、
前記参考フレームの特徴に対して畳込み操作を実行し、畳込み操作によって得られたＰ個のチャンネルの第８特徴を前記検出器の回帰重みとするための第８畳込み層であって、前記参考フレームの特徴のチャネル数は、Ｍ１であり、前記第８特徴のチャネル数は、Ｎ２であり、Ｎ２、Ｐは０よりも大きい整数であり、且つ、Ｍ１は、Ｎ２よりも大きいである第８畳込み層と、
前記検出フレームの特徴に対して畳込み操作を実行し、Ｐ個のチャネル数がＮ２である第９特徴を取得するための第９畳込み層であって、前記検出フレームの特徴のチャネル数は、Ｍ２であり、Ｍ２は、０よりも大きい整数であり、且つ、Ｍ２は、Ｎ２よりも大きいである第９畳込み層、
前記回帰重みのＰ個の第８特徴の中の各特徴をそれぞれ利用して前記Ｐ個の第９特徴の中の対応する特徴に対して畳込み操作を実行して、Ｐ個の畳込み結果を取得するための第４畳込みユニットと、
前記Ｐ個の畳込み結果に対して畳込み操作を実行して、前記複数の候補枠の回帰結果を取得するための第１０畳込み層と、を備える
ことを特徴とする請求項３０に記載の前記装置。
【請求項３３】
前記検出器は、
前記Ｌ個の畳込み結果をつながるための第１つながりユニットと、
つながれたＬ個の畳込み結果に対して畳込み操作を実行するための前記第７畳込み層と、をさらに備える
ことを特徴とする請求項３２に記載の前記装置。
【請求項３４】
前記検出器は、
前記Ｐ個の畳込み結果をつながるための第２つながりユニットと、
つながれたＰ個の畳込み結果に対して畳込み操作を実行するための前記第１０畳込み層と、をさらに備える
ことを特徴とする請求項３２または３３に記載の前記装置。
【請求項３５】
前記取得モジュールは、
前記少なくとも２組の検出結果中の分類結果に対して、重み付け、平均、または、重み付け平均を実行して、複数の候補枠の統括分類結果を取得し、および／または、前記少なくとも２組の検出結果中の回帰結果に対して、重み付け、平均、または、重み付け平均を実行して、複数の候補枠の統括回帰結果を取得するための統括処理ユニットと、
前記複数の候補枠の統括分類結果および統括回帰結果に基づいて、前記検出フレームにおける前記目標オブジェクトの検出枠を取得するための取得ユニットと、を備える
ことを特徴とする請求項２７乃至３４のいずれか１項に記載の前記装置。
【請求項３６】
前記取得ユニットは、前記複数の候補枠の統括分類結果および統括回帰結果に基づいて、前記複数の候補枠から１つの候補枠を選択し、選択された候補枠の統括回帰結果のずれ量に基づいて、前記選択された候補枠に対して回帰を実行して、前記検出フレームにおける前記目標オブジェクトの検出枠を取得する
ことを特徴とする請求項３５に記載の前記装置。
【請求項３７】
前記取得ユニットは、前記統括分類結果の重み係数および前記統括回帰結果の重み係数に基づいて、前記複数の候補枠から１つの候補枠を選択する
ことを特徴とする請求項３６に記載の前記装置。
【請求項３８】
前記取得モジュールは、
前記候補枠の統括回帰結果にそれぞれ基づいて、統括分類結果を調整するための調整ユニットと、
調整された統括分類結果に基づいて、前記複数の候補枠から１つの候補枠を選択するための前記取得ユニットと、をさらに含む
ことを特徴とする請求項３６に記載の前記装置。
【請求項３９】
前記目標オブジェクトは、歩行者、車両、ロボット、動物、飛行機、移動可能の静止物の中の任意の１つまたは複数のものを含む
ことを特徴とする請求項２７乃至３８のいずれか１項に記載の前記装置。
【請求項４０】
前記検出フレームにおける前記目標オブジェクトの検出枠を取得した後に、前記ビデオシーケンス中の前記目標オブジェクトの検出枠に対してマーク付けを行い、および／または、
前記ビデオシーケンス中の複数のフレームにおける前記目標オブジェクトの検出枠を取得した後に、前記ビデオシーケンス中の複数のフレームにおける前記目標オブジェクトの検出枠の位置に基づいて、前記ビデオシーケンス中の前記目標オブジェクトの運動軌跡を確定し、および／または、
前記ビデオシーケンス中の複数のフレームにおける前記目標オブジェクトの検出枠を取得した後に、前記目標オブジェクトの検出枠の位置に基づいて、カメラの撮影パラメータを調整し、および／または、
前記検出フレームにおける前記目標オブジェクトの検出枠を取得した後に、前記検出フレームにおける前記目標オブジェクトの検出枠が所定領域範囲内に位置しているか否かを確定し、前記目標オブジェクトの検出枠が所定領域範囲内に位置していることに応答して、プロンプトメッセージを出力し、および／または、
前記目標オブジェクトが複数ある場合、前記検出フレームにおける複数の前記目標オブジェクトの検出枠を取得した後に、前記検出フレームにおける複数の目標オブジェクトと前記参考フレームにおける複数の目標オブジェクトの検出枠をマッチングして、マッチング結果および前記参考フレームにおける各目標オブジェクトの識別子に基づいて、前記検出フレームにおける各目標オブジェクトの識別子をラベル付きし、および／または、
前記目標オブジェクトが複数ある場合、前記ビデオシーケンス中の複数のフレームにおける複数の前記目標オブジェクトの検出枠を取得した後に、前記ビデオシーケンス中の複数のフレームにおける複数の前記目標オブジェクトの検出枠の位置に基づいて、前記ビデオシーケンス中の複数の前記目標オブジェクトの運動軌跡を確定し、前記ビデオシーケンス中の複数の前記目標オブジェクトの運動軌跡に基づいて、複数の前記目標オブジェクトを追跡し、および／または、
前記目標オブジェクトが複数ある場合、前記ビデオシーケンス中の複数のフレームにおける複数の前記目標オブジェクトの検出枠を取得した後に、前記ビデオシーケンス中の複数のフレームにおける複数の前記目標オブジェクトの数および／または位置の変化に基づいて、複数の前記目標オブジェクトの行為を分析し、および／または、
前記ビデオシーケンス中の複数のフレームにおける前記目標オブジェクトの検出枠を取得した後に、前記ビデオシーケンス中の複数のフレームにおける前記目標オブジェクトの検出枠の位置に基づいて、前記目標オブジェクトの運動状態を確定し、前記目標オブジェクトの運動状態および撮影前記ビデオシーケンスのカメラのキャリアの運動状態に基づいて、前記キャリアのインテリジェント運転制御を行うための適用ユニットをさらに備える
を特徴とする請求項２７乃至３９のいずれか１項に記載の前記装置。
【請求項４１】
前記キャリアは、車両、ロボット、飛行機を含み、
前記適用ユニットは、前記キャリアのインテリジェント運転制御を行う場合、前記キャリアの運動ルートを計画し、および／または、前記キャリアの運動状態または運転モードを制御する
を特徴とする請求項４０に記載の前記装置。
【請求項４２】
目標オブジェクト検出ネットワークの訓練装置であって、
請求項２７乃至４１のいずれか１項に記載の前記目標オブジェクト検出装置を含み、少なくとも１つのサンプルペアを受信し、サンプルペア中の検出フレームにおける目標オブジェクトの検出枠を出力するための目標オブジェクト検出ネットワークであって、サンプルペアごとに対応する１つの参考フレームおよび１つの検出フレームを含む、目標オブジェクト検出ネットワークと、
出力された前記検出フレームにおける目標オブジェクトの検出枠を予測検出枠として、前記検出フレームのラベル付き情報および前記予測検出枠に基づいて、前記ニューラルネットワークおよび前記検出器を訓練するための訓練モジュールと、を備える
ことを特徴とする目標オブジェクト検出ネットワークの訓練装置。
【請求項４３】
前記少なくとも２つの異なる検出フレームにおける目標オブジェクトの検出枠の位置は、異なる
ことを特徴とする請求項４２に記載の前記装置。
【請求項４４】
前記少なくとも１つのサンプルペア中の目標オブジェクトの検出枠の位置は、ランダムに配布されるか、または、所定のずれ量に従って均一に配布される
ことを特徴とする請求項４２または４３に記載の前記装置。
【請求項４５】
電子機器であって、
コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されているコンピュータプログラムを実行するためのプロセッサであって、前記コンピュータプログラムが実行されると、請求項１乃至２６のいずれか１項に記載の前記方法が実現されるプロセッサと、を備える
ことを特徴とする電子機器。
【請求項４６】
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
当該コンピュータプログラムがプロセッサによって実行されると、請求項１乃至２６のいずれか１項に記載の前記方法が実現される
ことを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータビジョン技術に関し、特に、目標オブジェクト検出方法、及び装置、電子機器、並びに記憶媒体に関する。
＜関連出願の相互引用＞
本願は、出願番号がＣＮ２０１８１１６３５９７８．Ｘであり、出願日が２０１８年１２月２９日である中国特許出願に基づいて提出されたものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照のために本願に援用される。
【背景技術】
【０００２】
目標オブジェクト検出は、コンピュータビジョンの重要な課題であり、インテリジェント運転、単一な目標の追跡、複数の目標の追跡などの一連のタスクに適用される。例えば、ビデオシーケンスの１フレーム画像において追跡すべき目標オブジェクトを指定し、後続のフレーム画像から当該目標オブジェクトを検出して、当該目標オブジェクトの固定、追跡、ラベル付きなどを実現でき、インテリジェント運転、単一な目標の追跡、複数の目標の追跡などの分野においていずれも重要な意味がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の実施例は、目標オブジェクト検出を行う技術を提供する。
【課題を解決するための手段】
【０００４】
本発明の実施例の一態様は、目標オブジェクト検出方法を提供し、当該方法は、
ニューラルネットワークを利用して参考フレームの特徴および検出フレームの特徴をそれぞれ抽出するステップであって、前記検出フレームは、ビデオシーケンス中の、目標オブジェクト検出の実行待ちの現在フレームであるか、または、前記現在フレームにおける、前記目標オブジェクトを含む可能性がある領域画像であり、前記参考フレームは、目標オブジェクトの検出枠が確定されたフレームにおける、目標オブジェクトの検出枠図像であり、当該フレームは、前記ビデオシーケンス中で検出時間順序が前記検出フレームの前に位置するフレームであり、前記参考フレームの画像サイズは、前記検出フレームよりも小さいステップと、
前記ニューラルネットワーク中の少なくとも２つのネットワーク層から出力された少なくとも２組の特徴の中の各組の特徴を検出器に入力し、前記各組の特徴に対して、前記検出器によって対応的に出力された１組の検出結果をそれぞれ取得するステップであって、前記各組の特徴は、前記参考フレームの特徴および前記検出フレームの特徴を含み、前記各組の検出結果は、前記目標オブジェクトの複数の候補枠の分類結果および回帰結果を含むステップと、
前記検出器が前記少なくとも２組の特徴に対して出力した少なくとも２組の検出結果に基づいて、前記検出フレームにおける前記目標オブジェクトの検出枠を確定するステップと、含む。
【０００５】
本発明の実施例の他の一態様は、目標オブジェクト検出ネットワークの訓練方法を提供し、当該方法は、
少なくとも１つのサンプルペアをニューラルネットワークに入力し、上記の任意の実施例による目標オブジェクト検出方法を利用して、サンプルペア中の検出フレームにおける目標オブジェクトの検出枠を出力するステップであって、各サンプルペアは、対応する１つの参考フレームおよび１つの検出フレームを含むステップと、
出力された前記検出フレームにおける目標オブジェクトの検出枠を予測検出枠として、前記検出フレームのラベル付き情報および前記予測検出枠に基づいて、前記ニューラルネットワークおよび前記検出器を訓練するステップと、を含む。
【０００６】
本発明の実施例の他の一態様は、目標オブジェクト検出装置を提供し、当該装置は、
参考フレームの特徴および検出フレームの特徴をそれぞれ抽出するためのニューラルネットワークであって、前記検出フレームは、ビデオシーケンス中の、目標オブジェクト検出の実行待ちの現在フレームであるか、または、前記現在フレームにおける、前記目標オブジェクトを含む可能性がある領域画像であり、前記参考フレームは、目標オブジェクトの検出枠が確定されたフレームにおける、目標オブジェクトの検出枠図像であり、当該フレームは、前記ビデオシーケンス中で検出時間順序が前記検出フレームの前に位置するフレームであり、前記参考フレームの画像サイズは、前記検出フレームよりも小さいであるニューラルネットワークと、
前記ニューラルネットワーク中の少なくとも２つのネットワーク層から出力された少なくとも２組の特徴の中の各組の特徴を受信し、前記各組の特徴に対してそれぞれ１組の検出結果を出力するための検出器であって、前記各組の特徴は、前記参考フレームの特徴および前記検出フレームの特徴を含み、前記各組の検出結果は、前記目標オブジェクトの複数の候補枠の分類結果および回帰結果を含む検出器と、
前記検出器が前記少なくとも２組の特徴に対して出力した少なくとも２組の検出結果に基づいて、前記検出フレームにおける前記目標オブジェクトの検出枠を確定するための取得モジュールと、を備える。
【０００７】
本発明の実施例の他の一態様は、目標オブジェクト検出ネットワークの訓練装置を提供し、当該装置は、
少なくとも１つのサンプルペアを受信し、サンプルペア中の検出フレームにおける目標オブジェクトの検出枠を出力するための目標オブジェクト検出ネットワークであって、各サンプルペアは、対応する１つの参考フレームおよび１つの検出フレームを含み、前記目標オブジェクト検出ネットワークは、上記の任意の実施例による前記の目標オブジェクト検出装置を備える目標オブジェクト検出ネットワークと、
出力された前記検出フレームにおける目標オブジェクトの検出枠を予測検出枠として、前記検出フレームのラベル付き情報および前記予測検出枠に基づいて、前記ニューラルネットワークおよび前記検出器を訓練するための訓練モジュールと、を備える。
【０００８】
本発明の上記の実施例によって提供される目標オブジェクト検出方法、及び装置、電子機器、並びに記憶媒体によれば、ニューラルネットワークを利用して参考フレームの特徴および検出フレームの特徴をそれぞれ抽出し、ニューラルネットワークの少なくとも２つのネットワーク層から出力された少なくとも２組の特徴を検出器にそれぞれ入力して、少なくとも２組の検出結果を得、少なくとも２組の検出結果に基づいて検出フレームにおける目標オブジェクトの検出枠を取得する。本発明の実施例によると、複数のネットワーク層を含むニューラルネットワークを利用して参考フレームの特徴および検出フレームの特徴を抽出し、少なくとも２つのネットワーク層から出力された少なくとも２組の特徴にそれぞれ基づいて目標オブジェクト検出を行うことを導入した。異なるネットワーク層の受容野が異なるため、画像フレームに対する詳細かつ全体的な統括情報抽出を実現でき、異なるネットワーク層から出力された特徴によって得られた検出結果を統括して、検出フレームにおける目標オブジェクトの検出枠を取得して、目標オブジェクトの検出結果をより正確かつより精確になるようにした。検出フレームの複数の候補枠の分類結果および回帰結果に基づいて、目標オブジェクトの検出枠を取得することによって、目標オブジェクトの位置およびサイズの変化をより正確に推定でき、目標オブジェクトの検出フレームにおける位置をより精確に特定できるため、目標追跡の速度および正確性を向上させて、追跡の効果がよいし、速度が速い。
【０００９】
本発明の上記の実施例に係る目標オブジェクト検出ネットワークの訓練方法、及び装置、電子機器、並びに記憶媒体によれば、訓練された目標オブジェクト検出ネットワークを目標オブジェクト検出に用いる場合、異なるネットワーク層から出力された特徴によって得られた検出結果を統括して、検出フレームにおける目標オブジェクトの検出枠を取得して、目標オブジェクトの検出結果をより正確かつより精確になるようにした。検出フレームの複数の候補枠の分類結果および回帰結果に基づいて、目標オブジェクトの検出枠を取得することによって、目標オブジェクトの位置およびサイズの変化をより正確に推定でき、目標オブジェクトの検出フレームにおける位置をより精確に特定できるため、目標追跡の速度および正確性を向上させて、追跡の効果がよいし、速度が速い。
【００１０】
以下、図面および実施例を参考して、本発明の技術案をさらに詳しく説明する。
【図面の簡単な説明】
【００１１】
明細書の一部を構成する図面は、本発明の実施例を記載し、記載とともに本発明の原理を解釈するために用いられる。
図面を参考して、以下の詳しい説明に従って本発明をより明確に了解することができる。
【図１】本発明による目標オブジェクト検出方法の一実施例のフローチャートである。
【図２】本発明による目標オブジェクト検出方法の他の一実施例のフローチャートである。
【図３】本発明の実施形態による検出器の模式図である。
【図４】本発明による目標オブジェクト検出方法の実施形態のフローチャートである。
【図５】本発明による図４に示す実施形態に対応する検出器の他の模式図である。
【図６】図４に示す態様に対応する実用例の図である。
【図７】本発明による目標オブジェクト検出ネットワークの訓練方法の一実施例のフローチャートである。
【図８】本発明による目標オブジェクト検出装置の一実施例の構成を示す模式図である。
【図９】本発明による目標オブジェクト検出装置の他の一実施例の構成を示す模式図である。
【図１０】本発明による目標オブジェクト検出装置の他の一実施例の構成を示す模式図である。
【図１１】本発明による目標オブジェクト検出ネットワークの訓練装置の一実施例の構成を示す模式図である。
【図１２】本発明による電子機器の実用例の構成を示す模式図である。
【発明を実施するための形態】
【００１２】
以下、添付の図面を参照して、本発明の様々な例示的な実施形態を詳細に説明する。特に明記しない限り、これらの実施形態に記載される構成要素およびステップの相対的な配置、数値式および数値は、本発明の範囲を限定しないことに留意されたい。
【００１３】
同時に、説明を簡単にするために、図面に示されているさまざまな部品のサイズは、実際の比例関係に従って描かれていないことを理解する必要がある。
【００１４】
少なくとも１つの例示的な実施形態の以下の説明は、実際には単に例示的なものであり、本発明およびそのアプリケーションまたは使用に対する制限として機能するものでは決してない。
関連分野の一般的な技術者に知られている技術、方法、および機器については詳細に説明しない場合があるが、必要に応じて、前記技術、方法、および機器を説明書の一部と見なす必要がある。
【００１５】
以下の図面においては、類似の参考番号と文字は類似の項目を示すため、特定の項目が１つの図面で定義されると、後続の図面でさらに説明する必要がないことに留意されたい。
【００１６】
本発明の実施形態は、他の多くの汎用または特殊目的のコンピューティングシステム環境または構成で動作することができるコンピュータシステム／サーバなどの電子機器に適用されることができる。コンピュータシステム/サーバーなどの電子機器での使用に適した、よく知られたコンピューティングシステム、環境、および/または構成の例は、パーソナルコンピュータシステム、サーバーコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルドまたはラップトップ、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な消費電子製品、ネットワークパーソナルコンピュータ、小型コンピュータシステム、大型コンピュータシステム、および上記のシステムのいずれかを含む分散型クラウドコンピューティングテクノロジ環境などが含まれますが、これらに限定されない。
【００１７】
コンピュータシステム/サーバーなどの電子機器は、コンピュータシステムによって実行されるコンピュータシステムの実行可能な命令（プログラムモジュールなど）の一般的なコンテキストで説明できる。一般に、プログラムモジュールは、特定のタスクを実行し、特定の抽象データタイプを実装するルーチン、プログラム、対象プログラム、コンポーネント、ロジック、データ構造などを含む。コンピュータシステム/サーバーは、分散型クラウドコンピューティング環境に実現されることができる。分散型クラウドコンピューティング環境で、タスクは、通信ネットワークを介してリンクされたリモート処理装置によって実行される。分散型クラウドコンピューティング環境では、プログラムモジュールは、ストレージデバイスを含むローカルまたはリモートコンピューティングシステムの記憶媒体に配置できる。
【００１８】
図１は、本発明による目標オブジェクトの検出方法の一実施例のフローチャートである。図１に示すように、当該実施例の目標オブジェクト検出方法は、以下のステップを含む。
【００１９】
１０２において、ニューラルネットワークを利用して、参考フレームの特徴および検出フレームの特徴をそれぞれ抽出する。
ここで、参考フレームの画像サイズは、検出フレームよりも小さい。
【００２０】
本発明の実施例において、検出フレームは、目標オブジェクト検出の実行待ちの現在フレームであるか、または、現在フレームにおける、目標オブジェクトを含む領域画像である。検出フレームが、目標オブジェクト検出の実行待ちの現在フレームにおける、目標オブジェクトを含む可能性がある領域画像である場合、本発明の各実施例の一実施形態において、当該領域画像の画像サイズは、参考フレームよりも大きい。例えば、現在フレームから、参考フレーム画像の中心点をその中心点とする、参考フレーム画像のサイズの２〜４倍の搜索領域を、検出フレームとして選択してもよい。
【００２１】
本発明の実施例において、参考フレームは、ビデオシーケンス中の検出時間順序が検出フレームの前に位置するフレームであって、且つ、目標オブジェクトの検出枠が確定されたフレームにおける、目標オブジェクトの検出枠図像であり、前記参考フレームは、ビデオシーケンス中の、目標追跡を実行する必要がある開始フレームであってもよく、当該開始フレームのビデオフレームシーケンス中の位置は、非常に柔軟であり、たとえば、ビデオフレームシーケンス中の最初フレーム、または、任意の中間フレームであってもよい。検出フレームは、目標追跡を実行する必要があるフレームであり、検出フレーム画像において目標オブジェクトの検出枠を確定した後、当該検出フレームにおける対応する検出枠の画像を、次の一つの検出フレームの参考フレーム画像としてもよい。
【００２２】
本発明による目標オブジェクト検出方法の他の一実施例において、検出フレームが、目標オブジェクト検出を実行する必要がある現在フレームにおける、目標オブジェクトを含む可能性がある領域画像である場合、事前に、現在フレームから、参考フレームの中心点をその中心点とする、長さが当該現在フレームに対応する参考フレームの画像の長さよりも大きい領域画像を、検出フレームとして切り取るステップ、および／または、
事前に、現在フレームから、参考フレームの中心点をその中心点とする、幅が当該現在フレームに対応する参考フレームの画像幅の幅よりも大きい領域画像を、検出フレームとして切り取るステップをさらに含む。
【００２３】
本発明の各実施例の一態様において、当該ステップ１０２では、同一のニューラルネットワークを利用して参考フレームの特徴および検出フレームの特徴をそれぞれ抽出してもよいし、あるいは、同じ構成を有する異なるニューラルネットワークを利用して参考フレームの特徴および検出フレームの特徴をそれぞれ抽出してもよい。
【００２４】
本発明の実施例において、特徴の表現方式は、特徴ベクトル、または、特徴マップであってもよいが、本発明の実施形態は、これに限定されない。
【００２５】
本発明の実施例において、ニューラルネットワークは、畳込みニューラルネットワーク、反復ニューラルネットワークなどの、複数のネットワーク層を含む任意のディープニューラルネットワークで実現でき、例えば、ＬｅＮｅｔ、ＡｌｅｘＮｅｔ、ＧｏｏｇＬｅＮｅｔ、ＶＧＧＮｅｔ、ＲｅｓＮｅｔ、ＭｏｂｉｌｅＮｅｔ（ＲｅｓＮｅｔ−１８、ＲｅｓＮｅｔ−３４、ＲｅｓＮｅｔ−５０、ＲｅｓＮｅｔ−１０１など）、ＳｈｕｆｆｌｅＮｅｔのような任意の種類のニューラルネットワークであってもよい。
【００２６】
オプションの一例において、当該ステップ１０２は、プロセッサによってメモリに格納された該当する命令を呼び出して実行されてもよく、プロセッサによって運行されるニューラルネットワークを利用して実行されてもよい。
【００２７】
１０４において、ニューラルネットワークの少なくとも２つのネットワーク層から出力された少なくとも２組の特徴の中の各組の特徴を検出器に入力して、各組の特徴毎に、それぞれ検出器によって対応的に出力された１組の検出結果を得、合計で、上記の少なくとも２組の特徴に対応する少なくとも２組の検出結果を得る。
ここで、各組の特徴は、参考フレームの特徴および検出フレームの特徴を含み、各組の検出結果は、１組の特徴に対応する目標オブジェクトの複数の候補枠の分類結果および回帰結果を含む。
【００２８】
ここで、分類結果は、各候補枠がそれぞれ目標オブジェクトの検出枠である確率値を含み、回帰結果は、参考フレームに対応する検出枠に対する候補枠の位置のずれ量を含む。
【００２９】
本発明の実施例において、検出器は、入力された１組の参考フレームの特徴および検出フレームの特徴に対して分類処理を実行して、各候補枠がそれぞれ目標オブジェクトの検出枠である確率値を確定し、入力された１組の参考フレームの特徴および検出フレームの特徴に対して回帰処理を実行して、参考フレームに対応する検出枠に対する各候補枠それぞれの位置のずれ量を確定することによって、目標オブジェクトの検出枠としての複数の候補枠の分類結果および回帰結果を取得できる。ここで、入力された１組の特徴は、参考フレームの特徴マップおよび検出フレームの特徴マップであってもよい。
【００３０】
例えば、オプションの一例において、上記の複数の候補枠は、検出フレームにおける各位置上のＫ個の候補枠を含んでもよい。ここで、Ｋは、予め設定された、１よりも大きい整数である。Ｋ個の候補枠の幅に対する長さの比率の値は異なっており、例えば、Ｋ個の候補枠の幅に対する長さの比率の値は、１:１、２:１、２:１、３:１、１:３などを含んでもよい。分類結果は、各位置上のＫ個の候補枠が目標オブジェクトの検出枠であるか否かを表すための確率値である。
【００３１】
事前の訓練過程を通じて、Ｋの値およびＫ個の候補枠の幅に対する長さの比率の値を設定でき、このようにして、入力された１組の参考フレームの特徴および検出フレームの特徴を受信した後に、参考フレームの特徴および検出フレームの特徴に対して分類処理を実行し、参考フレームの特徴および検出フレームの特徴に基づいて、検出フレームにおける各位置上のＫ個の候補枠がそれぞれ目標オブジェクトの検出枠である確率値を確定し、参考フレームの特徴および検出フレームの特徴に対して回帰処理を実行し、参考フレームの特徴および検出フレームの特徴に基づいて、検出フレームにおける各位置上のＫ個の候補枠の、それぞれ参考フレームに対応する検出枠に対する位置のずれ量を確定して、目標オブジェクトの検出枠としての複数の候補枠の分類結果および回帰結果を取得することにより、１組の参考フレームおよび検出フレームに対して、ニューラルネットワークを利用してそれぞれ特徴抽出を実行して、１組の参考フレームの特徴および検出フレームの特徴を得て検出器に入力された後、検出器から出力された、検出フレームにおける目標オブジェクトの検出枠として確定される可能性がある複数の候補枠の分類結果および回帰結果を取得できる。検出器は、上記の分類機能および回帰検出機能を有していればよく、分類処理用のユニット、回帰処理用のユニットなどの、演算ユニットによって構成されてもよく、本発明は、その具体的な実現態様が限定されない。さらに、本発明の後続の実施例（例えば、図３、図５、図９および図１０）において、当該検出器の可能な実現態様を説明するが、本発明の説明内容が検出器の例示的な実現態様であり、検出器の具体的な実現態様がこれに限定されないのは、当業者によって明らかである。
【００３２】
オプションの一例において、当該ステップ１０４は、プロセッサによってメモリに格納された該当する命令を呼び出して実行されてもよく、プロセッサによって運行される検出器によって実行されてもよい。
【００３３】
１０６において、検出器が上記の少なくとも２組の特徴に対して出力した少なくとも２組の検出結果に基づいて、検出フレームにおける目標オブジェクトの検出枠を取得する。
【００３４】
オプションの一例において、当該ステップ１０６は、プロセッサによってメモリに格納された該当する命令を呼び出して実行されてもよく、プロセッサによって運行される取得モジュールによって実行されてもよい。
【００３５】
本発明の上記の実施例によって提供される目標オブジェクト検出方法は、複数のネットワーク層を含むニューラルネットワークを利用して参考フレームの特徴および検出フレームの特徴を抽出し、少なくとも２つのネットワーク層から出力された少なくとも２組の特徴にそれぞれ基づいて目標オブジェクト検出を行うことを導入した。異なるネットワーク層の受容野が異なるため、画像フレームに対する詳細かつ全体的な統括情報抽出を実現でき、異なるネットワーク層から出力された特徴によって得られた検出結果を統括して、検出フレームにおける目標オブジェクトの検出枠を取得して、目標オブジェクトの検出結果をより正確かつより精確になるようにした。検出フレームの複数の候補枠の分類結果および回帰結果に基づいて、目標オブジェクトの検出枠を取得することによって、目標オブジェクトの位置およびサイズの変化をより正確に推定でき、目標オブジェクトの検出フレームにおける位置をより精確に特定できるため、目標追跡の速度および正確性を向上させて、追跡の効果がよいし、速度が速い。
【００３６】
本発明の目標オブジェクト検出方法の他の一実施例において、さらに、検出フレームにおける目標オブジェクトの検出枠を次の一つの参考フレームとして、ニューラルネットワークを利用して次の一つの参考フレームの特徴、および、ビデオシーケンス中で時間順序が検出フレームの後に位置する次の一つの検出フレームの特徴をそれぞれ抽出するステップと、ニューラルネットワークの少なくとも２つのネットワーク層から出力された少なくとも２組の特徴の中の各組の特徴をそれぞれ検出器に入力して、検出器によって対応的に出力された少なくとも２組の検出結果を取得するステップであって、各組の検出結果は、１組の特徴に対応し、各組の特徴は、次の一つの参考フレームの特徴および次の一つの検出フレームの特徴を含むステップと、検出器が上記の少なくとも２組の特徴に対して出力した少なくとも２組の検出結果に基づいて、次の一つの検出フレームにおける目標オブジェクトの検出枠を取得するステップと、を含んでもよい。
【００３７】
上記の実施例によれば、１つの目標オブジェクトの検出枠が確定されたフレームにおける検出枠図像を順次に参考フレームとして、ビデオシーケンス中で時間順序が参考フレームの後に位置する検出フレームに対して目標オブジェクト検出を実行することによって、ビデオシーケンス中の複数のフレームにおける目標オブジェクトの検出枠を確定することができ、ビデオシーケンス中の目標オブジェクトの追跡を実現できる。
【００３８】
本発明の各実施例の一態様において、上記のニューラルネットワークは、複数の畳込み層を含み、複数の畳込み層を含む１つのディープニューラルネットワークであってもよい。これに応じて、ステップ１０４において、ニューラルネットワーク中の少なくとも２つの畳込み層から出力された少なくとも２組の特徴の中の各組の特徴をそれぞれ検出器に入力できる。当該実施例において、ニューラルネットワークの中の各組の特徴を出力するネットワーク層は、畳込み層である。
【００３９】
あるいは、本発明の各実施例の他の実施形態において、上記のニューラルネットワークは、複数の畳込みブロック（ｂｌｏｃｋ）を含み、各畳込みブロックは、少なくとも１つの畳込み層を含み、ニューラルネットワークは、複数の畳込みブロックを含む１つのディープニューラルネットワークであってもよい。これに応じて、ステップ１０４において、ニューラルネットワーク中の少なくとも２つの畳込みブロックから出力された少なくとも２組の特徴をそれぞれ検出器に入力できる。当該実施例において、ニューラルネットワークの中の各組の特徴を出力するネットワーク層は、畳込みブロックであり、例えば、当該畳込みブロック中の最後の畳込み層（即ち、ネットワーク深さが最もディープ畳込み層）であってもよい。
【００４０】
あるいは、本発明の各実施例の他の実施形態において、上記のニューラルネットワークは、少なくとも１つの畳込みブロックおよび少なくとも１つの畳込み層を含み、各畳込みブロックは、少なくとも１つの畳込み層を含み、即ち、当該ニューラルネットワークは、少なくとも１つの畳込みブロックおよび少なくとも１つの畳込み層を含む１つのディープニューラルネットワークであってもよい。これに応じて、ステップ１０４において、ニューラルネットワーク中の少なくとも１つの畳込みブロックおよび少なくとも１つの畳込み層から出力された少なくとも２組の特徴をそれぞれ検出器に入力できる。当該実施例において、ニューラルネットワーク中の少なくとも２組の特徴を出力するネットワーク層は、少なくとも１つの畳込みブロックおよび少なくとも１つの畳込み層を含む。１組の特徴を出力するネットワーク層が畳込みブロックである場合、例えば、当該１組の特徴は、当該畳込みブロック中の最後の畳込み層（即ち、ネットワーク深さが最もディープ畳込み層）から出力されるものである。
【００４１】
本発明の上記の各実施例の一実施形態において、ニューラルネットワーク中の１つのネットワーク層から出力された１組の特徴を検出器に入力して、検出器から出力された１組の検出結果を取得するステップは、参考フレームの特徴に基づいて、検出器の分類重みおよび回帰重みを取得するステップと、分類重みおよび回帰重みを利用してそれぞれ検出フレームの特徴に対して処理を実行して、検出器から出力された複数の候補枠の分類結果および回帰結果を取得するステップと、によって実現できる。
【００４２】
図２は、本発明による目標オブジェクト検出方法の他の一実施例のフローチャートである。当該実施例の目標オブジェクト検出方法は、以下のステップを含む。
【００４３】
２０２において、ニューラルネットワークを利用して、参考フレームの特徴および検出フレームの特徴をそれぞれ抽出する。
【００４４】
２０４において、ニューラルネットワーク中の少なくとも２つのネットワーク層から出力された少なくとも２組の特徴をそれぞれ検出器に入力する。
ここで、検出器は、入力された各組の特徴に対して、それぞれステップ２０６〜２０８を実行して、対応する１組の検出結果を取得し、各組の検出結果は、複数の候補枠の分類結果および回帰結果を含む。
【００４５】
２０６において、参考フレームの特徴に基づいて、検出器の分類重みおよび回帰重みを取得する。
２０８において、分類重みおよび回帰重みをそれぞれ利用して、検出フレームの特徴に対して処理を実行して、複数の候補枠の分類結果および回帰結果を取得する。
【００４６】
ステップ２０６〜２０８によって少なくとも２組の検出結果を取得し、その後に、当該少なくとも２組の検出結果に対してステップ２１０を実行する。
【００４７】
２１０において、検出器から出力された少なくとも２組の検出結果に基づいて、検出フレームにおける目標オブジェクトの検出枠を取得する。
【００４８】
本実施例において、検出器は、参考フレームに基づいて、検出フレームにおいて大量の候補枠を迅速に生成し、参考フレームにおける目標オブジェクトの検出枠に対する、検出フレームにおける各位置上の複数の候補枠それぞれのずれ量を取得することによって、目標オブジェクトの位置およびサイズの変化をより正確に推定でき、目標オブジェクトの検出フレームにおける位置をより精確に特定できるため、目標追跡の速度および正確性を向上させて、追跡の効果がよいし、速度が速い。
ここで、一部の実施形態において、ステップ２０６において、第１畳込み層を利用して参考フレームの特徴に対して畳込み操作を実行して、畳込み操作によって得られた第１特徴を検出器の分類重みとしてもよい。
【００４９】
例えば、オプションの一例において、分類重みを取得するステップは、以下の態様で実現できる。第１畳込み層を利用して参考フレームの特徴に対して畳込み操作を実行することによって、参考フレームの特徴のチャネル数を増加させて、第１特徴を得、第１特徴のチャネル数は、参考フレームの特徴のチャネル数の２Ｋ倍である。
【００５０】
ここで、第１特徴のチャネル数が参考フレームの特徴のチャネル数の２Ｋ倍である場合、分類結果は、検出フレームにおける各位置上のＫ個の候補枠がそれぞれ目標オブジェクトの検出枠であるか否かの確率値を含む。
【００５１】
一部の実施形態において、ステップ２０６において、第２畳込み層を利用して参考フレームの特徴に対して畳込み操作を実行して、畳込み操作によって得られた第２特徴を検出器の回帰重みとしてもよい。
【００５２】
例えば、オプションの一例において、回帰重みを取得するステップは、以下の態様で実現できる。第２畳込み層を利用して参考フレームの特徴に対して畳込み操作を実行することによって、参考フレームの特徴のチャネル数を増加させて、第２特徴を得、当該第２特徴のチャネル数は、参考フレームの特徴のチャネル数の４Ｋ倍である。
ここで、回帰結果は、参考フレームにおける目標オブジェクトの検出枠に対する、検出フレームにおける各位置上のＫ個の候補枠それぞれのずれ量を含み、当該ずれ量は、位置およびサイズの変化量を含み、当該位置は、中心点の位置であってもよいし、基準枠の４つの頂点の位置などであってもよい。
【００５３】
第２特徴のチャネル数は参考フレームの特徴のチャネル数の４Ｋ倍である場合、参考フレームにおける目標オブジェクトの検出枠に対する、各候補枠それぞれのずれ量は、例えば、中心点の位置の横座標のずれ量（ｄｘ）、中心点の位置の縦座標のずれ量（ｄｙ）、高さの変化量（ｄｈ）、幅の変化量（ｄｗ）を含む。
【００５４】
一部の実施形態において、ステップ２０８において、分類重みを利用して検出フレームの特徴に対して畳込み操作を実行し、複数の候補枠の分類結果を取得し、回帰重みを利用して検出フレームの特徴に対して畳込み操作を実行して、複数の候補枠の回帰結果を取得する。
【００５５】
例えば、オプションの一例において、分類重みを利用して検出フレームの特徴に対して畳込み操作を実行して、複数の候補枠の分類結果を取得する場合、検出器中の第３畳込み層を利用して検出フレームの特徴に対して畳込み操作を実行して、第３特徴を取得し、当該第３特徴のチャネル数は、検出フレームの特徴のチャネル数と同じである。分類重みを利用して第３特徴に対して畳込み操作を実行して、複数の候補枠の分類結果を取得する。
【００５６】
さらに、例えば、オプションの一例において、回帰重みを利用して検出フレームの特徴に対して畳込み操作を実行して、複数の候補枠の回帰結果を取得する場合、第４畳込み層を利用して検出フレームの特徴に対して畳込み操作を実行して、第４特徴を取得し、第４特徴のチャネル数は、検出フレームの特徴のチャネル数と同じである。回帰重みを利用して第４特徴に対して畳込み操作を実行して、複数の候補枠の回帰結果を取得する。
【００５７】
図３は、本発明による上記の実施形態に対応する検出器を示す模式図である。
また、他の実施形態において、ステップ２０６において、参考フレームの特徴に基づいて検出器の分類重みを取得する場合、検出器中の第５畳込み層を利用して参考フレームの特徴に対して畳込み操作を実行して、畳込み操作によって得られたＬ個の第５特徴を検出器の分類重みとする。ここで、参考フレームの特徴のチャネル数は、Ｍ１であり、第５特徴のチャネル数は、Ｎ１であり、Ｍ１、Ｎ１、および、Ｌは、０よりも大きい整数であり、且つ、Ｍ１は、Ｎ１よりも大きい。例えば、オプションの一例において、参考フレームの特徴のチャネル数は、２５６であり、第５畳込み層を利用して参考フレームの特徴に対して畳込み操作を実行して、チャネル数が１である２５６個の第５特徴を取得する。
【００５８】
一部の実施形態において、ステップ２０８において、分類重みを利用して検出フレームの特徴を処理して、複数の候補枠の分類結果を取得する場合、検出器中の第６畳込み層を利用して検出フレームの特徴に対して畳込み操作を実行して、チャネル数がＮ１であるＬ個の第６特徴を取得し、ここで、検出フレームの特徴のチャネル数は、Ｍ２であり、Ｍ２は、０よりも大きい整数であり、且つ、Ｍ２は、Ｎ１よりも大きいし、分類重みのＬ個の第５特徴の中の各特徴をそれぞれ利用してＬ個の第６特徴の中の対応する特徴に対して畳込み操作を実行して（即ち、ｔ番目の第５特徴を利用してｔ番目の第６特徴に対して畳込み操作を実行し、ｔの値は、順次に、０よりも大きいし、且つ２５６以下の整数である）、Ｌ個の畳込み結果を取得し、検出器中の第７畳込み層を利用してＬ個の畳込み結果に対して畳込み操作を実行して、複数の候補枠の分類結果を取得する。例えば、オプションの一例において、検出フレームの特徴のチャネル数は、２５６であり、第６畳込み層を利用して参考フレームの特徴に対して畳込み操作を実行して、チャネル数が１である２５６個の第６特徴を取得し、分類重みの２５６個の第５特徴の中の各特徴をそれぞれ利用して、２５６個の第６特徴の中の対応する特徴に対して畳込み操作を実行して、２５６個の畳込み結果を取得する。
【００５９】
オプションとして、上記の実施形態において、Ｌ個の畳込み結果を取得した後に、Ｌ個の畳込み結果をつながり、検出器中の第７畳込み層を利用して、つながれたＬ個の畳込み結果に対して畳込み操作を実行する。
【００６０】
一部の実施形態において、ステップ２０６において、参考フレームの特徴に基づいて検出器の回帰重みを取得する場合、検出器中の第８畳込み層を利用して参考フレームの特徴に対して畳込み操作を実行して、畳込み操作によって得られたＰ個のチャンネルの第８特徴を検出器の回帰重みとする。ここで、参考フレームの特徴のチャネル数は、Ｍ１であり、第８特徴のチャネル数は、Ｎ２であり、Ｍ１、Ｎ２、および、Ｐは、０よりも大きい整数であり、且つ、Ｍ１は、Ｎ２よりも大きい。例えば、オプションの一例において、検出フレームの特徴のチャネル数は、２５６であり、第８畳込み層を利用して参考フレームの特徴に対して畳込み操作を実行して、チャネル数が１である２５６個の第８特徴を取得する。
【００６１】
一部の実施形態において、ステップ２０８において、回帰重みを利用して検出フレームの特徴に対して処理を実行して、検出器から出力された複数の候補枠の回帰結果を取得する場合、検出器中の第９畳込み層を利用して検出フレームの特徴に対して畳込み操作を実行して、チャネル数がＮ２であるＰ個の第９特徴を取得し、ここで、検出フレームの特徴のチャネル数は、Ｍ２であり、Ｍ２は、０よりも大きい整数であり、且つ、Ｍ２は、Ｎ２よりも大きいし、回帰重みのＰ個の第８特徴の中の各特徴をそれぞれ利用して、Ｐ個の第９特徴の中の対応する特徴に対して畳込み操作を実行して（即ち、ｔ番目の第８特徴を利用してｔ番目の第９特徴に対して畳込み操作を実行し、ｔの値は、順次に、０よりも大きいし、且つ、２５６以下の整数である）、Ｐ個の畳込み結果を取得し、検出器中の第１０畳込み層を利用してＰ個の畳込み結果に対して畳込み操作を実行して、複数の候補枠の回帰結果を取得する。ここで、Ｎ１とＮ２との値は、同一であってもよいし、異なっていてもよい。例えば、オプションの一例において、検出フレームの特徴のチャネル数は、２５６であり、第９畳込み層を利用して参考フレームの特徴に対して畳込み操作を実行して、チャネル数が１である２５６個の第９特徴を取得し、回帰重みの２５６個の第８特徴の中の各特徴をそれぞれ利用して２５６個の第１０特徴の中の対応する特徴に対して畳込み操作を実行して、２５６個の畳込み結果を取得する。
好ましくは、上記の実施形態において、Ｐ個の畳込み結果を取得した後に、Ｐ個の畳込み結果をつながり、検出器中の第１０畳込み層を利用して、つながれたＰ個の畳込み結果に対して畳込み操作を実行する。
【００６２】
図４は、本発明による上記の実施形態に対応するフローチャートである。図５は、本発明による図４に示す実施形態に対応する検出器の模式図である。図４および図５を参考すると、当該実施形態の目標オブジェクト検出方法は、以下のステップを含む。
【００６３】
３０２において、ニューラルネットワークを利用して、参考フレームの特徴および検出フレームの特徴をそれぞれ抽出する。
【００６４】
３０４において、ニューラルネットワーク中の少なくとも２つのネットワーク層から出力された少なくとも２組の特徴をそれぞれ検出器に入力する。
ここで、検出器は、入力された各組の特徴に対して、それぞれステップ３０６〜３１２および３１４〜３２０を実行して、対応する１組の検出結果を得、各組の検出結果は、複数の候補枠の分類結果および回帰結果を含む。
【００６５】
３０６において、検出器中の第５畳込み層を利用して参考フレームの特徴に対して畳込み操作を実行して、畳込み操作によって得られたＬ個の第５特徴を検出器の分類重みとする。
ここで、参考フレームの特徴のチャネル数は、Ｍ１であり、第５特徴のチャネル数は、Ｎ１であり、Ｍ１、Ｎ１、および、Ｌは、０よりも大きい整数であり、且つ、Ｍ１は、Ｎ１よりも大きい。即ち、ステップ３０６によって、参考フレームのチャネル数が低減される。
【００６６】
３０８において、検出器中の第６畳込み層を利用して検出フレームの特徴に対して畳込み操作を実行して、Ｌ個のチャネル数がＮ１である第６特徴を取得する。
ここで、検出フレームの特徴のチャネル数は、Ｍ２であり、Ｍ２は、０よりも大きい整数であり、且つ、Ｍ２は、Ｎ１よりも大きい。即ち、ステップ３０８によって、検出フレームのチャネル数が低減される。
【００６７】
３１０において、分類重みのＬ個の第５特徴の中の各特徴をそれぞれ利用してＬ個の第６特徴の中の対応する特徴に対して畳込み操作を実行して、Ｌ個の畳込み結果を取得する。
【００６８】
３１２において、検出器中の第７畳込み層を利用してＬ個の畳込み結果に対して畳込み操作を実行して、複数の候補枠の分類結果を取得する。
【００６９】
その後、ステップ３２２を実行する。
【００７０】
３１４において、検出器中の第８畳込み層を利用して参考フレームの特徴に対して畳込み操作を実行して、畳込み操作によって得られたＰ個のチャンネルの第８特徴作を検出器の回帰重みとする。
ここで、参考フレームの特徴のチャネル数は、Ｍ１であり、第８特徴のチャネル数は、Ｎ２であり、Ｍ１、Ｎ２、および、Ｐは、０よりも大きい整数であり、且つ、Ｍ１は、Ｎ２よりも大きい。即ち、ステップ３１４によって、参考フレームのチャネル数が低減される。
【００７１】
３１６において、検出器中の第９畳込み層を利用して検出フレームの特徴に対して畳込み操作を実行して、チャネル数がＮ２であるＰ個の第９特徴を取得する。
ここで、検出フレームの特徴のチャネル数は、Ｍ２であり、Ｍ２は、０よりも大きい整数であり、且つ、Ｍ２は、Ｎ２よりも大きい。即ち、ステップ３１６によって、検出フレームのチャネル数が低減される。
【００７２】
３１８において、回帰重み中のＰ個の第８特徴の中の各特徴をそれぞれ利用してＰ個の第９特徴の中の対応する特徴に対して畳込み操作を実行して、Ｐ個の畳込み結果を取得する。
【００７３】
３２０において、検出器中の第１０畳込み層を利用してＰ個の畳込み結果に対して畳込み操作を実行して、複数の候補枠の回帰結果を取得する。
ここで、上記のステップ３０６〜３１２およびステップ３１４〜３２０は、２つの分岐されたステップであり、２つの分岐されたステップは同時に実行されてもよいし、任意の順番で実行されてもよく、または、任意の時間差で実行されてもよい。本実施例は、これに対して限定しない。
【００７４】
ステップ３０６〜３２０により、少なくとも２組の検出結果を取得し、その後、当該少なくとも２組の検出結果に対してステップ３２２を実行する。
【００７５】
３２２において、検出器から出力された少なくとも２組の検出結果に基づいて、検出フレームにおける目標オブジェクトの検出枠を取得する。
【００７６】
上記の実施例によれば、同一の組の参考フレームの特徴および検出フレームの特徴を、チャネル数が同一であり且つより少ない特徴に変換し、その後、対応する参考フレームの特徴マップと検出フレームとの特徴マップに対して関連操作を実行でき、例えば、チャネル数が２５６である参考フレームの特徴マップおよび検出フレームの特徴マップを、チャネル数が１である２５６個の特徴マップにそれぞれ変換して、関連操作により２５６個の特徴マップを取得し、即ち、比較的に多くのチャネル数を提供した。関連操作の後に、畳込み操作を実行して、２ｋおよび４ｋのチャネル数の分類結果および回帰結果に変換でき、参考フレームに対して次元増加操作を行う必要がなくなるため、パラメータ量が大幅に低減され、運算速度を向上させた。
【００７７】
本発明の実施例において、各畳込み層および畳込みユニットは、例えば、上記の実施例中の第１畳込み層、第２畳込み層、…、第１０畳込み層は、例えば、単独的な１つの畳込み層であってもよいし、複数の畳込み層からなる１つの畳込み層であってもよく、本発明の実施例は、これに限定されないことを説明する必要がある。
【００７８】
また、上記の各実施例の一些実施形態において、ステップ１０６、２１０、３２２において、検出器から出力された少なくとも２組の検出結果に基づいて、検出フレームにおける目標オブジェクトの検出枠を取得するステップは、以下の態様で実現できる。
【００７９】
少なくとも２組の検出結果中の分類結果に対して、重み付け、平均、または、重み付け平均を実行して、複数の候補枠の統括分類結果を取得し、および／または、少なくとも２組の検出結果の回帰結果に対して、重み付け、平均、または、重み付け平均を実行して、複数の候補枠の統括回帰結果を取得し、
複数の候補枠の統括分類結果および統括回帰結果に基づいて、検出フレームにおける目標オブジェクトの検出枠を取得する。
【００８０】
例えば、分類結果および回帰結果の表現形式は、ベクトルであり、複数の成分を含み、例えば、分類結果は、１つの候補枠が目標オブジェクトの検出枠であるか否かの確率値にそれぞれ対応する２つの成分を含み、回帰結果は、参考フレームにおける目標オブジェクトの検出枠に対する１つの候補枠のずれ量（中心点の位置の横座標のずれ量ｄｘ、中心点の位置の縦座標のずれ量ｄｙ、高さの変化量ｄｈ、および、幅の変化量ｄｗ）にそれぞれ対応する４つの成分を含む場合、少なくとも２組の検出結果中の分類結果に対して、重み付ける際に、予め設定された各組の検出結果の重み付け係数を利用して、該当する分類結果の各成分に対して、重み付け（乗算）して、取得された少なくとも２つの分類結果ベクトル中の対応成分を加算して、１つの統括分類結果を取得する。少なくとも２組の検出結果中の回帰結果に対して、重み付ける際に、予め設定された各組の検出結果の重み付け係数を利用して該当する回帰結果の各成分に対して、重み付け（乗算）して、取得された少なくとも２つの回帰結果ベクトルの対応成分を加算して、１つの統括回帰結果を取得する。ここで、高速且つ正確に、複数の候補枠の統括分類結果および統括回帰結果に基づいて、検出フレームにおける目標オブジェクトの検出枠を取得するために、少なくとも２組の検出結果の重み付け係数の和を、１と設定してもよい。
【００８１】
同様に、少なくとも２組の検出結果中の分類結果に対して平均を実行する際に、少なくとも２組の検出結果中の分類結果ベクトルの対応する成分を加算してから平均値を取って、１つの統括分類結果を取得する。少なくとも２組の検出結果中の回帰結果に対して、重み付けを実行する際に、少なくとも２組の検出結果中の回帰結果ベクトルの対応する成分を加算してから平均値を取って、１つの統括回帰結果を取得する。
【００８２】
同様に、少なくとも２組の検出結果中の分類結果に対して、重み付けを実行する際に、予め設定された各組の検出結果の重み付け係数を利用して該当する分類結果の各成分に対して、重み付け（乗算）を実行した後に、取得された少なくとも２つの分類結果ベクトルの対応する成分を加算してから平均値を取って、１つの統括分類結果を取得する。少なくとも２組の検出結果中の回帰結果に対して、重み付け平均を実行する際に、予め設定された各組の検出結果の重み付け係数を利用して該当する回帰結果中の各成分に対して、重み付け（乗算）を実行した後に、取得された少なくとも２つの回帰結果ベクトルの対応する成分を加算してから平均値を取って、１つの統括回帰結果を取得する。
【００８３】
少なくとも２組の検出結果の分類結果および回帰結果に対して、重み付け、平均、または、重み付け平均を実行して、複数の候補枠の統括分類結果および統括回帰結果を取得する態様に加えて、他の態様を採用して少なくとも２組の検出結果の分類結果および回帰結果に対して処理を実行でき、例えば、加算の態様を採用して、少なくとも２組の検出結果の分類結果および回帰結果に対してそれぞれ処理を実行して、複数の候補枠の統括分類結果および統括回帰結果を取得でき、本発明の実施例は、これに限定されないことを説明する必要がある。
【００８４】
例えば、オプションの一例において、複数の候補枠の統括分類結果および統括回帰結果に基づいて、複数の候補枠から１つの候補枠を選択し、選択された候補枠の統括回帰結果のずれ量に基づいて、選択された候補枠に対して回帰を実行して、検出フレームにおける目標オブジェクトの検出枠を取得できる。
【００８５】
オプションとして、一実現態様において、複数の候補枠から１つの候補枠を選択する場合、統括分類結果および統括回帰結果の重み係数に基づいて、複数の候補枠から１つの候補枠を選択でき、例えば、統括分類結果および統括回帰結果の重み係数に基づいて、各候補枠の確率値およびずれ量それぞれにより１つの統括点数を算出し、上記の複数の候補枠の統括点数に基づいて、上記の複数の候補枠から１つの候補枠を選択し、例えば、統括点数が最も高い１つの候補枠を選択できる。
【００８６】
オプションとして、他の実現態様において、複数の候補枠の統括回帰結果を取得した後に、各候補枠の統括回帰結果にそれぞれ基づいて、統括分類結果を調整し、複数の候補枠から１つの候補枠を選択する場合、調整された統括分類結果に基づいて、複数の候補枠から１つの候補枠を選択する。
【００８７】
例えば、複数の候補枠の統括回帰結果を取得した後に、候補枠の統括回帰結果における位置およびサイズの変化量に基づいて、当該候補枠の確率値を調整し、例えば、統括回帰結果における位置およびサイズの変化量に基づいて、当該候補枠の確率値を調整できる。例えば、位置の変化量が大きいし（即ち、位置の移動が大きい）、サイズの変化量が大きい（即ち、形状の変化が大きい）の候補枠の確率値に対してペナルティを課し、その確率値を減らす。これに応じて、当該例において、統括分類結果および統括回帰結果に基づいて複数の候補枠から１つの候補枠を選択する場合、調整された確率値に基づいて、複数の候補枠から、確率値が最も高いである候補枠を選択できる。
【００８８】
本発明による目標オブジェクト検出方法の一実施例において、複数の候補枠の統括分類結果および統括回帰結果を取得した後に、その中の分類結果に対して正規化処理を実行し、各候補枠が目標オブジェクトの検出枠であるか否かの確率値の和を１とするので、各候補枠が目標オブジェクトの検出枠であるか否かの判断に役立つ。
【００８９】
図６は、図４に示す態様対応する一実用例の図である。当該実用例では、ニューラルネットワーク（ＲｅｓＮｅｔ−５０）の３つのネットワークブロックから出力された３組の特徴をそれぞれ検出器に入力して、検出器から出力された３組の検出結果を得る一例を示す。ニューラルネットワークから出力された特徴中で、異なるサイズは、異なる解像度を表し、ネットワーク層が深いほど（右側にあるほど）、特徴が深くなり（チャネル数が大きくなり）、空間サイズが小さくなる。異なるサイズの特徴から引き出した線は、当該特徴を検出器に入力することを表す。本発明の実施例の記載に基づいて、当業者は、ニューラルネットワークの他の数の複数のネットワークブロックから出力された複数組の特徴をそれぞれ検出器に入力して、複数の組の検出結果を取得することが実現できることを承知している。以下、繰り返して説明しない。
【００９０】
本発明の上記の実施例において、目標オブジェクトは、例えば、人間、車両、ロボット、動物、飛行機、移動可能の静止物などの、任意オブジェクト中の任意の１つまたは複数のものを含み得るが、これらに限定されない。
【００９１】
本発明の上記の各実施例によれば、目標オブジェクトの検出枠を取得した後に、目標オブジェクトの検出枠に基づいて、目標追跡、インテリジェント運転制御、セキュリティなどの各種類の場面に適用できる。
【００９２】
例えば、一例の場面において、検出フレームにおける目標オブジェクトの検出枠を取得した後に、ビデオシーケンス中の目標オブジェクトの検出枠に対してマーク付けを行って、ビデオシーケンス中の目標オブジェクトのラベル付きを実現できる。
【００９３】
また、例えば、他の一例の場面において、ビデオシーケンス中の複数のフレームにおける目標オブジェクトの検出枠を取得した後に、ビデオシーケンス中の複数のフレームにおける目標オブジェクトの検出枠の位置に基づいて、ビデオシーケンス中の目標オブジェクトの運動軌跡を確定して、当該目標オブジェクトの運動軌跡を承知することができる。
【００９４】
また、例えば、他の一例の場面において、ビデオシーケンス中の複数のフレームにおける目標オブジェクトの検出枠を取得した後に、目標オブジェクトの検出枠の位置に基づいて、カメラの撮影パラメータを調整して、目標オブジェクトに対するカメラの自動的焦点合わせを実現できる。
【００９５】
また、例えば、他の一例の場面において、検出フレームにおける目標オブジェクトの検出枠を取得した後に、検出フレームにおける目標オブジェクトの検出枠の位置が所定領域範囲内にあるか否かを確定し、目標オブジェクトの検出枠が所定領域範囲内に位置していることに応答して、プロンプトメッセージを出力することによって、目標オブジェクトの特定領域への出入りの早期警告が実現できる。
【００９６】
また、例えば、一例の場面において、複数の目標オブジェクトがある場合、検出フレームにおける複数の目標オブジェクトの検出枠を取得した後に、検出フレームにおける複数の目標オブジェクトと参考フレームにおける複数の目標オブジェクトの検出枠とをマッチングして、マッチング結果および参考フレームにおける各目標オブジェクトの識別子に基づいて、検出フレームにおける各目標オブジェクトの識別子に対してマーク付きを実行して、複数の目標オブジェクトのラベル付きを実現できる。
【００９７】
また、例えば、一例の場面において、複数の目標オブジェクトがある場合、ビデオシーケンス中の複数のフレームにおける複数の目標オブジェクトの検出枠を取得した後に、ビデオシーケンス中の複数のフレームにおける複数の目標オブジェクトの検出枠の位置に基づいて、ビデオシーケンス中の複数の目標オブジェクトの運動軌跡を確定し、ビデオシーケンス中の複数の目標オブジェクトの運動軌跡に基づいて、複数の目標オブジェクトを追跡できる。
【００９８】
また、例えば、一例の場面において、複数の目標オブジェクトがある場合、ビデオシーケンス中の複数のフレームにおける複数の目標オブジェクトの検出枠を取得した後に、ビデオシーケンス中の複数のフレームにおける複数の目標オブジェクトの数量および／または位置の変化に基づいて、複数の目標オブジェクトの行為を分析して、複数の目標オブジェクト行為の分析／適用を実現できる。
【００９９】
また、例えば、一例の場面において、ビデオシーケンス中の複数のフレームにおける目標オブジェクトの検出枠を取得した後に、ビデオシーケンス中の複数のフレームにおける目標オブジェクトの検出枠の位置に基づいて、目標オブジェクトの運動状態を確定し、目標オブジェクトの運動状態およびビデオシーケンスを撮影するカメラのキャリアの運動状態に基づいて、キャリアのインテリジェント運転制御を行って、目標オブジェクトに基づくインテリジェント運転制御を実現できる。
ここで、キャリアは、例えば、車両、ロボット、または、飛行機などの任意の可動オブジェクトを含み得るが、これらに限定されない。
【０１００】
オプションの一例において、キャリアに対してインテリジェント運転制御を実行することは、例えば、キャリアに対して運動ルートを計画すること、および／または、キャリアの運動状態または運転モードを制御することであってもよい。
【０１０１】
図７は、本発明による目標オブジェクト検出ネットワークの訓練方法の一実施例のフローチャートである。図７に示すように、当該実施例による目標オブジェクト検出ネットワークの訓練方法は、以下のステップを含む。
【０１０２】
４０２において、少なくとも１つのサンプルペアをニューラルネットワークに入力し、上記の任意の実施例、実施形態、および、例による目標オブジェクト検出方法により、サンプルペア中の検出フレームにおける目標オブジェクトの検出枠を出力する。
ここで、各サンプルペアは、対応する１つの参考フレームおよび１つの検出フレームを含み、異なる検出フレームにおける目標オブジェクトの検出枠の位置は、異なる。各検出フレームに対しては、ラベル付き情報が予め設置されており、ここで、ラベル付き情報は、検出フレームにおける目標オブジェクトの検出枠の位置を含んでもよい。
【０１０３】
４０４において、出力された検出フレームにおける目標オブジェクトの検出枠を予測検出枠として、検出フレームのラベル付き情報および予測検出枠に基づいて、ニューラルネットワークおよび検出器を訓練し、即ち、訓練ニューラルネットワークおよび検出器中のパラメータを調整する。
ここで、上記のステップ４０２〜４０４を反復して実行することによって、予め設定された訓練完成条件を満たすようにし、例えば、検出フレームのラベル付き情報と予測検出枠との間の差異が所定の閾値未満になるようにするか、または、訓練回数が所定の回数に達するようにする。
【０１０４】
ここで、本発明の目標オブジェクト検出ネットワークの訓練方法の実施例において、上記の目標オブジェクト検出方法の実施例と関連される部分は、上記の各実施例の記載を参考できるので、繰り返して説明しない。
【０１０５】
本発明の上記の実施例の目標オブジェクト検出ネットワークの訓練方法により訓練された目標オブジェクト検出ネットワークを利用して目標オブジェクト検出を実行する場合、異なるネットワーク層から出力された特徴によって得られた検出結果を統括して、検出フレームにおける目標オブジェクトの検出枠を取得して、目標オブジェクト検出結果がより正確且つ精確になり、検出フレーム複数の候補枠の分類結果および回帰結果に基づいて、目標オブジェクトの検出枠を取得し、目標オブジェクトの位置およびサイズの変化をより正確に推定でき、目標オブジェクトの検出フレームにおける位置をより精確に特定できるため、目標追跡の速度および正確性を向上させて、追跡の効果がよいし、速度が速い。
【０１０６】
発明者は、本発明の実現過程において、検討によって、従来のディープニューラルネットワークは畳込み過程で出力される特徴マップのサイズをそのまま維持するために、ｐａｄｄｉｎｇ（充填）を導入し、即ち、上位層から出力されり特徴マップの最も外側に充填として一回りの０を追加して、ニューラルネットワークの厳格な平行移動かつ非変形性が破壊されることを、見つけた。
【０１０７】
上記の課題を解決するために、本発明の一部の実施形態において、上記の少なくとも１つのサンプルペア中の目標オブジェクトの検出枠の位置は、ランダムに配布されるか、または、所定のずれ量に従って均一に配布される。
【０１０８】
このように、目標オブジェクト検出ネットワークの訓練過程において、目標オブジェクトを、画像の中心点位置に固定せずに、画像における任意の位置に位置させて、入力画像における目標オブジェクト自身が位置の先験を失うようにすることによって、ニューラルネットワークがこのような先験を削除するようにして、正確の目標オブジェクト位置を予測して、ディープニューラルネットワーク構成の利点として作用する。
【０１０９】
例えば、一部の実現態様において、目標オブジェクトの検出枠の位置を所定のずれ量に従って均一に配布させるために、まず、１つの参考フレームと１つの検出フレームを含む１つのサンプルペアを取得し、この時、目標オブジェクトは検出フレーム画像の中心点に位置し、均一の確率で［−ｓ／２, ＋ｓ／２］から２つのずれ量をサンプリングし、ここで、ｓは検出フレーム画像のサイズであり、その後、ずれ量に基づいて目標オブジェクトを移動させ、即ち、目標オブジェクトを検出フレーム画像の中心点に位置させずに、検出フレーム画像に均一的に現わせつつ、監視（即ち、ラベル付き情報）として、ずれた後の目標オブジェクトの実際位置を算出する。
【０１１０】
本発明の実施例に係る任意の目標オブジェクト検出方法は、データ処理能力を有する任意の適宜な機器によって実行されることができ、端末機器およびサーバなどを含むが、これらに限定されない。あるいは、本発明の実施例によって提供される任意の目標オブジェクト検出方法は、プロセッサによって実行されることができ、例えば、プロセッサによって、メモリに記憶されている対応する命令呼び出して、本発明の実施例に係る任意の目標オブジェクト検出方法を実行されてもよい。以下、繰り返して説明しない。
【０１１１】
当業者は、プログラム命令に関連するハードウェアによって上記の方法の実施例の全て或いは一部のステップが実現されることができ、前述のプログラムは、コンピューター可読記憶媒体に記憶され、当該プログラムが実行されると、上記の方法の実施例のステップが実行され、前述の記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスク、または、光ディスクなどの各種類の、プログラムコードを記憶する媒体を含むことを理解すべきである。
【０１１２】
図８は、本発明による目標オブジェクト検出装置の一実施例の構成を示す模式図である。当該実施例の目標オブジェクト検出装置は、本発明の上記の各目標オブジェクト検出方法の実施例を実現することができる。図８に示すように、当該実施例の目標オブジェクト検出装置は、ニューラルネットワークと、検出器と、取得モジュールと、を備える。
【０１１３】
ここで、ニューラルネットワークは、参考フレームの特徴および検出フレームの特徴をそれぞれ抽出する。ここで、検出フレームは、ビデオシーケンス中の、目標オブジェクト検出の実行待ちの現在フレームであるか、または、現在フレームにおける、目標オブジェクトを含む可能性がある領域画像であり、参考フレームは、目標オブジェクトの検出枠が確定されたフレームにおける、目標オブジェクトの検出枠図像であり、当該フレームは、ビデオシーケンス中の検出時間順序が検出フレームの前に位置し、参考フレームの画像サイズは、検出フレームよりも小さい。
【０１１４】
検出器は、ニューラルネットワークの少なくとも２つのネットワーク層から出力された少なくとも２組の特徴の中の各組の特徴を受信し、前記各組の特徴ごとに１組の検出結果をそれぞれ出力し、ここで、各組の特徴は、参考フレームの特徴および検出フレームの特徴を含み、各組の検出結果は、目標オブジェクトの複数の候補枠の分類結果および回帰結果を含む。
【０１１５】
取得モジュールは、検出器が少なくとも２組の特徴に対して出力した少なくとも２組の検出結果に基づいて、検出フレームにおける目標オブジェクトの検出枠を確定する。
【０１１６】
本発明の上記の実施例によって提供される目標オブジェクト検出装置によれば、異なるネットワーク層から出力された特徴によって得られた検出結果を統括して、検出フレームにおける目標オブジェクトの検出枠を取得することによって、目標オブジェクト検出結果がより正確且つ精確になり、検出フレーム複数の候補枠の分類結果および回帰結果に基づいて、目標オブジェクトの検出枠を取得することによって、目標オブジェクトの位置およびサイズの変化をより正確に推定でき、目標オブジェクトの検出フレームにおける位置をより精確に特定できるため、目標追跡の速度および正確性を向上させて、追跡の効果がよいし、速度が速い。
【０１１７】
本発明の各実施例の一態様において、上記のニューラルネットワークは、複数の畳込み層を含む。これに応じて、検出器は、ニューラルネットワーク中の少なくとも２つの畳込み層から出力された少なくとも２組の特徴をそれぞれ受信する。
【０１１８】
あるいは、本発明の各実施例の他の実施形態において、上記のニューラルネットワークは、複数の畳込みブロックを含み、各畳込みブロックは、少なくとも１つの畳込み層を含む。これに応じて、検出器は、ニューラルネットワーク中の少なくとも２つの畳込みブロックから出力された少なくとも２組の特徴をそれぞれ受信する。
【０１１９】
あるいは、本発明の各実施例の他の実施形態において、上記のニューラルネットワークは、少なくとも１つの畳込みブロックおよび少なくとも１つの畳込み層を含み、各畳込みブロックは、少なくとも１つの畳込み層を含み、検出器は、ニューラルネットワーク中の少なくとも１つの畳込みブロックおよび少なくとも１つの畳込み層から出力された少なくとも２組の特徴をそれぞれ受信する。
【０１２０】
また、上記の実施例において、検出フレームが、目標オブジェクト検出の実行待ちの現在フレームにおける、目標オブジェクトを含む可能性がある領域画像である場合、目標オブジェクト検出装置は、現在フレームから、参考フレームの中心点をその中心点とする、長さおよび／または幅が対応する参考フレームの画像よりも大きい領域画像を、検出フレームとして取得するための選択モジュールをさらに備える。
【０１２１】
本発明の各実施例の一態様において、検出器は、参考フレームの特徴に基づいて、検出器の分類重みおよび回帰重み取得し、分類重みおよび回帰重みをそれぞれ利用して、検出フレームの特徴に対して処理を実行して、複数の候補枠の分類結果および回帰結果を取得する。
【０１２２】
図９は、本発明による目標オブジェクト検出装置の他の一実施例の構成を示す模式図である。図９に示すように、一実施形態において、検出器は、参考フレームの特徴に対して畳込み操作を実行して、畳込み操作によって得られた第１特徴を検出器の分類重みとするための第１畳込み層と、参考フレームの特徴に対して畳込み操作を実行して、畳込み操作によって得られた第２特徴を検出器の回帰重みとするための第２畳込み層と、検出フレームの特徴に対して畳込み操作を実行して、そのチャネル数が検出フレームの特徴のチャネル数と同じである第３特徴を取得するための第３畳込み層と、分類重みを利用して第３特徴に対して畳込み操作を実行して、複数の候補枠の分類結果を取得するための第１畳込みユニットと、検出フレームの特徴に対して畳込み操作を実行して、そのチャネル数が検出フレームの特徴のチャネル数と同じである第４特徴を取得するための第４畳込み層と、回帰重みを利用して第４特徴に対して畳込み操作を実行して、複数の候補枠の回帰結果を取得するための第２畳込みユニットと、を備える。
【０１２３】
図１０は、本発明による目標オブジェクト検出装置の他の一実施例の構成を示す模式図である。図１０に示すように、他の実施形態において、検出器は、参考フレームの特徴に対して畳込み操作を実行して、畳込み操作によって得られたＬ個の第５特徴を検出器の分類重みとするための第５畳込み層であって、参考フレームの特徴のチャネル数は、Ｍ１であり、第５特徴のチャネル数は、Ｎ１であり、Ｍ１、Ｎ１、および、Ｌは、０よりも大きい整数であり、且つ、Ｍ１は、Ｎ１よりも大きい第５畳込み層と、検出フレームの特徴に対して畳込み操作を実行し、Ｌ個のチャネル数がＮ１である第６特徴を取得するための第６畳込み層であって、検出フレームの特徴のチャネル数は、Ｍ２であり、Ｍ２は、０よりも大きい整数であり、且つ、Ｍ２は、Ｎ１よりも大きい第６畳込み層と、分類重みのＬ個の第５特徴の中の各特徴をそれぞれ利用してＬ個の第６特徴の中の対応する特徴に対して畳込み操作を実行し、Ｌ個の畳込み結果を取得するための第３畳込みユニットと、Ｌ個の畳込み結果に対して畳込み操作を実行して、複数の候補枠の分類結果を取得するための第７畳込み層と、参考フレームの特徴に対して畳込み操作を実行して、畳込み操作によって得られたＰ個のチャンネルの第８特徴を検出器の回帰重みとするための第８畳込み層であって、参考フレームの特徴のチャネル数は、Ｍ１であり、第８特徴のチャネル数は、Ｎ２であり、Ｎ２、Ｐは０よりも大きい整数であり、且つ、Ｍ１は、Ｎ２よりも大きい第８畳込み層と、検出フレームの特徴に対して畳込み操作を実行し、Ｐ個のチャネル数がＮ２である第９特徴を取得するための第９畳込み層であって、検出フレームの特徴のチャネル数は、Ｍ２であり、Ｍ２は、０よりも大きい整数であり、且つ、Ｍ２は、Ｎ２よりも大きい第９畳込み層と、回帰重みのＰ個の第８特徴の中の各特徴をそれぞれ利用して、Ｐ個の第９特徴の中の対応する特徴に対して畳込み操作を実行して、Ｐ個の畳込み結果を取得するための第４畳込みユニットと、Ｐ個の畳込み結果に対して畳込み操作を実行して、複数の候補枠の回帰結果を取得するための第１０畳込み層と、を備える。
【０１２４】
オプションとして、さらに、図１０を参照して、他の実施形態において、検出器は、Ｌ個の畳込み結果をつながるための第１つながりユニットをさらに備える。これに応じて、第７畳込み層は、つながれたＬ個の畳込み結果に対して畳込み操作を実行する。
【０１２５】
オプションとして、さらに、図１０を参照して、他の実施形態において、検出器は、Ｐ個の畳込み結果をつながるための第２つながりユニットをさらに備える。これに応じて、第１０畳込み層は、つながれたＰ個の畳込み結果に対して畳込み操作を実行する。
【０１２６】
本発明の各実施例の一態様において、取得モジュールは、少なくとも２組の検出結果中の分類結果に対して、重み付け、平均、または、重み付け平均を実行して、複数の候補枠の統括分類結果を取得し、および／または、少なくとも２組の検出結果中の回帰結果に対して、重み付け、平均、または、重み付け平均を実行して、複数の候補枠の統括回帰結果を取得するための統括処理ユニットと、複数の候補枠の統括分類結果および統括回帰結果に基づいて、検出フレームにおける目標オブジェクトの検出枠を取得するための取得ユニットとを備える。
【０１２７】
オプションの一例において、取得ユニットは、複数の候補枠の統括分類結果および統括回帰結果に基づいて、複数の候補枠から１つの候補枠を選択し、選択された候補枠の統括回帰結果のずれ量に基づいて、選択された候補枠に対して回帰を実行して、検出フレームにおける目標オブジェクトの検出枠を取得する。
【０１２８】
ここで、一実現態様において、取得ユニットは、複数の候補枠の統括分類結果および統括回帰結果に基づいて、複数の候補枠から１つの候補枠を選択する場合、統括分類結果および統括回帰結果の重み係数に基づいて、複数の候補枠から１つの候補枠を選択する。
【０１２９】
他の実現態様において、取得モジュールは、各候補枠の統括回帰結果にそれぞれ基づいて、統括分類結果を調整するための調整ユニットをさらに備える。これに応じて、取得ユニットは、調整された統括分類結果に基づいて、複数の候補枠から１つの候補枠を選択する。
【０１３０】
本発明の上記の各実施例において、目標オブジェクトは、例えば、人間、車両、ロボット、動物、飛行機、移動可能の静止物など中の任意の１つまたは複数のものを含み得るが、これらに限定されない。
【０１３１】
また、本発明の目標オブジェクト検出装置の上記の各実施例において、
検出フレームにおける目標オブジェクトの検出枠を取得した後に、ビデオシーケンス中の目標オブジェクトの検出枠に対してマーク付けを行い、および／または、
ビデオシーケンス中の複数のフレームにおける目標オブジェクトの検出枠を取得した後に、ビデオシーケンス中の複数のフレームにおける目標オブジェクトの検出枠の位置に基づいて、ビデオシーケンス中の目標オブジェクトの運動軌跡を確定し、および／または、
ビデオシーケンス中の複数のフレームにおける目標オブジェクトの検出枠を取得した後に、目標オブジェクトの検出枠の位置に基づいて、カメラの撮影パラメータを調整し、および／または、
検出フレームにおける目標オブジェクトの検出枠を取得した後に、検出フレームにおける目標オブジェクトの検出枠が所定領域範囲内に位置しているか否かを確定し、目標オブジェクトの検出枠が所定領域範囲内に位置していることに応答して、プロンプトメッセージを出力し、および／または、
複数の目標オブジェクトがある場合、検出フレームにおける複数の目標オブジェクトの検出枠を取得した後に、検出フレームにおける複数の目標オブジェクトと参考フレームにおける複数の目標オブジェクトの検出枠をマッチングし、マッチング結果および参考フレームにおける各目標オブジェクトの識別子に基づいて、検出フレームにおける各目標オブジェクトの識別子をラベル付きし、および／または、
複数の目標オブジェクトがある場合、ビデオシーケンス中の複数のフレームにおける複数の目標オブジェクトの検出枠を取得した後に、ビデオシーケンス中の複数のフレームにおける複数の目標オブジェクトの検出枠の位置に基づいて、ビデオシーケンス中の複数の目標オブジェクトの運動軌跡を確定する、ビデオシーケンス中の複数の目標オブジェクトの運動軌跡に基づいて、複数の目標オブジェクトを追跡し、および／または、
複数の目標オブジェクトがある場合、ビデオシーケンス中の複数のフレームにおける複数の目標オブジェクトの検出枠を取得した後に、ビデオシーケンス中の複数のフレームにおける複数の目標オブジェクトの数量および／または位置の変化に基づいて、複数の目標オブジェクトの行為を分析し、および／または、
ビデオシーケンス中の複数のフレームにおける目標オブジェクトの検出枠を取得した後に、ビデオシーケンス中の複数のフレームにおける目標オブジェクトの検出枠の位置に基づいて、目標オブジェクトの運動状態を確定し、目標オブジェクトの運動状態および撮影ビデオシーケンスのカメラのキャリアの運動状態に基づいて、キャリアのインテリジェント運転制御を行うための適用ユニットをさらに備える。
【０１３２】
ここで、キャリアは、例えば、車両、ロボット、または、飛行機など任意の可動オブジェクトを含み得るが、これらに限定されない。あるいは、上記の適用ユニットは、キャリアに対してインテリジェント運転制御を行う際に、キャリアの運動ルートを計画し、および／または、キャリアの運動状態または運転モードを制御する。
【０１３３】
本発明の実施例によって提供される目標オブジェクト検出装置の任意の実施例の作業過程、配置態様、および、該当する技術効果は、いずれも、本発明の上記の該当する方法の実施例の具体な説明を参考してよく、ここでは繰り返して説明しない。
【０１３４】
図１１は、本発明による目標オブジェクト検出ネットワークの訓練装置の一実施例の構成を示す模式図である。当該実施例の目標オブジェクト検出ネットワークの訓練装置は、本発明の上記の各目標オブジェクト検出ネットワークの訓練方法の実施例を実現する。図１１に示すように、当該実施例目標オブジェクト検出ネットワークの訓練装置は、上記の任意の実施例の目標オブジェクト検出装置を含み、少なくとも１つのサンプルペアを受信し、サンプルペア中の検出フレームにおける目標オブジェクトの検出枠を出力するための目標オブジェクト検出ネットワークであって、各サンプルペアは、対応する１つの参考フレームおよび１つの検出フレームを含む目標オブジェクト検出ネットワークと、出力された検出フレームにおける目標オブジェクトの検出枠を予測検出枠として、検出フレームのラベル付き情報および予測検出枠に基づいて、ニューラルネットワークおよび検出器を訓練するための訓練モジュールとを備える。
【０１３５】
本発明の上記の実施例によって提供される目標オブジェクト検出ネットワークの訓練装置によれば、訓練された目標オブジェクト検出ネットワークが目標オブジェクト検出に利用される場合、異なるネットワーク層から出力された特徴によって得られた検出結果を統括して、検出フレームにおける目標オブジェクトの検出枠を取得することによって、目標オブジェクト検出結果がより正確且つ精確になり、検出フレーム複数の候補枠の分類結果および回帰結果に基づいて、目標オブジェクトの検出枠を取得することによって、目標オブジェクトの位置およびサイズの変化をより正確に推定でき、目標オブジェクトの検出フレームにおける位置をより精確に特定できるため、目標追跡の速度および正確性を向上させて、追跡の効果がよいし、速度が速い。
【０１３６】
本発明の実施例によって提供される目標オブジェクト検出ネットワークの訓練装置の任意の実施例の作業過程、配置態様、および、該当する技術効果は、いずれも、本発明の上記の該当する方法の実施例の具体な説明を参考してよく、ここでは繰り返して説明しない。
【０１３７】
本発明の各実施例の一態様において、上記の少なくとも２つの異なる検出フレームにおける目標オブジェクトの検出枠の位置は、異なる。
【０１３８】
本発明の各実施例の他の実施形態において、少なくとも１つのサンプルペア中の目標オブジェクトの検出枠の位置は、ランダムに配布されてもよく、または、所定のずれ量に従って均一に配布されてもよい。
【０１３９】
また、本発明の実施例によって提供される電子機器は、本発明の上記の任意の実施例の目標オブジェクト検出装置、または、目標オブジェクト検出ネットワークの訓練装置を備える。オプションとして、当該電子機器は、例えば、端末機器、または、サーバーなどの機器である。
【０１４０】
本発明の実施例によって提供される他の電子機器は、
実行可能命令を記憶するためのメモリと、
前記メモリと通信し、前記実行可能命令を実行して、上記の任意の実施例に記載の目標オブジェクト検出方法、または、目標オブジェクト検出ネットワークの訓練方法を実現するためのプロセッサと、を備える。
【０１４１】
図１２は、本発明による電子機器の実用例の構成を示す模式図である。以下、図１２を参考すると、本発明の実施例による端末機器またはサーバーを実現するのに適当な電子機器の構成を示す。図１２に示すように、当該電子機器は、１つのまたは複数のプロセッサおよび通信部などを備え、前記１つのまたは複数のプロセッサは、例えば、１つのまたは複数の中央処理ユニット（ＣＰＵ）、および／または、１つのまたは複数の画像プロセッサ（ＧＰＵ）などを含み、プロセッサは、読み取り専用メモリ（ＲＯＭ）に格納された実行可能命令、または、記憶部からランダムアクセスメモリ（ＲＡＭ）にロードされた実行可能命令に基づいて、各適宜な動作および処理を実行する。通信部は、ネットワークカードを含むが、これに限定されなく、前記ネットワークカードは、ＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含むが、これに限定されなく、プロセッサは、読み取り専用メモリおよび／またはランダムアクセスメモリと通信して、実行可能命令を実行し、バスを解して通信部と接続し、通信部を介して他の目標機器と通信することによって、本発明の実施例によって提供される任意の目標オブジェクト検出方法に対応するステップを実現する。当該目標オブジェクト検出方法に対応するステップは、例えば、ニューラルネットワークを利用して参考フレームの特徴および検出フレームの特徴をそれぞれ抽出するステップであって、前記検出フレームは、ビデオシーケンス中の、目標オブジェクト検出の実行待ちの現在フレームであるか、または、現在フレームにおける前記目標オブジェクトを含む可能性がある領域画像であり、前記参考フレームは、目標オブジェクトの検出枠が確定されたフレームにおける、目標オブジェクトの検出枠図像であり、当該フレームは、前記ビデオシーケンス中の検出時間順序が前記検出フレームの前に位置するフレームであり、前記参考フレームの画像サイズは、前記検出フレームよりも小さいステップと、前記ニューラルネットワーク中の少なくとも２つのネットワーク層から出力された少なくとも２組の特徴の中の各組の特徴を検出器にそれぞれ入力して、前記検出器によって対応的に出力された１組の検出結果を得るステップであって、各組の特徴には前記参考フレームの特徴および前記検出フレームの特徴を含み、各組の検出結果には前記目標オブジェクトの複数の候補枠の分類結果および回帰結果を含むステップと、前記少なくとも２組の特徴に対し前記検出器から出力された少なくとも２組の検出結果に基づいて、前記検出フレームにおける前記目標オブジェクトの検出枠を取得するステップと、を含む。あるいは、プロセッサは、読み取り専用メモリ、および／または、ランダムアクセスメモリと通信して、実行可能命令を実行し、バスを介して通信部と接続して、通信部を介して他の目標機器と通信して、本発明の実施例によって提供される任意の目標オブジェクト検出ネットワークの訓練方法に対応するステップを実現し、例えば、少なくとも１つのサンプルペアをニューラルネットワークに入力し、上記の任意の実施例に記載の目標オブジェクト検出方法により、サンプルペア中の検出フレームにおける目標オブジェクトの検出枠を出力し、ここで、各サンプルペアは、対応する１つの参考フレームおよび１つの検出フレームを含み、出力された前記検出フレームにおける目標オブジェクトの検出枠を予測検出枠として、前記検出フレームのラベル付き情報および前記予測検出枠に基づいて、前記ニューラルネットワークおよび前記検出器を訓練する。
【０１４２】
なお、ＲＡＭは、装置の操作に必要な各種類のプログラムおよびデータを格納する。ＣＰＵ、ＲＯＭ、および、ＲＡＭは、バスを介して互いに接続される。ＲＡＭが存在する場合には、ＲＯＭは、オプションのモジュールである。ＲＡＭは、実行可能命令を格納し、または、運行されるときに実行可能命令をＲＯＭに書き込み、実行可能命令がプロセッサによって本発明の上記の任意の方法に対応するステップを実行させる。入出力（Ｉ／Ｏ）インターフェースも、バスに接続される。通信部は、統合設置されるものであってもよく、複数のサブモジュール（例えば、複数のＩＢネットワークカード）を含み、且つ、バスに接続するように設置されるものであってもよい。
【０１４３】
Ｉ／Ｏインターフェースには、キーボード、マウスなどを含む入力部と、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）などおよびスピーカーなどを含む出力部と、ハードディスクなどを含む記憶部と、ＬＡＮカード、モデムなどを含むネットワークインターフェースカードの通信部と、が接続される。通信部は、インターネットなどのネットワークを介して、通信処理を実行する。ドライバは、必要に応じて、Ｉ／Ｏインターフェースに接続される。着脱自在な媒体は、磁気ディスク、光ディスク、磁光ディスク、半導体メモリなどであり、ドライバから読み取られたコンピュータプログラムを必要に応じて記憶部に装着するように、必要に応じてドライバ７１０に取り付ける。
【０１４４】
図１２に示すアーキテクチャは、オプションの実施例に過ぎず、実際に実現する過程で、必要に応じて、上記の図１２の部品の数や種類を、選択、削除、追加、および、置換することができ、異なる機能部品の配置は、単独的な配置または統合的な配置などの実施形態を採用してもよく、例えば、ＧＰＵとＣＰＵとを分離に配置してもよいし、ＧＰＵをＣＰＵに整合してもよく、通信部は、単独的な配置してもよく、ＣＰＵまたはＧＰＵに整合して配置してもよいことを説明する必要がある。これらの置換実施形態は、いずれも本発明の保護範囲に入る。
【０１４５】
特に、本発明の実施形態によれば、上記のフローチャートを参考して説明されたプロセスは、コンピュータソフトウェアプログラムとして実装され得る。例えば、本発明の実施例は、コンピュータプログラム製品を含み、当該コンピュータプログラム製品は、形式的にコンピューター可読媒体中のコンピュータプログラムを含み、前記コンピュータプログラムは、ローチャートに示す方法を実行するためのプログラムコードを含み、フプログラムコードは、本発明の実施例によって提供される顔の偽造防止の検出方法を対応的に実行する対応する指令を含む。このような実施例では、当該コンピュータプログラムは、通信部を介してネットワークからダウンロードしてインストールするか、および／または、着脱自在な記憶媒体からインストールする。当該コンピュータプログラムは、ＣＰＵによって実行されると、本発明の方法における上記機能が実現される。
【０１４６】
また、本発明の実施例は、コンピュータ可読コードを含むコンピュータプログラムをさらに提供し、前記コンピュータ可読コードが機器によって実行されると、前記機器のプロセッサによって、上記の任意の実施例を実現するための前記の目標オブジェクト検出方法、または、目標オブジェクト検出ネットワークの訓練方法が実行される。
【０１４７】
また、本発明の実施例は、コンピュータ可読の指令を記憶するためのコンピュータ可読記憶媒体をさらに提供し、前記指令が実行されると、上記の任意の実施例に記載の目標オブジェクト検出方法、または、目標オブジェクト検出ネットワークの訓練方法中の各ステップの操作が実行される。
本明細書の実施形態は、漸進的に記載されており、各実施形態は、他の実施形態との違いに焦点を合わせており、様々な実施形態間の同じまたは類似な部分を互いに参照することができる。装置およびシステムの実施形態については、方法の実施形態と基本的に対応されるので、説明が比較的簡単であり、関連する点は方法の実施形態の一部を参照されたい。
【０１４８】
本発明の方法および装置は、多くの方法で実施することができる。例えば、本発明の方法および装置は、ソフトウェア、ハードウェア、ファームウェア、または、ソフトウェアとハードウェアとファームウェアとの任意の組み合わせによって実現することができる。上記の方法のステップの順序は、説明するためのものであり、本明細書に記載の方法のステップは、上記で特に説明されていない限り、上記で特に説明された順序に限定されない。さらに、いくつかの実施形態で、本発明は、記録媒体に記録されたプログラムとして実施されることもでき、これらのプログラムは、本発明による方法を実施するための機械可読命令を含む。したがって、本発明は、本発明による方法を実行するためのプログラムを記憶する記録媒体もカバーする。
【０１４９】
本発明の説明は、例示および説明のために提供されたものであり、漏れがないわけではないし、また、本発明は開示された形態に限定されるものではない。多くの修正と変化は、当業者にとって明らかである。実施形態の選択および記述は、本発明の原理および実際の応用をより良く説明し、当業者が、本発明を理解して、特定の用途に適した様々な修正を伴う様々な実施形態を設計できるようにする。
【図１】
2021524093.tif 000003
【図２】
2021524093.tif 000004
【図３】
2021524093.tif 000005
【図４】
2021524093.tif 000006
【図５】
2021524093.tif 000007
【図６】
2021524093.tif 000008
【図７】
2021524093.tif 000009
【図８】
2021524093.tif 000010
【図９】
2021524093.tif 000011
【図１０】
2021524093.tif 000012
【図１１】
2021524093.tif 000013
【図１２】
2021524093.tif 000014
【手続補正書】
【提出日】令和2年11月12日(2020.11.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
目標オブジェクト検出方法であって、
ニューラルネットワークを利用して参考フレームの特徴および検出フレームの特徴をそれぞれ抽出するステップであって、前記検出フレームは、ビデオシーケンス中の、目標オブジェクト検出の実行待ちの現在フレームであるか、または、前記現在フレームにおける、前記目標オブジェクトを含む可能性がある領域画像であり、前記参考フレームは、目標オブジェクトの検出枠が確定されたフレームにおける、目標オブジェクトの検出枠図像であり、当該フレームは、前記ビデオシーケンス中で検出時間順序が前記検出フレームの前に位置するフレームであり、前記参考フレームの画像サイズは、前記検出フレームよりも小さいステップと、
前記ニューラルネットワーク中の少なくとも２つのネットワーク層から出力された少なくとも２組の特徴の中の各組の特徴を検出器に入力して、前記各組の特徴毎に、それぞれ、前記検出器によって対応的に出力された１組の検出結果を得るステップであって、前記各組の特徴は、前記参考フレームの特徴および前記検出フレームの特徴を含み、前記各組の検出結果は、前記目標オブジェクトの複数の候補枠の分類結果および回帰結果を含むステップと、
前記検出器が前記少なくとも２組の特徴に対して出力した少なくとも２組の検出結果に基づいて、前記検出フレームにおける前記目標オブジェクトの検出枠を確定するステップと、を含む
ことを特徴とする目標オブジェクト検出方法。 
【請求項２】
前記検出フレームにおける前記目標オブジェクトの検出枠を次の一つの参考フレームとして、前記ニューラルネットワークを利用して、前記次の一つの参考フレームの特徴、および、ビデオシーケンス中で時間順序が前記検出フレームの後に位置する次の一つの検出フレームの特徴を、それぞれ抽出するステップと、
前記ニューラルネットワーク中の少なくとも２つのネットワーク層から出力された少なくとも２組の特徴の中の各組の特徴を検出器にそれぞれ入力して、前記検出器によって対応的に出力された１組の検出結果を得るステップであって、前記各組の特徴は、前記次の一つの参考フレームの特徴および前記次の一つの検出フレームの特徴を含むステップと、
前記検出器が前記少なくとも２組の特徴に対して出力した少なくとも２組の検出結果に基づいて、前記次の一つの検出フレームにおける前記目標オブジェクトの検出枠を確定するステップと、をさらに含む
ことを特徴とする請求項１に記載の前記方法。 
【請求項３】
前記ニューラルネットワークは、複数の畳込み層を含み、前記ニューラルネットワーク中の少なくとも２つのネットワーク層から出力された少なくとも２組の特徴を検出器にそれぞれ入力するステップは、前記ニューラルネットワーク中の少なくとも２つの畳込み層から出力された少なくとも２組の特徴を検出器にそれぞれ入力するステップを含み、または、
前記ニューラルネットワークは、複数の畳込みブロックを含み、各畳込みブロックは、少なくとも１つの畳込み層を含み、前記ニューラルネットワーク中の少なくとも２つのネットワーク層から出力された少なくとも２組の特徴を検出器にそれぞれ入力するステップは、前記ニューラルネットワーク中の少なくとも２つの畳込みブロックから出力された少なくとも２組の特徴を検出器にそれぞれ入力するステップを含み、または、
前記ニューラルネットワークは、少なくとも１つの畳込みブロックおよび少なくとも１つの畳込み層を含み、各畳込みブロックは、少なくとも１つの畳込み層を含み、前記ニューラルネットワーク中の少なくとも２つのネットワーク層から出力された少なくとも２組の特徴を検出器にそれぞれ入力するステップは、前記ニューラルネットワーク中の少なくとも１つの畳込みブロックおよび少なくとも１つの畳込み層から出力された少なくとも２組の特徴を検出器にそれぞれ入力するステップを含む
ことを特徴とする請求項１または２に記載の前記方法。 
【請求項４】
前記検出フレームが、前記目標オブジェクト検出の実行待ちの現在フレームにおける、前記目標オブジェクトを含む可能性がある領域画像である場合、
前記方法は、
前記現在フレームから、前記参考フレームの中心点をその中心点とする、長さおよび／または幅が前記参考フレームの画像の長さおよび／または幅よりも大きい領域画像を、前記検出フレームとして切り取るステップをさらに含む
ことを特徴とする請求項１乃至３のいずれか１項に記載の前記方法。 
【請求項５】
前記ニューラルネットワーク中の１つのネットワーク層から出力された１組の特徴を検出器に入力して、前記各組の特徴毎に、それぞれ、前記検出器によって対応的に出力された１組の検出結果を得るステップは、
前記参考フレームの特徴に基づいて、検出器の分類重みおよび回帰重みを取得するステップと、
前記分類重みおよび前記回帰重みをそれぞれ利用して、前記検出フレームの特徴に対して処理を行って、前記検出器から出力された複数の候補枠の分類結果および回帰結果を得るステップと、を含む
ことを特徴とする請求項１乃至４のいずれか１項に記載の前記方法。 
【請求項６】
前記参考フレームの特徴に基づいて検出器の分類重みを取得するステップは、
前記検出器中の第１畳込み層を利用して前記参考フレームの特徴に対して畳込み操作を実行して、畳込み操作によって得られた第１特徴を前記検出器の分類重みとするステップを含み、
前記参考フレームの特徴に基づいて検出器の回帰重みを取得するステップは、
前記検出器中の第２畳込み層を利用して前記参考フレームの特徴に対して畳込み操作を実行して、畳込み操作によって得られた第２特徴を前記検出器の回帰重みとするステップを含み、
前記分類重みを利用して前記検出フレームの特徴に対して畳込み操作を実行して、複数の候補枠の分類結果を取得するステップは、
前記検出器中の第３畳込み層を利用して前記検出フレームの特徴に対して畳込み操作を実行して、第３特徴を取得するステップであって、前記第３特徴のチャネル数は、前記検出フレームの特徴のチャネル数と同一であるステップと、
前記分類重みを利用して前記第３特徴に対して畳込み操作を実行して、前記複数の候補枠の分類結果を取得するステップと、を含み、
前記回帰重み利用して前記検出フレームの特徴に対して畳込み操作を実行して、複数の候補枠の回帰結果を取得するステップは、
第４畳込み層を利用して前記検出フレームの特徴に対して畳込み操作を実行して、第４特徴を取得するステップであって、前記第４特徴のチャネル数は、前記検出フレームの特徴のチャネル数と同一であるステップと、
前記回帰重みを利用して前記第４特徴に対して畳込み操作を実行して、前記複数の候補枠の回帰結果を取得するステップと、を含む
ことを特徴とする請求項５に記載の前記方法。 
【請求項７】
前記分類重みおよび前記回帰重みをそれぞれ利用して前記検出フレームの特徴に対して処理を行って、前記検出器から出力された複数の候補枠の分類結果および回帰結果を得るステップは、
前記分類重みを利用して前記検出フレームの特徴に対して畳込み操作を実行して、前記複数の候補枠の分類結果を取得し、前記回帰重みを利用して前記検出フレームの特徴に対して畳込み操作を実行して、前記複数の候補枠の回帰結果を取得するステップと、を含む
ことを特徴とする請求項５または６に記載の前記方法。 
【請求項８】
前記参考フレームの特徴に基づいて検出器の分類重みを取得するステップは、
前記検出器中の第５畳込み層を利用して前記参考フレームの特徴に対して畳込み操作を実行して、畳込み操作によって得られたＬ個の第５特徴を前記検出器の分類重みとするであって、前記参考フレームの特徴のチャネル数は、Ｍ１であり、前記第５特徴のチャネル数は、Ｎ１であり、Ｍ１、Ｎ１、および、Ｌは、０よりも大きい整数であり、且つ、Ｍ１は、Ｎ１よりも大きいステップを含み、
前記分類重みを利用して前記検出フレームの特徴に対して処理を行って、前記検出器から出力された複数の候補枠の分類結果を取得するステップは、
前記検出器中の第６畳込み層を利用して前記検出フレームの特徴に対して畳込み操作を実行して、チャネル数がＮ１であるＬ個の第６特徴を取得するステップであって、前記検出フレームの特徴のチャネル数は、Ｍ２であり、Ｍ２は、０よりも大きい整数であり、且つ、Ｍ２は、Ｎ１よりも大きいステップと、
前記分類重みのＬ個の第５特徴の中の各特徴をそれぞれ利用して前記Ｌ個の第６特徴の中の対応する特徴に対して畳込み操作を実行して、Ｌ個の畳込み結果を取得するステップと、
前記検出器中の第７畳込み層を利用して前記Ｌ個の畳込み結果に対して畳込み操作を実行して、前記複数の候補枠の分類結果を取得するステップと、を含み、
前記参考フレームの特徴に基づいて検出器の回帰重みを取得するステップは、
前記検出器中の第８畳込み層を利用して前記参考フレームの特徴に対して畳込み操作を実行して、畳込み操作によって得られたＰ個のチャンネルの第８特徴を前記検出器の回帰重みとするステップであって、前記参考フレームの特徴のチャネル数は、Ｍ１であり、前記第８特徴のチャネル数は、Ｎ２であり、Ｍ１、Ｎ２、および、Ｐは、０よりも大きい整数であり、且つ、Ｍ１は、Ｎ２よりも大きいステップを含み、
前記回帰重みを利用して前記検出フレームの特徴に対して処理を行って、前記検出器から出力された複数の候補枠の回帰結果を取得するステップは、
前記検出器中の第９畳込み層を利用して前記検出フレームの特徴に対して畳込み操作を実行して、Ｐ個のチャネル数がＮ２である第９特徴を取得するステップであって、前記検出フレームの特徴のチャネル数は、Ｍ２であり、Ｍ２は、０よりも大きい整数であり、且つ、Ｍ２は、Ｎ２よりも大きいステップと、
前記回帰重み中のＰ個の第８特徴の中の各特徴をそれぞれ利用して前記Ｐ個の第９特徴の中の対応する特徴に対して畳込み操作を実行して、Ｐ個の畳込み結果を取得するステップと、
前記検出器中の第１０畳込み層を利用して前記Ｐ個の畳込み結果に対して畳込み操作を実行して、前記複数の候補枠の回帰結果を取得するステップと、を含む
ことを特徴とする請求項５に記載の前記方法前記。 
【請求項９】
Ｌ個の畳込み結果を取得するステップの後に、
前記Ｌ個の畳込み結果をつながるステップをさらに含み、
前記検出器中の第７畳込み層を利用して前記Ｌ個の畳込み結果に対して畳込み操作を実行するステップは、
前記検出器中の第７畳込み層を利用して、つながれたＬ個の畳込み結果に対して畳込み操作を実行するステップを含み、
Ｐ個の畳込み結果を取得するステップの後に、
前記Ｐ個の畳込み結果をつながるステップをさらに含み、
前記検出器中の第１０畳込み層を利用して前記Ｐ個の畳込み結果に対して畳込み操作を実行するステップは、
前記検出器中の第１０畳込み層を利用して、つながれたＰ個の畳込み結果に対して畳込み操作を実行するステップを含む
を特徴とする請求項８に記載の前記方法。 
【請求項１０】
前記検出器から出力された少なくとも２組の検出結果に基づいて、前記検出フレームにおける前記目標オブジェクトの検出枠を確定するステップは、
前記少なくとも２組の検出結果中の分類結果に対して、重み付け、平均、または、重み付け平均を実行して、複数の候補枠の統括分類結果を取得し、および／または、前記少なくとも２組の検出結果中の回帰結果に対して、重み付け、平均、または、重み付け平均を実行して、複数の候補枠の統括回帰結果を取得するステップと、
前記複数の候補枠の統括分類結果および統括回帰結果に基づいて、前記検出フレームにおける前記目標オブジェクトの検出枠を取得するステップと、を含み、
前記複数の候補枠の統括分類結果および統括回帰結果に基づいて、前記検出フレームにおける前記目標オブジェクトの検出枠を取得するステップは、
前記複数の候補枠の統括分類結果および統括回帰結果に基づいて、前記複数の候補枠から１つの候補枠を選択し、選択された候補枠の統括回帰結果中のずれ量に基づいて、前記選択された候補枠に対して回帰を実行して、前記検出フレームにおける前記目標オブジェクトの検出枠を取得するステップを含み、
前記複数の候補枠の統括分類結果および統括回帰結果に基づいて、前記複数の候補枠から１つの候補枠を選択するステップは、
前記統括分類結果の重み係数および前記統括回帰結果の重み係数に基づいて、前記複数の候補枠から１つの候補枠を選択するステップを含む
ことを特徴とする請求項１から９のいずれか１項に記載の前記方法。 
【請求項１１】
複数の候補枠の統括回帰結果を取得するステップの後に、
前記候補枠の統括回帰結果にそれぞれ基づいて、統括分類結果を調整するステップをさらに含み、
前記複数の候補枠の統括分類結果および統括回帰結果に基づいて、前記複数の候補枠から１つの候補枠を選択するステップは、
調整された統括分類結果に基づいて、前記複数の候補枠から１つの候補枠を選択するステップを含む
を特徴とする請求項１０に記載の前記方法。 
【請求項１２】
目標オブジェクト検出ネットワークの訓練方法であって、
少なくとも１つのサンプルペアをニューラルネットワークに入力し、請求項１乃至２３のいずれか１項に記載の目標オブジェクト検出方法を利用して、サンプルペア中の検出フレームにおける目標オブジェクトの検出枠を出力するステップであって、各サンプルペアは、対応する１つの参考フレームおよび１つの検出フレームを含むステップと、
出力された前記検出フレームにおける目標オブジェクトの検出枠を予測検出枠として、前記検出フレームのラベル付き情報および前記予測検出枠に基づいて、前記ニューラルネットワークおよび前記検出器を訓練するステップと、を含む
ことを特徴とする目標オブジェクト検出ネットワークの訓練方法。 
【請求項１３】
前記少なくとも２つの異なる検出フレームにおける目標オブジェクトの検出枠の位置は、異なる
ことを特徴とする請求項１２に記載の前記方法。 
【請求項１４】
前記少なくとも１つのサンプルペア中の目標オブジェクトの検出枠の位置は、ランダムに配布されるか、または、所定のずれ量に従って均一に配布される
ことを特徴とする請求項１２または１３前記の方法。 
【請求項１５】
目標オブジェクト検出装置であって、
参考フレームの特徴および検出フレームの特徴をそれぞれ抽出するためのニューラルネットワークであって、前記検出フレームは、ビデオシーケンス中の、目標オブジェクト検出の実行待ちの現在フレームであるか、または、前記現在フレームにおける、前記目標オブジェクトを含む可能性がある領域画像であり、前記参考フレームは、目標オブジェクトの検出枠が確定されたフレームにおける、目標オブジェクトの検出枠図像であり、当該フレームは、前記ビデオシーケンス中で検出時間順序が前記検出フレームの前に位置するフレームであり、前記参考フレームの画像サイズは、前記検出フレームよりも小さいニューラルネットワークと、
前記ニューラルネットワーク中の少なくとも２つのネットワーク層から出力された少なくとも２組の特徴の中の各組の特徴を受信し、前記各組の特徴に対してそれぞれ１組の検出結果を出力するための検出器であって、前記各組の特徴は、前記参考フレームの特徴および前記検出フレームの特徴を含み、前記各組の検出結果は、前記目標オブジェクトの複数の候補枠の分類結果および回帰結果を含む検出器と、
前記検出器が前記少なくとも２組の特徴に対して出力した少なくとも２組の検出結果に基づいて、前記検出フレームにおける前記目標オブジェクトの検出枠を確定するための取得モジュールと、を備える
ことを特徴とする目標オブジェクト検出装置。 
【請求項１６】
目標オブジェクト検出ネットワークの訓練装置であって、
請求項１５に記載の前記目標オブジェクト検出装置を含み、少なくとも１つのサンプルペアを受信し、サンプルペア中の検出フレームにおける目標オブジェクトの検出枠を出力するための目標オブジェクト検出ネットワークであって、サンプルペアごとに対応する１つの参考フレームおよび１つの検出フレームを含む、目標オブジェクト検出ネットワークと、
出力された前記検出フレームにおける目標オブジェクトの検出枠を予測検出枠として、前記検出フレームのラベル付き情報および前記予測検出枠に基づいて、前記ニューラルネットワークおよび前記検出器を訓練するための訓練モジュールと、を備える
ことを特徴とする目標オブジェクト検出ネットワークの訓練装置。 
【請求項１７】
電子機器であって、
コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されているコンピュータプログラムを実行するためのプロセッサであって、前記コンピュータプログラムが実行されると、請求項１乃至１４のいずれか１項に記載の前記方法が実現されるプロセッサと、を備える
ことを特徴とする電子機器。 
【請求項１８】
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
当該コンピュータプログラムがプロセッサによって実行されると、請求項１乃至１４のいずれか１項に記載の前記方法が実現される
ことを特徴とするコンピュータ可読記憶媒体。
【国際調査報告】
2021524093.tif 000015
2021524093.tif 000016
2021524093.tif 000017
2021524093.tif 000018