(57)【要約】  本開示は、コンピュータによって実行される複数対象を検出するための非極大値抑制方法、装置、デバイスおよびコンピュータ読み取り可能な記憶媒体を提供する。複数対象を検出するための非極大値抑制方法は、複数の検出対象の類別と信頼スコアとを取得し、信頼スコアに基づいて前記複数の検出対象を並べて、検出キューを取得することと、検出キュー内の第1の検出対象を取得し、第1の検出対象の信頼スコアが類別プリセット条件を満たすか否かを判断することと、第1の検出対象の信頼スコアがその属する類別の類別プリセット条件を満たす場合、第1の検出対象に対応する第1の検出枠が、複数の検出対象のうちの第2の検出対象に対応する第2の検出枠と重なるか否かを判断することと、第1の検出対象と第2の検出枠とが重なる場合、第1の検出対象と第2の検出対象が同じ類別であるか否かを判断し、判断結果に応じて対応する抑制アルゴリズムを用いて第2の検出対象が抑制されているか否かを判断することとを含む。
2021533429.tif 000002
【特許請求の範囲】
【請求項１】
複数検出対象の類別と信頼スコアとを取得し、前記信頼スコアに基づいて前記複数検出対象を並べて、検出キューを取得することと、
前記検出キュー内の第1の検出対象を取得して前記第1の検出対象の信頼スコアが、その属する類別の類別プリセット条件を満たすか否かを判断することと、
前記第1の検出対象の信頼スコアがその属する類別の類別プリセット条件を満たす場合、前記第1の検出対象に対応する第1の検出枠が、前記複数の検出対象のうちの第2の検出対象に対応する第2の検出枠と重なるか否かを検出し、ここでは前記第2の検出対象の信頼スコアは前記第1の検出対象の信頼スコアより小さく、
前記第1の検出枠と前記第2の検出枠とが重なる場合、前記第1の検出対象と前記第2の検出対象が同一の類別であるか否かを判断し、判断結果に基づいて対応する抑制アルゴリズムを用いて、前記第2の検出対象が抑制されているか否かを判断し、
前記第2の検出対象が抑制される場合、前記検出キューから前記第1の検出対象と前記第2の検出対象を除外し、
前記第2の検出対象が保留されている場合、前記検出キューから前記第1の検出対象を除去することと、
を含む
コンピュータによって実行される複数対象を検出するための非極大値抑制方法。
【請求項２】
前記第1の検出対象の信頼スコアが、その属する類別の類別プリセット条件を満たすか否かを判断するステップは、
前記第1の検出対象の信頼スコアが第1の閾値よりも大きいか否かを判断し、
前記第1の検出対象の信頼スコアが前記第1の閾値より大きい場合、前記第1の検出対象の信頼スコアが前記第2の閾値より大きいか否かを判断し、THR2= ave1-γ×std1であり、THR2は第2の閾値を表し、γは1から3の間の任意の値から選択し、ave1は前記第1の検出対象が属する類別内の各検出対象の平均値を表し、std1は前記第1の検出対象が属する類別内の各検出対象の信頼スコアの分散を表し、
前記第1の検出対象の信頼スコアが前記第2の閾値より大きい場合、前記第1の検出対象が、その属する類別が前記検出キュー内で最初に処理される検出対象であるか否かを判断し、
前記第1の検出対象は、その属する類別が前記検出キュー内において最初に処理される検出対象ではない場合、前記第1の検出対象の信頼スコアおよびその属するものと同一の類別の、1つ前に処理された検出対象の信頼スコアとの差が第3の閾値より小さいか否かを判断し、前記差が前記第3の閾値より小さい場合、前記第1の検出対象に対応する第1の検出枠が、前記複数の検出対象のうちの第2の検出対象に対応する第2の検出枠と重複しているか否かを判断することを実行する、というステップを含む
請求項1に記載のコンピュータによって実行される複数対象を検出するための非極大値抑制方法。
【請求項３】
前記第1の検出枠と前記第2の検出枠とが重なる場合、前記第1の検出対象と前記第2の検出対象が同じ類別であるか否かを判断し、判断結果に応じて対応する抑制アルゴリズムを選択して前記第2の検出対象が抑制されているか否かを判断するステップは、
前記第1の検出対象と前記第2の検出対象の類別が同じ類別であるか否かを判断することと、
前記第1の検出対象と前記第2の検出対象が同じ類別である場合、前記第1の検出対象および前記第2の検出対象各々の信頼スコアとその属する類別の第1のプリセット類別閾値の大きさの関係、および前記第1の検出枠と前記第2の検出枠の重なる面積が前記第1の検出枠の面積と前記第2の検出枠の面積にそれぞれ占めるパーセンテージ値に基づき、前記第2の検出対象が抑制されているか否かを判断し、前記第1の検出枠と前記第2の検出枠の重なる面積が前記第1の検出枠の面積と前記第2の検出枠の面積にそれぞれ占めるパーセンテージ値を、それぞれ第1のパーセンテージ値と第2のパーセンテージ値と記すことと、
前記第1の検出対象と前記第2の検出対象が同一の類別ではない場合、前記第1の検出対象および前記第2の検出対象各々の信頼スコアとその属する類別の前記第1のプリセット類別閾値との大きさの関係、前記第1のパーセンテージ値と前記第2のパーセンテージ値、および前記第2の検出対象の信頼スコアと前記第2のプリセット類別閾値との大きさの関係に基づいて、前記第2の検出対象が抑制されているか否かを判断することと、を含む
請求項2に記載のコンピュータによって実行される複数対象を検出するための非極大値抑制方法。
【請求項４】
前記第1の検出対象と前記第2の検出対象が同じ類別である場合、前記第1の検出対象および前記第2の検出対象各々の信頼スコアとその属する類別の第1のプリセット類別閾値の大きさの関係と、前記第1のパーセンテージ値および前記第2のパーセンテージ値に基づき、前記第2の検出対象が抑制されているか否かを判断するステップは、
前記第1の検出対象および前記第2の検出対象各々の信頼スコアが、前記第1の検出対象および前記第2の検出対象両者の属する類別の前記第1のプリセット類別閾値よりいずれも大きい否かを判断し、ここではTHR4= ave1+2×std1であり、ここでTHR4は前記第1の検出対象と前記第2の検出対象が属する類別の第1のプリセット類別閾値を表し、ave1は、前記第1の検出対象が属する類別における各検出対象の信頼スコアの平均値を表し、std1は、前記第1の検出対象が属する類別における各検出対象の信頼スコアの分散を表し、
前記第1の検出対象および前記第2の検出対象各々の信頼スコアがいずれも前記第1のプリセット類別閾値より大きい場合、前記第2の検出対象が保留され、
前記第2の検出対象の信頼スコアが前記第1のプリセット類別閾値より小さい場合、第1のパーセンテージ値および第2のパーセンテージ値を算出し、前記第1のパーセンテージ値および前記第2のパーセンテージ値のうちの大きい方のパーセンテージ値が第1のプリセットパーセンテージ値より大きいか否かを判断し、前記第1のパーセンテージ値および前記第2のパーセンテージ値のうちの大きい方のパーセンテージ値が前記第1のプリセットパーセンテージ値より大きい場合、前記第2の検出対象を抑制し、そうでない場合は、前記第2の検出対象が保留される、ことを含む
請求項3に記載のコンピュータによって実行される複数対象を検出するための非極大値抑制方法。
【請求項５】
前記第1の検出対象と前記第2の検出対象が同じ類別でない場合、前記第1の検出対象および前記第2の検出対象各々の信頼スコアとその属する類別の前記第1のプリセット類別閾値の大きさの関係と、前記第1のパーセンテージ値および前記第2のパーセンテージ値と、前記第2の検出対象の信頼スコアと第2のプリセット類別閾値の大きさの関係に基づき、前記第2の検出対象が抑制されているか否かを判断するステップは、
前記第1の検出対象の信頼スコアと前記第2の検出対象の信頼スコアが、各々属する類別の第1のプリセット類別閾値よりいずれも大きいか否かを判断し、
前記第1の検出対象の信頼スコアおよび前記第2の検出対象の信頼スコアが、各々属する類別の第1のプリセット類別閾値よりいずれも大きい場合、前記第2の検出対象が保留され、
前記第2の検出対象の信頼スコアが、その属する類別の第1のプリセット類別閾値より小さい場合、前記第1のパーセンテージ値と前記第2のパーセンテージ値を取得し、前記第1のパーセンテージ値と前記第2のパーセンテージ値がいずれも第2のプリセットパーセンテージ値より大きいか否かを判断し、
前記第1のパーセンテージ値および前記第2のパーセンテージ値がいずれも前記第2のプリセットパーセンテージ値より大きい場合、前記第2の検出対象が保留され、
前記第1のパーセンテージ値および前記第2のパーセンテージ値のうちの少なくとも一方が前記第2のプリセットパーセンテージ値以下である場合、前記第1のパーセンテージ値が第3のプリセットパーセンテージ値より大きいか否かを判断し、前記第2の検出対象の信頼スコアが、前記第2のプリセット類別閾値より小さいか否かを検出し、THR5=ave2-γ×std2であり、ここでTHR5は前記第2の検出対象が属する類別の第2のプリセット類別閾値であり、γは1から3の間の任意の値から選択し、ave2は、前記第2の検出対象が属する類別における各検出対象の信頼スコアの平均値を表し、std2は、前記第2の検出対象が属する類別における各検出対象の信頼スコア分散を表し、
前記第1のパーセンテージ値が第3のプリセットパーセンテージ値より大きく、かつ前記第2の検出対象の信頼スコアが第2のプリセット類別閾値より小さいと判断した場合、前記第2の検出対象が抑制され、そうでない場合は、第2の検出対象が保留され、
前記第1のパーセンテージ値が第3のプリセットパーセンテージ値以下であり、かつ前記第1のパーセンテージ値が第4のプリセットパーセンテージ値より大きいと判断した場合、前記第2の検出対象が抑制され、そうでない場合は、前記第2の検出対象が保留される、ことを含む
請求項3に記載のコンピュータによって実行される複数対象を検出するための非極大値抑制方法。
【請求項６】
複数検出対象の類別と信頼スコアとを取得し、前記信頼スコアに基づいて前記複数の検出対象を並べて、検出キューを得る取得回路と、
前記検出キューにおける第1の検出対象を取得し、前記第1の検出対象の信頼スコアが、その属する類別の類別プリセット条件を満たすか否かを判断する第1の判断回路と、
前記第1の判断回路が、前記第1の検出対象の信頼スコアが、その属する類別の類別プリセット条件を満たすと判断した場合、前記第1の検出対象に対応する第1の検出枠が前記複数の検出対象のうちの第2の検出対象に対応する第2の検出枠と重なるか否かを判断し、ここでは前記第2の検出対象の信頼スコアは前記第1の検出対象の信頼スコアより小さい、第2の判断回路と、
前記第2の判断回路が、前記第1の検出枠が前記第2の検出枠と重なると判断した場合、前記第1の検出対象と前記第2の検出対象とが同じ類別であるか否かを判断し、判断結果に応じて対応する抑制アルゴリズムを用いて前記第2の検出対象が抑制されているか否かを判断する第3の判断回路と、
前記第3の判断サブ回路が、前記第2の検出対象が抑制されていると判断した場合、前記第2の検出対象を抑制する抑制回路と、を含む
複数対象を検出するための非極大値抑制装置。
【請求項７】
前記第1の判断回路は、
前記第1の検出対象の信頼スコアが第1の閾値より大きいか否かを判断する検出第1の判断サブ回路と、
前記第1の判断サブ回路が、前記第1の検出対象の信頼スコアが前記第1の閾値より大きいと判断した場合、前記第1の検出対象の信頼スコアが第2の閾値より大きいか否かを判断し、ここではTHR2= ave1-γ×std1であり、THR2は第2の閾値を表し、γは1から3の間の任意の値から選択し、ave1は前記第1の検出対象が属する類別における各検出対象の信頼スコアの平均値を表し、std1は前記第1の検出対象が属する類別における各検出対象の信頼スコアの分散を表す、第2の判断サブ回路と、
前記第2の判断サブ回路が、前記第1の検出対象の信頼スコアが前記第2の閾値より大きいと判断した場合、前記第1の検出対象が、その属する類別が前記検出キューにおいて最初に処理される検出対象であるか否かを検出する第3の判断サブ回路と、
前記第3の判断サブ回路が、前記第1の検出対象はその属する類別が前記検出キューにおいて最初に処理される検出対象ではないと判断し、前記第1の検出対象の信頼スコアと、それが属するものと同一の類別の、1つ前に処理された検出対象の信頼スコアとの差が第3の閾値より小さいか否かを判断する第4の検出サブ回路と、を含む
請求項6に記載の複数対象を検出するための非極大値抑制装置。
【請求項８】
前記第3の判断回路は、
前記第1の検出対象と前記第2の検出対象とが同じ類別であるか否かを判断する第5の判断サブ回路と、
前記第5の判断サブ回路が、前記第1の検出対象は前記第2の検出対象と同じ類別であると判断した場合、前記第1の検出対象および前記第2の検出対象各々の信頼スコアとその属する類別の第1のプリセット類別閾値の大きさの関係と、前記第1の検出枠と前記第2の検出枠の重なる面積が前記第1の検出枠の面積と前記第2の検出枠の面積にそれぞれ占めるパーセンテージ値に基づき、第2の検出対象が抑制されているか否かを判断し、ここでは第1の検出対象と前記第2の検出対象の検出枠の重なる面積の、各々の検出枠の面積にそれぞれ占めるパーセンテージ値を第1のパーセンテージ値と第2のパーセンテージ値と記す、第6の判断サブ回路と、
前記第5の判断サブ回路が、前記第1の検出対象と前記第2の検出対象とが同じ類別でないと判断した場合、前記第1の検出対象および前記第2の検出対象各々の信頼スコアとその属する類別の前記第1のプリセット類別閾値の大きさの関係と、前記第1のパーセンテージ値および前記第2のパーセンテージ値と、前記第2の検出対象の信頼スコアと第2のプリセット類別閾値の大きさの関係に基づき、前記第2の検出対象が抑制されているか否かを判断する第7の判断検出サブ回路と、を含む
請求項7に記載の複数対象を検出するための非極大値抑制装置。
【請求項９】
前記第6の判断サブ回路はさらに、前記第1の検出対象および前記第2の検出対象各々の信頼スコアがいずれも前記第1の検出対象および前記第2の検出対象両者が属する類別の前記第1のプリセット類別閾値より大きいか否かを判断し、ここではTHR4= ave1+2×std1であり、ここでTHR4は前記第1の検出対象と前記第2の検出対象が属する類別の第1のプリセット類別閾値を表し、ave1は前記第1の検出対象が属する類別における各検出対象の信頼スコアの平均値を表し、std1は前記第1の検出対象が属する類別における各検出対象の信頼スコアの分散を表し、
前記第1の検出対象および前記第2の検出対象各々の信頼スコアがいずれも前記第1のプリセット類別閾値より大きい場合、前記第2の検出対象を保留し、
前記第2の検出対象の信頼スコアが前記第1のプリセット類別閾値より小さい場合、第1のパーセンテージ値および第2のパーセンテージ値を算出し、前記第1のパーセンテージ値および前記第2のパーセンテージ値のうちの大きい方のパーセンテージ値が第1のプリセットパーセンテージ値より大きいか否かを判断し、前記第1のパーセンテージ値および前記第2のパーセンテージ値のうちの大きい方のパーセンテージ値が前記第1のプリセットパーセンテージ値より大きい場合、前記第2の検出対象を抑制し、そうでない場合は、前記第2の検出対象が保留される
請求項8に記載の複数対象を検出するための非極大値抑制装置。
【請求項１０】
前記第7の判断サブ回路はさらに、前記第1の検出対象の信頼スコアと前記第2の検出対象の信頼スコアがいずれも各々が属する類別の第1のプリセット類別閾値よりも大きいか否かを判断し、
前記第1の検出対象の信頼スコアと前記第2の検出対象の信頼スコアがいずれも各々が属する類別の第1のプリセット類別閾値より大きい場合、前記第2の検出対象を保留し、
前記第2の検出対象の信頼スコアが、その属する類別の第1のプリセット類別閾値より小さい場合、前記第1のパーセンテージ値と前記第2のパーセンテージ値を取得し、前記第1のパーセンテージ値と前記第2のパーセンテージ値がいずれも第2のプリセットパーセンテージ値より大きいか否かを判断し、
前記第1のパーセンテージ値および前記第2のパーセンテージ値がいずれも前記第2のプリセットパーセンテージ値より大きい場合、前記第2の検出対象を抑制し、
前記第1のパーセンテージ値および前記第2のパーセンテージ値のうちの少なくとも一方が前記第2のプリセットパーセンテージ値以下である場合、前記第1のパーセンテージ値が第3のプリセットパーセンテージ値より大きいか否かを判断し、前記第2の検出対象の信頼スコアが前記第2のプリセット類別閾値より小さいか否かを判断し、THR5=ave2-γ×std2であり、ここでTHR5は前記第2の検出対象が属する類別の第2のプリセット類別閾値であり、γは1から3の間の任意の値から選択し、ave2は、前記第2の検出対象が属する類別における各検出対象の信頼スコアの平均値を表し、std2は、前記第2の検出対象が属する類別における各検出対象の信頼スコアの分散を表し、
前記第1のパーセンテージ値が第3のプリセットパーセンテージ値より大きく、かつ前記第2の検出対象の信頼スコアが第2のプリセット類別閾値より小さいと判断した場合、前記第2の検出対象を抑制し、そうでない場合は、前記第2の検出対象を保留し、
前記第1のパーセンテージ値が第3のプリセットパーセンテージ値以下であり、かつ前記第1のパーセンテージ値が第4のプリセットパーセンテージ値より大きいと判断した場合、前記第2の検出対象を抑制し、そうでない場合は、前記第2の検出対象を保留する
請求項8に記載の複数対象を検出するための非極大値抑制装置。
【請求項１１】
メモリと、1つ以上のプロセッサと、前記メモリに記憶されたコンピュータ指令とを含み、前記プロセッサは、前記コンピュータ指令を実行するとき、請求項1〜5のいずれか1項に記載の方法の1つ以上のステップを実行するように構成される
複数対象を検出するための非極大値抑制デバイス。
【請求項１２】
プロセッサによって実行されるときに、請求項1〜5のいずれか1項に記載の方法の1つ以上のステップを実行するコンピュータ指令が記憶された
コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示はコンピュータ技術分野に関し、より具体的には、複数対象を検出する非極大値抑制方法、装置、デバイスおよびコンピュータ読み取り可能な記憶媒体に関するものである。
【背景技術】
【０００２】
非極大値抑制（Non-Maximum Suppression,NMS）は、コンピュータビジョンにおける重要な部分である。コンピュータビジョンタスクでは、画像全体において有効な特徴点を抽出するために非極大値抑制が常用されており、その後、局所探索が行われ、局所スコアが最も高い特徴点を抽出する。
【０００３】
密集分布した複数対象の検出について述べれば、ヒューリスティック・ウィンドウ融合アルゴリズムは多数の検出漏れを招きやすく、平均値シフト非極大値抑制は、計算が複雑で、リアルタイム検出に不利である。現在のグリーディ戦略の非極大値は、顔検出、歩行者検出などの単一類別の対象検出精度の向上には比較的よい効果があるが、多様な類別の密集した分布の複数対象の検出精度の向上には限界がある。
【発明の概要】
【０００４】
一態様において、本開示は、複数検出対象の類別と信頼スコアとを取得し、前記信頼スコアに基づいて前記複数検出対象を並べて、検出キューを取得することと、前記検出キュー内の第1の検出対象を取得して前記第1の検出対象の信頼スコアが、その属する類別の類別プリセット条件を満たすか否かを判断することと、前記第1の検出対象の信頼スコアがその属する類別の類別プリセット条件を満たす場合、前記第1の検出対象に対応する第1の検出枠が、前記複数の検出対象のうちの第2の検出対象に対応する第2の検出枠と重なるか否かを検出し、ここでは前記第2の検出対象の信頼スコアは前記第1の検出対象の信頼スコアより小さく、前記第1の検出枠と前記第2の検出枠とが重なる場合、前記第1の検出対象と前記第2の検出対象が同一の類別であるか否かを判断し、判断結果に基づいて対応する抑制アルゴリズムを用いて、前記第2の検出対象が抑制されているか否かを判断し、前記第2の検出対象が抑制される場合、前記前記検出キューから前記第1の検出対象と前記第2の検出対象を除外し、前記第2の検出対象が保留されている場合、前記検出キューから前記第1の検出対象を除去することと、を含むコンピュータによって実行される複数対象を検出するための非極大値抑制方法を提供する。
【０００５】
本開示の一実施例によれば、前記第1の検出対象の信頼スコアが、その属する類別の類別プリセット条件を満たすか否かを判断するステップは、前記第1の検出対象信頼スコアが第1の閾値よりも大きいか否かを判断し、前記第1の検出対象の信頼スコアが前記第1の閾値より大きい場合、前記第1の検出対象の信頼スコアが前記第2の閾値より大きいか否かを判断し、THR2= ave1-γ×std1であり、THR2は第2の閾値を表し、γは1から3の間の任意の値から選択し、ave1は前記第1の検出対象が属する類別内の各検出対象の平均値を表し、std1は前記第1の検出対象が属する類別内の各検出対象の信頼スコアの分散を表し、前記第1の検出対象の信頼スコアが前記第2の閾値より大きい場合、前記第1の検出対象が、その属する類別が前記検出キュー内で最初に処理される検出対象であるか否かを判断し、前記第1の検出対象は、その属する類別が前記検出キュー内において最初に処理される検出対象ではない場合、前記第1の検出対象の信頼スコアおよびその属するものと同一の類別の、1つ前に処理された検出対象の信頼スコアとの差が第3の閾値より小さいか否かを判断し、前記差が前記第3の閾値より小さい場合、前記第1の検出対象に対応する第1の検出枠が、前記複数の検出対象のうちの第2の検出対象に対応する第2の検出枠と重複しているか否かを判断することを実行する、というステップを含む。
【０００６】
本開示の一実施例によれば、前記第1の検出枠と前記第2の検出枠とが重なる場合、前記第1の検出対象と前記第2の検出対象が同じ類別であるか否かを判断し、判断結果に応じて対応する抑制アルゴリズムを選択して前記第2の検出対象が抑制されているか否かを判断するステップは、前記第1の検出対象と前記第2の検出対象が同じ類別であるか否かを判断することと、前記第1の検出対象と前記第2の検出対象が同じ類別である場合、前記第1の検出対象および前記第2の検出対象各々の信頼スコアとその属する類別の第1のプリセット類別閾値の大きさの関係、および前記第1の検出枠と前記第2の検出枠の重なる面積が前記第1の検出枠の面積と前記第2の検出枠の面積にそれぞれ占めるパーセンテージ値に基づき、前記第2の検出対象が抑制されているか否かを判断し、前記第1の検出枠と前記第2の検出枠の重なる面積が前記第1の検出枠の面積と前記第2の検出枠の面積にそれぞれ占めるパーセンテージ値を、それぞれ第1のパーセンテージ値と第2のパーセンテージ値と記すことと、前記第1の検出対象と前記第2の検出対象が同じ類別ではない場合、前記第1の検出対象および前記第2の検出対象各々の信頼スコアおよびその属する類別の前記第1のプリセット類別閾値との大きさの関係、前記第1のパーセンテージ値と前記第2のパーセンテージ値、および前記第2の検出対象の信頼スコアと前記第2のプリセット類別閾値との大きさの関係に基づいて、前記第2の検出対象が抑制されているか否かを判断することと、を含む。
【０００７】
本開示の一実施例によれば、前記第1の検出対象と前記第2の検出対象が同じ類別である場合、前記第1の検出対象および前記第2の検出対象各々の信頼スコアとその属する類別の第1のプリセット類別閾値の大きさの関係と、前記第1のパーセンテージ値および前記第2のパーセンテージ値に基づき、前記第2の検出対象が抑制されているか否かを判断するステップは、前記第1の検出対象および前記第2の検出対象各々の信頼スコアが、前記第1の検出対象および前記第2の検出対象両者の属する類別の前記第1のプリセット類別閾値よりいずれも大きい否かを判断し、ここではTHR4= ave1+2×std1であり、ここでTHR4は前記第1の検出対象と前記第2の検出対象が属する類別の第1のプリセット類別閾値を表し、ave1は、前記第1の検出対象が属する類別における各検出対象の信頼スコアの平均値を表し、std1は、前記第1の検出対象が属する類別における各検出対象の信頼スコアの分散を表し、前記第1の検出対象および前記第2の検出対象各々の信頼スコアがいずれも前記第1のプリセット類別閾値より大きい場合、前記第2の検出対象が保留され、前記第2の検出対象の信頼スコアが前記第1のプリセット類別閾値より小さい場合、第1のパーセンテージ値および第2のパーセンテージ値を算出し、前記第1のパーセンテージ値および前記第2のパーセンテージ値のうちの大きい方のパーセンテージ値が第1のプリセットパーセンテージ値より大きいか否かを判断し、前記第1のパーセンテージ値および前記第2のパーセンテージ値のうちの大きい方のパーセンテージ値が前記第1のプリセットパーセンテージ値より大きい場合、前記第2の検出対象を抑制し、そうでない場合は、前記第2の検出対象が保留される、ことを含む。
【０００８】
本開示の一実施例によれば、前記第1の検出対象と前記第2の検出対象が同じ類別でない場合、前記第1の検出対象および前記第2の検出対象各々の信頼スコアとその属する類別の前記第1のプリセット類別閾値の大きさの関係と、前記第1のパーセンテージ値および前記第2のパーセンテージ値と、前記第2の検出対象の信頼スコアと第2のプリセット類別閾値の大きさの関係に基づき、前記第2の検出対象が抑制されているか否かを判断するステップは、前記第1の検出対象の信頼スコアと前記第2の検出対象の信頼スコアが、各々属する類別の第1のプリセット類別閾値よりいずれも大きいか否かを判断し、前記第1の検出対象の信頼スコアおよび前記第2の検出対象の信頼スコアが、各々属する類別の第1のプリセット類別閾値よりいずれも大きい場合、前記第2の検出対象が保留され、前記第2の検出対象の信頼スコアが、その属する類別の第1のプリセット類別閾値より小さい場合、前記第1のパーセンテージ値と前記第2のパーセンテージ値を取得し、前記第1のパーセンテージ値と前記第2のパーセンテージ値がいずれも第2のプリセットパーセンテージ値より大きいか否かを判断し、前記第1のパーセンテージ値および前記第2のパーセンテージ値がいずれも前記第2のプリセットパーセンテージ値より大きい場合、前記第2の検出対象が抑制され、前記第1のパーセンテージ値および前記第2のパーセンテージ値のうちの少なくとも一方が前記第2のプリセットパーセンテージ値以下である場合、前記第1のパーセンテージ値が第3のプリセットパーセンテージ値より大きいか否かを判断し、前記第2の検出対象の信頼スコアが、前記第2のプリセット類別閾値より小さいか否かを検出し、THR5=ave2-γ×std2であり、ここでTHR5は前記第2の検出対象が属する類別の第2のプリセット類別閾値であり、γは1から3の間の任意の値から選択し、ave2は、前記第2の検出対象が属する類別における各検出対象の信頼スコアの平均値を表し、std2は、前記第2の検出対象が属する類別における各検出対象の信頼スコアの分散を表し、前記第1のパーセンテージ値が第3のプリセットパーセンテージ値より大きく、かつ前記第2の検出対象の信頼スコアが第2のプリセット類別閾値より小さいと判断した場合、前記第2の検出対象が抑制され、そうでなければ、前記第2の検出対象が保留され、前記第1のパーセンテージ値が第3のプリセットパーセンテージ値以下であり、かつ前記第1のパーセンテージ値が第4のプリセットパーセンテージ値より大きいと判断した場合、前記第2の検出対象が抑制され、そうでない場合は、前記第2の検出対象が保留される、ことを含む。
【０００９】
別の態様において、本開示は、複数検出対象の類別と信頼スコアとを取得し、前記信頼スコアに基づいて前記複数の検出対象を並べて、検出キューを得る取得回路と、前記検出キューにおける第1の検出対象を取得し、前記第1の検出対象の信頼スコアが、その属する類別の類別プリセット条件を満たすか否かを判断する第1の判断回路と、前記第1の判断回路が、前記第1の検出対象の信頼スコアが、その属する類別の類別プリセット条件を満たすと判断した場合、前記第1の検出対象に対応する第1の検出枠が前記複数の検出対象のうちの第2の検出対象に対応する第2の検出枠と重なるか否かを判断し、ここでは前記第2の検出対象の信頼スコアは前記第1の検出対象の信頼スコアより小さい、第2の判断回路と、前記第2の判断回路が、前記第1の検出枠が前記第2の検出枠と重なると判断した場合、前記第1の検出対象と前記第2の検出対象とが同じ類別であるか否かを判断し、判断結果に応じて対応する抑制アルゴリズムを用いて前記第2の検出対象が抑制されているか否かを判断する第3の判断回路と、前記第3の判断サブ回路が、前記第2の検出対象が抑制されていると判断した場合、前記第2の検出対象を抑制する抑制回路と、を含む複数対象を検出するための非極大値抑制装置を提供する。
【００１０】
本開示の一実施例によれば、前記第1の判断回路は、前記第1の検出対象の信頼スコアが第1の閾値より大きいか否かを判断する検出第1の判断サブ回路と、前記第1の判断サブ回路が、前記第1の検出対象の信頼スコアが前記第1の閾値より大きいと判断した場合、前記第1の検出対象の信頼スコアが第2の閾値より大きいか否かを判断し、ここではTHR2= ave1-γ×std1であり、THR2は第2の閾値を表し、γは1から3の間の任意の値から選択し、ave1は前記第1の検出対象が属する類別における各検出対象の信頼スコアの平均値を表し、std1は前記第1の検出対象が属する類別における各検出対象の信頼スコアの分散を表す、第2の判断サブ回路と、前記第2の判断サブ回路が、前記第1の検出対象の信頼スコアが前記第2の閾値より大きいと判断した場合、前記第1の検出対象が、その属する類別が前記検出キューにおいて最初に処理される検出対象であるか否かを検出する第3の判断サブ回路と、前記第3の判断サブ回路が、前記第1の検出対象はその属する類別が前記検出キューにおいて最初に処理される対象ではないと判断し、前記第1の検出対象の信頼スコアと、それが属するものと同一の類別の、1つ前に処理された検出対象の信頼スコアとの差が第3の閾値より小さいか否かを検出する第4の検出サブ回路と、を含む。
【００１１】
本開示の一実施例によれば、前記第3の判断回路は、前記第1の検出対象と前記第2の検出対象とが同じ類別であるか否かを判断する第5の判断サブ回路と、前記第5の判断サブ回路が、前記第1の検出対象は前記第2の検出対象と同じ類別であると判断した場合、前記第1の検出対象および前記第2の検出対象の信頼スコアとその属する類別の第1のプリセット類別閾値の大きさの関係と、前記第1の検出枠と前記第2の検出枠の重なる面積が前記第1の検出枠の面積と前記第2の検出枠の面積にそれぞれ占めるパーセンテージ値に基づき、第2の検出対象が抑制されているか否かを判断し、ここでは第1の検出対象と前記第2の検出対象の検出枠の重なる面積の、各々の検出枠の面積にそれぞれ占めるパーセンテージ値を第1のパーセンテージ値と第2のパーセンテージ値と記す、第6の判断サブ回路と、前記第5の判断サブ回路が、前記第1の検出対象と前記第2の検出対象とが同じ類別でないと判断した場合、前記第1の検出対象および前記第2の検出対象各々の信頼スコアとその属する類別の前記第1のプリセット類別閾値の大きさの関係と、前記第1のパーセンテージ値および前記第2のパーセンテージ値と、前記第2の検出対象の信頼スコアと第2のプリセット類別閾値の大きさの関係に基づき、前記第2の検出対象が抑制されているか否かを判断する第7の判断サブ回路と、を含む。
【００１２】
本開示の一実施例によれば、前記第6の判断サブ回路はさらに、前記第1の検出対象および前記第2の検出対象各々の信頼スコアがいずれも前記第1の検出対象および前記第2の検出対象両者が属する類別の前記第1のプリセット類別閾値より大きいか否かを判断し、ここではTHR4= ave1+2×std1であり、ここでTHR4は前記第1の検出対象と前記第2の検出対象が属する類別の第1のプリセット類別閾値を表し、ave1は前記第1の検出対象が属する類別における各検出対象の信頼スコアの平均値を表し、std1は前記第1の検出対象が属する類別における各検出対象の信頼スコアの分散を表し、前記第1の検出対象および前記第2の検出対象各々の信頼スコアがいずれも前記第1のプリセット類別閾値より大きい場合、前記第2の検出対象を保留し、前記第2の検出対象の信頼スコアが前記第1のプリセット類別閾値より小さい場合、第1のパーセンテージ値および第2のパーセンテージ値を算出し、前記第1のパーセンテージ値および前記第2のパーセンテージ値のうちの大きい方のパーセンテージ値が第1のプリセットパーセンテージ値より大きいか否かを判断し、前記第1のパーセンテージ値および前記第2のパーセンテージ値のうちの大きい方のパーセンテージ値が前記第1のプリセットパーセンテージ値より大きい場合、前記第2の検出対象を抑制し、そうでない場合は、前記第2の検出対象が保留される。
【００１３】
本開示の一実施例によれば、前記第7の判断サブ回路はさらに、前記第1の検出対象の信頼スコアと前記第2の検出対象の信頼スコアがいずれも各々が属する類別の第1のプリセット類別閾値よりも大きいか否かを判断し、前記第1の検出対象の信頼スコアと前記第2の検出対象の信頼スコアがいずれも各々が属する類別の第1のプリセット類別閾値より大きい場合、前記第2の検出対象を保留し、前記第2の検出対象の信頼スコアが、その属する類別の第1のプリセット類別閾値より小さい場合、前記第1のパーセンテージ値と前記第2のパーセンテージ値を取得し、前記第1のパーセンテージ値と前記第2のパーセンテージ値がいずれも第2のプリセットパーセンテージ値より大きいか否かを判断し、前記第1のパーセンテージ値および前記第2のパーセンテージ値がいずれも前記第2のプリセットパーセンテージ値より大きい場合、前記第2の検出対象を抑制し、前記第1のパーセンテージ値および前記第2のパーセンテージ値のうちの少なくとも一方が前記第2のプリセットパーセンテージ値以下である場合、前記第1のパーセンテージ値が第3のプリセットパーセンテージ値より大きいか否かを判断し、前記第2の検出対象の信頼スコアが前記第2のプリセット類別閾値より小さいか否かを判断し、THR5=ave2-γ×std2であり、ここでTHR5は前記第2の検出対象が属する類別の第2のプリセット類別閾値であり、γは1から3の間の任意の値から選択し、ave2は、前記第2の検出対象が属する類別における各検出対象の信頼スコアの平均値を表し、std2は、前記第2の検出対象が属する類別における各検出対象の信頼スコアの分散を表し、前記第1のパーセンテージ値が第3のプリセットパーセンテージ値より大きく、かつ前記第2の検出対象の信頼スコアが第2のプリセット類別閾値より小さいと判断した場合、前記第2の検出対象を抑制し、そうでない場合は、前記第2の検出対象を保留し、前記第1のパーセンテージ値が第3のプリセットパーセンテージ値以下であり、かつ前記第1のパーセンテージ値が第4のプリセットパーセンテージ値より大きいと判断した場合、前記第2の検出対象を抑制し、そうでない場合は、前記第2の検出対象を保留する。
【００１４】
別の態様において、本開示は、メモリと、1つ以上のプロセッサと、前記メモリに記憶されたコンピュータ指令とを含み、前記プロセッサは、前記コンピュータ指令を実行するとき、本明細書に記載の方法の1つ以上のステップを実行するように構成される、複数対象を検出するための非極大値抑制デバイスを提供する。
【００１５】
別の態様において、本開示は、プロセッサによって実行されるときに、本明細書に記載の方法の1つ以上のステップを実行するコンピュータ指令が記憶された、コンピュータ読み取り可能な記憶媒体を提供する。
【図面の簡単な説明】
【００１６】
【図１】本開示の実施例に基づく複数対象を検出する非極大値抑制方法のフローチャートである。
【図２】本開示の実施例に基づく複数対象を検出する非極大値抑制装置の概略図である。
【図３】本開示の実施例に基づく複数対象を検出する非極大値抑制装置における第１の判断回路の概略図である。
【図４】本開示の実施例に基づく複数対象を検出する非極大値抑制装置における第２の判断回路の概略図である。
【図５】本開示の実施例に基づく複数対象を検出する非極大値抑制デバイスの概略図である。
【発明を実施するための形態】
【００１７】
本開示の技術案を当業者がよりよく理解できるよう、以下では図面と具体的な実施例を組み合わせて本開示についてさらに詳細に説明する。
【００１８】
図1は本開示の実施例に基づく複数対象を検出する非極大値抑制方法のフローチャートである。本開示の複数対象を検出する非極大値抑制方法は、スーパーマーケットや百貨店における陳列棚の商品検出、通行人やランドマークなどの検出に適用できる。
【００１９】
図1を参照すると、幾つかの実施例において、当該複数対象を検出する非極大値抑制方法は、具体的に以下のステップS1〜S6を含む。
【００２０】
ステップS1では、表示された画像内で検出された複数対象の類別および信頼スコアを取得し、信頼スコアに基づき複数対象を並べ、検出キューを得る。
【００２１】
幾つかの実施例において、ステップS1は、表示された画面内の各対象の検出枠を取得し、その後、検出枠内の対応する各対象、および各対象の類別および信頼スコアを確定し、信頼スコアの高い順に各対象を並べ、検出キューを取得することを含んでもよく、ここで、各対象の信頼スコアは高い順に並べてもよく、低い順に並べてもよい。説明の便宜上、ここでは検出キューにおける各対象は信頼スコアに従って上位から下位に並べられる。
【００２２】
幾つかの実施例において、対象の類別は、飲料、オフィス用品、食料品などのような商品、歩行者、道路標識などを含むが、これらに限定されない。幾つかの実施例において、検出された複数の対象は、例えば、自動販売機内の飲料などを含んでもよい。
【００２３】
本明細書に記載の通り、「検出枠」という技術用語は、検出された対象に対応する領域を指し、つまり、当該検出枠は、検出された1つ以上の対象を含む一定の面積を有する領域である。
【００２４】
ステップS2において、検出キューにおける信頼スコアが最も高い対象を取得し、それを対象Aと記し、対象Aの信頼スコアが、その属する類別の類別プリセット条件に合致するか否かを判断する。なお、説明の便宜上、検出キューにおける信頼スコアが最も高い対象を対象Aと記し、ここでは「これを対象Aと記す」というが、当該対象に対して何らかの処理が行われることを意味するものではない。
【００２５】
幾つかの実施例において、類別プリセット条件は具体的な検出シーンに応じて具体的に設定されてよい。幾つかの実施例において、類別プリセット条件は、各類別に対応する閾値であってよい。
【００２６】
幾つかの実施例において、ステップS2はステップS21からステップS24によって実現されてよい。
【００２７】
ステップS21では、対象Aの信頼スコアが第1の閾値より大きいか否かを判断する。
【００２８】
幾つかの実施例において、対象Aの所属類別がkである場合、第1の閾値をTHR1で表し、対象Aの信頼スコアが第1の閾値THR1以下である場合、対象Aは抑制され、対象Aの信頼スコアが第1の閾値THR1より大きい場合、ステップS22を実行する。
【００２９】
なお、ある対象が抑制された場合、本明細書に記載の方法の実行完了後、当該対象に関する情報は出力されず、すなわち、当該対象の類別、信頼スコア、検出枠位置情報などはいずれも出力されない。ある対象が抑制されない場合、当該対象は保留され、すなわち、本明細書に記載の方法の実行完了後に当該対象に関する情報が出力され、言い換えれば、当該対象の類別、信頼スコア、検出枠位置情報などが出力される。
【００３０】
ステップS22において、対象Aの信頼スコアが第2の閾値THR2より大きいか否かを判断し、ここではTHR2= ave1-γ×std1であり、ここでγは1から3の間の任意の値から選択し、ave1は対象Aが属する類別（例えば、類別k）における各対象の信頼スコアの平均値を表し、std1は対象Aが属する類別（例えば、類別k）における各対象の信頼スコアの分散を表す。当該ステップにおいて、対象Aの信頼スコアが第2の閾値THR2以下であると判断した場合、対象Aは抑制され、対象Aの信頼スコアが第2の閾値THR2より大きい場合、S23を実行する。
【００３１】
幾つかの実施例において、ステップS22における第2の閾値THR2および第2の閾値THR2を算出するために用いられる類別kにおける各対象の信頼スコアの平均値および分散は、ステップS22のステップを実行する前に算出して得られ、具体的にはステップS21の前に算出して得ることができる。また、γの値は具体的な検出シーンに応じて具体的に設定することができる。
【００３２】
ステップS23では、対象Aは、その属する類別（類別k）が検出キューにおいて最初に処理される対象であるか否かを判断する。つまり、本ステップでは、次の対象AがステップS21およびステップS22を実行する最初の対象であるか否かを判断し、最初に処理される対象でない場合S24を実行し、ステップS21およびステップS22を最初に実行する対象である場合はそのままステップS3を実行する。
【００３３】
ステップS24では、対象Aと、それが属するものと同一の類別（例えば、類別k）の、1つ前に処理された対象の信頼スコアとの差が、第3の閾値THR3より大きいか否かを判断し、この両者の信頼スコアの差が第3の閾値THR3より小さい場合はステップS3を実行する。
【００３４】
ステップS3では、対象Aの検出枠が複数の対象のうちの他の対象の検出枠と重なりを有するか否かを判断し、ここで、重なりを有するとは、異なる対象に対応する検出枠（検出領域と呼ばれることもある）が共通領域を有することを意味する。他の対象の検出枠と対象Aの検出枠との重なりが存在すると判断した場合、ステップS4を実行し、他の対象の検出枠と対象Aの検出枠との重なりが存在しない場合は対象Aを検出キューから外して、新たな現在の検出キューを得て、ステップS2に戻る。
【００３５】
なお、説明の便宜上、本実施例では、検出枠と対象Aの検出枠とが重なる対象を対象Bと記し、検出枠と対象Aの検出枠とが重なる対象Bは1つであっても複数であってもよく、ここでは、1つの対象Bのみを例として説明する。
【００３６】
ステップS4では、対象Aと対象Bが同一の類別であるか否かを判断し、判断結果に基づいて対応する抑制アルゴリズム（例えば、後述する第1の抑制アルゴリズム、第2の抑制アルゴリズム）を用いて、対象Bが抑制されているか否かを判断し、対象Aと対象Bが同一の類別である場合は第1の抑制アルゴリズムを用いて、対象Bが抑制されたか否かを判断し、対象Aと対象Bが同一の類別でない場合は第2の抑制アルゴリズムを用いて、対象Bが抑制されているか否かを判断する。
【００３７】
ステップS4は、具体的にステップS41、ステップS42およびステップS42'によって実現できる。
【００３８】
ステップS41において、対象Aと対象Bが同一の類別であるか否かを判断する。対象Aと対象Bが同一の類別である場合はステップS42を実行し、つまり、第1の抑制アルゴリズムを採用して、対象Bが抑制されているか否かを判断し、対象Aと対象Bが同一の類別でない場合はステップS42'を実行し、つまり、第2の抑制アルゴリズムを用いて、対象Bが抑制されているか否かを判断する。
【００３９】
ステップS42において、対象Aおよび対象Bの信頼スコアとその属する類別（例えば類別k）の第1のプリセット類別閾値との大きさの関係、および両者の検出枠の重なる面積の、各々の検出枠の面積にそれぞれ占めるパーセンテージ値（説明を簡潔にするために、第1のパーセンテージ値および第2のパーセンテージ値という語をそれぞれ用いて表す）に基づき、対象Bが抑制されているか否かを判断する。ここで、重なる面積とは、例えば対象Aと対象B各々の検出枠の共通領域の面積を指す。対象Bが抑制されていると判断した場合は対象Bと対象Aを検出キューから除外して、現在の検出キューを取得し、現在の検出キューをステップS2における検出キューとして、ステップS2に戻り、ステップS2からステップS4に従って検出キューにおける全ての対象をトラバースする。対象Bが保留されている場合は対象Aを検出キューから除外して、現在の検出キューを取得し、現在の検出キューをステップS2における検出キューとして、ステップS2に戻り、ステップS2からステップS4に従って検出キューにおける残りの対象をトラバースする。
【００４０】
幾つかの実施例において、ステップS42は、具体的にステップS421からステップS422によって実現できる。
【００４１】
ステップS421において、対象Aの信頼スコアおよび対象Bの信頼スコアが、この両者の属する類別kの第1のプリセット類別閾値THR4より大きいか否かを判断し、ここではTHR4= ave1+2×std1であり、ここでave1は対象Aの属する類別kにおける各対象の信頼スコアの平均値を表し、std1は、対象Aの属する類別kにおける各対象の信頼スコアの分散を表す。対象Aと対象Bはいずれもこの両者の属する類別kの第1のプリセット類別閾値THR4より大きいと判断した場合、対象Bは保留され、対象Aを検出キューから除外して、現在の検出キューを取得し、現在の検出キューをステップS2における検出キューとして、ステップS2に戻り、ステップS2からS4に従って検出キューの残りの対象をトラバースし、対象Bの信頼スコアが類別kの第1のプリセット類別閾値THR4より小さい場合はステップS422を実行する。
【００４２】
なお、ステップS421で用いるave1、std1の値と、ステップS22で用いるave1、std1の値はそれぞれ同じ値であるため、ave1、std1はいずれもステップS21よりも前に算出して得られる。なお、ave1、std1は、使用時に再算出してもよい。上記式により算出された第1のプリセット類別閾値THR4が0.9より大きく0.98より小さい値でなく、算出して得た第1のプリセット類別閾値THR4が0.9以下である場合、第1のプリセット類別閾値THR4は0.9であるとみなし、算出して得た第1のプリセット類別閾値THR4が0.98以上である場合、第1のプリセット類別閾値THR4は0.98であると見なす。
【００４３】
ステップS422では、対象Aの検出枠と対象Bの検出枠の重なる面積が各々の検出枠面積にそれぞれ占めるパーセンテージ値をそれぞれ第1のパーセンテージ値および第2のパーセンテージ値として算出し、第1のパーセンテージ値および第2のパーセンテージ値のうちの大きい方のパーセンテージ値が第1のプリセットパーセンテージ値より大きいか否かを判断し、大きい場合は対象Bを抑制する。
【００４４】
幾つかの実施例において、ステップS422は、対象Aの検出枠の面積S1、対象Bの検出枠の面積S2、および対象Aと対象Bの検出枠の重なる面積S3を取得するステップと、S1とS3との比を算出して、対象Aおよび対象Bの検出枠の重なる面積が対象Aの検出枠面積に占めるパーセンテージ値OverlapRatioiを取得するステップと、同様に、S2とS3との比を算出して、対象Aおよび対象Bの検出枠の重なる面積が対象Bの検出枠面積に占めるパーセンテージ値OverlapRatiojを取得し、OverlapRatioiおよびOverlapRatiojのうちの大きい方の値をOverlapRatiomaxとして、OverlapRatiomaxと第1のプリセットパーセンテージ値とを比較するステップとを含んでもよく、ここで、第1のプリセットパーセンテージ値は0.8であってよい。OverlapRatiomaxが0.8より大きい場合、対象Bは抑制され、このとき、検出キューから対象Bおよび対象Aを除外し、ステップS2に戻り、検出キューにおける残りの対象をトラバースし、対象Bが保留された場合、検出キューから対象Aを除外し、現在の検出キューを取得し、現在の検出キューをステップS2における検出キューとして、ステップS2に戻り、ステップS2からS4に従って検出キューの全ての対象をトラバースする。
【００４５】
ステップS42'では、対象Aおよび対象B各々の信頼スコアとその属する類別の第1のプリセット類別閾値との大きさの関係と、対象Aの検出枠および対象Bの検出枠の重なる面積が各々の検出枠の面積にそれぞれ占めるパーセンテージ値（それぞれ第1のパーセンテージ値および第2のパーセンテージ値）、および対象Bの信頼スコアと第2のプリセット類別閾値との大きさの関係に基づき、対象Bが抑制されているか否かを判断し、対象Bが抑制されていると判断した場合は検出キューから対象Bおよび対象Aを除外して、現在の検出キューを取得し、現在の検出キューをステップS2の検出キューとして、ステップS2に戻り、ステップS2からS4に従って検出キューにおける全ての対象をトラバースし、対象Bが保留された場合は対象Aを検出キューから除外して、現在の検出キューを取得し、現在の検出キューをステップS2における検出キューとして、ステップS2に戻り、ステップS2からS4に従って検出キューにおける残りの対象をトラバースする。
【００４６】
幾つかの実施例において、ステップS42'は、ステップS421'からステップS422'を用いて実現できる。
【００４７】
ステップS421'では、対象Aの信頼スコアおよび対象Bの信頼スコアが、各々属する類別の第1のプリセット類別閾値より大きいか否かを判断する。ここで、対象Aの類別はk、対象Bの類別はm、類別kの第1のプリセット類別閾値THR4k、類別mの第1のプリセット類別閾値THR4mであり、対象Aの信頼スコアが類別kの第1のプリセット類別閾値THR4kより大きく、かつ対象Bの信頼スコアが類別mの第1のプリセット類別閾値THR4mより大きい場合、対象Bは保留され、検出キューから対象Aを除外し、現在の検出キューを取得し、現在の検出キューをステップS2の検出キューとして、ステップS2に戻り、ステップS2からステップS4に従って検出キューの残りの対象をトラバースする。対象Bの信頼スコアが類別mの第1のプリセット類別閾値THR4mより小さい場合はステップS422'を実行する。
【００４８】
ステップS422'では、対象Aの検出枠および対象Bの検出枠の重なる面積が各々の検出枠の面積にそれぞれ占めるパーセンテージ値を算出し、第1のパーセンテージ値および第2のパーセンテージ値を得て、この第1のパーセンテージ値および第2のパーセンテージ値がいずれも第2のプリセットパーセンテージ値より大きいか否かを判断し、いずれも大きい場合は対象Bを抑制し、検出キューから対象Bおよび対象Aを除外して、現在の検出キューを取得し、現在の検出キューをステップS2の検出キューとして、ステップS2に戻り、ステップS2からS4に従って、検出キューの残りの対象をトラバースし、この第1のパーセンテージ値および第2のパーセンテージ値両者のうちの少なくとも一方が第2のプリセットパーセンテージ値以下であると判断した場合はステップS423'を実行する。
【００４９】
幾つかの実施例において、ステップS422'は、対象Aの検出枠の面積S1、対象Bの検出枠の面積S2、および対象Aの検出枠と対象Bの検出枠の重なる面積S3を取得するステップと、S1とS3との比を算出して、対象Aの検出枠および対象Bの検出枠の重なる面積が対象Aの検出枠面積に占めるパーセンテージ値OverlapRatioiを取得するステップと、同様に、S2とS3との比を算出して、対象Aおよび対象Bの検出枠の重なる面積が対象Bの検出枠面積に占めるパーセンテージ値OverlapRatiojを取得し、OverlapRatioiおよびOverlapRatiojと第2のプリセットパーセンテージ値とをそれぞれ比較するステップとを含んでもよく、ここで、第2のプリセットパーセンテージ値は0.9であってよい。OverlapRatioiおよびOverlapRatiojがいずれも0.9より大きい場合は対象Bが抑制され、このとき、検出キューから対象Bおよび対象Aを除外し、現在の検出キューを取得し、現在の検出キューをステップS2における検出キューとして、ステップS2に戻り、ステップS2からS4に従って、検出キューにおける残りの対象をトラバースし、両者のパーセンテージ値のうちの少なくとも一方が第2のプリセットパーセンテージ値以下であると判断した場合はステップS423'を実行する。
【００５０】
ステップS423'では、対象Aの検出枠および対象Bの検出枠の重なる面積が対象Aの検出枠面積に占めるパーセンテージ値OverlapRatioiが、第2のプリセットパーセンテージ値より大きいか否かを判断し、対象Bの信頼スコアが第2のプリセット類別閾値THR5より小さいか否かを判断し、ここで、THR5= ave2- γ×std2である。対象Aの検出枠および対象Bの検出枠の重なる面積が対象Aの検出枠面積に占めるパーセンテージ値OverlapRatioiが、第3のプリセットパーセンテージ値より大きく、かつ対象Bの信頼スコアが第2のプリセット類別閾値より小さいと判断した場合、対象Bが抑制され、ここで、γは1から3の間の任意の値から選択し、ave2は対象Bの属する類別mの各対象の信頼スコアの平均値を表し、std2は対象Bの属する類別mの各対象の信頼スコアの分散を表す。対象Aの検出枠および対象Bの検出枠の重なる面積が対象Aの検出枠面積に占めるパーセンテージ値OverlapRatioiが、第3のプリセットパーセンテージ値以下であり、かつ対象Aの検出枠および対象Bの検出枠の重なる面積が対象Aの検出枠面積に占めるパーセンテージ値OverlapRatioiが、第4のプリセットパーセンテージ値より大きい場合、対象Bが抑制され、ここで、第4のプリセットパーセンテージ値は0.8であってよく、当該第4のプリセットパーセンテージ値は具体的な検出シーンに応じて設定される。当該ステップにおいて、対象Bが抑制された場合、検出キューから対象Bおよび対象Aを除外して、現在の検出キューを取得し、現在の検出キューをステップS2における検出キューとし、ステップS2に戻り、ステップS2からステップS4に従って検出キューにおける残りの対象をトラバースする。当該ステップにおいて対象Bが保留された場合は、検出キューから対象Aを除外して、現在の検出キューを取得し、現在の検出キューをステップS2における検出キューとし、ステップS2に戻り、ステップS2からステップS4に従って検出キューにおける残りの対象をトラバースする。検出キューにおける全ての対象のトラバースが完了した後、抑制されていない対象の類別、信頼スコア、および検出枠の位置情報を出力する。検出枠の位置情報は検出枠の2つの対角の座標情報であってよく、もちろん、検出枠の位置情報は4つの対角の位置情報であってもよい。
【００５１】
なお、上記ステップでは、1つの対象Bを含む場合を例として説明したが、複数の対象Bを含む場合には、1つの対象Bが抑制されているか否かを判断するステップが終了した後にステップS3に戻り、図1に示すステップS5のように、上記ステップS3およびS4に従って全ての対象Bが検出を終了するまで全ての対象Bをトラバースし、その後ステップS2に戻り、図1に示すステップS6のように、検出キューの残りの対象をトラバースする。
【００５２】
本開示の複数対象を検出する非極大値抑制方法によれば、検出対象の信頼スコアおよび重なる領域の面積に基づき、同じタイプの対象および異なるタイプの対象をそれぞれ制御し、改善された非極大値抑制アルゴリズムは、密集する複数対象を検出するアルゴリズムの精度を効果的に向上させている。
【００５３】
図2は本開示の実施例に基づく複数対象を検出する非極大値抑制装置のフローチャートである。当該複数対象を検出する非極大値抑制装置は、本明細書で述べる、複数対象を検出する非極大値抑制方法を実現するために使用することができる。図2に示すように、幾つかの実施例において、当該装置は、取得回路と、第1の判断回路と、第2の判断回路と、第3の判断回路と、抑制回路と、トラバーサル回路とを含む。
【００５４】
幾つかの実施例において、取得回路は検出された複数の対象の類別と信頼スコアを取得し、信頼スコアの高低に従って各対象を並べて、検出キューを取得する。
【００５５】
幾つかの実施例において、第1の判断回路は、前記検出キューにおける信頼スコアが最も高い対象を取得して、これを対象Aと記し、前記対象Aの信頼スコアが、その属する類別の類別プリセット条件を満たすか否かを判断する。
【００５６】
図3は本開示の実施例に基づく複数対象を検出する非極大値抑制装置における第1の判断回路の概略図である。図3に示すように、幾つかの実施例において、第1の判断回路は、第1の判断サブ回路と、第2の判断サブ回路と、第3の判断サブ回路と、第4の判断サブ回路とを含む。ここで、本明細書に記載の回路およびサブ回路は、本明細書に記載の方法を実現する1つ以上の集積回路、コントローラ、マイクロコントローラ、論理比較器、プロセッサ、マイクロプロセッサ、NANDゲートなどによって実現できる。
【００５７】
幾つかの実施例において、第1の判断サブ回路は、対象Aの信頼スコアが第1の閾値より大きいか否かを判断する。
【００５８】
第2の判断サブ回路は、前記第1の判断サブ回路が前記対象Aの信頼スコアが前記第1の閾値より大きいと判断した場合、前記対象Aの信頼スコアが第2の閾値より大きいか否かを判断し、ここで、THR2= ave1-γ×std1であり、ここで、THR2は第2の閾値を表し、γは1から3の間の任意の値から選択し、ave1は前記対象Aが属する類別における各対象の信頼スコアの平均値を表し、std1は前記対象Aが属する類別における各対象の信頼スコアの分散を表す。
【００５９】
第3の判断サブ回路は、前記第2の判断サブ回路が、対象Aの信頼スコアが前記第2の閾値より大きい場合、前記対象Aはその属する類別が検出キューで最初に処理される対象であるか否かを判断する。第4の判断サブ回路は、前記第3の判断サブ回路が、前記対象Aはその属する類別が検出キューで最初に処理される対象ではないと判断した場合、前記対象Aの信頼スコアとその属する類別と同一の類別の、1つ前に処理された対象の信頼スコアとの差が第3の閾値より大きいか否かを判断する。
【００６０】
図4は本開示の実施例に基づく複数対象を検出する非極大値抑制装置における第2の判断回路の概略図である。図4に示すように、幾つかの実施例において、第2の判断回路は、前記第1の判断回路が、前記対象Aの信頼スコアがその属する類別の類別プリセット条件を満たすと判断した場合、前記対象Aの検出枠が、検出された複数の対象のうちの他の対象の検出枠と重なるか否かを判断する。
【００６１】
第3の判断回路は、前記第2の判断回路が、前記対象Aの検出枠が他の対象の検出枠と重なると判断した場合、検出枠が対象Aの検出枠と重なる対象を対象Bと記し、前記対象Aと前記対象Bが同じ類別であるか否かを判断し、判断結果に応じて対応する抑制アルゴリズムを用いて、前記対象Bが抑制されているか否かを判断する。
【００６２】
図4に示すように、幾つかの実施例において、第3の判断回路は、第5の判断サブ回路と、第6の判断サブ回路と、第7の判断サブ回路とを含む。
【００６３】
第5の判断サブ回路は、対象Aと対象Bが同一の類別であるか否かを判断する。
【００６４】
第6の判断サブ回路は、前記第5の判断サブ回路が、前記対象Aと前記対象Bとが同一の類別であると判断した場合、前記対象Aおよび前記対象Bの信頼スコアとその属する類別の第1のプリセット類別閾値との大きさの関係、および前記対象Aと前記対象Bの検出枠の重なる面積が各々の検出枠の面積にそれぞれ占めるパーセンテージ値に基づき、前記対象Bを抑制するか否かを判断し、前記対象Aと前記対象Bの検出枠の重なる面積が各々の検出枠の面積にそれぞれ占めるパーセンテージ値を、それぞれ第1のパーセンテージ値と第2のパーセンテージ値と記す。
【００６５】
当該第6の判断サブ回路は、具体的に、前記対象Aおよび前記対象Bの信頼スコアが、この両者の属する類別の前記第1のプリセット類別閾値より大きいか否かを判断し、ここではTHR4= ave1+2×std1であり、ここでTHR4は前記対象Aと前記対象Bとが属する類別の第1のプリセット類別閾値を表し、ave1は、前記対象Aの属する類別における各対象の信頼スコアの平均値を表し、std1は、前記対象Aの属する類別における各対象の信頼スコアの分散である。前記対象Aおよび前記対象Bの信頼スコアがいずれも前記第1のプリセット類別閾値より大きい場合、前記対象Bが保留され、前記対象Bの信頼スコアが前記第1のプリセット類別閾値より小さい場合、第1のパーセンテージ値および第2のパーセンテージ値を算出し、第1のパーセンテージ値および第2のパーセンテージ値のうちの大きい方のパーセンテージ値が第1のプリセットパーセンテージ値より大きいか否かを判断し、大きい場合は前記対象Bを抑制し、そうでない場合は前記対象Bが保留される。
【００６６】
第7の判断サブ回路は、前記第5の判断サブ回路が、前記対象Aおよび前記対象Bが同一の類別ではないと判断した場合、前記対象Aおよび前記対象B各々の信頼スコアとその属する類別の前記第1のプリセット類別閾値との大きさの関係と、前記第1のパーセンテージ値および前記第2のパーセンテージ値、および前記対象Bの信頼スコアと第2のプリセット類別閾値との大きさの関係に基づき、前記対象Bが抑制されているか否かを判断する。
【００６７】
当該第7の判断サブ回路は、具体的に、前記対象Aの信頼スコアおよび前記対象Bの信頼スコアが、いずれも各々が属する類別の第1のプリセット類別閾値より大きいか否かを判断し、前記対象Aの信頼スコアおよび前記対象Bの信頼スコアが、いずれも各々の前記類別の第1のプリセット類別閾値より大きい場合、前記対象Bが保留され、前記対象Bの信頼スコアがその属する類別の第1のプリセット類別閾値より小さい場合、前記第1のパーセンテージ値と前記第2のパーセンテージ値を取得し、前記第1のパーセンテージ値と前記第2のパーセンテージ値がいずれも第2のプリセットパーセンテージ値より大きいか否かを判断し、前記第1のパーセンテージ値および前記第2のパーセンテージ値がいずれも前記第2のプリセットパーセンテージ値より大きい場合、前記対象Bが抑制され、前記第1のパーセンテージ値および前記第2のパーセンテージ値のうちの少なくとも一方が前記第2のプリセットパーセンテージ値以下である場合、前記第1のパーセンテージ値が第3のプリセットパーセンテージ値より大きいか否かを判断し、かつ前記対象Bの信頼スコアが前記第2のプリセット類別閾値より小さいか否かを判断し、THR5= ave2-γ×std2であり、ここでTHR5は前記対象Bが属する類別の第2のプリセット類別閾値を表し、γは1から3の間の任意の値から選択し、ave2は前記対象Bが属する類別の各対象の信頼スコアの平均値を表し、std2は前記対象Bが属する類別の各対象の信頼スコアの分散を表し、前記第1のパーセンテージ値が第3のプリセットパーセンテージ値より大きく、かつ前記対象Bの信頼スコアが第2のプリセット類別閾値より小さいと判断された場合、対象Bが抑制され、そうでなければ対象Bが保留され、前記第1のパーセンテージ値が第3のプリセットパーセンテージ値以下であり、かつ前記第1のパーセンテージ値が第4のプリセットパーセンテージ値より大きいと判断した場合、対象Bが抑制され、そうでない場合は対象Bが保留される。
【００６８】
抑制回路は、前記第3の判断サブ回路が、対象Bが抑制されていると判断した場合、対象Bを抑制する。
【００６９】
トラバーサル回路は、プリセットアルゴリズムに従って前記検出キュー内の各対象をトラバースし、ここでのプリセットアルゴリズムは、本明細書に記載の複数対象を検出する非極大値抑制方法である。
【００７０】
本願の複数対象を検出する非極大値抑制装置は上記機能サブ回路を備え、本明細書に記載の方法を用いて、検出対象の信頼スコアと、重なる領域の面積に基づき、それぞれ、同じタイプの対象および異なるタイプの対象を抑制し、改善された非極大値抑制方法は、密集する複数対象を検出するアルゴリズムの精度を効果的に向上させている。
【００７１】
本開示は複数対象を検出する非極大値抑制デバイスをさらに提供し、本明細書に記載の複数対象を検出する非極大値制御方法は、超高解像度画像再構成デバイスにより実現可能である。図5は本開示の実施例に基づく複数対象を検出する非極大値抑制デバイスの概略図である。図5に示すように、当該デバイスは、プロセッサと、コンピュータ指令が記憶されたメモリとを含んでよい。幾つかの実施例において、プロセッサは、中央処理装置( CPU )、特定用途向け集積回路( ASIC )、フィールドプログラマブルゲートアレイFPGA、画像プロセッサGPU、または、本明細書に記載の方法を実施するように配置された1つ以上の集積回路を含んでよい。
【００７２】
メモリは、データまたは指令用の大容量メモリを含んでよい。限定ではなく例として述べれば、メモリは、ハードディスクドライブ( HDD )、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、もしくはユニバーサルシリアルバス( USB )ドライブ、またはこれらの2つ以上の組み合わせを含んでよい。適切な状況において、メモリは取り外し可能な、または取外し不能な(または固定された)媒体を含んでよい。適切な状況において、メモリはデータ処理装置の内部または外部にあってよい。幾つかの実施例において、メモリは不揮発性ソリッドステートメモリである。幾つかの実施例において、メモリは読み出し専用メモリ( ROM )を含む。適切な状況において、当該ROMはマスクプログラム型のROM、プログラマブルROM( PROM )、消去可能なPROM( EPROM )、電気的消去可能なPROM( EEPROM )、電気的書き換え可能なROM( EAROM )またはフラッシュメモリであってよく、もしくはこれらの2つ以上の組み合わせであってもよい。
【００７３】
プロセッサはメモリに記憶されたコンピュータプログラム指令を読み取って実行することにより、本明細書に記載の複数対象を検出する非極大値抑制方法の1つ以上のステップを実現することができる。
【００７４】
幾つかの実施例において、図5に示すデバイスは通信インターフェースおよびバスをさらに含んでよく、図5に示すように、プロセッサ、メモリ、通信インターフェースがバスを介して接続され、相互間の通信が完成する。
【００７５】
通信インターフェースは、本明細書に記載の各サブ回路、装置、回路、および/またはデバイス間の通信を主に実現する。
【００７６】
バスは、ハードウェア、ソフトウェア、またはその両方を含み、デバイスの各部材を互いに結合する。限定ではなく例として述べれば、バスは、アクセラレーテッドグラフィックスポート( AGP )もしくはその他のグラフィックスバス、エンハンスト・インダストリアル・スタンダード・アーキテクチャ( EISA )バス、フロントエンドバス( FSB )、スーパートランスポート( HT )相互接続、インダストリアル・スタンダード・アーキテクチャ( ISA )バス、無限帯域幅相互接続、低ピン数( LPC )バス、メモリバス、マイクロ・チャネル・アーキテクチャ( MCA )バス、ペリフェラル・コンポーネント・インターコネクト( PCI )バス、PCI-Express ( PCI-X )バス、シリアル・アドバンスト・テクノロジ・アタッチメント( SATA )バス、ビデオ・エレクトロニクス・スタンダード・アソシエーション・ローカル( VLB )バス、もしくはその他の適切なバス、またはこれらの2つ以上の組み合わせを含んでよい。適切な状況において、バスは、1つ以上のバスを含んでよい。本開示の実施例では特定のバスの説明と提示をするが、本開示はあらゆる適切なバスまたは相互接続を考慮している。
【００７７】
本開示はコンピュータ読み取り可能な記憶媒体をさらに提供する。当該コンピュータ読み取り可能な記憶媒体はコンピュータ指令を記憶し、当該コンピュータ指令は、プロセッサによって実行されるときに、本明細書に記載の、複数対象を検出する非極大値抑制方法の1つ以上のステップを実現する。
【００７８】
なお、本開示は上記で説明され、図示された特定の配置および処理に限定されない。簡潔にするために、ここでは公知の方法についての詳細な説明は省略する。上記の実施例では、若干の具体的なステップが例として説明、提示されている。しかしながら、本開示の方法プロセスは、説明および図示した具体的なステップに限定されず、当業者は、本開示の趣旨を理解した上で、各種変形、修正、追加、またはステップ間の順序の変更を行うことができる。
【００７９】
上述した構造ブロック図に示す機能ブロックは、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせにより実現できる。ハードウェアで実現する場合、これは、例えば電子回路、特定用途向け集積回路( ASIC )、適切なファームウェア、プラグイン、機能カードなどであってよい。ソフトウェアで実現する場合、本開示の要素は、所望のタスクを実行するためのプログラムまたはコードセグメントである。プログラムまたはコードセグメントは、機械読み取り可能な媒体に記憶されるか、または搬送波に付帯されるデータ信号を通じて伝送媒体もしくは通信リンク上に伝送されてよい。「機械読み取り可能な媒体」は、情報を記憶または伝送することが可能な任意の媒体を含んでよい。機械読み取り可能な媒体の例としては、電子回路、半導体メモリデバイス、ROM、フラッシュメモリ、消去可能なROM ( EROM )、フロッピーディスク、CD-ROM、コンパクトディスク、ハードディスク、光ファイバ媒体、無線周波数( RF )リンクなどが挙げられる。コードセグメントは、インターネット、ローカルエリアネットワークなどのコンピュータネットワークを介してダウンロードされてよい。
【００８０】
なお、本開示で言及した例示的な実施例は、一連のステップまたは装置に基づいて説明したいくつかの方法またはシステムである。しかし、本開示は、上述したステップの順序に限定されず、つまり、本明細書で言及した順序でステップを実行でき、本明細書に記載された順序とは異なる順序でも実行でき、または若干のステップを同時に実行することもできる。
【００８１】
以上の説明は本開示の具体的な実施の形態に過ぎず、説明を便利かつ簡潔にするために、上記説明したシステム、サブ回路および回路の具体的な動作過程は、上述した方法実施例における対応する過程を参照することができると当業者は明確に理解できるため、ここでは改めて説明しない。本開示の請求範囲はこれにより制限されず、本開示で開示した技術範囲内において当業者が容易に想到できる各種等価な修正または置換も全て本開示の請求範囲に含まれると理解されるべきである。
【００８２】
上記実施の形態は、本開示の原理を説明するために用いた例示的な実施の形態にすぎず、本発明はこれらに限定されないことが理解されよう。当業者であれば、本発明の精神および実質を逸脱しない状況において、各種変形および改善を加えることができ、これら変形および改善も本開示の範囲内にあると見なされる。
【図１】
2021533429.tif 000003
【図２】
2021533429.tif 000004
【図３】
2021533429.tif 000005
【図４】
2021533429.tif 000006
【図５】
2021533429.tif 000007
【国際調査報告】
2021533429.tif 000008
2021533429.tif 000009
2021533429.tif 000010
2021533429.tif 000011