(57)【要約】      （修正有）【課題】マシン学習モデルにおける元の特徴に加えて物体の大きさの予測根拠を追加することにより、物体検出の正確度をさらに向上させることができる物体検出方法、装置及びコンピュータ可読記憶媒体を提供する。【解決手段】物体検出方法は、入力画像における対象物体の囲み枠を取得することと、囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定することと、参照枠と囲み枠との寸法に基づいて、寸法関連特徴を生成することと、マシン学習モデルで寸法関連特徴を用いて入力画像に対する物体検出を行うことと、を含む。【選択図】図１
2020038619.tif 000002
【特許請求の範囲】
【請求項１】
物体検出方法であって、
入力画像における対象物体の囲み枠を取得することと、
前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定することと、
前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成することと、
マシン学習モデルで前記寸法関連特徴を用いて前記入力画像に対する物体検出を行うことと、を含むことを特徴とする物体検出方法。
【請求項２】
前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定することは、
対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出することと、
前記重畳度に応じて前記予選枠から参照枠を選択することと、を含むことを特徴とする請求項１に記載の物体検出方法。
【請求項３】
前記囲み枠と前記予選枠とは、多辺形であり、対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出することは、
前記囲み枠と前記予選枠とをその１つの対応する頂点及び前記頂点に連結される少なくとも一つの対応する辺によって、位置合わせることと、
前記囲み枠と前記予選枠との位置合わせられた後の共通集合面積と合併集合面積との比率を算出することと、
前記比率を前記囲み枠と前記予選枠との重畳度とすること、を含むことを特徴とする請求項２に記載の物体検出方法。
【請求項４】
前記重畳度に応じて前記予選枠から参照枠を選択することは、
前記囲み枠と前記予選枠との重畳度が重畳度閾値よりも大きいと、前記予選枠を参照枠として決定することを含むことを特徴とする請求項２に記載の物体検出方法。
【請求項５】
前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成することは、
前記囲み枠と前記参照枠との幅の比率、高さの比率を前記寸法関連特徴とし、或は、
前記幅の比率の自然対数及び前記高さの比率の自然対数を前記寸法関連特徴とすることを含むことを特徴とする請求項１乃至４のいずれか１項に記載の物体検出方法。
【請求項６】
物体の種別にマッチングする予選枠の集合を予め設定しておくことと、
被検出体の所属する物体の種別を予断することと、
予断された前記物体の種別に応じて、前記物体の種別にマッチングする予選枠の集合を選択することと、をさらに含むことを特徴とする請求項１乃至４のいずれか１項に記載の物体検出方法。
【請求項７】
物体検出装置であって、
入力画像における対象物体の囲み枠を取得するための囲み枠取得ユニットと、
前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定するための参照枠決定ユニットと、
前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成するための寸法特徴生成ユニットと、
マシン学習モデルで前記寸法関連特徴を用いて前記入力画像に対する物体検出を行うための物体検出ユニットと、を備えることを特徴とする物体検出装置。
【請求項８】
前記参照枠決定ユニットは、
対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出するための重畳度算出サブユニットと、
前記重畳度に応じて前記予選枠から参照枠を選択するための参照枠選択サブユニットと、を備えることを特徴とする請求項７に記載の物体検出装置。
【請求項９】
前記囲み枠と前記予選枠とは、多辺形であり、前記重畳度算出サブユニットは、
前記囲み枠と前記予選枠とをその１つの対応する頂点及び前記頂点に連結される少なくとも一つの対応する辺によって、位置合わせ、
前記囲み枠と前記予選枠との位置合わせられた後の共通集合面積と合併集合面積との比率を算出し、
前記比率を前記囲み枠と前記予選枠との重畳度とするためにさらに用いられることを特徴とする請求項８に記載の物体検出装置。
【請求項１０】
前記参照枠選択サブユニットは、
前記囲み枠と前記予選枠との重畳度が重畳度閾値よりも大きいと、前記予選枠を参照枠として決定するためにさらに用いられることを特徴とする請求項８に記載の物体検出装置。
【請求項１１】
前記寸法特徴生成ユニットは、
前記囲み枠と前記参照枠との幅の比率、高さの比率を前記寸法関連特徴とし、或は、
前記幅の比率の自然対数及び前記高さの比率の自然対数を前記寸法関連特徴とするためにさらに用いられることを特徴とする請求項７乃至１０のいずれか１項に記載の物体検出装置。
【請求項１２】
物体の種別にマッチングする予選枠の集合を予め設定しておき、
被検出体の所属する物体の種別を予断し、
予断された前記物体の種別に応じて、前記物体の種別にマッチングする予選枠の集合を選択するための予選枠集合選択ユニットをさらに備えることを特徴とする請求項７乃至１０のいずれか１項に記載の物体検出装置。
【請求項１３】
物体検出装置であって、
一つ又は複数のプロセッサと、
一つ又は複数のプログラムを記憶するためのメモリと、を備え、
前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサにより実行される時、前記一つ又は複数のプロセッサが請求項１乃至６のいずれか１項に記載の物体検出方法を実現するようにすることを特徴とする物体検出装置。
【請求項１４】
コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記プログラムがプロセッサにより実行されると、請求項１乃至６のいずれか１項に記載の物体検出方法を実現することを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報技術分野に関し、特に、物体検出方法、装置及びコンピュータ可読記憶媒体に関する。
【背景技術】
【０００２】
物体検出は、人間の目には難しいことではない。グラフィックスにおける異なる色や、テクスチャ、エッジモジュールを検知することで対象物体を特定することは容易であるが、コンピュータはＲＧＢ画素マトリックスに向かっているため、犬や猫のような抽象的な概念を画像から直接に取得し、その位置を特定することは困難であり、それに加えて、物体の姿勢、照明や複雑な背景が混在して、物体の検出がより困難になる。
【０００３】
コンピュータビジョンの分野では、物体検出は代表的な問題の一つであり、画像中の物体の位置を枠で表示し、物体の種別を与えることが課題となる。従来の人工デザインによる特徴に浅層分類器を加える枠組みから、深層学習に基づくエンドツーエンドの検出枠組みまで、物体検出はますます成熟しつつある。
【０００４】
通常、検出アルゴリズムには３つの部分が含まれており、１つ目は検出窓の選択、２つ目は特徴の設計、３つ目は分類器の設計である。そのうち、特徴の設計には、異なる特徴を組み合わせて最適化する必要がある。物体を異なる次元で記述することにより、検出精度をさらに向上させることができる。例えば、ヒストグラム統計を用いて物体のエッジを符号化することによって、特徴表現能力はより強くなり、物体の検出、追跡、認識等の場面で広く利用される。
【０００５】
画像中の物体を検出する際に、候補となる物体領域毎に対して、深層学習ネットワークの特徴を抽出する場合、同じ長さの特徴しか得られなく、且つこの特徴は物体の大きさと関連性がなくて、物体の大きさの予測根拠が欠如してから、物体の大きさの予測は不正確になってしまう。例えば、画像において、遠い場所と近い場所との物体の大きさは異なるが、従来技術の手法では、このような大きさの異なる物体について抽出された特徴が同じであるため、物体の大きさの予測は不正確になる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施例は、従来技術における少なくとも一つ又は複数の技術問題を解決するための物体検出方法、装置及びコンピュータ可読記憶媒体を提供する。
【課題を解決するための手段】
【０００７】
第一態様によれば、本発明の実施例は、入力画像における対象物体の囲み枠を取得することと、前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定することと、前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成することと、マシン学習モデルで前記寸法関連特徴を用いて、前記入力画像に対する物体検出を行うことと、を含む物体検出方法を提供する。
【０００８】
第一態様に合わせて、本発明の実施例は、第一態様の第一実現形態において、前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定することは、対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出することと、前記重畳度に応じて前記予選枠から参照枠を選択することと、を含む。
【０００９】
第一態様の第一実現形態に合わせて、本発明の実施例は、第一態様の第二実現形態において、前記囲み枠と前記予選枠とは、多辺形であり、対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出することは、前記囲み枠と前記予選枠とをその１つの対応する頂点及び前記頂点に連結される少なくとも一つの対応する辺によって、位置合わせることと、前記囲み枠と前記予選枠とを位置合わせた後の共通集合面積と合併集合面積の比率を算出することと、前記比率を前記囲み枠と前記予選枠との重畳度とすることと、を含む。
【００１０】
第一態様の第一実現形態に合わせて、本発明の実施例は、第一態様の第三実現形態において、前記重畳度に応じて前記予選枠から参照枠を選択することは、前記囲み枠と前記予選枠との重畳度が重畳度閾値よりも大きいと、当該予選枠を参照枠として決定することを含む。
【００１１】
第一態様、第一態様の第一実現形態、第一態様の第二実現形態、第一態様の第三実現形態に合わせて、本発明の実施例は、第一態様の第四実現形態において、前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成することは、前記囲み枠と前記参照枠との幅の比率、高さの比率を前記寸法関連特徴とし、或は、前記幅の比率の自然対数及び前記高さの比率の自然対数を前記寸法関連特徴とすることを含む。
【００１２】
第一態様、第一態様の第一実現形態、第一態様の第二実現形態、第一態様の第三実現形態に合わせて、本発明の実施例は、第一態様の第五実現形態において、物体の種別にマッチングする予選枠の集合を予め設定しておくことと、前記被検出体の所属する物体の種別を予断することと、予断された前記物体の種別に応じて、前記物体の種別にマッチングする予選枠の集合を選択することと、をさらに含む。
【００１３】
第二態様によれば、本発明の実施例は、入力画像における対象物体の囲み枠を取得するための囲み枠取得ユニットと、前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定するための参照枠決定ユニットと、前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成するための寸法特徴生成ユニットと、マシン学習モデルで前記寸法関連特徴を用いて、前記入力画像に対する物体検出を行うための物体検出ユニットと、を備える物体検出装置を提供する。
【００１４】
第二態様に合わせて、本発明の実施例は、第二態様の第一実現形態において、前記参照枠決定ユニットは、対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出するための重畳度算出サブユニットと、前記重畳度に応じて前記予選枠から参照枠を選択するための参照枠選択サブユニットと、を備える。
【００１５】
第二態様の第一実現形態に合わせて、本発明の実施例は、第二態様の第二実現形態において、前記囲み枠と前記予選枠とは、多辺形であり、前記重畳度算出サブユニットは、前記囲み枠と前記予選枠とをその１つの対応する頂点及び前記頂点に連結される少なくとも一つの対応する辺によって、位置合わせ、前記囲み枠と前記予選枠とを位置合わせた後の共通集合面積と合併集合面積との比率を算出し、前記比率を前記囲み枠と前記予選枠との重畳度とするためにさらに用いられる。
【００１６】
第二態様の第一実現形態に合わせて、本発明の実施例は、第二態様の第三実現形態において、前記参照枠選択サブユニットは、前記囲み枠と前記予選枠との重畳度が重畳度閾値よりも大きいと、当該予選枠を参照枠として決定するためにさらに用いられる。
【００１７】
第二態様、第二態様の第一実現形態、第二態様の第二実現形態、第二態様の第三実現形態に合わせて、本発明の実施例は、第二態様の第四実現形態において、前記寸法特徴生成ユニットは、前記囲み枠と前記参照枠との幅の比率、高さの比率を前記寸法関連特徴とし、或は、前記幅の比率の自然対数及び前記高さの比率の自然対数を前記寸法関連特徴とするためにさらに用いられる。
【００１８】
第二態様、第二態様の第一実現形態、第二態様の第二実現形態、第二態様の第三実現形態に合わせて、本発明の実施例は、第二態様の第五実現形態において、前記物体検出装置は、物体の種別にマッチングする予選枠の集合を予め設定しておくことと、前記被検出体の所属する物体の種別を予断することと、予断された前記物体の種別に応じて、前記物体の種別にマッチングする予選枠の集合を選択することに用いられる予選枠集合選択ユニットをさらに備える。
【００１９】
好ましい一つの構想において、物体検出装置の構造には、プロセッサ及びメモリが含まれ、前記メモリは、物体検出装置による上記第一態様における物体検出方法の実行をサポートするプログラムを記憶するために用いられ、前記プロセッサは、前記メモリに記憶されたプログラムを実行するように配置される。前記物体検出装置は、物体検出装置と他の機器又は通信ネットワークとの通信に用いられる通信インターフェースをさらに備えてもよい。
【００２０】
第三態様によれば、本発明の実施例は、一つ又は複数のプロセッサと、一つ又は複数のプログラムを記憶するためのメモリとを備え、前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサにより実行される時、前記一つ又は複数のプロセッサが上記第一態様におけるいずれかの方法を実現するようにする物体検出装置を提供する。
【００２１】
第四態様によれば、本発明の実施例は、プロセッサにより実行されると、上記第一態様におけるいずれかの方法を実現するコンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供する。
【発明の効果】
【００２２】
上記技術案は、物体の大きさに関する特徴を用いて物体検出を行うことにより、即ち、マシン学習モデルにおける元の特徴に加えて物体の大きさの予測根拠を追加することにより、物体検出の正確度をさらに向上させるという利点又は有益な効果がある。
【００２３】
上記概説は明細書のためのものであって、いかなる方式で制限するためのものではない。上記説明される模式的な態様、実施形態及び特徴を除き、本発明のさらなる態様、実施形態及び特徴は、図面及び以下の詳細な説明によって明らかになる。
【図面の簡単な説明】
【００２４】
図面において、特に断りがない限り、複数の図面における同一記号は同様又は類似する部材又は要素を示す。これらの図面は比率で描かれるとは限らない。これらの図面は本発明の開示に係るいくつかの実施形態を描くものに過ぎず、本発明の範囲を制限するものと見なされるべきではないと理解すべきである。
【図１】本発明の一実施例が提供する物体検出方法のフローチャートである。
【図２】本発明の他の実施例が提供する物体検出方法における参照枠の決定のステップのフローチャートである。
【図３】本発明の他の実施例が提供する物体検出方法における重畳度の算出のステップのフローチャートである。
【図４ａ】本発明の他の実施例が提供する物体検出方法における重畳度算出に対する共通集合面積の模式図である。
【図４ｂ】本発明の他の実施例が提供する物体検出方法における重畳度算出に対する合併集合面積の模式図である。
【図５】本発明の他の実施例が提供する物体検出方法における予選枠の集合の選択のステップのフローチャートである。
【図６】本発明の一実施例が提供する物体検出装置の構造ブロック図である。
【図７】本発明のまた一実施例が提供する物体検出装置の参照枠決定ユニットの構造ブロック図である。
【図８】本発明のまた一実施例が提供する物体検出装置の構造ブロック図である。
【図９】本発明のまた一実施例が提供する物体検出装置の構造ブロック図である。
【発明を実施するための形態】
【００２５】
以下では、幾つかの例示的な実施例のみを簡単に説明する。当業者であれば、本発明の趣旨又は範囲を逸脱せずに、説明した実施例に様々な変更を施すことができると理解できる。従って、図面と説明は本質的に例示的であり、限定的ではないとみなされるべきである。
【００２６】
図１は、本発明の一実施例が提供する物体検出方法のフローチャートである。図１に示すように、本発明の実施例の物体検出方法は、入力画像における対象物体の囲み枠を取得するステップＳ１１０と、前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定するステップＳ１２０と、前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成するステップＳ１３０と、マシン学習モデルで前記寸法関連特徴を用いて前記入力画像に対する物体検出を行うステップＳ１４０と、を含む。
【００２７】
本発明の実施例では、物体検出を行う前に予選枠の集合を予め設定しておく。予選枠の集合には、寸法の異なる複数の予選枠が含まれている。対象物体の囲み枠を予選枠の集合における複数の予選枠と比較させ、比較結果に応じて囲み枠の寸法特徴に比較的に近い幾つかの予選枠を参照枠として選択する。参照枠と囲み枠との大きさ関係に基づいて、大きさや、アスペクト比に関する特徴、即ち、寸法関連特徴を生成する。マシン学習モデルにおける元の特徴に加えて、寸法関連特徴を元の特徴に融合した後に、物体に対する予測を行うことにより、物体の大きさの検出の正確度を向上させる。
【００２８】
一実現形態では、先ず、あるアルゴリズムを用いて物体の囲み枠を予測する。例えば、被処理グラフィックスをブロックに分割した後、各ブロックが囲み枠であるか否かについてそれぞれ判断する。また、被処理グラフィックスのカラーヒストグラムを算出する。カラーヒストグラム上に分布が平坦ではない領域は、物体のエッジ領域である可能性があることにより、物体の囲み枠を予測する。
【００２９】
図２は、本発明の他の実施例が提供する物体検出方法における参照枠の決定のステップのフローチャートである。図２に示すように、好ましい一つの実現形態では、図１において、前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定するステップＳ１２０は、対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出するステップＳ２１０と、前記重畳度に応じて前記予選枠から参照枠を選択するステップＳ２２０と、を含む。
【００３０】
予選枠は、予め設定された寸法の異なる幾つかの矩形枠を含んでもよい。これらの矩形枠の寸法同士間の関係には、次のような様々ものがあってもよい。例えば、幅は同じであるが高さが異なり、幅が異なるが高さが同じ、幅と高さとが異なるがアスペクトが同じ、或いは幅と高さとアスペクトとが全部異なる。そのうち、一例として、アスペクトが同じであるが幅と高さとが異なる一連の複数の矩形枠が設定される。アスペクトが１：１であると、１０＊１０画素、２０＊２０画素及び３０＊３０画素の３つの矩形枠を設定することができる。
【００３１】
このような実現形態では、対象物体の囲み枠と予選枠の集合における寸法の異なる複数の予選枠との重畳領域を算出し、算出結果に応じて囲み枠の寸法特徴に比較的に近い幾つかの予選枠を選択する。
【００３２】
図３は、本発明の他の実施例が提供する物体検出方法における重畳度の算出のステップのフローチャートである。図３に示すように、好ましい一つの実現形態では、図２において、対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出するステップＳ２１０は、前記囲み枠と前記予選枠とをその１つの対応する頂点及び前記頂点に連結される少なくとも一つの対応する辺によって、位置合わせるステップＳ３１０と、前記囲み枠と前記予選枠とを位置合わせた後の共通集合面積と合併集合面積との比率を算出するステップＳ３２０と、前記比率を前記囲み枠と前記予選枠との重畳度とするステップＳ３３０と、を含む。
【００３３】
このような実現形態では、ＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ  ｏｖｅｒ  Ｕｎｉｏｎ、重畳度）標準を用いて囲み枠と寸法の異なる複数の予選枠との重畳領域を算出する。ここで、ＩＯＵは、特定のデータ集合から対応する物体を検出する正確度を測定する標準の１つである。具体的に、囲み枠をある予選枠に位置合わせて、例えばこれら２つの矩形の左上隅の頂点及び当該頂点に連結される一辺を位置合わせて、その後、２つの矩形の共通集合面積と合併集合面積との比率を算出し、囲み枠とある予選枠とのＩＯＵ値とする。この比率（ＩＯＵ値）が大きいほど、２つの矩形の重畳度が大きくなることを意味する。
【００３４】
図４ａは、本発明の他の実施例が提供する物体検出方法における重畳度算出に対する共通集合面積の模式図である。図４ｂは、本発明の他の実施例が提供する物体検出方法における重畳度算出に対する合併集合面積の模式図である。図４ａ及び図４ｂにおいて、Ａ１、Ｂ１、Ｃ１、Ｄ１の４つの頂点からなる矩形が囲み枠を表し、Ａ２、Ｂ２、Ｃ２、Ｄ２の４つの頂点からなる矩形が予選枠を表す。図４ａ及び図４ｂに示すように、囲み枠と予選枠とは左上隅の頂点及び当該頂点に連結される辺によって、位置合わせられ、即ち、図面において、Ａ１及びＡ２の２つの頂点及び当該頂点に連結される辺は重なっている。図４ａに示すハッチング部の面積は、囲み枠と予選枠との位置合わせられた後の共通集合面積を表し、図４ｂに示すハッチング部の面積は、囲み枠と予選枠との位置合わせられた後の合併集合面積を表す。共通集合面積と合併集合面積との比率が大きいほど、２つの矩形の重畳度が高くなり、寸法特徴が近くなることを意味する。
【００３５】
また、好ましい一つの実現形態では、前記重畳度に応じて前記予選枠から参照枠を選択することは、前記囲み枠と前記予選枠との重畳度が重畳度閾値よりも大きいと、当該予選枠を参照枠として決定することを含む。
【００３６】
このような実現形態において、重畳度閾値を予め設定しておき、算出された囲み枠とある予選枠とのＩＯＵ値が予め設定された重畳度閾値よりも大きいと、当該予選枠の大きさ特徴が囲み枠に比較的に近いと認定する。このようにして、囲み枠の寸法特徴と比較的に近いＴｏｐ  Ｎ個（最上位のＮ個）の予選枠を選択して、Ｔｏｐ  Ｎ個の予選枠を参照枠として決定する。後続に特徴を抽出する時、参照枠のみを考慮してもよい。例えば、囲み枠と参照枠との大きさ関係データのみを抽出して特徴とする。参照枠以外の他の予選枠の大きさ特徴は、囲み枠に比べて、相対的に寸法の差が大きく、他の予選枠に対応する関連特徴のデータはゼロで埋められても良い。
【００３７】
また、好ましい一つの実現形態では、前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成することは、前記囲み枠と前記参照枠との幅の比率、高さの比率を前記寸法関連特徴とし、或は、前記幅の比率の自然対数及び前記高さの比率の自然対数を前記寸法関連特徴とすることを含む。
【００３８】
このような実現形態において、参照枠と囲み枠との大きさ関係に基づいて、大きさや、アスペクト比に関する特徴を生成する。例えば、各予選枠に対して、２つの矩形の幅の比率、２つの矩形の高さの比率を抽出して寸法関連特徴とし、或は、２つの矩形の幅の比率の自然対数及び２つの矩形の高さの比率の自然対数を抽出して寸法関連特徴としてもよい。
【００３９】
なお、囲み枠と予選枠とは、矩形に限りではなく、任意の多辺形であってもよい。
【００４０】
上記方法で設計された特徴は物体の大きさに関し、元の特徴に加えて、物体の大きさの予測根拠が追加され、物体検出の正確程度をさらに向上させる。
【００４１】
図５は、本発明の他の実施例が提供する物体検出方法における予選枠の集合の選択のステップのフローチャートである。図５に示すように、好ましい一つの実現形態では、物体の種別にマッチングする予選枠の集合を予め設定しておくステップＳ４１０と、前記被検出体の所属する物体の種別を予断するステップＳ４２０と、予断された前記物体の種別に応じて、前記物体の種別にマッチングする予選枠の集合を選択するステップＳ４３０と、をさらに含む。
【００４２】
このような実現形態では、例えば乗り物種別や、家具種別のような物体の種別に基づいて、物体の種別に関する寸法関連特徴を生成する。種別の予断を加えることにより、物体検出の正確度をさらに向上させることができる。
【００４３】
まず、ステップＳ４１０では、各種別にマッチングする予選枠の集合を予め設定しておく。例えば、乗り物種別において、列車は長尺状の矩形である場合があり、そのアスペクト比は非常に大きく、コンパクトカーは一般に幅が３〜４メートル、高さが１．６〜１．８メートル、アスペクト比が１．５〜２．５程度である場合がある。このことから分かるように、乗り物種別における予選枠の矩形のアスペクト比の取りうる値の範囲は比較的に大きい。また、家具種別では、予選枠の矩形のアスペクト比の取りうる値の範囲は相対的に頃合いであり、一般的に、家具のアスペクト比は列車よりもはるかに小さい。
【００４４】
次に、ステップＳ４２０では、物体の種別を予断する。例えば、予断される種別は乗り物や、家具等である可能性がある。領域特徴、境界特徴又は深層学習ネットワーク特徴を用いて物体の種別を予断してもよい。
【００４５】
その後に、ステップＳ４３０では、予断された物体の種別に応じて、種別にマッチングする予選枠の集合を用いて、物体の種別に関する寸法関連特徴を生成し、物体検出の正確度をさらに向上させる。
【００４６】
上記技術案は、物体の大きさに関する特徴を用いて物体検出を行うことにより、即ち、マシン学習モデルにおける元の特徴に加えて物体の大きさの予測根拠を追加することにより、物体検出の正確程度をさらに向上させるという利点又は有益な効果がある。
【００４７】
図６は、本発明の一実施例が提供する物体検出装置の構造ブロック図である。図６に示すように、本発明の実施例の物体検出装置は、入力画像における対象物体の囲み枠を取得するための囲み枠取得ユニット１００と、前記囲み枠に基づいて予め設定された予選枠の集合から参照枠を決定するための参照枠決定ユニット２００と、前記参照枠と前記囲み枠との寸法に基づいて、寸法関連特徴を生成するための寸法特徴生成ユニット３００と、マシン学習モデルで前記寸法関連特徴を用いて前記入力画像に対する物体検出を行うための物体検出ユニット４００と、を備える。
【００４８】
図７は、本発明のまた一実施例が提供する物体検出装置の参照枠決定ユニットの構造ブロック図である。図７に示すように、好ましい一つの実現形態では、前記参照枠決定ユニット２００は、対象物体の前記囲み枠と前記予選枠の集合における各予選枠との重畳度を算出するための重畳度算出サブユニット２１０と、前記重畳度に応じて前記予選枠から参照枠を選択するための参照枠選択サブユニット２２０と、を備える。
【００４９】
また、好ましい一つの実現形態では、前記重畳度算出サブユニット２１０は、前記囲み枠と前記予選枠とをその１つの対応する頂点及び前記頂点に連結される少なくとも一つの対応する辺によって、位置合わせ、前記囲み枠と前記予選枠との位置合わせられた後の共通集合面積と合併集合面積の比率を算出し、前記比率を前記囲み枠と前記予選枠との重畳度とするためにさらに用いられる。
【００５０】
また、好ましい一つの実現形態では、前記参照枠選択サブユニット２２０は、前記囲み枠と前記予選枠との重畳度が重畳度閾値よりも大きいと、当該予選枠を参照枠として決定するためにさらに用いられる。
【００５１】
また、好ましい一つの実現形態では、前記寸法特徴生成ユニット３００は、前記囲み枠と前記参照枠との幅の比率、高さの比率を前記寸法関連特徴とし、或は、前記幅の比率の自然対数及び前記高さの比率の自然対数を前記寸法関連特徴とするためにさらに用いられる。
【００５２】
図８は、本発明のまた一実施例が提供する物体検出装置の構造ブロック図である。図８に示すように、好ましい一つの実現形態では、物体の種別にマッチングする予選枠の集合を予め設定しておき、前記被検出体の所属する物体の種別を予断し、予断された前記物体の種別に応じて、前記物体の種別にマッチングする予選枠の集合を選択するための予選枠集合選択ユニット５００をさらに備える。
【００５３】
本発明の実施例の物体検出装置における各ユニットの機能は、上記方法の関連説明を参照すればよく、ここではさらに詳しく説明しない。
【００５４】
好ましい一つの構想において、物体検出装置の構造には、プロセッサ及びメモリが含まれ、前記メモリは、物体検出装置による上記物体検出方法の実行をサポートするプログラムを記憶するために用いられ、前記プロセッサは、前記メモリに記憶されたプログラムを実行するように配置される。前記物体検出装置は、物体検出装置と他の機器又は通信ネットワークとを通信させるための通信インターフェースをさらに備えてもよい。
【００５５】
図９は、本発明のまた一実施例が提供する物体検出装置の構造ブロック図である。図９に示すように、当該装置は、メモリ１０１とプロセッサ１０２とを備え、メモリ１０１にはプロセッサ１０２で稼働できるコンピュータプログラムが記憶されている。前記プロセッサ１０２は、前記コンピュータプログラムを実行すると、上記実施例における物体検出方法を実現する。前記メモリ１０１とプロセッサ１０２の数は、一つ又は複数であってもよい。
【００５６】
当該装置は、周辺機器と通信し、データのインタラクティブ転送を行うための通信インターフェース１０３をさらに備える。
【００５７】
メモリ１０１は、高速ＲＡＭメモリを含む可能性もあるし、更に不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ  ｍｅｍｏｒｙ）、例えば少なくとも一つの磁気ディスクメモリを備える可能性もある。
【００５８】
メモリ１０１、プロセッサ１０２及び通信インターフェース１０３が独立して実現する場合、メモリ１０１、プロセッサ１０２及び通信インターフェース１０３はバスで互いに接続され、且つ相互間の通信を実現することができる。前記バスは業界標準アーキテクチャ（ＩＳＡ、Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ペリフェラルコンポーネント（ＰＣＩ、Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス又は拡張業界標準アーキテクチャ（ＥＩＳＡ、Ｅｘｔｅｎｄｅｄ  Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ）バス等であってもよい。前記バスはアドレスバス、データバス、制御バス等に分けられてもよい。示しやすくするために、図９では１本のみの太線で示すが、１本のみのバス又は１つのタイプのみのバスを有すると示さない。
【００５９】
選択的に、具体的に実現する時、メモリ１０１、プロセッサ１０２及び通信インターフェース１０３が１枚のチップに統合される場合、メモリ１０１、プロセッサ１０２及び通信インターフェース１０３は内部インターフェースによって相互間の通信を実現することができる。
【００６０】
また一態様によれば、本発明の実施例は、プロセッサにより実行されると、上記物体検出方法のいずれか１項に記載の方法を実現するコンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供する。
【００６１】
本明細書の説明において、用語「一実施例」、「いくつかの実施例」、「例」、「具体例」、又は「いくつかの例」等の説明とは、該実施例又は例を参照すると説明した具体的な特徴、構造、材料又は特性が本発明の少なくとも１つの実施例又は例に含まれることを意味する。且つ、説明される具体的な特徴、構造、材料又は特性はいずれか１つ又は複数の実施例又は例で適切な方式で結合してもよい。また、矛盾しない限り、当業者は本明細書に説明される様々な実施例又は例、及び様々な実施例又は例の特徴を結合及び組み合わせすることができる。
【００６２】
また、用語の「第一」、「第二」は説明のためのものに過ぎず、相対重要性を指示又は示唆し、又は指示された技術的特徴の数を暗示すると理解すべきではない。従って、「第一」、「第二」で制限された特徴は少なくとも１つの該特徴を明示的又は暗示的に含んでもよい。本発明の説明において、特に明確且つ具体的に制限しない限り、「複数」の意味は２つ又は２つ以上である。
【００６３】
当業者であれば、フローチャートにおける、又はここでほかの方式で説明されるいかなる過程又は方法についての説明は、確定の論理機能又は過程を実現するための１つ又は複数のステップの実行可能命令のコードを含むモジュール、セグメント又は部分を示すと理解されてもよく、且つ本発明の好適な実施形態の範囲はほかの実現を含み、指示又は検討される順序通りでなくてもよく、関わる機能に基づいて、ほぼ同時に、又は逆順序で機能を実行してもよいと理解すべきである。
【００６４】
フローチャートに示す、又はここでほかの方式で説明される論理及び／又はステップは、例えば、論理機能を実現するための実行可能命令の順序付けリストであると見なされてもよく、具体的にいかなるコンピュータ可読媒体に実現されてもよく、命令実行システム、装置又はデバイス（例えばコンピュータに基づくシステム、プロセッサを含むシステム又は命令実行システム、装置又はデバイスから命令を受信し且つ命令を実行するシステム）の使用に備え、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用される。本明細書については、「コンピュータ可読媒体」はプログラムを包含、記憶、通信、伝播又は伝送することにより、命令実行システム、装置又はデバイス、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用されるいかなる装置であってもよい。コンピュータ可読媒体のさらなる具体例（非網羅的リスト）は、１つ又は複数の配線を有する電気接続部（電子装置）、ポータブルコンピュータケース（磁気装置）、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去再書込み可能な読出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー装置、及び携帯型読み出し専用メモリ（ＣＤＲＯＭ）を含む。また、コンピュータ可読媒体は更にその上に前記プログラムを印刷できる用紙又はほかの適切な媒体であってもよい理由は、例えば用紙又はほかの媒体を光学的に走査し、次に編集、解釈し、又は必要な時にほかの適切な方式で処理して、電子方式で前記プログラムを取得し、次にそれをコンピュータメモリに記憶することができるためである。
【００６５】
本発明の各部分はハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせで実現されてもよいと理解すべきである。上記実施形態において、複数のステップ又は方法は、メモリに記憶される、且つ適切な命令実行システムで実行するソフトウェア又はファームウェアで実現されてもよい。例えば、ハードウェアで実現する場合は、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する確定用途向け集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の本分野での公知技術のうちのいずれか１つ又はそれらの組み合わせで実現してもよい。
【００６６】
当業者であれば、上記実施例方法におけるステップの全部又は一部の実現がプログラムによって関連するハードウェアを命令して完了させてもよく、前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、実行時に、該プログラムは方法実施例のステップの１つ又はそれらの組み合わせを含むと理解される。
【００６７】
また、本発明の各実施例における各機能ユニットが１つの処理モジュールに統合されてもよく、各ユニットが独立して物理的に存在してもよく、２つ又は２つ以上のユニットが１つのモジュールに統合されてもよい。上記統合モジュールはハードウェアのタイプで実現されてもよいし、ソフトウェア機能モジュールのタイプで実現されてもよい。前記統合モジュールはソフトウェア機能モジュールのタイプで実現され、且つ独立した製品として販売又は使用される時、１つのコンピュータ可読記憶媒体に記憶されてもよい。前記記憶媒体は読み出し専用メモリ、磁気ディスク又は光ディスク等であってもよい。
【００６８】
以上の説明は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲を制限するためのものではなく、当業者が本発明に開示される技術的範囲内に容易に想到し得る種々の変更又は置換は、いずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲に準じるべきである。
【図１】
2020038619.tif 000003
【図２】
2020038619.tif 000004
【図３】
2020038619.tif 000005
【図４ａ】
2020038619.tif 000006
【図４ｂ】
2020038619.tif 000007
【図５】
2020038619.tif 000008
【図６】
2020038619.tif 000009
【図７】
2020038619.tif 000010
【図８】
2020038619.tif 000011
【図９】
2020038619.tif 000012