(57)【要約】【課題】本発明の実施例は、物体認識方法、装置及びシングルステップの物体認識ニューラルネットワークを提供する。【解決手段】従来のシングルショットマルチボックス検出（ＳＳＤ）ネットワークにおける畳み込み層の一部の代わりに拡張畳み込みを用いることで、入力画像のサイズの制限を減らし、接続経路を増加することで、物体認識の正確性が向上し、残差構造を用いて畳み込み層を接続することで、収束効果が確保され、物体認識の精度が全体として向上する。【選択図】図３
2020135871.tif 000002
【特許請求の範囲】
【請求項１】
シングルステップの物体認識ニューラルネットワークであって、
互いに接続され、入力画像に対して特徴抽出を行う複数の第１畳み込み層グループであって、前記複数の第１畳み込み層グループのうちの最後の１つの第１畳み込み層グループの出力は検出モジュールの入力とされ、各第１畳み込み層グループは３つの第１畳み込み層を含み、各第１畳み込み層グループの３つの第１畳み込み層は残差構造を介して接続されている、複数の第１畳み込み層グループと、
複数の第２畳み込み層であって、各第２畳み込み層は２つの第１畳み込み層グループの間に位置する、複数の第２畳み込み層と、
複数の第２畳み込み層グループであって、前記複数の第２畳み込み層グループの出力は検出モジュールの入力とされ、前記複数の第２畳み込み層グループのうちの少なくとも２つは互いに接続されておらず、前記少なくとも２つの第２畳み込み層グループは少なくとも２つの前記第１畳み込み層グループに接続され、前記少なくとも２つの第２畳み込み層グループのうちの１つと前記少なくとも２つの第２畳み込み層グループ以外の他の第２畳み込み層グループとは互いに接続され、各第２畳み込み層グループは２つの第３畳み込み層を含み、互いに接続された第２畳み込み層グループにおける２つの第３畳み込み層のうちの１つは拡張畳み込みを用いる、複数の第２畳み込み層グループと、
前記複数の第２畳み込みグループのうちの最後の１つに接続された第４畳み込み層であって、前記第４畳み込み層の出力は前記検出モジュールの入力とされる、第４畳み込み層と、を含む、シングルステップの物体認識ニューラルネットワーク。
【請求項２】
前記第２畳み込み層及び前記第４畳み込み層はプーリング層である、請求項１に記載のシングルステップの物体認識ニューラルネットワーク。
【請求項３】
前記拡張畳み込みのストライドは２である、請求項１に記載のシングルステップの物体認識ニューラルネットワーク。
【請求項４】
前記拡張畳み込みは、Ａｔｒｏｕｓアルゴリズム又はＨｏｌｅアルゴリズムを用いる、請求項１に記載のシングルステップの物体認識ニューラルネットワーク。
【請求項５】
前記少なくとも２つの第２畳み込み層グループに接続された少なくとも２つの第１畳み込み層グループは互いに隣接していない、請求項１に記載のシングルステップの物体認識ニューラルネットワーク。
【請求項６】
２つの第１畳み込み層グループは２つの第２畳み込み層グループに接続され、
前記２つの第２畳み込み層グループに接続された前記２つの第１畳み込み層グループの間には、少なくとも１つの第１畳み込み層グループにより隔てられている、請求項５に記載のシングルステップの物体認識ニューラルネットワーク。
【請求項７】
前記複数の第１畳み込み層グループのうちの少なくとも１つの第１畳み込み層グループにおける第１畳み込み層の膨張係数は２である、請求項１に記載のシングルステップの物体認識ニューラルネットワーク。
【請求項８】
前記複数の第１畳み込み層グループのうちの最後の４つの第１畳み込み層グループにおける第１畳み込み層の膨張係数は２である、請求項７に記載のシングルステップの物体認識ニューラルネットワーク。
【請求項９】
物体認識装置であって、
請求項１乃至８の何れかに記載のシングルステップの物体認識ニューラルネットワークを用いて入力画像に対して特徴抽出を行う特徴抽出部と、
前記特徴抽出部により抽出された特徴に基づいて物体認識を行う検出部と、を含む、装置。
【請求項１０】
前記入力画像のサイズは、３００×３００よりも大きく、或いは３００×３００よりも小さい、請求項９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体認識の技術分野に関し、特に物体認識方法、装置及びシングルステップの物体認識ニューラルネットワークに関する。
【背景技術】
【０００２】
物体認識は、マシンビジョンの分野で最も重要な研究方向の１つである。現在、エンジニアリングには高精度とリアルタイムの両方の機能が必要であるため、ニューラルネットワーク物体認識技術は主流となっている。従来の物体認識方法の深層学習は２種類に分けられてもよい。１つは、例えば高速領域畳み込みニューラルネットワーク（Ｆａｓｔｅｒ  Ｒ−ＣＮＮ：Ｆａｓｔｅｒ  Ｒｅｇｉｏｎ−Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）や領域完全畳み込みネットワーク（Ｒ−ＦＣＮ：Ｒｅｇｉｏｎ−Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋ）などの候補領域抽出方法である。もう１つは、例えばシングルショットマルチボックス検出（ＳＳＤ：Ｓｉｎｇｌｅ  Ｓｈｏｔ  ｍｕｌｔｉｂｏｘ  Ｄｅｔｅｃｔｏｒ）やＹＯＬＯ（Ｙｏｕ  Ｏｎｌｙ  Ｌｏｏｋ  Ｏｎｃｅ）などのシングルステップ（ｓｉｎｇｌｅ  ｓｔｅｐ）の方法である。
【０００３】
前者の方法は、関心領域（ＲＯＩ：Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）の抽出が複雑になり、速度が低下する。後者の方法はリアルタイムの物体検出アルゴリズムである。該方法は、ＲＯＩプールが省略され、計算量が削減されるため、ＧＰＵを用いた速度よりも３０ｆｐｓ速くなる場合がある。
【０００４】
なお、上述した技術背景の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により周知されたものではない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の発明者の発見によると、シングルステップの方法も幾つかの欠点を有する。１つ目は、速度と全体的な精度とのバランスであり、通常、高速ネットワークの検出精度が要求を満たすことが困難である。２つ目は、サイズの小さい物体の検出精度であり、ＲＯＩプールがないため、小さな画像が入力されると、畳み込み処理において小さな物体の特徴、特に密集している物体の特徴を完全に保持することが困難である。３つ目は、入力サイズの制限であり、例えばＳＳＤネットワークの解像度の最低制限が３００×３００である。よって、従来のシングルステップの方法では、速度が速い場合に精度が低くなり、小さな物体に対する検出能力が弱く、低解像度の入力画像を入力することができない。
【０００６】
上記問題の少なくとも１つ又は他の同様の問題を解決するために、本発明の実施例は、精度を確保しながら速度を向上させることができ、小さな物体に対する検出能力を向上させることができ、低解像度の入力画像を入力することができる、物体認識方法、装置及びシングルステップの物体認識ニューラルネットワークを提供する。
【課題を解決するための手段】
【０００７】
本発明の実施例の第１態様では、シングルステップの物体認識ニューラルネットワークであって、互いに接続され、入力画像に対して特徴抽出を行う複数の第１畳み込み層グループであって、前記複数の第１畳み込み層グループのうちの最後の１つの第１畳み込み層グループの出力は検出モジュールの入力とされ、各第１畳み込み層グループは３つの第１畳み込み層を含み、各第１畳み込み層グループの３つの第１畳み込み層は残差構造を介して接続されている、複数の第１畳み込み層グループと、複数の第２畳み込み層であって、各第２畳み込み層は２つの第１畳み込み層グループの間に位置する、複数の第２畳み込み層と、複数の第２畳み込み層グループであって、前記複数の第２畳み込み層グループの出力は検出モジュールの入力とされ、前記複数の第２畳み込み層グループのうちの少なくとも２つは互いに接続されておらず、前記少なくとも２つの第２畳み込み層グループは少なくとも２つの前記第１畳み込み層グループに接続され、前記少なくとも２つの第２畳み込み層グループのうちの１つと前記少なくとも２つの第２畳み込み層グループ以外の他の第２畳み込み層グループとは互いに接続され、各第２畳み込み層グループは２つの第３畳み込み層を含み、互いに接続された第２畳み込み層グループにおける２つの第３畳み込み層のうちの１つは拡張畳み込みを用いる、複数の第２畳み込み層グループと、前記複数の第２畳み込みグループのうちの最後の１つに接続された第４畳み込み層であって、前記第４畳み込み層の出力は前記検出モジュールの入力とされる、第４畳み込み層と、を含む、シングルステップの物体認識ニューラルネットワークを提供する。
【０００８】
本発明の実施例の第２態様では、物体認識方法であって、上記の第１態様に記載のシングルステップの物体認識ニューラルネットワークを用いて入力画像に対して特徴抽出を行うステップと、抽出された特徴に基づいて物体認識を行うステップと、を含む、方法を提供する。
【０００９】
本発明の実施例の第３態様では、物体認識装置であって、上記の第１態様に記載のシングルステップの物体認識ニューラルネットワークを用いて入力画像に対して特徴抽出を行う特徴抽出部と、前記特徴抽出部により抽出された特徴に基づいて物体認識を行う検出部と、を含む、装置を提供する。
【００１０】
本発明の実施例の第４態様では、コンピュータ読み取り可能なプログラムであって、物体認識装置又は画像処理装置において前記プログラムが実行される際に、前記物体認識装置又は前記画像処理装置に上記の第２態様に記載の物体認識方法を実行させる、プログラムを提供する。
【００１１】
本発明の実施例の第５態様では、コンピュータ読み取り可能なプログラムが記憶されている記憶媒体であって、前記コンピュータ読み取り可能なプログラムが物体認識装置又は画像処理装置に上記の第２態様に記載の物体認識方法を実行させる、記憶媒体を提供する。
【００１２】
本発明の実施例の有利な効果は以下の通りである。従来のシングルショットマルチボックス検出（ＳＳＤ）ネットワークにおける畳み込み層の一部の代わりに拡張畳み込みを用いることで、入力画像のサイズの制限を減らし、接続経路を増加することで、物体認識の正確性が向上し、残差構造を用いて畳み込み層を接続することで、収束効果が確保され、物体認識の精度が全体として向上する。
【００１３】
本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び均等的なものが含まれる。
【００１４】
ある一つの実施形態に説明及び又は示されている特徴は、同一又は類似の方式で一つ又は多くの他の実施形態に使用されてもよく、他の実施形態における特徴と組み合わせてもよく、他の実施形態における特徴を代替してもよい。
【００１５】
なお、用語「含む／有する」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。
【図面の簡単な説明】
【００１６】
本発明の実施例の図面又は実施形態に説明されている要素及び特徴は、１つ又は複数の他の図面又は実施形態に示す要素及び特徴と組み合わせてもよい。図面において、類似する符号は複数の図面における対応する構成部を表し、複数の態様に用いられる対応構成部を表してもよい。
【００１７】
ここで含まれる図面は、本発明の実施例を理解させるためのものであり、本明細書の一部を構成し、本発明の実施例を例示するためのものであり、文言の記載と合わせて本発明の原理を説明する。なお、ここに説明される図面は、単なる本発明の実施例を説明するためのものであり、当業者にとって、これらの図面に基づいて他の図面を容易に得ることができる。
【図１】実施例１のシングルステップの物体認識ニューラルネットワークを示す図である。
【図２】実施例１のシングルステップの物体認識ニューラルネットワークを示す他の図である。
【図３】図２に示すシングルステップの物体認識ニューラルネットワークの具体的な実装を示す図である。
【図４】同一の条件で本実施例のシングルステップの物体認識ニューラルネットワークを用いる物体認識の認識結果及び従来のＳＳＤネットワークを用いる物体認識の認識結果を示す図である。
【図５】実施例２の物体認識方法を示す図である。
【図６】実施例３の物体認識装置を示す図である。
【図７】実施例４の画像処理装置を示す図である。
【発明を実施するための形態】
【００１８】
本発明の上記及びその他の特徴は、図面及び下記の説明により明確になる。明細書及び図面では、本発明の特定の実施形態、即ち本発明の原則に従う一部の実施形態を表すものを公開している。なお、本発明は説明される実施形態に限定されず、本発明は、特許請求の範囲内の全ての修正、変更されたもの、及び均等なものを含む。
【００１９】
本発明の実施例では、用語「第１」、「第２」は異なる要素を名称で区分するためのものであり、これらの要素の空間的配列又は時間的順序などを意味するものではなく、これらの要素はこれらの用語に限定されない。用語「及び／又は」は列挙された用語の１つ又は複数のうち何れか及びその組み合わせを含む。用語「包括」、「含む」、「有する」は説明された特徴、要素、素子又は部材の存在を意味するが、他の１つ又は複数の特徴、要素、素子又は部材の存在又は追加を排除するものではない。
【００２０】
本発明の実施例では、単数形の「一」、「該」等は複数形を含み、「一種」又は「一類」を意味し、「１つ」に限定するものではない。また、用語「前記」は、文脈上明確に指示されない限り、単数形及び複数形両方を含む。また、文脈上明確に指示されない限り、用語「応じて」は「少なくとも部分的に応じて」を意味し、用語「に基づいて」は「少なくとも部分的に基づいて」を意味する。
【００２１】
以下は、図面を参照しながら本発明の実施例の各態様を説明する。これらの態様は単なる例示的なものであり、本発明を制限するものではない。
【００２２】
＜実施例１＞
本発明の実施例はシングルステップの物体認識ニューラルネットワークを提供する。図１は本実施例のシングルステップの物体認識ニューラルネットワークを示す図である。図１に示すように、該シングルステップの物体認識ニューラルネットワークは、複数の第１畳み込み層グループ１００、複数の第２畳み込み層２００、複数の第２畳み込み層グループ３００及び１つの第４畳み込み層４００を含む。本実施例では、第１畳み込み層グループ１００及び第２畳み込み層２００は「特徴抽出ネットワーク」と称されてもよく、第２畳み込み層グループ３００及び第４畳み込み層４００は「分類回帰ネットワーク」と称されてもよく、特徴抽出ネットワーク及び分類回帰ネットワークの定義は従来技術と同様であり、ここでその説明を省略する。
【００２３】
本実施例では、図１に示すように、複数の第１畳み込み層グループ１００は、互いに接続され、入力画像に対して特徴抽出を行う。また、複数の第１畳み込み層グループ１００のうちの最後の１つの第１畳み込み層グループ１００（即ち深度が最も深い畳み込み層グループ、例えば図１に示す１００−１）の出力は検出モジュールの入力とされる。本実施例では、各第１畳み込み層グループ１００は３つの畳み込み層（第１畳み込み層と称される）を含んでもよく、各第１畳み込み層グループ１００の３つの第１畳み込み層は残差構造（ｒｅｓｉｄｕａｌ  ｓｔｒｕｃｔｕｒｅ）を介して接続されてもよい。残差構造を用いて第１畳み込み層グループ１００における畳み込み層を接続することで、収束効果が確保され、物体認識の精度が全体として向上する。
【００２４】
本実施例では、各第１畳み込み層グループ１００に含まれる畳み込み層の数は３つに限定されず、該３つの畳み込み層は残差構造を用いて接続されるものでなくてもよく、例えば密集（ｄｅｎｓｅ）接続方式を用いて接続されてもよいし、従来の他の接続方式を用いて接続されてもよい。
【００２５】
本実施例では、図１に示すように、複数の第２畳み込み層２００のそれぞれは、２つの第１畳み込み層グループ１００の間に位置し、プーリング層であってもよい。プーリング層の定義及び実現方法について、従来技術を参照してもよく、ここでその説明を省略する。
【００２６】
本実施例では、図１に示すように、複数の第２畳み込み層グループ３００の出力は検出モジュールの入力とされてもよい。複数の第２畳み込み層グループ３００のうちの少なくとも２つは互いに接続されておらず、少なくとも２つの第２畳み込み層グループ３００は少なくとも２つの第１畳み込み層グループ１００に接続されている。図１の例では、第２畳み込み層グループ３００−１は第１畳み込み層グループ１００−２に接続され、第２畳み込み層グループ３００−２は第１畳み込み層グループ１００−１に接続され、第２畳み込み層グループ３００−１と３００−２とは互いに接続されていない。これによって、特徴抽出と分類回帰との間で少なくとも２つの接続パスが構成され、全ての特徴情報が１つの層（回帰層、即ち第２畳み込み層グループ３００）に集中することにより検出精度が高くないという問題を回避した。
【００２７】
本実施例では、図１に示すように、該少なくとも２つの第２畳み込み層グループ３００のうちの１つと該少なくとも２つの第２畳み込み層グループ３００以外の他の第２畳み込み層グループ３００とは互いに接続され、各第２畳み込み層グループ３００は２つの第３畳み込み層を含み、互いに接続された第２畳み込み層グループ３００における２つの第３畳み込み層のうちの１つは拡張畳み込み（ｄｉｌａｔｅｄ  ｃｏｎｖｏｌｕｔｉｏｎ）を用いる。
【００２８】
図１の例では、第２畳み込み層グループ３００−２と第２畳み込み層グループ３００−３、３００−４とは互いに接続され、第２畳み込み層グループ３００−３、３００−４のそれぞれは２つの第３畳み込み層を含み、第２畳み込み層グループ３００−２〜３００−４における２つの畳み込み層のうちの１つは拡張畳み込みを用いる。これによって、拡張畳み込みの特性を用いることで、入力画像のサイズの制限を減らすことができる。拡張畳み込みの定義及び実現方法について、従来技術を参照してもよく、ここでその説明を省略する。
【００２９】
本実施例では、拡張畳み込みのストライド（ｓｔｒｉｄｅ）は２であってもよいし、他の値であってもよく、本実施例はこれに限定されない。また、該拡張畳み込みは、Ａｔｒｏｕｓアルゴリズムを用いてもよいし、Ｈｏｌｅアルゴリズムを用いてもよいし、他の既知の実装可能なアルゴリズムを用いてもよい。
【００３０】
本実施例では、図１に示すように、第４畳み込み層４００は、複数の第２畳み込みグループ３００のうちの最後の１つ（図１に示す３００−４）に接続されている。第４畳み込み層４００の出力も検出モジュールの入力とされる。本実施例では、第４畳み込み層４００もプーリング層であってもよく、プーリング層の定義及び実現方法について、従来技術を参照してもよく、ここでその説明を省略する。
【００３１】
本実施例のシングルステップの物体認識ニューラルネットワークによれば、従来のシングルショットマルチボックス検出（ＳＳＤ）ネットワークにおける畳み込み層の一部の代わりに拡張畳み込みを用いることで、入力画像のサイズの制限を減らし、接続経路を増加することで、物体認識の正確性が向上し、残差構造を用いて畳み込み層を接続することで、収束効果が確保され、物体認識の精度が全体として向上する。
【００３２】
本実施例では、少なくとも２つの第２畳み込み層グループ３００に接続された少なくとも２つの第１畳み込み層グループ１００は互いに隣接していない。図１の例では、第１畳み込み層グループ１００−１及び第１畳み込み層グループ１００−２は第２畳み込み層グループ３００−２及び第２畳み込み層グループ３００−１にそれぞれ接続され、第１畳み込み層グループ１００−１と第１畳み込み層グループ１００−２とは、互いに隣接しておらず、例えば少なくとも１つの第１畳み込み層グループ１００により隔てられている。これによって、２つの接続パスからの異なる特徴情報が異なる第２畳み込み層グループ３００に集中することを確保することができ、検出精度を向上させることができる。本実施例は、第１畳み込み層グループを隔てるための第１畳み込み層グループ１００の数に限定されず、例えば１つ、２つ、３つ、又は４つ以上であってもよい。該第１畳み込み層グループを隔てるための第１畳み込み層グループ１００の数が多いほど、第２畳み込み層グループ３００に集中する特徴情報の差が大きくなる。
【００３３】
本実施例では、複数の第１畳み込み層グループ１００のうちの少なくとも１つの第１畳み込み層グループ１００における第１畳み込み層の膨張係数（ｄｉｌａｔｅ  ｃｏｅｆｆｉｃｉｅｎｔ）は２である。図１の例では、第１畳み込み層グループ１００−１、及び第１畳み込み層グループ１００−１と第１畳み込み層グループ１００−２との間の第１畳み込み層グループ１００における第１畳み込み層の膨張係数は２であってもよい。これによって、入力画像のサイズに対する制限を減らすことができ、より多くの特徴を維持することができる。本実施例は、膨張係数が２の第１畳み込み層を有する第１畳み込み層グループ１００の数に限定されず、１つ、２つ、３つ、又は４つ以上であってもよく、例えば、複数の第１畳み込み層グループ１００のうちの最後の４つの第１畳み込み層グループ１００における第１畳み込み層の膨張係数は２であってもよい。
【００３４】
本実施例では、第１畳み込み層グループ１００の数は限定されず、第２畳み込み層２００の位置は限定されず、２つの第１畳み込み層グループ１００の間に位置すればよい。また、本実施例では、第２畳み込み層グループ３００の数も限定されず、４つであってもよいし、他の数であってもよい。
【００３５】
図２は本実施例のシングルステップの物体認識ニューラルネットワークを示す他の図である。図２に示すように、該シングルステップの物体認識ニューラルネットワークでは、第１畳み込み層グループの数は１６であり、５００−１〜５００−１６で示され、第２畳み込み層の数は３であり、６００−１〜６００−３で示され、第２畳み込み層グループの数は４であり、７００−１〜７００−４で示され、第４畳み込み層の数は１であり、８００で示される。
【００３６】
また、図２の例では、第１畳み込み層グループ５００−１〜５００−２の構造は同じであり、第１畳み込み層グループ５００−３〜５００−４の構造は同じであり、第１畳み込み層グループ５００−５〜５００−８の構造は同じであり、第１畳み込み層グループ５００−９〜５００−１２の構造は同じであり、第１畳み込み層グループ５００−１３〜５００−１４の構造は同じである。ここで、構造が同じであることとは、それに含まれる３つの第１畳み込み層の各係数（例えばフィルタの数、サイズ、膨張係数など）が全て同じであることを意味する。
【００３７】
図３は図２に示すシングルステップの物体認識ニューラルネットワークの具体的な実装を示す図である。図３に示すように、該シングルステップの物体認識ニューラルネットワークでは、第１畳み込み層グループ５００の構造、第１畳み込み層グループ５００に含まれる第１畳み込み層の係数、第２畳み込み層６００の係数、第２畳み込み層グループ７００の構造、第２畳み込み層グループ７００に含まれる第３畳み込み層の係数、及び第４畳み込み層８００の構造が示されている。図３の例は単なる説明用の一例であり、具体的な実装に応じて、第１畳み込み層グループ５００はより多く、又はより少ない第１畳み込み層を含んでもよく、第２畳み込み層グループ７００はより多く、又はより少ない第３畳み込み層を含んでもよく、各畳み込み層の係数も他の値であってもよい。
【００３８】
上記の実施例では、第１畳み込み層グループ１００、５００に３つの第１畳み込み層が含まれ、第２畳み込み層グループ３００、７００に２つの第３畳み込み層が含まれることを一例にして説明しているが、本実施例はこれに限定されず、具体的な実装に応じて、第１畳み込み層グループ１００、５００に含まれる第１畳み込み層の数、及び第２畳み込み層グループ３００、７００に含まれる第３畳み込み層の数は他の値であってもよい。
【００３９】
本実施例のシングルステップの物体認識ニューラルネットワークを用いることで、高い物体認識精度及び高い小さな物体の再現率（ｒｅｃａｌｌ  ｒａｔｅ）を達成することができる。また、ダウンサンプリングの回数が減るため、入力画像の最小許容サイズを小さくすることができる。
【００４０】
表１は、同一の条件での本実施例のシングルステップの物体認識ニューラルネットワークの実験結果と従来のＳＳＤネットワーク及びＹＯＬＯ  Ｖ３ネットワークの実験結果との対比である。この実験では、データセットは交通監視カメラで撮影された５００００枚の写真であり、写真における物体は道路上の全ての車両を含み、４５０００枚の写真を訓練データセットとして選択し、５０００枚の写真を評価データセットとして選択すると、表１に示すデータが得られた。
表１
【表１】
2020135871.tif 000003
【００４１】
図４は同一の条件での本実施例のシングルステップの物体認識ニューラルネットワークの実験結果と従来のＳＳＤネットワークの実験結果との対比を示す図であり、左の図は従来のＳＳＤネットワークの実験結果であり、右の図は本実施例のシングルステップの物体認識ニューラルネットワークの実験結果である。図４から分かるように、従来のＳＳＤネットワークを用いて１台のバスのみを認識することができ、一方、本実施例のシングルステップの物体認識ニューラルネットワークを用いて、該バスに加えて、サイズの小さい乗用車を認識することができる。
【００４２】
従来のシングルショットマルチボックス検出（ＳＳＤ）ネットワークにおける畳み込み層の一部の代わりに拡張畳み込みを用いることで、入力画像のサイズの制限を減らし、接続経路を増加することで、物体認識の正確性が向上し、残差構造を用いて畳み込み層を接続することで、収束効果が確保され、物体認識の精度が全体として向上する。
【００４３】
＜実施例２＞
本実施例は物体認識方法を提供する。図５は本実施例の物体認識方法を示す図であり、図５に示すように、該方法は以下のステップを含む。
【００４４】
ステップ５０１：実施例１に記載されたシングルステップの物体認識ニューラルネットワークを用いて入力画像に対して特徴抽出を行う。
【００４５】
ステップ５０２：抽出された特徴に基づいて物体認識を行う。
【００４６】
本実施例では、実施例１のシングルステップの物体認識ニューラルネットワークを用いて入力画像に対して特徴抽出を行うため、物体認識の正確性が向上し、収束効果が確保され、物体認識の精度が全体として向上する。
【００４７】
また、本実施例の方法は、入力画像のサイズに対する制限を減らしてもよい。例えば、入力画像のサイズが３００×３００よりも大きく、或いは３００×３００よりも小さい場合であっても、入力画像における物体を同様に認識することができる。
【００４８】
本実施例では、特徴抽出の具体的な方法及び物体認識の具体的な方法について、従来技術を参照してもよく、ここでその説明を省略する。
【００４９】
＜実施例３＞
本実施例は物体認識装置を提供する。該装置の問題解決の原理は実施例２の方法と同様であるため、その具体的な実施は実施例２の方法の実施を参照してもよく、同様な内容について説明を省略する。
【００５０】
図６は本実施例の物体認識装置を示す図であり、図６に示すように、該物体認識装置は、特徴抽出部６０１及び検出部６０２を含む。特徴抽出部６０１は、実施例１に記載されたシングルステップの物体認識ニューラルネットワークを用いて入力画像に対して特徴抽出を行う。検出部６０２は、特徴抽出部６０１により抽出された特徴に基づいて物体認識を行う。
【００５１】
本実施例では、実施例１のシングルステップの物体認識ニューラルネットワークを用いて入力画像に対して特徴抽出を行うため、物体認識の正確性が向上し、収束効果が確保され、物体認識の精度が全体として向上する。
【００５２】
＜実施例４＞
本実施例は、実施例３に記載の物体認識装置を含む画像処理装置を提供する。
【００５３】
図７は本実施例の画像処理装置を示す図である。図７に示すように、画像処理装置は、中央処理装置（ＣＰＵ）７０１及び記憶装置７０２を含んでもよく、記憶装置７０２は中央処理装置７０１に接続される。記憶装置７０２は、各種のデータ及び情報処理のプログラムを記憶してもよく、中央処理装置７０１の制御により該プログラムを実行する。
【００５４】
１つの態様では、物体認識装置の機能は中央処理装置７０１に統合されてもよい。ここで、中央処理装置７０１は、実施例２に記載された物体認識方法を実現するように構成されてもよい。
【００５５】
もう１つの態様では、物体認識装置は中央処理装置７０１とそれぞれ配置されてもよく、例えば、物体認識装置は中央処理装置７０１に接続されたチップであり、中央処理装置７０１の制御により物体認識装置の機能を実現するように構成されてもよい。
【００５６】
また、図７に示すように、画像処理装置は、入力出力（Ｉ／Ｏ）装置７０３及び表示装置７０４などをさらに含んでもよい。ここで、上記各部の機能は従来技術と類似し、ここでその説明を省略する。なお、画像処理装置は、図７に示す全ての構成部を含まなくてもよい。また、画像処理装置は、図７に示していない構成部を含んでもよく、従来技術を参考してもよい。
【００５７】
本発明の実施例は、物体認識装置又は画像処理装置においてプログラムを実行する際に、コンピュータに、該物体認識装置又は画像処理装置において実施例２に記載の方法を実行させる、コンピュータ読み取り可能なプログラムを提供する。
【００５８】
本発明の実施例は、コンピュータに、物体認識装置又は画像処理装置において実施例２に記載の方法を実行させるためのコンピュータ読み取り可能なプログラムを記憶する、記憶媒体をさらに提供する。
【００５９】
本発明の以上の装置及び方法は、ハードウェアにより実現されてもよく、ハードウェアとソフトウェアを結合して実現されてもよい。本発明はコンピュータが読み取り可能なプログラムに関し、該プログラムは論理部により実行される時に、該論理部に上述した装置又は構成要件を実現させる、或いは該論理部に上述した各種の方法又はステップを実現させることができる。本発明は上記のプログラムを記憶するための記憶媒体、例えばハードディスク、磁気ディスク、光ディスク、ＤＶＤ、フラッシュメモリ等に関する。
【００６０】
本発明の実施例を参照しながら説明した方法／装置は、ハードウェア、プロセッサにより実行されるソフトウェアモジュール、又は両者の組み合わせで実施されてもよい。例えば、図６に示す機能的ブロック図における１つ若しくは複数、又は機能的ブロック図の１つ若しくは複数の組み合わせは、コンピュータプログラムフローの各ソフトウェアモジュールに対応してもよいし、各ハードウェアモジュールに対応してもよい。これらのソフトウェアモジュールは、図５に示す各ステップにそれぞれ対応してもよい。これらのハードウェアモジュールは、例えばフィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）を用いてこれらのソフトウェアモジュールをハードウェア化して実現されてもよい。
【００６１】
ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、モバイルハードディスク、ＣＤ−ＲＯＭ又は当業者にとって既知の任意の他の形の記憶媒体に位置してもよい。プロセッサが記憶媒体から情報を読み取ったり、記憶媒体に情報を書き込むように該記憶媒体をプロセッサに接続してもよいし、記憶媒体がプロセッサの構成部であってもよい。プロセッサ及び記憶媒体はＡＳＩＣに位置する。該ソフトウェアモジュールは移動端末のメモリに記憶されてもよいし、移動端末に挿入されたメモリカードに記憶されてもよい。例えば、機器（例えば移動端末）が比較的に大きい容量のＭＥＧＡ−ＳＩＭカード又は大容量のフラッシュメモリ装置を用いる場合、該ソフトウェアモジュールは該ＭＥＧＡ−ＳＩＭカード又は大容量のフラッシュメモリ装置に記憶されてもよい。
【００６２】
図面に記載されている一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、本発明に記載されている機能を実行するための汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理装置、ディスクリートハードウェアコンポーネント、またはそれらの任意の適切な組み合わせで実現されてもよい。図面に記載されている一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、例えば、コンピューティング機器の組み合わせ、例えばＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰ通信と組み合わせた１つ又は複数のマイクロプロセッサ又は他の任意の構成で実現されてもよい。
【００６３】
以上、具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び変更を行ってもよく、これらの変形及び変更も本発明の範囲に属する。
【図１】
2020135871.tif 000004
【図２】
2020135871.tif 000005
【図３】
2020135871.tif 000006
【図４】
2020135871.tif 000007
【図５】
2020135871.tif 000008
【図６】
2020135871.tif 000009
【図７】
2020135871.tif 000010