(57)【要約】  【課題】  認識対象領域を高精度に決定するための情報処理システム等を提供する。  【解決手段】  情報処理システム１０は、入力画像から複数の領域候補を抽出する候補抽出部１２と、抽出された複数の領域候補に対して、セグメンテーションを行う画像セグメンテーション部１３と、抽出された複数の領域候補に対して、画像分類を行う画像分類部１４と、セグメンテーションの結果及び画像分類の結果に基づいて、複数の領域候補の一部を除去して認識対象領域を決定する領域決定部１５とを備えた構成を有している。【選択図】  図２
2019061505.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から複数の領域候補を抽出する候補抽出部（１２）と、
前記複数の領域候補に対して、画像認識を行う画像認識部（１３、１４）と、
前記画像認識の結果に基づいて、前記複数の領域候補の一部を除去して認識対象領域を決定する領域決定部（１５）と、
を備えた、情報処理システム。
【請求項２】
入力画像からコンテクスト情報を抽出するコンテクスト抽出部（１１）と、
前記コンテクスト情報に基づいて、前記入力画像から複数の領域候補を抽出する候補抽出部（１２）と、
前記複数の領域候補に対して、画像認識を行う画像認識部（１３、１４）と、
前記コンテクスト情報及び前記画像認識の結果に基づいて、前記複数の領域候補の一部を除去して認識対象領域を決定する領域決定部（１５）と、
を備えた、情報処理システム。
【請求項３】
前記コンテクスト抽出部は、畳み込みニューラルネットワークを用いて前記入力画像から前記コンテクスト情報を抽出する、請求項２に記載の情報処理システム。
【請求項４】
前記画像認識部は、前記画像認識として、前記複数の領域候補に対して、画像分類、及び画像セグメンテーションを行う、請求項１又は２に記載の情報処理システム。
【請求項５】
前記領域決定部は、前記画像セグメンテーションの結果が近似する複数の領域候補のうちの前記画像分類のクラス確率が高い領域候補を前記認識対象領域として決定する、請求項４に記載の情報処理システム。
【請求項６】
車両の周辺を撮影して入力画像を生成するカメラ（２０）と、
入力画像から複数の領域候補を抽出する候補抽出部と、
前記複数の領域候補に対して、画像認識を行う画像認識部と、
前記画像認識の結果に基づいて、前記複数の領域候補の一部を除去して認識対象領域を決定する領域決定部と、
前記認識対象領域の認識結果に基づいて制御を行う制御装置（３０）と、
を備えた、制御システム。
【請求項７】
車両の周辺を撮影して入力画像を生成するカメラ（２０）と、
入力画像からコンテクスト情報を抽出するコンテクスト抽出部と、
前記コンテクスト情報に基づいて、前記入力画像から複数の領域候補を抽出する候補抽出部と、
前記コンテクスト情報に基づいて、前記複数の領域候補の一部を除去して認識対象領域を決定する領域決定部と、
前記認識対象領域の認識結果に基づいて制御を行う制御装置（３０）と、
を備えた、制御システム。
【請求項８】
車両の周辺を撮影して入力画像を生成するカメラ（２０）と、
入力画像からコンテクスト情報を抽出するコンテクスト抽出部と、
前記コンテクスト情報に基づいて、前記入力画像から複数の領域候補を抽出する候補抽出部と、
前記複数の領域候補に対して、画像認識を行う画像認識部と、
前記コンテクスト情報及び前記画像認識の結果に基づいて、前記複数の領域候補の一部を除去して認識対象領域を決定する領域決定部と、
前記認識対象領域の認識結果に基づいて制御を行う制御装置（３０）と、
を備えた、制御システム。
【請求項９】
機械学習モデルを用いて、入力画像からコンテクスト情報を抽出するコンテクスト抽出ステップと、
前記コンテクスト情報に基づいて、前記入力画像から複数の領域候補を抽出する候補抽出ステップと、
前記コンテクスト情報に基づいて、前記複数の領域候補の一部を除去して認識対象領域を決定する領域決定ステップと、
前記認識対象領域の決定の結果を用いて、機械学習モデルの学習を行う学習ステップと、
を備えた、学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像から複数の領域候補を抽出した上でそれらの複数の領域候補の一部を除去して認識対象領域を決定する情報処理システム等に関する。
【背景技術】
【０００２】
入力画像における認識対象領域を決定する画像認識装置が知られている。このような画像認識装置では、まず、入力画像から認識対象らしき領域を領域候補として切り出し、切り出された複数の領域のうちの同一の認識対象に該当すると思われる冗長な領域候補を削除して残った領域候補を認識対象領域とし、認識対象領域について画像認識を行う。
【０００３】
特許文献１では、第１識別機により対象物が存在するとして抽出した複数の領域候補に対して、位置及び／又はスケールに関するクラスタリング処理を施すことで、識別機による識別処理に供される少なくとも１つの識別対象領域を決定する。これにより、適切に分類された識別対象領域に対して、演算量が相対的に多い第２識別器による識別処理を実行可能であり、対象物の識別処理に関する精度の向上及び演算量の低減を両立できる。
【０００４】
非特許文献１には、領域候補であるバウンディングボックスの削減処理（Non-Maximum Suppression：ＮＭＳ）の速度及び精度を向上させる畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）が記載されている。このＣＮＮには、検出されたバウンディングボックスとＮＭＳのスコアマップが入力され、出力としては精度の向上したスコアマップが得られる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第ＷＯ２０１４／１０３４３３号
【非特許文献】
【０００６】
【非特許文献１】Jan Hosang, Rodrigo Benenson, Bernt Schiele, A CONVNET FOR NON-MAXIMUM SUPPRESSION, ICLR 2016
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１では、位置とスケールのみに基づいて領域候補を除去しているので、本来複数の認識対象に属する複数の領域候補の一部を誤って除去してしまうことがある。これを回避するためには、領域候補を除去するための閾値を高く設定して、より多くの領域候補を残す必要がある。しかしながら、より多くの領域候補を残すと、後処理として、第２識別機において、再度領域候補を除去する処理が必要となる。すなわち、特許文献１において、認識対象領域の正確な決定と演算量の抑制とはトレードオフの関係にある。
【０００８】
非特許文献１では、バウンディングボックスがＣＮＮによって選択されて除去されるが、非特許文献１においても、依然としてバウンディングボックスとＮＭＳのスコアマップを利用しているのみである。
【０００９】
そこで、本発明は、認識対象領域を高精度に決定するための情報処理システム等を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、一態様の情報処理システムは、入力画像から複数の領域候補を抽出する候補抽出部（１２）と、前記複数の領域候補に対して、画像認識を行う画像認識部（１３、１４）と、前記画像認識の結果に基づいて、前記複数の領域候補の一部を除去して認識対象領域を決定する領域決定部（１５）とを備えた構成を有している。
【００１１】
この構成により、領域候補について画像認識を行い、その画像処認識の結果を用いて、領域候補を削減して識別対象領域として決定するので、単に領域候補の位置やサイズに基づいて領域候補を削減したり、単にＮＭＳによって領域候補を削減する場合と比較して、認識対象領域を高精度に決定できる。
【００１２】
別の態様の情報処理システムは、入力画像からコンテクスト情報を抽出するコンテクスト抽出部（１１）と、前記コンテクスト情報に基づいて、前記入力画像から複数の領域候補を抽出する候補抽出部（１２）と、前記複数の領域候補に対して、画像認識を行う画像認識部（１３、１４）と、前記コンテクスト情報及び前記画像認識の結果に基づいて、前記複数の領域候補の一部を除去して認識対象領域を決定する領域決定部（１５）とを備えた構成を有している。
【００１３】
この構成により、領域候補を抽出するために抽出されたコンテクスト情報を用いて、領域候補を削減するので、単に領域候補の位置やスケールに基づいて領域候補を削減したり、単にＮＭＳによって領域候補を削減したりする場合と比較して、認識対象領域を高精度に決定できる。
【００１４】
一態様の制御システムは、車両の周辺を撮影して入力画像を生成するカメラ（２０）と、入力画像から複数の領域候補を抽出する候補抽出部と、前記複数の領域候補に対して、画像認識を行う画像認識部と、前記画像認識の結果に基づいて、前記複数の領域候補の一部を除去して認識対象領域を決定する領域決定部と、前記認識対象領域の認識結果に基づいて制御を行う制御装置（３０）とを備え構成を有している。
【００１５】
別の態様の制御システムは、車両の周辺を撮影して入力画像を生成するカメラ（２０）と、入力画像からコンテクスト情報を抽出するコンテクスト抽出部と、前記コンテクスト情報に基づいて、前記入力画像から複数の領域候補を抽出する候補抽出部と、前記コンテクスト情報に基づいて、前記複数の領域候補の一部を除去して認識対象領域を決定する領域決定部と、前記認識対象領域の認識結果に基づいて制御を行う制御装置（３０）とを備えた構成を有している。
【００１６】
さらに別の態様の制御システムは、車両の周辺を撮影して入力画像を生成するカメラ（２０）と、入力画像からコンテクスト情報を抽出するコンテクスト抽出部と、前記コンテクスト情報に基づいて、前記入力画像から複数の領域候補を抽出する候補抽出部と、前記複数の領域候補に対して、画像認識を行う画像認識部と、前記コンテクスト情報及び前記画像認識の結果に基づいて、前記複数の領域候補の一部を除去して認識対象領域を決定する領域決定部と、前記認識対象領域の認識結果に基づいて制御を行う制御装置（３０）とを備えた構成を有している。
【００１７】
一態様の学習方法は、機械学習モデルを用いて、入力画像からコンテクスト情報を抽出するコンテクスト抽出ステップと、前記コンテクスト情報に基づいて、前記入力画像から複数の領域候補を抽出する候補抽出ステップと、前記コンテクスト情報に基づいて、前記複数の領域候補の一部を除去して認識対象領域を決定する領域決定ステップと、前記認識対象領域の決定の結果を用いて、機械学習モデルの学習を行う学習ステップとを備えた構成を有している。
【００１８】
この構成により、コンテクスト抽出ステップにおける機械学習モデルの性能を高め、候補抽出ステップにおけるバウンディングボックスの抽出の精度を向上でき、それによって  認識対象領域の決定の精度を向上できる。
【図面の簡単な説明】
【００１９】
【図１】図１は、本発明の実施形態に係る車両制御システムの構成を示すブロック図である。
【図２】図２は、本発明の実施形態に係る情報処理装置の構成を示すブロック図である。
【図３】図３は、本発明の実施形態に係る車両制御方法のフロー図である。
【図４】図４は、本発明の実施形態に係る情報処理ステップの処理を示すフロー図である。
【図５】図５は、本発明の実施形態に係る入力画像の例を示す図である。
【図６】図６は、本発明の実施形態に係る入力画像から抽出されたバウンディングボックスの例を示す図である。
【図７】図７は、本発明の実施形態に係る入力画像から抽出されたバウンディングボックスの例を示す図である。
【図８】図８は、本発明の実施形態に係る各バウンディングボックスから抽出された物体領域の例を示す図である。
【図９】図９は、本発明の実施形態に係る各バウンディングボックスの「歩行者」のクラス確率の例を示す図である。
【図１０】図１０は、本発明の実施形態に係るクラスタリングの結果の例を示す図である。
【図１１】図１１は、本発明の実施形態に係る認識結果の例を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施形態を説明する。なお、以下に説明する実施形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。
【００２１】
図１は、本実施の形態の車両制御システムの構成を示すブロック図である。車両制御システム１００は、情報処理装置１０と、カメラ２０と、車両制御部３０とを備えている。カメラ２０は、車両の周辺を所定の周期で撮影して連続的に画像を生成する。カメラ２０で生成された画像は、情報処理装置１０に入力される。情報処理装置１０は、カメラ２０から入力された画像（以下、「入力画像」という。）に対して認識対象領域を決定して画像認識を行い、画像認識結果を車両制御装置３０に出力する。車両制御装置３０は、画像認識結果及び他の車両情報に基づいて車両を制御する。本実施の形態では、車両制御システム１００のすべての構成が車両に搭載される。
【００２２】
カメラ２０は、例えば、車両の前方を撮影するように車両に設置され、３０ｆｐｓで撮影を行って画像を生成し、この画像を入力画像として情報処理装置１０に入力する。情報処理装置１０は、入力画像に対して認識対象領域を決定して、認識対象領域に対して、認識された認識対象を示すラベルを付す。この処理によって、入力画像中のどの位置に何があるかが判明する。情報処理装置１０は、例えば、画像中に存在する「歩行者」、「車両」、「自転車」、「二輪車」を認識対象として認識する。
【００２３】
認識対象領域の位置及びスケールは、認識対象領域を示す枠によって特定される。例えば、図５に示す画像がカメラ２０によって撮影されて情報処理装置１０に入力されたときに、情報処理装置１０によって図１１に示す画像認識結果が得られる。図１１に示すように、画像認識結果には、画像中の枠の情報（基準位置の座標、幅、高さ）とその枠に付与された認識対象のラベルの情報（「歩行者」、「車両」、「自転車」、又は「二輪車」）とが含まれる。
【００２４】
車両制御システム１００を構成するカメラ２０、情報処理装置１０、及び車両制御装置３０のすべてが制御対象となる車両に搭載されてもよいが、情報処理装置１０の一部又は全部の構成が車両外に設けられてもよい。また、カメラ２０も車両外に設けられてよい。これらの場合には、車両と外部に設けられたカメラ２０又は情報処理装置１０の全部または一部とが通信を行う。例えば、カメラ２０と情報処理装置１０とが交差点に設けられて、制御対象となる車両又はその周辺を撮影して画像認識を行い、画像認識の結果を当該車両の車両制御装置３０に無線送信するシステムとして本実施の形態の車両制御システム１００が構成されてもよい。
【００２５】
図２は、本発明の実施形態に係る情報処理装置の構成を示すブロック図である。情報処理装置１０は、コンテクスト抽出部１１と、候補抽出部１２と、画像セグメンテーション部１３と、画像分類部１４と、領域決定部１５とを含む情報処理システムを備える。これらの各部は、プロセッサが本実施の形態のコンピュータプログラムを実行することで実現される機能モジュールであってよく、又は、一部の構成がハードウェア回路によって実現されてもよい。また、図２の構成が１つのプロセッサで実現されてもよく、複数のプロセッサに分かれて実現されてもよい。プログラムは、非遷移的実体的記録媒体に格納されて提供されてよい。図２の構成が複数のプロセッサに分かれて実現される場合には、それらのプロセッサは、互いに通信可能に接続されて全体として本実施の形態の情報処理システムが構成されてよい。
【００２６】
コンテクスト抽出部１１は、入力画像からコンテクスト情報を抽出する。候補抽出部１２は、コンテクスト情報に基づいて入力画像から複数の領域候補を抽出する。画像セグメンテーション部１３は、領域候補に対して画像認識として画像セグメンテーション（以下単に「セグメンテーション」という。）を行う。画像分類部１４は、領域候補に対して画像認識として画像分類を行う。領域決定部１５は、コンテクスト情報、セグメンテーション結果、及び分類結果を用いて複数の領域候補のうちの一部を除去して認識対象領域を決定して認識対象を検出する。以下、具体的に説明する。
【００２７】
図５は、カメラ２０にて撮影されて情報処理装置１０に入力される入力画像の例を示す図である。この例の入力画像には、歩行者が互いに一部で重なり合うように撮影されている。コンテクスト抽出部１１は、機械学習モデルを備え、入力画像を機械学習モデルに入力することで、入力画像からコンテクスト情報としてコンテクスト特徴を抽出する。この機械学習モデルとして、畳み込みニューラルネットワーク（以下、「ＣＮＮ」と表記する。）を採用することができる。
【００２８】
候補抽出部１２は、コンテクスト抽出部１１で抽出されたコンテクスト特徴に基づいて、入力画像から物体が存在していると思われる領域候補をバウンディングボックスとして抽出する。バウンディングボックスは、入力画像において物体が存在していると思われる領域を示している。図６は、図５に示す入力画像から抽出されたバウンディングボックスの例を示す図である。図６に示すように、候補抽出部１２では、同一の物体に対して若干位置のずれた複数のバウンディングボックスが抽出される。
【００２９】
図６の例では、各歩行者についてそれぞれ３つ、合計６つのバウンディングボックスが抽出されている。この６つのバンディングボックスによっては、歩行者が１人〜６人のいずれであるのかが不明である。図６の例では、歩行者は２人であるので、バウンディングボックスを適切に削減して歩行者１人についてバウンディングボックスを１つにすべきである。
【００３０】
図７は、抽出された６つのバウンディングボックスを示す図である。画像セグメンテーション部１３には、候補抽出部１２で抽出された複数のバウンディングボックスＢ１〜Ｂ６の各々について、入力画像と、コンテクスト抽出部１１で抽出されたコンテクスト特徴とを用いてセグメンテーションを行う。セグメンテーションによって、バウンディングボックスＢ１〜Ｂ６において物体領域が抽出される。画像セグメンテーション部１３は、例えばセマンティックセグメンテーションによって物体領域を抽出できる。図８は、各バウンディングボックスから抽出された物体領域を示す図である。
【００３１】
画像分類部１４は、候補抽出部１２で抽出された複数のバウンディングボックスの各々について、入力画像と、コンテクスト抽出部１１で抽出されたコンテクスト特徴とを用いて「歩行者」、「車両」、「自転車」、及び「二輪車」の各認識対象に該当する確率（以下、「クラス確率」という。）を求める。画像分類部１４は、例えばサポートベクターマシン（Support Vector Machine：ＳＶＭ）で多クラス分類を行うことで、各バウンディングボックスについて各認識対象のクラス確率を求める。
【００３２】
図９は、各バウンディングボックスの「歩行者」のクラス確率を示す図である。図９の例では、バウンディングボックスＢ１〜Ｂ６について、「歩行者」である確率が０．９８、０．９１、０．８０、０．９７、０．９５、０．８６と求められている。なお、図９の例において、「歩行者」以外のクラス確率は、「歩行者」のクラス確率と比較して十分に小さい。
【００３３】
領域決定部１５は、候補抽出部１２で抽出された複数のバウンディングボックスのうちの一部を除去して認識対象領域を決定する。このとき、領域決定部１５は、コンテクスト抽出部１１で抽出されたコンテクスト特徴と画像セグメンテーション部で抽出された物体領域と画像分類部１４で求められたクラス確率を用いて認識対象領域を決定する。
【００３４】
具体的には、領域決定部１５は、まず、画像セグメンテーション部１３で抽出された物体領域どうしを比較して、互いに近似した物体領域を抽出する。このために、領域決定部１５は、画像セグメンテーション部１３で得られた物体領域に対して、最短距離法（Nearest Neighbor法；ＮＮ法）、ｋ−ｍｅａｎｓ法等の画像クラスタリング手法を適用して近似した画像どうしのクラスタリング（教師なしの分類）を行う。そして、領域決定部１５は、同一のクラスタに属する互いに近似する物体領域を有する複数のバウンディングボックスのうちの、画像分類部１４で求められたクラス確率が小さいものを除去し、クラス確率が最も大きいもののみを残して認識対象領域とする。
【００３５】
図１０は、クラスタリングの結果を示す図である。図１０に示すように、この例では、バウンディングボックスＢ１〜Ｂ３が同一のクラスタに属し、バウンディングボックスＢ４〜Ｂ６が同一のクラスタに属すると判断される。そして、バウンディングボックスＢ１〜Ｂ３については、バウンディングボックスＢ１の「歩行者」のクラス確率が最も大きいので、このバウンディングボックスＢ１が「歩行者」の認識対象領域であると判断される。また、バウンディングボックスＢ４〜Ｂ６については、バウンディングボックスＢ４の「歩行者」のクラス確率が最も大きいので、このバウンディングボックスＢ４が「歩行者」の認識対象領域であると判断される。
【００３６】
領域決定部１５は、上記のようにして複数のバウンディングボックスのうちの一部を除去して残った認識対象領域を、認識対象のラベル（「歩行者」、「車両」、「自転車」、又は「二輪車」）とともに、認識結果として出力する。その結果、図１１に示すように、認識対象領域と、認識された対象のラベルとを含む認識結果が出力される。
【００３７】
図３は、本発明の実施の形態の車両制御方法のフロー図である。まず、カメラ２０が撮影を行って画像を生成する（ステップＳ３１）。図５は、このときに撮影される画像の例である。カメラ２０で撮影された画像は入力画像として情報処理装置１０に入力される。次に、情報処理装置１０は、入力画像に対して情報処理を行う（ステップＳ３２）。この情報処理によって情報処理装置１０から認識対象領域と、当該認識対象領域に付された認識対象のラベルを出力する。車両制御装置３０は、認識対象領域とそのラベルの情報を用いて車両を制御する（ステップＳ３３）。
【００３８】
図４は、情報処理ステップ（Ｓ３２）の処理を示すフロー図である。情報処理装置１０に入力画像が入力されると（ステップＳ４１）、コンテクスト抽出部１１が入力画像からコンテクスト特徴を抽出する（ステップＳ４２）。そして、候補抽出部１２は、コンテクスト情報に基づいて入力画像から複数の領域候補としてのバウンディングボックスを抽出する（ステップＳ４３）。図６、図７は、入力画像から抽出されたバウンディングボックスの例である。
【００３９】
次に、画像セグメンテーション部１３は、領域候補に対してセグメンテーションを行い（ステップＳ４４）、画像分類部１４は、領域候補に対して分類を行う（ステップＳ４５）。なお、ステップＳ４４とステップＳ４５は順序を入れ替えて実行されてもよく、並行して実行されてもよい。次に、領域決定部１５は、コンテクスト情報、セグメンテーション結果（即ち、セグメンテーションによって抽出された物体領域）、及び分類結果（即ち、各認識対象についてのクラス確率）を用いて複数の領域候補のうちの一部を除去して認識対象領域を決定し（ステップＳ４６）、認識対象領域を認識対象のラベルとともに出力する（ステップＳ４７）。
【００４０】
なお、コンテクスト抽出部１１でコンテクスト特徴を抽出するために用いるＣＮＮの学習に、領域決定部１５における認識結果を用いてよい。これにより、コンテクスト抽出部１１におけるＣＮＮの性能を高め、候補抽出部１２におけるバウンディングボックスの抽出、画像セグメンテーション部１３におけるセグメンテーション、及び画像分類部１４における画像分類の精度を向上でき、ひいては領域決定部１５における認識対象領域決定の精度を向上できる。
【００４１】
以上のように、本実施の形態の情報処理装置１０では、バウンディングボックスについてセグメンテーション及び画像分類という画像認識を行い、その画像処認識の結果を用いて、バウンディングボックスを削減して識別対象領域として決定するので、単にバウンディングボックスの位置やサイズに基づいてバウンディングボックスを削減したり、単にＮＭＳによってバウンディングボックスを削減したりする場合と比較して、認識対象領域を高精度に決定できる。
【００４２】
また、本実施の形態の情報処理装置１０は、バウンディングボックスを求めるためにコンテクスト抽出部１１で抽出されたコンテクスト情報を用いて、バウンディングボックスを削減するので、この点でも、単にバウンディングボックスの位置やスケールに基づいてバウンディングボックスを削減したり、単にＮＭＳによってバウンディングボックスを削減したりする場合と比較して、認識対象領域を高精度に決定できる。
【００４３】
また、画像認識としてのセグメンテーションや画像分類に、バウンディングボックスを求めるためにコンテクスト抽出部１１で抽出されたコンテクスト情報を用いるので、これらの画像認識の精度を向上して処理負荷を軽減できる。
【００４４】
なお、上記の実施の形態では、認識対象領域を決定する前の画像認識として画像セグメンテーション部１３でセグメンテーションを行い、画像分類部１４で画像分類を行った。これらの画像セグメンテーション部１３及び画像分類部１４は、本発明の画像認識部に相当する。画像認識部は、画像セグメンテーション部１３のみでもよいし、画像分類部１４のみでもよい。また、画像認識部において、セグメンテーションや画像分類以外の画像認識が行われてもよい。例えば、上記の実施の形態では画像分類部１４は、多クラス分類を行ったが、これに代えてＳＶＭで２クラスの識別を行ってもよい。
【００４５】
また、上記の実施の形態では、領域決定部１５が、セグメンテーションで抽出された物体領域の情報と画像分類で得られたクラス確率の情報を用いてバウンディングボックスの削減を行ったが、画像認識部における画像認識によって得られる情報が物体領域の情報及びクラス確率の情報でない場合には、その情報に応じて、その情報の領域決定部１５での利用方法を変更してよい。
【００４６】
例えば、画像認識として、バウンディングボックスをｋ−ｍｅａｎｓ法でクラスタリングした場合に、領域決定部１５では、同一クラスタに属するバウンディングボックスから、位置とスケールに基づいて１つの認識対象領域を決定してよい。この場合にも、単に位置とスケールに基づいてバウンディングボックスを削減する場合と比較して、精度を向上できる。また、領域決定部１５は、バウンディングボックスに対して、コンテクスト情報や画像認識の結果（セグメンテーションの結果、クラス確率等）を入力としてＣＮＮを行って認識対象領域を決定してもよい。さらに、領域決定部１５は、入力画像自体にも基づいて認識対象領域を決定してよい。
【符号の説明】
【００４７】
１０  情報処理装置、１１  コンテクスト抽出部、１２  候補領域抽出部、１３  画像セグメンテーション部、１４  画像分類部、１５  領域決定部、２０  カメラ、３０  車両制御部、１００  車両制御システム
【図１】
2019061505.tif 000003
【図２】
2019061505.tif 000004
【図３】
2019061505.tif 000005
【図４】
2019061505.tif 000006
【図５】
2019061505.tif 000007
【図６】
2019061505.tif 000008
【図７】
2019061505.tif 000009
【図８】
2019061505.tif 000010
【図９】
2019061505.tif 000011
【図１０】
2019061505.tif 000012
【図１１】
2019061505.tif 000013