(57)【要約】【課題】物体の検出が困難な状況において物体が未検出となることを抑制する。【解決手段】物体検出装置３０は、第１ニューラルネットワークを用いて画像内の物体の位置領域を検出する位置領域検出部３１と、第２ニューラルネットワークを用いて物体の大属性を識別する大属性識別部３２と、第３ニューラルネットワークを用いて、大属性の下位概念である物体の小属性を識別する小属性識別部３３と、物体の検出結果を判定する物体判定部３４とを備える。物体判定部は、小属性識別部による小属性の識別結果の信頼度が閾値以上である場合には、小属性の識別結果が物体の検出結果であると判定し、小属性の識別結果の信頼度が閾値未満である場合には、大属性識別部による大属性の識別結果に基づいて物体の検出結果を判定する。【選択図】図７
2020046706.tif 000002
【特許請求の範囲】
【請求項１】
第１ニューラルネットワークを用いて画像内の物体の位置領域を検出する位置領域検出部と、
第２ニューラルネットワークを用いて前記物体の大属性を識別する大属性識別部と、
第３ニューラルネットワークを用いて、前記大属性の下位概念である前記物体の小属性を識別する小属性識別部と、
前記物体の検出結果を判定する物体判定部と
を備え、
前記物体判定部は、前記小属性識別部による前記小属性の識別結果の信頼度が閾値以上である場合には、該小属性の識別結果が前記検出結果であると判定し、前記信頼度が前記閾値未満である場合には、前記大属性識別部による前記大属性の識別結果に基づいて前記検出結果を判定する、物体検出装置。
【請求項２】
前記物体判定部は、前記信頼度が閾値未満である場合には、前記大属性の識別結果と前記小属性の信頼度分布とに基づいて前記検出結果を判定する、請求項１に記載の物体検出装置。
【請求項３】
前記物体は標識である、請求項１又は２に記載の物体検出装置。
【請求項４】
前記物体判定部は、前記信頼度が閾値未満であり且つ前記大属性識別部による前記大属性の識別結果が最高速度標識である場合には、前記小属性の候補のうち最も遅い速度の最高速度標識が前記検出結果であると判定する、請求項３に記載の物体検出装置。
【請求項５】
前記物体判定部は、前記信頼度が閾値未満である場合には、前記大属性の識別結果が前記検出結果であると判定する、請求項１から４のいずれか１項に記載の物体検出装置。
【請求項６】
請求項１から５のいずれか１項に記載の物体検出装置と、
前記物体の検出結果に基づいて車両の走行計画を作成する走行計画部と、
前記走行計画部によって作成された走行計画に従って前記車両が走行するように該車両を制御する車両制御部と
を備えた、車両制御システム。
【請求項７】
第１ニューラルネットワークを用いて画像内の物体の位置領域を検出することと、
第２ニューラルネットワークを用いて前記物体の大属性を識別することと、
第３ニューラルネットワークを用いて、前記大属性の下位概念である前記物体の小属性を識別することと、
前記小属性の識別結果の信頼度が閾値以上である場合には、該小属性の識別結果が前記物体の検出結果であると判定し、前記信頼度が前記閾値未満である場合には、前記大属性の識別結果に基づいて前記検出結果を判定することと
を含む、物体検出方法。
【請求項８】
第１ニューラルネットワークを用いて画像内の物体の位置領域を検出することと、
第２ニューラルネットワークを用いて前記物体の大属性を識別することと、
第３ニューラルネットワークを用いて、前記大属性の下位概念である前記物体の小属性を識別することと、
前記小属性の識別結果の信頼度が閾値以上である場合には、該小属性の識別結果が前記物体の検出結果であると判定し、前記信頼度が前記閾値未満である場合には、前記大属性の識別結果に基づいて前記検出結果を判定することと
をコンピュータに実行させる物体検出用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラムに関する。
【背景技術】
【０００２】
従来、カメラ等によって生成された画像から物体を検出する技術が知られている。例えば、非特許文献１、２には、ニューラルネットワークを用いることで、物体の検出精度を向上させることができることが記載されている。
【０００３】
斯かるニューラルネットワークでは、ニューラルネットワークの各層における所定のパラメータ（重み等）が学習によって予め調整される。学習では、既知の物体の名称を含む正解ラベルが付与された画像が教師データとして用いられる。多数の教師データを用いてニューラルネットワークの学習を行うことによって物体の検出精度を高めることができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Wei Liu他、「SSD: Single Shot MultiBox Detector」、ECCV2016、2016年
【非特許文献２】Shaoqing Ren他、「Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks」、NIPS、2015年
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、稀有な物体については、多数の教師データを用意することが困難であり、物体の検出精度が低下する。また、逆光、モーションブラー等によって画像内の物体が不鮮明である場合にも、物体の検出精度が低下する。
【０００６】
そこで、本発明の目的は、物体の検出が困難な状況において物体が未検出となることを抑制することにある。
【課題を解決するための手段】
【０００７】
本開示の要旨は以下のとおりである。
【０００８】
（１）第１ニューラルネットワークを用いて画像内の物体の位置領域を検出する位置領域検出部と、第２ニューラルネットワークを用いて前記物体の大属性を識別する大属性識別部と、第３ニューラルネットワークを用いて、前記大属性の下位概念である前記物体の小属性を識別する小属性識別部と、前記物体の検出結果を判定する物体判定部とを備え、前記物体判定部は、前記小属性識別部による前記小属性の識別結果の信頼度が閾値以上である場合には、該小属性の識別結果が前記検出結果であると判定し、前記信頼度が前記閾値未満である場合には、前記大属性識別部による前記大属性の識別結果に基づいて前記検出結果を判定する、物体検出装置。
【０００９】
（２）前記物体判定部は、前記信頼度が閾値未満である場合には、前記大属性の識別結果と前記小属性の信頼度分布とに基づいて前記検出結果を判定する、上記（１）に記載の物体検出装置。
【００１０】
（３）前記物体は標識である、上記（１）又は（２）に記載の物体検出装置。
【００１１】
（４）前記物体判定部は、前記信頼度が閾値未満であり且つ前記大属性識別部による前記大属性の識別結果が最高速度標識である場合には、前記小属性の候補のうち最も遅い速度の最高速度標識が前記検出結果であると判定する、上記（３）に記載の物体検出装置。
【００１２】
（５）前記物体判定部は、前記信頼度が閾値未満である場合には、前記大属性の識別結果が前記検出結果であると判定する、上記（１）から（４）のいずれか１つに記載の物体検出装置。
【００１３】
（６）上記（１）から（５）のいずれか１つに記載の物体検出装置と、前記物体の検出結果に基づいて車両の走行計画を作成する走行計画部と、前記走行計画部によって作成された走行計画に従って前記車両が走行するように該車両を制御する車両制御部とを備えた、車両制御システム。
【００１４】
（７）第１ニューラルネットワークを用いて画像内の物体の位置領域を検出することと、第２ニューラルネットワークを用いて前記物体の大属性を識別することと、第３ニューラルネットワークを用いて、前記大属性の下位概念である前記物体の小属性を識別することと、前記小属性の識別結果の信頼度が閾値以上である場合には、該小属性の識別結果が前記検出結果であると判定し、前記信頼度が前記閾値未満である場合には、前記大属性の識別結果に基づいて前記検出結果を判定することとを含む、物体検出方法。
【００１５】
（８）第１ニューラルネットワークを用いて画像内の物体の位置領域を検出することと、第２ニューラルネットワークを用いて前記物体の大属性を識別することと、第３ニューラルネットワークを用いて、前記大属性の下位概念である前記物体の小属性を識別することと、前記小属性の識別結果の信頼度が閾値以上である場合には、該小属性の識別結果が前記検出結果であると判定し、前記信頼度が前記閾値未満である場合には、前記大属性の識別結果に基づいて前記検出結果を判定することとをコンピュータに実行させる物体検出用コンピュータプログラム。
【発明の効果】
【００１６】
本発明によれば、物体の検出が困難な状況において物体が未検出となることを抑制することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本実施形態に係る車両制御システムの構成を概略的に示す図である。
【図２】図２は、ＥＣＵのハードウェア構成図である。
【図３】図３は、車両制御処理に関するＥＣＵの機能ブロック図である。
【図４】図４は、識別器として利用されるニューラルネットワークの構成の一例を示す図である。
【図５】図５は、検出対象の物体が車両であるときの教師データの一例である。
【図６】図６は、検出対象の物体が標識であるときの教師データの一例である。
【図７】図７は、本実施形態における車両制御処理の制御ルーチンを示すフローチャートである。
【図８】図８は、識別器として利用されるニューラルネットワークの構成の別の一例を示す図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して、本発明の実施形態に係る物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラムについて説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。
【００１９】
＜車両制御システム＞
図１は、本実施形態に係る車両制御システムの構成を概略的に示す図である。車両制御システム１は、車両１０に搭載され、車両１０を制御する。本実施形態では、車両制御システム１は車両の自動運転を実行する。
【００２０】
車両制御システム１はカメラ２及び電子制御ユニット（ＥＣＵ）３を備える。カメラ２とＥＣＵ３とは、ＣＡＮ（Controller Area Network）等の規格に準拠した車内ネットワーク４を介して互いに通信可能に接続される。
【００２１】
カメラ２は所定範囲を撮影して所定範囲の画像を生成する。カメラ２は、レンズ及び撮像素子を含み、例えばＣＭＯＳ（相補型金属酸化膜半導体）カメラ又はＣＣＤ（電荷結合素子）カメラである。
【００２２】
本実施形態では、カメラ２は、車両１０に設けられ、車両１０の周囲を撮影する。具体的には、カメラ２は、車両１０の内部に設けられ、車両１０の前方領域を撮影する。例えば、カメラ２は車両１０のルームミラーの背面に設けられる。カメラ２は、車両１０のイグニッションスイッチがオンである間、所定の撮影間隔（例えば１／３０秒〜１／１０秒）で車両１０の前方領域を撮影し、前方領域の画像を生成する。カメラ２によって生成された画像は車内ネットワーク４を介してカメラ２からＥＣＵ３に送信される。カメラ２によって生成される画像はカラー画像又はグレー画像である。
【００２３】
図２は、ＥＣＵ３のハードウェア構成図である。ＥＣＵ３は、通信インターフェース２１、メモリ２２及びプロセッサ２３を含み、車両１０の各種制御を実行する。通信インターフェース２１及びメモリ２２は信号線を介してプロセッサ２３に接続されている。
【００２４】
通信インターフェース２１は、ＥＣＵ３を車内ネットワーク４に接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は車内ネットワーク４を介してカメラ２に接続される。通信インターフェース２１は、カメラ２から画像を受信し、受信した画像をプロセッサ２３に伝達する。
【００２５】
メモリ２２は、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。メモリ２２は、プロセッサ２３によって各種処理が実行されるときに使用される各種データ等を記憶する。例えば、メモリ２２は、カメラ２によって生成された画像、地図情報等を記憶する。
【００２６】
プロセッサ２３は、一つ又は複数のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、カメラ２から画像を受信する度に、物体検出処理を含む車両制御処理を実行する。なお、プロセッサ２３は、論理演算ユニット又は数値演算ユニットのような演算回路を更に有していてもよい。
【００２７】
図３は、車両制御処理に関するＥＣＵ３の機能ブロック図である。車両制御システム１は、カメラ２、物体検出装置３０、走行計画部３５及び車両制御部３６を備える。物体検出装置３０は、カメラ２から画像を受信し、カメラ２によって生成された画像内の物体を検出する。走行計画部３５は、物体検出装置３０による物体の検出結果に基づいて車両１０の走行計画を作成する。車両制御部３６は、走行計画部３５によって作成された走行計画に従って車両１０が走行するように車両１０を制御する。
【００２８】
＜物体検出処理＞
物体検出装置３０はニューラルネットワークを用いることによって画像内の物体を検出する。ニューラルネットワークでは、ニューラルネットワークの各層における所定のパラメータ（重み等）が学習によって予め調整される。学習では、既知の物体の名称を含む正解ラベルが付与された画像が教師データとして用いられる。多数の教師データを用いてニューラルネットワークの学習を行うことによって物体の検出精度を高めることができる。
【００２９】
しかしながら、稀有な物体については、多数の教師データを用意することが困難であり、物体の検出精度が低下する。また、逆光、モーションブラー等によって画像内の物体が不鮮明である場合にも、物体の検出精度が低下する。物体の未検出によって車両１０の周囲環境を把握できない場合、車両制御システム１によって車両１０の自動運転を継続させることが困難となる。
【００３０】
一方、物体の詳細を検出できなくても、物体の概要を検出できる場合がある。例えば、画像内の車両の種類（乗用車、トラック、バス等）を検出できなくても、物体が車両であることを検出できる場合がある。この場合、物体の概要から物体を予測することで、物体が未検出となることを抑制することができる。このため、本実施形態では、物体検出装置３０は、物体の小属性及び大属性を別個に識別することによって物体の最終的な検出結果を判定する。
【００３１】
物体の小属性は物体の大属性の下位概念である。例えば、物体の大属性が車両である場合、物体の小属性は、乗用車、トラック、バス等である。また、物体の大属性が、許容される上限速度を規定する最高速度標識である場合、物体の小属性は、３０ｋｍ／ｈ、６０ｋｍ／ｈ、８０ｋｍ／ｈ等の最高速度標識である。また、物体の大属性が警戒標識（日本における黄色の菱形の標識）である場合、物体の小属性は、踏切の存在、信号機の存在、落石の危険性、車線数の減少等を予告する標識である。また、物体の大属性が落下物である場合、物体の小属性は、木材、段ボール、タイヤ、雑誌、布団等である。
【００３２】
図３に示されるように、物体検出装置３０は、位置領域検出部３１、大属性識別部３２、小属性識別部３３及び物体判定部３４を備える。位置領域検出部３１は画像内の物体の位置領域を検出する。大属性識別部３２は画像内の物体の大属性を識別する。小属性識別部３３は画像内の物体の小属性を識別する。物体判定部３４は物体の大属性及び小属性の識別結果に基づいて物体の検出結果を判定する。
【００３３】
例えば、物体検出装置３０の検出対象である物体は標識である。タイヤ、バンパー、窓、灯火類等の多くの特徴部分を有する車両と異なり、標識は多くの特徴部分を有しない。このため、ニューラルネットワークを用いない検出方法では、数字又は絵の特徴部分が不明瞭である場合には、標識が未検出となる。一方、ニューラルネットワークを用いる物体検出装置３０では、数字又は絵の特徴部分が不明瞭であっても、他の微細な特徴部分に基づいて物体が標識であることを検出することが多い。このため、大属性識別部３２によって物体の大属性を識別することによって、標識のような特徴部分が少ない物体であっても、物体が未検出となることを抑制することができる。
【００３４】
本実施形態では、ＥＣＵ３が、位置領域検出部３１、大属性識別部３２、小属性識別部３３、物体判定部３４、走行計画部３５及び車両制御部３６を有する。これら機能ブロックは、例えば、ＥＣＵ３のプロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。なお、これら機能ブロックは、プロセッサ２３に設けられた専用の演算回路であってもよい。
【００３５】
物体検出装置３０の位置領域検出部３１、大属性識別部３２及び小属性識別部３３は、ニューラルネットワークによって物体を検出する識別器を構成する。図４は、識別器として利用されるニューラルネットワークの構成の一例を示す図である。識別器４０は、入力層と出力層との間に複数の中間層を有するディープニューラルネットワークである。
【００３６】
識別器４０は、主幹ニューラルネットワーク（以下、「主幹ＮＮ」という）４１、位置領域検出ニューラルネットワーク（以下、「位置領域検出ＮＮ」という）４２、大属性識別ニューラルネットワーク（以下、「大属性識別ＮＮ」という）４３及び小属性識別ニューラルネットワーク（以下、「小属性識別ＮＮ」という）４４を有する。
【００３７】
位置領域検出ＮＮ４２は、主幹ＮＮ４１に直列に接続され、主幹ＮＮ４１よりも下流側（出力側）に配置される。大属性識別ＮＮ４３は、主幹ＮＮ４１に直列に接続され、主幹ＮＮ４１よりも下流側に配置される。小属性識別ＮＮ４４は、大属性識別ＮＮ４３に直列に接続され、主幹ＮＮ４１及び大属性識別ＮＮ４３よりも下流側に配置される。大属性識別ＮＮ４３は主幹ＮＮ４１と小属性識別ＮＮ４４との間に配置される。
【００３８】
主幹ＮＮ４１は、画像が入力される入力層を有するベースネットワークである。例えば、主幹ＮＮ４１は、複数の畳み込み層を有するコンボリューションニューラルネットワーク（ＣＮＮ）として構成される。主幹ＮＮ４１は、１又は複数の畳み込み層ごとに設けられるプーリング層を含んでいてもよい。また、主幹ＮＮ４１は、１以上の全結合層を含んでいてもよい。例えば、主幹ＮＮ４１は、非特許文献１に記載されたSingle Shot MultiBox Detector（ＳＳＤ）のベースネットワークであるＶＧＧ１６と同様の構成を有することができる。また、主幹ＮＮ４１は、ＲｅｓＮｅｔ（Residual Networks）、ＡｌｅｘＮｅｔ等の他のＣＮＮアーキテクチャと同様の構成を有していてもよい。
【００３９】
主幹ＮＮ４１の出力は位置領域検出ＮＮ４２に入力される。位置領域検出ＮＮ４２は、画像内の物体の位置領域を出力する出力層を有する。位置領域検出ＮＮ４２の出力層は、物体の位置領域を示すバウンディングボックス（bounding box）、具体的には、バウンディングボックスの中心座標（ｘ、ｙ）、幅ｗ及び高さｈを出力する。バウンディングボックスは、画像内の物体を囲む外接矩形として表される。
【００４０】
また、主幹ＮＮ４１の出力は大属性識別ＮＮ４３に入力される。大属性識別ＮＮ４３は、画像内の物体の大属性を出力する出力層を有する。大属性識別ＮＮ４３の出力層は、大属性の識別結果（すなわち、大属性の種類）と共に、識別結果の信頼度（confidence）を出力する。出力層の活性化関数は例えばソフトマックス関数である。
【００４１】
大属性識別ＮＮ４３の出力は小属性識別ＮＮ４４に入力される。小属性識別ＮＮ４４は、画像内の物体の小属性を出力する出力層を有する。小属性識別ＮＮ４４の出力層は、小属性の識別結果（すなわち、小属性の種類）と共に、識別結果の信頼度を出力する。出力層の活性化関数は例えばソフトマックス関数である。
【００４２】
例えば、位置領域検出ＮＮ４２、大属性識別ＮＮ４３及び小属性識別ＮＮ４４は、それぞれ、複数の畳み込み層を有するコンボリューションニューラルネットワーク（ＣＮＮ）として構成される。例えば、位置領域検出ＮＮ４２、大属性識別ＮＮ４３及び小属性識別ＮＮ４４は、それぞれ、複数の特徴マップ（feature map）を生成するように構成される。なお、位置領域検出ＮＮ４２、大属性識別ＮＮ４３及び小属性識別ＮＮ４４は、それぞれ、１又は複数の畳み込み層ごとに設けられるプーリング層を含んでいてもよい。また、位置領域検出ＮＮ４２、大属性識別ＮＮ４３及び小属性識別ＮＮ４４は、それぞれ、１以上の全結合層を含んでいてもよい。
【００４３】
位置領域検出部３１は、第１ニューラルネットワークを用いて画像内の物体の位置領域を検出する。図４の例では、第１ニューラルネットワークは、ディープニューラルネットワークであり、主幹ＮＮ４１及び位置領域検出ＮＮ４２からなる。大属性識別部３２は、第２ニューラルネットワークを用いて画像内の物体の大属性を識別する。図４の例では、第２ニューラルネットワークは、ディープニューラルネットワークであり、主幹ＮＮ４１及び大属性識別ＮＮ４３からなる。小属性識別部３３は、第３ニューラルネットワークを用いて画像内の物体の小属性を識別する。図４の例では、第３ニューラルネットワークは、ディープニューラルネットワークであり、主幹ＮＮ４１、大属性識別ＮＮ４３及び小属性識別ＮＮ４４からなる。
【００４４】
例えば、第１ニューラルネットワーク、第２ニューラルネットワーク及び第３ニューラルネットワークは、それぞれ、物体の検出精度が高く且つ物体の検出速度が速くなるように、Single Shot MultiBox Detector（ＳＳＤ）、Faster R-CNN、You Only Look Once（ＹＯＬＯ）等と同様の構成を有することができる。
【００４５】
第１ニューラルネットワーク、第２ニューラルネットワーク及び第３ニューラルネットワークでは、それぞれ、学習によって検出精度が高められる。学習では、正解ラベルが付与された画像が教師データとして用いられる。正解ラベルには、画像内の物体の位置領域、大属性及び小属性が含まれる。
【００４６】
図５は、検出対象の物体が車両であるときの教師データの一例である。この例では、教師データ（教師画像）５００は、正解ラベルとして、物体５０１の位置領域を示すバウンディングボックス５０２の中心座標（ｘ、ｙ）、幅ｗ及び高さｈと、物体５０１の大属性（この例では車両）と、物体５０１の小属性（この例では乗用車）とを含む。
【００４７】
図６は、検出対象の物体が標識であるときの教師データの一例である。この例では、教師データ（教師画像）６００は、正解ラベルとして、物体６０１の位置領域を示すバウンディングボックス６０２の中心座標（ｘ、ｙ）、幅ｗ及び高さｈと、物体６０１の大属性（この例では最高速度標識）と、物体６０１の小属性（この例では８０ｋｍ／ｈの最高速度標識）とを含む。
【００４８】
第１ニューラルネットワーク、第２ニューラルネットワーク及び第３ニューラルネットワークの学習は、それぞれ、図５及び図６に示されるような多数の教師データを用いて、誤差逆伝播法のような学習手法によって行われる。誤差逆伝播法では、各ニューラルネットワークの出力が正解ラベルに近付くように、すなわち損失関数の値が小さくなるように各ニューラルネットワークの各層における重みが更新される。第１ニューラルネットワーク、第２ニューラルネットワーク及び第３ニューラルネットワークの学習では、同一の教師データを用いることができる。このため、これらニューラルネットワークの学習を効率的に行うことができる。
【００４９】
図３に示されるように、位置領域検出部３１、大属性識別部３２及び小属性識別部３３の出力は物体判定部３４に入力される。物体判定部３４は、大属性識別部３２による大属性の識別結果と、小属性識別部３３による小属性の識別結果とに基づいて、位置領域検出部３１によって検出された位置領域における物体の検出結果を判定する。
【００５０】
具体的には、物体判定部３４は、小属性識別部３３による小属性の識別結果の信頼度が閾値以上である場合には、小属性の識別結果が物体の検出結果であると判定する。一方、物体判定部３４は、小属性識別部３３による小属性の識別結果の信頼度が閾値未満である場合には、大属性識別部３２による大属性の識別結果に基づいて検出結果を判定する。このことによって、物体の検出が困難な状況において小属性の識別結果の信頼度が低くなったとしても、物体が未検出となることを抑制することができる。
【００５１】
＜車両制御処理＞
以下、図７のフローチャートを参照して、物体検出処理を含む車両制御処理について詳細に説明する。図７は、本実施形態における車両制御処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ３によって所定の実行間隔で繰り返し実行される。所定の実行間隔は、例えば、カメラ２からＥＣＵ３に画像が送信される間隔である。
【００５２】
ステップＳ１０１〜Ｓ１０７では、物体検出処理が実行される。最初に、ステップＳ１０１において、位置領域検出部３１、大属性識別部３２及び小属性識別部３３はカメラ２から画像を受信する。
【００５３】
次いで、ステップＳ１０２において、位置領域検出部３１は、第１ニューラルネットワークを用いて画像内の物体の位置領域を検出する。具体的には、位置領域検出部３１は、画像データを第１ニューラルネットワークに入力し、第１ニューラルネットワークに物体の位置領域を出力させる。
【００５４】
次いで、ステップＳ１０３において、大属性識別部３２は、第２ニューラルネットワークを用いて画像内の物体の大属性を識別する。具体的には、大属性識別部３２は、画像データを第２ニューラルネットワークに入力し、第２ニューラルネットワークに物体の大属性を出力させる。
【００５５】
第２ニューラルネットワークは、予め定められた大属性の種類（車両、最高速度標識、警戒標識、落下物、動物等）のそれぞれに対応する信頼度（０〜１）を出力する。信頼度は、画像内の物体の大属性が、その信頼度が付与された種類の大属性である可能性を表し、信頼度の値が高いほど、画像内の物体の大属性が正確に識別されていることを示す。また、全ての種類の信頼度の合計は１となる。なお、位置領域検出部３１によって複数の位置領域が検出された場合には、大属性識別部３２は、複数の位置領域のそれぞれについて、物体の大属性を識別する。
【００５６】
次いで、ステップＳ１０４において、小属性識別部３３は、第３ニューラルネットワークを用いて画像内の物体の小属性を識別する。具体的には、小属性識別部３３は、画像データを第３ニューラルネットワークに入力し、第３ニューラルネットワークに物体の小属性を出力させる。
【００５７】
第３ニューラルネットワークは、予め定められた小属性の種類（大属性が車両である場合、乗用車、バス、トラック等）のそれぞれに対応する信頼度（０〜１）を出力する。信頼度は、画像内の物体の小属性が、その信頼度が出力された種類の小属性である可能性を表し、信頼度の値が高いほど、画像内の物体の小属性が正確に識別されていることを示す。また、全ての種類の信頼度の合計は１となる。なお、位置領域検出部３１によって複数の位置領域が検出された場合には、小属性識別部３３は、複数の位置領域のそれぞれについて、物体の小属性を識別する。
【００５８】
次いで、ステップＳ１０５において、物体判定部３４は、小属性識別部３３による小属性の識別結果の信頼度が閾値以上であるか否かを判定する。閾値は、予め定められ、例えば、０．６〜０．９の値に設定される。なお、小属性の識別結果とは、第３ニューラルネットワークによって最大の信頼度が出力された小属性の種類である。
【００５９】
ステップＳ１０５において小属性の識別結果の信頼度が閾値以上であると判定された場合、本制御ルーチンはステップＳ１０６に進む。ステップＳ１０６では、物体判定部３４は、物体の検出結果として、小属性の識別結果を採用する。すなわち、物体判定部３４は、小属性の識別結果が物体の検出結果であると判定する。
【００６０】
一方、ステップＳ１０５において小属性の識別結果の信頼度が閾値未満であると判定された場合、本制御ルーチンはステップＳ１０７に進む。ステップＳ１０７では、物体判定部３４は大属性識別部３２による大属性の識別結果に基づいて物体の検出結果を判定する。なお、大属性の識別結果とは、第２ニューラルネットワークによって最大の信頼度が出力された大属性の種類である。
【００６１】
例えば、物体判定部３４は、大属性の識別結果が物体の検出結果であると判定する。このことによって、物体の概要が把握され、物体が未検出となることを抑制することができる。
【００６２】
また、物体判定部３４は、大属性の識別結果と小属性の信頼度分布とに基づいて物体の検出結果を判定してもよい。このことによっても、物体が未検出となることを抑制することができる。
【００６３】
例えば、物体判定部３４は、大属性の識別結果が最高速度標識である場合には、小属性識別部３３によって識別された小属性の平均値を小属性の信頼度分布に基づいて算出し、算出した小属性の平均値が物体の検出結果であると判定してもよい。例えば、３０ｋｍ／ｈ、６０ｋｍ／ｈ及び８０ｋｍ／ｈの最高速度標識の信頼度が、それぞれ、０．１、０．５及び０．４であった場合、小属性の平均値は６２．３ｋｍ／ｈの最高速度標識となる（３０×０．１＋６０×０．５＋８０×０．４＝６２．３）。なお、小属性の平均値の整数１桁目又は小数点１桁目が四捨五入されてもよい。
【００６４】
また、物体判定部３４は、大属性の識別結果が車両である場合には、小属性識別部３３によって識別された小属性（例えば、乗用車、トラック及びバス）の大きさの平均値を小属性の信頼度分布に基づいて算出し、算出した平均値の大きさを有する車両が物体の検出結果であると判定してもよい。この場合、各小属性の大きさはＥＣＵ３のメモリ２２に予め記憶される。
【００６５】
また、物体判定部３４は、大属性の識別結果が最高速度標識である場合には、小属性の候補のうち最も遅い速度の最高速度標識が物体の検出結果であると判定してもよい。例えば、小属性の候補が、３０ｋｍ／ｈ、６０ｋｍ／ｈ及び８０ｋｍ／ｈの最高速度標識である場合、物体判定部３４は、３０ｋｍ／ｈの最高速度標識が物体の検出結果であると判定する。このことによって、物体が未検出となることを抑制しつつ、車両制御システム１による車両１０の自動運転の安全性を高めることができる。
【００６６】
小属性の候補は、例えば、小属性識別部３３の第３ニューラルネットワークにおいて予め定められた小属性の種類である。また、小属性の候補は、車両１０の現在位置及び地図情報から決定されてもよい。例えば、車両１０が走行している道路が所定の高速道路である場合、その高速道路に存在しうる全ての最高速度が小属性の候補にされる。車両１０の現在位置は、車両１０に設けられたＧＰＳ受信機によって検出され、地図情報はメモリ２２に予め記憶される。
【００６７】
また、小属性の候補は、車両１０の周囲の他車両の速度から決定されてもよい。例えば、速度が検出された全ての他車両の速度が小属性の候補にされる。他車両の速度は、車両１０に設けられた車速センサ、車両１０と他車両との相対速度を検出可能なカメラ２、ミリ波レーダ又はレーザレーダ等を用いて検出される。
【００６８】
ステップＳ１０６又はステップＳ１０７の後、ステップＳ１０８において、走行計画部３５は物体の検出結果に基づいて車両１０の走行計画を作成する。例えば、物体の検出結果が８０ｋｍ／ｈの最高速度標識である場合、走行計画部３５は、車両１０の速度が８０ｋｍ／ｈを超えないように車両１０の目標速度を設定する。また、物体の検出結果が車両、落下物等の障害物である場合、走行計画部３５は、車両１０が障害物に接触しないように車両１０の走行軌道、目標速度等を設定する。
【００６９】
次いで、ステップＳ１０９において、車両制御部３６は、走行計画部３５によって作成された走行計画に従って車両１０が走行するように車両１０を制御する。具体的には、車両制御部３６は車両１０の各種アクチュエータ（スロットル弁、モータ、ステアリングシステム、ブレーキアクチュエータ等）を操作して車両１０の加速、操舵及び制動を制御する。ステップＳ１０９の後、本制御ルーチンは終了する。
【００７０】
以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことができる。例えば、車両制御部３６は、車両１０の加速、制動及び操舵の一部のみを制御してもよい。
【００７１】
また、図８に示されるように、小属性識別ＮＮ４４が主幹ＮＮ４１に直列に接続され、大属性識別ＮＮ４３と小属性識別ＮＮ４４とが並列に構成されてもよい。この場合、小属性識別部３３の第３ニューラルネットワークは、主幹ＮＮ４１及び小属性識別ＮＮ４４からなる。
【００７２】
また、物体検出装置３０の各機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体又は光記録媒体のような、コンピュータ読取可能な可搬性の記録媒体に記録された形態で提供されてもよい。
【００７３】
また、物体検出装置３０は車両以外に実装されてもよい。例えば、物体検出装置３０は、サーバ等に実装され、屋内又は屋外に設置された監視カメラ又はドローンに搭載されたカメラによって生成された画像から物体を検出してもよい。また、ＥＣＵ３の代わりに、ＧＰＵ（Graphics Processing Unit）が、位置領域検出部３１、大属性識別部３２、小属性識別部３３及び物体判定部３４を有していてもよい。
【符号の説明】
【００７４】
１    車両制御システム
３    電子制御ユニット（ＥＣＵ）
１０    車両
３０    物体検出装置
３１    位置領域検出部
３２    大属性識別部
３３    小属性識別部
３４    物体判定部
３５    走行計画部
３６    車両制御部
【図１】
2020046706.tif 000003
【図２】
2020046706.tif 000004
【図３】
2020046706.tif 000005
【図４】
2020046706.tif 000006
【図５】
2020046706.tif 000007
【図６】
2020046706.tif 000008
【図７】
2020046706.tif 000009
【図８】
2020046706.tif 000010