(57)【要約】  ３次元センサ２０は、高さが異なる複数の水平ラインＬ１〜ＬＮについて、複数のラインデータＬＤ１〜ＬＤＮを生成する。複数の第１ニューラルネットワーク７２は、複数のラインデータＬＤの対応するひとつに関する第１中間データＭＤを生成する。第１中間データＭＤ１は、対応するラインデータが、複数の種類の複数の部位それぞれに該当する確率を示すものである。結合処理部７４は、複数の第１中間データＭＤ１を受け、それらを結合し、少なくともひとつの第２中間データＭＤ２を生成する。第２ニューラルネットワーク７６は、少なくともひとつの第２中間データＭＤ２を受け、オブジェクトＯＢＪが複数の種類それぞれに該当する確率を示す最終データＦＤを生成する。
2019176877.tif 000002
【特許請求の範囲】
【請求項１】
高さが異なる複数の水平ラインについて、複数のラインデータを生成する３次元センサと、
前記複数のラインデータにもとづいてオブジェクトの種類を識別する演算処理装置と、
を備え、
前記演算処理装置は、
それぞれが、前記複数のラインデータの対応するひとつに関する第１中間データを生成し、前記第１中間データは、対応するラインデータが、複数の種類の複数の部位それぞれに該当する確率を示すものである、複数の第１ニューラルネットワークと、
前記複数のラインデータに対応する複数の第１中間データを受け、前記複数の第１中間データを結合し、少なくともひとつの第２中間データを生成する結合処理部と、
前記少なくともひとつの第２中間データを受け、前記オブジェクトが、前記複数の種類それぞれに該当する確率を示す最終データを生成する第２ニューラルネットワークと、
を備えることを特徴とするオブジェクト識別システム。
【請求項２】
前記少なくともひとつの第２中間データはひとつであり、前記第２中間データは、前記複数の第１中間データのすべてにもとづいて得られることを特徴とする請求項１に記載のオブジェクト識別システム。
【請求項３】
前記少なくともひとつの第２中間データは複数であり、各第２中間データは、前記複数の第１中間データのうち連続するいくつかにもとづいて得られることを特徴とする請求項１に記載のオブジェクト識別システム。
【請求項４】
前記少なくともひとつの第２中間データはそれぞれ、対応するいくつかの第１中間データの平均または総和であることを特徴とする請求項２または３に記載のオブジェクト識別システム。
【請求項５】
複数の種類の複数の部位それぞれを測定した複数のラインデータを利用して、前記第１ニューラルネットワークに学習させるステップと、
学習済みの前記複数の第１ニューラルネットワークの出力を前記結合処理部を介して前記第２ニューラルネットワークと結合した状態で、前記第２ニューラルネットワークに学習させるステップと、
が実行されることを特徴とする請求項１から４のいずれかに記載のオブジェクト識別システム。
【請求項６】
前記オブジェクトの種類は、少なくとも、歩行者、自転車に乗った人、自動車を含むことを特徴とする請求項１から５のいずれかに記載のオブジェクト識別システム。
【請求項７】
請求項１から６のいずれかに記載のオブジェクト識別システムを備えることを特徴とする自動車。
【請求項８】
前記３次元センサは、前照灯に内蔵されることを特徴とする請求項７に記載の自動車。
【請求項９】
請求項１から６のいずれかに記載のオブジェクト識別システムを備えることを特徴とする車両用灯具。
【請求項１０】
３次元センサから得られる複数のラインデータにもとづきオブジェクトの種類を識別する方法であって、
前記ラインデータごとに、複数の種類の複数の部位それぞれに該当する確率を示す第１中間データを生成するステップと、
前記複数のラインデータについて得られる複数の第１中間データを結合し、少なくともひとつの第２中間データを生成するステップと、
前記少なくともひとつの第２中間データにもとづいて、前記オブジェクトが、前記複数の種類それぞれに該当する確率を示す最終データを生成するステップと、
を備えることを特徴とする方法。
【請求項１１】
３次元センサから得られる複数のラインデータにもとづきオブジェクトの種類を識別する演算処理装置の学習方法であって、
前記演算処理装置は、
それぞれが、前記複数のラインデータの対応するひとつに関する第１中間データを生成し、前記第１中間データは、対応するラインデータが、複数の種類の複数の部位それぞれに該当する確率を示すものである、複数の第１ニューラルネットワークと、
前記複数のラインデータに対応する複数の第１中間データを受け、前記複数の第１中間データを結合し、少なくともひとつの第２中間データを生成する結合処理部と、
前記少なくともひとつの第２中間データを受け、前記オブジェクトが、前記複数の種類それぞれに該当する確率を示す最終データを生成する第２ニューラルネットワークと、
を備え、
前記学習方法は、
複数の種類の複数の部位それぞれを測定した複数のラインデータを利用して、前記第１ニューラルネットワークに学習させるステップと、
学習済みの前記複数の第１ニューラルネットワークの出力を前記結合処理部を介して前記第２ニューラルネットワークと結合した状態で、前記第２ニューラルネットワークに学習させるステップと、
を備えることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクト識別システムに関する。
【背景技術】
【０００２】
自動車のセンサとして、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、カメラ、ミリ波レーダ、超音波ソナーなどが候補として挙げられる。このなかでＬｉＤＡＲは、そのほかのセンサと比較して、（i）点群データによる物体認識が可能であること、（ii）アクティブセンシングであるが故の悪天候時にも高精度な検出が可能であること、（iii）広範囲の測定が可能であること、などの利点を有しており、今後、自動車のセンシングシステムにおける主流となることが期待されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−５６９３５号公報
【特許文献２】特開２００９−９８０２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＬｉＤＡＲが生成する点群データにもとづくオブジェクトの識別は、点群データの解像度が高いほど正確となるが、演算処理のコストが爆発的に増加する。車両への搭載を考慮した場合には、低価格なローエンドの演算処理装置を利用せざるを得ない場合も想定され、自ずとスキャンラインの本数を減らすことが要求される。【０００５】
本発明は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、少ない水平ラインの本数で、オブジェクトを識別可能なシステム、装置、方法の提供にある。
【課題を解決するための手段】
【０００６】
本発明のある態様は、オブジェクト識別システムに関する。オブジェクト識別システムは、高さが異なる複数の水平ラインについて、複数のラインデータを生成する３次元センサと、複数のラインデータにもとづいてオブジェクトの種類（カテゴリーあるいはクラス）を識別する演算処理装置と、を備える。演算処理装置は、それぞれが、複数のラインデータの対応するひとつに関する第１中間データを生成し、第１中間データは、対応するラインデータが、複数の種類の複数の部位それぞれに該当する確率（所属確率）を示すものである、複数の第１ニューラルネットワークと、複数のラインデータに対応する複数の第１中間データを受け、複数の第１中間データを結合し、少なくともひとつの第２中間データを生成する結合処理部と、少なくともひとつの第２中間データを受け、オブジェクトが、複数の種類それぞれに該当する確率を示す最終データを生成する第２ニューラルネットワークと、を備える。【０００７】
本発明の別の態様は、自動車に関する。自動車は、上述のオブジェクト識別システムを備えてもよい。【０００８】
３次元センサは、前照灯に内蔵されてもよい。【０００９】
本発明の別の態様は、車両用灯具に関する。車両用灯具は、上述のオブジェクト識別システムを備えてもよい。
【発明の効果】
【００１０】
本発明によれば、少ない水平ラインの本数で、オブジェクトを識別できる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態に係るオブジェクト識別システムのブロック図である。
【図２】歩行者について定義される複数の部位の一例を示す図である。
【図３】図３（ａ）〜（ｄ）は、歩行者、自転車、自動車、電柱を３次元センサで撮影したときの複数のラインデータを示す図である。
【図４】第１ニューラルネットワークの構成例を示すブロック図である。
【図５】第２ニューラルネットワークの構成例を示すブロック図である。
【図６】図６（ａ）〜（ｃ）は、オブジェクトの抽出を説明する図である。
【図７】図７（ａ）〜（ｃ）は、第１の学習方法を説明する図である。
【図８】図８（ａ）、（ｂ）は、歩行者の撮影を説明する図である。
【図９】第１ニューラルネットワークによる２５カテゴリの分類の正解率を示す図である。
【図１０】第２ニューラルネットワークによる４カテゴリの分類の正解率を示す図である。
【図１１】オブジェクト識別システムを備える自動車のブロック図である。
【図１２】オブジェクト識別システムを備える車両用灯具を示すブロック図である。
【図１３】図１３（ａ）、（ｂ）は、ＬｉＤＡＲの高さと、オブジェクトの関係を示す図であり、図１３（ｃ）は、第１の学習方法によって学習済みのオブジェクト識別システムによって、図１３（ｂ）の状況で得られる最終データを示す図である。
【図１４】第２の学習方法における第２演算ユニットの学習工程を説明する図である。
【図１５】第２の学習方法の効果を説明する図である。
【図１６】変形例に係るオブジェクト識別システムのブロック図である。
【図１７】第２の実施の形態に係るオブジェクト識別システムのブロック図である。
【図１８】結合処理部の処理の一例を示す図である。
【図１９】第２の実施の形態におけるオブジェクト識別システムによって、図１３（ｂ）の状況で得られる最終データを示す図である。
【図２０】変形例３に係るオブジェクト識別システムのブロック図である。
【発明を実施するための形態】
【００１２】
（実施の形態の概要）
本明細書に開示される一実施の形態は、オブジェクト識別システムに関する。オブジェクト識別システムは、高さが異なる複数の水平ラインについて、複数のラインデータを生成する３次元センサと、複数のラインデータにもとづいてオブジェクトの種類（カテゴリーあるいはクラス）を識別する演算処理装置と、を備える。演算処理装置は、それぞれが、複数のラインデータの対応するひとつに関する第１中間データを生成し、第１中間データは、対応するラインデータが、複数の種類の複数の部位それぞれに該当する確率（所属確率）を示すものである、複数の第１ニューラルネットワークと、複数のラインデータに対応する複数の第１中間データを受け、複数の第１中間データを結合し、少なくともひとつの第２中間データを生成する結合処理部と、少なくともひとつの第２中間データを受け、オブジェクトが、複数の種類それぞれに該当する確率を示す最終データを生成する第２ニューラルネットワークと、を備える。
【００１３】
これによると、少ない水平ラインの本数で、オブジェクトの種類を判定することができる。また、複数の第１中間データを結合することにより、高さ方向の依存性を下げることができる。これにより、３次元センサの設置の制約を緩和できる。なお、結合処理によって、高さ方向の情報が完全に失われるわけではなく、部位が高さの情報を保持し続けることに留意されたい。
【００１４】
少なくともひとつの第２中間データはひとつであり、第２中間データは、複数の第１中間データのすべてにもとづいて得られてもよい。
【００１５】
少なくともひとつの第２中間データは複数であり、各第２中間データは、複数の第１中間データのうち連続するいくつかにもとづいて得られてもよい。
【００１６】
少なくともひとつの第２中間データはそれぞれ、対応するいくつかの第１中間データの平均または総和であってもよい。平均は単純平均であってもよいし、重み付け平均であってもよい。また少なくともひとつの第２中間データはそれぞれ、対応するいくつかの第１中間データの最大値であってもよい。
【００１７】
演算処理装置において、複数の種類の複数の部位それぞれを測定した複数のラインデータを利用して、第１ニューラルネットワークに学習させるステップと、学習済みの複数の第１ニューラルネットワークの出力を結合処理部を介して第２ニューラルネットワークと結合した状態で、第２ニューラルネットワークに学習させるステップと、が実行されてもよい。
【００１８】
演算処理装置は、前処理として、各ラインデータに含まれる値を所定値で除算する正規化を行ってもよい。
【００１９】
オブジェクトの種類は、少なくとも、歩行者、自転車に乗った人、自動車を含んでもよい。
【００２０】
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
【００２１】
（第１の実施の形態）
図１は、第１の実施の形態に係るオブジェクト識別システム１０のブロック図である。このオブジェクト識別システム１０は、自動車やバイクなどの車両に搭載される車載用であり、車両の周囲に存在するオブジェクトＯＢＪの種類（カテゴリあるいはクラスともいう）を判定する。
【００２２】
オブジェクト識別システム１０は、主として３次元センサ２０および演算処理装置４０を備える。３次元センサ２０は、高さが異なる複数の水平ラインＬ１〜ＬＮについて、複数のラインデータＬＤ１〜ＬＤＮを生成する。水平ラインの本数Ｎは、特に限定されないが、２０本以下、４〜１２本程度が好適である。各ラインデータＬＤは、対応する水平ラインＬに沿った複数のサンプリング点Ｐまでの距離情報を含んでいる。複数のラインデータＬＤ１〜ＬＤＮのセットを測距データと称する。３次元センサ２０は特に限定されないが、歩行者など凹凸の小さいオブジェクトを正確に識別したい場合には、ＬｉＤＡＲを用いることが好ましい。水平ラインの本数Ｎは、すなわち垂直方向の解像度である。ＬｉＤＡＲの構成は特に限定されず、走査型、非走査型であるとを問わない。
【００２３】
演算処理装置４０は、複数のラインデータＬＤ１〜ＬＤＮを含む測距データにもとづいてオブジェクトの種類（カテゴリ）を識別する。演算処理装置４０は、１個のオブジェクトを含むデータを処理対象として構成され、１枚の測距データに、複数のオブジェクトが含まれる場合、前処理によって１個のオブジェクトを含むサブフレームに分割し、演算処理装置４０は、サブフレームを処理単位とする。
【００２４】
演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。
【００２５】
たとえばオブジェクトの種類は、歩行者、自転車、自動車、電柱などが例示される。歩行者について、前方から見た歩行者、後方から見た歩行者、側方から見た歩行者を、同じ種類に分類して定義してもよい。自動車、自転車も同様である。本実施の形態ではこの定義を採用する。
【００２６】
本実施の形態において、オブジェクトＯＢＪは、異なる高さについて、複数の部位（カテゴリあるいはサブカテゴリと称する）が定義される。図２は、歩行者について定義される複数の部位の一例を示す図である。歩行者に関して、Ｍ個の部位Ｈ０〜ＨＭ−１が定義される。本実施の形態では、Ｍ＝Ｎ＝８とする。Ｈ０は膝、Ｈ１は膝上、Ｈ２は太もも、Ｈ３は腰、Ｈ４は腹部、Ｈ５は胸、Ｈ６は肩、Ｈ７は顔である。
【００２７】
自転車についても、異なる高さの複数の部位Ｂ０〜Ｂ７が定義される。自動車についても、異なる高さの複数の部位Ｃ０〜Ｃ７が定義される。電柱に関しても、異なる高さの複数の部位Ｐ０〜Ｐ７を定義できるが、高さにかかわらずプロファイルは実質的に不変であるからそれらを区別する必要はなく、したがって、１つの出力Ｐ０にまとめることとする。
【００２８】
図３（ａ）〜（ｄ）は、歩行者、自転車、自動車、電柱を３次元センサ２０で撮影したときの複数のラインデータを示す図である。図３において、複数のラインデータは、予め定義された複数の部位の形状を示している。
【００２９】
図１に戻る。演算処理装置４０は、ラインデータＬＤごとに、オブジェクトＯＢＪの種類およびその部位に関する中間データＭＤを生成する。中間データＭＤｉは、対応するラインデータＬＤｉ（水平ラインＬｉ）が、いずれの種類の、いずれの部位であるかを統計的に示してもよい。
【００３０】
そして演算処理装置４０は、複数のラインデータＬＤ１〜ＬＤＮに対応する複数の中間データＭＤ１〜ＭＤＮを統合して、オブジェクトＯＢＪの種類を示す最終データＦＤを生成する。最終データＦＤは、オブジェクトＯＢＪがいずれの種類であるかを統計的に示してもよい。
【００３１】
演算処理装置４０は、機能的には、複数の第１演算ユニット４２＿１〜４２＿Ｎと、第２演算ユニット４４を含む。演算ユニット４２，４４で示されるブロックは、必ずもハードウェア的に独立していることを意味するものでない。たとえば、演算処理装置４０がシングルコアで構成される場合、複数の演算ユニット４２、４４は、単一のコアに対応しうる。演算処理装置４０がマルチコアを含む場合、各コアが、複数の演算ユニット４２，４４として機能しうる。
【００３２】
ｉ番目（１≦ｉ≦Ｎ）の演算ユニット４２＿ｉは、対応するラインデータＬＤｉを処理し、中間データＭＤｉを生成する。第２演算ユニット４４は、複数の第１演算ユニット４２＿１〜４２＿Ｎが生成する中間データＭＤ１〜ＭＤＮを統合し、最終データＦＤを生成する。
【００３３】
以上がオブジェクト識別システム１０の基本構成である。演算処理装置４０の実装は特に限定されないが、たとえばニューラルネットワークを用いて構成できる。以下、本発明者が検証を行った構成について説明する。第１演算ユニット４２に対応するニューラルネットワークを第１ニューラルネットワークＮＮ１，第２演算ユニット４４に対応するニューラルネットワークを第２ニューラルネットワークＮＮ２と称する。
【００３４】
図４は、第１ニューラルネットワークＮＮ１の構成例を示すブロック図である。第１ニューラルネットワークＮＮ１は、入力層５０、３層の中間層（隠れ層）５２、出力層５４で構成される。入力層５０のユニット数は、１ラインのサンプル点の個数に応じて定め、５２００とした。中間層は３層であり、ユニット数は２００，１００，５０とした。中間層５２においては、アファイン変換と、シグモイド関数を用いた変換が行われる。出力層５４では、アファイン変換と、ソフトマックス関数を用いた所属確率の計算が行われる。
【００３５】
出力層５４には、歩行者に関する部位Ｈ０〜Ｈ７、自動車に関する部位Ｃ０〜Ｃ７、自転車に関する部位Ｂ０〜Ｂ７、電柱に関する部位Ｐ０の、合計２５個のカテゴリを設定した。中間データＭＤｉは、複数のデータHuman-0th〜Human-7th,Car-0th〜Car-7th, Bicycle--0th〜Bicycle7th, Pole-allを含み、歩行者に関する部位Ｈ０〜Ｈ７、自動車に関する部位Ｃ０〜Ｃ７、自転車に関する部位Ｂ０〜Ｂ７、電柱に関する部位Ｐ０それぞれに該当する確率を示す。
【００３６】
図５は、第２ニューラルネットワークＮＮ２の構成例を示すブロック図である。第２ニューラルネットワークＮＮ２は、入力層６０、１層の中間層６２、出力層６４で構成される。入力層６０のユニット数は、前段の第１ニューラルネットワークＮＮ１の個数（Ｎ＝８）と、そのカテゴリ数（２５）の積２００とした。中間層６２は１層であり、ユニット数は５０とした。出力層６４には、歩行者（Human）、自動車（Car）、自転車(Bicycle)、電柱(Pole)の４カテゴリを設定した。すなわち最終データＦＤは、オブジェクトＯＢＪが、歩行者、自動車、自転車、電柱それぞれに該当する可能性を示す４つのデータHuman,Car,Bicycle,Poleを含む。
【００３７】
第１ニューラルネットワークＮＮ１、第２ニューラルネットワークＮＮ２に共通する設定として、パラメータ更新法はAdam、学習係数は０．０１、反復計算回数は２０，０００回とした。
【００３８】
第１ニューラルネットワークＮＮ１の前処理として、抽出、シフト、正規化を行うことが好ましい。
【００３９】
抽出は、背景を除去し、オブジェクトＯＢＪを抽出する処理である。図６（ａ）〜（ｃ）は、オブジェクトの抽出を説明する図である。図６（ａ）は、オブジェクトである自動車を示す図である。図６（ｂ）は、図６（ａ）のオブジェクトをＬｉＤＡＲで撮影したときの、複数のラインデータＬＤ１〜ＬＤ８を示す。図６（ｃ）には、オブジェクトを含むように抽出されたラインデータＬＤ１〜ＬＤ８が示される。
【００４０】
シフトは、オブジェクトが中央に位置するようにデータシフトする処理である。正規化は、距離データを所定値で除算する処理である。たとえば、所定値は、学習時における、３次元センサ２０とオブジェクトＯＢＪの所定箇所との距離（基準距離）であってもよい。これにより、ラインデータが、１付近の値に正規化される。
【００４１】
続いて、機械学習について説明する。図７（ａ）~（ｃ）は、第１の学習方法を説明する図である。図７（ａ）に示すように、初めに学習に用いるデータ（学習データあるいは教師データ）を測定する。学習データは、複数のオブジェクトをＬｉＤＡＲで測定することにより取得される。具体的には、識別したいオブジェクトの候補（歩行者、自動車、電柱、自転車に乗った人など）を、異なる条件下（たとえば、さまざまな距離、さまざまな方向から）で測定し、学習用のフレームデータＦＤ１，ＦＤ２，…を用意する。各フレームデータＦＤｉ（ｉ＝１，２，・・・）は、Ｎ本（ここでは８本）のラインデータを含むが、学習には、オブジェクトとクロスする有効なラインデータのみを使用してもよい。たとえば歩行者を撮影したフレームデータＦＤ１では、一番下の２本のラインデータＬＤ１１，ＦＤ１２は地面とクロスし、歩行者とクロスしないため、学習には用いないこととしてもよい。
【００４２】
続いて、第１演算ユニット（第１ニューラルネットワーク）４２を対象とした学習を行う。図７（ｂ）に示すように、複数のフレームデータに含まれる複数の有効なラインデータＬＤｉｊが個別に、教師データＴＤｉｊとともに第１演算ユニット４２に入力される。たとえばフレームＦＤ１のラインデータＬＤ１８を入力するときには、種類（カテゴリ）＝「歩行者」、部位（サブカテゴリ）＝「歩行者の顔」を示す教師データＴＤｉｊを与える。
【００４３】
１個の第１演算ユニット４２について得られた学習結果は、すべての第１演算ユニット４２において使用される。続いて第２演算ユニット４４を学習させる。具体的には図７（ｂ）に示すように、複数の第１演算ユニット４２と、第２演算ユニット（第２ニューラルネットワーク）４４が接続される。この状態で、演算処理装置４０に、複数のフレームデータＦＤ１，ＦＤ２・・・が個別に入力される。各フレームＦＤｉごとに、複数の第１演算ユニット４２によって複数の中間データＭＤ１〜ＭＤ８のセットが生成され、後段の第２演算ユニット４４に供給される。第２演算ユニット４４には、中間データＭＤ１〜ＭＤ６のセットに加えて、現在のフレームデータＦＤｉに含まれるオブジェクトの種類を示す教師データＴＤｉが与えられる。たとえば、演算処理装置４０に、歩行者を撮影したフレームデータＦＤｉを入力する場合、第２演算ユニット４４には、種類＝「歩行者」を示す教師データＴＤｉが与えられる。これを複数のフレームデータについて行うことにより、第２演算ユニット４４の学習が行われる。
【００４４】
以上の構成を有するオブジェクト識別システム１０の有効性を検討するために行った実験について説明する。
【００４５】
検証に用いたＬｉＤＡＲの水平ラインの本数は８である。水平ラインの照射角度（鉛直方向角度分解能）は、下から−１８．２５°，−１５．４２°，−１２．４９°，−９．４６°，−６．３６°，−３．１９°，０°，３．２°である。水平方向角度分解能は０．０３５度、撮影範囲は０〜１８０°に設定した。したがってラインデータは、１８０／０．０３５＝５２００個のサンプル点の値を含む。
【００４６】
図８（ａ）、（ｂ）は、歩行者の撮影を説明する図である。ＬｉＤＡＲの中心からオブジェクトＯＢＪの距離（基準距離）は３ｍとした。歩行者のサンプルは、身長１６６ｃｍの成人男性であり、９つの方向（０°，２２．５°，４５°，６７．５°，９０°，１１２．５°，１３５°，１５７．５°，０°，１８０°）から撮影した。なおオブジェクトＯＢＪの正面（顔、ヘッドランプ）が見える方向を０°とする。歩行者に関して、図２に示す８つの部位Ｈ０〜Ｈ７に、８本の水平ラインが一致するように、ＬｉＤＡＲを、鉛直方向に７°（仰角）傾けている。
【００４７】
自転車については、図３（ｂ）に示すように人が跨がって静止した状態で撮影した。撮影方向は、歩行者と同様に９方向とした。
【００４８】
自動車については、１種類の車種を、３方向（０°，９０°，１８０°）から撮影した。電柱は６本をサンプルとし、任意の方向から撮影した。
【００４９】
訓練データとして、歩行者と自転車は３６００フレーム、自動車は３０００フレーム、電柱は１７００フレームを用いて機械学習を行った。学習方法は、図７（ａ）〜（ｃ）を参照して説明した通りである。
【００５０】
その後、歩行者と自転車についてそれぞれ３６０フレーム、自動車、電柱についてそれぞれ３００フレームをテストデータとして、学習の結果を検証した。図９は、第１ニューラルネットワークＮＮ１による２５カテゴリ（サブカテゴリ）の分類の正解率を示す図である。最上段のTotalは、テストデータとして入力した（３６０＋３６０＋３００＋３００）フレーム×８本＝１０５６０本のラインデータのトータルの正解率を示す。それ以外は、歩行者、自動車、自転車、電柱の各部位の正解率を示す。
【００５１】
図１０は、第２ニューラルネットワークＮＮ２による４カテゴリの分類の正解率を示す図である。最上段のTotalは、テストデータとして入力した１３２０（＝３６０＋３６０＋３００＋３００）フレーム全体の正解率を示す。それ以外は、歩行者（Human）、自動車（Car）、自転車（Bicycle）、電柱（Pole）の正解率を示す。
【００５２】
図１０からわかるように、歩行者（Human）、自動車（Car）、電柱（Pole）については１００％の正解率が得られている。自転車（Bicycle）についてのみ、正解率が９７．８％となっており、トータルの正解率は、自転車での誤りの影響を受けたものであることがわかる。
【００５３】
このように、実施の形態に係るオブジェクト識別システム１０によれば、わずかに８本の水平ラインの本数で、きわめて高確率でオブジェクトの種類を判定することができる。
【００５４】
また、水平ラインの本数が８本と少ないことから、演算処理装置４０に要求される処理能力を小さくできる。
【００５５】
ここでは、オブジェクトとＬｉＤＡＲの距離を３ｍと固定して検証したが、実際には、距離は可変である。したがって、距離を複数のレンジに区分けして、レンジごとに、ニューラルネットワークの学習を行えばよい。
【００５６】
図１１は、オブジェクト識別システム１０を備える自動車のブロック図である。自動車１００は、前照灯１０２Ｌ，１０２Ｒを備える。オブジェクト識別システム１０のうち、少なくとも３次元センサ２０は、前照灯１０２Ｌ，１０２Ｒの少なくとも一方に内蔵される。前照灯１０２は、車体の最も先端に位置しており、周囲のオブジェクトを検出する上で、３次元センサ２０の設置箇所として最も有利である。演算処理装置４０については、前照灯１０２に内蔵してもよいし、車両側に設けてもよい。たとえば演算処理装置４０のうち、中間データの生成は前照灯１０２の内部で行い、最終データの生成は車両側に委ねてもよい。
【００５７】
図１２は、オブジェクト識別システム１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、３次元センサ２０および演算処理装置４０が設けられる。演算処理装置４０が検出したオブジェクトＯＢＪに関する情報は、車両ＥＣＵ１０４に送信される。車両ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
【００５８】
また、演算処理装置４０が検出したオブジェクトＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具ＥＣＵ２０８は、演算処理装置４０が生成するオブジェクトＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
【００５９】
（学習方法に関する変形例）
図７（ａ）~（ｃ）に示す第１の学習方法では、ＬｉＤＡＲの設置（高さ、仰俯角、あるいはオブジェクトとの距離）に強く依存した学習が行われる場合がある。図１３（ａ）、（ｂ）は、ＬｉＤＡＲの高さと、オブジェクトの関係を示す図である。図１３（ａ）は、学習時にＬｉＤＡＲの設置高さを１４５ｃｍとした場合を示す。このとき、下側の３本のラインデータは無効であり、下から４本目〜８本目のラインデータＬＤ４〜ＬＤ８を用いた学習が行われる。
【００６０】
実際の使用時に、図１３（ｂ）に示すように、ＬｉＤＡＲの設置高さが学習時より低い７０ｃｍであったとする。また歩行者とＬｉＤＡＲとの距離が、学習時より近いものとする。図１３（ｂ）の状態では、ラインデータＬＤ１〜ＬＤ３は該当部位無し（サブカテゴリ無し）、ラインデータＬＤ４〜ＬＤ７は、部位（サブカテゴリ）＝脚、ラインデータＬＤ８は、部位（サブカテゴリ）＝腹部である。
【００６１】
図１３（ｃ）は、第１の学習方法によって学習済みのオブジェクト識別システム１０によって、図１３（ｂ）の状況で得られる最終データを示す。歩行者として認識されるべきところ、その他のカテゴリである確率の方が高いものと誤認識されている。これは第１学習方法では、第２演算ユニット４４における分類が、サブカテゴリの並び順、組み合わせに強く依存していることに起因するものと推察される。すなわち第１の学習方法を採用する場合、実際の使用段階における３次元センサの高さが、学習段階で用いた高さにより制約される可能性がある。第２の学習方法には、このような制約を減らす工夫が組み込まれる。
【００６２】
第２の学習方法では、第１演算ユニット４２の学習は第１の学習方法と同様であり、第２演算ユニット４４の学習方法が異なっている。図１４は、第２の学習方法における第２演算ユニット４４の学習工程を説明する図である。具体的には、第２の学習方法では、学習済みの複数の第１演算ユニット４２の出力と、第２演算ユニット４４の複数の入力ノードＩ１〜Ｉ８の対応関係４６を変化させながら、第２演算ユニット４４を学習させる。対応関係４６は、フレームデータＦＤｉごとにランダムに変化させてもよい。
【００６３】
学習時間に余裕がある場合には、ひとつのフレームデータＦＤｉについて、対応関係を複数のパターンで切りかえて学習を行ってもよい。Ｎ＝８の場合、入出力の組み合わせは８×７＝５６通り存在する。したがって各フレームデータについて、すべての組み合わせで学習を行ってもよい。
【００６４】
図１５は、第２の学習方法の効果を説明する図である。図１５は、第２の学習方法で学習済みのオブジェクト識別システム１０を用いて、図１３（ｂ）の状況で歩行者を想定したときの最終データＦＤを示す。第１の学習方法の結果得られる図１３（ｃ）の最終データに比べて、歩行者と認識する確率を高めることができている。
【００６５】
このように、第２演算ユニット４４の学習工程において、複数の第１演算ユニット４２と、第２演算ユニット４４の複数の入力の対応関係を変化させることにより、ＬｉＤＡＲなどの３次元センサの設置の自由度を高めることができる。
【００６６】
図１６は、変形例に係るオブジェクト識別システム１０Ａのブロック図である。この変形例において、第１演算ユニット４２Ａは、畳み込みニューラルネットワークとして実装される。一般的には、畳み込みニューラルネットワークは、Ｍ×Ｎピクセルの２次元画像を対象とするが、本実施形態では、それを１次元のラインデータを対象として利用する点が新しい。畳み込みニューラルネットワークは、畳み込み層とプーリング層の組み合わせである。畳み込みニューラルネットワークを用いることで、オブジェクトの横方向の位置ズレに対するロバスト性を高めることができる。
【００６７】
（第２の実施の形態）
上の変形例は、学習方法を工夫することにより、識別力の改善を図るものであった。第２実施の形態では、演算処理装置の構成を工夫することにより、識別力の改善を実現する。
【００６８】
図１７は、第２の実施の形態に係るオブジェクト識別システム１０Ｂのブロック図である。オブジェクト識別システム１０Ｂは、３次元センサ２０および演算処理装置７０を備える。演算処理装置７０は、複数の第１ニューラルネットワーク７２＿１〜７２＿Ｎと、結合処理部７４と、第２ニューラルネットワーク７６と、を備える。
【００６９】
第１ニューラルネットワーク７２＿１〜７２＿Ｎは、第１の実施の形態で説明した第１演算ユニット４２（第１ニューラルネットワークＮＮ１）と同じ機能を有する。すなわち、各第１ニューラルネットワーク７２＿ｉ（ｉ＝１，２…Ｎ）は、複数のラインデータＬＤ１〜ＬＤＮの対応するひとつＬＤｉに関する第１中間データＭＤ１＿ｉを生成する。第１中間データＭＤ１＿ｉは、対応するラインデータＬＤｉが、複数の種類（カテゴリ）の複数の部位（サブカテゴリ）それぞれに該当する確率を示すものである。
【００７０】
結合処理部７４は、複数のラインデータＬＤ１〜ＬＤＮに対応する複数の第１中間データＭＤ１＿１〜ＭＤ１＿Ｎを受け、それらを結合し、少なくともひとつの第２中間データＭＤ２を生成する。図１７の実施例において、第２中間データＭＤ２は１つである。すなわち、すべての第１中間データＭＤ１＿１〜ＭＤ１＿Ｎがひとつの第２中間データＭＤ２に結合される。第２中間データＭＤ２は、第１中間データＭＤ１と同様に、対応するラインデータＬＤｉが、複数の種類（カテゴリ）の複数の部位（サブカテゴリ）それぞれに該当する確率を示す。
【００７１】
図１８は、結合処理部７４の処理の一例を示す図である。ｉ番目の第１中間データＭＤ１＿ｉは、Ｋ個の要素ａ１ｉ〜ａＫｉを含む。ｊ番目（ｊ＝１，２…，Ｋ）の要素ａｊｉは、ｉ番目のラインデータＬＤｉがｊ番目のサブカテゴリ（部位）に該当する確率を示す。結合処理部７４は、複数の第１中間データＭＤ１＿１〜ＭＤ１＿Ｎの平均を、第２中間データＭＤ２とする。第２中間データＭＤ２のｊ番目の要素ｂｊは、以下の式で与えられる。
ｂｊ＝Σｉ＝１：Ｎａｊｉ／Ｎ
【００７２】
図１７に戻る。第２ニューラルネットワーク７６は、第２中間データＭＤ２を受け、オブジェクトＯＢＪが、複数の種類（カテゴリ）それぞれに該当する確率を示す最終データＦＤを生成する。第２ニューラルネットワーク７６は、図５のニューラルネットワークと同様に構成できる。
【００７３】
オブジェクト識別システム１０Ｂは、上述の第１の学習方法を用いて学習される。すなわち複数の種類の複数の部位それぞれを測定した複数のラインデータを利用して、第１ニューラルネットワーク７２に学習させる。共通の学習結果が、すべての第１ニューラルネットワーク７２＿１〜７２＿Ｎに適用される。
【００７４】
そして、学習済みの複数の第１ニューラルネットワーク７２＿１〜７２＿Ｎの出力を結合処理部７４を介して第２ニューラルネットワーク７６と結合した状態で、第２ニューラルネットワーク７６に学習させる。
【００７５】
以上がオブジェクト識別システム１０Ｂの構成である。続いてその利点を説明する。
図１９は、第２の実施の形態におけるオブジェクト識別システムによって、図１３（ｂ）の状況で得られる最終データを示す図である。第２の実施の形態によれば、第１の実施の形態および第１の学習方法の組み合わせで得られる図１３（ｃ）の最終データに比べて、歩行者と認識する確率を高めることができる。
【００７６】
続いて、第２の実施の形態に関連する変形例を説明する。
【００７７】
（変形例１）
図１８では、結合処理部７４において単純平均値をとったが、重み付け平均をとってもよい。ｃｉは、高さ（ライン）ごとの重み付けの係数である。
ｂｊ＝Σｉ＝１：Ｎａｊｉｃｉ／Ｎ
【００７８】
あるいは結合処理部７４において、総和をとっても良い。
ｂｊ＝Σｉ＝１：Ｎａｊｉ
【００７９】
あるいは結合処理部７４において、最大値をとってもよい。
ｂｊ＝ｍａｘ（ａｊ１，ａｉ２，…ａｉＫ）
【００８０】
（変形例２）
図１７では、第２中間データＭＤ２を１個としたが、複数としてもよい。たとえばＮ個の第１中間データＭＤ１＿１〜ＭＤ１＿Ｎを、２個の第２中間データＭＤ２＿１,ＭＤ２＿２に結合してもよい。この場合、たとえば、複数の第１中間データＭＤ１＿１〜ＭＤ１＿Ｎを２つの群に分けて、一方の群から第２中間データＭＤ２＿１を生成し、他方の群から第２中間データＭＤ２＿２を生成してもよい。
【００８１】
（変形例３）
図２０は、変形例３に係るオブジェクト識別システム１０Ｃのブロック図である。この変形例は、図１７のオブジェクト識別システム１０Ｂに畳み込みニューラルネットワークを適用したものである。畳み込みニューラルネットワークの適用により、オブジェクトの横方向の位置ズレに対するロバスト性を高めることができる。
【００８２】
（その他の変形例）
複数のラインデータの本数Ｎを８としたが、演算処理装置４０の演算能力と、要求されるオブジェクトＯＢＪの識別能力を考慮して、Ｎ＝４〜１２程度としてもよい。
【００８３】
一実施の形態において、オブジェクトを、それを望む方向ごとに異なる種類（カテゴリ）として定義してもよい。つまり、あるオブジェクトが、自車と正対しているときと、そうでないときとで、別の種類として識別される。これは、オブジェクトＯＢＪの移動方向の推定に役立つからである。
【００８４】
演算処理装置４０は、ＦＰＧＡなどを用いてハードウェアのみで構成してもよい。
【００８５】
実施の形態では、車載用のオブジェクト識別システム１０を説明したが本発明の適用はその限りでなく、たとえば信号機や交通標識、そのほかの交通インフラに固定的に設置され、定点観測する用途にも適用可能である。
【００８６】
実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
【産業上の利用可能性】
【００８７】
本発明は、オブジェクト識別システムに関する。
【符号の説明】
【００８８】
１０  オブジェクト識別システム
２０  ３次元センサ
４０  演算処理装置
４２  第１演算ユニット
４４  第２演算ユニット
ＮＮ１  第１ニューラルネットワーク
ＮＮ２  第２ニューラルネットワーク
７０  演算処理装置
７２  第１ニューラルネットワーク
７４  結合処理部
７６  第２ニューラルネットワーク
５０  入力層
５２  中間層
５４  出力層
６０  入力層
６２  中間層
６４  出力層
１００  自動車
１０２  前照灯
１０４  車両ＥＣＵ
２００  車両用灯具
２０２  光源
２０４  点灯回路
２０６  光学系
２０８  灯具ＥＣＵ
【図１】
2019176877.tif 000003
【図２】
2019176877.tif 000004
【図３】
2019176877.tif 000005
【図４】
2019176877.tif 000006
【図５】
2019176877.tif 000007
【図６】
2019176877.tif 000008
【図７】
2019176877.tif 000009
【図８】
2019176877.tif 000010
【図９】
2019176877.tif 000011
【図１０】
2019176877.tif 000012
【図１１】
2019176877.tif 000013
【図１２】
2019176877.tif 000014
【図１３】
2019176877.tif 000015
【図１４】
2019176877.tif 000016
【図１５】
2019176877.tif 000017
【図１６】
2019176877.tif 000018
【図１７】
2019176877.tif 000019
【図１８】
2019176877.tif 000020
【図１９】
2019176877.tif 000021
【図２０】
2019176877.tif 000022
【国際調査報告】
2019176877.tif 000023
2019176877.tif 000024
2019176877.tif 000025