(57)【要約】  車載用の物体識別システム１０は、測距センサ２０および演算処理装置４０を備える。測距センサ２０は、１本のビームを水平方向にスキャンし、物体ＯＢＪの表面上の点Ｐまでの距離を測定する。演算処理装置４０は、測距センサ２０により得られる１本のスキャンラインＳＬに対応する点群データＰＣＤにもとづいて、物体ＯＢＪの種類を識別可能な分類器４２を含む。分類器４２は、機械学習により得られた学習済みモデルにもとづいて実装される。機械学習は、鉛直方向に複数のスキャンラインを有するＬｉＤＡＲによって所定の物体を測定して得られる、複数のスキャンラインに対応する複数の点群データを利用して行われる。
2020110802.tif 000002
【特許請求の範囲】
【請求項１】
１本のビームを水平方向にスキャンし、物体の表面上の点までの距離を測定する測距センサと、
前記測距センサにより得られる１本のスキャンラインに対応する点群データにもとづいて、前記物体の種類を識別可能な分類器を含む演算処理装置と、
を備え、
前記分類器は、機械学習により得られた学習済みモデルにもとづいて実装され、前記機械学習は、鉛直方向に複数のスキャンラインを有するＬｉＤＡＲ（Light Detection and Ranging）によって所定の物体を測定して得られる、複数のスキャンラインに対応する複数の点群データを利用して行われることを特徴とする車載用の物体識別システム。
【請求項２】
前記測距センサは、
光源と、
モータ、および前記モータに取り付けられ前記光源の出射光を反射するミラーを含み、前記ミラーによる反射光であるプローブ光を、前記モータの回転に応じてスキャン可能に構成されるスキャンデバイスと、
前記プローブ光が、物体上の点において反射した戻り光を検出する光センサと、
前記光センサの出力にもとづいて前記物体上の点までの距離を検出するプロセッサと、
を備えることを特徴とする請求項１に記載の物体識別システム。
【請求項３】
前記分類器は、ニューラルネットワークを含むことを特徴とする請求項１または２に記載の物体識別システム。
【請求項４】
請求項１から３のいずれかに記載の物体識別システムを備えることを特徴とする自動車。
【請求項５】
前記測距センサは、前照灯に内蔵されることを特徴とする請求項４に記載の自動車。
【請求項６】
請求項１から３のいずれかに記載の物体識別システムを備えることを特徴とする車両用灯具。
【請求項７】
測距センサにより得られる１本のスキャンラインに対応する点群データにもとづいて、物体の種類を識別可能な分類器の学習方法であって、
前記測距センサとは別の、鉛直方向に複数のスキャンラインを有するＬｉＤＡＲ（Light Detection and Ranging）を利用して、所定の物体を測定するステップと、
前記複数のスキャンラインに対応する複数の点群データそれぞれを訓練データして、前記物体を識別できるように機械学習を行うステップと、
前記機械学習により得られた学習済みモデルにもとづいて、前記分類器を実装するステップと、
を備えることを特徴とする方法。
【請求項８】
１本のビームを水平方向にスキャンし、物体の表面上の点までの距離を測定する測距センサにより得られる１本のスキャンラインに対応する点群データを受け、前記点群データにもとづいて、前記物体の種類を識別可能な分類器を備え、
前記分類器は、機械学習により得られた学習済みモデルにもとづいて実装されており、前記機械学習は、鉛直方向に複数のスキャンラインを有するＬｉＤＡＲ（Light Detection and Ranging）によって所定の物体を測定して得られる、複数のスキャンラインに対応する複数の点群データを利用して行われることを特徴とする演算処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体識別システムに関する。
【背景技術】
【０００２】
自動車のセンサとして、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、カメラ、ミリ波レーダ、超音波ソナーなどが候補として挙げられる。このなかでＬｉＤＡＲは、そのほかのセンサと比較して、（i）点群データによる物体認識が可能であること、（ii）アクティブセンシングであるが故の悪天候時にも高精度な検出が可能であること、（iii）広範囲の測定が可能であること、などの利点を有しており、今後、自動車のセンシングシステムにおける主流となることが期待されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−５６９３５号公報
【特許文献２】特開２００９−９８０２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＬｉＤＡＲが生成する点群データにもとづく物体の識別は、点群データの解像度が高いほど正確となるが、演算処理のコストが爆発的に増加する。車両への搭載を考慮した場合には、低価格なローエンドの演算処理装置を利用せざるを得ない場合も想定され、自ずとスキャンラインの本数を減らすことが要求される。【０００５】
本発明は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、少ない水平ラインの本数で、物体を識別可能なシステム、装置、方法の提供にある。
【課題を解決するための手段】
【０００６】
本発明のある態様は、車載用の物体識別システムに関する。物体識別システムは、１本のビームを水平方向にスキャンし、物体の表面上の点までの距離を測定する測距センサと、測距センサにより得られる１本のスキャンラインに対応する点群データにもとづいて、物体の種類を識別可能な分類器を含む演算処理装置と、を備える。分類器は、機械学習により得られた学習済みモデルにもとづいて実装される。機械学習は、鉛直方向に複数のスキャンラインを有するＬｉＤＡＲ（Light Detection and Ranging）によって所定の物体を測定して得られる、複数のスキャンラインに対応する複数の点群データを利用して行われる。
【発明の効果】
【０００７】
本発明によれば、１本のスキャンラインに対応する点群データから物体を識別でき、また機械学習を効率化できる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態に係る物体識別システムのブロック図である。
【図２】分類器の構成例を示すブロック図である。
【図３】実施の形態に係る学習システムのブロック図である。
【図４】図４（ａ）〜（ｄ）は、歩行者、自転車、自動車、電柱を測距センサで撮影したときの複数の点群データを示す図である。
【図５】学習システムによる学習のフローチャートである。
【図６】一実施例に係る測距センサを示す図である。
【図７】物体識別システムを備える自動車のブロック図である。
【図８】物体検出システムを備える車両用灯具を示すブロック図である。
【発明を実施するための形態】
【０００９】
（実施の形態の概要）
本明細書に開示される一実施の形態は、車載用の物体識別システムに関する。物体識別システムは、１本のビームを水平方向にスキャンし、物体の表面上の点までの距離を測定する測距センサと、測距センサにより得られる１本のスキャンラインに対応する点群データにもとづいて、物体の種類を識別可能な分類器を含む演算処理装置と、を備える。分類器は、機械学習により得られた学習済みモデルにもとづいて実装される。機械学習は、鉛直方向に複数のスキャンラインを有するＬｉＤＡＲ（Light Detection and Ranging）により所定の物体を測定して得られる、複数のスキャンラインに対応する複数の点群データを利用して行われる。
【００１０】
この物体識別システムによれば、１本のスキャンラインで、物体の種類を判定することができる。学習時に、物体識別システムに使用する測距センサを用いる場合、学習時における測距センサの高さと、車載時の測距センサの高さが異なる場合に、物体の認識率が低下するおそれがある。この問題を解決するために、測距センサの高さを変更しながら訓練データを取得すると、データ収集のコストが高くなる。そこで、車載される測距センサと異なるマルチスキャンラインのＬｉＤＡＲを学習に用い、複数のスキャンラインそれぞれを、測距センサの１本のスキャンラインに対応付けた訓練データとすることで、効率的にデータ収集できる。また、異なる高さのスキャンラインの点群データを訓練データとして用いるため、測距センサの出射ビームの高さに依存しない物体認識が可能となる。
【００１１】
測距センサは、光源と、モータ、およびモータに取り付けられ光源の出射光を反射するミラーを含み、ミラーによる反射光であるプローブ光を、モータの回転に応じてスキャン可能に構成されるスキャンデバイスと、プローブ光が、物体上の点において反射した戻り光を検出する光センサと、光センサの出力にもとづいて物体上の点までの距離を検出するプロセッサと、を備えてもよい。この測距センサは、ごくありふれたモータと羽状のミラーの組み合わせによってスキャンデバイスが構成されるため、測距センサのコストを下げることができる。
【００１２】
（実施の形態）
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
【００１３】
図１は、実施の形態に係る物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ）を判定する。
【００１４】
物体識別システム１０は、主として測距センサ２０および演算処理装置４０を備える。測距センサ２０は、１本のビームを水平方向にスキャンし、物体ＯＢＪの表面上の点Ｐまでの距離を測定する。測距センサ２０は、１本のスキャンラインＳＬに対応する１つの点群データＰＣＤを生成する。
【００１５】
各点群データＰＣＤは、スキャンラインＳＬに沿った複数のサンプリング点Ｐまでの距離情報を含んでいる。測距センサ２０は特に限定されないが、歩行者など凹凸の小さい物体を正確に識別したい場合には、ＬｉＤＡＲを用いることが好ましい。一般的なＬｉＤＡＲは、鉛直方向に複数のスキャンラインを有するのに対して、本実施の形態に係る物体識別システム１０は、１本のスキャンラインのみを有する点に留意されたい。
【００１６】
演算処理装置４０は、測距センサ２０により得られる１本のスキャンラインＳＬに対応する１つの点群データＰＣＤにもとづいて、物体ＯＢＪの種類を識別可能な分類器４２を含む。分類器４２は、後述のように機械学習によって構成される。点群データＰＣＤのデータ形式は特に限定されず、直交座標系であってもよいし、極座標系であってもよい。
【００１７】
演算処理装置４０は、物体ＯＢＪの種類を示す出力データＯＵＴを出力する。その限りでないが、出力データＯＵＴは、点群データＰＣＤに含まれる物体ＯＢＪが、複数のカテゴリそれぞれに該当する確率を示してもよい。たとえば物体の種類（カテゴリ）は、歩行者、自転車、自動車、電柱などが例示される。歩行者について、前方から見た歩行者、後方から見た歩行者、側方から見た歩行者を、同じ種類に分類して定義してもよい。自動車、自転車も同様である。本実施の形態ではこの定義を採用する。
【００１８】
演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。
【００１９】
図２は、分類器４２の構成例を示すブロック図である。分類器４２はニューラルネットワークＮＮを用いて構成することができる。ニューラルネットワークＮＮは、入力層５０、３層の中間層（隠れ層）５２、出力層５４で構成される。
【００２０】
入力層５０のユニット数は、１ラインのサンプル点の個数に応じて定め、５２００とした。中間層は３層であり、ユニット数は２００，１００，５０とした。中間層５２においては、アファイン変換と、シグモイド関数を用いた変換が行われる。出力層５４では、アファイン変換と、ソフトマックス関数を用いた確率の計算が行われる。
【００２１】
出力層５４には、複数のカテゴリ（たとえば、歩行者（Human）、自動車（Car）、自転車(Bicycle)、電柱(Pole)の４カテゴリ）を設定することができる。この場合、すなわち出力データＯＵＴは、物体ＯＢＪが各カテゴリに該当する確率を示す４つのデータHuman,Car,Bicycle,Poleを含むことができる。
【００２２】
ニューラルネットワークＮＮの前処理として、抽出、シフト、正規化を行うことが好ましい。
【００２３】
抽出は、背景を除去し、物体ＯＢＪを抽出する処理である。シフトは、物体が中央に位置するようにデータシフトする処理である。正規化は、距離データを所定値で除算する処理である。たとえば、所定値は、学習時における、測距センサ２０と物体ＯＢＪの所定箇所との距離（基準距離）であってもよい。これにより、点群データの値が、１付近の値に正規化される。
【００２４】
以上が物体識別システム１０の基本構成である。この物体識別システム１０によれば、１本のスキャンラインで、物体ＯＢＪの種類を判定することができる。スキャンラインの本数を多くするほど、演算処理装置における演算量が膨大となり高速なプロセッサが必要となるところ、本実施の形態では、１本のスキャンラインの点群データのみを処理すればよいため、演算量を減らすことができる。このことは、演算処理装置４０を、安価なマイコンで構成できることを意味し、したがって物体識別システム１０のコストを下げることができる。
【００２５】
（学習について）
続いて、分類器４２の学習について説明する。分類器４２の学習時に、物体識別システム１０に使用する測距センサ２０と同じセンサを用いる場合、学習時における測距センサの高さと、車載時の測距センサの高さが異なる場合に、物体の認識率が低下するおそれがある。
【００２６】
この問題を解決するために、学習時に、測距センサの高さ（あるいは仰俯角）を変化させてスキャンラインの高さを変えながら訓練データ（学習データともいう）を取得するというアプローチが取り得る。しかしながらこのアプローチは、データ収集のコストが高くなる。
【００２７】
そこで本実施の形態では、訓練データを取得する際に、車載される測距センサ２０と異なるマルチスキャンラインのＬｉＤＡＲを学習に用いることとした。図３は、実施の形態に係る学習システムのブロック図である。
【００２８】
学習システム７０は、ＬｉＤＡＲ７２およびコンピュータ７４を備える。学習には、鉛直方向に複数のスキャンラインＳＬ１〜ＳＬＮを有するＬｉＤＡＲ（Light Detection and Ranging）７２を用いる。図３には、物体ＯＢＪとして歩行者（人間）が示される。ＬｉＤＡＲ７２は、複数のスキャンラインに対応する複数の点群データＰＣＤ１〜ＰＣＤＮを生成する。たとえば学習には、Ｎ＝８程度のＬｉＤＡＲが好適である。
【００２９】
図３では、歩行者がＬｉＤＡＲ７２と正対しているが、歩行者の向きを変えて、複数の異なる方向から歩行者を撮影した点群データＰＣＤ１〜ＰＣＤＮを取得することが好ましい。
【００３０】
こうして得られた複数の点群データＰＣＤ１〜ＰＣＤＮは、コンピュータ７４に入力される。コンピュータ７４は、複数の点群データＰＣＤ１〜ＰＣＤＮそれぞれを訓練データとして、所定の物体（この例では歩行者）を識別できるように機械学習を行う。これにより、図１の物体識別システム１０は、１本のスキャンラインに対応する点群データにもとづいて、物体の種類を判定できるようになる。
【００３１】
なお必ずしも、複数のスキャンラインＳＬ１〜ＳＬＮのすべての点群データＰＣＤ１〜ＰＣＤＮを訓練データとして用いる必要はなく、両端（あるいは上端、下端）を除く一部分のみを訓練データとして用いてもよい。
【００３２】
複数の物体ＯＢＪを識別可能とする場合、物体ＯＢＪの種類を変えながら、ＬｉＤＡＲ７２によって点群データのセットを取得すればよい。
【００３３】
最終的に機械学習により得られた学習済みモデルにもとづいて、物体識別システム１０の分類器４２が実装される。
【００３４】
図４（ａ）〜（ｄ）は、歩行者、自転車、自動車、電柱を測距センサ２０で撮影したときの複数の点群データＰＣＤ１〜ＰＣＤ８を示す図である。上述の機械学習により得られた学習済みモデルにもとづいて実装された分類器４２は、いずれかひとつのスキャンラインＳＬｉ（ｉ＝１〜８）に対応する点群データＰＣＤｉが与えられると、その点群データＰＣＤｉが複数のカテゴリのいずれである確率が高いかを判定することができるようになる。
【００３５】
図５は、学習システム７０による学習のフローチャートである。測距センサ２０とは別の、鉛直方向に複数のスキャンラインを有するＬｉＤＡＲ７２を利用して、所定の少なくともひとつの物体を測定する（Ｓ１００）。これにより、物体ごとに、複数のスキャンラインに対応する複数の点群データＰＣＤ１〜ＰＣＤＮが生成される。
【００３６】
そして、複数の点群データＰＣＤ１〜ＰＣＤＮそれぞれを訓練データして、所定の物体を識別できるように機械学習を行う（Ｓ１０２）。そして機械学習により得られた学習済みモデルにもとづいて、分類器４２を実装する（Ｓ１０４）。
【００３７】
以上が学習システム７０および学習方法の説明である。この学習システム７０あるいは学習方法によれば、ＬｉＤＡＲ７２の複数のスキャンラインＳＬ１〜ＳＬＮそれぞれを、測距センサの１本のスキャンラインに対応付けることにより、効率的にデータ収集できる。
【００３８】
また、異なる高さのスキャンラインの点群データを用いて学習させるため、測距センサ２０の出射ビームの高さに依存しない物体認識が可能となる。これはつまり、車載時の測距センサ２０の高さの制約が緩和されることを意味し、また走行時の車両のピッチングに対する耐性を高めることができることを意味する。
【００３９】
続いて測距センサ２０の構成例を説明する。図６は、一実施例に係る測距センサ１００を示す図である。測距センサ１００は、光源１１０、スキャンデバイス１２０、光センサ１３０、プロセッサ１４０を備える。光源１１０は、たとえば赤外にスペクトルを有する光Ｌ１を出射する。光源１１０の出射光Ｌ１は、時間的に変調されてもよい。
【００４０】
スキャンデバイス１２０は、モータ１２２と、ひとつあるいは複数のミラー（ブレードともいう）１２６と、を備える。ミラー１２６は羽状であり、モータ１２２の回転軸１２４に取り付けられており、光源１１０の出射光Ｌ１を反射する。ミラー１２６による反射光であるプローブ光Ｌ２の出射角（スキャン角という）θは、ミラー１２６の位置（すなわちモータの回転角φ）に応じて変化する。したがってモータ１２２が回転することにより、プローブ光Ｌ２を、θＭＩＮ〜θＭＡＸまで、θ方向にスキャンすることができる。なお、ミラー１２６が２枚設けられる場合、モータ１２２の１／２回転（機械角で１８０度）が、１スキャンに対応し、したがってモータ１２２が１回転すると、プローブ光Ｌ２は２回スキャンされる。なおミラー１２６の枚数は限定されない。
【００４１】
モータ１２２の回転角φは、たとえばホールセンサや光学式のエンコーダなどの位置検出手段によって検出することができ、したがって各時刻におけるスキャン角θは、回転角φから求めることができる。モータ１２２としてステッピングモータを用いる場合、回転角度をオープンループで制御可能であることから、位置検出手段は省略可能である。
【００４２】
光センサ１３０は、プローブ光Ｌ２が、物体ＯＢＪ上の点Ｐにおいて反射した戻り光Ｌ３を検出する。プロセッサ１４０は、光センサ１３０の出力にもとづいて、物体ＯＢＪ上の点Ｐまでの距離を検出する。距離検出の方式やアルゴリズムは特に限定されず、公知技術を用いることができる。たとえばプローブ光Ｌ２を出射してから、光センサ１３０が戻り光を受光するまでの遅延時間、すなわちＴＯＦ（飛行時間）を測定し、距離を取得してもよい。
【００４３】
以上が測距センサ１００の基本構成である。続いてその動作を説明する。モータ１２２を回転させてプローブ光Ｌ２のスキャン角θを、θ１，θ２，…と変化させながら、各スキャン角θｉ（ｉ＝１，２，…）において、物体ＯＢＪの表面上の点Ｐｉまでの距離ｒｉを測定する。これにより、スキャン角θｉと、それに対応する距離ｒｉのペア（点群データ）を得ることができる。
【００４４】
この測距センサ１００は、ごくありふれたモータ１２２と羽状のミラー１２６の組み合わせによってスキャンデバイス１２０を構成できるため、測距センサ１００のコストを下げることができる。
【００４５】
図７は、物体識別システム１０を備える自動車のブロック図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。物体識別システム１０は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、測距センサ１００の設置箇所として最も有利である。
【００４６】
図８は、物体検出システム４００を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム４００が設けられる。物体検出システム４００は、上述の物体識別システム１０に対応しており、測距センサ１００と演算処理装置４１０を含む。測距センサ１００は、図２の測距センサ２０に対応する。演算処理装置４１０は、測距センサ１００により得られた点群データにもとづいて、車両前方の物体ＯＢＪの有無および種類を判定する。演算処理装置４１０は、機械学習によって得られた識別器を含むことができ、図２の演算処理装置４０に対応する。
【００４７】
演算処理装置４１０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４１０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
【００４８】
また演算処理装置４１０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
【００４９】
以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
【００５０】
一実施の形態において、物体を、それを望む方向ごとに異なる種類（カテゴリ）として定義してもよい。つまり、ある物体が、自車と正対しているときと、そうでないときとで、別の種類として識別される。これは、物体ＯＢＪの移動方向の推定に役立つからである。
【００５１】
演算処理装置４０は、ＦＰＧＡなどを用いてハードウェアのみで構成してもよい。
【００５２】
実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
【産業上の利用可能性】
【００５３】
本発明は、物体識別システムに関する。
【符号の説明】
【００５４】
１０…物体識別システム、２０…測距センサ、４０…演算処理装置、４２…分類器、５０…入力層、５２…中間層、５４…出力層、７０…学習システム、７２…ＬｉＤＡＲ、７４…コンピュータ、１００…測距センサ、１１０…光源、１２０…スキャンデバイス、１２２…モータ、１２４…回転軸、１２６…ミラー、１３０…光センサ、１４０…プロセッサ、２００…車両用灯具、２０２…光源、２０４…点灯回路、２０６…光学系、３００…自動車、３０２…前照灯、３０４…車両側ＥＣＵ、３１０…灯具システム、４００…物体検出システム、４１０…演算処理装置。
【図１】
2020110802.tif 000003
【図２】
2020110802.tif 000004
【図３】
2020110802.tif 000005
【図４】
2020110802.tif 000006
【図５】
2020110802.tif 000007
【図６】
2020110802.tif 000008
【図７】
2020110802.tif 000009
【図８】
2020110802.tif 000010
【国際調査報告】
2020110802.tif 000011
2020110802.tif 000012
2020110802.tif 000013
2020110802.tif 000014
2020110802.tif 000015