(57)【要約】  物体識別システム１０は、カメラ３０と演算処理装置４０を備える。演算処理装置４０は、カメラ３０の出力画像にもとづいて、物体を識別できるように機械学習された分類器４２を含む。ゲーティングカメラ５０は、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影する。分類器４２は、ゲーティングカメラにより得られた複数の画像ＩＭＧ１〜ＩＭＧＮを学習データとして機械学習されている。
2020121973.tif 000002
【特許請求の範囲】
【請求項１】
カメラと、
前記カメラの出力画像にもとづいて、物体を識別できるように機械学習された分類器を含む演算処理装置と、
を備え、
前記分類器は、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラにより得られた複数の画像を学習データとして機械学習されていることを特徴とする物体識別システム。
【請求項２】
前記カメラは、単眼カメラであることを特徴とする請求項１に記載の物体識別システム。
【請求項３】
前記カメラは、ゲーティングカメラであることを特徴とする請求項１に記載の物体識別システム。
【請求項４】
請求項１から３のいずれかに記載の物体識別システムを備えることを特徴とする車両用灯具。
【請求項５】
請求項１から３のいずれかに記載の物体識別システムを備えることを特徴とする自動車。
【請求項６】
カメラの出力画像にもとづいて、物体を識別できるように機械学習された分類器を備え、
前記分類器は、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラにより得られた複数の画像を学習データとして機械学習されていることを特徴とする演算処理装置。
【請求項７】
カメラの出力画像にもとづいて物体を識別する分類器の学習方法であって、
ゲーティングカメラを用いて、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するステップと、
前記ゲーティングカメラにより得られた複数の画像を学習データとして、前記分類器を機械学習するステップと、
を備えることを特徴とする学習方法。
【請求項８】
奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラと、
前記ゲーティングカメラによって得られる複数のレンジに対応する複数の画像にもとづいて、物体の種類を識別可能な演算処理装置と、
を備え、
前記演算処理装置は、アルゴリズムの異なる複数の分類器を含み、レンジに応じた分類器を選択して、物体認識を行うことを特徴とする物体識別システム。
【請求項９】
前記演算処理装置は、距離が近いレンジの画像処理に、ＹＯＬＯ（You Only Look Once）アルゴリズムの分類器を用いることを特徴とする請求項８に記載の物体識別システム。
【請求項１０】
前記演算処理装置は、距離が遠いレンジの画像処理に、ＳＳＤ（Single Shot MultiBox Detector）アルゴリズムの分類器を用いることを特徴とする請求項８に記載の物体識別システム。
【請求項１１】
前記演算処理装置は、相対的に距離が近いレンジの画像処理に、相対的に高速なアルゴリズムの分類器を用いることを特徴とする請求項８から１０のいずれかに記載の物体識別システム。
【請求項１２】
前記演算処理装置は、相対的に距離が遠いレンジの画像処理に、相対的に高精度なアルゴリズムの分類器を用いることを特徴とする請求項８から１１のいずれかに記載の物体識別システム。
【請求項１３】
請求項８から１２のいずれかに記載の物体識別システムを備えることを特徴とする自動車。
【請求項１４】
請求項８から１３のいずれかに記載の物体識別システムを備えることを特徴とする車両用灯具。
【請求項１５】
奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラとともに物体識別システムを構成する演算処理装置であって、
前記ゲーティングカメラによって得られる複数のレンジに対応する複数の画像にもとづいて、物体の種類を識別可能に構成され、
アルゴリズムの異なる複数の分類器を含み、レンジに応じた分類器を選択して、物体認識を行うことを特徴とする演算処理装置。
【請求項１６】
奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラと、
前記ゲーティングカメラによって得られる複数のレンジに対応する複数の画像を、レンジ毎に規定された係数でスケーリングするスケーラと、
スケーリング後の複数の画像それぞれにもとづいて、物体の種類を識別可能な分類器と、
を備えることを特徴とする物体識別システム。
【請求項１７】
前記係数は、近いレンジほど小さく、遠いレンジほど大きいことを特徴とする請求項１６に記載の物体識別システム。
【請求項１８】
前記複数のレンジのひとつを基準レンジとし、前記基準レンジの係数は１であり、前記基準レンジより近いレンジの係数は１より小さく、前記基準レンジより遠いレンジの係数は１より大きいことを特徴とする請求項１６または１７に記載の物体識別システム。
【請求項１９】
請求項１６から１８のいずれかに記載の物体識別システムを備えることを特徴とする自動車。
【請求項２０】
請求項１６から１８のいずれかに記載の物体識別システムを備えることを特徴とする車両用灯具。
【請求項２１】
奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラとともに使用され、物体識別システムを構成する演算処理装置であって、
前記ゲーティングカメラによって得られる複数のレンジに対応する複数の画像を、レンジ毎に規定された係数でスケーリングするスケーラと、
スケーリング後の複数の画像それぞれにもとづいて、物体の種類を識別可能な分類器と、
を備えることを特徴とする演算処理装置。
【請求項２２】
奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラと、
物体が存在しうる位置が、前記複数の画像それぞれに固有の興味領域内に限定されているとの制約条件のもと、前記複数の画像それぞれに含まれる物体の種類を識別可能に構成される演算処理装置と、
を備えることを特徴とする物体識別システム。
【請求項２３】
前記演算処理装置は、
前記複数の画像それぞれについて、前記興味領域内の画像をトリミングする前処理部と、
前記前処理部の出力を処理する分類器と、
を含むことを特徴とする請求項２２に記載の物体識別システム。
【請求項２４】
前記演算処理装置は、
前記複数の画像それぞれについて、前記興味領域外の画像をマスクする前処理部と、
前記前処理部の出力を処理する分類器と、
を含むことを特徴とする請求項２２に記載の物体識別システム。
【請求項２５】
前記演算処理装置は、
前記複数の画像それぞれについて、それに含まれる物体の種類と位置を検出し、前記複数の画像に対応する複数の検出データを生成する分類器と、
前記複数の検出データを受け、各検出データに含まれる物体の位置が、元の画像に固有の前記興味領域に含まれるか否かを判定する後処理部と、
を含むことを特徴とする請求項２２に記載の物体識別システム。
【請求項２６】
前記興味領域は、近いレンジの画像ほど大きく、遠いレンジの画像ほど小さいことを特徴とする請求項２２から２５のいずれかに記載の物体識別システム。
【請求項２７】
前記興味領域は、遠いレンジの画像ほど高さが小さいことを特徴とする請求項２２から２６のいずれかに記載の物体識別システム。
【請求項２８】
前記興味領域は、遠いレンジの画像ほど幅が狭いことを特徴とする請求項２２から２７のいずれかに記載の物体識別システム。
【請求項２９】
請求項２２から２８のいずれかに記載の物体識別システムを備えることを特徴とする自動車。
【請求項３０】
請求項２２から２９のいずれかに記載の物体識別システムを備えることを特徴とする車両用灯具。
【請求項３１】
奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラとともに使用され、物体識別システムを構成する演算処理装置であって、
前記複数の画像ごとに固有の興味領域が定められており、前記複数の画像それぞれについて、前記興味領域内の画像をトリミングし、または前記興味領域外の画像をマスクする前処理部と、
前記前処理部の出力を処理する分類器と、
を備えることを特徴とする演算処理装置。
【請求項３２】
奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラとともに使用され、物体識別システムを構成する演算処理装置であって、
前記複数の画像それぞれについて、それに含まれる物体の種類と位置を検出し、前記複数の画像に対応する複数の検出データを生成する分類器と、
前記複数の画像ごとに固有の興味領域が定められており、前記複数の検出データを受け、各検出データに含まれる物体の位置が、元の画像に固有の前記興味領域に含まれるか否かを判定する後処理部と、
を備えることを特徴とする演算処理装置。
【請求項３３】
奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、前記複数のレンジに対応する複数の画像を生成するゲーティングカメラと、
レンジ毎に、対応する画像に写る物体像のサイズの許容範囲が規定されており、前記許容範囲にもとづいて前記複数の画像それぞれに含まれる前記物体像の種類を識別可能に構成される演算処理装置と、
を備えることを特徴とする物体識別システム。
【請求項３４】
前記演算処理装置は、
前記複数の画像それぞれについて、それに含まれる物体像の種類とサイズを検出し、前記複数の画像に対応する複数の検出データを生成する分類器と、
前記複数の検出データを受け、各検出データに含まれる物体像のサイズが、前記許容範囲に含まれるか否かを判定する後処理部と、
を含むことを特徴とする請求項３３に記載の物体識別システム。
【請求項３５】
前記演算処理装置は、
前記複数の画像それぞれについて、それに写る物体像ごとのサブ画像に切り分ける前処理部と、
前記前処理部により切り分けられた前記サブ画像のサイズが前記許容範囲に含まれる場合に、当該サブ画像に含まれる物体像の種類を判定する分類器と、
を含むことを特徴とする請求項３３に記載の物体識別システム。
【請求項３６】
前記許容範囲は、垂直方向について規定されることを特徴とする請求項３３から３５のいずれかに記載の物体識別システム。
【請求項３７】
前記許容範囲は、横方向について規定されることを特徴とする請求項３３から３６のいずれかに記載の物体識別システム。
【請求項３８】
前記許容範囲は、物体の種類ごとに個別に規定されることを特徴とする請求項３３から３７のいずれかに記載の物体識別システム。
【請求項３９】
請求項３３から３８のいずれかに記載の物体識別システムを備えることを特徴とする自動車。
【請求項４０】
請求項３３から３８のいずれかに記載の物体識別システムを備えることを特徴とする車両用灯具。
【請求項４１】
奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、前記複数のレンジに対応する複数の画像を生成するゲーティングカメラとともに使用され、物体識別システムを構成する演算処理装置であって、
レンジ毎に、対応する画像における物体像のサイズの許容範囲が規定されており、前記複数の画像それぞれについて、それに含まれる物体像の種類とサイズを検出し、前記複数の画像に対応する複数の検出データを生成する分類器と、
前記複数の検出データを受け、各検出データに含まれる物体像のサイズが、前記許容範囲に含まれるか否かを判定する後処理部と、
を備えることを特徴とする演算処理装置。
【請求項４２】
奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、前記複数のレンジに対応する複数の画像を生成するゲーティングカメラとともに使用され、物体識別システムを構成する演算処理装置であって、
前記複数の画像それぞれについて、それに写る物体像ごとのサブ画像に切り分ける前処理部と、
レンジ毎に、対応する画像における物体像のサイズの許容範囲が規定されており、前記前処理部により切り分けられた前記サブ画像のサイズが前記許容範囲に含まれる場合に、当該サブ画像に含まれる物体像の種類を判定する分類器と、
を備えることを特徴とする演算処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体識別システムに関する。
【背景技術】
【０００２】
自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。【０００３】
一般的な単眼のカメラからは、奥行きの情報を得ることができない。したがって、異なる距離に位置する複数の物体が重なっている場合に、それらを分離することが難しい。【０００４】
奥行き情報が得られるカメラとして、ＴＯＦカメラが知られている。ＴＯＦ（Time Of Flight）カメラは、発光デバイスによって赤外光を投光し、反射光がイメージセンサに戻ってくるまでの飛行時間を測定し、飛行時間を距離情報に変換した画像を得るものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２５７９８３号公報
【特許文献２】国際公開ＷＯ２０１７／１１０４１３Ａ１
【発明の概要】
【発明が解決しようとする課題】
【０００６】
（項目１）  演算処理装置は、分類器を含む。分類器は、予め学習データ（訓練データともいう）を用いた機械学習により最適化される。分類器の識別率は、ひとえに学習データの選び方によるところが大きい。【０００７】
本発明の第１側面は、係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、物体識別システムの識別率の改善あるいは学習コストの低減にある。【０００８】
（項目２、３）  本出願人は、ＴＯＦカメラに代わるセンサ（以下、本明細書においてゲーティングカメラと称する）を提案している（特許文献１，２）。ゲーティングカメラは、撮影範囲を複数のレンジに区切り、レンジごとに露光タイミングおよび露光時間を変化させて複数回、撮像する。これにより、対象のレンジごとに画像が得られ、各画像は対応するレンジに含まれる物体のみを含む。【０００９】
本発明の第２側面は、係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、ゲーティングカメラを用いた物体識別システムの提供にある。また本発明の第３側面は、ゲーティングカメラを用いた物体識別システムの識別率の改善、あるいは学習コストの低減にある。【００１０】
（項目４、５）
ゲーティングカメラを用いた物体識別システムでは、複数のレンジに対応する複数の画像を処理する必要があるため、画像処理の負荷が大きくなる。したがって、低速な演算処理装置を用いる場合、フレームレートが低下し、フレームレートを高めようとすれば、高速な、言い換えれば高価な演算処理装置が必要となる。【００１１】
本発明の第４側面および第５側面は、係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、ゲーティングカメラを用いた物体識別システムの演算処理量の削減および／または識別率の改善にある。
【課題を解決するための手段】
【００１２】
１．  本発明の第１側面のある態様は、物体識別システムに関する。物体識別システムは、カメラと、カメラの出力画像にもとづいて、物体を識別できるように機械学習された分類器を含む演算処理装置と、を備える。分類器は、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラにより得られた複数の画像を学習データとして機械学習されている。【００１３】
２．  本発明の第２側面のある態様は、物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラと、ゲーティングカメラによって得られる複数のレンジに対応する複数の画像にもとづいて、物体の種類を識別可能な演算処理装置と、を備える。演算処理装置は、アルゴリズムの異なる複数の分類器を含み、レンジに応じた分類器を選択して、物体認識を行う。【００１４】
３．  本発明の第３側面のある態様は、物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラと、ゲーティングカメラによって得られる複数のレンジに対応する複数の画像を、レンジ毎に規定された係数でスケーリングするスケーラと、スケーリング後の複数の画像それぞれにもとづいて、物体の種類を識別可能な分類器と、を備える。【００１５】
４．  本発明の第４側面のある態様は物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラと、物体が存在しうる位置が、複数の画像それぞれに固有の興味領域内に限定されているとの制約条件のもと、複数の画像それぞれに含まれる物体の種類を識別可能に構成される演算処理装置と、を備える。【００１６】
本発明の第４側面の別の態様は、演算処理装置である。演算処理装置は、ゲーティングカメラとともに使用され、物体識別システムを構成する。ゲーティングカメラは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成する。演算処理装置は、物体が存在しうる位置が、複数の画像それぞれに固有の興味領域内に限定されているとの制約条件のもと、複数の画像それぞれに含まれる物体の種類を識別可能に構成される。【００１７】
５．  本発明の第５側面のある態様は物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラと、レンジ毎に、対応する画像に写る物体像のサイズの許容範囲が規定されており、許容範囲にもとづいて各画像に写る物体像の種類を識別可能に構成される演算処理装置と、を備える。【００１８】
本発明の第５側面の別の態様は、演算処理装置に関する。この演算処理装置は、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラとともに使用され、物体識別システムを構成する演算処理装置であって、レンジ毎に、対応する画像に写る物体像のサイズの許容範囲が規定されており、各画像について、それに写る物体像の種類とサイズを検出し、複数の画像に対応する複数の検出データを生成する分類器と、複数の検出データを受け、各検出データに含まれる物体像のサイズが、許容範囲に含まれるか否かを判定する後処理部と、を備える。【００１９】
本発明の第５側面のさらに別の態様もまた、演算処理装置である。この演算処理装置は、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラとともに使用され、物体識別システムを構成する演算処理装置であって、複数の画像それぞれについて、それに写る物体像ごとのサブ画像に切り分ける前処理部と、レンジ毎に、対応する画像に写る物体像のサイズの許容範囲が規定されており、前処理部により切り分けられたサブ画像のサイズが許容範囲に含まれる場合に、当該サブ画像に含まれる物体像の種類を判定する分類器と、を備える。
【発明の効果】
【００２０】
本発明のある側面によれば、識別率を改善でき、あるいは学習コストを下げることができる。
【図面の簡単な説明】
【００２１】
【図１】実施の形態１に係る物体識別システムのブロック図である。
【図２】ゲーティングカメラの動作を説明する図である。
【図３】図３（ａ）、（ｂ）は、ゲーティングカメラを用いた学習データの取得を説明する図である。
【図４】図４（ａ）は、単眼カメラで撮影した画像ＩＭＧｘを示す図である。
【図５】物体識別システムを備える自動車のブロック図である。
【図６】物体検出システムを備える車両用灯具を示すブロック図である。
【図７】変形例１に係る物体識別システムのブロック図である。
【図８】実施の形態２に係る物体識別システムのブロック図である。
【図９】ゲーティングカメラの動作を説明する図である。
【図１０】図１０（ａ）は、図８の物体識別システムの動作を説明するタイムチャートであり、図１０（ｂ）は、比較技術に係る物体識別システムの動作を説明するタイムチャートである。
【図１１】物体識別システムを備える自動車のブロック図である。
【図１２】物体検出システムを備える車両用灯具を示すブロック図である。
【図１３】実施の形態３に係る物体識別システムのブロック図である。
【図１４】ゲーティングカメラの動作を説明する図である。
【図１５】図１５（ａ）、（ｂ）は、ゲーティングカメラにより得られる画像を説明する図である。
【図１６】図１６（ａ）、（ｂ）は、ゲーティングカメラにより得られる画像を説明する図である。
【図１７】図１７（ａ）〜（ｃ）は、スケーラによるスケーリング処理の一例を説明する図である。
【図１８】物体識別システムを備える自動車のブロック図である。
【図１９】物体検出システムを備える車両用灯具を示すブロック図である。
【図２０】図２０（ａ）、（ｂ）は、ゲーティングカメラにより得られる画像を説明する図である。
【図２１】実施の形態４−１に係る物体識別システムのブロック図である。
【図２２】ゲーティングカメラの動作を説明する図である。
【図２３】図２３（ａ）、（ｂ）は、ゲーティングカメラにより得られる画像を説明する図である。
【図２４】図２４（ａ）、（ｂ）は、ＲＯＩを説明する図である。
【図２５】図２５（ａ）、（ｂ）は、図２１の物体識別システムの動作を説明する図である。
【図２６】実施の形態４−２に係る物体識別システムのブロック図である。
【図２７】図２７（ａ）、（ｂ）は、図２６の物体識別システムの動作を説明する図である。
【図２８】図２８（ａ）、（ｂ）は、ＲＯＩの変形例を説明する図である。
【図２９】図２９（ａ）、（ｂ）は、ＲＯＩの変形例を説明する図である。
【図３０】図３０（ａ）、（ｂ）は、変形例３に係る物体識別システムの動作を説明する図である。
【図３１】物体識別システムを備える自動車のブロック図である。
【図３２】物体検出システムを備える車両用灯具を示すブロック図である。
【図３３】実施の形態５−１に係る物体識別システムのブロック図である。
【図３４】ゲーティングカメラの動作を説明する図である。
【図３５】図３５（ａ）、（ｂ）は、ゲーティングカメラにより得られる画像を説明する図である。
【図３６】図３６（ａ）、（ｂ）は、レンジ毎に撮影される画像を説明する図である。
【図３７】サイズの許容範囲を説明する図である。
【図３８】図３８（ａ）、（ｂ）は、図３３の物体識別システムの動作を説明する図である。
【図３９】実施の形態５−２に係る物体識別システムのブロック図である。
【図４０】図４０（ａ）、（ｂ）は、図３９の物体識別システムの動作を説明する図である。
【図４１】物体識別システムを備える自動車のブロック図である。
【図４２】物体検出システムを備える車両用灯具を示すブロック図である。
【発明を実施するための形態】
【００２２】
Ｉ  本発明の第１側面
Ｉ−１．  概要
本発明の第１側面に関連するある実施の形態は、物体識別システムに関する。物体識別システムは、カメラと、カメラの出力画像にもとづいて、物体を識別できるように機械学習された分類器を含む演算処理装置と、を備える。分類器は、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラにより得られた複数の画像を学習データとして機械学習されている。
【００２３】
ゲーティングカメラを用いることにより、奥行き方向に重なった複数の物体を分離した複数の画像を得ることができ、それらを別々の学習データとして用いることで、個々の物体に対する識別率を高めることができる。また、いわゆるかさ増しの効果が得られるため、学習コストを下げることができる。
【００２４】
カメラは、単眼カメラであってもよい。カメラは、ゲーティングカメラであってもよい。
【００２５】
Ｉ−２．  詳細な説明
以下、本発明の第１側面を、好適な実施の形態をもとに図面を参照しながら説明する。本明細書において、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
【００２６】
図１は、実施の形態１に係る物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ）を判定する。
【００２７】
物体識別システム１０は、主としてカメラ３０および演算処理装置４０を備える。カメラ３０は、単眼カメラであり、車両の周囲を撮影する。演算処理装置４０は、分類器４２を含む。分類器４２は、カメラ３０の出力画像ＩＭＧにもとづいて、物体ＯＢＪを識別できるように機械学習により得られた学習済みモデルにもとづいて実装されている。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）とＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
【００２８】
図１には、物体識別システム１０に加えて、機械学習を行う際のセットアップが示される。分類器４２の機械学習には、ゲーティングカメラ５０が用いられる。ゲーティングカメラ５０は、奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ１〜ＲＮＧＮに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するカメラである。ゲーティングカメラ５０は、複数のレンジＲＮＧ１〜ＲＮＧＮに対応する複数の画像ＩＭＧ１〜ＩＭＧＮを生成する。物体ＯＢＪの種類や向きなどを変えながら、ゲーティングカメラ５０によって撮影することにより、物体ＯＢＪの種類ごとに、複数の画像ＩＭＧ１〜ＩＭＧＮのセットが得られる。
【００２９】
こうして得られた複数の画像ＩＭＧ１〜ＩＭＧＮのセットは、物体ＯＢＪの種類と対応付けて、コンピュータ６０に入力される。コンピュータ６０は、複数の画像ＩＭＧ１〜ＩＭＧＮのセットを学習データ（訓練データ）として、分類器４２の機械学習を実行する。コンピュータ６０における機械学習の方法は公知技術を用いればよいため、説明を省略する。コンピュータ６０によって最終的に得られた学習結果が、演算処理装置４０に与えられて、分類器４２が構成される。
【００３０】
ゲーティングカメラ５０は、投光器５２、イメージセンサ５４およびコントローラ５６を含む。ゲーティングカメラ５０による撮像は、奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ１〜ＲＮＧＮに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
【００３１】
投光器５２は、コントローラ５６から与えられる投光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。
【００３２】
イメージセンサ５４は、コントローラ５６から与えられる撮影タイミング信号Ｓ２と同期した露光制御が可能であり、画像ＩＭＧを生成可能に構成される。イメージセンサ５４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。
【００３３】
コントローラ５６は、レンジ毎ＲＮＧに、投光タイミング信号Ｓ１と撮影タイミング信号Ｓ２を変化させて、投光器５２による投光と、イメージセンサ５４の露光の時間差を変化させる。カメラ３０は、複数のレンジＲＮＧ１〜ＲＮＧＮに対応する複数の画像ＩＭＧ１〜ＩＭＧＮを生成する。ｉ番目の画像ＩＭＧｉには、対応するレンジＲＮＧｉに含まれる物体のみが写ることとなる。
【００３４】
図２は、ゲーティングカメラ５０の動作を説明する図である。図２にはｉ番目のレンジＲＮＧｉを測定するときの様子が示される。投光器５２は、投光タイミング信号Ｓ１と同期して、時刻ｔ０〜ｔ１の間の発光期間τ１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。カメラ３０から、レンジＲＮＧｉの手前の境界までの距離をｄＭＩＮｉ、レンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。
【００３５】
ある時刻に投光器５２を出発した光が、距離ｄＭＩＮｉに到達してその反射光がイメージセンサ５４に戻ってくるまでのラウンドトリップ時間ＴＭＩＮｉは、
ＴＭＩＮｉ＝２×ｄＭＩＮｉ／ｃ
である。ｃは光速である。
【００３６】
同様に、ある時刻に投光器５２を出発した光が、距離ｄＭＡＸｉに到達してその反射光がイメージセンサ５４に戻ってくるまでのラウンドトリップ時間ＴＭＡＸｉは、
ＴＭＡＸｉ＝２×ｄＭＡＸｉ／ｃ
である。
【００３７】
レンジＲＮＧｉに含まれる物体ＯＢＪのみを撮影したいとき、コントローラ５６は、時刻ｔ２＝ｔ０＋ＴＭＩＮｉに露光を開始し、時刻ｔ３＝ｔ１＋ＴＭＡＸｉに露光を終了するように、撮影タイミング信号Ｓ２を生成する。これが１回の露光動作である。
【００３８】
ｉ番目のレンジＲＮＧｉを撮影する際に、複数回の露光を行ってもよい。この場合、コントローラ５６は、所定の周期τ２で、上述の露光動作を複数回にわたり繰り返せばよい。
【００３９】
以上が物体識別システム１０の構成である。続いて物体識別システム１０の機械学習について説明する。
【００４０】
図３（ａ）、（ｂ）は、ゲーティングカメラを用いた学習データの取得を説明する図である。この例ではＮ＝２である。学習データの取得に際して、図３（ａ）に示すように、複数の物体ＯＢＪ１，ＯＢＪ２が異なるレンジＲＮＧ１，ＲＮＧ２に配置された状況を考える。この例では、ＯＢＪ１は歩行者であり、ＯＢＪ２は自動車である。
【００４１】
図３（ｂ）には、図３（ａ）の状況で得られる、複数の画像ＩＭＧ１，ＩＭＧ２が示される。画像ＩＭＧ１には、手前側のレンジＲＮＧ１に含まれる物体ＯＢＪ１のみが含まれ、画像ＩＭＧ２には、奥側の物体ＯＢＪ２のみが含まれる。つまり物体識別システム１０のカメラ３０から見たときに、重なって見える複数の物体ＯＢＪ１，ＯＢＪ２を分離することができる。そして、複数の画像ＩＭＧ１，ＩＭＧ２を別々の学習データとしてコンピュータ６０に入力することで、物体ＯＢＪ１，ＯＢＪ２を別々の物体として識別可能な分類器４２を構成することができる。
【００４２】
本実施の形態の利点は比較技術との対比によって明確となる。比較技術では、学習データとして、物体識別システム１０のカメラ３０と同様に、単眼カメラで撮影した画像ＩＭＧｘを用いるものとする。図４（ａ）は、単眼カメラで撮影した画像ＩＭＧｘを示す図である。図４（ａ）に示すように、画像ＩＭＧｘでは、２つの物体ＯＢＪ１，ＯＢＪ２が重なっている。
【００４３】
図４（ｂ）には、歩行者（ＯＢＪ１）を含むバウンディングボックスＢＢ１が示される。このバウンディングボックスＢＢ１の内側には、歩行者（ＯＢＪ１）のみでなく、背景の車両（ＯＢＪ２）の情報が含まれている。したがって図４（ａ）の画像ＩＭＧｘを学習データとして用いると、車両の情報を込みで、歩行者ＯＢＪ１と識別できるように、学習が進む。言い換えれば、背景に車両が存在しない単独の歩行者を、歩行者と識別しにくくなるかもしれない。
【００４４】
図４（ｃ）には、車両（ＯＢＪ２）を含むバウンディングボックスＢＢ２が示される。このバウンディングボックスＢＢ２の内側には、車両（ＯＢＪ２）のみでなく、手前側の歩行者（ＯＢＪ１）の情報が含まれている。したがって図４（ａ）の画像ＩＭＧｘを学習データとして用いると、歩行者の情報を込みで、車両ＯＢＪ２と識別できるように、学習が進む。言い換えれば、手前側に歩行者が存在しない単独の車両を、車両と識別しにくくなるかもしれない。
【００４５】
翻って本実施の形態に係る学習方法によれば、ゲーティングカメラを用いて、手前側の物体ＯＢＪ１と奥側の物体ＯＢＪ２を分離して、別々の画像として学習を行うことで、各物体ＯＢＪ＃（＃＝１，２）それぞれを、それ自身ＯＢＪ１のみの情報にもとづいて識別できるように学習が進むこととなる。これにより、ある物体ＯＢＪｉが単独で存在する状況であっても、それらが他の物体ＯＢＪｊ（ｉ≠ｊ）と重なっている状況であっても、物体ＯＢＪｉを正しく識別することができるようになる。
【００４６】
機械学習には、膨大な学習データが必要となるところ、状況や条件を変えて物体の画像を撮影すると、学習コストが高くなる。そこで、通常、「かさ増し」によって、１枚の基本画像を、複数の画像に増やす工夫がなされる。一般的なかさ増しの手法としては、基本画像の左右反転、回転、拡大縮小、輝度値の変更、コントラストの変更などが例示される。図４（ａ）の画像を基本画像として捉えた場合、ゲーティングカメラを用いることにより、それを２枚の画像に増やしているとも把握できる。つまりゲーティングカメラを用いることで、かさ増しの効果も得られている。
【００４７】
図５は、物体識別システム１０を備える自動車のブロック図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。物体識別システム１０は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、カメラ３０の設置箇所として最も有利である。
【００４８】
図６は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述の物体識別システム１０に対応しており、カメラ３０および演算処理装置４０を含む。
【００４９】
演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
【００５０】
また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
【００５１】
続いて、実施の形態１に関連する変形例を説明する。
【００５２】
（変形例１）
図７は、変形例１に係る物体識別システム１０Ａのブロック図である。物体識別システム１０Ａは、図１のカメラ３０に代えて、ゲーティングカメラ２０を備える。ゲーティングカメラ２０の構成は、図１のゲーティングカメラ５０と同様である。ゲーティングカメラ２０は、奥行き方向について複数Ｍ個（Ｍ≧２）のレンジＲＮＧ１〜ＲＮＧＭに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するカメラである。ゲーティングカメラ２０は、複数のレンジＲＮＧ１〜ＲＮＧＭに対応する複数の画像ＩＭＧ１〜ＩＭＧＭを生成する。
【００５３】
分類器４２は、ゲーティングカメラ２０から、複数Ｍ個（Ｍ≧２）のレンジＲＮＧ１〜ＲＮＧＭに対応する複数の画像ＩＭＧ１〜ＩＭＧＭを受ける。分類器４２は、複数の画像ＩＭＧ１〜ＩＭＧＭにもとづいて、それらに含まれる物体の種類を識別可能に構成される。分類器４２の学習には、ゲーティングカメラ５０によって得られた複数の画像ＩＭＧ１〜ＩＭＧＮが用いられる。ゲーティングカメラ５０のレンジの個数Ｎと、ゲーティングカメラ２０のレンジの個数Ｍは同一であってもよいし、異なっていてもよい。
【００５４】
II  本発明の第２側面
II−１．  概要
本発明の第２側面に関連するある実施の形態は、車載用の物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラと、ゲーティングカメラによって得られる複数のレンジに対応する複数の画像にもとづいて、物体の種類を識別可能な演算処理装置と、を備える。演算処理装置は、アルゴリズムの異なる複数の分類器を含み、レンジに応じた分類器を選択して、物体認識を行う。
【００５５】
この態様によると、近い物体と遠い物体とで異なるアルゴリズムを適用することにより、識別率を高めることができる。
【００５６】
演算処理装置は、距離が近いレンジの画像処理に、ＹＯＬＯ（You Only Look Once）アルゴリズムの分類器を用いてもよい。ＹＯＬＯは、小さい物体の識別に不適であるが、高速であるという利点を有する。画像に含まれる物体は、物体までの距離が短い方が大きいため、ＹＯＬＯを用いることで、距離が近いレンジに含まれる物体を高精度かつ高速に検出・識別できる。
【００５７】
演算処理装置は、距離が遠いレンジの画像処理に、ＳＳＤ（Single Shot MultiBox Detector）アルゴリズムの分類器を用いてもよい。ＳＳＤは、処理速度は劣るが、小さい物体まで高精度に検出できるという利点がある。画像に含まれる物体は、物体までの距離が長い方が小さいため、ＳＳＤを用いることで、距離が遠いレンジに含まれる物体を高精度に検出・識別できる。
【００５８】
演算処理装置は、相対的に距離が近いレンジの画像処理に、相対的に高速なアルゴリズムの分類器を用いてもよい。
【００５９】
また演算処理装置は、相対的に距離が遠いレンジの画像処理に、相対的に高精度なアルゴリズムの分類器を用いてもよい。
【００６０】
II−２．  詳細な説明
図８は、実施の形態２に係る物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ）を判定する。
【００６１】
物体識別システム１０は、主としてゲーティングカメラ２０および演算処理装置４０を備える。ゲーティングカメラ２０は、投光器２２、イメージセンサ２４、コントローラ２６を含む。ゲーティングカメラ２０による撮像は、奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ１〜ＲＮＧＮに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
【００６２】
投光器２２は、コントローラ２６から与えられる投光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。
【００６３】
イメージセンサ２４は、コントローラ２６から与えられる撮影タイミング信号Ｓ２と同期した露光制御が可能であり、画像ＩＭＧを生成可能に構成される。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。
【００６４】
コントローラ２６は、レンジ毎ＲＮＧに、投光タイミング信号Ｓ１と撮影タイミング信号Ｓ２を変化させて、投光器２２による投光と、イメージセンサ２４の露光の時間差を変化させる。ゲーティングカメラ２０は、複数のレンジＲＮＧ１〜ＲＮＧＮに対応する複数の画像ＩＭＧ１〜ＩＭＧＮを生成する。ｉ番目の画像ＩＭＧｉには、対応するレンジＲＮＧｉに含まれる物体のみが写ることとなる。
【００６５】
図９は、ゲーティングカメラ２０の動作を説明する図である。図９にはｉ番目のレンジＲＮＧｉを測定するときの様子が示される。投光器２２は、投光タイミング信号Ｓ１と同期して、時刻ｔ０〜ｔ１の間の発光期間τ１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧｉの手前の境界までの距離をｄＭＩＮｉ、レンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。
【００６６】
ある時刻に投光器２２を出発した光が、距離ｄＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＩＮｉは、
ＴＭＩＮｉ＝２×ｄＭＩＮｉ／ｃ
である。ｃは光速である。
【００６７】
同様に、ある時刻に投光器２２を出発した光が、距離ｄＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＡＸｉは、
ＴＭＡＸｉ＝２×ｄＭＡＸｉ／ｃ
である。
【００６８】
レンジＲＮＧｉに含まれる物体ＯＢＪのみを撮影したいとき、コントローラ２６は、時刻ｔ２＝ｔ０＋ＴＭＩＮｉに露光を開始し、時刻ｔ３＝ｔ１＋ＴＭＡＸｉに露光を終了するように、撮影タイミング信号Ｓ２を生成する。これが１回の露光動作である。
【００６９】
ｉ番目のレンジＲＮＧｉを撮影する際に、複数回の露光を行ってもよい。この場合、コントローラ２６は、所定の周期τ２で、上述の露光動作を複数回にわたり繰り返せばよい。
【００７０】
図８に戻る。演算処理装置４０は、ゲーティングカメラ２０によって得られる複数のレンジＲＮＧ１〜ＲＮＧＮに対応する複数の画像ＩＭＧ１〜ＩＭＧＮにもとづいて、物体の種類を識別可能に構成される。演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置４０はハードウェアのみで構成してもよい。
【００７１】
演算処理装置４０は、アルゴリズムの異なる複数Ｍ個（Ｍ≧２）の分類器４２＿１〜４２＿Ｍを含む。セレクタ４４は、各画像ＩＭＧを、レンジＲＮＧに応じて選択された分類器４２に対して供給する。分類器４２は、与えられた画像ＩＭＧを処理して、それに含まれる物体の検出・クラス分類（識別）を行う。
【００７２】
分類器４２の個数Ｍは、レンジＲＮＧの個数Ｎと同数であってもよいし、それより少なくてもよい。
【００７３】
複数のアルゴリズムのひとつは、高速であるが、精度が低い（言い換えれば、小さい物体の検出精度が低い）アルゴリズムであってもよい。また複数のアルゴリズムの別のひとつは、低速であるが、精度が高い（言い換えれば、小さい物体の検出精度が高い）アルゴリズムであってもよい。
【００７４】
演算処理装置４０は、相対的に距離が近いレンジの画像処理に、相対的に高速で精度が低いアルゴリズムの分類器を用いるとよい。また演算処理装置４０は、相対的に距離が遠いレンジの画像処理に、相対的に低速で精度が高いアルゴリズムの分類器を用いるとよい。
【００７５】
たとえば複数のアルゴリズムのひとつは、ＹＯＬＯ（You Only Look Once）アルゴリズムが好適である。また、複数のアルゴリズムの別のひとつは、ＳＳＤ（Single Shot MultiBox Detector）アルゴリズムが好適である。
【００７６】
以上が物体識別システム１０の構成である。続いてその動作を説明する。
【００７７】
図１０（ａ）は、図８の物体識別システム１０の動作を説明するタイムチャートである。ここでは、Ｍ＝２，Ｎ＝２として、１番目のレンジＲＮＧ１の画像ＩＭＧ１の処理に、ＹＯＬＯアルゴリズムの分類器４２＿１を割り当て、２番目のレンジＲＮＧ２の画像ＩＭＧ２の処理に、ＳＳＤアルゴリズムの分類器４２＿２を割り当てるものとする。
【００７８】
ゲーティングカメラ２０によって、レンジＲＮＧ１の画像ＩＭＧ１が取得され、それがＹＯＬＯアルゴリズムの分類器４２＿１によって処理される。続いてゲーティングカメラ２０によって、レンジＲＮＧ２の画像ＩＭＧ２が取得され、それＳＳＤアルゴリズムの分類器４２＿２によって処理される。
【００７９】
以上が物体識別システム１０の動作である。この物体識別システム１０によれば、互いに相補的な関係にある２つ、あるいは３個以上のアルゴリズムの分類器を用い、撮影レンジごとに分類器を割り当てることにより、近い物体と遠い物体を高精度に、短時間で検出できる。
【００８０】
より詳しくは、ＹＯＬＯは、小さい物体の識別に不適であるが、高速であるという利点を有する。画像に含まれる物体は、物体までの距離が短い方が大きく写る。したがって、距離が近いレンジＲＮＧ１の画像処理に、ＹＯＬＯを用いることで、距離が近いレンジに含まれる物体を高精度かつ高速に検出・識別できる。
【００８１】
またＳＳＤは、処理速度はＹＯＬＯに劣るが、小さい物体まで高精度に検出できるという利点がある。画像に含まれる物体は、物体までの距離が長い方が小さいため、ＳＳＤを用いることで、距離が遠いレンジに含まれる物体を高精度に検出・識別できる。
【００８２】
図８の物体識別システム１０の利点は、比較技術との対比によって明確となる。比較技術では、レンジにかかわらず、高精度なアルゴリズム（ＳＳＤ）の分類器によって処理する。図１０（ｂ）には、比較技術に係る物体識別システムの動作を説明するタイムチャートである。すべての画像ＩＭＧ１，ＩＭＧ２に対してＳＳＤアルゴリズムを適用すれば、物体の距離にかかわらず高精度な検出が可能である。しかしながら、すべてのレンジについて物体認識を行うのに要する検出時間が、図１０（ａ）と比べて長くなる。言い換えれば、比較技術ではフレームレートが低下することを意味する。比較技術において高いフレームレートを実現しようとすれば、演算処理装置４０に高速なＣＰＵやマイコンが必要となり、物体識別システム１０のコストが高くなる。
【００８３】
翻って実施の形態２に係る物体識別システム１０によれば、複数のアルゴリズムを組み合わせることにより、それほど高価（高速な）なハードウェアを用いなくても、高い検出精度と、高いフレームレートを両立させることができる。
【００８４】
図１１は、物体識別システム１０を備える自動車のブロック図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。物体識別システム１０は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、ゲーティングカメラ２０の設置箇所として最も有利である。
【００８５】
図１２は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述の物体識別システム１０に対応しており、ゲーティングカメラ２０および演算処理装置４０を含む。
【００８６】
演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
【００８７】
また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
【００８８】
続いて、実施の形態２に関連する変形例を説明する。
【００８９】
（変形例１）
Ｍ＝２，Ｎ≧３である場合、１番目〜ｋ番目のレンジＲＮＧ１〜ＲＮＧｋの画像ＩＭＧ１〜ＩＭＧｋの処理に、ＹＯＬＯアルゴリズムの分類器４２＿１を割り当て、ｋ＋１番目〜Ｎ番目のレンジＲＮＧｋ＋１〜ＲＮＧＮの画像ＩＭＧｋ＋１〜ＩＭＧＮの処理に、ＳＳＤアルゴリズムの分類器４２＿２を割り当てるとよい。
【００９０】
（変形例２）
実施の形態２では、複数のアルゴリズムとして、ＹＯＬＯとＳＳＤを説明したが、その限りでない。物体認識のアルゴリズムとしては、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどが知られており、それらのいずれかを採用することができ、あるいは、将来開発されるアルゴリズムを採用してもよいことはいうまでもない。
【００９１】
III  本発明の第３側面
III−１．  概要
本発明の第３側面に関連するある実施の形態は、物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影するゲーティングカメラと、ゲーティングカメラによって得られる複数のレンジに対応する複数の画像を、レンジ毎に規定された係数でスケーリングするスケーラと、スケーリング後の複数の画像それぞれにもとづいて、物体の種類を識別可能な分類器と、を備える。
【００９２】
この態様によると、分類器に入力される複数の画像において、同じ物体のサイズを揃えることができる。これにより分類器の識別力を高め、あるいは学習コストを下げることができる。
【００９３】
係数は、近いレンジほど小さく、遠いレンジほど大きくてもよい。
【００９４】
複数のレンジのひとつを基準レンジとしてもよい。基準レンジの係数を１とし、基準レンジより近いレンジの係数は１より小さく、基準レンジより遠いレンジの係数は１より大きく定めてもよい。これによりスケーラの処理を簡素化できる。また、学習に際しては、基準レンジに物体を配置して撮影した画像を重点化的に用いればよく、基準レンジ以外に物体を配置した撮影の回数を減らすことができる。
【００９５】
III−２．  詳細な説明
以下、本発明の第３側面を、好適な実施の形態をもとに図面を参照しながら説明する。
【００９６】
図１３は、実施の形態３に係る物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ）を判定する。
【００９７】
物体識別システム１０は、主としてゲーティングカメラ２０および演算処理装置４０を備える。ゲーティングカメラ２０は、投光器２２、イメージセンサ２４、コントローラ２６を含む。ゲーティングカメラ２０による撮像は、奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ１〜ＲＮＧＮに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
【００９８】
投光器２２は、コントローラ２６から与えられる投光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。
【００９９】
イメージセンサ２４は、コントローラ２６から与えられる撮影タイミング信号Ｓ２と同期した露光制御が可能であり、画像ＩＭＧを生成可能に構成される。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。
【０１００】
コントローラ２６は、レンジ毎ＲＮＧに、投光タイミング信号Ｓ１と撮影タイミング信号Ｓ２を変化させて、投光器２２による投光と、イメージセンサ２４の露光の時間差を変化させる。ゲーティングカメラ２０は、複数のレンジＲＮＧ１〜ＲＮＧＮに対応する複数の画像ＩＭＧ１〜ＩＭＧＮを生成する。ｉ番目の画像ＩＭＧｉには、対応するレンジＲＮＧｉに含まれる物体のみが写ることとなる。
【０１０１】
図１４は、ゲーティングカメラ２０の動作を説明する図である。図１４にはｉ番目のレンジＲＮＧｉを測定するときの様子が示される。投光器２２は、投光タイミング信号Ｓ１と同期して、時刻ｔ０〜ｔ１の間の発光期間τ１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧｉの手前の境界までの距離をｄＭＩＮｉ、レンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。
【０１０２】
ある時刻に投光器２２を出発した光が、距離ｄＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＩＮｉは、
ＴＭＩＮｉ＝２×ｄＭＩＮｉ／ｃ
である。ｃは光速である。
【０１０３】
同様に、ある時刻に投光器２２を出発した光が、距離ｄＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＡＸｉは、
ＴＭＡＸｉ＝２×ｄＭＡＸｉ／ｃ
である。
【０１０４】
レンジＲＮＧｉに含まれる物体ＯＢＪのみを撮影したいとき、コントローラ２６は、時刻ｔ２＝ｔ０＋ＴＭＩＮｉに露光を開始し、時刻ｔ３＝ｔ１＋ＴＭＡＸｉに露光を終了するように、撮影タイミング信号Ｓ２を生成する。これが１回の露光動作である。
【０１０５】
ｉ番目のレンジＲＮＧｉを撮影する際に、複数回の露光を行ってもよい。この場合、コントローラ２６は、所定の周期τ２で、上述の露光動作を複数回にわたり繰り返せばよい。
【０１０６】
図１５（ａ）、（ｂ）は、ゲーティングカメラ２０により得られる画像を説明する図である。図１５（ａ）の例では、レンジＲＮＧ２に物体（歩行者）ＯＢＪ２が存在し、レンジＲＮＧ３に物体（車両）ＯＢＪ３が存在している。図１５（ｂ）には、図１５（ａ）の状況で得られる複数の画像ＩＭＧ１〜ＩＭＧ３が示される。画像ＩＭＧ１を撮影するとき、イメージセンサはレンジＲＮＧ１からの反射光のみにより露光されるため、画像ＩＭＧ１にはいかなる物体も写らない。
【０１０７】
画像ＩＭＧ２を撮影するとき、イメージセンサはレンジＲＮＧ２からの反射光のみにより露光されるため、画像ＩＭＧ２には、物体ＯＢＪ２のみが写る。同様に画像ＩＭＧ３を撮影するとき、イメージセンサはレンジＲＮＧ３からの反射光のみにより露光されるため、画像ＩＭＧ３には、物体ＯＢＪ３のみが写る。このようにゲーティングカメラ２０によれば、レンジごとに物体を分離して撮影することができる。
【０１０８】
図１３に戻る。演算処理装置４０は、ゲーティングカメラ２０によって得られる複数のレンジＲＮＧ１〜ＲＮＧＮに対応する複数の画像ＩＭＧ１〜ＩＭＧＮにもとづいて、物体の種類を識別可能に構成される。演算処理装置４０は、機械学習によって生成されたモデルにもとづいて実装される分類器４２を備える。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）とＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
【０１０９】
演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置４０はハードウェアのみで構成してもよい。
【０１１０】
本発明者は、分類器４２のトレーニングについて検討した結果、以下の課題を認識するに至った。
【０１１１】
分類器４２のトレーニングには、膨大な数の学習データ（トレーニングデータ）が用いられる。学習データには、ゲーティングカメラあるいは通常のカメラによって撮影された画像データが用いられる。
【０１１２】
図１６（ａ）、（ｂ）は、ゲーティングカメラ２０により得られる画像を説明する図である。図１６（ａ）に示すように、同じ物体（ここでは歩行者とする）ＯＢＪが異なるレンジに存在する状況を考える。ゲーティングカメラ２０はそれ自身のセンササイズおよび光学系で定まる水平画角（視野角）θおよび垂直画角を有する。ゲーティングカメラ２０は、レンジにかかわらず同じ画角で撮影するため、異なる距離に位置する同じ物体を撮影すると、物体までの距離によって撮影倍率が異なることとなる。したがって図１６（ｂ）に示すように、遠くの物体ほど小さく、近くの物体ほど大きく写ることとなる。なお、この特徴はゲーティングカメラに限ったものではなく、通常のカメラで撮影した場合も同様である。
【０１１３】
演算処理装置４０には、画像ＩＭＧ１〜ＩＭＧ３のいずれに対しても、それぞれに含まれる物体ＯＢＪ１〜ＯＢＪ３を歩行者に分類する識別力が要求される。このためには、あるカテゴリの物体を、異なる複数の距離で撮影した画像を用意し、それらを学習データとして用いる手法が採られる。また、ある距離で物体を撮影した基本画像を、拡大あるいは縮小して複数の画像を生成し、それらを学習データとして用いる手法も採られる（かさ増しという）。
【０１１４】
しかしながら、これらの手法は学習コストの増加となりうる。また、これらの手法を採ったとしても、やはり十分な認識率が得られないケースが想定される。
【０１１５】
そこで本実施の形態３では、図１３に示すように、演算処理装置４０は、分類器４２の前段に設けられたスケーラ４６を備える。スケーラ４６は、ゲーティングカメラ２０によって得られる複数のレンジＲＮＧ１〜ＲＮＧＮに対応する複数の画像ＩＭＧ１〜ＩＭＧＮを、レンジＲＮＧ＃（＃＝１，２，…Ｎ）ごとに規定された係数Ｋ＃でスケーリングする。レンジと係数の関係は、テーブルに保持しておいてもよいし、演算式の形で保持しておいてもよい。
【０１１６】
図１７（ａ）〜（ｃ）は、スケーラ４６によるスケーリング処理の一例を説明する図である。この例では、Ｎ＝３である。係数Ｋ１〜Ｋ３は、スケーリング処理後の画像ＩＭＧｓ１〜ＩＭＧｓ３に含まれる物体ＯＢＪの大きさ（縦横のピクセル数ｘ、ｙ）が近づくように定められる。
【０１１７】
複数のレンジから、基準レンジを選択してもよい。そして基準レンジの係数を１、もしくはその近傍に定める。レンジＲＮＧ＃が基準レンジであり、係数Ｋ＃＝１であるとき、ＩＭＧ＃＝ＩＭＧｓ＃とすることができる。この例では、中央のレンジＲＮＧ２が基準レンジであり、係数Ｋ２が１に選ばれる。
【０１１８】
基準レンジよりもゲーティングカメラ２０からの距離が近いレンジについては、Ｋ＜１となる。係数Ｋ＃＜１の場合、元の画像ＩＭＧ＃が縮小される。縮小する際には、画素を間引いてもよい。結果として得られる画像ＩＭＧｓ＃のピクセル数は、元の画像ＩＭＧ＃に比べて減少する。図１７（ａ）の例では、Ｋ１＝０．８に選ばれる。
【０１１９】
基準レンジよりもゲーティングカメラ２０からの距離が遠いレンジについては、Ｋ＞１となる。係数Ｋ＃＞１の場合、元の画像ＩＭＧ＃が拡大される。拡大する際には、画素補間を行えばよい。結果として得られる画像ＩＭＧｓ＃のピクセル数は、元の画像ＩＭＧ＃に比べて増加する。図１７（ｃ）の例では、Ｋ３＝１．４に選ばれている。
【０１２０】
図１３に戻る。分類器４２には、スケーラ４６によるスケーリング処理後の画像データＩＭＧｓ１〜ＩＭＧｓＮが入力される。分類器４２は、画像データＩＭＧｓ１〜ＩＭＧｓＮそれぞれにもとづいて、各画像データに含まれる物体ＯＢＪの種類を識別する。
【０１２１】
以上が物体識別システム１０の構成である。この物体識別システム１０では、分類器４２に入力される画像は、同じ物体が同じサイズ（ピクセル数）に近づくようにスケーリングされる。したがって分類器４２は、物体までの距離に依存せずに、物体を検出し、そのカテゴリを識別することが可能となる。これは、分類器４２の識別率（正答率）の改善をもたらす。
【０１２２】
この物体識別システム１０を採用することで、分類器４２の学習コストを下げることができるという利点もある。すなわち、学習時には、スケーリングの係数が１に近いレンジに重点的に物体を配置し、そのときに得られた画像を学習データとして分類器４２のパラメータの最適化に利用すればよく、スケーリングの係数が１から大きく外れたレンジについては、撮影の回数を減らすことができる。
【０１２３】
図１８は、物体識別システム１０を備える自動車のブロック図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。物体識別システム１０は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、ゲーティングカメラ２０の設置箇所として最も有利である。
【０１２４】
図１９は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述の物体識別システム１０に対応しており、ゲーティングカメラ２０および演算処理装置４０を含む。
【０１２５】
演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
【０１２６】
また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
【０１２７】
続いて、実施の形態３に関連する変形例を説明する。
【０１２８】
（変形例１）
実施の形態では、複数のレンジのうち中央付近のレンジを基準にとり、基準レンジの係数を１、それ以外のレンジの係数を１より小さく、あるいは大きくしたがその限りでない。たとえば手前のレンジを基準レンジとし、奥側のレンジの係数を１より大きくしてもよい。反対に、たとえば一番奥側のレンジを基準レンジとし、それより手前側のレンジの係数を１より小さくしてもよい。
【０１２９】
（変形例２）
基準レンジを１個としたが、基準レンジを複数としてもよい。図２０を参照して変形例２を説明する。図２０（ａ）、（ｂ）は、ゲーティングカメラ２０により得られる画像を説明する図である。ここではレンジの数Ｎを４個としている。複数のレンジは、複数のセットに分けられる。各セットは、少なくともひとつのレンジを含み、基準レンジは、セット毎に設けられる。たとえば、ＲＮＧ１，ＲＮＧ２を第１のセット、ＲＮＧ３，ＲＮＧ４を第２のセットに定める。第１のセットに着目すると、それに含まれるレンジＲＮＧ１，ＲＮＧ２のひとつを基準レンジと定め、残りのレンジの係数を、物体のサイズが基準レンジのそれに近づくように定めればよい。
【０１３０】
同様に、第２のセットに着目すると、それに含まれるレンジＲＮＧ３，ＲＮＧ４の一方を基準レンジと定め、残りのレンジの係数を、物体のサイズが基準レンジのそれに近づくように定めればよい。
【０１３１】
変形例２では、レンジのセット毎に、基準レンジに物体が位置する状況で得られた画像を用いて重点的に用いて機械学習を行えばよい。
【０１３２】
IV  本発明の第４側面
IV−１．  概要
本発明の第４側面に関連するある実施の形態は、物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラと、画像ごとに物体が存在しうる領域が限定されているとの制約条件のもと、複数の画像それぞれに含まれる物体の種類を識別可能に構成される演算処理装置と、を備える。
【０１３３】
識別対象の物体は、その種類ごとに、存在する位置が制限される。たとえば歩行者や自動車の交通参加者は地上に存在しており、空中には存在しない。つまり、画像内で交通参加者等が存在しうる位置は、地上付近の領域内に制約される。ゲーティングカメラにおいて、複数の画像が同じ画角で撮影される場合、カメラからの距離ごと、すなわち画像ごとに、地上付近の領域が変化する。
【０１３４】
そこで一実施の形態では、画像ごとに固有の興味領域を定めておき、分類器の画像処理の範囲を制限することで、演算処理量を削減できる。
【０１３５】
物体識別システムは、複数の画像それぞれについて、興味領域内の画像をトリミングする前処理部と、前処理部の出力を処理する分類器と、を含んでもよい。この場合、分類器に与えられる画像のサイズが小さくなるため、演算処理量を削減できる。
【０１３６】
物体識別システムは、複数の画像それぞれについて、興味領域外の画像をマスクする前処理部と、前処理部の出力を処理する分類器と、を含んでもよい。前処理部は、興味領域外を、単一色で塗りつぶしてもよい。
【０１３７】
また別の実施の形態において、分類器の後段あるいは内部において、物体の種類の判断に、物体の位置情報を反映させてもよい。
【０１３８】
演算処理装置は、複数の画像それぞれについて、それに含まれる物体の種類と位置を検出し、複数の画像に対応する複数の検出データを生成する分類器と、複数の検出データを受け、各検出データに含まれる物体の位置が、元の画像に固有の興味領域に含まれるか否かを判定する後処理部と、を含んでもよい。
【０１３９】
興味領域は、近いレンジの画像ほど大きく、遠いレンジの画像ほど小さくてもよい。
【０１４０】
興味領域は、遠いレンジの画像ほど高さが小さくてもよい。これにより、地上付近の物体を検出するための演算処理量を削減できる。
【０１４１】
興味領域は、遠いレンジの画像ほど幅が狭くてもよい。
【０１４２】
IV−２．  詳細な説明
以下、本発明の第４側面を、好適な実施の形態をもとに図面を参照しながら説明する。
【０１４３】
（実施の形態４−１）
図２１は、実施の形態４−１に係る物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリあるいはクラスともいう）を判定する。
【０１４４】
物体識別システム１０は、主としてゲーティングカメラ２０および演算処理装置４０を備える。ゲーティングカメラ２０は、投光器２２、イメージセンサ２４、コントローラ２６を含む。ゲーティングカメラ２０による撮像は、奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ１〜ＲＮＧＮに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
【０１４５】
投光器２２は、コントローラ２６から与えられる投光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。
【０１４６】
イメージセンサ２４は、コントローラ２６から与えられる撮影タイミング信号Ｓ２と同期した露光制御が可能であり、画像ＩＭＧを生成可能に構成される。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。
【０１４７】
コントローラ２６は、レンジＲＮＧごとに、投光タイミング信号Ｓ１と撮影タイミング信号Ｓ２を変化させて、投光器２２による投光と、イメージセンサ２４の露光の時間差を変化させる。ゲーティングカメラ２０は、複数のレンジＲＮＧ１〜ＲＮＧＮに対応する複数の画像ＩＭＧ１〜ＩＭＧＮを生成する。ｉ番目の画像ＩＭＧｉには、対応するレンジＲＮＧｉに含まれる物体のみが写ることとなる。
【０１４８】
図２２は、ゲーティングカメラ２０の動作を説明する図である。図２２にはｉ番目のレンジＲＮＧｉを測定するときの様子が示される。投光器２２は、投光タイミング信号Ｓ１と同期して、時刻ｔ０〜ｔ１の間の発光期間τ１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧｉの手前の境界までの距離をｄＭＩＮｉ、レンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。
【０１４９】
ある時刻に投光器２２を出発した光が、距離ｄＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＩＮｉは、
ＴＭＩＮｉ＝２×ｄＭＩＮｉ／ｃ
である。ｃは光速である。
【０１５０】
同様に、ある時刻に投光器２２を出発した光が、距離ｄＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＡＸｉは、
ＴＭＡＸｉ＝２×ｄＭＡＸｉ／ｃ
である。
【０１５１】
レンジＲＮＧｉに含まれる物体ＯＢＪのみを撮影したいとき、コントローラ２６は、時刻ｔ２＝ｔ０＋ＴＭＩＮｉに露光を開始し、時刻ｔ３＝ｔ１＋ＴＭＡＸｉに露光を終了するように、撮影タイミング信号Ｓ２を生成する。これが１回の露光動作である。
【０１５２】
ｉ番目のレンジＲＮＧｉを撮影する際に、複数回の露光を行ってもよい。この場合、コントローラ２６は、所定の周期τ２で、上述の露光動作を複数回にわたり繰り返せばよい。
【０１５３】
図２３（ａ）、（ｂ）は、ゲーティングカメラ２０により得られる画像を説明する図である。図２３（ａ）の例では、レンジＲＮＧ２に物体（歩行者）ＯＢＪ２が存在し、レンジＲＮＧ３に物体（車両）ＯＢＪ３が存在している。図２３（ｂ）には、図２３（ａ）の状況で得られる複数の画像ＩＭＧ１〜ＩＭＧ３が示される。画像ＩＭＧ１を撮影するとき、イメージセンサはレンジＲＮＧ１からの反射光のみにより露光されるため、画像ＩＭＧ１にはいかなる物体も写らない。
【０１５４】
画像ＩＭＧ２を撮影するとき、イメージセンサはレンジＲＮＧ２からの反射光のみにより露光されるため、画像ＩＭＧ２には、物体ＯＢＪ２のみが写る。同様に画像ＩＭＧ３を撮影するとき、イメージセンサはレンジＲＮＧ３からの反射光のみにより露光されるため、画像ＩＭＧ３には、物体ＯＢＪ３のみが写る。このようにゲーティングカメラ２０によれば、レンジごとに物体を分離して撮影することができる。
【０１５５】
図２１に戻る。演算処理装置４０は、ゲーティングカメラ２０によって得られる複数のレンジＲＮＧ１〜ＲＮＧＮに対応する複数の画像ＩＭＧ１〜ＩＭＧＮにもとづいて、物体の種類を識別可能に構成される。演算処理装置４０は、機械学習によって生成された学習済みモデルにもとづいて実装される分類器４２を備える。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）とＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
【０１５６】
演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置４０はハードウェアのみで構成してもよい。
【０１５７】
画像ごと、すなわちレンジ毎に、固有の興味領域（ＲＯＩ：Region Of Interest）が定められる。ＲＯＩは、物体が存在しうる領域である。ｉ番目（ｉ＝１，２，…Ｎ）の画像に対応するＲＯＩを、ＲＯＩｉと表記する。分類器４２は、各画像ＩＭＧｉについて、物体ＯＢＪが存在しうる位置が、画像ＩＭＧｉに固有のＲＯＩｉ内に限定されているとの制約条件のもと、画像ＩＭＧｉに含まれる物体の種類を識別する。
【０１５８】
たとえば、分類器４２の出力（検出データという）ＯＵＴｉ（ｉ＝１，２，…Ｎ）は、ｉ番目の画像データＩＭＧｉに含まれる各物体の位置情報と、その種類（カテゴリ）の情報を含む。種類の情報は、複数の種類それぞれに該当する可能性（確率）を示してもよいし、最も確率が高い種類の識別子を含んでもよい。
【０１５９】
図２４（ａ）、（ｂ）は、ＲＯＩを説明する図である。図２４（ａ）は横から見た図であり、図２４（ｂ）にはゲーティングカメラ２０により撮影される画像が示される。図２４（ａ）に示すように、ゲーティングカメラ２０による撮像範囲が画角換算で水平軸を中心に上下に±θであるとする。地面２の高さをゼロとしたとき、ｉ番目のレンジＲＮＧｉの画像ＩＭＧｉには、高さＨｉより下の範囲の物体が写る。
【０１６０】
一方、歩行者や自動車が存在する範囲は、所定の範囲（０〜ＨＲＯＩ）に限定される。そうすると、ＨＲＯＩ〜Ｈｉの範囲には、検出対称の物体は存在しないとみなすことができる。したがって図２４（ｂ）に示すように、各画像ＩＭＧｉについて、ＨＲＯＩより下の範囲をＲＯＩｉとし、ＨＲＯＩより上の範囲を除外領域（ハッチング）とすることができる。具体的にはｉ番目の画像ＩＭＧｉについて、下端からＨＲＯＩ／Ｈｉの割合の範囲をＲＯＩｉとすればよい。ＲＯＩは、近いレンジの画像ほど大きく、遠いレンジの画像ほど小さくなる。
【０１６１】
ゲーティングカメラ２０のイメージセンサ２４の地上高をｈｃとする。またイメージセンサ２４からｉ番目のレンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。この場合、
Ｈｉ＝ｈｃ＋ｄＭＡＸｉ×ｔａｎθ
となる。
【０１６２】
図２１に戻る。本実施の形態において、分類器４２の前段には、前処理部４６が設けられる。前処理部４６は、各画像ＩＭＧｉからＲＯＩ内の画像をトリミングする。分類器４２は前処理部４６の出力であるトリミング画像ＩＭＧｔ１〜ＩＭＧｔＮを処理する。
【０１６３】
以上が物体識別システム１０の構成である。続いてその動作を説明する。図２５（ａ）、（ｂ）は、図２１の物体識別システム１０の動作を説明する図である。図２５（ａ）はｉ番目のレンジの画像ＩＭＧｉを、図２５（ｂ）は、トリミング後の画像ＩＭＧｔｉを示す。
【０１６４】
図２５（ａ）の画像ＩＭＧｉには、３個の図形Ｘ，Ｙ，Ｘが写っている。そのうち図形ＸはＲＯＩｉ内に含まれており、図形Ｙ，Ｚは、ＲＯＩｉ外である。したがって図形ＹやＺが、歩行者や自動車である可能性は低い。
【０１６５】
図２５（ｂ）に示すように、前処理部４６によってトリミングされた画像ＩＭＧｔｉには、図形Ｘのみが含まれる。分類器４２によって、トリミング後の画像を処理することにより、図形Ｙ，Ｚについては、演算処理の対象から除外され、図形Ｘのみが識別処理の対象となる。これにより演算処理装置４０の演算処理量を削減できる。
【０１６６】
また、図形Ｙ，Ｚを処理の対象から除外することにより、図形Ｙ，Ｚが、自動車や歩行者と誤って認識されることを防止できる。すなわち、物体識別システム１０の識別率を改善することができる。
【０１６７】
（実施の形態４−２）
実施の形態４−１では、分類器４２の前処理によって、演算処理の対象をＲＯＩ内に制限したがその限りでない。実施の形態４−２では、分類器４２の後処理、あるいは内部処理によって、物体ＯＢＪが存在しうる位置が、複数の画像それぞれに固有の興味領域内に限定されているとの制約条件を課す。
【０１６８】
図２６は、実施の形態４−２に係る物体識別システム１０Ａのブロック図である。演算処理装置４０Ａは、分類器４２の後段に設けられた後処理部４８を備える。分類器４２は、ゲーティングカメラ２０が生成する複数の画像ＩＭＧ１〜ＩＭＧＮそれぞれについて、各画像に含まれる物体の位置と種類を示す検出データＯＵＴ１〜ＯＵＴＮを生成する。後処理部４８は、分類器４２が生成する検出データＯＵＴ１〜ＯＵＴＮを受ける。後処理部４８は、各検出データＯＵＴｉ（ｉ＝１〜Ｎ）について、それに含まれる物体の位置が、元の画像ＩＭＧｉに固有のＲＯＩｉに含まれるか否かを判定する。そして物体の位置が、ＲＯＩｉ外であるとき、その物体を削除する。
【０１６９】
図２７（ａ）、（ｂ）は、図２６の物体識別システム１０Ａの動作を説明する図である。図２７（ａ）は、ｉ番目のレンジに関する検出データＯＵＴｉを画像データとして模式的に示す図である。検出データＯＵＴｉは、２個のバウンディングボックスＸ，Ｙを含む。一方のバウンディングボックスＸに含まれる物体は、歩行者（Human）である確率が９０％と判定されており、別のバウンディングボックスＹに含まれる物体は、自動車（Car）である確率が８０％と判定されている。
【０１７０】
上述のように自動車は、ＲＯＩ外に存在する可能性は低い。したがって、ＲＯＩ外に位置するバウンディングボックスＹに含まれる物体が自動車である確率は低いといえる。そこで後処理部４８は、ＲＯＩ外の物体を削除し、削除後の検出データＯＵＴｉ’を出力する。
【０１７１】
実施の形態４−２によれば、分類器４２における演算処理量を減らすことはできないが、物体の識別率を改善できる。
【０１７２】
続いて、実施の形態４−１，４−２に関連する変形例を説明する。
【０１７３】
（変形例１）
図２８（ａ）、（ｂ）は、ＲＯＩの変形例を説明する図である。図２８（ａ）に示すように、各画像には、地面より下が含まれる場合がある。この場合において図２８（ｂ）に示すように、各画像の上側の範囲（ＨＲＯＩ〜Ｈｉ）に加えて、地面２より下側の範囲（＜０）についても、物体が存在しえない領域として扱ってもよい。これにより、演算処理装置４０における演算処理量をさらに減らすことができる。
【０１７４】
（変形例２）
これまでの説明では、物体が存在し得ない範囲を除外したが、その限りでなく、物体が存在したとしても検出する必要がない領域を定めておいてもよい。図２９（ａ）、（ｂ）は、ＲＯＩの変形例を説明する図である。図２９（ａ）は上から見た図であり、図２９（ｂ）にはゲーティングカメラ２０により撮影される画像が示される。
【０１７５】
車載用途では、物体を検出すべき範囲を、左右方向にも制限することができる。たとえば自車から数十ｍも横方向に離れた歩行者は、直ちに検出する必要は無いと言える。そこで、自車を中心として、横方向に検出範囲を定め、各画像ＩＭＧｉについて、検出範囲に対応する部分をＲＯＩｉとしてもよい。これにより、演算処理量をさらに減らすことができる。
【０１７６】
もちろん、上下方向のトリミングと左右方向のトリミングとを組み合わせてもよい。
【０１７７】
（変形例３）
実施の形態４−１において、前処理部４６の処理は上述のそれに限定されない。前処理部４６は、各画像ＩＭＧｉから、ＲＯＩ外の画像をマスクしてもよい。たとえば前処理部４６は、ＲＯＩ外を、単一色（たとえば黒や白）で塗りつぶしてもよい。分類器４２は、マスク後の画像ＩＭＧｍｉを処理対象とする。図３０（ａ）、（ｂ）は、変形例３に係る物体識別システム１０の動作を説明する図である。
【０１７８】
図３０（ａ）の画像ＩＭＧｉには、３個の図形Ｘ，Ｙ，Ｘが写っている。そのうち図形ＸはＲＯＩ内に含まれており、図形Ｙ，Ｚは、ＲＯＩ外である。したがって図形ＹやＺが、歩行者や自動車である可能性は低い。
【０１７９】
図３０（ｂ）に示すように、前処理部４６が、ＲＯＩ外をマスクすることにより、マスク後の画像ＩＭＧｍｉからは図形Ｙ，Ｚが除去される。分類器４２によって、マスク後の画像ＩＭＧｍｉを処理することにより、図形Ｙ，Ｚについては、演算処理の対象から除外され、図形Ｘのみが識別処理の対象となる。これにより演算処理装置４０の演算処理量を削減できる。
【０１８０】
（変形例４）
実施の形態では、レンジの異なる画像を、同じ分類器４２で処理したがその限りでなく、レンジ毎に異なる分類器を用いてもよい。
【０１８１】
（用途）
図３１は、物体識別システム１０を備える自動車のブロック図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。物体識別システム１０は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、ゲーティングカメラ２０の設置箇所として最も有利である。
【０１８２】
図３２は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述の物体識別システム１０に対応しており、ゲーティングカメラ２０および演算処理装置４０を含む。
【０１８３】
演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
【０１８４】
また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
【０１８５】
V  本発明の第５側面
V−１．  概要
本発明の第５側面に関連するある実施の形態は、物体識別システムに関する。物体識別システムは、奥行き方向について複数のレンジに区切り、レンジ毎に、投光と露光の時間差を変化させて撮影し、複数のレンジに対応する複数の画像を生成するゲーティングカメラと、レンジ毎に、対応する画像に写る物体像のサイズの許容範囲が規定されており、許容範囲にもとづいて各画像に写る物体像の種類を識別可能に構成される演算処理装置と、を備える。
【０１８６】
画像に写る物体像のサイズは、物体までの距離に応じて変化する。撮像デバイスとしてゲーティングカメラを用いる場合、一枚の画像に含まれる物体までの距離は、対応するレンジの奥行き方向の情報から得ることができる。つまり、あるレンジに位置する物体を写したときに、画像に写る物体像のサイズは、ある範囲に制約される。そこで、この範囲を許容範囲として定めておくことにより、物体の識別率を高め、あるいは演算処理量を削減できる。
【０１８７】
演算処理装置は、複数の画像それぞれについて、それに写る物体像の種類とサイズを検出し、複数の画像に対応する複数の検出データを生成する分類器と、複数の検出データを受け、各検出データに含まれる物体像のサイズが、許容範囲に含まれるか否かを判定する後処理部と、を含んでもよい。
【０１８８】
演算処理装置は、複数の画像それぞれについて、それに写る物体像ごとのサブ画像に切り分ける前処理部と、前処理部により切り分けられたサブ画像のサイズが許容範囲に含まれる場合に、当該サブ画像に含まれる物体像の種類を判定する分類器と、を含んでもよい。
【０１８９】
許容範囲は、垂直方向について規定されてもよい。許容範囲は、横方向について規定されてもよい。
【０１９０】
許容範囲は、物体像の種類ごとに個別に規定されてもよい。これにより物体の識別率をさらに高めることができる。
【０１９１】
許容範囲は、近いレンジほど大きく、遠いレンジほど小さくてもよい。許容範囲は、遠いレンジほど高さが小さくてもよい。許容範囲は、遠いレンジほど幅が狭くてもよい。
【０１９２】
V−２．  詳細な説明
以下、本発明の第５側面を、好適な実施の形態をもとに図面を参照しながら説明する。
【０１９３】
（実施の形態５−１）
図３３は、実施の形態５−１に係る物体識別システム１０Ｃのブロック図である。この物体識別システム１０Ｃは、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ、あるいはクラスともいう）を判定する。
【０１９４】
物体識別システム１０Ｃは、主としてゲーティングカメラ２０および演算処理装置４０Ｃを備える。ゲーティングカメラ２０は、投光器２２、イメージセンサ２４、コントローラ２６を含む。ゲーティングカメラ２０による撮像は、奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ１〜ＲＮＧＮに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
【０１９５】
投光器２２は、コントローラ２６から与えられる投光タイミング信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。
【０１９６】
イメージセンサ２４は、コントローラ２６から与えられる撮影タイミング信号Ｓ２と同期した露光制御が可能であり、画像ＩＭＧを生成可能に構成される。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。
【０１９７】
コントローラ２６は、レンジＲＮＧごとに、投光タイミング信号Ｓ１と撮影タイミング信号Ｓ２を変化させて、投光器２２による投光と、イメージセンサ２４の露光の時間差を変化させる。ゲーティングカメラ２０は、複数のレンジＲＮＧ１〜ＲＮＧＮに対応する複数の画像ＩＭＧ１〜ＩＭＧＮを生成する。ｉ番目の画像ＩＭＧｉには、対応するレンジＲＮＧｉに含まれる物体のみが写ることとなる。
【０１９８】
図３４は、ゲーティングカメラ２０の動作を説明する図である。図３４にはｉ番目のレンジＲＮＧｉを測定するときの様子が示される。投光器２２は、投光タイミング信号Ｓ１と同期して、時刻ｔ０〜ｔ１の間の発光期間τ１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧｉの手前の境界までの距離をｄＭＩＮｉ、レンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。
【０１９９】
ある時刻に投光器２２を出発した光が、距離ｄＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＩＮｉは、
ＴＭＩＮｉ＝２×ｄＭＩＮｉ／ｃ
である。ｃは光速である。
【０２００】
同様に、ある時刻に投光器２２を出発した光が、距離ｄＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間ＴＭＡＸｉは、
ＴＭＡＸｉ＝２×ｄＭＡＸｉ／ｃ
である。
【０２０１】
レンジＲＮＧｉに含まれる物体ＯＢＪのみを撮影したいとき、コントローラ２６は、時刻ｔ２＝ｔ０＋ＴＭＩＮｉに露光を開始し、時刻ｔ３＝ｔ１＋ＴＭＡＸｉに露光を終了するように、撮影タイミング信号Ｓ２を生成する。これが１回の露光動作である。
【０２０２】
ｉ番目のレンジＲＮＧｉを撮影する際に、複数回の露光を行ってもよい。この場合、コントローラ２６は、所定の周期τ２で、上述の露光動作を複数回にわたり繰り返せばよい。
【０２０３】
図３５（ａ）、（ｂ）は、ゲーティングカメラ２０により得られる画像を説明する図である。図３５（ａ）の例では、レンジＲＮＧ２に物体（歩行者）ＯＢＪ２が存在し、レンジＲＮＧ３に物体（車両）ＯＢＪ３が存在している。図３５（ｂ）には、図３５（ａ）の状況で得られる複数の画像ＩＭＧ１〜ＩＭＧ３が示される。画像ＩＭＧ１を撮影するとき、イメージセンサはレンジＲＮＧ１からの反射光のみにより露光されるため、画像ＩＭＧ１にはいかなる物体像も写らない。
【０２０４】
画像ＩＭＧ２を撮影するとき、イメージセンサはレンジＲＮＧ２からの反射光のみにより露光されるため、画像ＩＭＧ２には、物体像ＯＢＪ２のみが写る。同様に画像ＩＭＧ３を撮影するとき、イメージセンサはレンジＲＮＧ３からの反射光のみにより露光されるため、画像ＩＭＧ３には、物体像ＯＢＪ３のみが写る。このようにゲーティングカメラ２０によれば、レンジ毎に物体を分離して撮影することができる。
【０２０５】
図３３に戻る。演算処理装置４０Ｃは、ゲーティングカメラ２０によって得られる複数のレンジＲＮＧ１〜ＲＮＧＮに対応する複数の画像ＩＭＧ１〜ＩＭＧＮにもとづいて、物体の種類を識別可能に構成される。演算処理装置４０Ｃは、機械学習によって生成された学習済みモデルにもとづいて実装される分類器４２を備える。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）とＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。
【０２０６】
演算処理装置４０Ｃは、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０Ｃは、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置４０Ｃはハードウェアのみで構成してもよい。
【０２０７】
複数のレンジそれぞれについて、対応する画像に写る物体像の大きさの範囲（許容範囲という）が規定されている。分類器４２は、検出対象の物体像のサイズは、許容範囲に含まれるという前提（制約）のもと、複数の画像ＩＭＧそれぞれに含まれる物体像の種類を識別する。
【０２０８】
たとえば、分類器４２の出力（検出データという）ＯＵＴｉ（ｉ＝１，２，…Ｎ）は、ｉ番目の画像データＩＭＧｉに含まれる各物体像のサイズ情報と、その種類（カテゴリ）の情報を含む。検出データＯＵＴが、物体ごとのバウンディングボックスの情報を含む場合、バウンディングボックスの高さと幅を、物体のサイズ情報とすることができる。種類の情報は、複数の種類それぞれに該当する可能性（所属確率）を示してもよいし、最も所属確率が高い種類の識別子を含んでもよい。
【０２０９】
図３６（ａ）、（ｂ）は、レンジ毎に撮影される画像を説明する図である。図３６（ａ）は横から見た図であり、図３６（ｂ）にはゲーティングカメラ２０により撮影される画像が示される。図３６（ａ）に示すように、ゲーティングカメラ２０による撮像範囲が画角換算で水平軸を中心に上下に±θであるとする。図３６（ｂ）に示すように、各画像に写る物体像の大きさは、遠いレンジほど小さくなる。
【０２１０】
図３７は、許容範囲を説明する図である。ここでは、許容範囲は、垂直方向について規定されるものとする。ｉ番目のレンジＲＮＧｉに着目する。物体像が最も大きく写るのは、物体ＯＢＪが手前側の境界（Ａ）に位置するときであり、物体像が最も小さく写るのは、物体ＯＢＪが奥側の境界（Ｂ）に位置するときである。
【０２１１】
物体ＯＢＪの高さの最小値をｈＭＩＮ、最大値をｈＭＡＸとする。物体ＯＢＪが、位置（Ａ）に存在し、かつその高さが最大ｈＭＡＸであるときを考える。画像ＩＭＧｉの垂直方向の画素数をＹとするとき、画像内の物体の垂直方向の画素数ｙは、
ｙＭＡＸｉ＝Ｙ×ｈＭＡＸ／（ｄＭＩＮｉ×ｔａｎθ×２）
このｙＭＡＸｉは、レンジＲＮＧｉにおける許容範囲の最大値を与える。
【０２１２】
物体ＯＢＪが、位置（Ｂ）に存在し、かつその高さが最大ｈＭＩＮであるときを考える。このとき画像内の物体の垂直方向の画素数ｙＭＩＮｉは、
ｙＭＩＮｉ＝Ｙ×ｈＭＩＮ／（ｄＭＡＸｉ×ｔａｎθ×２）
このｙＭＩＮｉは、レンジＲＮＧｉにおける許容範囲の最小値を与える。
【０２１３】
つまり、許容範囲（垂直方向のピクセル数）は、ｙＭＩＮｉ〜ｙＭＡＸｉとなる。なお、許容範囲の決め方は、上述のそれには限定されない。
【０２１４】
図３３に戻る。演算処理装置４０Ｃは、検出した物体像のサイズが、許容範囲から外れているとき、その物体像を処理対象から除外してもよい。あるいは、検出した物体像のサイズと許容範囲の関係を、種類（カテゴリ／クラス）の所属確率に反映させてもよい。
【０２１５】
本実施の形態において、分類器４２の後段には、後処理部４８が設けられる。分類器４２は、複数の画像ＩＭＧ１〜ＩＭＧＮそれぞれについて、それに含まれる物体像の種類とサイズを検出し、複数の画像に対応する複数の検出データＯＵＴ１〜ＯＵＴＮを生成する。
【０２１６】
後処理部４８は、分類器４２が生成する検出データＯＵＴ１〜ＯＵＴＮを受ける。後処理部４８は、各検出データＯＵＴｉ（ｉ＝１〜Ｎ）について、それに含まれる物体像のサイズが、そのレンジＲＮＧｉの許容範囲に含まれるか否かを判定する。そして、判定結果にもとづいて、検出データＯＵＴｉを修正する。
【０２１７】
たとえば後処理部４８は、ある物体像のサイズが許容範囲から外れている場合、検出データＯＵＴｉ’の中から、その物体に関する情報を削除してもよい。あるいは後処理部４８は、ある物体像のサイズが許容範囲から外れている場合、検出その物体が、ある種類（カテゴリ、クラス）である所属確率を、低下させてもよい。
【０２１８】
以上が物体識別システム１０Ｃの構成である。続いてその動作を説明する。図３８（ａ）、（ｂ）は、図３３の物体識別システム１０Ｃの動作を説明する図である。図３８（ａ）は、ｉ番目のレンジＲＮＧｉに関する検出データＯＵＴｉを画像データとして模式的に示しており、図３８（ｂ）は、補正後の検出データＯＵＴｉ’を画像データとして模式的に示す。
【０２１９】
図３８（ａ）に示すように、補正前の検出データＯＵＴｉは、３個のバウンディングボックスα，β，γを含む。バウンディングボックスαに含まれる物体は、歩行者（Human）である所属確率が９０％と判定されており、バウンディングボックスβに含まれる物体は、歩行者（Human）である所属確率が６０％と判定されており、バウンディングボックスγには、電柱やビルに人が描かれたポスターが貼られているような物体の像が含まれる。この物体は、歩行者（Human）である所属確率が２０％と判定されている。
【０２２０】
バウンディングボックスαに含まれる物体については、その高さｈが、ｙＭＩＮｉ＜ｈＸ＜ｙＭＡＸｉの関係を満たしている。したがって、バウンディングボックスα内の物体は、検出対象（Human）である確度が高いと言える。したがって、補正後の検出データＯＵＴｉは、バウンディングボックスαの物体を含んでいる。
【０２２１】
バウンディングボックスβに含まれる物体については、その高さｈが、ｈ＜ｙＭＩＮｉとなっており、許容範囲から外れている。したがってその物体は、検出対象である確度が低いと言える。バウンディングボックスγに含まれる物体については、その高さｈが、ｙＭＡＸｉ＜ｈとなっており、許容範囲から外れている。したがって補正後の検出データＯＵＴｉ’から、バウンディングボックスβ，γに含まれる物体は、検出対象である確度が低いと言える。したがって、バウンディングボックスβ，γについては、補正後の検出データＯＵＴｉ’から削除することができる。
【０２２２】
以上が物体識別システム１０Ｃの動作である。物体識別システム１０Ｃによれば、物体の識別率を改善できる。
【０２２３】
（実施の形態５−２）
図３９は、実施の形態５−２に係る物体識別システム１０Ｄのブロック図である。演算処理装置４０Ｄは、分類器４２と、その前段に設けられた前処理部４６を含む。
【０２２４】
前処理部４６は、複数の画像ＩＭＧ１〜ＩＭＧＮそれぞれについて、それに含まれる物体像ごとのサブ画像に切り分ける。
【０２２５】
実施の形態５−１と同様に、複数のレンジＲＮＧ１〜ＲＮＧＮそれぞれについて、対応する画像に写る物体像の大きさの許容範囲が規定されている。
【０２２６】
分類器４２は、サブ画像ＳＵＢそれぞれについて、それに含まれる物体像の種類を判別可能に構成される。分類器４２は、前処理部４６により切り分けられたサブ画像ＳＵＢのサイズが許容範囲に含まれる場合に、当該サブ画像ＳＵＢに含まれる物体像の種類を判定する。
【０２２７】
図４０（ａ）、（ｂ）は、図３９の物体識別システム１０Ｄの動作を説明する図である。図４０（ａ）は、ｉ番目のレンジＲＮＧｉに関連して得られる画像ＩＭＧｉを示し、図４０（ｂ）は、画像ＩＭＧｉから切り出された複数のサブ画像ＳＵＢｉ−１〜ＳＵＢｉ−３を示す。この例では、元の画像ＩＭＧｉには３個の物体が含まれている。
【０２２８】
サブ画像ＳＵＢｉ−１については、その高さ（ピクセル数）が許容範囲の最大ｙＭＡＸｉを超えている。反対にサブ画像ＳＵＢｉ−３については、その高さ（ピクセル数）が許容範囲の最小値ｙＭＩＮｉより小さい。したがって、サブ画像ＳＵＢｉ−１，ＳＵＢｉ−３については、分類器４２が、物体の識別演算を行う前に除去される。サブ画像ＳＵＢｉ−２については、その高さ（ピクセル数）が許容範囲に含まれている。したがって、分類器４２による識別演算の対象となる。
【０２２９】
以上が物体識別システム１０Ｄの動作である。物体識別システム１０Ｄによれば、サイズにもとづいて、分類器４２による識別処理の対象となるサブ画像を選別することにより、演算処理装置４０Ｄの演算処理量を削減できる。
【０２３０】
また、サブ画像ＳＵＢi−１，ＳＵＢi−３を処理の対象から除外することにより、サブ画像ＳＵＢi−１，ＳＵＢi−３が、歩行者と誤って認識されることを防止できる。すなわち、物体識別システム１０Ｄの識別率を改善することができる。
【０２３１】
以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
【０２３２】
（変形例１）
許容範囲は、水平方向についても考えることができる。ゲーティングカメラ２０による撮像範囲が画角換算で左右方向に±φであるとする。また、物体の横方向の幅の最小値をｗＭＩＮ、最大値をｗＭＡＸとする。このとき、あるレンジＲＮＧｉにおける許容範囲の最小値ＸＭＩＮｉ，最大値ＸＭＡＸｉは以下のように表すことができる。
ｘＭＡＸ＝Ｘ×ｗＭＡＸ／（ｄＭＩＮｉ×ｔａｎφ×２）
ｘＭＩＮ＝Ｘ×ｗＭＩＮ／（ｄＭＡＸｉ×ｔａｎφ×２）
【０２３３】
演算処理装置において、垂直方向のみ、水平方向のみ、あるいはそれらの両方について、検出した物体像のサイズが、許容範囲に含まれるか否かを判定してもよい。
【０２３４】
（変形例２）
実施の形態では、レンジの異なる画像を、同じ分類器４２で処理したがその限りでなく、レンジ毎に異なる分類器を用いてもよい。
【０２３５】
（変形例３）
許容範囲は、物体の種類ごとに個別に設定してもよい。たとえば、歩行者と自動車が検出対象である場合、歩行者の幅と、自動車の幅について、異なる許容範囲を設定してもよい。
【０２３６】
（変形例４）
実施の形態５−１，５−２では、許容範囲について、上限と下限の両方を規定したが、それらの一方のみを規定してもよい。
【０２３７】
（用途）
図４１は、物体識別システム１０を備える自動車のブロック図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。物体識別システム１０は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、ゲーティングカメラ２０の設置箇所として最も有利である。
【０２３８】
図４２は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述の物体識別システム１０に対応しており、ゲーティングカメラ２０および演算処理装置４０を含む。
【０２３９】
演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。
【０２４０】
また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。
【０２４１】
実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
【産業上の利用可能性】
【０２４２】
本発明は、物体識別システムに関する。
【符号の説明】
【０２４３】
Ｓ１  投光タイミング信号、  Ｓ２  撮影タイミング信号、  １０  物体識別システム、  ２０  ゲーティングカメラ、  ３０  カメラ、  ４０  演算処理装置、  ４２  分類器、  ５０  ゲーティングカメラ、  ５２  投光器、  ５４  イメージセンサ、  ５６  コントローラ、  ６０  コンピュータ、  ２００  車両用灯具、  ２０２  光源、  ２０４  点灯回路、  ２０６  光学系、  ３００  自動車、  ３０２  前照灯、  ３０４  車両側ＥＣＵ、  ３１０  灯具システム。
【図１】
2020121973.tif 000003
【図２】
2020121973.tif 000004
【図３】
2020121973.tif 000005
【図４】
2020121973.tif 000006
【図５】
2020121973.tif 000007
【図６】
2020121973.tif 000008
【図７】
2020121973.tif 000009
【図８】
2020121973.tif 000010
【図９】
2020121973.tif 000011
【図１０】
2020121973.tif 000012
【図１１】
2020121973.tif 000013
【図１２】
2020121973.tif 000014
【図１３】
2020121973.tif 000015
【図１４】
2020121973.tif 000016
【図１５】
2020121973.tif 000017
【図１６】
2020121973.tif 000018
【図１７】
2020121973.tif 000019
【図１８】
2020121973.tif 000020
【図１９】
2020121973.tif 000021
【図２０】
2020121973.tif 000022
【図２１】
2020121973.tif 000023
【図２２】
2020121973.tif 000024
【図２３】
2020121973.tif 000025
【図２４】
2020121973.tif 000026
【図２５】
2020121973.tif 000027
【図２６】
2020121973.tif 000028
【図２７】
2020121973.tif 000029
【図２８】
2020121973.tif 000030
【図２９】
2020121973.tif 000031
【図３０】
2020121973.tif 000032
【図３１】
2020121973.tif 000033
【図３２】
2020121973.tif 000034
【図３３】
2020121973.tif 000035
【図３４】
2020121973.tif 000036
【図３５】
2020121973.tif 000037
【図３６】
2020121973.tif 000038
【図３７】
2020121973.tif 000039
【図３８】
2020121973.tif 000040
【図３９】
2020121973.tif 000041
【図４０】
2020121973.tif 000042
【図４１】
2020121973.tif 000043
【図４２】
2020121973.tif 000044
【国際調査報告】
2020121973.tif 000045
2020121973.tif 000046
2020121973.tif 000047
2020121973.tif 000048