(57)【要約】【課題】レーダーの受信信号に物体識別に係る正解データを動的に付与する。【解決手段】距離画像に基づいて三次元空間におけるオブジェクトの位置を算出することと、前記三次元空間における前記オブジェクトの位置に基づいて、レーダー受信信号から取得される第１の信号強度マップにおけるオブジェクト領域を特定することと、認識された前記オブジェクトの種別と前記オブジェクト領域とを対応付けることと、を含む、情報処理方法が提供される。【選択図】図８
2018163096.tif 000002
【特許請求の範囲】
【請求項１】
距離画像に基づいて三次元空間におけるオブジェクトの位置を算出することと、
前記三次元空間における前記オブジェクトの位置に基づいて、レーダー受信信号から取得される第１の信号強度マップにおけるオブジェクト領域を特定することと、
認識された前記オブジェクトの種別と前記オブジェクト領域とを対応付けることと、
を含む、
情報処理方法。
【請求項２】
撮影された画像データに基づいて、前記画像データ上における前記オブジェクトの位置と前記オブジェクトの種別を認識すること、
をさらに含み、
前記対応付けることは、前記画像データ上における前記オブジェクトの位置を前記第１の信号強度マップに対応する座標に変換し、前記オブジェクトの種別と前記オブジェクト領域とを対応付けること、をさらに含む、
請求項１に記載の情報処理方法。
【請求項３】
前記特定することは、前記第１の信号強度マップから第１のオブジェクト候補領域を抽出し、前記三次元空間におけるオブジェクトの位置に基づいて、前記第１のオブジェクト候補領域の中から前記オブジェクト領域を特定すること、をさらに含む、
請求項１または２に記載の情報処理方法。
【請求項４】
前記特定することは、前記三次元空間におけるオブジェクトの位置の重心と、前記第１のオブジェクト候補領域の重心とを比較し、前記オブジェクト領域を特定すること、をさらに含む、
請求項３に記載の情報処理方法。
【請求項５】
前記三次元空間における前記オブジェクトの位置に基づくシミュレーションにより得られた第２の信号強度マップから第２のオブジェクト候補領域を抽出すること、
をさらに含み、
前記特定することは、前記第２のオブジェクト候補領域に基づいて、前記オブジェクト領域を特定すること、をさらに含む、
請求項３または４に記載の情報処理方法。
【請求項６】
前記特定することは、前記第１のオブジェクト候補領域と前記第２のオブジェクト候補領域の重なりを評価し、前記オブジェクト領域を特定すること、をさらに含む、
請求項５に記載の情報処理方法。
【請求項７】
前記第１の信号強度マップは、前記オブジェクトの位置に基づくシミュレーションにより取得される、
請求項１〜４のいずれかに記載の情報処理方法。
【請求項８】
電波を照射し前記レーダー受信信号を取得することと、
前記レーダー受信信号に基づいて第１の信号強度マップを生成することと、
をさらに含む、
請求項１〜６のいずれかに記載の情報処理方法。
【請求項９】
前記距離画像は、ＬＩＤＡＲにより取得される、
請求項１〜８のいずれかに記載の情報処理方法。
【請求項１０】
前記対応付けることは、前記画像データ上における前記オブジェクトの位置の重心に基づいて、前記オブジェクト領域での、前記画像データ上における前記オブジェクトの存在確率を算出し、前記オブジェクトの種別と前記オブジェクト領域とを対応付けること、をさらに含む、
請求項２に記載の情報処理方法。
【請求項１１】
電波を照射しレーダー受信信号を取得するセンサ部と、
前記レーダー受信信号に基づくオブジェクトの識別を行う識別部と、
を備え、
前記識別部は、前記レーダー受信信号から得られる信号強度マップにおけるオブジェクト領域と画像データから取得された前記オブジェクトの種別とを関連付けて学習された学習結果に基づいて、前記オブジェクトの識別を行う、
情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理方法および情報処理装置に関する。
【背景技術】
【０００２】
近年、技術の発展に伴い、物体の追跡や識別を行う種々の手法が開発されている。例えば、非特許文献１や非特許文献２には、ＬＩＤＡＲ（Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ、または、Ｌａｓｅｒ  Ｉｍａｇｉｎｇ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ）により収集された三次元情報に基づいて、動物体の追跡や識別を行う技術が開示されている。
【０００３】
また、非特許文献３〜５には、画像データに基づいて、当該画像データ上における物体の位置や種別を識別する技術が開示されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】細尾  直孝、外２名、“角度ベース複数仮説を用いたＬＲＦによる複数種類・複数個の移動体追跡手法”、計測自動制御学会論文集、計測自動制御学会、２０１５年５月、Ｖｏｌ．５１、Ｎｏ．５、Ｐ２９７−３０８
【非特許文献２】城殿  清澄、外３名、“高解像度レーザデータによる歩行者識別”、日本ロボット学会誌、日本ロボット学会、２０１１年１２月、Ｖｏｌ．２９、Ｎｏ．１０、Ｐ９６３−９７０
【非特許文献３】Shaoqing Ren、外３名、“FasterR-CNN: Towards Real-Time Object Detection with Region Proposal Networks”、２０１５年６月４日、arXiv、［平成２９年２月１０日検索］、インターネット〈URL:http://tokkyo.shinsakijun.com/information/newtech.html〉
【非特許文献４】Joseph Redmon、外３名、“YouOnly Look Once: Unified, Real-Time Object Detection”、２０１５年６月８日、arXiv、［平成２９年２月１０日検索］、インターネット〈URL:https://arxiv.org/pdf/1506.02640v1.pdf〉
【非特許文献５】Evan Shelhamer、外２名、“Fully Convolutional Networks for Semantic Segmentation”、Computer Vision and Pattern Recognition (CVPR), 2015 IEEE Conference、IEEE、２０１５年６月７日、10.1109/CVPR.2015.7298965
【非特許文献６】Manuel Dudek、外３名、“AMillimeter-Wave FMCW Radar System Simulatorfor Automotive Applications”、RadarConference (EuRAD), 2011 European、IEEE、２０１１年１０月１２日
【非特許文献７】Manuel Dudek、外４名、“TheImpact of Antenna Characteristics on Target Detection in FMCW-Radar SystemSimulations for Automotive Applications”、Radio and WirelessSymposium (RWS), 2012 IEEE、IEEE、２０１２年１月１５日、10.1109/RWS.2012.6175357
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、動物体の識別においては、レーダーにより取得される受信信号を用いることも期待される。しかし、上記の受信信号の強度を可視化した場合、データ上には識別の対象であるオブジェクトのほか偽像が現れることから、レーダーの受信信号のみを確認しながら、手動でオブジェクトに対する正解データを付与することは非常に困難である。また、レーダーの受信信号と画像データを照らし合わせることで、レーダーの受信信号からオブジェクトの反応や種別を手動で特定することも想定されるが、この場合、作業負荷が高く、大量の正解データを得るための手段としては現実的とはいえない。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、レーダーの受信信号に物体識別に係る正解データを動的に付与することが可能な、新規かつ改良された情報処理方法および情報処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、距離画像に基づいて三次元空間におけるオブジェクトの位置を算出することと、前記三次元空間における前記オブジェクトの位置に基づいて、レーダー受信信号から取得される第１の信号強度マップにおけるオブジェクト領域を特定することと、認識された前記オブジェクトの種別と前記オブジェクト領域とを対応付けることと、を含む、情報処理方法が提供される。
【０００８】
前記情報処理方法は、撮影された画像データに基づいて、前記画像データ上における前記オブジェクトの位置と前記オブジェクトの種別を認識すること、をさらに含み、前記対応付けることは、前記画像データ上における前記オブジェクトの位置を前記第１の信号強度マップに対応する座標に変換し、前記オブジェクトの種別と前記オブジェクト領域とを対応付けること、をさらに含んでもよい。
【０００９】
前記特定することは、前記第１の信号強度マップから第１のオブジェクト候補領域を抽出し、前記三次元空間におけるオブジェクトの位置に基づいて、前記第１のオブジェクト候補領域の中から前記オブジェクト領域を特定すること、をさらに含んでもよい。
【００１０】
前記特定することは、前記三次元空間におけるオブジェクトの位置の重心と、前記第１のオブジェクト候補領域の重心とを比較し、前記オブジェクト領域を特定すること、をさらに含んでもよい。
【００１１】
前記情報処理方法は、前記三次元空間における前記オブジェクトの位置に基づくシミュレーションにより得られた第２の信号強度マップから第２のオブジェクト候補領域を抽出すること、をさらに含み、前記特定することは、前記第２のオブジェクト候補領域に基づいて、前記オブジェクト領域を特定すること、をさらに含んでもよい。
【００１２】
前記特定することは、前記第１のオブジェクト候補領域と前記第２のオブジェクト候補領域の重なりを評価し、前記オブジェクト領域を特定すること、をさらに含んでもよい。
【００１３】
前記第１の信号強度マップは、前記オブジェクトの位置に基づくシミュレーションにより取得されてもよい。
【００１４】
前記情報処理方法は、電波を照射し前記レーダー受信信号を取得することと、前記レーダー受信信号に基づいて第１の信号強度マップを生成することと、をさらに含んでもよい。
【００１５】
前記距離画像は、ＬＩＤＡＲにより取得されてもよい。
【００１６】
前記対応付けることは、前記画像データ上における前記オブジェクトの位置の重心に基づいて、前記オブジェクト領域での、前記画像データ上における前記オブジェクトの存在確率を算出し、前記オブジェクトの種別と前記オブジェクト領域とを対応付けること、をさらに含んでもよい。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、電波を照射しレーダー受信信号を取得するセンサ部と、前記レーダー受信信号に基づくオブジェクトの識別を行う識別部と、を備え、前記識別部は、前記レーダー受信信号から得られる信号強度マップにおけるオブジェクト領域と画像データから取得された前記オブジェクトの種別とを関連付けて学習された学習結果に基づいて、前記オブジェクトの識別を行う、情報処理装置が提供される。
【発明の効果】
【００１８】
以上説明したように本発明によれば、レーダーの受信信号に物体識別に係る正解データを動的に付与することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施形態に係る信号強度マップの一例を示す図である。
【図２】同実施形態に係る正解データの一例である。
【図３】同実施形態に係る情報処理装置の機能ブロック図の一例である。
【図４】同実施形態に係る領域特定部により抽出されるオブジェクト候補領域の一例を示す図である。
【図５】同実施形態に係るオブジェクトに係る点群とオブジェクト候補領域との突合について説明するための図である。
【図６】同実施形態に係る識別部による画像上におけるオブジェクトの識別について説明するための図である。
【図７】同実施形態に係る統合部による座標の変換について説明するための図である。
【図８】同実施形態に係る情報処理装置の動作の流れを示すフローチャートである。
【図９】本発明の第２の実施形態に係る情報処理装置の動作の流れを示すフローチャートである。
【図１０】本発明の一実施形態に係る情報処理装置のハードウェア構成例である。
【図１１】画像認識に係る学習に用いられるデータセットの一例を示す図である。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２１】
＜１．背景＞
まず、本技術思想の発想に至った背景について説明する。上述したとおり、近年では、物体（以下、オブジェクト、とも称する）の識別に関する様々な手法が開発されている。上記のような手法の一例としては、画像データ上におけるオブジェクトの種別などを識別する画像認識が挙げられる。
【００２２】
近年では、画像認識に係る研究が非常に盛んに行われており、画像認識の精度を競うコンペティションなども多く開催されている。また、画像認識に用いるデータセットを提供するデータベースも存在する。例えば、上記のデータベースの一つであるＩｍａｇｅＮｅｔには、約１千４百万ものデータセットが公開されている。
【００２３】
図１１は、画像認識に係る学習に用いられるデータセットの一例を示す図である。図１１には、画像認識に用いられる画像データＩＭ１と、画像データＩＭ１上のオブジェクトに係る正解データＣＬが示されている。ここで、正解データＣＬは、例えば、図示するように、オブジェクトのセグメンテーションに係る情報やオブジェクトの種別に係る情報が含まれてもよい。図１１に示す一例の場合、正解データＣＬは、オブジェクトＯ１およびＯ２に係る情報を含み、オブジェクトＯ１およびＯ２がそれぞれ人および乗用車であることを示している。
【００２４】
このようなデータセットは、通常、人手を介して生成され、データベースに登録される。画像認識分野においては、このような大量のデータセットを物体認識に係る学習に用いることで、精度の高い認識器を構築することが可能である。
【００２５】
一方、上述したように、動物体の識別においては、レーダーにより取得される受信信号を用いることも期待される。しかし、レーダーの受信信号については、上記のような既存のデータセットの数が乏しく、学習に用いることが可能なデータセットを容易に収集することができない、という現状がある。
【００２６】
これは、人がレーダーの受信信号を可視化した情報のみを確認して、オブジェクトの反応に起因する信号領域を特定することが困難であることから、画像認識のようなデータセットを容易に生成できないためである。
【００２７】
例えば、受信素子が多素子のＦＭＣＷ（Ｆｒｅｑｕｅｎｃｙ  Ｍｏｄｕｌａｔｅｄ  Ｃｏｎｔｉｎｕｏｕｓ  Ｗａｖｅ）レーダーを用いた場合、受信信号に基づいて、物体に係る角度、距離、および速度を算出することが可能である。この際、例えば、上記の角度および距離を２軸にとり、信号強度を可視化したデータ（以下、信号強度マップ、と称する）を得ることができる。
【００２８】
図１は、本実施形態に係る信号強度マップの一例を示す図である。一方、図２は、本実施形態に係る正解データの一例である。ここで、上記の正解データとは、信号強度マップにおいて特定されるオブジェクト領域とオブジェクトの種別とを含むデータであってよい。また、上記のオブジェクト領域とは、オブジェクトに起因する反応を示す信号領域を示す。なお、本実施形態に係る正解データにおいて、オブジェクトの種別は、オブジェクト領域の色分けやメタデータの付加などにより示されてもよい。例えば、図２に示すオブジェクト領域ＯＣ１は、乗用車に起因する反応を示す信号領域であってもよい。
【００２９】
ここで、図１における信号強度マップを参照すると、レーダーの受信信号から得られる信号強度マップには、識別対象であるオブジェクトに起因する反応のほか、オブジェクトが存在しない位置においても強い信号強度が検出されていることがわかる。これは、フーリエ変換のサイドローブなどにより偽像が発生するためである。
【００３０】
このため、図２に示すような正解データを作成するためには、信号強度マップにおいて、偽像を排除してオブジェクト領域を定義し、さらに、受信信号が取得された時間と位置情報を基に撮像された画像データなどからオブジェクトの種別を特定したうえで、上記のオブジェクト領域とオブジェクトの種別とを対応付ける必要がある。しかし、上記のような工程を人手で行うには、作業負担が大きいことから、より簡易またより正確に正解データを生成する手法が望まれていた。
【００３１】
本技術思想は、上記の点に着目して発想されたものであり、レーダーの受信信号から得られる信号強度マップに係る正解データを自動的に生成することを可能とする。このために、本発明の一実施形態に係る情報処理方法および情報処理装置は、距離画像に基づいて三次元空間におけるオブジェクトの位置を算出し、当該三次元空間におけるオブジェクトの位置に基づいて、レーダー受信信号から取得される信号強度マップにおけるオブジェクト領域を自動的に特定すること、を特徴の一つとする。また、本発明の一実施形態に係る情報処理方法および情報処理装置は、特定した上記のオブジェクト領域と認識されたオブジェクトの種別とを自動的に対応付けることを特徴の一つとする。
【００３２】
本発明の一実施形態に係る情報処理方法および情報処理装置が有する上記の特徴によれば、レーダーにより得られる信号強度マップに係る正解データを大量に生成することができ、例えば、ディープニューラルネットワークなどによる学習を行うことで、レーダーの受信信号による精度の高いオブジェクトの識別を行うことが可能となる。
【００３３】
＜２．第１の実施形態＞
＜＜２．１．情報処理装置１０の機能構成例＞＞
次に、本発明の第１の実施形態に係る情報処理方法を実現する情報処理装置１０の機能構成例について説明する。図３は、本実施形態に係る情報処理装置１０の機能ブロック図の一例である。図１を参照すると、本実施形態に係る情報処理装置１０は、センサ部１１０、データ収集部１２０、位置算出部１３０、領域特定部１４０、識別部１５０、および統合部１６０を備える。
【００３４】
（センサ部１１０）
本実施形態に係るセンサ部１１０は、オブジェクトに係る信号を受信するレーダー１１２、ＬＩＤＡＲ１１４、およびカメラ１１６などのセンサを備える。この際、レーダー１１２、ＬＩＤＡＲ１１４、およびカメラ１１６は、互いにキャリブレーションを行うものとする。
【００３５】
この際、レーダー１１２およびＬＩＤＡＲ１１４は、共にオブジェクトまでの距離および角度が取得可能であるため、互いの設置関係に基づくキャリブレーションを行うことが可能である。また、カメラ１１６とレーダー１１２またはＬＩＤＡＲ１１４間のキャリブレーションについては、カメラ１１６が有する撮影特性と互いの設置関係に基づくキャリブレーションを行うことが可能である。具体的には、カメラ１１６により撮影される画像データに係る二次元座標と対象空間に係る三次元座標とを対応付ける変換式に基づく算出を行うことができる。なお、以降の説明において用いる座標は、例えば、レーダー１１２などいずれかのセンサを基準とした実空間における座標とする。
【００３６】
（データ収集部１２０）
本実施形態に係るデータ収集部１２０は、センサ部１１０のレーダー１１２、ＬＩＤＡＲ１１４、およびカメラ１１６が受信する信号を収集する機能を有する。
【００３７】
（位置算出部１３０）
本実施形態に係る位置算出部１３０は、距離画像に基づいて三次元空間におけるオブジェクトの位置を算出する機能を有する。上記の距離画像は、三次元空間における座標情報を有するデータであってよく、例えば、データ収集部１２０により取得されるＬＩＤＡＲ１１４のデータであってよい。本実施形態に係る位置算出部１３０は、例えば、車、自転車、人など予め設定された所定のオブジェクトの座標を算出する。
【００３８】
この際、ＬＩＤＡＲ１１４により得られる距離画像には、一定の角度間隔で照射されるレーザーの向きに対する反射物体（オブジェクト）までの距離が点群により現れる。このため、位置算出部１３０は、上記の点群をオブジェクトごとに分類し、各オブジェクトの位置を算出する処理を行う。この際、位置算出部１３０は、例えば、非特許文献１に記載されるようなパーティクルフィルタを用いて上記の処理を行ってもよい。また、例えば、位置算出部１３０は、非特許文献２に記載されるような手法を用いて上記の処理を行うことも可能である。このように、本実施形態に係る位置算出部１３０は、種々の手法を用いて、距離画像からオブジェクトに起因する点群のみを取得し、オブジェクトごとに分類する。
【００３９】
（領域特定部１４０）
本実施形態に係る領域特定部１４０は、位置算出部１３０により算出された三次元空間におけるオブジェクトの位置に基づいて、レーダー受信信号から取得される信号強度マップにおけるオブジェクト領域を特定する機能を有する。より具体的には、領域特定部１４０は、まず、上記の信号強度マップからオブジェクト候補領域を抽出し、三次元空間におけるオブジェクトの位置に基づいて、オブジェクト候補領域の中から実際にオブジェクトに起因する反応を示す信号領域であるオブジェクト領域を特定する。
【００４０】
この際、領域特定部１４０は、例えば、データ収集部１２０が収集したレーダーの受信信号から算出される角度および距離を２軸とした信号強度マップを生成する。なお、領域特定部１４０が生成する信号強度マップは、上記の例に限定されず、距離および速度の２軸をとるものであってもよいし、距離、角度、および速度の３軸をとるものであってもよい。また、距離ｒおよび角度θから、ｘ＝ｒｃｏｓθ、ｙ＝ｒｓｉｎθ、により実空間の二次元座標に変換されてもよい。
【００４１】
例えば、レーダー１１２が多素子ＦＭＣＷレーダーである場合、領域特定部１４０は、受信信号に二次元ＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ：高速フーリエ変換）をかけることで、距離および角度を２軸とした信号強度マップを得ることができる。すなわち、領域特定部１４０は、周波数掃引１回分の受信信号に対してＦＦＴを施すことで距離を算出し、得られた結果をさらに素子（受信アンテナ）方向に並べてＦＦＴをかけることによって角度を算出することができる。上記のような手法により、領域特定部１４０は、図１に示したような信号強度マップを生成する。
【００４２】
次に、領域特定部１４０は、図１に示したような信号強度マップからオブジェクト候補領域を抽出する。この際、領域特定部１４０は、信号強度マップにおいて信号強度が閾値以上である領域を抽出してよい。なお、抽出するオブジェクト候補領域の数を抑えるために、上記の閾値を高く設定することは望ましくない。これは、後段の処理において、位置算出部１３０が算出したオブジェクトの位置に基づくオブジェクト候補領域の絞りを行うことから、抽出されるオブジェクト候補領域が多いことは大きな問題とはならないためである。
【００４３】
また、領域特定部１４０は、一定の閾値を用いてオブジェクト候補領域の抽出を行ってもよいが、下記の数式（１）に示すレーダー方程式によれば、信号強度は距離の２乗に反比例することから、距離に応じて閾値を変化させてもよい。例えば、領域特定部１４０は、下記の数式（２）を用いることで、閾値Ｔｈ（ｄ）を距離ｄが遠くなるほど小さな値とすることができる。ただし、下記の数式（１）におけるＰは送信電力［ｗ］を、Ｇはアンテナのゲインを、σ０は反射断面積［ｍ２］をそれぞれ示し、数式（２）におけるαは定数であってよい。
【００４４】
【数１】
2018163096.tif 000003
【００４５】
図４は、本実施形態に係る領域特定部１４０により抽出されるオブジェクト候補領域の一例を示す図である。図４には、信号強度マップにおいて領域特定部１４０が抽出したオブジェクト候補領域ＯＣ１〜ＯＣ４が示されている。この際、領域特定部１４０が抽出するオブジェクト候補領域ＯＣ１〜ＯＣ４には、レーダーの多重反射による偽像やフーリエ変換によるサイドローブなどが含まれ得る。このため、本実施形態に係る領域特定部１４０は、位置算出部１３０により取得されたオブジェクトに係る点群とオブジェクト候補領域とを突合することで、偽像などを除去し、オブジェクト領域を特定することができる。
【００４６】
図５は、本実施形態に係るオブジェクトに係る点群とオブジェクト候補領域との突合について説明するための図である。図５には、信号強度マップにおいて抽出されたオブジェクト候補領域ＯＣ１〜ＯＣ４と、信号強度マップに投影されたオブジェクトに係る点群ＬＰとが示されている。
【００４７】
この際、領域特定部１４０は、各オブジェクト候補領域ＯＣ１〜ＯＣ４の重心座標Ｃｒと、各オブジェクトに係る点群ＬＰの重心座標Ｃｌとをそれぞれ算出する。また、領域特定部１４０は、各オブジェクトに係る点群ＬＰの集合をＱとし、このうちｎ番目のオブジェクトの重心座標をＣｌ（ｎ）ｎ∈Ｑとする。続いて、領域特定部１４０は、すべてのＱについて、Ｃｌ（ｎ）ｎ∈Ｑと最も近い重心座標Ｃｒを有するオブジェクト候補領域を選択することで、ｎ番目のオブジェクトに係るオブジェクト領域を特定することができる。例えば、図５に示す一例の場合、領域特定部１４０は、オブジェクト候補領域ＯＣ１をオブジェクト領域として特定し、図２に示すように偽像などに相当するオブジェクト領域ＯＣ２〜ＯＣ４を排除した信号強度マップを得てよい。
【００４８】
（識別部１５０）
本実施形態に係る識別部１５０は、オブジェクトの種別を識別する機能を有する。具体的には、本実施形態に係る識別部１５０は、カメラ１１６が撮像した画像データに基づいて、当該画像データ上におけるオブジェクトの位置とオブジェクトの種別とを識別する。
【００４９】
図６は、識別部１５０による画像上におけるオブジェクトの識別について説明するための図である。図６の一例には、カメラ１１６が撮像した画像データＩＭ２と、画像データＩＭ２上において識別部１５０が識別したオブジェクトＯ１とが示されている。このように、本実施形態に係る識別部１５０は、画像データ上のオブジェクトを識別し、当該オブジェクトの位置および種別を矩形領域により示してもよい。
【００５０】
この際、識別部１５０は、例えば、非特許文献３や非特許文献４に記載されるような深層学習（ディープラーニング）を用いた手法によりオブジェクトの識別を行ってもよい。また、識別部１５０は、例えば、非特許文献５に記載されるような深層学習手法を用いてピクセル単位でオブジェクトの識別を行うことも可能である。なお、上記の手法はあくまで一例であり、本実施形態に係る識別部１５０は、画像認識分野で用いられる種々の手法を用いて画像データ上におけるオブジェクトの位置および種別を識別してよい。
【００５１】
また、本実施形態に係る識別部１５０は、レーダー１１２の受信信号と、正解データを用いた学習により生成された認識器により、オブジェクトの種別を識別する機能を有してよい。すなわち、識別部１５０は、レーダー受信信号から得られる信号強度マップにおけるオブジェクト領域と画像データから取得された前記オブジェクトの種別とを関連付けて学習された学習結果に基づいて、オブジェクトの種別を識別する。識別部１５０が有する上記の機能によれば、レーダーの受信信号のみを用いてオブジェクトの識別が可能となり、ロバスト性の高いオブジェクト識別を実現することができる。
【００５２】
（統合部１６０）
本実施形態に係る統合部１６０は、識別部１５０が認識したオブジェクトの種別（以下、ラベル、とも称する）と領域特定部１４０が特定したオブジェクト領域とを対応付ける機能を有する。この際、本実施形態に係る統合部１６０は、識別部１５０が認識した画像データ上におけるオブジェクトの位置を信号強度マップに対応する座標に変換することで、オブジェクトの種別と信号強度マップにおけるオブジェクト領域とを対応付ける。
【００５３】
図７は、本実施形態に係る統合部１６０による座標の変換について説明するための図である。図７の左側には、オブジェクトの一例である歩行者Ｐ１およびＰ２、乗用車Ｖ１およびＶ２が撮影された画像データＩＭ３が示されている。この際、本実施形態に係る統合部１６０は、図右側に示すように、画像データＩＭ３に係る二次元座標と対象空間に係る三次元座標とを対応付ける変換式に基づいて、歩行者Ｐ１およびＰ２、乗用車Ｖ１およびＶ２の座標を、角度および距離の２軸による座標に変換することができる。
【００５４】
続いて、統合部１６０は、領域特定部１４０が特定したオブジェクト領域と、識別部１５０が識別したオブジェクトの種別との対応付けを行う。この際、カメラ１１６による位置の計測精度は、レーダー１１２やＬＩＤＡＲ１１４と比較して低く、また、カメラ１１６による位置計測は、レーダー１１２やＬＩＤＡＲ１１４によるオブジェクトの反射面からの反応に基づく位置計測とは性質が異なる。
【００５５】
このため、本実施形態に係る統合部１６０は、例えば、識別部１５０が識別した画像データ上のオブジェクトの集合をＣとし、Ｑｉ（∈Ｃ）の重心座標を（θＣ，ｒｃ）とし、（θＣ，ｒｃ）を中心とした分散σＣの二次元ガウス分布を当てはめることにより、オブジェクトＯｉの各座標での存在確率ＰＱｉ（θ，ｒ）を求める。続いて、統合部１６０は、領域特定部１４０が特定したｊ番目のオブジェクト領域Ｒｊに対応付けるオブジェクトの種別（ｌａｂｅｌＲｊ）を下記の数式（３）により決定する。ただし、下記の数式（３）において、ＰＲｊ（θ，ｒ）は、（θ，ｒ）がオブジェクト領域Ｒｊ内の座標である場合に１、それ以外の場合には０であるものとする。また、Ｌａｂｅｌ（Ｏ）は、オブジェクトＯのオブジェクト種別を表す。
【００５６】
【数２】
2018163096.tif 000004
【００５７】
統合部１６０による上記の演算によれば、領域特定部１４０が特定したオブジェクト領域において、画像データから得られたオブジェクトの存在確率が最も高いラベルを選択することが可能となる。
【００５８】
＜＜２．２．情報処理装置１０の動作の流れ＞＞
次に、本実施形態に係る情報処理装置１０の動作の流れについて説明する。図８は、本実施形態に係る情報処理装置１０の動作の流れを示すフローチャートである。
【００５９】
図８を参照すると、まず、データ収集部１２０がセンサ部１１０からセンサ情報を収集する（Ｓ１１０１）。ここで、上記のセンサ情報には、レーダー１１２による受信信号、ＬＩＤＡＲ１１４による距離画像、およびカメラ１１６による画像データが含まれる。
【００６０】
次に、位置算出部１３０は、ステップＳ１１０１において収集された距離画像に基づいて、三次元空間におけるオブジェクトの位置を算出する（Ｓ１１０２）。
【００６１】
次に、領域特定部１４０は、生成した信号強度マップにおいて信号強度が閾値以上の領域をオブジェクト候補領域として抽出する（Ｓ１１０３）。
【００６２】
続いて、領域特定部１４０は、ステップＳ１１０２において算出されたオブジェクトの位置に基づいて、ステップＳ１１０３において抽出したオブジェクト領域の中からオブジェクト領域を特定する（Ｓ１１０４）。
【００６３】
次に、識別部１５０は、画像データ上におけるオブジェクトの位置と種別を識別する（Ｓ１１０５）。
【００６４】
次に、統合部１６０は、ステップＳ１１０５において識別された画像データ上におけるオブジェクトの位置を信号強度マップに対応する座標に変換し、オブジェクトの種別とオブジェクト領域とを対応付ける（Ｓ１１０６）。
【００６５】
以上、本実施形態に係る情報処理装置１０の動作の流れについて詳細に説明した。上述したように、本実施形態に係る情報処理装置１０によれば、オブジェクトに起因する信号領域（オブジェクト領域）にオブジェクトの種別を示すラベルを付与した正解データを自動的に生成することが可能となる。
【００６６】
＜３．第２の実施形態＞
＜＜３．１．第２の実施形態の概要＞＞
次に、本発明の第２の実施形態について説明する。上記の第１の実施形態では、オブジェクト領域の特定において、ＬＩＤＡＲ１１４により得られた点群とオブジェクト候補領域とを突合する際、それぞれの重心座標が最も近いものを対応付ける場合について説明した。しかし、当該手法では、複数のオブジェクトが近い場所に存在する場合には、誤った対応付けが行われる可能性も否定できない。
【００６７】
そこで、本発明の第２の実施形態では、ＬＩＤＡＲ１１４により得られた点群とオブジェクト候補領域とを突合する際、上記点群にレーダーを照射した際のシミュレーション結果から得られた信号強度マップにさらに基づいて、オブジェクト領域の特定を行ってよい。
【００６８】
レーダー１１２により取得される実際の受信信号は、ＬＩＤＡＲ１１４により取得されるデータよりも、シミュレーションにより取得されるデータにより近い性質を持つ。このため、レーダーに係るシミュレーション結果を用いる第２の実施形態では、ＬＩＤＡＲ１１４により取得される点群を直接利用する第１の実施形態と比較して、偽像などを抑制する精度が高まることが期待される。
【００６９】
なお、以下の説明においては、第１の実施形態との差異について中心に述べ、第１の実施形態と共通する構成、機能、効果などについては、詳細な説明を省略する。
【００７０】
＜＜３．２．シミュレーション結果に基づくオブジェクト領域の特定＞＞
上述したように、本実施形態では、レーダーに係るシミュレーション結果に基づいてオブジェクト領域の特定が行われる。この際、本実施形態に係る領域特定部１４０は、例えば、非特許文献６や非特許文献７に記載されるような手法に基づいて、上記のシミュレーション結果を得ることができる。
【００７１】
具体的には、領域特定部１４０は、レーダーによる送信波、オブジェクトへの入射波、オブジェクトからの反射波、および反射波の増幅に係るパラメータ設定を行い、算出されたエコーを信号処理することで、オブジェクトの距離を得ることができる。
【００７２】
まず、領域特定部１４０は、例えば、下記の数式（４）を用いて送信波ｘ（ｔ）の算出を行う。ここで、下記の数式（４）における、Ｘ（ｔ）はＦＭＣＷ方式によって生成された原信号を、Ｐはピーク電力［Ｗ］を、Ｇｓは送信器の利得［ｄＢ］を、Ｌｓは送信器の損失［ｄＢ］をそれぞれ示す。領域特定部１４０は、上記のような各パラメータを設定することで、送信波の設計を行うことができる。なお、ＦＭＣＷに係るパラメータとしては、例えば、周波数の掃引幅や掃引時間などが挙げられる。
【００７３】
【数３】
2018163096.tif 000005
【００７４】
次に、領域特定部１４０は、オブジェクトへの入射波の算出を行う。この際、領域特定部１４０は、アンテナ間の伝搬には自由空間伝搬モデルを採用してもよいし、伝搬距離の設定には往復モデルを採用してもよい。領域特定部１４０は、例えば、下記の数式（５）〜（７）によりオブジェクトへの入射波ｙ（ｔ）を算出する。ここで、下記の数式（５）におけるτｒｔは、地点時間［ｓｅｃ］を示し、下記の数式（７）におけるＰｒおよびＰｃは、それぞれレーダーの位置［ｍ］およびオブジェクトの位置［ｍ］を示す。領域特定部１４０は、ＰｒおよびＰｃなどのパラメータを設定することで、入射波の設計を行うことができる。
【００７５】
【数４】
2018163096.tif 000006
【００７６】
次に、領域特定部１４０は、オブジェクトからの反射波の算出を行う。この際、領域特定部１４０は、例えば、下記の数式（８）および（９）によりオブジェクトからの反射波Ｓｉｇ（ｔ）を算出することができる。ここで、下記の数式（８）におけるＲＣＳは、オブジェクトの反射特性を示すパラメータである。領域特定部１４０は、画像データに基づいて識別されたオブジェクトの種別に基づいてＲＣＳを設定することも可能である。
【００７７】
【数５】
2018163096.tif 000007
【００７８】
次に、領域特定部１４０は、反射波に基づくエコーの算出を行う。この際、領域特定部１４０は、例えば、下記の数式（１０）および（１１）によりエコーＥｃｈｏ（ｔ）を算出することができる。ここで、下記の数式（１０）におけるｗは単一分散ノイズを、Ｇｒは受信器の利得［ｄＢ］を、Ｌｒは、受信器の損失［ｄＢ］をそれぞれ示し、下記の数式（１１）におけるｋＢはボルツマン定数を、Ｂはサンプリングレートを、Ｔは基準温度を、Ｆはノイズ強度をそれぞれ示す。領域特定部１４０は、Ｇｒ、Ｌｒ、Ｂ、Ｔ、およびＦなどのパラメータを設定することで、エコーの設計を行うことができる。
【００７９】
【数６】
2018163096.tif 000008
【００８０】
次に、領域特定部１４０は、上記で得たエコーＥｃｈｏ（ｔ）に基づいて、下記の数式（１２）〜（１５）によりオブジェクトの距離Ｒｎｇ［ｍ］を算出する。ただし、下記の数式（１５）におけるＢは周波数の掃引幅［ｄＢ］を示し、Ｔは周波数の掃引時間［ｓｅｃ］を示す。
【００８１】
【数７】
2018163096.tif 000009
【００８２】
領域特定部１４０は、上記のように算出した距離Ｒｎｇをさらに素子（受信アンテナ）方向に並べてＦＦＴをかけることによって角度を算出し、シミュレーションに基づく信号強度マップを得ることができる。以下、実際の受信信号により得られる信号強度マップを第１の信号強度マップ、シミュレーションにより得られる信号強度マップを第２の信号強度マップとも称する。
【００８３】
この際、シミュレーションに基づく第２の信号強度マップについてもフーリエ変換のサイドローブなどに起因する偽像が生じ得ることから、領域特定部１４０は、位置算出部１３０により得られたオブジェクトの点群との突合を行うことで偽像を排除し、第２の信号強度マップに係るオブジェクト候補領域（以下、第２のオブジェクト候補領域、とも称する）を抽出する。
【００８４】
次に、領域特定部１４０は、第２のオブジェクト候補領域Ｒｓに基づいて、実際の受信信号に基づく第１の信号強度マップに係るオブジェクト候補領域Ｒｒ（以下、第１のオブジェクト候補領域、とも称する）から、オブジェクト領域ＲＲｓを特定する。この際、領域特定部１４０は、下記の数式（１６）によりオブジェクト領域ＲＲｓを特定することができる。ただし、下記の数式（１６）におけるＮＲｒは第１のオブジェクト候補領域Ｒｒの面積、ＮＲｓは第２のオブジェクト候補領域Ｒｓの面積、ＮＲｒ，Ｒｓは第１のオブジェクト候補領域Ｒｒと第２のオブジェクト候補領域Ｒｓとが重なる面積をそれぞれ示す。
【００８５】
【数８】
2018163096.tif 000010
【００８６】
すなわち、本実施形態に係る領域特定部１４０は、それぞれの第２のオブジェクト候補領域Ｒｓにおいて、すべての第１のオブジェクト候補領域ＲｒとのＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ  ｏｆ  Ｕｎｉｔ）を算出し、当該値が最大となる第１のオブジェクト候補領域Ｒｒを抽出することで、偽像などを排除し、オブジェクト領域ＲＲｓとを特定することができる。
【００８７】
＜＜３．３．情報処理装置１０の動作の流れ＞＞
次に、本実施形態に係る情報処理装置１０の動作の流れについて説明する。図９は、本実施形態に係る情報処理装置１０の動作の流れを示すフローチャートである。なお、図９におけるステップＳ２１０１〜Ｓ２１０３、Ｓ２１０７、Ｓ２１０８における処理は、図８に示したステップＳ１１０１〜Ｓ１１０３、Ｓ１１０５、Ｓ１１０６における処理と実質的に同一であってよいため、説明を省略する。
【００８８】
図９を参照すると、領域特定部１４０は、ステップＳ２１０３において、第１の信号強度マップから第１のオブジェクト候補領域を抽出したのち、レーダーの受信信号に係るシミュレーションを行う（Ｓ２１０４）。
【００８９】
続いて、領域特定部１４０は、ステップＳ２１０４におけるシミュレーション結果から得た第２の信号強度マップから第２のオブジェクト候補領域を抽出する（Ｓ２１０５）。
【００９０】
続いて、領域特定部１４０は、第２のオブジェクト候補領域に基づいて第１の候補領域からオブジェクト領域を特定する（Ｓ２１０６）。
【００９１】
以上、本実施形態に係る情報処理装置１０の動作の流れについて説明した。本実施形態に係る情報処理装置１０によれば、実際の受信信号に基づく第１の候補領域とシミュレーション結果に基づく第２の候補領域の重なりを評価することで、第１の候補領域から偽像などをより効果的に排除すること可能となる。
【００９２】
＜４．第３の実施形態＞
次に、本発明の第３の実施形態について説明する。上記の第２の実施形態では、シミュレーション結果に基づく第２の信号強度マップから抽出した第２のオブジェクト候補領域に基づいて、実際の受信信号に基づく第１の候補領域からオブジェクト領域を特定する場合について説明した。
【００９３】
一方、本発明の第３の実施形態では、レーダーの受信信号に係るシミュレーション結果のみに基づいて、正解データの生成を行ってよい。すなわち、本実施形態に係る情報処理装置１０は、ＬＩＤＡＲ１１４などにより得られた距離画像に基づくレーダー受信信号のシミュレーション結果からオブジェクト領域を特定し、当該オブジェクト領域に識別されたオブジェクトの種別を対応付けることで正解データを生成することが可能である。
【００９４】
この際、上記のシミュレーション結果には、第２の実施形態の場合と同様にフーリエ変換のサイドローブなどに起因する偽像が発生し得るが、これらは、第１の実施形態に示した処理を行うことにより排除が可能である。
【００９５】
また、本実施形態に係るレーダー受信信号のシミュレーションに用いられる距離画像は、ＬＩＤＡＲ１１４により取得されるデータのほか、例えば、オブジェクトに係る３Ｄモデルなどであってもよい。さらに、当該３Ｄモデルに予めオブジェクトの種別に係る情報が付与されている場合には、統合部１６０は、上記の情報に基づいて、オブジェクト領域とオブジェクト種別とを対応付けることも可能である。
【００９６】
＜５．ハードウェア構成例＞
次に、本発明の一実施形態に係る情報処理装置１０のハードウェア構成例について説明する。図１０は、本発明に係る情報処理装置１０のハードウェア構成例を示すブロック図である。図１０を参照すると、情報処理装置１０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力部８７８と、出力部８７９と、記憶部８８０と、ドライブ８８１と、接続ポート８８２と、通信部８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
【００９７】
（ＣＰＵ８７１）
ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、記憶部８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
【００９８】
（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【００９９】
（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
【０１００】
（入力部８７８）
入力部８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、マイク、及びレバー等が用いられる。さらに、入力部８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力部８７８は、撮像素子や、レーダーやＬＩＤＡＲに係る受信素子を含む。
【０１０１】
（出力部８７９）
出力部８７９には、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置（表示装置）、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、出力部８７９は、上述したような各種のレーダー、ＬＩＤＡＲなどを含んでよい。
【０１０２】
（記憶部８８０）
記憶部８８０は、各種のデータを格納するための装置である。記憶部８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
【０１０３】
（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
【０１０４】
（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ  ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
【０１０５】
（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
【０１０６】
（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
【０１０７】
（通信部８８３）
通信部８８３は、ネットワーク９０３に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。また、内線電話網や携帯電話事業者網等の電話網に接続してもよい。
【０１０８】
＜６．まとめ＞
以上説明したように、本発明の一実施形態に係る情報処理方法および情報処理装置は、距離画像に基づいて三次元空間におけるオブジェクトの位置を算出し、当該三次元空間におけるオブジェクトの位置に基づいて、レーダー受信信号から取得される信号強度マップにおけるオブジェクト領域を自動的に特定すること、を特徴の一つとする。また、本発明の一実施形態に係る情報処理方法および情報処理装置は、特定した上記のオブジェクト領域と認識されたオブジェクトの種別とを自動的に対応付けることを特徴の一つとする。係る構成によれば、レーダーの受信信号に物体識別に係る正解データを動的に付与することが可能となる。
【０１０９】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は係る例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１１０】
また、本発明の一実施形態に係る情報処理装置１０の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理装置１０の処理に係る各ステップは、フローチャートに記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【符号の説明】
【０１１１】
１０      情報処理装置
１１０    センサ部
１１２    レーダー
１１４    ＬＩＤＡＲ
１１６    カメラ
１２０    データ収集部
１３０    位置算出部
１４０    領域特定部
１５０    識別部
１６０    統合部
【図１】
2018163096.tif 000011
【図２】
2018163096.tif 000012
【図３】
2018163096.tif 000013
【図４】
2018163096.tif 000014
【図５】
2018163096.tif 000015
【図６】
2018163096.tif 000016
【図７】
2018163096.tif 000017
【図８】
2018163096.tif 000018
【図９】
2018163096.tif 000019
【図１０】
2018163096.tif 000020
【図１１】
2018163096.tif 000021