(57)【要約】【課題】機械学習モデルを用いることで、レーダデータに基づく物体判別を高精度に行うことができるようにする。【解決手段】各方位および各距離における反射強度および速度の各情報を含むレーダデータを取得し、そのレーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成し、そのレーダ検出画像を、物体判別を行うように学習した画像認識用の機械学習モデルに入力して、その機械学習モデルから出力される物体判別結果を取得する。特に、観測エリア全体のレーダデータから物体領域を検出して、観測エリア全体のレーダデータから物体領域のレーダデータを抽出して、その物体領域のレーダデータに基づいて、物体領域のレーダ検出画像を生成する。【選択図】図２
2020016597.tif 000002
【特許請求の範囲】
【請求項１】
レーダ装置から出力されるレーダデータを処理するレーダデータ処理装置であって、
前記レーダデータを画像化する制御部を備え、
前記制御部は、
各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、
前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成することを特徴とするレーダデータ処理装置。
【請求項２】
前記制御部は、
観測エリア全体の前記レーダデータから検出された物体領域の位置情報に基づいて、観測エリア全体の前記レーダデータから物体領域のレーダデータを抽出し、
前記物体領域のレーダデータに基づいて、物体領域の前記レーダ検出画像を生成することを特徴とする請求項１に記載のレーダデータ処理装置。
【請求項３】
前記制御部は、
観測エリア全体の前記レーダデータに基づいて、観測エリア全体の前記レーダ検出画像を生成することを特徴とする請求項１に記載のレーダデータ処理装置。
【請求項４】
前記制御部は、
前記物体領域の距離に応じたサイズで、物体領域の前記レーダ検出画像を生成することを特徴とする請求項２に記載のレーダデータ処理装置。
【請求項５】
前記制御部は、
複数の時刻の前記レーダデータに基づいて、前記レーダ検出画像を生成することを特徴とする請求項１に記載のレーダデータ処理装置。
【請求項６】
前記制御部は、前記レーダ検出画像のサイズが均一となるように、前記レーダ検出画像における物体領域の周囲に余白領域を設定することを特徴とする請求項１に記載のレーダデータ処理装置。
【請求項７】
レーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別装置であって、
前記レーダデータに基づいて物体を判別する制御部を備え、
前記制御部は、
各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、
前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成し、
前記レーダ検出画像を、物体判別を行うように学習した画像認識用の機械学習モデルに入力して、その機械学習モデルから出力される物体判別結果を取得することを特徴とする物体判別装置。
【請求項８】
情報処理装置において、レーダ装置から出力されるレーダデータを処理するレーダデータ処理方法であって、
各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、
前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成することを特徴とするレーダデータ処理方法。
【請求項９】
情報処理装置において、レーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別方法であって、
各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、
前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成し、
前記レーダ検出画像を、物体判別を行うように学習した画像認識用の機械学習モデルに入力して、その機械学習モデルから出力される物体判別結果を取得することを特徴とする物体判別方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レーダ装置から出力されるレーダデータを処理するレーダデータ処理装置およびレーダデータ処理方法、ならびにレーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別装置および物体判別方法に関するものである。
【背景技術】
【０００２】
近年、車両の走行時の安全性を高めるため、レーダを用いて、車両の周囲に存在する車両や歩行者などの移動体を検知する技術が普及している。また、ＩＴＳ（Intelligent Transport System：高度道路交通システム）において、交差点などの事故の起きやすい場所に、レーダを備えた路側機、いわゆるインフラレーダを設置して、周辺に存在する移動体をレーダにより検知して、ＩＴＳ通信（路車間通信や路歩間通信）により、車載端末や歩行者端末に衝突の危険性を通知する技術の実用化が推進されている。
【０００３】
このようなレーダを用いた物体検知では、レーダ装置から出力されるレーダデータ（反射強度やドップラー速度）に基づいて、車両の周囲に存在する移動体を検知することができるが、この他に、レーダデータに基づいて、検知した移動体が車両と人物とのいずれであるかを判別する物体判別（物体認識）が望まれる。
【０００４】
このようなレーダデータに基づく物体判別に関する技術として、従来、電波の反射率が車両と人物とで異なるという特性を利用して、車両と人物とを判別する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５２０６５７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記従来の技術では、電波の反射率が、電波の方向や物体の材質などの影響で変化することで、車両と人物とを適切に判別できない場合が多く、特に、人物が車両の近傍に居る場合には、人物を車両の一部と誤認識するという問題があった。
【０００７】
一方、カメラの撮影画像を解析することにより物体を判別する画像認識の技術が広く普及している。この画像認識では、撮影画像から物体領域の特徴量を抽出して、その特徴量に基づいて物体を判別するが、近年、この画像認識に機械学習モデル、特に深層学習モデルを利用することで、判別性能を飛躍的に向上させることができるようになっている。このため、レーダデータに基づく物体判別に機械学習モデルを利用することができると、高精度な物体判別が可能になることが期待される。
【０００８】
そこで、本発明は、機械学習モデルを用いることで、レーダデータに基づく物体判別を高精度に行うことができるレーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法を提供することを主な目的とする。
【課題を解決するための手段】
【０００９】
本発明のレーダデータ処理装置は、レーダ装置から出力されるレーダデータを処理するレーダデータ処理装置であって、前記レーダデータを画像化する制御部を備え、前記制御部は、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成する構成とする。
【００１０】
また、本発明の物体判別装置は、レーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別装置であって、前記レーダデータに基づいて物体を判別する制御部を備え、前記制御部は、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成し、前記レーダ検出画像を、物体判別を行うように学習した画像認識用の機械学習モデルに入力して、その機械学習モデルから出力される物体判別結果を取得する構成とする。
【００１１】
また、本発明のレーダデータ処理方法は、情報処理装置において、レーダ装置から出力されるレーダデータを処理するレーダデータ処理方法であって、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成する構成とする。
【００１２】
また、本発明の物体判別方法は、情報処理装置において、レーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別方法であって、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成し、前記レーダ検出画像を、物体判別を行うように学習した画像認識用の機械学習モデルに入力して、その機械学習モデルから出力される物体判別結果を取得する構成とする。
【発明の効果】
【００１３】
本発明によれば、レーダデータを画像化したレーダ検出画像を取得するため、画像認識用の機械学習モデルを用いて物体判別を行うことができるようになり、レーダデータに基づく物体判別を高精度に行うことができる。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態に係る物体判別装置１の概略構成を示すブロック図
【図２】第１実施形態に係る物体判別装置１で行われる物体判別時の処理の概要を示す説明図
【図３】第１実施形態に係るレーダ装置２から出力されるレーダデータの特徴を示す説明図
【図４】第１実施形態に係る物体判別装置１で行われる学習時の処理の概要を示す説明図
【図５】第１実施形態に係る物体判別装置１の物体判別時の動作手順を示すフロー図
【図６】第１実施形態に係るデータ処理（図５のＳＴ１０４）の動作手順を示すフロー図
【図７】第１実施形態に係る物体判別装置１における学習データ生成時および深層学習モデル構築時の動作手順を示すフロー図
【図８】第２実施形態に係る物体判別装置１の概略構成を示すブロック図
【図９】第２実施形態に係る物体判別装置１の物体判別時の動作手順を示すフロー図
【図１０】第２実施形態に係るデータ処理（図９のＳＴ１１１）の動作手順を示すフロー図
【図１１】第２実施形態に係る物体判別装置１における学習データ生成時および深層学習モデル構築時の動作手順を示すフロー図
【図１２】第３実施形態に係る物体判別装置１の概略構成を示すブロック図
【図１３】第３実施形態に係る物体判別装置１の物体判別時の動作手順を示すフロー図
【図１４】第４実施形態に係る物体判別装置１の概略構成を示すブロック図
【図１５】第４実施形態に係る物体判別装置１の物体判別時の動作手順を示すフロー図
【発明を実施するための形態】
【００１５】
前記課題を解決するためになされた第１の発明は、レーダ装置から出力されるレーダデータを処理するレーダデータ処理装置であって、前記レーダデータを画像化する制御部を備え、前記制御部は、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成する構成とする。
【００１６】
これによると、レーダデータを画像化したレーダ検出画像を取得するため、画像認識用の機械学習モデルを用いて物体判別を行うことができるようになり、レーダデータに基づく物体判別を高精度に行うことができる。
【００１７】
また、第２の発明は、前記制御部は、観測エリア全体の前記レーダデータから検出された物体領域の位置情報に基づいて、観測エリア全体の前記レーダデータから物体領域のレーダデータを抽出し、前記物体領域のレーダデータに基づいて、物体領域の前記レーダ検出画像を生成する構成とする。
【００１８】
これによると、機械学習モデルが物体領域のレーダ検出画像を対象にして物体判別を行えばよいため、機械学習モデルの処理負荷を軽減することができる。
【００１９】
また、第３の発明は、前記制御部は、観測エリア全体の前記レーダデータに基づいて、観測エリア全体の前記レーダ検出画像を生成する構成とする。
【００２０】
これによると、物体判別に加えて物体検出が可能な機械学習モデルを用いることで、物体検出および物体判別を高精度にかつ効率よく行うことができる。
【００２１】
また、第４の発明は、前記制御部は、前記物体領域の距離に応じたサイズで、物体領域の前記レーダ検出画像を生成する構成とする。
【００２２】
これによると、物体領域のレーダデータの情報量に応じて、サイズが異なるレーダ検出画像を生成するため、物体判別を高精度に行うことができる。
【００２３】
また、第５の発明は、前記制御部は、複数の時刻の前記レーダデータに基づいて、前記レーダ検出画像を生成する構成とする。
【００２４】
これによると、複数の時刻のレーダデータがレーダ検出画像に格納されるため、物体判別の精度を向上させることができる。
【００２５】
また、第６の発明は、前記制御部は、前記レーダ検出画像のサイズが均一となるように、前記レーダ検出画像における物体領域の周囲に余白領域を設定する構成とする。
【００２６】
これによると、検出された物体領域の大きさに関係なく、レーダ検出画像のサイズが均一となるため、機械学習モデルで一様に処理することができる。また、拡大縮小のように元のレーダデータが改変されることがないため、物体判別を高精度に行うことができる。
【００２７】
また、第７の発明は、レーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別装置であって、前記レーダデータに基づいて物体を判別する制御部を備え、前記制御部は、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成し、前記レーダ検出画像を、物体判別を行うように学習した画像認識用の機械学習モデルに入力して、その機械学習モデルから出力される物体判別結果を取得する構成とする。
【００２８】
これによると、レーダデータを画像化したレーダ検出画像に基づいて、画像認識用の機械学習モデルを用いて物体判別を行うため、レーダデータに基づく物体判別を高精度に行うことができる。
【００２９】
また、第８の発明は、情報処理装置において、レーダ装置から出力されるレーダデータを処理するレーダデータ処理方法であって、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成する構成とする。
【００３０】
これによると、第１の発明と同様に、レーダデータを画像化したレーダ検出画像を取得するため、画像認識用の機械学習モデルを用いて物体判別を行うことができるようになり、レーダデータに基づく物体判別を高精度に行うことができる。
【００３１】
また、第９の発明は、情報処理装置において、レーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別方法であって、各方位および各距離における反射強度および速度の各情報を含む前記レーダデータを取得し、前記レーダデータに基づいて、各画素の複数のチャンネルにそれぞれ、その画素の位置に対応する反射強度、速度および距離の各情報を格納したレーダ検出画像を生成し、前記レーダ検出画像を、物体判別を行うように学習した画像認識用の機械学習モデルに入力して、その機械学習モデルから出力される物体判別結果を取得する構成とする。
【００３２】
これによると、第７の発明と同様に、レーダデータを画像化したレーダ検出画像に基づいて、画像認識用の機械学習モデルを用いて物体判別を行うため、レーダデータに基づく物体判別を高精度に行うことができる。
【００３３】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００３４】
（第１実施形態）
図１は、第１実施形態に係る物体判別装置１の概略構成を示すブロック図である。
【００３５】
この物体判別装置１（レーダデータ処理装置、情報処理装置）は、レーダ装置２から出力されるレーダデータに基づいて、観測エリア内に存在する物体の属性（種類）を判別するものであり、例えば、路側機（インフラレーダ）に搭載されて、周囲に存在する物体（移動体）の判別結果が、衝突の危険性の判定や通知の制御に用いられ、また、車両に搭載されて、周囲に存在する物体の判別結果が衝突回避のための制御に用いられる。
【００３６】
この物体判別装置１では、物体の属性として、物体が車両と人物とのいずれであるかを判別する。さらに、車両が４輪車と２輪車とのいずれであるかを判別し、また、４輪車が大型車と小型車とのいずれであるかを判別する。
【００３７】
レーダ装置２は、ミリ波帯などの電波を放射すると共に物体で反射された電波を検出して、レーダデータ（測定データ）を出力する。このレーダデータには、各方位および各距離（レンジ）における反射強度（反射波の強度に関する情報）およびドップラー速度（物体の速度に関する情報）が含まれる。
【００３８】
物体判別装置１は、データ入力部１１と、制御部１２と、記憶部１３と、データ出力部１４と、を備えている。
【００３９】
データ入力部１１では、レーダ装置２から出力されるレーダデータが入力される。データ出力部１４では、制御部１２で生成した物体判別結果を出力する。
【００４０】
記憶部１３は、レーダ装置２から入力されるレーダデータや、制御部１２を構成するプロセッサで実行されるプログラムなどを記憶する。
【００４１】
制御部１２は、物体検出部２１と、データ処理部２２と、物体判別部２３と、学習データ生成部２４と、学習処理部２５と、を備えている。データ処理部２２は、領域データ抽出部３１と、画像生成部３２と、を備えている。この制御部１２は、プロセッサで構成され、制御部１２の各部は、記憶部１３に記憶されたプログラムをプロセッサで実行することで実現される。
【００４２】
なお、本実施形態では、物体判別装置１が、物体検出部２１と、データ処理部２２と、物体判別部２３とを備えるものとしたが、これらの各部をそれぞれ別の装置で構成してもよい。また、物体判別装置１が、学習データ生成部２４と、学習処理部２５とを備えるものとしたが、これらを物体判別装置とは別の装置で構成してもよい。
【００４３】
次に、第１実施形態に係る物体判別装置１で行われる処理について説明する。図２は、物体判別装置１で行われる物体判別時の処理の概要を示す説明図である。図３は、レーダ装置２から出力されるレーダデータの特徴を示す説明図である。図４は、物体判別装置１で行われる学習時の処理の概要を示す説明図である。
【００４４】
図２に示すように、レーダ装置２では、レーダデータとして、各方位および各距離（レンジ）における反射強度およびドップラー速度を出力する。なお、図２では、反射強度を画像化したヒートマップと、ドップラー速度を画像化したヒートマップとを示している。このヒートマップでは、方位と距離（レンジ）とで規定される極座標系のレーダデータを、Ｘ−Ｙ直交座標系に変換して画像化しており、観測エリアが扇形状に表示される。
【００４５】
物体判別装置１では、まず、物体検出部２１において、観測エリア全体のレーダデータから物体領域を検出する。次に、データ処理部２２の領域データ抽出部３１において、物体検出部２１で検出した物体領域の位置情報に基づいて、観測エリア全体のレーダデータから物体領域のレーダデータを抽出する。次に、画像生成部３２において、物体領域のレーダデータに基づいて、物体領域のレーダ検出画像を生成する。次に、物体判別部２３において、物体領域のレーダ検出画像に基づいて、物体領域の物体の属性を判別する。
【００４６】
ここで、画像生成部３２で生成される物体領域のレーダ検出画像は、物体領域のレーダデータを画像化したものである。具体的には、物体領域のレーダデータに含まれる反射強度、ドップラー速度、および距離（レンジ）の各情報を、レーダ検出画像における対応する位置の画素の複数のチャンネルに格納する。例えば、ＲＧＢのフォーマットでレーダ検出画像を生成する場合、Ｒのチャンネルにドップラー速度の情報を格納し、Ｇのチャンネルに反射強度の情報を格納し、Ｂのチャンネルに距離（レンジ）の情報を格納する。
【００４７】
また、図３（Ａ）に示すように、レーダデータは、方位および距離（レンジ）で区画されたセル単位で生成される。このレーダデータでは、距離の分解能は一定であるが、方位の分解能が、距離に応じて異なり、近距離（例えば３ｍ）では方位の分解能が高くなり、遠距離（例えば８０ｍ）では方位の分解能が低くなる。このため、図３（Ｂ）に示すように、同じ大きさの物体Ａ，Ｂでは、物体領域に含まれるセル数が、距離（レンジ）の軸方向では同一であるが、方位の軸方向では距離に応じて異なる。すなわち、遠距離では方位の軸方向のセル数が少なくなり、近距離では方位の軸方向のセル数が多くなる。
【００４８】
一方、図２に示したように、観測エリア全体のレーダデータから物体領域のレーダデータを抽出すると、距離（レンジ）の情報が消失し、物体の大きさを判別することができなくなる。そこで、本実施形態では、反射強度およびドップラー速度の各情報の他に、距離（レンジ）の情報をレーダ検出画像に格納する。
【００４９】
また、レーダ検出画像では、反射強度およびドップラー速度のヒートマップと同様に、Ｘ−Ｙ直交座標系で生成すればよい。この場合、領域データ抽出部３１において、レーダデータの極座標系をＸ−Ｙ直交座標系に変換する座標変換を行う。なお、レーダ検出画像の座標系は特に限定されるものではなく、Ｘ−Ｙ直交座標系の他に、レーダデータと同じように、方位と距離（レンジ）とで規定される極座標系としてもよい。
【００５０】
また、物体判別部２３は、機械学習モデル、特に深層学習モデルを用いて、物体領域のレーダ検出画像から物体領域の物体の属性を判別する。すなわち、物体領域のレーダ検出画像を深層学習モデルに入力して、深層学習モデルで物体判別を行い、深層学習モデルから出力される物体判別結果を取得する。この深層学習モデルには、画像認識用の深層学習モデルが用いられる。なお、画像認識用の深層学習モデルとしては、ＣＮＮ（畳み込みニューラルネットワーク：convolutional neural network）が好適である。
【００５１】
また、画像生成部３２では、物体検出部２１で検出された物体領域の大きさに関係なく、物体判別部２３の深層学習モデルで一様に処理可能なように、レーダ検出画像のサイズを揃える。このとき、拡大縮小の処理を行うと、元のレーダデータが改変されてしまうため、想定される最大の物体領域のサイズに基づいて、レーダ検出画像のサイズを設定し、そのサイズになるように、物体領域（レーダデータを格納した領域）の周囲に余白領域を設定する。
【００５２】
また、図４に示すように、学習時には、物体検出部２１において、レーダ装置２から過去に出力された学習用の観測エリア全体のレーダデータから物体領域を検出する。次に、領域データ抽出部３１において、物体検出部２１で検出した物体領域の位置情報に基づいて、学習用の観測エリア全体のレーダデータから学習用の物体領域のレーダデータを抽出する。次に、画像生成部３２において、学習用の物体領域のレーダデータに基づいて、学習用の物体領域のレーダ検出画像を生成する。
【００５３】
学習データ生成部２４では、画像生成部３２で生成した学習用の物体領域のレーダ検出画像と、そのレーダ検出画像に含まれる物体の属性に関する物体判別結果（ラベル）とを対応付けた学習データを生成する。この物体判別結果は、作業者が目視で判断して入力したものである。このとき、例えば、学習用のレーダデータに対応するカメラの撮影画像を目視で確認して、学習用のレーダ検出画像から判別される物体の属性を取得すればよい。
【００５４】
学習処理部２５では、学習データ生成部２４で生成した学習データを用いて、深層学習モデルに対する学習処理を実行して、学習結果として、深層学習モデルのモデルパラメータ（設定情報）を取得して、そのモデルパラメータを物体判別部２３の深層学習モデルに適用して、学習済みの深層学習モデルを構築する。
【００５５】
次に、第１実施形態に係る物体判別装置１における物体判別時の動作手順について説明する。図５は、物体判別装置１の物体判別時の動作手順を示すフロー図である。図６は、データ処理（図５のＳＴ１０４）の動作手順を示すフロー図である。
【００５６】
物体判別装置１では、図５に示すように、まず、制御部１２において、レーダ装置２から出力された観測エリア全体のレーダデータ（方位および距離に応じた反射強度およびドップラー速度）を取得する（ＳＴ１０１）。次に、物体検出部２１において、観測エリア全体のレーダデータから物体領域を検出する（ＳＴ１０２）。
【００５７】
次に、制御部１２において、１つの物体領域Ｒｉ（ｉ＝１〜Ｎ）を選定する（ＳＴ１０３）。
【００５８】
次に、データ処理部２２において、データ処理を行う（ＳＴ１０４）。具体的には、領域データ抽出部３１において、観測エリア全体のレーダデータから物体領域のレーダデータを抽出し、画像生成部３２において、物体領域のレーダデータに基づいて、物体領域のレーダ検出画像を生成する。
【００５９】
次に、物体判別部２３において、画像生成部３２で生成した物体領域のレーダ検出画像を、学習済みの深層学習モデルに入力して、その深層学習モデルにおいて物体判別を行い、深層学習モデルから出力される物体判別結果を取得する（ＳＴ１０５）。
【００６０】
次に、全ての物体領域の処理が終了したか否かを判定する（ＳＴ１０６）。ここで、全ての物体領域の処理が終了していない場合には（ＳＴ１０６でＮｏ）、ＳＴ１０３に戻り、次の物体領域を選定して、その物体領域の処理を行う。
【００６１】
一方、全ての物体領域の処理が終了した場合には（ＳＴ１０６でＹｅｓ）、制御部１２において、物体判別部２３で取得した物体領域ごとの物体判別結果および位置情報を出力する（ＳＴ１０７）。
【００６２】
データ処理（ＳＴ１０４）では、図６に示すように、まず、データ処理部２２において、物体検出部２１で検出した物体領域の位置情報を取得する（ＳＴ２０１）。次に、物体領域の位置情報に基づいて、物体領域を取り囲む外接矩形の領域を確定する（ＳＴ２０２）。次に、レーダ検出画像の余白領域（物体領域以外の領域）のセル値を設定する（ＳＴ２０３）。
【００６３】
次に、領域データ抽出部３１において、物体領域（外接矩形）内の１つセルＣｊ（ｊ＝１〜Ｍ）を選定する（ＳＴ２０４）。そして、観測エリア全体のレーダデータから、選定したセルＣｊの反射強度、ドップラー速度、およびレンジを取得する（ＳＴ２０５）。
【００６４】
次に、画像生成部３２において、セルＣｊの反射強度、ドップラー速度、およびレンジに基づいて、そのセルＣｊに対応する位置の画素の画素値（ＲＧＢの各チャンネルの値）を設定する（ＳＴ２０６）。すなわち、Ｒ値ｒｊにセルＣｊの反射強度を設定し、Ｇ値ｇｊにセルＣｊのドップラー速度を設定し、Ｂ値ｂｊにセルＣｊのレンジを設定する。
【００６５】
次に、全てのセルの処理が終了したか否かを判定する（ＳＴ２０７）。ここで、全てのセルの処理が終了していない場合には（ＳＴ２０７でＮｏ）、ＳＴ２０４に戻り、次のセルを選定して、そのセルの処理を行う。
【００６６】
一方、全てのセルの処理が終了した場合には（ＳＴ２０７でＹｅｓ）、次に、画像生成部３２において、各画素の画素値に基づいて、物体領域のレーダ検出画像を生成する（ＳＴ２０８）。
【００６７】
次に、第１実施形態に係る物体判別装置１の学習時の動作手順について説明する。図７は、物体判別装置１における学習データ生成時および深層学習モデル構築時の動作手順を示すフロー図である。
【００６８】
物体判別装置１では、図７（Ａ）に示すように学習データ生成時には、まず、制御部１２において、レーダ装置２から過去に出力された学習用の観測エリア全体のレーダデータ（方位および距離に応じた反射強度およびドップラー速度）を取得する（ＳＴ３０１）。次に、物体検出部２１において、学習用の観測エリア全体のレーダデータから物体領域を検出する（ＳＴ３０２）。
【００６９】
次に、制御部１２において、１つの物体領域Ｒｉ（ｉ＝１〜Ｎ）を選定する（ＳＴ３０３）。
【００７０】
次に、データ処理部２２において、データ処理を行う（ＳＴ３０４）。具体的には、領域データ抽出部３１において、学習用の観測エリア全体のレーダデータから学習用の物体領域のレーダデータを抽出して、画像生成部３２において、学習用の物体領域のレーダデータに基づいて、学習用の物体領域のレーダ検出画像を生成する。この処理は、物体判別時（図６参照）と同様である。
【００７１】
次に、全ての物体領域の処理が終了したか否かを判定する（ＳＴ３０５）。ここで、全ての物体領域の処理が終了していない場合には（ＳＴ３０５でＮｏ）、ＳＴ３０３に戻り、次の物体領域を選定して、その物体領域の処理を行う。
【００７２】
一方、全ての物体領域の処理が終了した場合には（ＳＴ３０５でＹｅｓ）、次に、学習データ生成部２４において、各物体領域の物体判別結果（ラベル）を取得する（ＳＴ３０６）。この物体判別結果は、作業者が目視で判断して入力したものである。
【００７３】
次に、画像生成部３２で取得した各物体領域のレーダ検出画像と、物体判別結果（ラベル）とを対応付けた学習データを生成する（ＳＴ３０７）。
【００７４】
このようにして学習データを生成するが、この学習データはできるだけ大量に生成することが望ましい。このため、場所や時間が異なる大量のレーダレーダ（ヒートマップ）を集めて、学習用のレーダ検出画像を大量に生成するようにするとよい。
【００７５】
なお、図７に示す例では、観測エリア全体のレーダデータ（ヒートマップ）に含まれる全ての物体領域を対象にして学習データを生成するようにしたが、一部の物体領域のみを対象にして学習データを生成するようにしてもよい。
【００７６】
また、物体判別装置１では、図７（Ｂ）に示すように深層学習モデル構築時には、まず、学習処理部２５において、学習データ生成部２４で生成した学習データを用いて、深層学習モデルに対する学習処理を実行して、学習結果として、深層学習モデルのモデルパラメータ（設定情報）を取得する（ＳＴ３０８）。
【００７７】
次に、モデルパラメータを物体判別部２３の深層学習モデルに適用して、学習済みの深層学習モデルを構築する（ＳＴ３０９）。
【００７８】
（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図８は、第２実施形態に係る物体判別装置１の概略構成を示すブロック図である。
【００７９】
第１実施形態では、検出された物体領域の物体を判別する物体判別を深層学習モデルで行うようにしたが、本実施形態では、物体判別の他に、物体領域を検出する物体検出を深層学習モデルで行うようにする。
【００８０】
物体判別装置１の制御部１２は、データ処理部４１と、物体検出判別部４２と、学習データ生成部２４と、学習処理部２５と、を備えている。
【００８１】
データ処理部４１は、画像生成部４３を備えている。この画像生成部４３は、観測エリア全体のレーダデータに基づいて、観測エリア全体のレーダ検出画像を生成する。
【００８２】
物体検出判別部４２は、画像生成部４３で生成した観測エリア全体のレーダ検出画像を学習済みの深層学習モデルに入力して、深層学習モデルで物体検出と物体判別とを行い、深層学習モデルから出力される物体判別結果を取得する。この深層学習モデルには、探索機能付き深層学習モデルを用いられる。この探索機能付き深層学習モデルとしては、Ｆａｓｔｅｒ  Ｒ‐ＣＮＮ（regions with convolutional neural network）が好適である。
【００８３】
次に、第２実施形態に係る物体判別装置１の物体判別時の動作手順について説明する。図９は、物体判別装置１の物体判別時の動作手順を示すフロー図である。図１０は、データ処理（図９のＳＴ１１１）の動作手順を示すフロー図である。
【００８４】
物体判別装置１では、図９に示すように、まず、制御部１２において、レーダ装置２から出力された観測エリア全体のレーダデータ（方位および距離に応じた反射強度およびドップラー速度）を取得する（ＳＴ１０１）。
【００８５】
次に、データ処理部２２において、データ処理を行う（ＳＴ１１１）。具体的には、画像生成部４３において、観測エリア全体のレーダデータに基づいて、観測エリア全体のレーダ検出画像を生成する。
【００８６】
次に、物体検出判別部４２において、画像生成部４３で生成した観測エリア全体のレーダ検出画像を、学習済みの深層学習モデルに入力して、深層学習モデルにおいて物体検出および物体判別を行い、深層学習モデルから出力される物体判別結果を取得する（ＳＴ１１２）。
【００８７】
次に、検出した物体ごとの物体判別結果および位置情報を出力する（ＳＴ１０７）。
【００８８】
データ処理（ＳＴ１１１）では、図１０に示すように、まず、データ処理部２２において、１つセルＣｊ（ｊ＝１〜Ｍ）を選定する（ＳＴ２０４）。そして、観測エリア全体のレーダデータから、選定したセルＣｊの反射強度、ドップラー速度、およびレンジを取得する（ＳＴ２０５）。
【００８９】
次に、画像生成部３２において、セルＣｊの反射強度、ドップラー速度、およびレンジに基づいて、そのセルＣｊに対応する位置の画素の画素値（ＲＧＢの各チャンネルの値）を設定する（ＳＴ２０６）。すなわち、Ｒ値ｒｊにセルＣｊの反射強度を設定し、Ｇ値ｇｊにセルＣｊのドップラー速度を設定し、Ｂ値ｂｊにセルＣｊのレンジを設定する。
【００９０】
次に、全てのセルの処理が終了したか否かを判定する（ＳＴ２０７）。ここで、全てのセルの処理が終了していない場合には（ＳＴ２０７でＮｏ）、ＳＴ２０４に戻り、次のセルを選定して、そのセルの処理を行う。
【００９１】
一方、全てのセルの処理が終了した場合には（ＳＴ２０７でＹｅｓ）、次に、画像生成部３２において、各画素の画素値に基づいて、観測エリア全体のレーダ検出画像を生成する（ＳＴ２０８）。
【００９２】
次に、第２実施形態に係る物体判別装置１の学習時の動作手順について説明する。図１１は、物体判別装置１における学習データ生成時および深層学習モデル構築時の動作手順を示すフロー図である。
【００９３】
物体判別装置１では、図１１（Ａ）に示すように学習データ生成時には、まず、制御部１２において、レーダ装置２から過去に出力された学習用の観測エリア全体のレーダデータ（方位および距離に応じた反射強度およびドップラー速度）を取得する（ＳＴ３０１）。
【００９４】
次に、データ処理部４１において、データ処理を行う（ＳＴ３１１）。具体的には、画像生成部４３において、学習用の観測エリア全体のレーダデータに基づいて、学習用の観測エリア全体のレーダ検出画像を生成する。この処理は、物体判別時（図１０参照）と同様である。
【００９５】
次に、学習データ生成部２４において、物体領域の物体判別結果（ラベル）を取得する（ＳＴ３１２）。この物体判別結果は、作業者が目視で判断して入力したものである。なお、学習用の観測エリア全体のレーダデータに、複数の物体領域が含まれる場合には、各物体領域の物体判別結果（ラベル）を取得する。
【００９６】
次に、画像生成部３２で取得した学習用の観測エリア全体のレーダ検出画像と、物体判別結果（ラベル）とを対応付けた学習データを生成する（ＳＴ３１３）。
【００９７】
また、物体判別装置１では、図１１（Ｂ）に示すように深層学習モデル構築時には、まず、学習処理部２５において、学習データ生成部２４で生成した学習データを用いて、深層学習モデルに対する学習処理を実行して、学習結果として、深層学習モデルのモデルパラメータ（設定情報）を取得する（ＳＴ３１４）。
【００９８】
次に、モデルパラメータを物体検出判別部４２の深層学習モデルに適用して、学習済みの深層学習モデルを構築する（ＳＴ３１５）。
【００９９】
（第３実施形態）
次に、第３実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１２は、第３実施形態に係る物体判別装置１の概略構成を示すブロック図である。
【０１００】
第１実施形態では、物体領域のレンジ（距離）に関係なく、物体領域のレーダ検出画像を同一サイズで生成するようにしたが、物体領域の距離（レンジ）に応じて、物体領域のレーダデータの情報量（セル数）が大きく異なる（図３参照）。
【０１０１】
そこで、本実施形態では、物体領域の距離（レンジ）に応じて、物体領域のレーダデータを異なるサイズで画像化して、サイズが異なるレーダ検出画像を生成する。特に本実施形態では、遠距離と近距離との２通りに場合分けしてレーダデータを画像化する。
【０１０２】
物体判別装置１の制御部１２は、物体検出部２１と、分配部５１と、第１のデータ処理部５２と、第２のデータ処理部５３と、第１の物体判別部５４と、第２の物体判別部５５と、学習データ生成部２４と、学習処理部２５と、を備えている。
【０１０３】
分配部５１は、物体検出部２１で検出した物体領域の距離（レンジ）に基づいて、レーダデータの処理を第１のデータ処理部５２と第２のデータ処理部５３とに振り分ける。具体的には、物体領域の距離が所定値以上となる遠距離の場合には、レーダデータの処理を第１のデータ処理部５２に行わせ、物体領域の距離が所定値未満となる近距離の場合には、レーダデータの処理を第２のデータ処理部５３に行わせる。
【０１０４】
第１のデータ処理部５２は、物体領域が遠距離である場合に、レーダデータを処理するものであり、第１の領域データ抽出部６１と、第１の画像生成部６２と、を備えている。この第１のデータ処理部５２では、物体領域のレーダデータを抽出して、サイズが小さいレーダ検出画像を生成する。
【０１０５】
第２のデータ処理部５３は、物体領域が近距離である場合に、レーダデータを処理するものであり、第２の領域データ抽出部６３と、第２の画像生成部６４と、を備えている。この第２のデータ処理部５３では、物体領域のレーダデータを抽出して、サイズが大きいレーダ検出画像を生成する。
【０１０６】
なお、第１の領域データ抽出部６１および第２の領域データ抽出部６３で行われる処理は、第１実施形態の領域データ抽出部３１と同様であり、第１の画像生成部６２および第２の画像生成部６４で行われる処理は、第１実施形態の画像生成部３２と同様である。
【０１０７】
第１の物体判別部５４は、第１のデータ処理部５２で生成したサイズが小さいレーダ検出画像を対象にして、第１の深層学習モデルを用いて物体判別を行う。
【０１０８】
第２の物体判別部５５は、第２のデータ処理部５３で生成したサイズが大きいレーダ検出画像を対象にして、第２の深層学習モデルを用いて物体判別を行う。
【０１０９】
なお、本実施形態では、物体領域の距離（レンジ）に応じて、２通りに場合分けしてレーダデータを画像化するようにしたが、３通り以上に場合分けしてレーダデータを画像化するようにしてもよい。
【０１１０】
次に、第３実施形態に係る物体判別装置１の物体判別時の動作手順について説明する。図１３は、物体判別装置１の物体判別時の動作手順を示すフロー図である。
【０１１１】
物体判別装置１では、まず、制御部１２において、レーダ装置２から出力された観測エリア全体のレーダデータ（方位および距離に応じた反射強度およびドップラー速度）を取得する（ＳＴ１０１）。次に、物体検出部２１において、観測エリア全体のレーダデータから物体領域を検出する（ＳＴ１０２）。
【０１１２】
次に、制御部１２において、１つの物体領域Ｒｉ（ｉ＝１〜Ｎ）を選定する（ＳＴ１０３）。
【０１１３】
次に、分配部５１において、物体領域Ｒｉの中心点のレンジ値がしきい値以上か否かを判定する（ＳＴ１２１）。
【０１１４】
ここで、物体領域Ｒｉの中心点のレンジ値がしきい値以上である、すなわち物体領域Ｒｉが遠距離である場合には（ＳＴ１２１でＹｅｓ）、第１のデータ処理部５２において、データ処理を行う（ＳＴ１２２）。具体的には、第１の領域データ抽出部６１において、観測エリア全体のレーダデータから物体領域のレーダデータを抽出して、第１の画像生成部６２において、物体領域のレーダデータに基づいて、物体領域のレーダ検出画像を生成する。なお、このデータ処理は、第１実施形態（図６参照）と同様である。
【０１１５】
次に、第１の物体判別部５４において、第１の画像生成部６２で生成した物体領域のレーダ検出画像を、学習済みの深層学習モデルに入力して、その深層学習モデルにおいて物体判別を行い、深層学習モデルから出力される物体判別結果を取得する（ＳＴ１２３）。
【０１１６】
一方、物体領域Ｒｉの中心点のレンジ値がしきい値未満である、すなわち物体領域Ｒｉが近距離である場合には（ＳＴ１２１でＮｏ）、第２のデータ処理部５３において、データ処理を行う（ＳＴ１２４）。具体的には、第２の領域データ抽出部６３において、観測エリア全体のレーダデータから物体領域のレーダデータを抽出して、第２の画像生成部６４において、物体領域のレーダデータに基づいて、物体領域のレーダ検出画像を生成する。なお、このデータ処理は、第１実施形態（図６参照）と同様である。
【０１１７】
次に、第２の物体判別部５５において、第２の画像生成部６４で生成した物体領域のレーダ検出画像を、学習済みの深層学習モデルに入力して、その深層学習モデルにおいて物体判別を行い、深層学習モデルから出力される物体判別結果を取得する（ＳＴ１２５）。
【０１１８】
次に、全ての物体領域の処理が終了したか否かを判定する（ＳＴ１０６）。ここで、全ての物体領域の処理が終了していない場合には（ＳＴ１０６でＮｏ）、ＳＴ１０３に戻り、次の物体領域を選定して、その物体領域の処理を行う。
【０１１９】
一方、全ての物体領域の処理が終了した場合には（ＳＴ１０６でＹｅｓ）、制御部１２において、第１の物体判別部５４または第２の物体判別部５５で取得した物体領域ごとの物体判別結果および位置情報を出力する（ＳＴ１０７）。
【０１２０】
なお、物体判別装置１の学習時の動作手順は、第１実施形態（図７参照）と略同様であるが、本実施形態では、第１の物体判別部５４と第２の物体判別部５５とで処理対象となるレーダ検出画像のサイズが異なるため、各々に対応したサイズで学習用のレーダ検出画像を生成する。
【０１２１】
（第４実施形態）
次に、第４実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１４は、第４実施形態に係る物体判別装置１の概略構成を示すブロック図である。
【０１２２】
レーダ装置２では、ビーム走査周期に対応する間隔（例えば５０ｍｓ）で、各時刻の観測エリア全体のレーダデータが出力され、この各時刻の観測エリア全体のレーダデータから抽出された各時刻の物体領域のレーダデータを画像化すると、高速なフレームレート（例えば２０ｆｐｓ）でレーダ検出画像が生成されるが、このような高速なフレームレートのレーダ検出画像は、物体判別では必ずしも必要ない。
【０１２３】
そこで、本実施形態では、複数の時刻の観測エリア全体のレーダデータからそれぞれ抽出された複数の時刻の物体領域のレーダデータを合成（統合）して、合成されたレーダデータを画像化して、物体領域のレーダ検出画像を生成する。これにより、物体判別の精度を向上させることができる。
【０１２４】
物体判別装置１の制御部１２は、物体検出部２１と、データ処理部７１と、物体判別部２３と、学習データ生成部２４と、学習処理部２５と、を備えている。データ処理部７１は、領域データ抽出部３１と、データ合成部７２と、画像生成部３２と、を備えている。
【０１２５】
データ合成部７２は、領域データ抽出部３１で取得した複数の時刻の物体領域のレーダデータを合成（統合）して、物体領域の合成レーダデータを生成する。
【０１２６】
このとき、複数の時刻のレーダデータにおける各セルのデータを、レーダ検出画像における対応する位置の異なる画素の画素値に設定する。これにより、元のレーダデータを、改変せずにそのままレーダ検出画像に格納することができる。この場合、レーダ検出画像の画素数が増大し、例えば、４つの時刻のレーダデータを合成すると、４倍の画素数のレーダ検出画像を生成することができる。
【０１２７】
また、複数の時刻のレーダデータにおける各セルのデータを統計処理して、各セルの代表値（最大値、平均値など）を取得して、その代表値を、レーダ検出画像における対応する位置の画素値に設定するようにしてもよい。
【０１２８】
次に、第４実施形態に係る物体判別装置１の物体判別時の動作手順について説明する。図１５は、物体判別装置１の物体判別時の動作手順を示すフロー図である。
【０１２９】
物体判別装置１では、まず、制御部１２において、レーダ装置２から出力された観測エリア全体のレーダデータ（方位および距離に応じた反射強度およびドップラー速度）を取得する（ＳＴ１０１）。次に、物体検出部２１において、観測エリア全体のレーダデータから物体領域を検出する（ＳＴ１０２）。
【０１３０】
次に、制御部１２において、１つの物体領域Ｒｉ（ｉ＝１〜Ｎ）を選定する（ＳＴ１０３）。
【０１３１】
次に、データ処理部２２の領域データ抽出部３１において、観測エリア全体のレーダデータから物体領域のレーダデータを抽出する（ＳＴ１３１）。
【０１３２】
次に、データ合成部７２において、所定数の時刻のレーダデータが揃ったか否かを判定する（ＳＴ１３２）。
【０１３３】
ここで、所定数の時刻のレーダデータが揃っていない場合には（ＳＴ１３２でＮｏ）、現時刻の物体領域のレーダデータを記憶部１３に一時的に蓄積する（ＳＴ１３３）。そして、ＳＴ１０６に進む。
【０１３４】
一方、所定数の時刻のレーダデータが揃った場合には（ＳＴ１３２でＹｅｓ）、データ合成部７２において、記憶部１３に蓄積された過去の時刻の物体領域のレーダデータを取得して、その過去の時刻の物体領域のレーダデータと、領域データ抽出部３１で取得した現時刻の物体領域のレーダデータとを合成する（ＳＴ１３４）。
【０１３５】
次に、画像生成部３２において、データ合成部７２で取得した物体領域の合成レーダデータに基づいて、物体領域のレーダ検出画像を生成する（ＳＴ１３５）。
【０１３６】
次に、物体判別部２３において、画像生成部３２で生成した物体領域のレーダ検出画像を、学習済みの深層学習モデルに入力して、その深層学習モデルにおいて物体判別を行い、深層学習モデルから出力される物体判別結果を取得する（ＳＴ１０５）。
【０１３７】
次に、全ての物体領域の処理が終了したか否かを判定する（ＳＴ１０６）。ここで、全ての物体領域の処理が終了していない場合には（ＳＴ１０６でＮｏ）、ＳＴ１０３に戻り、次の物体領域を選定して、その物体領域の処理を行う。
【０１３８】
一方、全ての物体領域の処理が終了した場合には（ＳＴ１０６でＹｅｓ）、次に、物体判別結果を出力するタイミングか否かを判定する（ＳＴ１３６）。具体的には、例えば、４つの時刻のレーダデータを合成する場合は、フレーム順番が４の倍数の時に出力するタイミングであると判定する。
【０１３９】
ここで、物体判別結果を出力するタイミングでない場合には（ＳＴ１３６でＮｏ）、ＳＴ１０１に戻り、次の時刻の処理を行う。
【０１４０】
一方、物体判別結果を出力するタイミングである場合には（ＳＴ１３６でＹｅｓ）、制御部１２において、物体判別部２３で取得した物体領域ごとの物体判別結果および位置情報を出力する（ＳＴ１０７）。
【０１４１】
なお、物体判別装置１の学習時の動作手順は、第１実施形態（図７参照）と同様であるが、本実施形態では、複数の時刻のレーダデータを合成した上でレーダ検出画像を生成するため、学習用のレーダ検出画像に、複数の時刻の学習用のレーダデータを合成した上で画像化したものを用いるようにしてもよいが、複数の時刻のレーダデータを合成せずに、１つの時刻の学習用のレーダデータをそのまま画像化したものでもよい。
【０１４２】
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
【産業上の利用可能性】
【０１４３】
本発明に係るレーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法は、機械学習モデルを用いることで、レーダデータに基づく物体判別を高精度に行うことができる効果を有し、レーダ装置から出力されるレーダデータを処理するレーダデータ処理装置およびレーダデータ処理方法、ならびにレーダ装置から出力されるレーダデータに基づいて物体を判別する物体判別装置および物体判別方法などとして有用である。
【符号の説明】
【０１４４】
１  物体判別装置（レーダデータ処理装置、情報処理装置）
２  レーダ装置
１１  データ入力部
１２  制御部
１３  記憶部
１４  データ出力部
【図１】
2020016597.tif 000003
【図２】
2020016597.tif 000004
【図３】
2020016597.tif 000005
【図４】
2020016597.tif 000006
【図５】
2020016597.tif 000007
【図６】
2020016597.tif 000008
【図７】
2020016597.tif 000009
【図８】
2020016597.tif 000010
【図９】
2020016597.tif 000011
【図１０】
2020016597.tif 000012
【図１１】
2020016597.tif 000013
【図１２】
2020016597.tif 000014
【図１３】
2020016597.tif 000015
【図１４】
2020016597.tif 000016
【図１５】
2020016597.tif 000017