(57)【要約】【課題】  自体運動推定装置及び方法並びにそのトレーニング装置及び方法を提供すること。【解決手段】  自体運動推定装置は、複数の時間フレームのそれぞれに対する１つ以上のレーダーセンサによって収集されるレーダー検出データに基づいて入力データを生成し、モーション認識モデルを用いて入力データに基づいて自体運動情報を推定する。【選択図】      図２
2020003489.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサで実現される自体運動推定方法において、
複数の時間フレームのそれぞれに対して、１つ以上のレーダーセンサによって収集されたレーダー検出データから入力データを生成するステップと、
モーション認識モデルを用いて、前記入力データに基づいて自体運動情報を推定するステップと、
を含む自体運動推定方法。
【請求項２】
前記自体運動情報を推定するステップは、
前記モーション認識モデルの第１モデルを用いて、前記入力データから特徴データを抽出するステップと、
前記モーション認識モデルの第２モデルに基づいて、前記特徴データに基づいて前記自体運動情報を決定するステップと、
を含む、請求項１に記載の自体運動推定方法。
【請求項３】
前記自体運動情報を推定するステップは、前記自体運動情報として装置の位置及び姿勢のうち少なくとも１つを決定するステップを含む、請求項１に記載の自体運動推定方法。
【請求項４】
前記自体運動情報を推定するステップは、少なくとも二つの時間フレームに対応するレーダー検出データを前記モーション認識モデルのうち前記少なくとも二つの時間フレームに対応するレイヤに、前記入力データとして入力するステップを含む、請求項１に記載の自体運動推定方法。
【請求項５】
前記自体運動情報を推定するステップは、
第１モデルを用いて、前記時間フレームのうち以前フレーム及び現在フレームの入力データから現在特徴データを抽出するステップと、
第２モデルを用いて前記現在特徴データに基づいて現在の自体運動情報を決定するステップと、
を含む、請求項１に記載の自体運動推定方法。
【請求項６】
前記自体運動情報を推定するステップは、
前記第１モデルを用いて、前記現在フレーム及び前記時間フレームの次のフレームの入力データから次の特徴データを抽出するステップと、
前記第２モデルを用いて、前記次の特徴データに基づいて次の自体運動情報を決定するステップと、
を含む、請求項５に記載の自体運動推定方法。
【請求項７】
前記次の特徴データを抽出するステップは、前記次の特徴データを抽出する動作から前記以前フレームの前記入力データを排除するステップを含む、請求項６に記載の自体運動推定方法。
【請求項８】
前記第１モデルは、畳み込みニューラルネットワーク（ＣＮＮ）を含み、
前記第２モデルは、循環ニューラルネットワーク（ＲＮＮ）を含む、請求項５に記載の自体運動推定方法。
【請求項９】
前記モーション認識モデルは、
複数の時間フレームのそれぞれに対応するレイヤを含む第１モデルと、
前記第１モデルの複数のレイヤと接続される第２モデルと、
を含み、
前記自体運動情報を推定するステップは、
前記第１モデルで前記複数のレイヤのうち前記複数の時間フレームの時間フレームに対応するレイヤを用いて、前記時間フレームの入力データから特徴データを抽出するステップと、
前記第２モデルを用いて、前記抽出された特徴データに基づいて前記時間フレームに対応する自体運動情報を算出するステップと、
を含む、請求項１ないし８のうち何れか一項に記載の自体運動推定方法。
【請求項１０】
前記自体運動情報を推定するステップは、
第１モデルを用いて、現在フレームに対応する入力データから現在特徴データを抽出するステップと、
以前フレームに対応する以前特徴データをメモリからロードするステップと、
第２モデルを用いて、前記以前特徴データ及び前記現在特徴データに基づいて前記自体運動情報を決定するステップと、
を含む、請求項１に記載の自体運動推定方法。
【請求項１１】
前記モーション認識モデルに含まれた第１モデルを用いて、現在フレームに対して決定された特徴データをメモリに格納するステップをさらに含む、請求項１ないし８のうち何れか一項に記載の自体運動推定方法。
【請求項１２】
前記入力データを生成するステップは、
装置の外郭に沿って配置された１つ以上のレーダーセンサがレーダー信号を検出するステップと、
前記検出されたレーダー信号を前処理することで前記レーダー検出データを生成するステップと、
前記前処理されたレーダー信号に基づいて前記入力データを生成するステップと、
を含む、請求項１に記載の自体運動推定方法。
【請求項１３】
前記入力データを生成するステップは、時間フレームのうち互いに対して予め決定された時間間隔だけ差のある時間フレームの前記レーダー検出データを二以上選択するステップと、
前記選択されたレーダー検出データに基づいて前記入力データを生成するステップと、
を含む、請求項１に記載の自体運動推定方法。
【請求項１４】
前記入力データを生成するステップは、次のフレームに対応するレーダー検出データの受信に応答して、前記入力データにスタックされた前記複数の時間フレームのうち最初のフレームに対応するレーダー検出データを排除するステップを含む、請求項１に記載の自体運動推定方法。
【請求項１５】
前記入力データを生成するステップは、１つ以上のレーダー信号から量子化された速度ごとに前記レーダーセンサにより検出された地点の距離及び角度を指示するレーダー検出データを生成するステップを含む、請求項１に記載の自体運動推定方法。
【請求項１６】
前記入力データを生成するステップは、前記レーダー検出データから量子化された高度角ごとに前記１つ以上のレーダーセンサにより検出された地点の距離及び水平角を指示する入力データを生成するステップを含む、請求項１に記載の自体運動推定方法。
【請求項１７】
前記入力データを生成するステップは、
前記レーダー検出データを前記１つ以上のレーダーセンサにより検出された静的な地点に関する静的データ、及び前記１つ以上のレーダーセンサにより検出された動的な地点に関する動的データとに区別するステップと、
前記静的データに基づいて量子化された高度角ごとに、前記静的な地点の距離及び水平角を指示する静的入力データを生成するステップと、
前記動的データに基づいて量子化された高度角ごとに、前記動的な地点の距離及び水平角を指示する動的入力データを生成するステップと、
を含む、請求項１に記載の自体運動推定方法。
【請求項１８】
前記モーション認識モデルは、畳み込みニューラルネットワーク（ＣＮＮ）及び循環ニューラルネットワークを含む、請求項１ないし１７のうち何れか一項に記載の自体運動推定方法。
【請求項１９】
前記循環ニューラルネットワークは、双方向循環ニューラルネットワークである、請求項１８に記載の自体運動推定方法。
【請求項２０】
前記自体運動情報を推定するステップは、前記入力データに複数の時間フレームに対応する複数のレーダー検出データがスタックされた場合に応答して、前記複数の時間フレームのそれぞれに対して自体運動情報を決定するステップを含む、請求項１に記載の自体運動推定方法。
【請求項２１】
前記推定された自体運動情報に基づいて、装置の周辺に存在するオブジェクトを検出するステップを含む、請求項１ないし２０のうち何れか一項に記載の自体運動推定方法。
【請求項２２】
基準レーダー検出データに基づいて、複数のトレーニング時間フレームに対する基準入力データ及び前記基準入力データに対応する基準出力データを生成するステップと、
前記基準入力データに基づいて、前記基準出力データを出力するようにモデルのパラメータをトレーニングさせることで前記モーション認識モデルを生成するステップと、
を含む、請求項１に記載の自体運動推定方法。
【請求項２３】
請求項１に記載の自体運動推定方法を装置のコンピュータに実行させるための命令語を含む１つ以上のコンピュータプログラム。
【請求項２４】
プロセッサで実現される自体運動推定方法において、
基準レーダー検出データに基づいて、複数の時間フレームに対する基準入力データ及び前記基準入力データに対応する基準出力データを生成するステップと、
前記基準入力データに基づいて、前記基準出力データを出力するようにモデルのパラメータをトレーニングさせることでモーション認識モデルを生成するステップと、
を含むモデルトレーニング方法。
【請求項２５】
自体運動推定装置において、
レーダー検出データを生成する１つ以上のレーダーセンサと、
前記レーダー検出データの複数の時間フレームのそれぞれに対して前記レーダー検出データに基づいて入力データを生成し、モーション認識モデルを用いて前記入力データに基づいて自体運動情報を推定する１つ以上のプロセッサと、
を含む自体運動推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
以下、モーション認識モデルを用いた自体運動推定技術が提供される。
【背景技術】
【０００２】
近年、入力パターンを特定グループに分類する問題を解決するために、人が有する効率的なパターン認識方法を実際のコンピュータに適用させようとする研究が盛んに行われている。このような研究の１つとして、人の生物学的な神経細胞の特性を数学的な表現によりモデリングした人工ニューラルネットワーク（ａｒｔｉｆｉｃｉａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）に対する研究が行われている。入力パターンを特定のグループに分類する問題を解決するために、人工ニューラルネットワークは、人が有している学習という能力を模倣したアルゴリズムを用いる。このアルゴリズムによって人工ニューラルネットワークは、入力パターンと出力パターンとの間のマッピングを生成し、このようなマッピングを生成する能力は、人工ニューラルネットワークの学習能力と表現される。また、人工ニューラルネットワークは、学習された結果に基づいて学習に利用されていない入力パターンに対して比較的に正しい出力を生成できる一般化能力を有する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
一実施形態に係る自体運動推定装置の目的は、時間フレームごとに測定された自分の位置情報を正確に推定することにある。
【０００４】
一実施形態に係る自体運動推定装置の目的は、複数のレーダーセンサを含む場合、それぞれのレーダーセンサをローカルライジングすることにある。
【０００５】
一実施形態に係る自体運動推定装置の目的は、時間が経過しても正確度を保持することにある。
【課題を解決するための手段】
【０００６】
一実施形態に係るプロセッサで実現される自体運動推定方法は、複数の時間フレームのそれぞれに対して、１つ以上のレーダーセンサによって収集されたレーダー検出データから入力データを生成するステップと、モーション認識モデルを用いて、前記入力データに基づいて自体運動情報を推定するステップとを含む。
【０００７】
前記自体運動情報を推定するステップは、前記モーション認識モデルの第１モデルを用いて、前記入力データから特徴データを抽出するステップと、前記モーション認識モデルの第２モデルに基づいて、前記特徴データに基づいて前記自体運動情報を決定するステップとを含み得る。
【０００８】
前記自体運動情報を推定するステップは、前記自体運動情報として装置の位置及び姿勢のうち少なくとも１つを決定するステップを含み得る。
【０００９】
前記自体運動情報を推定するステップは、少なくとも二つの時間フレームに対応するレーダー検出データを前記モーション認識モデルのうち前記少なくとも二つの時間フレームに対応するレイヤに、前記入力データとして入力するステップを含み得る。
【００１０】
前記自体運動情報を推定するステップは、第１モデルを用いて、前記時間フレームのうち以前フレーム及び現在フレームの入力データから現在特徴データを抽出するステップと、第２モデルを用いて前記現在特徴データに基づいて現在の自体運動情報を決定するステップとを含み得る。
【００１１】
前記自体運動情報を推定するステップは、前記第１モデルを用いて、前記現在フレーム及び前記時間フレームの次のフレームの入力データから次の特徴データを抽出するステップと、前記第２モデルを用いて、前記次の特徴データに基づいて次の自体運動情報を決定するステップとを含み得る。
【００１２】
前記次の特徴データを抽出するステップは、前記次の特徴データを抽出する動作から前記以前フレームの前記入力データを排除するステップを含み得る。
【００１３】
前記第１モデルは、畳み込みニューラルネットワーク（ＣＮＮ）を含み、前記第２モデルは、循環ニューラルネットワーク（ＲＮＮ）を含み得る。
【００１４】
前記モーション認識モデルは、複数の時間フレームのそれぞれに対応するレイヤを含む第１モデルと、前記第１モデルの複数のレイヤと接続される第２モデルとを含み、前記自体運動情報を推定するステップは、前記第１モデルで前記複数のレイヤのうち前記複数の時間フレームの時間フレームに対応するレイヤを用いて、前記時間フレームの入力データから特徴データを抽出するステップと、前記第２モデルを用いて、前記抽出された特徴データに基づいて前記時間フレームに対応する自体運動情報を算出するステップとを含み得る。
【００１５】
前記自体運動情報を推定するステップは、第１モデルを用いて、現在フレームに対応する入力データから現在特徴データを抽出するステップと、以前フレームに対応する以前特徴データをメモリからロードするステップと、第２モデルを用いて、前記以前特徴データ及び前記現在特徴データに基づいて前記自体運動情報を決定するステップとを含み得る。
【００１６】
自体運動推定方法は、前記モーション認識モデルに含まれた第１モデルを用いて、現在フレームに対して決定された特徴データをメモリに格納するステップをさらに含み得る。
【００１７】
前記入力データを生成するステップは、装置の外郭に沿って配置された１つ以上のレーダーセンサがレーダー信号を検出するステップと、前記検出されたレーダー信号を前処理することで前記レーダー検出データを生成するステップと、前記前処理されたレーダー信号に基づいて前記入力データを生成するステップとを含み得る。
【００１８】
前記入力データを生成するステップは、時間フレームのうち互いに対して予め決定された時間間隔だけ差のある時間フレームの前記レーダー検出データを二以上選択するステップと、前記選択されたレーダー検出データに基づいて前記入力データを生成するステップとを含み得る。
【００１９】
前記入力データを生成するステップは、次のフレームに対応するレーダー検出データの受信に応答して、前記入力データにスタックされた前記複数の時間フレームのうち最初のフレームに対応するレーダー検出データを排除するステップを含み得る。
【００２０】
前記入力データを生成するステップは、１つ以上のレーダー信号から量子化された速度ごとに前記レーダーセンサにより検出された地点の距離及び角度を指示するレーダー検出データを生成するステップを含み得る。
【００２１】
前記入力データを生成するステップは、前記レーダー検出データから量子化された高度角ごとに前記一つ以上のレーダーセンサにより検出された地点の距離及び水平角を指示する入力データを生成するステップを含み得る。
【００２２】
前記入力データを生成するステップは、前記レーダー検出データを前記一つ以上のレーダーセンサにより検出された静的な地点に関する静的データ、及び前記一つ以上のレーダーセンサにより検出された動的な地点に関する動的データとに区別するステップと、前記静的データに基づいて量子化された高度角ごとに、前記静的な地点の距離及び水平角を指示する静的入力データを生成するステップと、前記動的データに基づいて量子化された高度角ごとに、前記動的な地点の距離及び水平角を指示する動的入力データを生成するステップとを含み得る。
【００２３】
前記モーション認識モデルは、畳み込みニューラルネットワーク（ＣＮＮ）及び循環ニューラルネットワークを含み得る。
【００２４】
前記循環ニューラルネットワークは、双方向循環ニューラルネットワークであり得る。
【００２５】
前記自体運動情報を推定するステップは、前記入力データに複数の時間フレームに対応する複数のレーダー検出データがスタックされた場合に応答して、前記複数の時間フレームのそれぞれに対して自体運動情報を決定するステップを含み得る。
【００２６】
自体運動推定方法は、前記推定された自体運動情報に基づいて、装置の周辺に存在するオブジェクトを検出するステップを含み得る。
【００２７】
自体運動推定方法は、基準レーダー検出データに基づいて、複数のトレーニング時間フレームに対する基準入力データ及び前記基準入力データに対応する基準出力データを生成するステップと、前記基準入力データに基づいて、前記基準出力データを出力するようにモデルのパラメータをトレーニングさせることで前記モーション認識モデルを生成するステップとを含み得る。
【００２８】
一実施形態に係るプロセッサで実現される自体運動推定方法は、基準レーダー検出データに基づいて、複数の時間フレームに対する基準入力データ及び前記基準入力データに対応する基準出力データを生成するステップと、前記基準入力データに基づいて、前記基準出力データを出力するようにモデルのパラメータをトレーニングさせることでモーション認識モデルを生成するステップとを含む。
【００２９】
自体運動推定装置は、レーダー検出データを生成する１つ以上のレーダーセンサと、前記レーダー検出データの複数の時間フレームのそれぞれに対して前記レーダー検出データに基づいて入力データを生成し、モーション認識モデルを用いて前記入力データに基づいて自体運動情報を推定する１つ以上のプロセッサとを含む。
【発明の効果】
【００３０】
一実施形態に係る自体運動推定装置によると、時間フレームごとに測定された自分の正確な位置情報に基づいて、高解像度の映像を広い範囲に対して取得することができる。
【００３１】
一実施形態に係る自体運動推定装置によると、複数のレーダーセンサを含む場合、それぞれのレーダーセンサをローカルライジングし、その結果を融合することで、自体運動情報推定の正確度を高めることができる。
【００３２】
一実施形態に係る自体運動推定装置によると、ループ閉じ込み（ｌｏｏｐ  ｃｌｏｓｉｎｇ）のような特別な動作なくても、時間が経過しても正確度を保持することができる。
【００３３】
また、自体運動推定装置によると、撮影される場面（ｓｃｅｎｅ）のうち、動いている物体があっても正確度を保持することができる。
【図面の簡単な説明】
【００３４】
【図１】一実施形態に係るモーション認識モデルに基づいてレーダー検出データから自体運動情報を推定する過程を説明する図である。
【図２】一実施形態に係るモーション認識モデルの構造を説明する図である。
【図３】一実施形態に係る自体運動推定方法を示すフローチャートである。
【図４】一実施形態に係る自体運動推定装置を示すブロック図である。
【図５】一実施形態に係る自体運動推定の過程を示す図である。
【図６】一実施形態に係るモーション認識モデルの例示的な構造を説明する図である。
【図７】一実施形態に係る入力データの生成を説明する図である。
【図８】一実施形態に係る入力データの生成を説明する図である。
【図９】一実施形態に係るレーダー検出データのスタックによって生成された入力データを説明する図である。
【図１０】一実施形態に係るレーダー検出データのスタックによって生成された入力データを説明する図である。
【図１１】一実施形態に係るモデルトレーニング方法を説明するフローチャートである。
【図１２】一実施形態に係るモデルトレーニング方法を説明するフローチャートである。
【図１３】一実施形態に係るモデルトレーニング装置を示すブロック図である。
【図１４】一実施形態に係るモデルトレーニング過程を説明する図である。
【図１５】一実施形態に係る複数のレーダーセンサを用いる自体運動推定装置の例示を説明する図である。
【発明を実施するための形態】
【００３５】
下記で説明する実施形態は様々な変更が加えられることができる。特許出願の範囲がこのような実施形態によって制限も限定もされることはない。各図面に提示された同じ参照符号は同じ部材を示す。
【００３６】
本明細書で開示されている特定の構造的又は機能的な説明は単に実施形態を説明するための目的として例示されたものであり、実施形態は様々な異なる形態で実施され、本明細書に説明された実施形態に限定されることはない。
【００３７】
本明細書で用いた用語は、単に特定の実施形態を説明するために用いられるものであって、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【００３８】
異なる定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【００３９】
また、添付図面を参照して説明することにおいて、図面符号に関係なく同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略する。実施形態の説明において関連する公知技術に対する具体的な説明は省略する。
【００４０】
図１は、一実施形態に係るモーション認識モデルに基づいてレーダー検出データから自体運動情報を推定する過程を説明する図である。
【００４１】
一実施形態に係るモーション認識モデルは、レーダー検出データ１０１から自体運動情報１０９を出力するように設計されたモデルを示す。モーション認識モデルは機械学習構造を含むが、これに限定されることはない。自体運動推定装置は、モーション認識モデルを用いて複数の時間フレームに対するレーダー検出データ１０１がスタックされた入力データから、各時間フレームに対する自体運動情報１０９を一度に生成し得る。
【００４２】
レーダー検出データ１０１は、レーダーセンサによって検知されたデータであり得る。レーダーセンサは、例えば、レーダーセンサから放射された信号がターゲット地点から反射した信号を受信し、該当信号からレーダー検出データ１０１を生成する。レーダー検出データ１０１は、レーダーセンサからターゲット地点までの距離を含む。ただし、図１に示すように、レーダー検出データ１０１は、スタックされた形態でモーション認識モデルに入力されてもよい。
【００４３】
自体運動情報１０９は、装置自体の運動に関する情報として、例えば、装置自体の相対的な動き（ｒｅｌａｔｉｖｅ  ｍｏｖｅｍｅｎｔ）、座標、及び姿勢（ｐｏｓｅ）を含む。図１において、自体運動情報１０９は、Ｎ個の時間フレームごとに（ｘｉ、ｙｉ）の座標を示す。Ｎは１以上の整数であってもよく、ｉは１以上Ｎ以下の整数であってもよい。時間フレームは、時間が区分される単位を示す。ただし、自体運動情報１０９はこれに限定されることなく、３次元座標（例えば、ｘ、ｙ、ｚ座標、及び距離（ｒａｎｇｅ）、アジマス（ａｚｉｍｕｔｈ）、高度（ｅｌｅｖａｔｉｏｎ）座標など）、２次元座標（例えば、ｘ、ｙ座標、距離、角度座標など）、東向（Ｅａｓｔｉｎｇ）、北向（Ｎｏｒｔｈｉｎｇ）、高さ（Ｈｅｉｇｈｔ）、ローリング（Ｒｏｌｌ）、ヨー（Ｙａｗ）、ピッチ（Ｐｉｔｃｈ）、速度（Ｖｅｌｏｃｉｔｙ）などのような様々な値を含む。
【００４４】
一実施形態によれば、モーション認識モデルは、ニューラルネットワーク１００を含む。ニューラルネットワーク１００に基づいて、自体運動認識を行う方法及びその方法を行う装置（以下、自体運動推定装置）が提案され、該当のニューラルネットワーク１００をトレーニングさせる方法及び装置（以下、モデルトレーニング装置）が提案される。
【００４５】
まず、一実施形態に係る自体運動認識を説明する前にニューラルネットワーク１００の概略的な構造について下記のように説明する。
【００４６】
一実施形態によれば、ニューラルネットワーク１００は、複数のノードから構成される複数のレイヤを含む。また、ニューラルネットワーク１００は、複数のレイヤのそれぞれに含まれた複数のノードを他のレイヤに含まれたノードに連結させる接続加重値を含む。モデルトレーニング装置は、ニューラルネットワーク１００をメモリに格納された内部データベースから取得したり、通信部を介して外部サーバから受信して取得し得る。
【００４７】
例えば、ニューラルネットワーク１００は、接続線（ｅｄｇｅ）に接続された複数の人工ノードを用いて所望する作業を行う認識モデルを示す。ニューラルネットワーク１００は、ハードウェア、又は、ソフトウェア及びハードウェアの組合せで実現される。ニューラルネットワーク１００は、人工ニューラルネットワークと称されてもよい。
【００４８】
ニューラルネットワーク１００は、レイヤごとに区分される複数のノードを含む。ノードは、接続加重値（ｃｏｎｎｅｃｔｉｏｎ  ｗｅｉｇｈｔ）を有する接続線によって相互接続されてもよい。接続加重値は、接続線が有する特定の値であって、接続強度と称されてもよい。トレーニングにより、このような接続加重値は、トレーニングされたニューラルネットワークが最小閾値の正確度及び／又は正確度における最大閾値に達するまで繰り返し調整される。その後、接続加重値のトレーニングされた値は接続線の値に格納されてもよい。
【００４９】
ニューラルネットワーク１００は、複数のレイヤを含む。例えば、ニューラルネットワーク１００は、入力レイヤ１１０、隠しレイヤ１２０、出力レイヤ１３０を含む。入力レイヤ１１０は、トレーニング又は認識を行うための入力を受信して隠しレイヤ１２０に伝達し、出力レイヤ１３０は、隠しレイヤ１２０から受信した信号に基づいてニューラルネットワーク１００の出力を生成する。隠しレイヤ１２０は、入力レイヤ１１０と出力レイヤ１３０との間に位置し、入力レイヤ１１０によって伝えられたトレーニングデータのトレーニング入力を予測しやすい値に変化させ得る。
【００５０】
入力レイヤ１１０、隠しレイヤ１２０、及び出力レイヤ１３０は、複数のノードを含む。入力レイヤ１１０に含まれたノードは入力ノードと称され、隠しレイヤ１２０に含まれたノードは隠しノードと称され、出力レイヤ１３０に含まれたノードは出力ノードと称されてもよい。
【００５１】
入力レイヤ１１０に含まれた入力ノードと隠しレイヤ１２０に含まれた隠しノードは、接続加重値を有する接続線によって接続されてもよい。隠しレイヤ１２０に含まれた隠しノードと、出力レイヤ１３０に含まれた出力ノードは、接続加重値を有する接続線によって接続されてもよい。
【００５２】
図面に図示していないが、ニューラルネットワークは複数の隠しレイヤを含んでもよい。複数の隠しレイヤを含むニューラルネットワークは、深度ニューラルネットワーク（ｄｅｅｐ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）と称されてもよい。深度ニューラルネットワークを学習させることは深度学習に称されてもよい。隠しレイヤ１２０に第１隠しレイヤ、第２隠しレイヤ、及び第３隠しレイヤが含まれる場合を仮定すると、第１隠しレイヤに属する隠しノードの出力は、第２隠しレイヤに属する隠しノードに接続されてもよい。第２隠しレイヤに属する隠しノードの出力は、第３隠しレイヤに属する隠しノードに接続されてもよい。
【００５３】
例えば、モデルトレーニング装置及び自体運動推定装置は、各隠しレイヤに以前の隠しレイヤに含まれた以前の隠しノードの出力を接続加重値を有する接続線により入力し、以前の隠しノードの出力に接続加重値が適用された値及び活性化関数に基づいて隠しレイヤに含まれた隠しノードの出力を生成する。一例示によれば、次の隠しノードに出力を伝えるために、活性化関数の結果は現在の隠しノードの閾値を超えなければならない。この場合、ノードは、入力ベクトルによって特定の閾値活性化強度に達する前には次のノードに信号を伝えることなく、不活性化状態を保持する。
【００５４】
一実施形態に係るモデルトレーニング装置は、監督学習（ｓｕｐｅｒｖｉｓｅｄ  ｌｅａｒｎｉｎｇ）によってニューラルネットワーク１００をトレーニングさせる。モデルトレーニング装置は、ハードウェアモジュール、又は、ソフトウェアモジュール、及びハードウェアモジュールの組合せで実現する。監督学習は、トレーニングデータのトレーニング入力それに対応するトレーニング出力をともにニューラルネットワーク１００に入力し、トレーニングデータのトレーニング出力に対応する出力データが出力されるように接続線の接続加重値をアップデートする方式（例えば、逆伝播方式）である。図１は、ニューラルネットワークの構造をノード構造のように表現したが、実施形態はこのようなノード構造に限定されることはない。メモリストレージにニューラルネットワークを格納するために様々なデータ構造を用いてもよい。
【００５５】
トレーニングデータは、トレーニングに用いられるデータとして、トレーニング入力及び該当トレーニング入力に対応するトレーニング出力の対を含む。トレーニング入力は、例えば、予め収集されたサンプルレーダーデータであってもよい。トレーニング出力は、任意のトレーニング入力に対して与えられた出力されなければならない値として、例えば、サンプルレーダーデータに対して与えられた自体運動情報１０９である。
【００５６】
一実施形態によれば、モデルトレーニング装置は、ニューラルネットワークに逆伝播される損失及びニューラルネットワークに含まれたノードの出力値に基づいた勾配降下方によって、ノードのパラメータを決定する。例えば、モデルトレーニング装置は、誤差逆伝搬学習（ｂａｃｋ−ｐｒｏｐａｇａｔｉｏｎ  ｌｅａｒｎｉｎｇ）によってノード間の接続加重値をアップデートする。誤差逆伝搬学習は、与えられたトレーニングデータに対してフォワード算出により損失を推定した後、出力レイヤ１３０から開始して隠しレイヤ１２０及び入力レイヤ１１０に向かう逆方向に推定した損失を伝播しながら、損失を減らす方向に接続加重値をアップデートする方法である。ニューラルネットワーク１００の処理は、入力レイヤ１１０、隠しレイヤ１２０、及び出力レイヤ１３０の方向に進むが、誤差逆伝搬トレーニングで接続加重値のアップデート方向は、出力レイヤ１３０、隠しレイヤ１２０、及び入力レイヤ１１０の方向に進む。１つ又はそれ以上のプロセッサは、ニューラルネットワークを所望する方向に処理するために、レイヤ又は一連の算出データを格納するバッファメモリを用いてもよい。
【００５７】
モデルトレーニング装置は、現在に設定された接続加重値がどれ程最適に近いかを測定するための目的関数を定義し、目的関数の結果に基づいて接続加重値を続けて変更し、トレーニングを繰り返し行ってもよい。例えば、目的関数は、ニューラルネットワーク１００がトレーニングデータのトレーニング入力に基づいて実際の出力した出力値と、出力されることを所望する期待値（例えば、トレーニング出力）との間の損失を算出するための損失関数であり得る。モデルトレーニング装置は、損失関数の値を減らす方向に接続加重値をアップデートする。
【００５８】
以下は、一実施形態に係るモーション認識モデルの構成を詳細に説明する。
【００５９】
図２は、一実施形態に係るモーション認識モデルの構造を説明する図である。
【００６０】
モーション認識モデル２２０は、第１モデル２２１及び第２モデル２２２を含む。
【００６１】
第１モデル２２１は、任意のデータから特徴データを抽出するモデルを示す。例えば、自体運動推定装置は、第１モデル２２１に基づいて入力データ２１０から特徴データを抽出する。第１モデル２２１は、畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）を含む。第１モデル２２１は、複数の時間フレームのそれぞれに対応するレイヤ（Ｃｏｎｖ）を含む。例えば、図２に示すように、第１モデル２２１は、入力データ２１０のうち各時間フレームに対応する畳み込みレイヤを含む。
【００６２】
第２モデル２２２は、第１モデル２２１によって生成された特徴データを用いて自体運動情報２３０を生成するモデルを示す。例えば、自体運動推定装置は、第２モデル２２２を用いて、第１モデル２２１により生成された特徴データを用いて自体運動情報２３０を算出する。第２モデル２２２は、循環ニューラルネットワークを含み得る。例えば、第２モデル２２２は、循環ニューラルネットワークとして双方向循環ニューラルネットワーク（ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）を含んでもよい。図２に示すように、第２モデル２２２は、第１モデル２２１の各時間フレームに対応するレイヤに連結されるレイヤを含む。
【００６３】
入力データ２１０は、複数の時間フレームのそれぞれに対応するレーダー検出データ２０１がスタックされた構造のデータであり得る。例えば、時間フレームのそれぞれがスタックされ、第１モデル２２１の同じ畳み込みレイヤに入力されたり、複数の時間フレームがスタックされてもよい。ただし、該当のスタックから少なくとも１つの時間フレームが排除され、したがって、スタックされた時間フレームと共に第１モデル２２１の同じ畳み込みレイヤ２２１に入力されるものから排除され得る。例えば、図２において、入力データ２１０は、ｔ−１フレーム（例えば、以前フレーム）、ｔフレーム（例えば、現在フレーム）、ｔ＋１フレーム（例えば、次のフレーム）のレーダー検出データ２０１がスタックされたデータであり得る。ここで、ｔは１以上の整数であってもよい。
【００６４】
レーダー検出データ２０１は、図２において、ステアリングの角度ごとにターゲット地点までの距離を指示するスキャンイメージとして示されているが、これに限定されることはない。レーダー検出データ２０１は、時間フレームごとにレーダーセンサにより検出される全てのデータを含み得る。
【００６５】
一実施形態によれば、自体運動推定装置は、第１モデル２２１で複数の時間フレームのそれぞれに対応するレイヤに基づいて、該当時間フレームに対応する入力データ２１０から該当時間フレームに対応する特徴データを第１モデル２２１を用いて抽出する。自体運動推定装置は、第２モデル２２２に基づいて、抽出された特徴データから該当時間フレームに対応する自体運動情報２３０を第２モデル２２２を用いて算出する。さらに、自体運動推定装置は、モーション認識モデル２２０で一時間フレームに対応するレイヤに対して、二以上の時間フレームに対応するレーダー検出データ２０１を入力してもよい。例えば、図２に示すように、自体運動推定装置は、ｔ−１フレームに対応するレーダー検出データ２０１及びｔフレームに対応するレーダー検出データ２０１を第１モデル２２１でｔフレームに対応する畳み込みレイヤに入力する。
【００６６】
自体運動推定装置は、モーション認識モデル２２０に基づいて、複数の時間フレームに対する入力データ２１０から、複数の時間フレームに対する自体運動情報２３０を推定する。自体運動推定装置は、入力データ２１０に複数の時間フレームに対応する複数のレーダー検出データがスタックされた場合に応答して、複数の時間フレームのそれぞれに対して自体運動情報２３０を算出する。例えば、図２において、入力データ２１０は、ｔ−１フレーム、ｔフレーム、ｔ＋１フレームに関するレーダー検出データ２０１を指示し、自体運動推定装置は、その入力データ２１０からｔ−１フレームでの装置の座標、ｔフレームでの装置の座標、及びｔ＋１フレームでの装置の座標を出力する。
【００６７】
ただし、図２では、３つの時間フレームのみが示されているが、これは説明の便宜のためのものとして、自体運動推定装置が扱う時間フレームの個数はこれに限定されることはない。例えば、自体運動推定装置は、Ｍ個の時間フレームに対する入力データ２１０を生成し、入力データ２１０は、ｔ−Ｍ＋１フレームからｔフレームまでのレーダー検出データ２０１がスタックされたデータでもあってもよい。ここで、Ｍは１以上の整数である。また、入力データ２１０に複数の時間フレームに対応するレーダー検出データ２０１がスタックされるものとして示されているが、これに限定されることなく、入力データ２１０は、単一の時間フレームに対応するレーダー検出データ２０１のみを含んでもよい。
【００６８】
以下では、モーション認識モデルを用いた自体運動推定方法について説明する。
【００６９】
図３は、一実施形態に係る自体運動推定方法を示すフローチャートである。
【００７０】
まず、ステップＳ３１０において、自体運動推定装置は、時間フレームごとにレーダーセンサによって収集されたレーダー検出データから入力データを生成する。例えば、自体運動推定装置の外郭に沿って配置された少なくとも１つのレーダーセンサがレーダー信号を検出する。レーダー信号は、レーダーセンサによって放射された後、ターゲット地点から反射してレーダーセンサによって検知された信号を示す。自体運動推定装置は、検出されたレーダー信号を前処理することでレーダー検出データを生成する。
【００７１】
そして、ステップＳ３２０において、自体運動推定装置は、モーション認識モデルに基づいて、入力データから自体運動推定装置の自体運動情報を推定する。自体運動推定装置は、自体運動情報として自体運動推定装置の位置及び姿勢のうち少なくとも１つを算出する。
【００７２】
図４は、一実施形態に係る自体運動推定装置を示すブロック図である。
【００７３】
自体運動推定装置４００は、レーダーセンサ４１０、プロセッサ４２０、及びメモリ４３０を含む。
【００７４】
レーダーセンサ４１０は、レーダー信号を放射して受信するセンサを示す。レーダーセンサ４１０は、レーダー信号を前処理することでレーダー検出データを生成する。例えば、レーダーセンサ４１０は、該当レーダーセンサ４１０によって放射された信号及び反射した信号間の周波数差に基づいて、レーダー検出データを生成する。
【００７５】
プロセッサ４２０は、時間フレームごとにレーダー検出データから入力データを生成する。プロセッサ４２０は、モーション認識モデルに基づいて入力データから自体運動推定装置４００の自体運動情報を推定する。プロセッサ４２０の動作について、図５ないし図１５を参照して詳細に説明する。
【００７６】
メモリ４３０は、自体運動推定方法を行うために求められる情報を臨時的又は永久的に格納する。例えば、メモリ４３０は、モーション認識モデル及びモーション認識モデルのトレーニングされたパラメータを格納する。また、メモリ４３０は、レーダー検出データ及び入力データなどを格納する。
【００７７】
図５は、一実施形態に係る自体運動推定の過程を示す図である。
【００７８】
一実施形態に係る自体運動推定装置は、レーダー検出データ５０１に対して前処理動作５１０を行うことで入力データを生成する。自体運動推定装置は、モーション認識モデル５２０に基づいて、入力データから自体運動情報５０９を推定する。また、前処理動作５１０はこれに限定されることはない。自体運動推定装置は、レーダーセンサによって取得される生データとしてのレーダー信号を、前処理動作５１０により、距離、角度、及び速度情報を示すレーダー検出データ５０１に変換する。レーダー検出データ５０１は、レーダーセンサの変調方式や必要な各解像度などに応じて変わり得る。
【００７９】
自体運動推定装置は、第１モデル５２１に基づいて現在フレームに対応する入力データから現在特徴データを抽出する。自体運動推定装置は、以前フレームに対応する以前特徴データ５８０をメモリからロードする。前処理以後のレーダー検出データ５０１は、３次元情報（例えば、距離、ステアリングの角度、及びドップラーの速度）に表現され、このような形態は、映像の構造（例えば、Ｘ座標、Ｙ座標、及びチャネル）に類似し得る。映像の特徴を抽出するとき最も優れた性能を現すのは畳み込みニューラルネットワーク及び畳み込みレイヤである。畳み込みニューラルネットワークは、位置情報である距離（ｒａｎｇｅ）、及び角度（ａｎｇｌｅ）軸の情報を抽出することに優れた性能を示し、映像のチャネル（例えば、ＲＧＢ）に該当するドップラーの速度軸に対しても優れた性能を示す。
【００８０】
自体運動推定装置は、第２モデル５２２に基づいて以前特徴データ５８０及び現在特徴データから自体運動情報５０９を算出する。レーダーセンサが時間フレームごとに連続的にレーダー検出データを取得し、近い時間で取得されたレーダー検出データは互いに類似の時間相関性（ｔｅｍｐｏｒａｌ  ｃｏｒｒｅｌａｔｉｏｎ）を示す。時間相関性を示すデータに対して認識性能の優れたモデルは、循環ニューラルネットワーク及び循環レイヤである。
【００８１】
図６は、一実施形態に係るモーション認識モデルの例示的な構造を説明する図である。
【００８２】
自体運動推定装置は、連続的なレーダー検出データを継続的に取得する場合、以前の時間フレームに対する前処理及び特徴データ抽出は重複するため、以前の時間フレームに対する前処理及び特徴データ抽出をスキップする。例えば、自体の推定運動装置は、畳み込みニューラルネットワークから抽出された特徴データを格納し、時間フレームごとに取得されるレーダー検出データについてのみ前処理及び特徴データ抽出を行うことで、循環ニューラルネットワークに以前特徴データと共に伝達し得る。例えば、図６を参照すると、以前フレームｔ−１に対応する特徴データは、第１モデル６２１によって以前に算出され、特徴データベース６８０に格納されてもよい。したがって、第２モデル６２２は、（ａ）現在の第１モデル６２１によって算出された現在フレームｔ、及び（ｂ）特徴データベース６８０から検索された以前フレームｔ−１に対応する特徴データ両方に基づいて自体運動情報６３０を決定する。
【００８３】
一実施形態に係る自体運動推定装置は、第１モデル６２１の現在フレームに対応する畳み込みレイヤに基づいて、現在フレームに対応する入力データ６１０から現在フレームに対応する特徴データを算出する。自体運動推定装置は、モーション認識モデルに含まれた第１モデル６２１に基づいて現在フレームで算出された特徴データをメモリに格納する。例えば、自体運動推定装置は、メモリに格納された特徴データベース６８０に現在フレームに対応する特徴データを追加する。
【００８４】
自体運動推定装置は、複数の時間フレームのうち一部の時間フレームに対応する入力データ６１０（例えば、図６では、ｔフレームに対応するデータ）を用いて、複数の時間フレームに対する自体運動情報６３０を推定する。例えば、第１モデル６２１は、単一の時間フレームに対応する入力データ６１０から該当時間フレームに対応する特徴データを出力する構造で実現する。第２モデル６２２は、Ｍ個のフレームに対応する特徴データからＭ個のフレームに対応する自体運動情報６３０を出力する構造で実現する。図６は、Ｍが３である場合について説明する。自体運動推定装置は、第１モデル６２１に基づいて、ｔフレームに対応する入力データ６１０からｔフレームに対応する現在特徴データを抽出し、ｔ−Ｍ＋１フレームないしｔ−１フレームに対応する以前特徴データをロードする。自体運動推定装置は、第２モデル６２２に基づいて、ｔ−Ｍ＋１フレームないしｔ−１フレームに対応する特徴データからｔ−Ｍ＋１フレームないしｔ−１フレームに対応する自体運動情報６３０を生成する。
【００８５】
したがって、自体運動推定装置は、時間フレームごとにＭ個の時間フレームに対応する特徴データを第１モデル６２１を用いて抽出する代わりに、１つの時間フレームに対応する特徴データを第１モデル６２１を用いて抽出し、特徴データベース６８０からＭ個時間フレームに対応する予め生成された特徴データを第２モデル６２２が検索することで、特徴データ抽出に求められる演算リソース及び時間を節減することができる。
【００８６】
図７及び図８は、一実施形態に係る入力データの生成を説明する図である。
【００８７】
自体運動推定装置は、装置からターゲット地点までの距離（ｒａｎｇｅ）及びターゲット地点に対するステアリングの角度を指示するマップをターゲット地点の速度及び高度角などにより分類される。自体運動推定装置は、モーション認識モデルに入力するために適切な形態に、レーダー検出モデルを変換及び分類して入力データを生成し得る。
【００８８】
一実施形態によれば、自体運動推定装置は、レーダー信号から量子化された速度（ｖｅｌｏｃｉｔｙ）ごとにレーダーセンサにより検出された地点の距離及び角度を指示するレーダー検出データを生成する。自体運動推定装置は、生成されたレーダー検出データを入力データ７１０として利用し得る。レーダー検出データによって識別される速度は、例えば、ターゲット地点と自体運動推定装置との間の相対速度を示す。レーダー検出データによって識別される角度は、例えば、装置の進行方向及び装置からターゲット地点に向かう方向間の角度差であるステアリングの角度である。ただし、本明細書においてステアリングの角度は、レーダーセンサにより検出される２次元の平面で水平角を示すものと説明したが、これに限定されることはない。レーダーセンサのステアリングは水平のみならず、垂直に対しても行われ、この場合にテアリングの角度は高度角を示してもよい。
【００８９】
図７は、説明の便宜のために任意の一時間フレームに対して生成された入力データ７１０を示す。一時間フレームに対して生成された入力データ７１０は、量子化された速度ごとにレーダーセンサにより検出されたターゲット地点が有する距離及び角度を指示するレーダー検出データ７１１を含む。例えば、自体運動推定装置は、複数の時間フレームに対応するレーダー検出データをスタックする場合、複数の時間フレームそれぞれに対して量子化された速度ごとに検出されたターゲット地点に対する距離及び角度を指示する入力データ７１０を生成する。自体運動推定装置は、モーション認識モデル７２０に基づいて、上述した入力データ７１０から自体運動情報を算出し得る。
【００９０】
他の一実施形態によれば、自体運動推定装置は、レーダー検出データから量子化された高度角ごとにレーダーセンサにより検出された地点の距離及び水平角を指示する入力データを生成する。高度角は、レーダーセンサを中心にレーダーセンサの水平面からターゲット地点が垂直方向に対して形成する角度を示す。
【００９１】
例えば、自体運動推定装置は、レーダー検出データを静的な地点に関する静的データ８１０及び動的な地点に関する動的データ８２０に区別する。静的な地点は、ターゲット地点のうち停止した物体として、絶対速度が０である地点を示す。動的な地点は、ターゲット地点のうち動いている物体として、絶対速度が０ではない地点を示す。自体運動推定装置は、静的データ８１０から量子化された高度角ごとにレーダーセンサにより検出された地点の距離、及び水平角を指示する静的入力データを生成する。自体運動推定装置は、動的データ８２０から量子化された高度角ごとにレーダーセンサにより検出された地点の距離及び水平角を指示する動的入力データを生成する。図８は、説明の便宜のために任意の一時間フレームに対して生成された入力データを示す。一時間フレームに対して生成された入力データは、静的データ８１０及び動的データ８２０を含む。任意の時間フレームに対する静的データ８１０は、量子化された高度角ごとにレーダーセンサにより検出されたターゲット地点が有する距離及び水平角を指示するデータ８１１を含む。任意の時間フレームに対する動的データ８２０は、量子化された高度角ごとにレーダーセンサにより検出されたターゲット地点が有する距離及び水平角を指示するデータ８２１を含む。
【００９２】
自体運動推定装置は、モーション認識モデル８３０に基づいて、上述した静的データ８１０及び動的データ８２０を含む入力データから自体運動情報を算出し得る。
【００９３】
図９及び図１０は、一実施形態に係るレーダー検出データのスタックによって生成された入力データを説明する図である。
【００９４】
一実施形態に係るレーダー検出データは、空間軸に沿ってアンサンブル（ｅｎｓｅｍｂｌｅ）される。
【００９５】
図９は、一部の時間フレームがスキップされてスタックされた入力データを示す。一実施形態によれば、自体運動推定装置は、複数のレーダー検出データのうち互いに対して予め決定された時間間隔だけ差のある時間フレームのレーダー検出データを二以上選択する。例えば、図９において、予め決定された時間間隔を３フレームと仮定する。自体運動推定装置は、１０番目のフレームまでの、１番目のフレームないし１０番目のフレームを収集する。自体運動推定装置は、１番目のフレーム、４番目のフレーム、７番目のフレーム、及び１０番目のフレームに対応するレーダー検出データ９１１を選択する。したがって、レーダー検出データ９１１は、１番目のフレームから開始して毎３番目のフレームを選択し、その間のフレームをスキップすることで選択されてもよい。その後、１１番目のフレームで、自体運動推定装置は、２番目のフレーム、５番目のフレーム、８番目のフレーム、及び１１番目のフレームに対応するレーダー検出データ９１２を選択する。したがって、レーダー検出データ９１２は、７番目のフレームから開始して毎３番目のフレームを選択し、その間のフレームをスキップすることで選択されてもよい。
【００９６】
自体運動推定装置は、選択されたレーダー検出データに基づいて入力データを生成する。例えば、上述した例示において、１０番目のフレームで自体運動推定装置は１番目のフレーム、４番目のフレーム、７番目のフレーム、及び１０番目のフレームに対応するレーダー検出データ９１１から生成された入力データをモーション認識モデル９２０に入力する。自体運動推定装置は、モーション認識モデル９２０に基づいて該当レーダー検出データ９１１から１番目のフレーム、４番目のフレーム、７番目のフレーム、及び１０番目のフレームに対応する自体運動情報を算出する。その後、１１番目のフレームで自体運動推定装置は、２番目のフレーム、５番目のフレーム、８番目のフレーム、及び１１番目のフレームに対応するレーダー検出データ９１２から生成された入力データをモーション認識モデル９２０に入力する。自体運動推定装置は、モーション認識モデル９２０に基づいて、該当レーダー検出データ９１２から２番目のフレーム、５番目のフレーム、８番目のフレーム、及び１１番目のフレームに対応する自体運動情報を算出する。ただし、各時間フレームの順序は説明のための例示であって、これに限定されることはない。
【００９７】
図１０は、時間フレームごとに一定の時間の長さに対して生成された入力データを示す。一実施形態によれば、自体運動推定装置は、次のフレームに対応するレーダー検出データの受信に応答して、入力データにスタックされた複数の時間フレームのうち、最初のフレームに対応するレーダー検出データを排除する。
【００９８】
例えば、図１０において、自体運動推定装置は、８番目のフレームまで１番目のフレームないし８番目のフレームに対応するレーダー検出データを収集する。自体運動推定装置は、１番目のフレームないし８番目のフレームに対応するレーダー検出データをスタックすることで、８番目のフレームに対応する入力データ１０１１を生成する。その後、９番目のフレームで自体運動推定装置は、１番目のフレームに対応するレーダー検出データを排除する。自体運動推定装置は、２番目のフレームないし９番目のフレームに対応するレーダー検出データをスタックすることで、９番目のフレームに対応する入力データ１０１２を生成する。したがって、与えられたフレームに対して、入力データは８個のフレームに基づいて生成される（与えられたフレーム及び７個の以前フレームを含み、８番目の以前フレームは除く）。自体運動推定装置は、モーション認識モデル１０２０に基づいて１番目のフレームないし８番目のフレームに対応する入力データ１０１１から１番目のフレームないし８番目のフレームに対応する自体運動情報を算出する。その後、自体運動推定装置は、モーション認識モデル１０２０に基づいて、２番目のフレームないし９番目のフレームに対応する入力データ１０１２から２番目のフレームないし９番目のフレームに対応する自体運動情報を算出する。
【００９９】
図１１及び図１２は、一実施形態に係るモデルトレーニング方法を説明するフローチャートである。
【０１００】
図１１は、トレーニングの概略的な流れを説明する。
【０１０１】
まず、ステップＳ１１１０において、モデルトレーニング装置は、基準レーダー検出データから複数の時間フレームに対する基準入力データ及び基準入力データに対応する基準出力データを生成する。基準レーダー検出データはトレーニング入力に対応し、基準出力データはトレーニング出力に対応する。トレーニングデータは、例えば、基準レーダー検出データ及び基準出力データの対を含む。基準出力データは基準自体運動情報とも示してもよい。
【０１０２】
そして、ステップＳ１１２０において、モデルトレーニング装置は、モーション認識モデルに基づいて、プロセッサが基準入力データから基準出力データを出力するよう、モーション認識モデルのパラメータをトレーニングさせる。例えば、モデルトレーニング装置は、モーション認識モデルに基づいて基準入力データから算出される臨時出力及び基準出力データ間の損失が閾値損失の未満になるまで、モーション認識モデルのパラメータをアップデートする。
【０１０３】
図１２は、上述した図１１を詳細に説明するフローチャートである。
【０１０４】
まず、ステップＳ１２１１において、モデルトレーニング装置は、基準レーダー検出データを取得する。例えば、モデルトレーニング装置は、トレーニングデータベースから基準レーダー検出データを取得する。
【０１０５】
そして、ステップＳ１２１２において、モデルトレーニング装置は、基準入力データ及び基準出力データを生成する。例えば、モデルトレーニング装置は、図７〜図１０を参照して説明した動作と類似の動作により、基準レーダー検出データから基準入力データを生成し得る。モデルトレーニング装置は、トレーニングデータベースから基準出力データを取得する。
【０１０６】
次に、ステップＳ１２２１において、モデルトレーニング装置は、基準入力データに対する第１モデルの出力を算出する。例えば、モデルトレーニング装置は、図１を参照して上述したように、基準入力データを第１モデルに入力し、レイヤに伝播させることで臨時特徴データを算出する。
【０１０７】
そして、ステップＳ１２２２において、モデルトレーニング装置は、第１モデルの出力に対する第２モデルの出力を算出する。例えば、モデルトレーニング装置は、図１を参照して上述したように、特徴データを第２モデルに入力して伝播させることで臨時出力を算出する。
【０１０８】
次に、ステップＳ１２２３において、モデルトレーニング装置は、第２モデルの出力及び基準出力データ間の損失に基づいてパラメータをアップデートする。例えば、モデルトレーニング装置は、第２モデルから算出された臨時出力及び基準出力データ間の目的関数の値として損失を算出する。目的関数は、例えば、ＭＳＥ（Ｍｅａｎ  ｓｑｕａｒｅ  ｅｒｒｏｒ）、絶対誤差（ａｂｓｏｌｕｔｅ  ｅｒｒｏｒ）、Ｈｕｂｅｒ損失（Ｈｕｂｅｒ  ｌｏｓｓ）などであり得る。目的関数は、パラメータの正規化タームと組合わせられて使用されてもよい。モデルトレーニング装置は、損失が減少するようモーション認識モデルのパラメータを調整する。モーション認識モデルのパラメータは、モーション認識モデルがニューラルネットワークである場合に接続加重値を表わせるが、これに限定されることはない。
【０１０９】
そして、ステップＳ１２２４において、モデルトレーニング装置は、アップデートされたパラメータを格納する。例えば、モデルトレーニング装置は、アップデートされたパラメータをメモリに格納する。モデルトレーニング装置は、サーバにアップデートされたパラメータをアップロードしたり、自体運動推定装置に送信してもよい。サーバにアップロードされたパラメータは、通信網又はデータインターフェースを介して自体運動推定装置に伝えられてもよい。
【０１１０】
次に、ステップＳ１２２５において、モデルトレーニング装置は、損失が収斂されたかを判断する。例えば、モデルトレーニング装置は、算出された損失が閾値損失未満であるか否かを決定する。モデルトレーニング装置は、損失が収斂された場合に応答して、トレーニングを終了する。モデルトレーニング装置は、損失が収斂されていない場合に応答して、上述したステップＳ１２１１〜ＳＳ１２２５を繰り返す。
【０１１１】
図１３は、一実施形態に係るモデルトレーニング装置を示すブロック図である。
【０１１２】
モデルトレーニング装置１３００は、プロセッサ１３１０及びメモリ１３２０を含む。
【０１１３】
プロセッサ１３１０は、基準レーダー検出データから複数の時間フレームに対する基準入力データ１３９１、及び基準入力データ１３９１に対応する基準出力データ１３９２を生成する。プロセッサ１３１０は、モーション認識モデル１３２１に基づいて、プロセッサ１３１０が基準入力データ１３９１から基準出力データ１３９２を出力するよう、モーション認識モデル１３２１のパラメータ１３２２をトレーニングさせる。ただし、プロセッサ１３１０の動作がこれに限定されることなく、図１１及び図１２を参照して説明した動作と共に結合して行ってもよい。
【０１１４】
メモリ１３２０は、モデルトレーニングに求められる情報を臨時的又は永久的に格納する。例えば、メモリ１３２０は、モーション認識モデル１３２１、パラメータ１３２２及びトレーニングデータを格納する。メモリ１３２０は、トレーニングデータとして基準入力データ１３９１及び基準出力データ１３９２を格納する。基準出力データ１３９２は、基準入力データ１３９１に対して与えられた値として、基準入力データ１３９１に対して出力されなければならない自体運動情報であり得る。また、メモリ１３２０は、基準入力データ１３９１の代わりに基準レーダー検出データを格納してもよい。
【０１１５】
モデルトレーニング装置１３００は、自体運動推定装置と別途に実現されるが、これに限定されることはない。モデルトレーニング装置１３００及び自体運動推定装置は、単一の機器に統合されて実現されてもよい。
【０１１６】
図１４は、一実施形態に係るモデルトレーニング過程を説明する図である。
【０１１７】
モデルトレーニング装置は、モーション認識モデルが基準レーダー検出データ１４９１から基準自体運動情報１４９２を出力するよう、モーション認識モデルをトレーニングさせる。例えば、モデルトレーニング装置は、前処理が完了した連続的なＮ個のレーダーデータを使用する。トレーニングのために、モデルトレーニング装置は、このようなレーダーデータのうちＮＢ個のミニバッチ（ｍｉｎｉ−ｂａｔｃｈ）個のレーダーデータを入力として使用する。モーション認識モデルは、畳み込みニューラルネットワーク及び循環ニューラルネットワークを含む。モーション認識モデルから出力される自体運動情報は、装置の位置と姿勢推定値を含んでもよく、例えば、図１４に示すように、各時間フレームごとにＮ個のｘ、ｙ座標を含んでもよい。
【０１１８】
例えば、モデルトレーニング装置は、生データ（ｒａｗ  ｄａｔａ）としてレーダー信号を取得し、基本的なＲＳＰ（Ｒａｄａｒ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ）の前処理によって基準レーダー検出データ１４９１を生成する。モデルトレーニング装置は、このような基準レーダー検出データ１４９１の時間的な蓄積によって基準入力データを生成し得る。
【０１１９】
モデルトレーニング装置は、トレーニングのために、各時間フレームごとに第１モデル１４２１により特徴データ（例えば、臨時特徴データ）を算出する。例えば、図１４において、モデルトレーニング装置は。ｔ−２フレーム、ｔ−１フレーム、及びｔフレームのそれぞれに対して臨時特徴データを算出する。モデルトレーニング装置は、各時間フレームに対して第２モデル１４２２に基づいて、出力（例えば、臨時出力）を算出する。
【０１２０】
モデルトレーニング装置は。臨時出力を正解（ｇｒｏｕｎｄ  ｔｒｕｔｈ）（例えば、基準自体運動情報１４９２）と比較してエラー値（例えば、損失）を算出する。モデルトレーニング装置は、ＭＳＥ（Ｍｅａｎ  Ｓｑｕａｒｅｄ  Ｅｒｒｏｒ）のような損失関数を使用する。
【０１２１】
モデルトレーニング装置は、算出されたエラー値を逆伝播（ＢＰＴＴ、Ｂａｃｋ  Ｐｒｏｐａｇａｔｉｏｎ  Ｔｈｒｏｕｇｈ  Ｔｉｍｅ）方により下位レイヤに伝播しながら、モーション認識モデルの各レイヤ間のパラメータをアップデートする。
【０１２２】
モデルトレーニング装置は、トレーニングごとに第１モデル１４２１及び第２モデル１４２２の加重値及び状態値を格納することで、ローカルライジングされたモーション認識モデルを生成し得る。モデルトレーニング装置は、エラー値が収斂されればトレーニングを終了し、そうでなければ、再度トレーニングを行う。
【０１２３】
また、モデルトレーニング装置のトレーニングでは、第１モデル１４２１が以前フレームのレイヤ１４５０を含むが、自体運動推定動作に使用されるときは以前フレームのレイヤ１４５０が除去されてもよい。したがって、モデルトレーニング装置は、トレーニングでは複数のトレーニングデータを用いることによりトレーニング速度を増加させることができ、自体運動推定装置は、現在フレームに対応するレーダー検出データを用いることにより自体運動の推定演算速度を改善することができる。
【０１２４】
図１５は、一実施形態に係る複数のレーダーセンサを用いる自体運動推定装置の例示を説明する図である。
【０１２５】
一実施形態によれば、自体運動推定装置１５００は、図１５に示すように、車両に実現してもよい。自体運動装置は、車両に装着されたレーダーセンサをローカルライジングすることで、車両の移動経路及び姿勢を推定する。自体運動推定装置１５００は、推定された自体運動情報に基づいて、自体運動推定装置１５００の周辺に存在するオブジェクトを検出する。また、自体運動推定装置１５００は、車両の様々なＡＤＡＳ（ａｄｖａｎｃｅｄ  ｄｒｉｖｅｒ  ａｓｓｉｓｔａｎｃｅ  ｓｙｓｔｅｍｓ）機能及び自律走行などを補助する。また、自体運動推定装置１５００は、時間フレームごとに測定された自分の正確な位置情報に基づいて、高解像度の映像を広い範囲に対して取得し得る。
【０１２６】
また、自体運動推定装置１５００は、図１５に示すように複数のレーダーセンサを含む場合、それぞれのレーダーセンサをローカルライジングし、その結果を融合することによって自体運動情報推定の正確度を高めることができる。例えば、自体運動推定装置１５００は、レーダーセンサを他のセンサ（カメラセンサ、超音波センサ、及びＬｉＤＡＲ（ｌｉｇｈｔ  ｄｅｔｅｃｔｉｏｎ  ａｎｄ  ｒａｎｇｉｎｇ））と結合したり、ＧＮＳＳ、車両の速度及びステアリング角などの情報と自体運動情報を融合することで、正確度を改善することができる。図１５に示すように、前方向けのレーダー検出データを取得する場合、自体運動推定装置１５００は、車両の周辺３６０度に対する映像を生成したり周辺環境を認識する。
【０１２７】
一実施形態に係る自体運動推定装置１５００は、ループ閉じ込みのような特別な動作なくても、時間が経過しても正確度を保持できる。また、自体運動推定装置１５００は、撮影される場面のうち動いている物体があっても正確度を保持することができる。
【０１２８】
以上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ  ｌｏｇｉｃ  ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ  ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ  ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
【０１２９】
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＹＩＪＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【０１３０】
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
【０１３１】
したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【０１３２】
４００：自体運動推定装置
４１０：レーダーセンサ
４２０：プロセッサ
４３０：メモリ
【図１】
2020003489.tif 000003
【図２】
2020003489.tif 000004
【図３】
2020003489.tif 000005
【図４】
2020003489.tif 000006
【図５】
2020003489.tif 000007
【図６】
2020003489.tif 000008
【図７】
2020003489.tif 000009
【図８】
2020003489.tif 000010
【図９】
2020003489.tif 000011
【図１０】
2020003489.tif 000012
【図１１】
2020003489.tif 000013
【図１２】
2020003489.tif 000014
【図１３】
2020003489.tif 000015
【図１４】
2020003489.tif 000016
【図１５】
2020003489.tif 000017