(57)【要約】レーザレーダスパース深度マップの処理方法、装置、機器（１８００）および媒体を開示し、レーザレーダスパース深度マップの処理方法は、ニューラルネットワーク（１４１０、１７１０）にレーザレーダスパース深度マップを入力する（Ｓ１００）ことと、前記ニューラルネットワーク（１４１０、１７１０）によって深度マップの異なるスケールの少なくとも２つの特徴マップを取得し、異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、有効なポイント特徴融合処理の結果に従って処理後の深度マップを取得する（Ｓ１１０）ことであって、処理後の深度マップにおける有効なポイントの数は、レーザレーダスパース深度マップにおける有効なポイントの数より大きいこととを含む。【選択図】図１
2021530771.tif 000002
【特許請求の範囲】
【請求項１】
レーザレーダスパース深度マップの処理方法であって、
ニューラルネットワークにレーザレーダスパース深度マップを入力することと、
前記ニューラルネットワークによって、前記レーザレーダスパース深度マップの異なるスケールの少なくとも２つの特徴マップを取得し、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、前記有効なポイント特徴融合処理の結果に従って処理後の深度マップを取得することであって、前記処理後の深度マップにおける有効なポイントの数は、前記レーザレーダスパース深度マップにおける有効なポイントの数より大きいこととを含むことを特徴とする、前記レーザレーダスパース深度マップの処理方法。
【請求項２】
前記ニューラルネットワークにレーザレーダスパース深度マップを入力することは、
前記ニューラルネットワークに前記レーザレーダスパース深度マップおよび前記レーザレーダスパース深度マップのマスクを入力することであって、前記レーザレーダスパース深度マップのマスクは、前記レーザレーダスパース深度マップにおける有効なポイントを指示するために使用されることを含み、
前記方法は、前記レーザレーダスパース深度マップのマスクに従って前記異なるスケールの少なくとも２つの特徴マップのマスクを決定することをさらに含み、
前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行することは、前記異なるスケールの少なくとも２つの特徴マップのマスクに従って、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行することを含むことを特徴とする、
請求項１に記載のレーザレーダスパース深度マップの処理方法。
【請求項３】
前記ニューラルネットワークによって前記深度マップの異なるスケールの少なくとも２つの特徴マップを取得することは、
前記レーザレーダスパース深度マップの特徴マップを取得するために、前記ニューラルネットワークによって、前記レーザレーダスパース深度マップに対してスパース畳み込み処理を実行することと、
異なるスケールの少なくとも２つの特徴マップを取得するために、前記深度マップの特徴マップに対してスケール変換処理を実行することであって、前記異なるスケールの少なくとも２つの特徴マップは、スケール変換処理前の特徴マップおよびスケール変換処理後の少なくとも１つの特徴マップを含むこととを含むことを特徴とする、
請求項２に記載のレーザレーダスパース深度マップの処理方法。
【請求項４】
前記レーザレーダスパース深度マップのマスクに従って前記異なるスケールの少なくとも２つの特徴マップのマスクを決定することは、
前記レーザレーダスパース深度マップの特徴マップのマスクを取得するために、前記ニューラルネットワークによって、前記レーザレーダスパース深度マップのマスクに対してスパース畳み込み処理を実行し、各特徴マップのマスクを取得するために、前記マスクに対してスケール変換処理を実行することを含むことを特徴とする、
請求項２または３に記載のレーザレーダスパース深度マップの処理方法。
【請求項５】
前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行することは、
前記ニューラルネットワークが、少なくとも１レベルの有効なポイント特徴融合処理を実行することと、
少なくとも１レベルの有効なポイント融合処理において、前記ニューラルネットワークが、異なるスケールの複数のパスの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行することとを含み、
前記ニューラルネットワークが複数のレベルの有効なポイント特徴融合処理を実行する場合、前のレベルの融合処理の出力は、後のレベルの融合処理の入力として提供されることを特徴とする、
請求項１ないし４のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
【請求項６】
前記ニューラルネットワークは、前のレベルの融合処理後に出力された特徴マップに対してスケール変換処理を実行し、スケール変換処理後の特徴マップは、後のレベルの融合処理に提供されるために使用されることを特徴とする、
請求項５に記載のレーザレーダスパース深度マップの処理方法。
【請求項７】
前のレベルの融合処理の出力パス数が後のレベルの融合処理の入力パス数より少ない場合、前のレベルの融合処理の１つのパスの出力、および前記パスの出力のスケール変換処理後の特徴マップは、両方とも後のレベルの融合処理の出力として使用されることを特徴とする、
請求項５または６に記載のレーザレーダスパース深度マップの処理方法。
【請求項８】
前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行することは、
１つのパスの特徴マップを形成するために、融合処理後の少なくとも２つのパスの出力の特徴マップに対して有効なポイント特徴融合処理を実行することであって、前記形成された１つのパスの特徴マップは、後のレベルの融合処理の入力として使用されること、または、
前記ニューラルネットワークが、前記形成された１つのパスの特徴マップに対して出力処理を実行することをさらに含むことを特徴とする、
請求項５ないし７のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
【請求項９】
前記方法は、
前記レーザレーダスパース深度マップと同じ視野角およびサイズを有する画像を前記ニューラルネットワークに提供することであって、前記画像は、撮影装置で撮影された画像を含むことと、
前記ニューラルネットワークが、前記画像の少なくとも１つのスケールの特徴マップを取得することであって、前記画像の対応するスケールの特徴マップは、対応する融合処理の出力として使用されることとをさらに含み、
前記画像の特徴マップは、前記レーザレーダスパース深度マップの特徴マップとの融合処理を実行するために使用されることを特徴とする、
請求項５ないし８のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
【請求項１０】
前記融合処理がＮ個（ＮはＭより大きい整数である）パスの入力およびＮ個パスの出力を有する場合、前記ニューラルネットワークが、Ｍ番目のパスの入力に対して実行する有効なポイント特徴融合処理は、
Ｎ番目のパスの入力の特徴マップおよび特徴マップのマスクに対してダウンサンプリング処理をそれぞれ実行することと、
ダウンサンプリング処理後の特徴マップおよび特徴マップのマスク、およびＭ（Ｍは０より大きい整数である）番目のパスの入力の特徴マップおよび特徴マップのマスクに従って、スパース合併畳み込み処理を実行することと、
スパース合併畳み込み処理後に取得した特徴マップおよび特徴マップのマスクに対してスパース畳み込み処理をそれぞれ実行して、Ｍ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを形成することとを含み、
Ｎ番目のパスの入力の特徴マップのスケールは、Ｍ番目のパスの入力の特徴マップのスケールより大きいことを特徴とする、
請求項５ないし９のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
【請求項１１】
前記ニューラルネットワークが、Ｎ番目のパスの入力に対して実行する有効なポイント特徴融合処理は、
Ｎ番目のパスの入力の特徴マップおよび特徴マップのマスクに対してスパース畳み込み処理をそれぞれ実行することと、
少なくとも１つのＭ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを畳み込み処理し、前記畳み込み処理後の特徴マップおよび特徴マップのマスクに対してスパースアップサンプリング処理をそれぞれ実行することと、
Ｎ番目のパスのスパース畳み込み処理後の特徴マップおよび特徴マップのマスクと、少なくとも１つのＭ番目のパスのスパースアップサンプリング処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理を実行して、Ｎ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを形成することとを含むことを特徴とする、
請求項１０に記載のレーザレーダスパース深度マップの処理方法。
【請求項１２】
前記ニューラルネットワークが、前記形成された１つのパスの特徴マップに対して出力処理を実行することは、
最後のレベルの融合処理によって出力された、複数のパスの有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理を実行し、スパース加算結果を畳み込み処理して、処理後の深度マップを形成することを含むことを特徴とする、
請求項８ないし１１のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
【請求項１３】
前記融合処理がＮ個（ＮはＭより大きい整数である）パスの入力およびＮ個パスの出力を有する場合、前記ニューラルネットワークが、Ｎ番目のパスの入力に対して実行する有効なポイント特徴融合処理は、
Ｎ番目のパスの入力の特徴マップおよび特徴マップのマスクおよび前記画像の特徴マップに対してスパース合併畳み込み処理を実行することと、
少なくとも１つのＭ（Ｍは０より大きい整数である）番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを畳み込み処理し、前記畳み込み処理後の特徴マップおよび特徴マップのマスクに対してスパースアップサンプリング処理をそれぞれ実行することと、
Ｎ番目のパスのスパース合併畳み込み処理後の特徴マップおよび特徴マップのマスクと、少なくとも１つのＭ番目のパスのスパースアップサンプリング処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理をそれぞれ実行して、Ｎ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを形成することとを含むことを特徴とする、
請求項９に記載のレーザレーダスパース深度マップの処理方法。
【請求項１４】
前記ニューラルネットワークが、前記形成された１つのパスの特徴マップに対して出力処理を実行することは、
最後のレベルの融合処理によって出力された、複数のパスの有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理をそれぞれ実行し、スパース加算結果と前記画像の特徴マップに対してスパース合併畳み込み処理を実行し、スパース合併畳み込み処理の結果を畳み込み処理して、処理後の深度マップを形成することを含むことを特徴とする、
請求項１３に記載のレーザレーダスパース深度マップの処理方法。
【請求項１５】
前記スパース合併畳み込み処理は、
第１特徴マップおよび第２特徴マップをチャネル数の次元で合併した後に、畳み込み処理を実行し、畳み込み処理後の特徴マップと重み行列の逆数に対して要素ごとの乗算を実行して、スパース合併畳み込み処理後の特徴マップを形成することと、
第１特徴マップのマスクを第１特徴マップのチャネル数と掛け、第２特徴マップのマスクを第２特徴マップのチャネル数と掛け、２つの乗算結果の加算結果に対して畳み込み演算を実行して、畳み込み演算結果に従って重み行列を形成し、重み行列を二値化処理して、前記スパース合併畳み込み処理後の特徴マップのマスクを形成することとを含むことを特徴とする、
請求項９ないし１４のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
【請求項１６】
前記スパース加算処理は、
第１特徴マップと第１特徴マップのマスクに対して要素ごとの乗算を実行し、第２特徴マップと第２特徴マップのマスクに対して要素ごとの乗算を実行し、２つの乗算結果を加算し、加算結果と重み行列の逆数に対して要素ごとの乗算を実行して、スパース加算処理後の特徴マップを形成することと、
第１特徴マップのマスクと第２特徴マップのマスクをＯＲ演算して、前記スパース加算処理後の特徴マップのマスクを形成することとを含むことを特徴とする、
請求項１０ないし１５のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
【請求項１７】
前記スパースアップサンプリング処理は、
特徴マップと特徴マップのマスクに対して要素ごとの乗算を実行し、乗算結果をアップサンプリング処理することと、
特徴マップのマスクをアップサンプリング処理して、アップサンプリング処理後のマスクに対して重み行列を形成することと、
アップサンプリング処理後の特徴マップと、重み行列の逆数に対して要素ごとの乗算を実行して、スパース加算処理後の特徴マップを形成することと、
重み行列を二値化処理して、前記スパース加算処理後の特徴マップのマスクを形成することとを含むことを特徴とする、
請求項１０ないし１６のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
【請求項１８】
前記ニューラルネットワークは、レーザレーダスパース深度マップサンプルおよびレーザレーダスパース深度マップサンプルの補填深度マップサンプルの深度表記値に基づいてトレーニングして取得されることを特徴とする、
請求項１ないし１７のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
【請求項１９】
車両のインテリジェント制御方法であって、
請求項１ないし１８のいずれか一項に記載のレーザレーダスパース深度マップの処理方法を採用して、処理後の深度マップを取得することと、
前記処理後の深度マップに従って、前記レーザレーダが配置された車両を制御するための命令または警告プロンプト情報を生成することとを含むことを特徴とする、前記車両のインテリジェント制御方法。
【請求項２０】
障害物回避ナビゲーション方法であって、
請求項１ないし１８のいずれか一項に記載のレーザレーダスパース深度マップの処理方法を採用して、処理後の深度マップを取得することと、
前記処理後の深度マップに従って、前記レーザレーダが配置されたロボットに対して障害物回避ナビゲーション制御を実行するための命令または警告プロンプト情報を生成することとを含むことを特徴とする、前記障害物回避ナビゲーション方法。
【請求項２１】
ニューラルネットワークのトレーニング方法であって、
トレーニングされるニューラルネットワークにレーザレーダスパース深度マップサンプルを入力することと、
前記トレーニングされるニューラルネットワークによって、前記レーザレーダスパース深度マップサンプルの異なるスケールの少なくとも２つの特徴マップを取得し、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、前記有効なポイント特徴融合処理の結果に従って処理後の深度マップを形成することであって、前記処理後の深度マップにおける有効なポイントの数は、前記レーザレーダスパース深度マップサンプルにおける有効なポイントの数より大きいことと、
前記処理後の深度マップおよびレーザレーダスパース深度マップサンプルの補填深度マップサンプルの深度表記値をガイダンス情報として使用することにより、前記トレーニングされるニューラルネットワークに対して教師あり学習を実行することとを含むことを特徴とする、前記ニューラルネットワークのトレーニング方法。
【請求項２２】
レーザレーダスパース深度マップの処理装置であって、
ニューラルネットワークにレーザレーダスパース深度マップを入力するように構成される深度マップ入力モジュールと、
前記レーザレーダスパース深度マップの異なるスケールの少なくとも２つの特徴マップを取得し、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、前記有効なポイント特徴融合処理の結果に従って処理後の深度マップを取得するように構成されるニューラルネットワークであって、前記処理後の深度マップにおける有効なポイントの数は、前記レーザレーダスパース深度マップにおける有効なポイントの数より大きいニューラルネットワークとを含むことを特徴とする、前記レーザレーダスパース深度マップの処理装置。
【請求項２３】
前記深度マップ入力モジュールは、
前記ニューラルネットワークに前記レーザレーダスパース深度マップおよび前記レーザレーダスパース深度マップのマスクを入力するように構成され、
前記レーザレーダスパース深度マップのマスクは、前記レーザレーダスパース深度マップにおける有効なポイントを指示するために使用され、前記ニューラルネットワークは、さらに、
前記レーザレーダスパース深度マップのマスクに従って前記異なるスケールの少なくとも２つの特徴マップのマスクを決定するように構成され、
前記ニューラルネットワークは、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行する場合、前記異なるスケールの少なくとも２つの特徴マップのマスクに従って、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行するように構成されることを特徴とする、
請求項２２に記載のレーザレーダスパース深度マップの処理装置。
【請求項２４】
前記ニューラルネットワークは、
前記レーザレーダスパース深度マップの特徴マップを取得するために、前記レーザレーダスパース深度マップに対してスパース畳み込み処理を実行し、異なるスケールの少なくとも２つの特徴マップを取得するために、前記深度マップの特徴マップに対してスケール変換処理を実行するように構成される入力処理ユニットを含み、
前記異なるスケールの少なくとも２つの特徴マップは、スケール変換処理前の特徴マップおよびスケール変換処理後の少なくとも１つの特徴マップを含むことを特徴とする、
請求項２３に記載のレーザレーダスパース深度マップの処理装置。
【請求項２５】
前記入力処理ユニットは、さらに、前記レーザレーダスパース深度マップの特徴マップのマスクを取得するために、前記レーザレーダスパース深度マップのマスクに対してスパース畳み込み処理を実行し、各特徴マップのマスクを取得するために、前記マスクに対してスケール変換処理を実行するように構成されることを特徴とする、
請求項２４に記載のレーザレーダスパース深度マップの処理装置。
【請求項２６】
前記ニューラルネットワークは、
少なくとも１つの融合モジュールを含み、前記融合モジュールは、複数のパスの入力および複数のパスの出力を有し、前記融合モジュールは、複数のパスの入力の異なるスケールの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行するように構成され、
前記ニューラルネットワークが複数の融合モジュールを含む場合、前のレベルの融合モジュールの出力は、後のレベルの融合モジュールの入力として提供されるために使用されることを特徴とする、
請求項２２ないし２５のいずれか一項に記載のレーザレーダスパース深度マップの処理装置。
【請求項２７】
前記ニューラルネットワークは、
前記融合モジュールの後に配置される少なくとも１つの第１変換モジュールをさらに含み、
前記第１変換モジュールは、前のレベルの融合モジュールの少なくとも１つのパスの出力の特徴マップに対してスケール変換処理を実行するように構成され、スケール変換処理後の特徴マップは、後のレベルの融合モジュールに提供されるために使用されることを特徴とする、
請求項２６に記載のレーザレーダスパース深度マップの処理装置。
【請求項２８】
前のレベルの融合モジュールの出力パス数が後のレベルの融合モジュールの入力パス数より少ない場合、前のレベルの融合モジュールの１つのパスの出力、および前記パスの出力のスケール変換処理後の特徴マップは、両方とも後のレベルの融合モジュールの出力として使用されることを特徴とする、
請求項２６または２７に記載のレーザレーダスパース深度マップの処理装置。
【請求項２９】
前記ニューラルネットワークは、
前記融合モジュールの後に配置される少なくとも１つの第２変換モジュールをさらに含み、
前記第２変換モジュールは、１つのパスの特徴マップを形成するために、融合モジュールの少なくとも２つのパスの出力の特徴マップに対して有効なポイント特徴融合処理を実行するように構成され、前記形成された１つのパスの特徴マップは、後のレベルの融合モジュールの入力として使用され、またはニューラルネットワークの出力処理ユニットの入力として使用されることを特徴とする、
請求項２６ないし２８のいずれか一項に記載のレーザレーダスパース深度マップの処理装置。
【請求項３０】
前記深度マップ入力モジュールは、さらに、前記レーザレーダスパース深度マップと同じ視野角およびサイズを有する画像を前記ニューラルネットワークに提供するように構成され、前記画像は、撮影装置で撮影された画像を含み、
前記入力処理ユニットは、さらに、前記画像の少なくとも１つのスケールの特徴マップを取得するように構成され、前記画像の対応するスケールの特徴マップは、対応する融合処理の出力として使用され、
前記画像の特徴マップは、前記レーザレーダスパース深度マップの特徴マップとの融合処理を実行するために使用されることを特徴とする、
請求項２６ないし２９のいずれか一項に記載のレーザレーダスパース深度マップの処理装置。
【請求項３１】
前記融合モジュールがＮ個（ＮはＭより大きい整数である）パスの入力およびＮ個パスの出力を有する場合、前記融合モジュールが、Ｍ番目のパスの入力に対して実行する有効なポイント特徴融合処理は、
Ｎ番目のパスの入力の特徴マップおよび特徴マップのマスクに対してダウンサンプリング処理をそれぞれ実行し、
ダウンサンプリング処理後の特徴マップおよび特徴マップのマスク、およびＭ（Ｍは０より大きい整数である）番目のパスの入力の特徴マップおよび特徴マップのマスクに従って、スパース合併畳み込み処理を実行し、
スパース合併畳み込み処理後に取得した特徴マップおよび特徴マップのマスクに対してスパース畳み込み処理をそれぞれ実行して、Ｍ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを形成するように構成され、
Ｎ番目のパスの入力の特徴マップのスケールは、Ｍ番目のパスの入力の特徴マップのスケールより大きいことを特徴とする、
請求項２６ないし３０のいずれか一項に記載のレーザレーダスパース深度マップの処理装置。
【請求項３２】
前記融合モジュールが、Ｎ番目のパスの入力に対して有効なポイント特徴融合処理を実行する場合、
Ｎ番目のパスの入力の特徴マップおよび特徴マップのマスクに対してスパース畳み込み処理をそれぞれ実行し、
少なくとも１つのＭ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを畳み込み処理し、前記畳み込み処理後の特徴マップおよび特徴マップのマスクに対してスパースアップサンプリング処理をそれぞれ実行し、
Ｎ番目のパスのスパース畳み込み処理後の特徴マップおよび特徴マップのマスクと、少なくとも１つのＭ番目のパスのスパースアップサンプリング処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理を実行して、Ｎ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを形成するように構成されることを特徴とする、
請求項３１に記載のレーザレーダスパース深度マップの処理装置。
【請求項３３】
前記出力処理ユニットは、
最後のレベルの融合処理によって出力された、複数のパスの有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理を実行し、スパース加算結果を畳み込み処理して、処理後の深度マップを形成するように構成される第１出力処理ユニットを含むことを特徴とする、
請求項２９ないし３２のいずれか一項に記載のレーザレーダスパース深度マップの処理装置。
【請求項３４】
前記融合モジュールがＮ個（ＮはＭより大きい整数である）パスの入力およびＮ個パスの出力を有する場合、前記融合モジュールが、Ｎ番目のパスの入力に対して有効なポイント特徴融合処理を実行する場合、
Ｎ番目のパスの入力の特徴マップおよび特徴マップのマスクおよび前記画像の特徴マップに対してスパース合併畳み込み処理を実行し、
少なくとも１つのＭ（Ｍは０より大きい整数である）番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを畳み込み処理し、前記畳み込み処理後の特徴マップおよび特徴マップのマスクに対してスパースアップサンプリング処理をそれぞれ実行し、
Ｎ番目のパスのスパース合併畳み込み処理後の特徴マップおよび特徴マップのマスクと、少なくとも１つのＭ番目のパスのスパースアップサンプリング処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理をそれぞれ実行して、Ｎ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを形成するように構成されることを特徴とする、
請求項３０に記載のレーザレーダスパース深度マップの処理装置。
【請求項３５】
前記出力処理ユニットは、
最後のレベルの融合処理によって出力された、複数のパスの有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理をそれぞれ実行し、スパース加算結果と前記画像の特徴マップに対してスパース合併畳み込み処理を実行し、スパース合併畳み込み処理の結果を畳み込み処理して、処理後の深度マップを形成するように構成される第２出力処理ユニットを含むことを特徴とする、
請求項３４に記載のレーザレーダスパース深度マップの処理装置。
【請求項３６】
前記スパース合併畳み込み処理は、
第１特徴マップおよび第２特徴マップをチャネル数の次元で合併した後に、畳み込み処理を実行し、畳み込み処理後の特徴マップと重み行列の逆数に対して要素ごとの乗算を実行して、スパース合併畳み込み処理後の特徴マップを形成することと、
第１特徴マップのマスクを第１特徴マップのチャネル数と掛け、第２特徴マップのマスクを第２特徴マップのチャネル数と掛け、２つの乗算結果の加算結果に対して畳み込み演算を実行して、畳み込み演算結果に従って重み行列を形成し、重み行列を二値化処理して、前記スパース合併畳み込み処理後の特徴マップのマスクを形成することとを含むことを特徴とする、
請求項３０ないし３５のいずれか一項に記載のレーザレーダスパース深度マップの処理装置。
【請求項３７】
前記スパース加算処理は、
第１特徴マップと第１特徴マップのマスクに対して要素ごとの乗算を実行し、第２特徴マップと第２特徴マップのマスクに対して要素ごとの乗算を実行し、２つの乗算結果を加算し、加算結果と重み行列の逆数に対して要素ごとの乗算を実行して、スパース加算処理後の特徴マップを形成することと、
第１特徴マップのマスクと第２特徴マップのマスクをＯＲ演算して、前記スパース加算処理後の特徴マップのマスクを形成することとを含むことを特徴とする、
請求項３１ないし３６のいずれか一項に記載のレーザレーダスパース深度マップの処理装置。
【請求項３８】
前記スパースアップサンプリング処理は、
特徴マップと特徴マップのマスクに対して要素ごとの乗算を実行し、乗算結果をアップサンプリング処理することと、
特徴マップのマスクをアップサンプリング処理して、アップサンプリング処理後のマスクに対して重み行列を形成することと、
アップサンプリング処理後の特徴マップと、重み行列の逆数に対して要素ごとの乗算を実行して、スパース加算処理後の特徴マップを形成することと、
重み行列を二値化処理して、前記スパース加算処理後の特徴マップのマスクを形成することとを含むことを特徴とする、
請求項３１ないし３７のいずれか一項に記載のレーザレーダスパース深度マップの処理装置。
【請求項３９】
前記ニューラルネットワークは、レーザレーダスパース深度マップサンプルおよびレーザレーダスパース深度マップサンプルの補填深度マップサンプルの深度表記値に基づいてトレーニングして取得されることを特徴とする、
請求項２２ないし３８のいずれか一項に記載のレーザレーダスパース深度マップの処理装置。
【請求項４０】
車両のインテリジェント制御装置であって、
ニューラルネットワークにレーザレーダスパース深度マップを入力するように構成される深度マップ入力モジュールと、
前記レーザレーダスパース深度マップの異なるスケールの少なくとも２つの特徴マップを取得し、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、前記有効なポイント特徴融合処理の結果に従って処理後の深度マップを取得するように構成されるニューラルネットワークであって、前記処理後の深度マップにおける有効なポイントの数は、前記レーザレーダスパース深度マップにおける有効なポイントの数より大きいニューラルネットワークと、
前記処理後の深度マップに従って、前記レーザレーダが配置された車両を制御するための命令または警告プロンプト情報を生成するように構成される制御モジュールとを含むことを特徴とする、前記車両のインテリジェント制御装置。
【請求項４１】
障害物回避ナビゲーション装置であって、
ニューラルネットワークにレーザレーダスパース深度マップを入力するように構成される深度マップ入力モジュールと、
前記レーザレーダスパース深度マップの異なるスケールの少なくとも２つの特徴マップを取得し、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、前記有効なポイント特徴融合処理の結果に従って処理後の深度マップを取得するように構成されるニューラルネットワークであって、前記処理後の深度マップにおける有効なポイントの数は、前記レーザレーダスパース深度マップにおける有効なポイントの数より大きいニューラルネットワークと、
前記処理後の深度マップに従って、前記レーザレーダが配置されたロボットに対して障害物回避ナビゲーション制御を実行するための命令または警告プロンプト情報を生成するように構成される障害物回避ナビゲーションモジュールとを含むことを特徴とする、前記障害物回避ナビゲーション装置。
【請求項４２】
ニューラルネットワークのトレーニング装置であって、
レーザレーダスパース深度マップサンプルを、トレーニングされるニューラルネットワークに入力するように構成される深度マップサンプル入力モジュールと、
前記レーザレーダスパース深度マップサンプルの異なるスケールの少なくとも２つの特徴マップを取得し、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、前記有効なポイント特徴融合処理の結果に従って処理後の深度マップを形成するように構成されるトレーニングされるニューラルネットワークであって、前記処理後の深度マップにおける有効なポイントの数は、前記レーザレーダスパース深度マップサンプルにおける有効なポイントの数より大きいトレーニングされるニューラルネットワークと、
前記処理後の深度マップおよび前記レーザレーダスパース深度マップサンプルの補填深度マップサンプルの深度表記値をガイダンス情報として使用することにより、前記トレーニングされるニューラルネットワークに対して教師あり学習を実行するように構成される監視モジュールとを含むことを特徴とする、前記ニューラルネットワークのトレーニング装置。
【請求項４３】
電子機器であって、
コンピュータプログラムを記憶するように構成されるメモリと、
前記メモリに記憶されたコンピュータプログラムを実行し、且つ前記コンピュータプログラムが実行されると、前記請求項１ないし２１のいずれか一項に記載の方法を実現するように構成されるプロセッサとを含む、前記電子機器。
【請求項４４】
コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されると、前記請求項１ないし２１のいずれか一項に記載の方法を実現する、前記コンピュータ読み取り可能な記憶媒体。
【請求項４５】
コンピュータプログラムであって、
コンピュータ命令を含み、前記コンピュータ命令が機器のプロセッサで実行されると、前記請求項１ないし２１のいずれか一項に記載の方法を実現する、前記コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１８年０７月２５日に中国特許局に提出された、出願番号がＣＮ２０１８１０８２９６２３．８であり、発明の名称が「レーザレーダスパース深度マップの処理方法、装置、機器および媒体」である中国特許出願の全ての内容が参照により本願に組み込まれている。
【０００２】
本開示は、コンピュータビジョン技術に関し、特に、レーザレーダスパース深度マップの処理方法、レーザレーダスパース深度マップの処理装置、車両のインテリジェント制御方法、車両のインテリジェント制御装置、障害物回避ナビゲーション方法、障害物回避ナビゲーション装置、ニューラルネットワークのトレーニング方法、ニューラルネットワークのトレーニング装置、電子機器、コンピュータ読み取り可能な記憶媒体およびコンピュータプログラムに関する。
【背景技術】
【０００３】
レーザレーダは、スキャンによって周囲のシーン内の物体の深度情報を取得することができ、これらの深度情報は、レーザレーダ投影図を形成することができる。当該レーザレーダ投影図におけるポイントの値は、通常、当該ポイントの深度値を示す。レーザレーダ投影図は、レーザレーダ深度マップと称されることもできる。
【０００４】
レーザレーダ投影図は、セマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ  ｓｅｇｍｅｎｔａｔｉｏｎ）およびターゲットの検出などのタスクを支援して完成させるために使用されてもよく、インテリジェントな運転中に車両周囲のシーンを分析し、および車両制御の決定などのタスクを支援して完成させるために使用されてもよい。
【０００５】
しかしながら、レーザレーダのハードウェア条件の制限などの要因により、レーザレーダ投影図は、通常、いくつかの無効なポイント、即ち、深度値が無効であるポイントを含む。レーザレーダ投影図における無効なポイントの深度値を補填して、より正確なレーザレーダ深度マップを取得する方法は、注目に値する技術的課題である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本開示の実施例は、レーザレーダスパース深度マップの処理、車両のインテリジェント制御、障害物回避のナビゲーションおよびニューラルネットワークのトレーニングの技術的解決策を提供する。
【課題を解決するための手段】
【０００７】
本開示の実施例のうちの一態様によれば、レーザレーダスパース深度マップの処理方法を提供し、前記方法は、ニューラルネットワークにレーザレーダスパース深度マップを入力することと、前記ニューラルネットワークによって、前記レーザレーダスパース深度マップの異なるスケールの少なくとも２つの特徴マップを取得し、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、前記有効なポイント特徴融合処理の結果に従って処理後の深度マップを取得することであって、前記処理後の深度マップにおける有効なポイントの数は、前記レーザレーダスパース深度マップにおける有効なポイントの数より大きいこととを含む。
【０００８】
本開示の実施例の別の態様によれば、車両のインテリジェント制御方法を提供し、前記方法は、上記のいずれか１つの実施例に記載のレーザレーダスパース深度マップの処理方法を採用して、処理後の深度マップを取得することと、前記処理後の深度マップに従って、前記レーザレーダが配置された車両を制御するための命令または警告プロンプト情報を生成することとを含む。
【０００９】
本開示の実施例のさらに別の態様によれば、障害物回避ナビゲーション方法を提供し、前記方法は、上記のいずれか１つの実施例に記載のレーザレーダスパース深度マップの処理方法を採用して、処理後の深度マップを取得することと、前記処理後の深度マップに従って、前記レーザレーダが配置されたロボットに対して障害物回避ナビゲーション制御を実行するための命令または警告プロンプト情報を生成することとを含む。
【００１０】
本開示の実施例のさらに別の態様によれば、ニューラルネットワークのトレーニング方法を提供し、前記トレーニング方法は、トレーニングされるニューラルネットワークにレーザレーダスパース深度マップサンプルを入力することと、前記トレーニングされるニューラルネットワークによって、前記レーザレーダスパース深度マップサンプルの異なるスケールの少なくとも２つの特徴マップを取得し、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、前記有効なポイント特徴融合処理の結果に従って、処理後の深度マップを形成することであって、前記処理後の深度マップにおける有効なポイントの数は、前記レーザレーダスパース深度マップサンプルにおける有効なポイントの数より大きいことと、前記処理後の深度マップおよびレーザレーダスパース深度マップサンプルの補填深度マップサンプルの深度表記値をガイダンス情報として使用することにより、前記トレーニングされるニューラルネットワークに対して教師あり学習を実行することとを含む。
【００１１】
本開示の実施例のさらに別の態様によれば、レーザレーダスパース深度マップの処理装置を提供し、前記装置は、ニューラルネットワークにレーザレーダスパース深度マップを入力するように構成される深度マップ入力モジュールと、前記レーザレーダスパース深度マップの異なるスケールの少なくとも２つの特徴マップを取得し、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行する、前記有効なポイント特徴融合処理の結果に従って処理後の深度マップを取得するように構成されるニューラルネットワークであって、前記処理後の深度マップにおける有効なポイントの数は、前記レーザレーダスパース深度マップにおける有効なポイントの数より大きいニューラルネットワークとを含む。
【００１２】
本開示の実施例のさらに別の態様によれば、車両のインテリジェント制御装置を提供し、前記装置は、ニューラルネットワークにレーザレーダスパース深度マップを入力するように構成される深度マップ入力モジュールと、前記深度マップの異なるスケールの少なくとも２つの特徴マップを取得し、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、前記有効なポイント特徴融合処理の結果に従って処理後の深度マップを取得するように構成されるニューラルネットワークであって、前記処理後の深度マップにおける有効なポイントの数は、前記レーザレーダスパース深度マップにおける有効なポイントの数より大きいニューラルネットワークと、前記処理後の深度マップに従って、前記レーザレーダが配置された車両を制御するための命令または警告プロンプト情報を生成するように構成される制御モジュールとを含む。
【００１３】
本開示の実施例のさらに別の態様によれば、障害物回避ナビゲーション装置を提供し、前記装置は、ニューラルネットワークにレーザレーダスパース深度マップを入力するように構成される深度マップ入力モジュールと、前記深度マップの異なるスケールの少なくとも２つの特徴マップを取得し、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、前記有効なポイント特徴融合処理の結果に従って処理後の深度マップを取得するように構成されるニューラルネットワークであって、前記処理後の深度マップにおける有効なポイントの数は、前記レーザレーダスパース深度マップにおける有効なポイントの数より大きいニューラルネットワークと、前記処理後の深度マップに従って、前記レーザレーダが配置されたロボットに対して障害物回避ナビゲーション制御を実行するための命令または警告プロンプト情報を生成するように構成される障害物回避ナビゲーションモジュールとを含む。
【００１４】
本開示の実施例のさらに別の態様によれば、ニューラルネットワークのトレーニング装置を提供し、前記トレーニング装置は、トレーニングされるニューラルネットワーにレーザレーダスパース深度マップサンプルを入力するように構成される深度マップサンプル入力モジュールと、前記レーザレーダスパース深度マップサンプルの異なるスケールの少なくとも２つの特徴マップを取得し、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、前記有効なポイント特徴融合処理の結果に従って、処理後の深度マップを形成するように構成される、トレーニングされるニューラルネットワークであって、前記処理後の深度マップにおける有効なポイントの数は、前記レーザレーダスパース深度マップサンプルにおける有効なポイントの数より大きいトレーニングされるニューラルネットワークと、前記処理後の深度マップおよびレーザレーダスパース深度マップサンプルの補填深度マップサンプルの深度表記値をガイダンス情報として使用することにより、前記トレーニングされるニューラルネットワークに対して教師あり学習を実行するように構成される監視モジュールとを含む。
【００１５】
本開示の実施例のさらに別の態様によれば、電子機器を提供し、前記機器は、コンピュータプログラムを記憶するように構成されるメモリと、前記メモリに記憶されたコンピュータプログラムを実行し、且つ前記コンピュータプログラムが実行されると、本開示のいずれかの方法の実施例を実現するように構成されるプロセッサとを含む。
【００１６】
本開示の実施例のさらに別の態様によれば、コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を提供し、当該コンピュータプログラムがプロセッサによって実行されると、本開示のいずれかの方法の実施例を実現する。
【００１７】
本開示の実施例のさらに別の態様によれば、コンピュータ命令が含まれたコンピュータプログラムを提供し、前記コンピュータ命令が機器のプロセッサで実行されると、本開示のいずれかの方法の実施例を実現する。
【００１８】
本開示の実施例で提供されるレーザレーダスパースデプスマップの処理方法、レーザレーダスパースデプスマップの処理装置、ニューラルネットワークトレーニング方法、ニューラルネットワークトレーニング装置、車両のインテリジェント制御方法、車両のインテリジェント制御装置、障害物回避ナビゲーション方法、障害物回避ナビゲーション装置、電子機器、コンピュータ読み取り可能な記憶媒体およびコンピュータプログラムに基き、本開示の実施例は、ニューラルネットワークを使用して、レーザレーダスパースデプスマップの異なるスケールの少なくとも２つの特徴マップに対して、有効なポイント特徴融合処理をそれぞれ実行することにより、ニューラルネットワークが複数のブランチの特徴融合処理を実現することができるようにし、異なるブランチは、複数の受容野の特徴マップを考慮する基で、スパースデプスマップを処理するプロセス中の特徴マップを形成することができ、複数の受容野の特徴マップがグロバルな特徴情報を取得しやすいため、本開示の実施例における融合モジュールは、より正確な物体エッジ情報を取得することができ、それにより、融合処理後の特徴マップの精度を向上させるのに有益であり、画像内の物体内部の深度断裂現象が現れることを回避するのに有益であり、さらに、有効なポイント特徴融合処理を実行することにより、特徴マップにおける無効なポイントが特徴融合に及ぼす影響を回避するのに有益であり、それにより、融合処理後の特徴マップの精度を向上させるのに有益である。本開示の実施例は、より正確な特徴マップを使用することにより処理後の深度マップを形成し、したがって、処理後のレーザレーダ深度マップをより正確にするのに有益である。上述の説明から分かるように、本開示の実施例で提供される技術案は、処理後のレーザレーダ深度マップをより正確にするのに有益であるため、本開示の実施例のレーザレーダスパースデプスマップの処理技術が自動運転、支援運転などのインテリジェント運転およびロボット障害物回避ナビゲーションのリアルタイム環境に適用する場合、インテリジェント運転およびロボット障害物回避ナビゲーションの決定精度または早期警告精度を向上させるのに有益である。
【００１９】
以下、添付の図面および実施形態によって、本開示の実施例の技術的解決策をさらに詳細に説明する。
【図面の簡単な説明】
【００２０】
明細書に組み込まれて明細書の一部を構成する添付の図面は、本開示の実施例を説明し、明細書と共に本開示の実施例の原理を説明するために用いられる。
【００２１】
図面を参照して、以下の詳細な説明に従って、本開示の実施例をより明確に理解することができる。
【図１】本開示の実施例のレーザレーダスパース深度マップの処理方法の一実施形態のフローチャートである。
【図２】本開示の実施例のスパースアップサンプリング処理の実現プロセスの概略図である。
【図３】本開示の実施例のスパース加算処理の実現プロセスの概略図である。
【図４】本開示の実施例のスパース合併畳み込み処理の実現プロセスの概略図である。
【図５】本開示の実施例の２スケール融合モジュールの一実施形態の概略図である。
【図６】本開示の実施例の２スケール融合モジュールの別の実施形態の概略図である。
【図７】本開示の実施例の３スケール融合モジュールの一実施形態の概略図である。
【図８】本開示の実施例の３スケール融合モジュールの別の実施形態の概略図である。
【図９】本開示の実施例のニューラルネットワークの一実施形態の概略図である。
【図１０】本開示の実施例のニューラルネットワークの別の実施形態の概略図である。
【図１１】本開示の実施例のニューラルネットワークのトレーニング方法の一実施形態のフローチャートである。
【図１２】本開示の実施例の車両のインテリジェント制御方法の一実施形態のフローチャートである。
【図１３】本開示の実施例の障害物回避ナビゲーション方法の一実施形態のフローチャートである。
【図１４】本開示の実施例のレーザレーダスパース深度マップの処理装置の一実施形態の例示的な構造図である。
【図１５】本開示の実施例のニューラルネットワークのトレーニング装置の一実施形態の例示的な構造図である。
【図１６】本開示の実施例の車両のインテリジェント制御装置の一実施形態の例示的な構造図である。
【図１７】本開示の実施例の障害物回避ナビゲーション装置の一実施形態の例示的な構造図である。
【図１８】本開示の実施例を実現する一例示的な機器のブロック図である。
【発明を実施するための形態】
【００２２】
ここで、図面を参照して本開示の実施例の様々な例示的な実施例を詳細に説明する。これらの実施例で説明されたコンポーネントおよびステップの相対的な配置、数式及び数値は、特に説明されていない限り、本開示の実施例の保護範囲を制限しないことに留意されたい。
【００２３】
本開示の実施例では、「複数」は２つまたは２つ以上を指し得、「少なくとも１つ」は１つ、２つまたは２つ以上を指し得ることも理解されたい。
【００２４】
当業者は、本開示の実施例における「第１」、「第２」などの用語は、異なるステップ、機器またはモジュールなどを区別するためにのみ使用され、特定の技術的意味を表さず、それらの間の必然的な論理的順序を示すものではないため、本開示の実施例に対する制限として解釈されるべきではないことを理解することができる。本開示の実施例では、「複数」は２つまたは２つ以上を指し得、「少なくとも１つ」は１つ、２つまたは２つ以上を指し得ることも理解されたい。
【００２５】
本本開示の実施例で言及される任意の部品、データまたは構造に対して、明確に定義されていないか、本文で反対の啓示が与えられていない場合、通常は、１つまたは複数として理解され得ることも理解されたい。また、本開示の実施例では、各実施例に対する説明は各実施例間の相違を強調し、その同じまたは類似な所は相互に参照されることができ、簡潔にするために、繰り返さないことも理解されたい。
【００２６】
本開示の実施例で言及される任意の部品、データまたは構造に対して、明確に定義されていないか、本文で反対の啓示が与えられていない場合、通常は、１つまたは複数として理解され得ることも理解されたい。
【００２７】
同時に、説明の便宜上、図面に示された各部分のサイズは、実際の比例関係に従って描かれていないことを理解されたい。
【００２８】
以下、少なくとも１つの例示的な実施例の説明は、実際には説明のためなものに過ぎず、本開示およびその応用または使用を制限することを意図するものではない。
【００２９】
関連分野の当業者に知られている技術、方法および機器に対しては、詳細に説明されない可能性があるが、適切な場合、前記技術、方法および機器は明細書の一部と見なされるべきである。
【００３０】
同じ参照数字および文字は、以下の図面において同じアイテムを示し、したがって、あるアイテムが１つの図面で定義されると、後続の図面でさらに議論する必要がないことに留意されたい。
【００３１】
さらに、本開示の実施例における「および／または」という用語は、関連付けられたオブジェクトを説明する単なる関連付けであり、３種類の関係が存在することができることを示し、例えば、Ａおよび／またはＢは、Ａが独立で存在する場合、ＡとＢが同時に存在する場合、Ｂが独立で存在する場合など３つの場合を示す。さらに、本開示の実施例における記号「／」、一般的に、コンテキストオブジェクトが「または」の関係であることを示す。
【００３２】
本開示の実施例は、端末機器、コンピュータシステムおよびサーバなどの電子機器に適用されることができ、多くの他の汎用または専用のコンピューティングシステム環境または構成と一緒に動作されることができる。端末機器、コンピュータシステムおよびサーバなどの電子機器と一緒に使用することに適用されるよく知られている端末機器、コンピューティングシステム、環境および／または構成の例は、車載機器、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルドまたはラップトップ機器、マイクロプロセッサに基づくシステム、セットトップブロック、プログラマブルコンシューマ電子製品、ネットワークパーソナルコンピュータ、小型コンピュータシステム、大型コンピュータシステム、および前記任意のシステムを含む分散クラウドコンピューティングテクノロジー環境などを含むが、これらに限定されない。
【００３３】
端末機器、コンピュータシステムおよびサーバなどの電子機器は、コンピュータシステムによって実行されるコンピュータシステム実行可能な命令（プログラムモジュールなど）の一般的なコンテキストで説明することができる。一般的に、プログラムモジュールは、ルーチン、プログラム、ターゲットプログラム、コンポネット、ロジックおよびデータ構造などを含むことができ、これらは特定のタスクを実行し、または特定の抽象データタイプを実行する。コンピュータシステム／サーバは、分散クラウドコンピューティング環境で実施することができ、分散クラウドコンピューティング環境で、タスクは、通信ネットワークを介してリンクされたモート処理機器によって実行される。分散クラウドコンピューティング環境において、プログラムモジュールは、記憶機器を含むローカルまたはリモートコンピューティングシステムの記憶媒体に位置することができる。
【００３４】
図１は、本開示の実施例のレーザレーダスパース深度マップの処理方法の一実施例のフローチャートである。図１に示されたように、当該実施例の方法は、次のステップを含む。
【００３５】
ステップＳ１００において、ニューラルネットワークにレーザレーダスパース深度マップを入力する。
【００３６】
本開示の実施例では、レーザレーダのハードウェア機器に基づいて取得した深度マップは、レーザレーダ深度マップである。レーザレーダのハードウェア機器に基づいて取得した深度マップにおける一部のポイントに対して、通常、深度値補填処理を実行する必要があるため、レーザレーダハードウェア機器に基づいて取得された深度マップは、レーザレーダスパース深度マップと称されることもできる。本開示の実施例におけるニューラルネットワークは、事前にトレーニングされたニューラルネットワークである。代替例のうちの１つにおいて、ニューラルネットワークは、レーザレーダスパース深度マップサンプルおよびレーザレーダスパース深度マップサンプルの補填深度マップサンプルの深度表記値に基づいてトレーニングして取得されることができる。
【００３７】
一代替例において、当該ステップＳ１００は、プロセッサによって、メモリによって記憶された対応する命令を呼び出して実行してもよく、プロセッサによって実行される深度マップ入力モジュール１４００によって実行されてもよい。
【００３８】
ステップＳ１１０において、ニューラルネットワークによって、レーザレーダスパース深度マップの異なるスケールの少なくとも２つの特徴マップを取得し、異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、有効なポイント特徴融合処理の結果に従って、処理後の深度マップを取得する。
【００３９】
一代替例において、当該ステップＳ１１０は、プロセッサによって、メモリによって記憶された対応する命令を呼び出して実行してもよく、プロセッサによって実行されるニューラルネットワーク１４１０によって実行されてもよい。
【００４０】
本開示の実施例では、レーザレーダハードウェア機器に基づいて取得した深度マップのポイントの一部に対して深度値補填処理を実行した後に、取得した深度マップも、同じくレーザレーダ深度マップであり、且つレーザレーダデンス深度マップまたは補完したレーザレーダ深度マップまたは補填後のレーザレーダ深度マップなどと称されることができる。本開示の実施例の処理後のレーザレーダ深度マップにおける、深度値を有するポイントの数は、レーザレーダスパース深度マップにおける、深度値を有するポイントの数を超える。即ち、本開示の実施例における「デンス」は上記した「スパース」に相対するものである。
【００４１】
本開示の実施例は、ニューラルネットワークを使用して、レーザレーダスパース深度マップの異なるスケールの少なくとも２つの特徴マップに対して、有効なポイント特徴融合処理をそれぞれ実行することにより、ニューラルネットワークが複数のブランチの特徴融合処理を実現することができるようにし、異なるブランチは、複数の受容野の特徴マップを考慮する基で、スパース深度マップを処理するプロセス中の特徴マップを形成することができ、複数の受容野の特徴マップがグロバルな特徴情報（例えば、物体間の関係を表すための特徴情報など）を取得しやすいため、本開示の実施例における有効なポイント特徴融合処理は、より正確な物体エッジ情報を取得することができ、それにより、融合処理後の特徴マップの精度を向上させるのに有益であり、画像内の物体内部の深度断裂現象が現れることを回避するのに有益であり、さらに、有効なポイント特徴融合処理を実行することにより、特徴マップにおける無効なポイントが特徴融合に及ぼす影響を回避するのに有益であり、それにより、融合処理後の特徴マップの精度を向上させるのに有益である。本開示の実施例はより正確な特徴マップを使用して処理後の深度マップを形成するため、処理後のレーザレーダ深度マップをより正確にするのに有益である。
【００４２】
本開示の実施例における異なるスケールの特徴マップとは、通常、異なるサイズの特徴マップを指す。ニューラルネットワークの１つのブランチは１つのスケールに対応する。本開示の実施例における異なるスケールの特徴マップは異なる受容野で具現されることができる。
【００４３】
一代替例において、本開示の実施例におけるレーザレーダ深度マップは、車両または監視装置などの機器に実装されたレーザレーダがスキャンおよび投影することにより、形成された深度マップであってもよく、例えば、レーザレーダはスキャンすることにより深度点群データを生成し、深度点群データは、撮影装置で撮影された画像（赤緑青（ＲＧＢ：Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ）画像、赤外線（ＩＲ：Ｉｎｆｒａｒｅｄ  Ｒａｄｉａｔｉｏｎ）画像など）の二次元平面に投影される場合、レーザレーダ投影図（二次元レーザレーダ投影図と称されることもできる）を形成する。レーザレーダ投射は、撮影装置で撮影された画像におけるポイントに深度値を提供することができる。レーザレーダ投影図は、撮影装置で撮影された画像と同じまたはほぼ同じ（類似）の視野角およびサイズを有し得る。以下の説明では、時々、撮影装置で撮影された画像としてＲＧＢ画像を例に挙げて、本開示の実施例を説明し、しかしながら、以下の説明のＲＧＢ画像の代わりにＩＲなどの他のタイプの画像を使用してもよいことを知るはずである。
【００４４】
一代替例において、レーザレーダのハードウェア条件などの要因の制限により、レーザレーダ投射は、通常、撮影装置で撮影された画像における一部のみのポイントの深度値を提供するできないため、レーザレーダ投影図は、レーザレーダスパース深度マップとも称される。レーザレーダスパース深度マップにおける、深度値を有するポイントは有効なポイントと称されることができ、深度値のないポイントは無効なポイントと称されることができる。
【００４５】
一代替例において、本開示の実施例におけるニューラルネットワークによって実行される特徴融合処理動作は、有効なポイントに対する特徴融合処理動作であるため、ニューラルネットワークは、特徴融合処理プロセス中に、特徴マップにおける各ポイントが有効なポイントであるかどうかを区別する必要がある。本開示の実施例におけるニューラルネットワークは、特徴マップのマスク（Ｍａｓｋ）を使用して有効なポイントと無効なポイントの区別を実現することができる。ニューラルネットワークは、他の方式を採用して、特徴マップにおける有効なポイントと無効なポイントを区別することができる。本開示の実施例は、特徴マップにおける有効なポイントと無効なポイントを区別する実施形態を制限しない。
【００４６】
いくつかの実施形態において、ステップＳ１００では、ニューラルネットワークにレーザレーダスパース深度マップおよびレーザレーダスパース深度マップのマスクを入力することができ、ここで、レーザレーダスパース深度マップのマスクは、レーザレーダスパース深度マップにおける有効なポイントを指示するために使用される。対応的に、当該実施形態は、レーザレーダスパース深度マップのマスクに従って異なるスケールの少なくとも２つの特徴マップのマスクを決定することをさらに含み得、ステップＳ１１０では、異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行する場合、異なるスケールの少なくとも２つの特徴マップのマスクに従って、異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行することができる。
【００４７】
一代替例において、本開示の実施例では、レーザレーダスパース深度マップを、ニューラルネットワークに提供する同時に、レーザレーダスパース深度マップのマスクをニューラルネットワークに提供することもでき、レーザレーダスパース深度マップのマスクは、レーザレーダスパース深度マップにおける有効なポイントを指示することができ、例えば、マスクにおける１つのポイントの値が０であると、レーザレーダスパース深度マップにおける当該ポイントが無効なポイントであることを示し、マスクにおける１つのポイントの値が１であると、レーザレーダスパース深度マップにおける当該ポイントが有効なポイントであることを示す。本開示の実施例は、レーザレーダスパース深度マップのマスクを使用することにより、レーザレーダスパース深度マップにおける有効なポイントおよび無効なポイントを便宜に区別することができる。
【００４８】
一代替例において、本開示の実施例のニューラルネットワークは入力処理動作、融合処理動作および出力処理動作を実行する。以下の説明では、説明を容易にするために、ニューラルネットワークで入力処理動作を実行する部分を入力処理ユニットと称し、ニューラルネットワークで融合処理動作を実行する部分を融合モジュールと称し、ニューラルネットワークで出力処理を実行する部分を出力処理ユニットと称する。本開示の実施例のニューラルネットワークは、入力処理ユニット、複数のパスの入力および複数のパスの出力を有する少なくとも１つの融合モジュール、および出力処理ユニットを含み得る。ニューラルネットワークが複数の融合モジュールを含む場合、各融合モジュールは、入力処理ユニットと出力処理ユニットの間に順次に直接に接続され、即ち、前のレベルの融合モジュールの出力は、後のレベルの融合モジュールの入力として提供されるために使用される。
【００４９】
いくつかの実施形態において、ステップＳ１１０では、ニューラルネットワークによって、レーザレーダスパース深度マップの異なるスケールの少なくとも２つの特徴マップを取得することは、ニューラルネットワークによって、レーザレーダスパース深度マップの特徴マップを取得するために、レーザレーダスパース深度マップに対してスパース畳み込み処理を実行することと、異なるスケールの少なくとも２つの特徴マップを取得するために、深度マップの特徴マップに対してスケール変換処理を実行することであって、異なるスケールの少なくとも２つの特徴マップは、スケール変換処理前の特徴マップおよびスケール変換処理後の少なくとも１つの特徴マップを含むこととを含み得る。
【００５０】
さらに、別のいくつかの実施形態において、レーザレーダスパース深度マップのマスクに従って異なるスケールの少なくとも２つの特徴マップのマスクを決定する場合、ニューラルネットワークによって、レーザレーダスパース深度マップの特徴マップのマスクを取得するために、レーザレーダスパース深度マップのマスクに対してスパース畳み込み処理を実行し、各特徴マップのマスクを取得するために、マスクに対してスケール変換処理を実行することができる。
【００５１】
一代替例において、入力処理ユニットは、主に、レーザレーダスパース深度マップの特徴マップを取得するために、レーザレーダスパース深度マップに対してスパース畳み込み処理を実行し、深度マップの特徴マップに対してスケール変換処理を実行するように構成され、それにより、当該深度マップの特徴マップを含む、複数の（２つを含む）異なるスケールの特徴マップを取得し、例えば、入力処理ユニットは、深度マップ的特徴マップを処理（ダウンサンプリング処理など）することにより、入力処理ユニットが、２つまたは３つまたはよび多くのデータの異なるスケールの特徴マップを、入力処理ユニットに隣接する第１レベルの融合モジュールに提供することができるようにする。レーザレーダスパース深度マップのマスクもニューラルネットワークに入力する場合、本開示の実施例における入力処理ユニットは、レーザレーダスパース深度マップの特徴マップのマスクを取得するために、レーザレーダスパース深度マップのマスクに対してスパース畳み込み処理を実行することもできる。入力処理ユニットは、スパース畳み込み処理後のマスクに対して対応するスケール変換処理を実行することもでき、それにより、第１レベルの融合モジュールに提供する各特徴マップのマスクを取得し、例えば、入力処理ユニットは、スパース畳み込み処理後の深度マップの特徴マップのマスクに対して対応するダウンサンプリング処理して、入力処理ユニットが、２つまたは３つまたはより多くの数の異なるスケールの特徴マップのマスクを第１レベルの融合モジュールに提供することができるようにする。特徴マップのマスクは、当該マスクに対応する特徴マップにおける有効なポイントを指示するために使用される。例えば、マスクにおける１つのポイントの値が０であると、対応する特徴マップにおける当該ポイントが無効なポイントであることを示し、マスクにおける１つのポイントの値が１であると、対応する特徴マップにおける当該ポイントが有効なポイントであることを示す。
【００５２】
本開示の実施例におけるスパース畳み込み処理とは、通常、有効なポイントおよび無効なポイントガ含まれたマップ（レーザレーダスパース深度マップまたはレーザレーダスパース深度マップのマスクなど）に対して、マップ（レーザレーダスパース深度マップまたはレーザレーダスパース深度マップのマスクなど）における有効なポイントの位置及び無効なポイントの位置に従って、加重加算を実行する畳み込み演算を指す。本開示の実施例は、スパース畳み込み処理を使用して、レーザレーダスパース深度マップの特徴マップおよび特徴マップのマスクをより素早く取得することができる。
【００５３】
一代替例において、本開示の実施例のニューラルネットワークに含まれた各融合モジュールのそれぞれは、複数のパス（少なくとも２つのパス）の入力および複数のパス（少なくとも２つのパス）の出力を有し、１つの融合モジュールが有する入力パス数および出力パス数は、通常、同じである。融合モジュールは、主に、複数のパスの入力の異なるスケールの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行するように構成される。特徴融合処理を実行するプロセスにおいて、融合モジュールは特徴マップのマスクを考慮する基で、特徴マップにおける有効なポイントと無効なポイントを区別することができ、それにより、有効なポイント特徴融合処理を容易に実現する。
【００５４】
いくつかの実施形態において、ステップＳ１１０では、異なるスケールの少なくとも２つの特徴マップ有効なポイントに対して特徴融合処理をそれぞれ実行することは、ニューラルネットワークが、少なくとも１レベルの有効なポイント特徴融合処理を実行することと、少なくとも１レベルの有効なポイント融合処理において、ニューラルネットワークが、異なるスケールの複数のパスの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行することと、ニューラルネットワークが複数のレベルの有効なポイント特徴融合処理を実行する場合、前のレベルの融合処理の出力は、後のレベルの融合処理の入力として提供されることとを含み得る。
【００５５】
一代替例において、本開示の実施例のニューラルネットワークが複数の融合モジュールを含む場合、ニューラルネットワークは、後のレベルの融合モジュールの各パスの入力を対応するスケールの特徴マップにそれぞれ提供するように、前のレベルの融合モジュールの少なくとも１つのパスの出力に対して、特徴マップスケール変換処理を実行することができる。
【００５６】
ここで、ニューラルネットワークは、前のレベルの融合処理後に出力された特徴マップに対してスケール変換処理を実行し、スケール変換処理後の特徴マップは、後のレベルの融合処理に提供されるために使用される。例えば、前のレベルの融合モジュールの１つのパスの出力に対して、特徴マップスケール変換処理を実行した後に、形成された特徴マップは、後のレベルの融合モジュールの入力特徴マップとして使用される。
【００５７】
前のレベルの融合処理の出力パス数が後のレベルの融合処理の入力パス数より少ない場合、前のレベルの融合処理の１つのパスの出力、および当該パスの出力のスケール変換処理後の特徴マップは、両方とも後のレベルの融合処理の出力として使用される。例えば、前のレベルの融合モジュールの出力パス数が後のレベルの融合モジュールの入力パス数より小さい場合、前のレベルの融合モジュールの１つのパスの出力は、後のレベルの融合モジュールの１つのパスの入力として使用される同時に、当該パスの出力に対して特徴マップスケール変換処理を実行された後に、形成された特徴マップは、後のレベルの融合モジュールの別のパスの入力の特徴マップとして使用される。
【００５８】
本開示の実施例は、特徴マップに対してスケール変換処理を実行する同時に、特徴マップのマスクに対して対応するスケール変換処理も実行することができ、それにより、スケール変換処理後の特徴マップが対応するマスクに対応するようにすることに特に留意されたい。
【００５９】
一代替例において、説明を容易にするために、本開示の実施例は、ニューラルネットワークにおける、融合モジュールが出力した特徴マップに対してスケール変換処理動作を実行する部品を、第１変換モジュールと称されることができる。本開示の実施例は、第１変換モジュールを使用して、融合モジュールが出力した特徴マップのマスクに対してスケール変換処理を実行することもできる。本開示の実施例のニューラルネットワークは、少なくとも１つの第１変換モジュールを含み得、第１変換モジュールは、ダウンサンプリングまたはスパースアップサンプリング操作を実行することにより、特徴マップおよび特徴マップのマスクに対するスケール変換処理を実現することができる。本開示の実施例におけるスパースアップサンプリングとは、通常、有効なポイントおよび無効なポイントが含まれたマップ（特徴マップまたは特徴マップのマスクなど）に対して、マップ（特徴マップまたは特徴マップのマスクなどにおける有効なポイントの位置及び無効なポイントの位置に従って、加重加算を実行するアップサンプリング操作を指す。本開示の実施例は、スパースアップサンプリングを使用することにより、特徴マップおよび特徴マップのマスクのスケール変換処理をすばやく実現することができる。
【００６０】
一代替例において、スパースアップサンプリング処理は、特徴マップと特徴マップのマスクに対して要素ごとの乗算を実行し、乗算結果をアップサンプリング処理することと、特徴マップのマスクをアップサンプリング処理して、アップサンプリング処理後のマスクに対して重み行列を形成することと、アップサンプリング処理後の特徴マップと、重み行列の逆数に対して要素ごとの乗算を実行して、スパース加算処理後の特徴マップを形成することと、重み行列を二値化処理して、スパース加算処理後の特徴マップのマスクを形成することとを含み得る。
【００６１】
本開示の実施例におけるダウンサンプリング操作は、最大プーリング層（Ｍａｘ  Ｐｏｏｌｉｎｇ）を介して実現することができる。もちろん、本開示の実施例は、他の方式を採用して、ダウンサンプリング操作を実現することもでき、本開示の実施例は、ダウンサンプリング操作の実現プロセスを制限しない。本開示の実施例は、特徴マップに対してスパースアップサンプリング操作を実行するプロセスにおいて、特徴マップのマスクを参照することができ、それにより、スパースアップサンプリング処理後の特徴マップにおける有効なポイント的位置を、スパースアップサンプリング処理前の特徴マップにおける有効なポイント位置によって決定することができる。スパースアップサンプリング処理の実現プロセスは、以下、図２に対する説明を参照してもよい。
【００６２】
別のいくつかの実施形態において、ステップＳ１１０では、異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行することは、１つのパスの特徴マップを形成するために、融合処理後の少なくとも２つのパスの出力の特徴マップに対して有効なポイント特徴融合処理を実行することであって、前記形成された１つのパスの特徴マップは、後のレベルの融合処理の入力として使用されること、または、ニューラルネットワークが、前記形成された１つのパスの特徴マップに対して出力処理を実行することをさらに含み得る。
【００６３】
さらに、本開示の実施例レーザレーダスパース深度マップの処理方法の別の実施例において、前記方法は、レーザレーダスパース深度マップと同じ視野角およびサイズを有する画像をニューラルネットワークに提供することであって、前記画像は、撮影装置で撮影された画像を含むことと、ニューラルネットワークが、前記画像の少なくとも１つのスケールの特徴マップを取得することであって、前記画像の対応するスケールの特徴マップは、対応する融合処理の出力として使用されることとをさらに含み得、ここで、前記画像の特徴マップは、レーザレーダスパース深度マップの特徴マップとの融合処理を実行するために使用される。
【００６４】
一代替例において、本開示の実施例のニューラルネットワークが複数の融合モジュールを含む場合、ニューラルネットワークは、前のレベルの融合モジュールの少なくとも２つのパスの出力の特徴マップに対して有効なポイント特徴融合処理を実行することができ、それにより、１つのパス特徴マップを形成し、当該パスの特徴マップは後のレベルの融合モジュールの入力として使用されることができる。例えば、前のレベルの融合モジュールの出力パス数が後のレベルの融合モジュールの入力パス数より大きい場合、前のレベルの融合モジュールの１つのパスの出力に対して、有効なポイント特徴融合処理を実行した後に、形成された特徴マップは、後のレベルの融合モジュールの入力特徴マップとして使用される。
【００６５】
本開示の実施例は、前のレベルの融合モジュールによって出力された特徴マップに対して有効なポイント特徴融合処理を実行する同時に、特徴マップのマスクに対して対応する融合処理を実行することもでき、それにより、融合処理後の特徴マップが対応するマスクに対応するようにすることに特に留意されたい。
【００６６】
いくつかの実施形態において、ニューラルネットワークが前記形成された１つのパスの特徴マップに対して出力処理を実行することは、最後のレベルの融合処理によって出力された、複数のパスの有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理を実行し、スパース加算結果を畳み込み処理して、処理後の深度マップを形成することを含み得る。
【００６７】
一代替例において、スパース加算処理は、第１特徴マップと第１特徴マップのマスクに対して要素ごとの乗算を実行し、第２特徴マップと第２特徴マップのマスクに対して要素ごとの乗算を実行し、２つの乗算結果を加算し、加算結果と重み行列の逆数に対して要素ごとの乗算を実行して、スパース加算処理後の特徴マップを形成することと、第１特徴マップのマスクと第２特徴マップのマスクをＯＲ演算して、スパース加算処理後の特徴マップのマスクを形成することとを含み得る。
【００６８】
一代替例において、説明を容易にするために、本開示の実施例は、ニューラルネットワークにおける、前のレベルの融合モジュールの少なくとも２つのパスの出力の特徴マップに対して有効なポイント特徴融合処理動作を実行する部品を、第２変換モジュールと称されることができる。本開示の実施例は、第２変換モジュールを使用して、前のレベルの融合モジュールの少なくとも２つのパスの出力の特徴マップのマスクに対して融合処理を実行することもできる。本開示の実施例のニューラルネットワークは、少なくとも１つの第２変換モジュールを含み得、第２変換モジュールは、スパースアップサンプリングおよびスパース加算など操作を通じて、上記した特徴マップの有効なポイント特徴融合処理およびマスクの融合処理を実現することができる。本開示の実施例におけるスパース加算とは、通常、有効なポイントおよび無効なポイントが含まれたマップ（特徴マップまたは特徴マップのマスクなど）に対して、マップ（特徴マップまたは特徴マップのマスクなどにおける有効なポイントの位置及び無効なポイントの位置に従って、加重加算を実行する加算操作を指す。本開示の実施例は、スパースアップサンプリングおよびスパース加算を使用することにより、特徴マップの有効なポイント特徴融合処理および特徴マップのマスクの融合処理をすばやく実現することができる。
【００６９】
本開示の実施例は、特徴マップに対してスパースアップサンプリング処理およびスパース加算処理を実行するプロセスにおいて、有効なポイントに基づくスパースアップサンプリング処理およびスパース加算処理を実現するために、特徴マップのマスクを参照することができ、それにより、スパースアップサンプリング処理およびスパース加算処理後の特徴マップにおける有効なポイント的位置を、スパースアップサンプリング処理前の特徴マップにおける有効なポイント位置によって決定することができる。スパース加算処理の実現プロセスの一例は、以下、図３に対する説明を参照してもよい。
【００７０】
適用シナリオでは、１つの第１変換モジュールを２つの前後に隣接する融合モジュールの間に配置することができ、別の適用シナリオでは、１つの第２変換モジュールを２つの前後に隣接する融合モジュールの間に配置することができ、さらに別の適用シナリオでは、１つの第１変換モジュールおよび１つの第２変換モジュールを２つの前後に隣接する融合モジュールの間に配置することができることに特に留意されたい。
【００７１】
一代替例において、ニューラルネットワークにおける融合モジュールが各パスの入力に対して、実行する有効なポイント特徴融合処理動作は、完全に同じではない。例えば、融合モジュールが２つのパスの入力を有する場合、融合モジュールは、２つのパスの入力に対して異なる有効なポイント特徴融合処理動作を実行する。さらに例えば、融合モジュールが３つのパスの入力の場合、融合モジュールは、その中での２つのパスの入力に対して同じ有効なポイント特徴融合処理動作を実行することができ、残りの１つのパスの入力に対して実行する有効なポイント特徴融合処理動作は、別の２つのパスの入力に対して実行する有効なポイント特徴融合処理動作と同じではない。もちろん、本開示の実施例では、融合モジュールが３つのパスの入力に対して３つの異なる有効なポイント特徴融合処理動作を実行する可能性を排除しない。
【００７２】
いくつかの実施形態において、融合処理がＮ個パスの入力およびＮ個パスの出力を有する場合、ニューラルネットワークがＭ番目のパスの入力に対して実行する有効なポイント特徴融合処理は、Ｎ番目のパスの入力の特徴マップおよび特徴マップのマスクに対してダウンサンプリング処理をそれぞれ実行することと、ダウンサンプリング処理後の特徴マップおよび特徴マップのマスク、およびＭ番目のパスの入力の特徴マップおよび特徴マップのマスクに従って、スパース合併畳み込み処理を実行することと、スパース合併畳み込み処理後に取得した特徴マップおよび特徴マップのマスクに対してスパース畳み込み処理をそれぞれ実行して、Ｍ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを形成することとを含み得る。ここで、Ｎ番目のパスの入力の特徴マップのスケールは、Ｍ番目のパスの入力の特徴マップおよび特徴マップのマスク特徴マップのスケールより大きく、Ｍは０より大きい整数である、且つ、ＮはＭより大きい整数である。
【００７３】
一代替例において、融合モジュールがＮ個（Ｎ＞１、且つＮは整数である）パスの入力およびＮ個パスの出力を有する場合、融合モジュールがＭ（Ｍ＞０、且つＭはＮより小さい整数である）番目のパスの入力に対して実行する有効なポイント特徴融合処理のプロセスは、次の通りである。
【００７４】
まず、融合モジュールが、前記融合モジュールのＮ番目のパスの入力の特徴マップおよび特徴マップのマスクをそれぞれ処理（ダウンサンプリング処理など）し、例えば、最大プーリング層を使用して、Ｎ番目のパスの入力の特徴マップに対するダウンサンプリング処理を実現する。また、融合モジュールは、当該最大プーリング層を使用して、Ｎ番目のパスの入力の特徴マップのマスクに対するダウンサンプリング処理を実現することができる。当該例示におけるＮ番目のパスの入力の特徴マップのスケールは、Ｍ番目のパスの入力の特徴マップのスケールより大きい。
【００７５】
次に、融合モジュールは、上記したダウンサンプリング処理後の特徴マップおよびマスク、およびＭ番目のパスの入力の特徴マップおよび特徴マップのマスク特徴マップおよびマスクに従って、スパース合併畳み込み処理を実行し、それにより、スパース合併畳み込み処理後の特徴マップおよび特徴マップのマスクを取得する。本開示の実施例におけるスパース合併畳み込みとは、通常、有効なポイントおよび無効なポイントが含まれた２つのパスマップ（特徴マップまたはマスクなど）に対して、合併操作を実行し、合併後のマップ（合併後の特徴マップまたは合併後のマスクなど）における有効なポイント的位置および無効なポイント的位置に従って加重加算を実行する畳み込み演算操作を指す。本開示の実施例は、スパース合併畳み込みを使用することにより、Ｍ番目のパスの有効なポイント特徴融合処理後の特徴マップおよび当該特徴マップのマスクをすばやく形成するのに有益である。スパース合併畳み込み処理の実現プロセスの一例は、以下、図４に対する説明を参照してもよい。
【００７６】
最後、融合モジュールは、スパース合併畳み込み処理後に取得した特徴マップおよび特徴マップのマスク、スパース畳み込み処理をそれぞれ実行し、それにより、当該融合モジュールのＭ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび当該特徴マップのマスクを形成する。本開示の実施例は、既存のスパース畳み込み処理方式を採用することができ、本開示の実施例は、スパース畳み込み処理の実現プロセスを制限しない。
【００７７】
別のいくつかの実施形態において、ニューラルネットワークがＮ番目のパスの入力に対して実行する有効なポイント特徴融合処理は、Ｎ番目のパスの入力の特徴マップおよび特徴マップのマスクに対してスパース畳み込み処理をそれぞれ実行することと、少なくとも１つのＭ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを畳み込み処理し、前記畳み込み処理後の特徴マップおよび特徴マップのマスクに対してスパースアップサンプリング処理をそれぞれ実行することと、Ｎ番目のパスのスパース畳み込み処理後の特徴マップおよび特徴マップのマスクと、少なくとも１つのＭ番目のパスのスパースアップサンプリング処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理を実行して、Ｎ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを形成することとを含み得る。
【００７８】
別のいくつかの実施形態において、融合処理がＮ個パスの入力およびＮ個パスの出力を有する場合、ニューラルネットワークがＮ番目のパスの入力に対して実行する有効なポイント特徴融合処理は、Ｎ番目のパスの入力の特徴マップおよび特徴マップのマスクに対しておよび画像の特徴マップスパース合併畳み込み処理を実行することと、少なくとも１つのＭ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを畳み込み処理し、畳み込み処理後の特徴マップおよび特徴マップのマスクに対してスパースアップサンプリング処理を実行することと、Ｎ番目のパスのスパース合併畳み込み処理後の特徴マップおよび特徴マップのマスク与少なくとも１つのＭ番目のパスのスパースアップサンプリング処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理を実行して、Ｎ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを形成することとを含み得る。ここで、Ｍは０より大きい整数であり、ＮはＭより大きい整数である。
【００７９】
対応的に、いくつかの実施形態において、ニューラルネットワークが前記形成された１つのパスの特徴マップに対して出力処理を実行することは、最後のレベルの融合処理によって出力された、複数のパスの有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理を実行し、スパース加算結果および前記画像の特徴マップに対してスパース合併畳み込み処理を実行し、スパース合併畳み込み処理の結果を畳み込み処理して、処理後の深度マップを形成することを含み得る。
【００８０】
一代替例において、融合モジュールがＮ個（Ｎ＞１、且つＮは整数である）パスの入力およびＮ個パスの出力を有する場合、融合モジュールが、Ｎ番目のパスの入力に対して実行する有効なポイント特徴融合処理のプロセスは、次の通りである。
【００８１】
まず、融合モジュールは、そのＮ番目のパスの入力の特徴マップおよび当該特徴マップのマスクに対して、スパース畳み込み処理をそれぞれ実行する。同様に、本開示の実施例は、既存のスパース畳み込み処理方式を採用することができ、本開示の実施例は、スパース畳み込み処理の具体的な実現プロセスを制限しない。
【００８２】
次に、融合モジュールは、少なくとも１つのＭ（Ｍ＞０、且つＭはＮより小さい整数である）番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび当該特徴マップのマスクを畳み込み処理し、畳み込み処理後の特徴マップおよび当該特徴マップのマスクに対してスパースアップサンプリング処理を実行する。例えば、融合モジュールが３つのパスの入力および３つのパスの出力を有する場合、融合モジュールは、最初のパスの出力の特徴マップおよびマスクに対して畳み込み処理およびスパースアップサンプリング処理を実行する。さらに例えば、融合モジュールが３つのパスの入力および３つのパスの出力を有する場合、融合モジュールは、２番目のパスの出力の特徴マップおよびマスクに対して畳み込み処理およびスパースアップサンプリング処理を実行する。さらに例えば、融合モジュールが３つのパスの入力および３つのパスの出力を有する場合、融合モジュールは、最初のパスの出力の特徴マップおよびマスクに対して畳み込み処理およびスパースアップサンプリング処理をそれぞれ実行し、２番目のパスの出力の特徴マップ及びマスクに対して畳み込み処理およびスパースアップサンプリング処理をそれぞれ実行することができる。
【００８３】
最後、Ｎ番目のパスのスパース畳み込み処理後の特徴マップおよび当該特徴マップのマスクと、少なくとも１つのＭ番目のパスのスパースアップサンプリング処理後の特徴マップおよび当該特徴マップのマスクに対してスパース加算処理をそれぞれ実行し、それにより、Ｎ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび当該特徴マップのマスクを形成する。例えば、融合モジュールが３つのパスの入力および３つのパスの出力を有する場合、融合モジュールは、３番目のパスのスパース畳み込み処理後の特徴マップおよび当該特徴マップのマスクと、最初のパスのスパースアップサンプリング処理後の特徴マップおよび当該特徴マップのマスクに対してスパース加算処理を実行することができ、当該スパース加算処理後の特徴マップおよび当該特徴マップのマスクは、融合モジュールの３番目のパスの出力として使用される。さらに例えば、融合モジュールが３つのパスの入力および３つのパスの出力を有する場合、融合モジュールは、３番目のパスのスパース畳み込み処理後の特徴マップおよび当該特徴マップのマスクと、２番目のパスのスパースアップサンプリング処理後の特徴マップおよび当該特徴マップのマスクに対してスパース加算処理を実行することができ、当該スパース加算処理後の特徴マップおよび当該特徴マップのマスクは、融合モジュールの３番目のパスの出力として使用される。さらに例えば、融合モジュールが３つのパスの入力および３つのパスの出力を有する場合、融合モジュールは、３番目のパスのスパース畳み込み処理後の特徴マップおよび当該特徴マップのマスクと、最初のパスのスパースアップサンプリング処理後の特徴マップおよび当該特徴マップのマスクに対してスパース加算処理を実行し、スパース加算処理後の特徴マップおよび当該特徴マップのマスクと、２番目のパスのスパースアップサンプリング処理後の特徴マップおよび当該特徴マップのマスクに対してスパース加算処理をそれぞれ実行することができ、今回のスパース加算処理後の特徴マップおよび当該特徴マップのマスクは、融合モジュールの３番目のパスの出力として使用される。
【００８４】
一代替例において、本開示の実施例では、レーザレーダスパース深度マップおよび当該深度マップのマスクをニューラルネットワークに提供する同時に、当該スパース深度マップに対応するＲＧＢ（赤緑青）画像を当該ニューラルネットワークに提供することもできる。当該ＲＧＢ画像は、通常、レーザレーダスパース深度マップと同じまたはほぼ同じの視野角およびサイズを有する。例えば、レーザレーダは、スキャンを介して深度点群データを生成し、当該深度点群データは、撮影装置が撮影したＲＧＢ画像に投射され、それにより、レーザレーダスパース投影図を形成する。
【００８５】
一代替例において、ニューラルネットワークの入力処理ユニットは、ＲＧＢ画像の少なくとも１つのスケールの特徴マップを取得するように構成されることもできる。入力処理ユニットが取得したＲＧＢ画像の特徴マップの数は、通常、ニューラルネットワークに含まれた融合モジュールの数より小さい。本開示の実施例は、ＲＧＢ画像の対応するスケールの特徴マップを、ニューラルネットワークにおける対応する融合モジュールに提供して、融合モジュールが、前記融合モジュールが受信したＲＧＢ画像の特徴マップを参照することに基づき、有効なポイント特徴融合処理動作を実行することができるようにする。
【００８６】
ＲＧＢ画像の特徴マップがグローバルな特徴情報（例えば、物体間の関係を表すための特徴情報など）を融合モジュールに提供することができるため、本開示の実施例は、融合モジュールがより正確な物体エッジ情報を取得することができようにし、それにより、有画像内の物体内部の深度断裂現象が現れることを回避するのに有益であるため、処理後のレーザレーダ深度マップをより正確にするのに有益である。
【００８７】
一代替例において、融合モジュールがＮ個（Ｎ＞１、且つＮは整数である）パスの入力およびＮ個パスの出力を有し、且つＲＧＢ画像の特徴マップを融合モジュールに提供する場合、融合モジュールは、Ｍ（Ｍ＞０、且つＭはＮより小さい整数である）番目のパスの入力に対して実行する有効なポイント特徴融合処理のプロセスは、上記した実施形態の説明を参照することができる。ここでは再び説明しない。
【００８８】
一代替例において、融合モジュールがＮ個（Ｎ＞０、且つＮは整数である）パスの入力およびＮ個パスの出力を有し、且つＲＧＢ画像の特徴マップを融合モジュールに提供する場合、融合モジュールは、Ｎ番目のパスの入力に対して実行する有効なポイント特徴融合処理のプロセスは、次の通りである。
【００８９】
まず、融合モジュールは、そのＮ番目のパスの入力の特徴マップおよび当該特徴マップのマスクに対して、スパース合併畳み込み処理をそれぞれ実行する。
【００９０】
次に、融合モジュールは、少なくとも１つのＭ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび当該特徴マップのマスクを畳み込み処理し、畳み込み処理後の特徴マップおよび当該特徴マップのマスクに対してスパースアップサンプリング処理を実行する。例えば、融合モジュールが３つのパスの入力および３つのパスの出力を有する場合、融合モジュールは、最初のパスの出力の特徴マップおよびマスクに対して畳み込み処理およびスパースアップサンプリング処理を実行する。さらに例えば、融合モジュールが３つのパスの入力および３つのパスの出力を有する場合、融合モジュールは、２番目のパスの出力の特徴マップおよびマスクに対して畳み込み処理およびスパースアップサンプリング処理を実行する。さらに例えば、融合モジュールが３つのパスの入力および３つのパスの出力を有する場合、融合モジュールは、最初のパスの出力の特徴マップおよびマスクに対して畳み込み処理およびスパースアップサンプリング処理をそれぞれ実行し、２番目のパスの出力の特徴マップ及びマスクに対して畳み込み処理およびスパースアップサンプリング処理をそれぞれ実行することができる。
【００９１】
最後、Ｎ番目のパスのスパース合併畳み込み処理後の特徴マップおよび当該特徴マップのマスクと、少なくとも１つのＭ番目のパスのスパースアップサンプリング処理後の特徴マップおよび当該特徴マップのマスクに対してスパース加算処理をそれぞれ実行し、それにより、Ｎ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび当該特徴マップのマスクを形成する。例えば、融合モジュールが３つのパスの入力および３つのパスの出力を有する場合、融合モジュールは、３番目のパスのスパース合併畳み込み処理後の特徴マップおよび当該特徴マップのマスクと、最初のパスのスパースアップサンプリング処理後の特徴マップおよび当該特徴マップのマスクに対してスパース加算処理を実行することができ、当該スパース加算処理後の特徴マップおよび当該特徴マップのマスクは、融合モジュールの３番目のパスの出力として使用される。さらに例えば、融合モジュールが３つのパスの入力および３つのパスの出力を有する場合、融合モジュールは、３番目のパスのスパース合併畳み込み処理後の特徴マップおよび当該特徴マップのマスクと、２番目のパスのスパースアップサンプリング処理後の特徴マップおよび当該特徴マップのマスクに対してスパース加算処理を実行することができ、当該スパース加算処理後の特徴マップおよび当該特徴マップのマスクは、融合モジュールの３番目のパスの出力として使用される。さらに例えば、融合モジュールが３つのパスの入力および３つのパスの出力を有する場合、融合モジュールは、３番目のパスのスパース合併畳み込み処理後の特徴マップおよび当該特徴マップのマスクと、最初のパスのスパースアップサンプリング処理後の特徴マップおよび当該特徴マップのマスクに対してスパース加算処理を実行し、今回のスパース加算処理後の特徴マップおよび当該特徴マップのマスクと、２番目のパスのスパースアップサンプリング処理後の特徴マップおよび当該特徴マップのマスクに対してスパース加算処理をそれぞれ実行することができ、今回のスパース加算処理後の特徴マップおよび当該特徴マップのマスクは、融合モジュールの３番目のパスの出力として使用される。
【００９２】
一代替例において、本開示の実施例における出力処理ユニットは、主に、最後のレベルの融合モジュールの出力に従って、処理後（即ち、補填処理後）の深度マップを形成するように構成される。
【００９３】
ＲＧＢ画像を入力として、ニューラルネットワークに提供しない場合、出力処理ユニットは第１出力処理ユニットであってもよく、第１出力処理ユニットは、主に、最後のレベルの融合モジュールによって出力される、複数のパスの有効なポイント特徴融合処理後の特徴マップおよび当該特徴マップのマスクに対して、スパース加算処理を実行し、スパース加算結果を畳み込み処理し、それにより、処理後の深度マップを形成するために使用される。
【００９４】
ＲＧＢ画像を入力として、ニューラルネットワークに提供する場合、出力処理ユニットは第２出力処理ユニットであってもよく、第２出力処理ユニットは、主に、最後のレベルの融合モジュールによって出力される、複数のパスの有効なポイント特徴融合処理後の特徴マップおよび当該特徴マップのマスクに対してスパース加算処理を実行し、スパース加算結果およびＲＧＢ画像の特徴マップスパースに対して合併畳み込み処理を実行し、スパース合併畳み込み処理の結果を畳み込み処理し、それにより、処理後の深度マップを形成するために使用される。
【００９５】
本開示の実施例の一代替例では、スパースアップサンプリング処理の実現プロセスを図２に示す。
【００９６】
図２において、左上隅に位置する２×２行列は特徴マップｘを示し、左下隅に位置する２×２行列は特徴マップｘのマスク
【００９７】
【化１】
2021530771.tif 000003
【００９８】
を示し、
【００９９】
【化２】
2021530771.tif 000004
【０１００】
は要素ごとの乗算（ｅｌｅｍｅｎｔ  ｗｉｓｅ  ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）を示し、
【０１０１】
【化３】
2021530771.tif 000005
【０１０２】
は要素ごとの加算（ｅｌｅｍｅｎｔ  ｗｉｓｅ  ａｄｄｉｔｉｏｎ）を示し、／は要素ごとの除算（ｅｌｅｍｅｎｔ  ｗｉｓｅ  ｄｉｖｉｓｉｏｎ）を示し、Ｆはアップサンプリング処理を示す。
【０１０３】
まず、特徴マップｘとマスク
【０１０４】
【化４】
2021530771.tif 000006
【０１０５】
に対して要素ごとの乗算を実行し、乗算結果は、図２の左上２番目の２×２行列、即ち、
【０１０６】
【化５】
2021530771.tif 000007
【０１０７】
の上に位置する２×２行列である。乗算結果
【０１０８】
【化６】
2021530771.tif 000008
【０１０９】
に対してアップサンプリング処理を実行し、それにより、左上の最初の４×４行列、即ち、
【０１１０】
【化７】
2021530771.tif 000009
【０１１１】
の上に位置する４×４行列を形成する。
【０１１２】
次に、特徴マップｘのマスク
【０１１３】
【化８】
2021530771.tif 000010
【０１１４】
に対してアップサンプリング処理を実行し、それにより、左下の最初の４×４的行列、即ち、
【０１１５】
【化９】
2021530771.tif 000011
【０１１６】
の上に位置する４×４行列を形成する。アップサンプリング処理後のマスク
【０１１７】
【化１０】
2021530771.tif 000012
【０１１８】
に対して重み行列を形成する。重み行列の逆数の一例は、
【０１１９】
【化１１】
2021530771.tif 000013
【０１２０】
であってもよく、ここで、
【０１２１】
【化１２】
2021530771.tif 000014
【０１２２】
は１よりはるかに小さい定数であり、例えば、
【０１２３】
【化１３】
2021530771.tif 000015
【０１２４】
の値の範囲は０．００００５〜０．０００１であってもよい。
【０１２５】
【化１４】
2021530771.tif 000016
【０１２６】
は、主に、分母が０になるのを避けるために使用される。
【０１２７】
再び、アップサンプリング処理後の特徴マップ
【０１２８】
【化１５】
2021530771.tif 000017
【０１２９】
と、重み行列の逆数
【０１３０】
【化１６】
2021530771.tif 000018
【０１３１】
に対して要素ごとの乗算を実行して、スパース加算処理後の特徴マップｚ（図２の右上隅に示す）を形成する。
【０１３２】
同時に、重み行列
【０１３３】
【化１７】
2021530771.tif 000019
【０１３４】
を二値化処理することができ、それにより、スパース加算処理後の特徴マップのマスク
【０１３５】
【化１８】
2021530771.tif 000020
【０１３６】
（図２の右下隅に示す）を生成する。本開示の実施例の重み行列に対する二値化処理の一例は、
【０１３７】
【化１９】
2021530771.tif 000021
【０１３８】
で示される。
【０１３９】
本開示の実施例は、以下の式（１）を使用して、特徴マップに対するスパースアップサンプリング処理を示すことができ、以下の式（２）を使用して、特徴マップのマスクに対するスパースアップサンプリング処理を示すことができる。
【０１４０】
【化２０】
2021530771.tif 000022
【０１４１】
本開示の実施例の一代替例では、スパース加算処理の実現プロセスを図３に示す。
【０１４２】
図３では、左上隅に位置する３×３行列は特徴マップｘを示し、特徴マップｘの下に位置する３×３行列は特徴マップｙを示し、特徴マップｙの下に位置する３×３行列は特徴マップｘのマスク
【０１４３】
【化２１】
2021530771.tif 000023
【０１４４】
を示し、特徴マップｘのマスク
【０１４５】
【化２２】
2021530771.tif 000024
【０１４６】
下に位置する３×３行列は特徴マップｙのマスク
【０１４７】
【化２３】
2021530771.tif 000025
【０１４８】
を示し、
【０１４９】
【化２４】
2021530771.tif 000026
【０１５０】
は要素ごとの乗算を示し、
【０１５１】
【化２５】
2021530771.tif 000027
【０１５２】
は要素ごとの加算を示し、／は要素ごとの除算を示し、∪はＯＲ演算を示す。
【０１５３】
まず、特徴マップｘ（即第１特徴マップ）と特徴マップのマスク
【０１５４】
【化２６】
2021530771.tif 000028
【０１５５】
に対して要素ごとの乗算を実行し、乗算結果は図３の左上の２番目の３×３行列、即ち、
【０１５６】
【化２７】
2021530771.tif 000029
【０１５７】
上に位置する３×３行列である。
【０１５８】
同時に、特徴マップｙ（即ち、第２特徴マップ）と特徴マップのマスク
【０１５９】
【化２８】
2021530771.tif 000030
【０１６０】
に対して要素ごとの乗算を実行し、乗算結果は図３の２行目の左側にある２番目の３×３行列、即ち、
【０１６１】
【化２９】
2021530771.tif 000031
【０１６２】
の上に位置する３×３行列である。
【０１６３】
次に、これらの２つの乗算結果を加算して、加算の結果は、図３の左上３番目の３×３行列、即ち、
【０１６４】
【化３０】
2021530771.tif 000032
【０１６５】
の上に位置する３×３行列である。
【０１６６】
再び、加算結果
【０１６７】
【化３１】
2021530771.tif 000033
【０１６８】
と重み行列の逆数に対して要素ごとの乗算を実行して、スパース加算処理後の特徴マップｚ、即ち、右上隅に位置する３×３行列を形成する。ここで、重み行列の逆数はの一例は、
【０１６９】
【化３２】
2021530771.tif 000034
【０１７０】
であってもよく、ここで、
【０１７１】
【化３３】
2021530771.tif 000035
【０１７２】
は１よりはるかに小さい定数であり、例えば、
【０１７３】
【化３４】
2021530771.tif 000036
【０１７４】
の値の範囲は０．００００５〜０．０００１であってもよい。
【０１７５】
【化３５】
2021530771.tif 000037
【０１７６】
は、主に、分母が０になるのを避けるために使用される。ここで、
【０１７７】
【化３６】
2021530771.tif 000038
【０１７８】
の結果は図３の３行目の右側にある３×３行列である。
【０１７９】
特徴マップｘおよび特徴マップｙに対してスパース加算処理を実行する同時に、特徴マップｘのマスク
【０１８０】
【化３７】
2021530771.tif 000039
【０１８１】
および特徴マップｙのマスク
【０１８２】
【化３８】
2021530771.tif 000040
【０１８３】
に対してスパース加算処理を実行することもでき、例えば、特徴マップｘ的マスク
【０１８４】
【化３９】
2021530771.tif 000041
【０１８５】
を特徴マップｙのマスク
【０１８６】
【化４０】
2021530771.tif 000042
【０１８７】
とＯＲ演算し、それにより、スパース加算処理後の特徴マップｚのマスク
【０１８８】
【化４１】
2021530771.tif 000043
【０１８９】
、
即ち、右下隅に位置する３×３行列を形成する。
【０１９０】
本開示の実施例は、以下の式（３）を使用して、特徴マップに対するスパース加算処理を示すことができ、以下の式（４）を使用して、特徴マップのマスクに対するスパース加算処理を示すことができる。
【０１９１】
【化４２】
2021530771.tif 000044
【０１９２】
本開示の実施例の一代替例では、スパース合併畳み込み処理の実現プロセスを図４に示す。
【０１９３】
図４では、左上隅に位置する直方体は特徴マップｘを示し、特徴マップｘの下に位置する直方体は特徴マップｙを示し、特徴マップｙの下に位置する３×３行列は特徴マップｘのマスク
【０１９４】
【化４３】
2021530771.tif 000045
【０１９５】
を示し、特徴マップｘのマスク
【０１９６】
【化４４】
2021530771.tif 000046
【０１９７】
の下に位置する３×３行列は特徴マップｙのマスクを示し  、
【０１９８】
【化４５】
2021530771.tif 000047
【０１９９】
は要素ごとの乗算を示し、
【０２００】
【化４６】
2021530771.tif 000048
【０２０１】
は要素ごとの加算を示し、
【０２０２】
【化４７】
2021530771.tif 000049
【０２０３】
は乗算を示し、／は要素ごとの除算を示し、
【０２０４】
【化４８】
2021530771.tif 000050
【０２０５】
は特徴マップｘのチャネル数を示し、
【０２０６】
【化４９】
2021530771.tif 000051
【０２０７】
は特徴マップｙのチャネル数を示し、＊は畳み込み処理を示す。
【０２０８】
まず、特徴マップｘ（即ち、第１特徴マップ）および特徴マップｙ（即ち、第２特徴マップ）をチャネル数の次元で合併し、合併結果は図４の
【０２０９】
【化５０】
2021530771.tif 000052
【０２１０】
の上に位置する直方体であり、合併後の結果は
【０２１１】
【化５１】
2021530771.tif 000053
【０２１２】
に示すことができ、
【０２１３】
【化５２】
2021530771.tif 000054
【０２１４】
のチャネル数は
【０２１５】
【化５３】
2021530771.tif 000055
【０２１６】
である。
【０２１７】
次に、合併後の結果
【０２１８】
【化５４】
2021530771.tif 000056
【０２１９】
を畳み込み演算して、
【０２２０】
【化５５】
2021530771.tif 000057
【０２２１】
は今回の畳み込み演算の畳み込みカーネルのサイズを示す。
【０２２２】
再び、畳み込み演算後の特徴マップと重み行列の逆数に対して要素ごとの乗算を実行して、スパース合併畳み込み処理後の特徴マップｚを形成する。
【０２２３】
特徴マップｘおよび特徴マップｙに対してスパース合併畳み込み処理を実行する同時に、特徴マップｘのマスク
【０２２４】
【化５６】
2021530771.tif 000058
【０２２５】
および特徴マップｙのマスク
【０２２６】
【化５７】
2021530771.tif 000059
【０２２７】
に対してスパース合併畳み込み処理を実行することもでき、例えば、特徴マップｘのマスク
【０２２８】
【化５８】
2021530771.tif 000060
【０２２９】
を特徴マップｘのチャネル数
【０２３０】
【化５９】
2021530771.tif 000061
【０２３１】
と掛け算し、特徴マップｙのマスク
【０２３２】
【化６０】
2021530771.tif 000062
【０２３３】
を特徴マップｙのチャネル数
【０２３４】
【化６１】
2021530771.tif 000063
【０２３５】
と掛け算し、２つの乗算結果に対して加算処理を実行し、相加処理後の結果は、図４の一番右下の３×３行列、即ち、図４の
【０２３６】
【化６２】
2021530771.tif 000064
【０２３７】
の上に位置する３×３行列である。相加処理後の結果
【０２３８】
【化６３】
2021530771.tif 000065
【０２３９】
を畳み込み演算して、
【０２４０】
【化６４】
2021530771.tif 000066
【０２４１】
は今回の畳み込み演算の畳み込みカーネルのサイズを示し、畳み込み演算結果に従って重み行列を形成し、重み行列の逆数の一例は、
【０２４２】
【化６５】
2021530771.tif 000067
【０２４３】
であってもよく、ここで、
【０２４４】
【化６６】
2021530771.tif 000068
【０２４５】
は１よりはるかに小さい定数であり、例えば、
【０２４６】
【化６７】
2021530771.tif 000069
【０２４７】
の値の範囲は０．００００５〜０．０００１であってもよい。
【０２４８】
【化６８】
2021530771.tif 000070
【０２４９】
は、主に、分母が０になるのを避けるために使用される。重み行列を二値化処理して、スパース合併畳み込み処理後の特徴マップｚのマスク
【０２５０】
【化６９】
2021530771.tif 000071
【０２５１】
を形成する。本開示の実施例の重み行列
【０２５２】
【化７０】
2021530771.tif 000072
【０２５３】
に対する二値化処理の一例は、
【０２５４】
【化７１】
2021530771.tif 000073
【０２５５】
で示される。
【０２５６】
本開示の実施例は、以下の式（５）を使用して、特徴マップに対するスパース合併畳み込み処理を示すことができ、以下の式（６）を使用して、特徴マップのマスクに対するスパース合併畳み込み処理を示すことができる。
【０２５７】
【化７２】
2021530771.tif 000074
【０２５８】
本開示の実施例の一代替例では、２つの入力および２つの出力を有する融合モジュール（即ち、２スケール融合モジュール）の一例を図５に示す。
【０２５９】
図５の左端は２つのパスの入力であり、当該２つのパスの入力はアップパスの出力およびダウンパスの入力と称されることができる。異なるスケールを有する２つの特徴マップは、当該２つのパスの入力を介して融合モジュールに提供され、対応的に、異なるスケールを有する２つの特徴マップのマスクも２つのパスの入力を介して融合モジュールに提供される。図５の右端は２つのパスの出力であり、アップパスの出力およびダウンパスの出力と称されることができる。融合モジュールが２つのパスの入力に対して有効なポイント特徴融合処理をそれぞれ実行した後に、形成された異なるスケールを有する２つの特徴マップおよび当該特徴マップのマスクはアップパスの出力とダウンパスの出力になる。
【０２６０】
融合モジュールは、アップパスの出力に対してダウンサンプリング処理を実行して（図５の中間領域の左端の縦線で満たされたボックスであり、本開示の実施例における中間領域とは、図の一番上と下の間にある領域を指し、以下同じであるため、詳細に説明しない）、ダウンサンプリング処理後の結果がダウンパスの入力と同じのスケールを有するようにする（即ち、ダウンサンプリング処理後の結果とダウンパスの入力は同じサイズであり、注：図５のブロックのサイズはスケールのサイズを表さない）。融合モジュールは、ダウンサンプリング処理後の結果をダウンパスの入力とともにスパース合併畳み込み処理を実行し（図５の左下隅に位置する、ドットで満たされたボックスである）、融合モジュールは、スパース合併畳み込み処理後の結果に対してスパース畳み込み処理を実行し（図５の右下隅に位置する、左斜線で満たされたボックスであり、左斜線は、ブロックの右上から左下に傾斜する線を指す）、今回のスパース畳み込み処理後の結果は、融合モジュールのダウンパスの出力である。融合モジュールは、入力された特徴マップおよび当該特徴マップのマスクに対して上記した処理動作を実行することができ、取得した特徴マップおよび当該特徴マップのマスクは、両方ともダウンパスの出力として使用される。
【０２６１】
融合モジュールは、アップパスの出力に対してスパース畳み込み処理を実行する（図５の上側の中間領域の左斜線で満たされたボックスである）。融合モジュールは、また、ダウンパスの出力を畳み込み処理し（図５の右側の中間領域の右斜線が満たされたボックスであり、右斜線はブロックの左上から右下に傾斜する線である）、当該畳み込み処理は、畳み込みカーネルが１×１である畳み込み処理を含み得る。融合モジュールは、畳み込み処理後の結果に対してスパースアップサンプリング処理を実行して（図５の右側の中間領域の水平線で満たされたボックスである）、スパースアップサンプリング処理後の結果が、アップパスの入力のスパース畳み込み処理後の結果と同じスケールを有するようにする。融合モジュールは、アップパスの入力のスパース畳み込み処理後の結果およびスパースアップサンプリング処理後の結果に対してスパース加算処理を実行し（図５の右上隅に位置する菱形ブロックで満たされたボックスである）、今回のスパース加算処理後の結果は、融合モジュールのアップパスの出力である。融合モジュールは、入力された特徴マップおよび当該特徴マップのマスクに対して上記した処理動作を実行することができ、取得した特徴マップおよび当該特徴マップのマスクは、両方ともアップパスの出力として使用される。
【０２６２】
本開示の実施例の一代替例では、２つの入力および２つの出力を有する融合モジュール（即ち、２スケール融合モジュール）の別の例を図６に示す。
【０２６３】
図６の左端は２つのパスの入力であり、当該２つのパスの入力はアップパスの出力およびダウンパスの入力と称されることができる。異なるスケールを有する２つの特徴マップは、当該２つのパスの入力を介して融合モジュールに提供され、対応的に、異なるスケールを有する２つの特徴マップのマスクも２つのパスの入力を介して融合モジュールに提供される。図６の最上部は入力されるＲＧＢ画像の特徴マップである。図６の右端は２つのパスの出力であり、アップパスの出力およびダウンパスの出力と称されることができる。融合モジュールは、ＲＧＢ画像の特徴マップを考慮する基で、２つのパスの入力に対して有効なポイント特徴融合処理をそれぞれ実行した後に、形成された異なるスケールを有する２つの特徴マップおよび当該特徴マップのマスクはアップパスの出力とダウンパスの出力になる。
【０２６４】
融合モジュールは、アップパスの出力に対してダウンサンプリング処理を実行して（図６の中間領域の左端の縦線で満たされたブロックである）、ダウンサンプリング処理後の結果がダウンパスの入力と同じのスケールを有するようにする。融合モジュールは、ダウンサンプリング処理後の結果をダウンパスの入力とともにスパース合併畳み込み処理を実行し（図６の左下隅に位置するドットで満たされたボックスである）、融合モジュールは、スパース合併畳み込み処理後の結果に対してスパース畳み込み処理を実行し（図６の右下隅に位置する左斜線で満たされたボックスであり、左斜線は、ブロックの右上から左下に傾斜する線を指す）、今回のスパース畳み込み処理後の結果は、融合モジュールのダウンパスの出力である。融合モジュールは、入力された特徴マップおよび当該特徴マップのマスクに対して上記した処理動作を実行することができ、取得した特徴マップおよび当該特徴マップのマスクは、両方ともダウンパスの出力として使用される。
【０２６５】
融合モジュールは、アップパスの出力およびＲＧＢ画像の特徴マップに対してスパース合併畳み込み処理を実行する（図６の最上部に位置する、ドットで満たされたボックスである）。融合モジュールは、また、ダウンパスの出力を畳み込み処理し（図６右側の中間領域の右斜線が満たされたボックスであり、右斜線はブロックの左上から右下に傾斜する線である）、当該畳み込み処理は、畳み込みカーネルが１×１である畳み込み処理を含み得る。融合モジュールは、畳み込み処理後の結果に対してスパースアップサンプリング処理を実行して（図６の右側の中間領域の水平線で満たされたボックスである）、スパースアップサンプリング処理後の結果が、アップパスの入力のスパース合併畳み込み処理後の結果と同じスケールを有するようにする。融合モジュールは、アップパスの入力のスパース合併畳み込み処理後の結果およびスパースアップサンプリング処理後の結果に対してスパース加算処理を実行し（図６の右上隅に位置する菱形ブロックで満たされたボックスである）、今回のスパース加算処理後の結果は、融合モジュールのアップパスの出力である。融合モジュールは、入力された特徴マップおよび当該特徴マップのマスクに対して上記した処理動作を実行することができ、取得した特徴マップおよび当該特徴マップのマスクは、両方ともアップパスの出力として使用される。
【０２６６】
本開示の実施例の一代替例では、３つの入力および３つの出力を有する融合モジュール（即ち、３スケール融合モジュール）の一例を図７に示す。
【０２６７】
図７の左端は３つのパスの入力であり、当該３つのパスの入力はアップパスの出力およびダウンパスの入力、ミドル入力、ダウンパスの入力と称されることができる。異なるスケールを有する３つの特徴マップは、当該３つのパスの入力を介して融合モジュールに提供され、対応的に、異なるスケールを有する３つの特徴マップのマスクも３つのパスの入力を介して融合モジュールに提供される。図７の右端は３つのパスの出力であり、アップパスの出力、ミドルパスの出力およびダウンパスの出力と称されることができる。融合モジュールが３つのパスの入力に対して有効なポイント特徴融合処理をそれぞれ実行した後に、形成された異なるスケールを有する３つの特徴マップおよび当該特徴マップのマスクは、アップパスの出力、ミドルパスの出力とダウンパスの出力になる。
【０２６８】
融合モジュールは、アップパスの出力に対してダウンサンプリング処理して（図７の中間領域の左端の上位層の、縦線で満たされたブロックである）、ダウンサンプリング処理後の結果がミドル入力と同じのスケールを有するようにする。融合モジュールは、ダウンサンプリング処理後の結果をミドル入力とともにスパース合併畳み込み処理を実行し（図７の中間領域の左端のドットで満たされたボックスである）、融合モジュールは、今回のスパース合併畳み込み処理後の結果に対してスパース畳み込み処理を実行し（図７の中間領域右端の左斜線で満たされたボックスである）、今回のスパース畳み込み処理後の結果は、融合モジュールのミドルパスの出力である。融合モジュールは、入力された特徴マップおよび当該特徴マップのマスクに対して上記した処理動作を実行することができ、取得した特徴マップおよび当該特徴マップのマスクは、両方ともミドルパスの出力として使用される。
【０２６９】
融合モジュールは、アップパスの出力に対してダウンサンプリング処理を実行して（図７の中間領域の左端の下位層の、縦線で満たされたブロックである）、ダウンサンプリング処理後の結果がダウンパスの入力と同じのスケールを有するようにする。融合モジュールは、ダウンサンプリング処理後の結果をダウンパスの入力とともにスパース合併畳み込み処理を実行し（図７の左下隅に位置するドットで満たされたボックスである）、融合モジュールは、今回のスパース合併畳み込み処理後の結果に対してスパース畳み込み処理を実行し（図７の右下隅に位置する左斜線で満たされたボックスである）、今回のスパース畳み込み処理後の結果は、融合モジュールのダウンパスの出力である。融合モジュールは、入力された特徴マップおよび特徴マップのマスクに対して上記した処理動作を実行することができ、取得した特徴マップおよび特徴マップのマスクは、両方ともダウンパスの出力として使用される。
【０２７０】
融合モジュールは、アップパスの出力に対してスパース畳み込み処理を実行する（図７の上位部の左端に位置する左斜線で満たされたボックスである）。融合モジュールは、また、ミドルパスの出力を畳み込み処理し（図７の右側の中間領域の最上部の右斜線が満たされたボックスであり、右斜線はブロックの左上から右下に傾斜する線である）、当該畳み込み処理は、畳み込みカーネルが１×１である畳み込み処理を含み得る。融合モジュールは、畳み込み処理後の結果に対してスパースアップサンプリング処理を実行して（図７の右側の中間領域の最上部の水平線で満たされたボックスである）、スパースアップサンプリング処理後の結果が、アップパスの入力のスパース畳み込み処理後の結果と同じスケールを有するようにする。融合モジュールは、アップパスの入力のスパース畳み込み処理後の結果および今回のスパースアップサンプリング処理後の結果に対してスパース加算処理を実行して（図７の最上部の左側に位置する菱形ブロックで満たされたボックスである）、第１スパース加算処理結果を取得する。
【０２７１】
融合モジュールは、ダウンパスの出力を畳み込み処理し（図７の右側の中間領域の最下部の右斜線が満たされたボックスであり、右斜線はブロックの左上から右下に傾斜する線である）、当該畳み込み処理は、畳み込みカーネルが１×１である畳み込み処理を含みし得る。融合モジュールは、畳み込み処理後の結果に対してスパースアップサンプリング処理を実行して（図７の右側の中間領域の最下部の水平線で満たされたボックスである）、スパースアップサンプリング処理後の結果が第１スパース加算処理結果と同じスケールを有するようにする。融合モジュールは、第１スパース加算処理結果および今回のスパースアップサンプリング処理後の結果に対してスパース加算処理を実行して（図７の右上隅に位置する菱形ブロックで満たされたボックスである）、第２スパース加算処理結果を取得する。第２スパース加算処理結果は、融合モジュールのアップパスの出力として使用される。融合モジュールは、入力された特徴マップおよび当該特徴マップのマスクに対して上記した処理動作を実行することができ、取得した特徴マップおよび当該特徴マップのマスクは、両方ともアップパスの出力として使用される。
【０２７２】
本開示の実施例の一代替例では、３つの入力および３つの出力を有する融合モジュール（即ち、３スケール融合モジュール）の別の例を図８に示す。
【０２７３】
図８の左端は３つのパスの入力であり、当該３つのパスの入力はアップパスの出力およびダウンパスの入力、ミドル入力、ダウンパスの入力と称されることができる。異なるスケールを有する３つの特徴マップは、当該３つのパスの入力を介して融合モジュールに提供され、対応的に、異なるスケールを有する３つの特徴マップのマスクも３つのパスの入力を介して融合モジュールに提供される。図８の右端は３つのパスの出力であり、アップパスの出力、ミドルパスの出力およびダウンパスの出力と称されることができる。融合モジュールは、ＲＧＢ画像の特徴マップを考慮する基で、３つのパスの入力に対して有効なポイント特徴融合処理をそれぞれ実行した後に、形成された異なるスケールを有する３つの特徴マップおよび当該特徴マップのマスクは、アップパスの出力、ミドルパスの出力とダウンパスの出力になる。
【０２７４】
融合モジュールは、アップパスの出力に対してダウンサンプリング処理して（図８の中間領域の左端の上位層の、縦線で満たされたブロックである）、ダウンサンプリング処理後の結果がミドル入力と同じのスケールを有するようにする。融合モジュールは、ダウンサンプリング処理後の結果をミドル入力とともにスパース合併畳み込み処理を実行し（図８の中間領域の左端のドットで満たされたボックスである）、融合モジュールは、今回のスパース合併畳み込み処理後の結果に対してスパース畳み込み処理を実行し（図８の中間領域右端の左斜線で満たされたボックスである）、今回のスパース畳み込み処理後の結果は、融合モジュールのミドルパスの出力である。融合モジュールは、入力された特徴マップおよび当該特徴マップのマスクに対して上記した処理動作を実行することができ、取得した特徴マップおよび当該特徴マップのマスクは、両方ともミドルパスの出力として使用される。
【０２７５】
融合モジュールは、アップパスの出力に対してダウンサンプリング処理を実行して（図８の中間領域の左端の下位層の、縦線で満たされたブロックである）、ダウンサンプリング処理後の結果がダウンパスの入力と同じのスケールを有するようにする。融合モジュールは、ダウンサンプリング処理後の結果をダウンパスの入力とともにスパース合併畳み込み処理を実行し（図８の左下隅に位置するドットで満たされたボックスである）、融合モジュールは、今回のスパース合併畳み込み処理後の結果に対してスパース畳み込み処理を実行し（図８の右下隅に位置する左斜線で満たされたボックスである）、今回のスパース畳み込み処理後の結果は、融合モジュールのダウンパスの出力である。融合モジュールは、入力された特徴マップおよび当該特徴マップのマスクに対して上記した処理動作を実行することができ、取得した特徴マップおよび当該特徴マップのマスクは、両方ともダウンパスの出力として使用される。
【０２７６】
融合モジュールは、アップパスの出力およびＲＧＢ画像の特徴マップに対してスパース合併畳み込み処理を実行する（図８の上位部の左端に位置するドットで満たされたボックスである）。融合モジュールは、また、ミドルパスの出力を畳み込み処理し（図８の右側の中間領域の最上部の右斜線が満たされたボックスであり、右斜線はブロックの左上から右下に傾斜する線である）、当該畳み込み処理は、畳み込みカーネルが１×１である畳み込み処理を含み得る。融合モジュールは、畳み込み処理後の結果に対してスパースアップサンプリング処理を実行して（図８の右側の中間領域の最上部の水平線で満たされたボックスである）、スパースアップサンプリング処理後の結果が、アップパスの入力のスパース合併畳み込み処理後の結果と同じスケールを有するようにする。融合モジュールは、アップパスの入力のスパース合併畳み込み処理後の結果および今回のスパースアップサンプリング処理後の結果に対してスパース加算処理を実行して（図７の最上部の左側に位置する菱形ブロックで満たされたボックスである）、第１スパース加算処理結果を取得する。
【０２７７】
融合モジュールは、ダウンパスの出力を畳み込み処理し（図８の右側の中間領域の最下部の右斜線が満たされたボックスであり、右斜線はブロックの左上から右下に傾斜する線である）、当該畳み込み処理は、畳み込みカーネルが１×１である畳み込み処理を含みし得る。融合モジュールは、畳み込み処理後の結果に対してスパースアップサンプリング処理を実行して（図８の右側の中間領域の最下部の水平線で満たされたボックスである）、スパースアップサンプリング処理後の結果が第１スパース加算処理結果と同じスケールを有するようにする。融合モジュールは、第１スパース加算処理結果および今回のスパースアップサンプリング処理後の結果に対してスパース加算処理を実行して（図８の右上隅に位置する菱形ブロックで満たされたボックスである）、第２スパース加算処理結果を取得する。第２スパース加算処理結果は、融合モジュールのアップパスの出力として使用される。融合モジュールは、入力された特徴マップおよび当該特徴マップのマスクに対して上記した処理動作を実行することができ、取得した特徴マップおよび当該特徴マップのマスクは、両方ともアップパスの出力として使用される。
【０２７８】
本開示の実施例の一代替例では、複数の融合モジュールが含まれたニューラルネットワークの一例を図９に示す。
【０２７９】
図９では、ニューラルネットワークは、第１入力処理ユニット、２つの２スケール融合モジュール（即ち、図９の２スケール融合モジュール９００および９４０）、３つの３スケール融合モジュール（即ち、図９の３スケールの融合モジュール９１０、９２０および９３０）、５つの第１変換モジュール、２つの第２変換モジュールおよび第１出力処理ユニットを含む。
【０２８０】
第１入力処理ユニットは、図９の左端に位置する左斜線で満たされたボックスおよび左端に位置する縦線で満たされたブロックである。
【０２８１】
最初の第１変換モジュールは、図９の２スケール融合モジュール９００と３スケール融合モジュール９１０の間に配置され、且つ当該最初の第１変換モジュールは、２つの縦線で満たされたブロックを含む。最初の第１変換モジュールは、主に、２スケール融合モジュール９００のアップパスおよびダウンパスの出力の特徴マップに対してスケール変換処理（ダウンサンプリング処理など）をそれぞれ実行するために使用され、スケール変換処理後の特徴マップは、それぞれ、３スケール融合モジュール９１０のミドルパスの入力およびダウンパスの入力として使用される。２スケール融合モジュール９００のアップパスの出力は、３スケール融合モジュール９１０のアップパスの出力に直接に提供される。最初の第１変換モジュールは、２スケール融合モジュール９００のアップパスおよびダウンパスの出力のマスクに対してスケール変換処理（ダウンサンプリング処理など）をそれぞれ実行することもでき、スケール変換処理後のマスクは、同様に、３スケール融合モジュール９１０のミドルパスの入力およびダウンパスの入力として使用される。
【０２８２】
２番目の第１変換モジュールは、図９の３スケール融合モジュール９１０と３スケール融合モジュール９２０の間に配置され、且つ当該２番目の第１変換モジュールは、２つの縦線で満たされたブロックを含む。２番目の第１変換モジュールは、主に、３スケール融合モジュール９１０のミドルパスおよびダウンパスの出力の特徴マップに対してスケール変換処理（ダウンサンプリング処理など）をそれぞれ実行するために使用され、スケール変換処理後の特徴マップは、それぞれ、３スケール融合モジュール９２０のミドルパスの入力およびダウンパスの入力として使用される。２スケール融合モジュール９１０のアップパスの出力は、３スケール融合モジュール９２０のアップパスの出力に直接に提供される。２番目の第１変換モジュールは、３スケール融合モジュール９１０のミドルパスおよびダウンパスの出力のマスクに対してスケール変換処理（ダウンサンプリング処理など）をそれぞれ実行することもでき、スケール変換処理後のマスクは、同様に、３スケール融合モジュール９２０のミドルパスの入力およびダウンパスの入力として使用される。
【０２８３】
３番目の第１変換モジュールは、図９の３スケール融合モジュール９２０と３スケール融合モジュール９３０の間に配置され、且つ３番目の第１変換モジュールは、２つの水平線で満たされたボックスを含む。３番目の第１変換モジュールは、主に、３スケール融合モジュール９２０のミドルパスおよびダウンパスの出力の特徴マップに対してスケール変換処理（スパースアップサンプリング処理など）をそれぞれ実行するために使用され、スケール変換処理後の特徴マップは、それぞれ、３スケール融合モジュール９３０のミドルパスの入力およびダウンパスの入力として使用される。２スケール融合モジュール９２０のアップパスの出力は、３スケール融合モジュール９３０のアップパスの出力に直接に提供される。３番目の第１変換モジュールは、３スケール融合モジュール９２０のミドルパスおよびダウンパスの出力のマスクに対してスケール変換処理（スパースアップサンプリング処理など）をそれぞれ実行することもでき、スケール変換処理後のマスクは、同様に、３スケール融合モジュール９３０のミドルパスの入力およびダウンパスの入力として使用される。
【０２８４】
４番目の第１変換モジュールは、図９の２スケール融合モジュール９３０と２スケール融合モジュール９４０の間に配置され、且つ４番目の第１変換モジュールは、２つの水平線で満たされたボックスを含む。４番目の第１変換モジュールは、主に、３スケール融合モジュール９３０のミドルパスおよびダウンパスの出力の特徴マップに対してスケール変換処理（スパースアップサンプリング処理など）をそれぞれ実行するために使用され、３スケール融合モジュール９３０のダウンパスのスケール変換処理後の特徴マップは、２スケール融合モジュール９４０のダウンパスの入力として使用される。４番目の第１変換モジュールは、３スケール融合モジュール９３０のミドルパスおよびダウンパスの出力のマスクに対してスケール変換処理（スパースアップサンプリング処理など）をそれぞれ実行することもでき、３スケール融合モジュール９３０のダウンパスのスケール変換処理後のマスクは、同様に、２スケール融合モジュール９４０のダウンパスの入力として使用される。
【０２８５】
５番目の第１変換モジュールは、図９の２スケール融合モジュール９４０の後に位置し、且つ５番目の第１変換モジュールは、１つの水平線で満たされたボックスを含む。５番目の第１変換モジュールは、主に、２スケール融合モジュール９４０のダウンパスの出力の特徴マップに対してスケール変換処理（スパースアップサンプリング処理など）を実行するために使用される。
【０２８６】
最初の第２変換モジュールは、図９の３スケール融合モジュール９３０と２スケール融合モジュール９４０の間に配置され、且つ最初の第２変換モジュールは、１つの菱形ブロックが満たされたボックスを含む。最初の第２変換モジュールは、主に、３スケール融合モジュール９３０のアップパスの出力、および４番目の第１変換モジュールによってミドルパスの出力に対してスケール変換処理を実行した後の結果に対してスパース加算処理を実行し、スパース加算処理後の結果は、２スケール融合モジュール９４０のアップパスの出力として使用される。
【０２８７】
２番目の第２変換モジュールは、図９の２スケール融合モジュール９４の後に位置し、且つ２番目の第２変換モジュールは、１つの菱形ブロックが満たされたボックスを含む。２番目の第２変換モジュールは、主に、２スケール融合モジュール９４０のアップパスの出力および５番目の第１変換モジュールの出力に対して、スパース加算処理を実行し、スパース加算処理後の結果は、第１出力処理ユニットに提供される。
【０２８８】
第１出力処理ユニットは、図９の右端に位置し、前記第１出力処理ユニットは、２つの右斜線が満たされたボックスを含む。第１出力処理ユニットは、主に、入力された特徴マップ和マスクに対して畳み込み処理を２回実行するために使用され、１回目の畳み込み処理で使用される畳み込みカーネルのサイズは３×３であってもよく、２回目の畳み込み処理で使用される畳み込みカーネルのサイズは１×１であってもよく、最終的に、処理後の深度マップを出力する。
【０２８９】
本開示の実施例の一代替例では、複数の融合モジュールが含まれたニューラルネットワークの別の例を図１０に示す。
【０２９０】
図９では、ニューラルネットワークは、第２入力処理ユニット、２つの２スケール融合モジュール（即ち、図１０の２スケール融合モジュール９００および９４０）、３つの３スケール融合モジュール（即ち、図９の３スケールの融合モジュール９１０、９２０および９３０）、５つの第１変換モジュール、２つの第２変換モジュールおよび第２出力処理ユニットを含む。
【０２９１】
第２入力処理ユニットは、図１０の左端に位置する左斜線で満たされたボックスおよび左端に位置する縦線で満たされたブロックに加えて、図１０の最上部の５つの右斜線が満たされた、ＲＧＢ画像を畳み込み処理するために使用されるボックスをさらに含み、それにより、対応するスケールの特徴マップを形成する。２つの２スケール融合モジュール、３つの３スケール融合モジュール、５つの第１変換モジュールおよび２つの第２変換モジュールは、上記した図９に対する説明をそれぞれ参照してもよいため、ここでは詳細に説明しない。
【０２９２】
第２出力処理ユニットは、図１０の右端のに位置し、前記第２出力処理ユニットは、１つのドットが満たされたボックスおよび１つの右斜線が満たされたボックスを含む。第２出力処理ユニットは、主に、まず、２つのパスの入力の特徴マップおよびマスクに対してスパース合併畳み込み処理をそれぞれ実行し、その後、畳み込み処理を再び実行して、最終的に、処理後の深度マップを出力するために使用される。
【０２９３】
本開示の実施例のニューラルネットワークは、レーザレーダスパース深度マップサンプルおよび当該レーザレーダスパース深度マップサンプルの補填深度マップサンプルの深度表記値を使用して、トレーニングされる。本開示の実施例の一代替例では、ニューラルネットワークのトレーニング方法の一実施例のフローチャートを図１１に示す。図１１に示されたように、当該実施例の方法は、次のステップを含む。
【０２９４】
ステップＳ１１００において、トレーニングされるニューラルネットワークにレーザレーダスパース深度マップサンプルを入力する。
【０２９５】
一代替例において、本開示の実施例は、トレーニングデータセットからレーザレーダスパース深度マップサンプルを取得することができる。本開示の実施例におけるトレーニングデータセットには、ニューラルネットワークをトレーニングするための複数のレーザレーダスパース深度マップサンプルが含まれ、一般的には、各レーザレーダスパース深度マップサンプルのすべてには、複数のポイントの深度表記値が設定される。本開示の実施例は、ランダムアクセス読み取り方式に従うか、画像サンプルの配列順番順序読み取り方式を従って、一回で、トレーニングデータセットから１つのまたは複数のレーザレーダスパース深度マップサンプルを取得することができる。
【０２９６】
一代替例において、当該ステップＳ１１００は、プロセッサによって、メモリによって記憶された対応する命令を呼び出して実行してもよく、プロセッサによって実行される深度マップサンプル入力モジュール１７００によって実行されてもよい。
【０２９７】
ステップＳ１１１０において、トレーニングされるニューラルネットワークによって、レーザレーダスパース深度マップサンプルの異なるスケールの少なくとも２つの特徴マップを取得し、異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、有効なポイント特徴融合処理の結果に従って、処理後の深度マップを形成する。当該処理後の深度マップにおける有効なポイントの数は、前記レーザレーダスパース深度マップサンプルにおける有効なポイントの数より大きい。このステップの具体的な実現プロセスは、上記した実施形態の関連説明を参照することができるため、ここでは再び説明しない。
【０２９８】
一代替例において、当該ステップＳ１１１０は、プロセッサによって、メモリによって記憶された対応する命令を呼び出して実行してもよく、プロセッサによって実行されるトレーニングされるニューラルネットワーク１７１０によって実行されてもよい。
【０２９９】
ステップＳ１１２０において、上記した処理後の深度マップおよびレーザレーダスパース深度マップサンプルの補填深度マップサンプルの深度表記値をガイダンス情報として使用することにより、トレーニングされるニューラルネットワークに対して教師あり学習を実行する。
【０３００】
一代替例において、当該ステップＳ１１２０は、プロセッサによって、メモリによって記憶された対応する命令を呼び出して実行してもよく、プロセッサによって実行される監視モジュール１７２０によって実行されてもよい。
【０３０１】
一代替例において、本開示の実施例のガイダンス情報は、通常、トレーニングされるニューラルネットワーク出力的深度マップにおける各ポイントの深度値と、与レーザレーダスパース深度マップサンプルの補填深度マップサンプルの深度表記値との差を含む。本開示の実施例は、両者の差を低減するために、対応する損失関数を使用して、トレーニングされるニューラルネットワークに対して教師あり学習を実行することができる。
【０３０２】
本開示の実施例の一代替例では、以下の式（７）に示された損失関数を採用することができる。
【０３０３】
式（７）：
【０３０４】
【化７３】
2021530771.tif 000075
【０３０５】
上記した式（７）では、Ｖは、深度マップにおける処理後の有効なポイント深度表記値の座標セットを示し、Ｖを実測値深度マップ（ｇｒｏｕｎｄ  ｔｒｕｔｈ  ｄｅｐｔｈ  ｍａｐ）における有効なポイントの座標セットと見なされることもでき、実測値深度マップは、レーザレーダデンス深度マップサンプル、即ち、レーザレーダスパース深度マップサンプルの補填深度マップサンプルと見なされることができ、
【０３０６】
【化７４】
2021530771.tif 000076
【０３０７】
は、レーザレーダデンス深度マップサンプルにおける有効なポイントの数を示し、
【０３０８】
【化７５】
2021530771.tif 000077
【０３０９】
は、トレーニングされるニューラルネットワークによって出力された処理後の深度マップにおける（ｉ、ｊ）に位置する予測の深度値を示し、
【０３１０】
【化７６】
2021530771.tif 000078
【０３１１】
は、レーザレーダデンス深度マップサンプルにおける（ｉ、ｊ）に位置する深度表記値を示す。
【０３１２】
一代替例において、トレーニングされるニューラルネットワークのトレーニングが所定の反復条件を達すると、今回のトレーニングプロセスは終了する。本開示の実施例の所定の反復条件は、トレーニングされるニューラルネットワークによって出力された深度マップにおける深度値と、レーザレーダスパース深度マップサンプルの補填深度マップサンプルの深度表記値との差が、所定の差要件を満たすことを含み得る。差が当該所定の差要件を満たす場合、今回ニューラルネットワークに対するトレーニングを正常に完了する。本開示の実施例の所定の反復条件は、トレーニングされるニューラルネットワークをトレーニングするために使用されるサンプルの数が所定の数要件に達するなども含み得る。使用するサンプル数が所定の数要件に達するが、差が所定の差要件を満たさない場合、今回ニューラルネットワークに対するトレーニングを成功しない。トレーニングを正常に完了したニューラルネットワークは、深度マップ形成処理に使用されることができる。
【０３１３】
図１２は、本開示の実施例の車両のインテリジェント制御方法的一実施例のフローチャートである。図１２に示されたように、当該実施例の方法は、次のステップを含む。
【０３１４】
ステップＳ１２００において、ニューラルネットワークにレーザレーダスパース深度マップを入力する。例示的に、撮影装置で撮影された同じまたはほぼ同じの視野角およびサイズを有するＲＧＢ画像もニューラルネットワークに提供される。
【０３１５】
一代替例において、当該ステップＳ１２００は、プロセッサによって、メモリによって記憶された対応する命令を呼び出して実行してもよく、プロセッサによって実行される深度マップ入力モジュール１４００によって実行されてもよい。
【０３１６】
ステップＳ１２１０において、ニューラルネットワークによって、レーザレーダスパース深度マップの異なるスケールの少なくとも２つの特徴マップを取得し、異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、有効なポイント特徴融合処理の結果に従って、処理後の深度マップを取得する。
【０３１７】
一代替例において、当該ステップＳ１２１０は、プロセッサによって、メモリによって記憶された対応する命令を呼び出して実行してもよく、プロセッサによって実行されるニューラルネットワーク１４１０によって実行されてもよい。
【０３１８】
上記したステップＳ１２００およびステップＳ１２１０の実現プロセスは、上記した実施形態の関連説明を参照することができるため、ここでは再び説明しない。
【０３１９】
Ｓ１２２０において、処理後の深度マップに従って、レーザレーダが配置された車両を制御するための命令または警告プロンプト情報を生成する。生成された命令は、時速を向上させる命令、時速を低下させる命令または緊急停止命令などである。生成された警告プロンプト情報は、特定の方向の歩行者行を注意させるための提示情報などである。本開示の実施例は、処理後の深度マップに従って命令または警告プロンプト情報を生成する実施形態を制限しない。
【０３２０】
一代替例において、当該ステップＳ１２２０は、プロセッサによって、メモリによって記憶された対応する命令を呼び出して実行してもよく、プロセッサによって実行される制御モジュール１４２０によって実行されてもよい。
【０３２１】
図１３は、本開示の実施例の障害物回避ナビゲーション方法の一実施例のフローチャートである。図１３に示されたように、当該実施例の方法は、次のステップを含む。
【０３２２】
ステップＳ１３００において、ニューラルネットワークにレーザレーダスパース深度マップを入力する。例示的に、撮影装置で撮影された同じまたはほぼ同じの視野角およびサイズを有するＲＧＢ画像もニューラルネットワークに提供される。
【０３２３】
一代替例において、当該ステップＳ１３００は、プロセッサによって、メモリによって記憶された対応する命令を呼び出して実行してもよく、プロセッサによって実行される深度マップ入力モジュール１４００によって実行されてもよい。
【０３２４】
ステップＳ１３１０において、上記したニューラルネットワークによって、レーザレーダスパース深度マップの異なるスケールの少なくとも２つの特徴マップを取得し、異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、有効なポイント特徴融合処理の結果に従って、処理後の深度マップを取得する。処理後の深度マップにおける有効なポイントの数は、レーザレーダスパース深度マップにおける有効なポイントの数より大きい。
【０３２５】
一代替例において、当該ステップＳ１３１０は、プロセッサによって、メモリによって記憶された対応する命令を呼び出して実行してもよく、プロセッサによって実行されるニューラルネットワーク１４１０によって実行されてもよい。
【０３２６】
上記したステップＳ１３００およびステップＳ１３１０の実現プロセスは、上記した実施形態の関連説明を参照することができるため、ここでは再び説明しない。
【０３２７】
ステップＳ１３２０において、上記した処理後の深度マップに従って、レーザレーダが配置されたロボットに対して障害物回避ナビゲーション制御を実行するための命令または警告プロンプト情報を生成する。生成された命令は、動作の速度を低下させる命令または動作を一時停止させる命令またはターン命令などである。生成された警告プロンプト情報は、特定の方向の障害物を注意させるための提示情報などである。本開示の実施例は、処理後の深度マップに従って命令または警告プロンプト情報を生成する実施形態を制限しない。
【０３２８】
一代替例において、当該ステップＳ１３２０は、プロセッサによって、メモリによって記憶された対応する命令を呼び出して実行してもよく、プロセッサによって実行される障害物回避ナビゲーションモジュール１４３０によって実行されてもよい。
【０３２９】
本開示の実施例で提供されるいずれかの方法は、任意の適切なデータ処理機能を持つ機器によって実行されてもよく、前記機器は、端末機器およびサーバなどを含み得るが、これらに限定されない。または、本開示の実施例で提供されるいずれかの方法は、プロセッサによって実行されてもよく、例えば、プロセッサは、メモリによって記憶された対応する命令を呼び出すことにより、本開示の実施例に言及されたいずれかの方法を実行する。以下では繰り返さない。
【０３３０】
当業者は、上記した方法の実施例の全てまたは一部のステップは、プログラム命令に関連するハードウェアによって完了することができ、前記プログラムは、コンピュータ読み取り可能な記憶媒体に記憶されることができ、前記プログラムが実行されるとき、上記の方法の実施例のステップを実行し、前記記憶媒体は、ＲＯＭ、ＲＡＭ、磁気メモリまたは光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。
【０３３１】
図１４は、本開示の実施例のレーザレーダスパース深度マップの装置の一実施例の例示的な構造図である。図１４に示されたように、当該実施例の装置は、主に、深度マップ入力モジュール１４００およびニューラルネットワーク１４１０を含む。
【０３３２】
深度マップ入力モジュール１４００は、レーザレーダスパース深度マップをニューラルネットワーク１４１０に入力するように構成される。
【０３３３】
一代替例において、深度マップ入力モジュール１４００は、レーザレーダスパース深度マップおよびレーザレーダスパース深度マップのマスクをニューラルネットワーク１４１０に入力するように構成される。ここで、レーザレーダスパース深度マップのマスクは、レーザレーダスパース深度マップにおける有効なポイントを指示するために使用される。
【０３３４】
ニューラルネットワーク１４１０は、レーザレーダスパース深度マップの異なるスケールの少なくとも２つの特徴マップを取得し、異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、有効なポイント特徴融合処理の結果に従って、処理後の深度マップを取得するように構成される。ここで、処理後の深度マップにおける有効なポイントの数は、レーザレーダスパース深度マップにおける有効なポイントの数より大きい。
【０３３５】
一代替例において、ニューラルネットワーク１４１０は、さらに、レーザレーダスパース深度マップのマスクに従って異なるスケールの少なくとも２つの特徴マップのマスクを決定するように構成される。この場合、ニューラルネットワーク１４１０によって実行される、異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行する操作は、異なるスケールの少なくとも２つの特徴マップのマスクに従って、異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行することを含み得る。
【０３３６】
一代替例において、ニューラルネットワーク１４１０は入力処理ユニットを含み得る。入力処理ユニットは、レーザレーダスパース深度マップの特徴マップを取得するために、レーザレーダスパース深度マップに対してスパース畳み込み処理を実行し、異なるスケールの少なくとも２つの特徴マップを取得するために、深度マップの特徴マップに対してスケール変換処理を実行するように構成される。ここで、異なるスケールの少なくとも２つの特徴マップは、スケール変換処理前の特徴マップおよびスケール変換処理後の少なくとも１つの特徴マップを含む。
【０３３７】
一代替例において、入力処理ユニットは、さらに、レーザレーダスパース深度マップの特徴マップのマスクを取得するために、レーザレーダスパース深度マップのマスクに対してスパース畳み込み処理を実行し、各特徴マップのマスクを取得するために、マスクに対してスケール変換処理を実行するように構成される。
【０３３８】
一代替例において、ニューラルネットワーク１４１０は、少なくとも１つの融合モジュールを含み得る。各融合モジュールは、複数のパスの入力および複数のパスの出力をそれぞれ有する。融合モジュールは、複数のパスの入力の異なるスケールの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行するように構成される。ニューラルネットワーク１４１０が複数の融合モジュールを含む場合、前のレベルの融合モジュールの出力は、後のレベルの融合モジュールの入力として提供されるために使用される。
【０３３９】
一代替例において、ニューラルネットワークは、少なくとも１つの第１変換モジュールをさらに含み得る。融合モジュールの後に位置し、即ち、融合モジュールの１つの出力は、１つの第１変換モジュールに提供される。第１変換モジュールは、前のレベルの融合モジュールの少なくとも１つのパスの出力の特徴マップに対してスケール変換処理を実行するように構成され、スケール変換処理後の特徴マップは、後のレベルの融合モジュールに提供するために使用され、即ち、第１変換モジュールの出力は後のレベルの融合モジュールに提供される。
【０３４０】
一代替例において、前のレベルの融合モジュールの出力パス数が後のレベルの融合モジュールの入力パス数より少ない場合、前のレベルの融合モジュールの１つのパスの出力、および当該パスの出力のスケール変換処理後の特徴マップは、両方とも後のレベルの融合モジュールの出力として使用される。
【０３４１】
一代替例において、ニューラルネットワーク１４１０は、少なくとも１つの第２変換モジュールをさらに含む。第２変換モジュールは融合モジュールの後に位置する。第２変換モジュールは、１つのパスの特徴マップを形成するために、融合モジュールの少なくとも２つのパスの出力の特徴マップに対して有効なポイント特徴融合処理を実行するように構成され、第２変換モジュール形成された１つのパスの特徴マップは、別のレベルの融合モジュールの入力として使用されてもよく、第２変換モジュールによって形成された１つのパスの特徴マップは、ニューラルネットワークの出力処理ユニットの入力として使用されてもよい。
【０３４２】
一代替例において、深度マップ入力モジュール１４００は、さらに、レーザレーダスパース深度マップと同じ視野角およびサイズを有する画像をニューラルネットワーク１４１０に提供するように構成される。当該画像は、撮影装置で撮影された画像を含む。この適用シナリオでは、入力処理ユニットは、さらに、当該画像の少なくとも１つのスケールの特徴マップを取得するように構成されることができ、  画像の対応するスケールの特徴マップは対応する融合処理の出力として使用される。当該画像の特徴マップは、レーザレーダスパース深度マップの特徴マップとの融合処理を実行するために使用される。
【０３４３】
一代替例において、融合モジュールがＮ個パスの入力およびＮ個パスの出力を有する場合、融合モジュールがＭ番目のパスの入力に対して実行する有効なポイント特徴融合処理は、Ｎ番目のパスの入力の特徴マップおよび特徴マップのマスクに対してダウンサンプリング処理をそれぞれ実行し、ダウンサンプリング処理後の特徴マップおよび特徴マップのマスク、およびＭ番目のパスの入力の特徴マップおよび特徴マップのマスクに従って、スパース合併畳み込み処理を実行し、その後、スパース合併畳み込み処理後に取得した特徴マップおよび特徴マップのマスクに対してスパース畳み込み処理をそれぞれ実行して、Ｍ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを形成することを含み得る。ここで、Ｎ番目のパスの入力の特徴マップのスケールは、Ｍ番目のパスの入力の特徴マップおよび特徴マップのマスク特徴マップのスケールより大きく、Ｍは０より大きい整数である、且つ、ＮはＭより大きい整数である。
【０３４４】
一代替例において、融合モジュールがＮ個パスの入力およびＮ個パスの出力を有する場合、融合モジュールがＮ番目のパスの入力に対して実行する有効なポイント特徴融合処理は、Ｎ番目のパスの入力の特徴マップおよび特徴マップのマスクに対してスパース畳み込み処理をそれぞれ実行し、少なくとも１つのＭ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを畳み込み処理した後、畳み込み処理後の特徴マップおよび特徴マップのマスクに対してスパースアップサンプリング処理をそれぞれ実行し、その後、Ｎ番目のパスのスパース畳み込み処理後の特徴マップおよび特徴マップのマスクと、少なくとも１つのＭ番目のパスのスパースアップサンプリング処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理を実行して、Ｎ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを形成することを含み得る。
【０３４５】
一代替例において、出力処理ユニットは、第１出力処理ユニットを含み得る。第１出力処理ユニットは、最後のレベルの融合処理によって出力された、複数のパスの有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理を実行し、スパース加算結果を畳み込み処理して、処理後の深度マップを形成するように構成される。
【０３４６】
一代替例において、融合モジュールがＮ個パスの入力およびＮ個パスの出力を有する場合、融合モジュールがＮ番目のパスの入力に対して実行する有効なポイント特徴融合処理は、Ｎ番目のパスの入力の特徴マップおよび特徴マップのマスク、および前記画像の特徴マップに対してスパース合併畳み込み処理を実行し、少なくとも１つのＭ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを畳み込み処理した後、畳み込み処理後の特徴マップおよび特徴マップのマスクに対してスパースアップサンプリング処理をそれぞれ実行し、その後、Ｎ番目のパスのスパース合併畳み込み処理後の特徴マップおよび特徴マップのマスクと、少なくとも１つのＭ番目のパスのスパースアップサンプリング処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理をそれぞれ実行して、Ｎ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを形成することを含み得る。ここで、Ｍは０より大きい整数であり、ＮはＭより大きい整数である。
【０３４７】
一代替例において、出力処理ユニットは、２出力処理ユニットを含み得る。第２出力処理ユニットは、最後のレベルの融合処理によって出力された、複数のパスの有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理をそれぞれ実行し、スパース加算結果と前記画像の特徴マップに対してスパース合併畳み込み処理を実行し、スパース合併畳み込み処理の結果を畳み込み処理して、処理後の深度マップを形成するように構成される。
【０３４８】
一代替例において、本開示の実施例におけるスパース合併畳み込み処理は、第１特徴マップおよび第２特徴マップをチャネル数の次元で合併した後、畳み込み処理を実行し、畳み込み処理後の特徴マップと重み行列の逆数に対して要素ごとの乗算を実行して、スパース合併畳み込み処理後の特徴マップを形成し、その後、第１特徴マップのマスクを第１特徴マップのチャネル数と掛け、第２特徴マップのマスクを第２特徴マップのチャネル数と掛け、２つの乗算結果の加算結果に対して畳み込み演算を実行して、畳み込み演算結果に従って重み行列を形成し、重み行列を二値化処理して、前記スパース合併畳み込み処理後の特徴マップのマスクを形成することを含み得る。
【０３４９】
一代替例において、本開示の実施例におけるスパース加算処理は、第１特徴マップと第１特徴マップのマスクに対して要素ごとの乗算を実行し、第２特徴マップと第２特徴マップのマスクに対して要素ごとの乗算を実行し、２つの乗算結果を加算し、加算結果と重み行列の逆数に対して要素ごとの乗算を実行して、スパース加算処理後の特徴マップを形成し、その後、第１特徴マップのマスクと第２特徴マップのマスクをＯＲ演算して、スパース加算処理後の特徴マップのマスクを形成することを含み得る。
【０３５０】
一代替例において、本開示の実施例におけるスパースアップサンプリング処理は、特徴マップと特徴マップのマスクに対して要素ごとの乗算を実行し、乗算結果をアップサンプリング処理した後、特徴マップのマスクをアップサンプリング処理して、アップサンプリング処理後のマスクの重み行列を形成し、その後、アップサンプリング処理後の特徴マップと、重み行列の逆数に対して要素ごとの乗算を実行して、スパース加算処理後の特徴マップを形成し、さらに、重み行列を二値化処理して、スパース加算処理後の特徴マップのマスクを形成することを含み得る。
【０３５１】
一代替例において、本開示の実施例におけるニューラルネットワークは、レーザレーダスパース深度マップサンプルおよびレーザレーダスパース深度マップサンプルの補填深度マップサンプルの深度表記値を使用して、トレーニングされる。
【０３５２】
本開示の実施例における深度マップ入力モジュール１４００およびニューラルネットワーク１４１０によって実行される動作は、上記した実施形態の関連説明を参照することができるため、ここでは再び説明しない。
【０３５３】
図１５は、本開示の実施例の車両のインテリジェント制御装置の一実施例の例示的な構造図である。図１５に示されたように、当該実施例の装置は、主に、深度マップ入力モジュール１４００、ニューラルネットワーク１４１０および制御モジュール１４２０を含む。
【０３５４】
深度マップ入力モジュール１４００は、ニューラルネットワークにレーザレーダスパース深度マップを入力するように構成される。
【０３５５】
ニューラルネットワーク１４１０は、レーザレーダスパース深度マップの異なるスケールの少なくとも２つの特徴マップを取得し、異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、有効なポイント特徴融合処理の結果に従って処理後の深度マップを取得するように構成され、本開示の実施例における処理後の深度マップにおける有効なポイントの数は、前記レーザレーダスパース深度マップにおける有効なポイントの数より大きい。
【０３５６】
制御モジュール１４２０は、ニューラルネットワーク１４１０によって出力された処理後の深度マップに従って、レーザレーダが配置された車両を制御するための命令または警告プロンプト情報を生成するように構成される。
【０３５７】
本開示の実施例における深度マップ入力モジュール１４００、ニューラルネットワーク１４１０および制御モジュール１４２０によって実行される動作は、上記した実施形態の関連説明を参照することができるため、ここでは再び説明しない。
【０３５８】
図１６は、本開示の実施例の障害物回避ナビゲーション装置の一実施例の例示的な構造図である。図１６に示されたように、当該実施例の装置は、主に、深度マップ入力モジュール１４００、ニューラルネットワーク１４１０および障害物回避ナビゲーションモジュール１４３０を含む。
【０３５９】
深度マップ入力モジュール１４００は、ニューラルネットワークにレーザレーダスパース深度マップを入力するように構成される。
【０３６０】
ニューラルネットワーク１４１０は、深度マップの異なるスケールの少なくとも２つの特徴マップを取得し、異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、その後、有効なポイント特徴融合処理の結果に従って、処理後の深度マップを取得するように構成される。本開示の実施例における処理後の深度マップにおける有効なポイントの数は、レーザレーダスパース深度マップにおける有効なポイントの数より大きい。
【０３６１】
障害物回避ナビゲーションモジュール１４３０は、ニューラルネットワーク１４１０によって出力された処理後の深度マップに従って、レーザレーダが配置されたロボットに対して障害物回避ナビゲーション制御を実行するための命令または警告プロンプト情報を生成するように構成される。
【０３６２】
本開示の実施例における深度マップ入力モジュール１４００、ニューラルネットワーク１４１０および障害物回避ナビゲーションモジュール１４３０によって実行される動作は、上記した実施形態の関連説明を参照することができるため、ここでは再び説明しない。
【０３６３】
図１７は、本開示の実施例のニューラルネットワークのトレーニング装置の一実施例の例示的な構造図である。図１７に示されたように、当該実施例の装置は、主に、深度マップサンプル入力モジュール１７００、トレーニングされるニューラルネットワーク１７１０および監視モジュール１７２０を含む。
【０３６４】
深度マップサンプル入力モジュール１７００は、トレーニングされるニューラルネットワーク１７１０にレーザレーダスパース深度マップサンプルを入力するように構成される。
【０３６５】
トレーニングされるニューラルネットワーク１７１０は、トレーニングされるニューラルネットワークによって、レーザレーダスパース深度マップサンプルの異なるスケールの少なくとも２つの特徴マップを取得し、異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行した後、有効なポイント特徴融合処理の結果に従って、処理後の深度マップを形成するように構成される。本開示の実施例における処理後の深度マップにおける有効なポイントの数は、レーザレーダスパース深度マップサンプルにおける有効なポイントの数より大きい。
【０３６６】
監視モジュール１７２０は、処理後の深度マップおよびレーザレーダスパース深度マップサンプルの補填深度マップサンプルの深度表記値をガイダンス情報として使用することにより、トレーニングされるニューラルネットワークに対して教師あり学習を実行するように構成される。
【０３６７】
本開示の実施例における深度マップサンプル入力モジュール１７００、トレーニングされるニューラルネットワーク１７１０および監視モジュール１７２０によって実行される動作は、上記した実施形態の関連説明を参照することができるため、ここでは再び説明しない。
[例示的な機器]
【０３６８】
図１８は、本開示の実施例を実現するように適合された例示的な機器１８００を示し、機器１８００は、車両に配置された制御システム／電子システム、モバイル端末（例えば、スマトフォンなど）、パーソナルコンピュータ（ＰＣ、例えば、デスクトップコンピュータまたはラップトップコンピュータなど）、タブレットコンピュータおよびサーバなどであってもよい。
【０３６９】
図１８では、機器１８００は、１つのまたは複数のプロセッサ、通信部などを含み、前記１つのまたは複数のプロセッサは、１つのまたは複数の中央処理装置（ＣＰＵ）１８０１、および／または、１つのまたは複数のニューラルネットワークを使用してレーザレーダスパース深度マップ処理を実行するグラフィックプロセッサ（ＧＰＵ）１８１３などであってもよく、プロセッサは読み取り専用メモリ（ＲＯＭ）１８０２に記憶された実行可能な命令または記憶部１８０８からランダムアクセスメモリ（ＲＡＭ）１８０３にローディングされた実行可能な命令に従って様々な適切な動作および処理を実行する。通信部１８１２は、ネットワークカードを含み得るが、これに限定されず、前記ネットワークカードは、ＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含み得るが、これに限定されない。プロセッサは、実行可能な命令を実行するために、読み取り専用メモリ１８０２および／またはランダムアクセスメモリ１８０３と通信し、バス１８０４を介して通信部１８１２に接続し、通信部１８１２を介して他のターゲット機器と通信することができ、それにより、実施例の本開示のいずれか１つの実施例で提供された方法に対応する操作の開示を完了させる。
【０３７０】
上記した各命令によって実行される操作は、上述方法の実施例の関連説明を参照することができるため、ここでは再び詳細に説明しない。加えて、ＲＡＭ１８０３に、装置を操作するのに必要とする様々なプログラムおよびデータも記憶されてもよい。ＣＰＵ１８０１、ＲＯＭ１８０２およびＲＡＭ１８０３はバス１８０４を介して相互に接続される。
【０３７１】
ＲＡＭ１８０３がある場合、ＲＯＭ１８０２はオプションモジュールである。ＲＡＭ１８０３は、実行可能な命令を記憶し、または実行する時に実行可能な命令をＲＯＭ１８０２に結合し、実行可能な命令は、中央処理ユニット１８０１が上述のレーザレーダスパース深度マップの処理方法に含まれたステップを実行するようにする。入力／出力（Ｉ／Ｏ）インターフェース１８０５もバス１８０４に接続する。通信部１８１２は、統合的に構成されてもよく、複数のサブモジュール（例えば、複数のＩＢネットワークカード）を有し、バスにそれぞれ接続するように構成されてもよく。
【０３７２】
以下のコンポーネントは、Ｉ／Ｏインターフェース１８０５に接続し、前記Ｉ／Ｏインターフェース１８０５は、キーボード、マウスなどの入力部１８０６、ブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）などおよびスピーカなどを含む出力部１８０７、ハードディスクなどを含む記憶部１８０８、およびＬＡＮカード、モデムなどのネットワークインターフェースカードを含む通信部分１８０９を含む。通信部分１８０９は、インターネットなどのネットワークを介して通信処理を実行する。ドライブ１８１０も必要に応じてＩ／Ｏインターフェース１８０５に接続する。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブルメディア１８１１は、前記リムーバブルメディアから読み取ったコンピュータプログラムが必要に応じて記憶部１８０８に実装するように、必要に応じてドライブ１８１０に実装する。
【０３７３】
図１８に示されたアーキテクチャは、例示的な実施形態に過ぎず、実施プロセスでは、実際の必要に従って上記した図１８のコンポーネント数およびタイプを選択、削減、追加または切り替えすルことができ、異なる機能コンポーネントの構成において、独立して構成し、または統合的に構成するなどの実現方式を採用することができ、例えば、ＧＰＵおよびＣＰＵは独立して構成され手もよく、さらに例えば、ＧＰＵをＣＰＵに統合してもよく、通信部は独立して構成されてもよく、ＣＰＵまたはＧＰＵに統合的に構成されてもよいことに特に留意されたい。これらの代替実施形態のすべては本開示の実施例の保護範囲に含まれる。
【０３７４】
特に、本開示の実施例の実施形態によれば、以下でフローチャートを参照して説明されるプロセスは、コンピュータソフトウェアプログラムとして実現され、例えば、本開示の実施例は、機械読み取り可能な媒体に具体的に含まれたコンピュータプロリムーバブルメディアグラムが含まれたコンピュータプログラム製品を含み、、コンピュータプログラムは、フローチャートに示されたステップを実行するために使用されるプログラムコードを含み、プログラムコードは、本開示のいずれか１つの実施例で提供された方法の動作に対応して実行される命令に対応する。
【０３７５】
このような実施形態において、当該コンピュータプログラムは、通信部１８０９を介してネットワークからダウンロードおよびインストールされ、および／または从リムーバブルメディア１８１１からインストールされることができる。当該コンピュータプログラムが中央処理ユニット（ＣＰＵ）１８０１によって実行さると、本開示のいずれか１つの実施例に記載された上記した対応する動作を実現する命令を実行する。
【０３７６】
１つのまたは複数の代替実施形態において、本開示の実施例は、コンピュータ読み取り可能な命令を記憶するために使用されるコンピュータプログラム製品をさらに提供し、前記命令が実行されると、コンピュータが上記した実施例のいずれかに記載のレーザレーダスパース深度マップの処理またはニューラルネットワークのトレーニング方法または車両のインテリジェント制御方法、障害物回避ナビゲーション方法を実行するようにする。
【０３７７】
当該コンピュータプログラム製品は、ハードウェア、ソフトウェアまたはそれらを組み合わせする方式によって実現されることができる。代替例において、前記コンピュータプログラム製品は、コンピュータ記憶媒体で具現され、別の代替実施例において、前記コンピュータプログラム製品は、具体的には、例えばソフトウェア開発キット（ＳＤＫ：Ｓｏｆｔｗａｒｅ  Ｄｅｖｅｌｏｐｍｅｎｔ  Ｋｉｔ）などのソフトウェア製品で具現される。
【０３７８】
１つまたは複数の代替実施形態において、本開示の実施例は、別のレーザレーダスパース深度マップの処理方法、ニューラルネットワークのトレーニング方法、車両のインテリジェント制御方法、障害物回避ナビゲーション方法およびそれらに対応する装置および電子機器、コンピュータ記憶媒体、コンピュータプログラムおよびコンピュータプログラム製品をさらに提供し、ここで、前記方法は、第１装置がレーザレーダスパース深度マップの処理指示またはトレーニングニューラルネットワーク指示または車両のインテリジェント制御指示、障害物回避ナビゲーション指示を第２装置に送信することであって、当該指示は、第２装置が上記のいずれか１つの可能な実施例におけるレーザレーダスパース深度マップの処理方法またはトレーニングニューラルネットワーク方法または車両のインテリジェント制御方法または障害物回避ナビゲーション方法を実行するようにすることと、第１装置が第２装置によって送信されたレーザレーダスパース深度マップの処理結果またはニューラルネットワークトレーニング結果または車両のインテリジェント制御結果、障害物回避ナビゲーション結果を受信することとを含む。
【０３７９】
いくつかの実施例において、当該レーザレーダスパース深度マップの処理指示またはトレーニングニューラルネットワーク指示または車両のインテリジェント制御指示または障害物回避ナビゲーション指示は呼び出し命令であってもよく、第１装置は、呼び出しの方式により第２装置がレーザレーダスパース深度マップの処理動作またはトレーニングニューラルネットワーク操作または車両のインテリジェント制御操作または障害物回避ナビゲーション操作を実行するように指示することができ、対応的に、呼び出し命令を受信することに応答して、第２装置は、上記したレーザレーダスパース深度マップの処理方法またはトレーニングニューラルネットワークの方法または車両のインテリジェント制御方法または障害物回避ナビゲーション方法における任意の実施例のステップおよび／またはプロセスを実行することができる。
【０３８０】
明細書の様々な実施例は漸進的に説明され、各実施例は、他の実施例との相違に焦点を当て説明し、様々な実施例間の同じまたは類似な所は相互に参照することができる。システムの実施例にとって、システムの実施例は方法の実施例に基本的に対応するため、説明を簡単にし、関連する部分は方法の実施例の説明の一部を参照することができる。
【０３８１】
多くの方法によって、本開示の実施例の方法および装置、電子機器およびコンピュータ読み取り可能な記憶媒体を実現することができる。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組み合わせによって、本開示の実施例の方法および装置、電子機器およびコンピュータ読み取り可能な記憶媒体を実現する。方法のステップの上述順序は、説明するために使用されるものに過ぎず、本開示の実施例の方法のステップは、特に明記していない限り、以上で説明した順序に限定されない。加えて、いくつかの実施形態において、本開示の実施例を記録媒体に記録されたプログラムとして実施することができ、これらのプログラムは、本開示の実施例に係る方法を実現するために使用される機器読み取り可能な命令を含む。したがって、本開示の実施例は、本開示の実施例に係る方法を実行するために使用されるプログラムを記憶する記録媒体をさらに覆う。
【０３８２】
本開示の実施例の説明は、網羅的または本開示の実施例を開示された形態に限定するのもではなく、例示および説明のために与えられたのもである。多くの修正および変形は、当業者にとって明らかであるう。実施形態の選択および説明は、本開示の実施例の原理および実際の応用をより明確に説明し、当業者が本開示の実施例を理解して、特定の用途に適用する様々な修正を伴う様々な実施形態を設計することができるようにするためである。
【図１】
2021530771.tif 000079
【図２】
2021530771.tif 000080
【図３】
2021530771.tif 000081
【図４】
2021530771.tif 000082
【図５】
2021530771.tif 000083
【図６】
2021530771.tif 000084
【図７】
2021530771.tif 000085
【図８】
2021530771.tif 000086
【図９】
2021530771.tif 000087
【図１０】
2021530771.tif 000088
【図１１】
2021530771.tif 000089
【図１２】
2021530771.tif 000090
【図１３】
2021530771.tif 000091
【図１４】
2021530771.tif 000092
【図１５】
2021530771.tif 000093
【図１６】
2021530771.tif 000094
【図１７】
2021530771.tif 000095
【図１８】
2021530771.tif 000096
【手続補正書】
【提出日】令和2年12月28日(2020.12.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
レーザレーダスパース深度マップの処理方法であって、
ニューラルネットワークにレーザレーダスパース深度マップを入力することと、
前記ニューラルネットワークによって、前記レーザレーダスパース深度マップの異なるスケールの少なくとも２つの特徴マップを取得し、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、前記有効なポイント特徴融合処理の結果に従って処理後の深度マップを取得することであって、前記処理後の深度マップにおける有効なポイントの数は、前記レーザレーダスパース深度マップにおける有効なポイントの数より大きいこととを含むことを特徴とする、前記レーザレーダスパース深度マップの処理方法。
【請求項２】
前記ニューラルネットワークにレーザレーダスパース深度マップを入力することは、
前記ニューラルネットワークに前記レーザレーダスパース深度マップおよび前記レーザレーダスパース深度マップのマスクを入力することであって、前記レーザレーダスパース深度マップのマスクは、前記レーザレーダスパース深度マップにおける有効なポイントを指示するために使用されることを含み、
前記方法は、前記レーザレーダスパース深度マップのマスクに従って前記異なるスケールの少なくとも２つの特徴マップのマスクを決定することをさらに含み、
前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行することは、前記異なるスケールの少なくとも２つの特徴マップのマスクに従って、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行することを含むことを特徴とする、
請求項１に記載のレーザレーダスパース深度マップの処理方法。
【請求項３】
前記ニューラルネットワークによって前記深度マップの異なるスケールの少なくとも２つの特徴マップを取得することは、
前記レーザレーダスパース深度マップの特徴マップを取得するために、前記ニューラルネットワークによって、前記レーザレーダスパース深度マップに対してスパース畳み込み処理を実行することと、
異なるスケールの少なくとも２つの特徴マップを取得するために、前記深度マップの特徴マップに対してスケール変換処理を実行することであって、前記異なるスケールの少なくとも２つの特徴マップは、スケール変換処理前の特徴マップおよびスケール変換処理後の少なくとも１つの特徴マップを含むこととを含むことを特徴とする、
請求項２に記載のレーザレーダスパース深度マップの処理方法。
【請求項４】
前記レーザレーダスパース深度マップのマスクに従って前記異なるスケールの少なくとも２つの特徴マップのマスクを決定することは、
前記レーザレーダスパース深度マップの特徴マップのマスクを取得するために、前記ニューラルネットワークによって、前記レーザレーダスパース深度マップのマスクに対してスパース畳み込み処理を実行し、各特徴マップのマスクを取得するために、前記マスクに対してスケール変換処理を実行することを含むことを特徴とする、
請求項２または３に記載のレーザレーダスパース深度マップの処理方法。
【請求項５】
前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行することは、
前記ニューラルネットワークが、少なくとも１レベルの有効なポイント特徴融合処理を実行することと、
少なくとも１レベルの有効なポイント融合処理において、前記ニューラルネットワークが、異なるスケールの複数のパスの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行することとを含み、
前記ニューラルネットワークが複数のレベルの有効なポイント特徴融合処理を実行する場合、前のレベルの融合処理の出力は、後のレベルの融合処理の入力として提供されることを特徴とする、
請求項１ないし４のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
【請求項６】
前記ニューラルネットワークは、前のレベルの融合処理後に出力された特徴マップに対してスケール変換処理を実行し、スケール変換処理後の特徴マップは、後のレベルの融合処理に提供されるために使用されることを特徴とする、
請求項５に記載のレーザレーダスパース深度マップの処理方法。
【請求項７】
前のレベルの融合処理の出力パス数が後のレベルの融合処理の入力パス数より少ない場合、前のレベルの融合処理の１つのパスの出力、および前記パスの出力のスケール変換処理後の特徴マップは、両方とも後のレベルの融合処理の出力として使用されることを特徴とする、
請求項５または６に記載のレーザレーダスパース深度マップの処理方法。
【請求項８】
前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行することは、
１つのパスの特徴マップを形成するために、融合処理後の少なくとも２つのパスの出力の特徴マップに対して有効なポイント特徴融合処理を実行することであって、前記形成された１つのパスの特徴マップは、後のレベルの融合処理の入力として使用されること、または、
前記ニューラルネットワークが、前記形成された１つのパスの特徴マップに対して出力処理を実行することをさらに含むことを特徴とする、
請求項５ないし７のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
【請求項９】
前記方法は、
前記レーザレーダスパース深度マップと同じ視野角およびサイズを有する画像を前記ニューラルネットワークに提供することであって、前記画像は、撮影装置で撮影された画像を含むことと、
前記ニューラルネットワークが、前記画像の少なくとも１つのスケールの特徴マップを取得することであって、前記画像の対応するスケールの特徴マップは、対応する融合処理の出力として使用されることとをさらに含み、
前記画像の特徴マップは、前記レーザレーダスパース深度マップの特徴マップとの融合処理を実行するために使用されることを特徴とする、
請求項５ないし８のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
【請求項１０】
前記融合処理がＮ個（ＮはＭより大きい整数である）パスの入力およびＮ個パスの出力を有する場合、前記ニューラルネットワークが、Ｍ番目のパスの入力に対して実行する有効なポイント特徴融合処理は、
Ｎ番目のパスの入力の特徴マップおよび特徴マップのマスクに対してダウンサンプリング処理をそれぞれ実行することと、
ダウンサンプリング処理後の特徴マップおよび特徴マップのマスク、およびＭ（Ｍは０より大きい整数である）番目のパスの入力の特徴マップおよび特徴マップのマスクに従って、スパース合併畳み込み処理を実行することと、
スパース合併畳み込み処理後に取得した特徴マップおよび特徴マップのマスクに対してスパース畳み込み処理をそれぞれ実行して、Ｍ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを形成することとを含み、
Ｎ番目のパスの入力の特徴マップのスケールは、Ｍ番目のパスの入力の特徴マップのスケールより大きいことを特徴とする、
請求項５ないし９のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
【請求項１１】
前記ニューラルネットワークが、前記形成された１つのパスの特徴マップに対して出力処理を実行することは、
最後のレベルの融合処理によって出力された、複数のパスの有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理を実行し、スパース加算結果を畳み込み処理して、処理後の深度マップを形成することを含むことを特徴とする、
請求項８ないし１０のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
【請求項１２】
前記融合処理がＮ個（ＮはＭより大きい整数である）パスの入力およびＮ個パスの出力を有する場合、前記ニューラルネットワークが、Ｎ番目のパスの入力に対して実行する有効なポイント特徴融合処理は、
Ｎ番目のパスの入力の特徴マップおよび特徴マップのマスクおよび前記画像の特徴マップに対してスパース合併畳み込み処理を実行することと、
少なくとも１つのＭ（Ｍは０より大きい整数である）番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを畳み込み処理し、前記畳み込み処理後の特徴マップおよび特徴マップのマスクに対してスパースアップサンプリング処理をそれぞれ実行することと、
Ｎ番目のパスのスパース合併畳み込み処理後の特徴マップおよび特徴マップのマスクと、少なくとも１つのＭ番目のパスのスパースアップサンプリング処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理をそれぞれ実行して、Ｎ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを形成することとを含むことを特徴とする、
請求項９に記載のレーザレーダスパース深度マップの処理方法。
【請求項１３】
前記ニューラルネットワークは、レーザレーダスパース深度マップサンプルおよびレーザレーダスパース深度マップサンプルの補填深度マップサンプルの深度表記値に基づいてトレーニングして取得されることを特徴とする、
請求項１ないし１２のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
【請求項１４】
レーザレーダスパース深度マップの処理装置であって、
ニューラルネットワークにレーザレーダスパース深度マップを入力するように構成される深度マップ入力モジュールと、
前記レーザレーダスパース深度マップの異なるスケールの少なくとも２つの特徴マップを取得し、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、前記有効なポイント特徴融合処理の結果に従って処理後の深度マップを取得するように構成されるニューラルネットワークであって、前記処理後の深度マップにおける有効なポイントの数は、前記レーザレーダスパース深度マップにおける有効なポイントの数より大きいニューラルネットワークとを含むことを特徴とする、前記レーザレーダスパース深度マップの処理装置。
【請求項１５】
電子機器であって、
コンピュータプログラムを記憶するように構成されるメモリと、
前記メモリに記憶されたコンピュータプログラムを実行し、且つ前記コンピュータプログラムが実行されると、前記請求項１ないし１３のいずれか一項に記載の方法を実現するように構成されるプロセッサとを含む、前記電子機器。
【請求項１６】
コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されると、前記請求項１ないし１３のいずれか一項に記載の方法を実現する、前記コンピュータ読み取り可能な記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
以下、添付の図面および実施形態によって、本開示の実施例の技術的解決策をさらに詳細に説明する。
例えば、本願は以下の項目を提供する。
（項目１）
レーザレーダスパース深度マップの処理方法であって、
ニューラルネットワークにレーザレーダスパース深度マップを入力することと、
前記ニューラルネットワークによって、前記レーザレーダスパース深度マップの異なるスケールの少なくとも２つの特徴マップを取得し、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、前記有効なポイント特徴融合処理の結果に従って処理後の深度マップを取得することであって、前記処理後の深度マップにおける有効なポイントの数は、前記レーザレーダスパース深度マップにおける有効なポイントの数より大きいこととを含むことを特徴とする、前記レーザレーダスパース深度マップの処理方法。
（項目２）
前記ニューラルネットワークにレーザレーダスパース深度マップを入力することは、
前記ニューラルネットワークに前記レーザレーダスパース深度マップおよび前記レーザレーダスパース深度マップのマスクを入力することであって、前記レーザレーダスパース深度マップのマスクは、前記レーザレーダスパース深度マップにおける有効なポイントを指示するために使用されることを含み、
前記方法は、前記レーザレーダスパース深度マップのマスクに従って前記異なるスケールの少なくとも２つの特徴マップのマスクを決定することをさらに含み、
前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行することは、前記異なるスケールの少なくとも２つの特徴マップのマスクに従って、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行することを含むことを特徴とする、
項目１に記載のレーザレーダスパース深度マップの処理方法。
（項目３）
前記ニューラルネットワークによって前記深度マップの異なるスケールの少なくとも２つの特徴マップを取得することは、
前記レーザレーダスパース深度マップの特徴マップを取得するために、前記ニューラルネットワークによって、前記レーザレーダスパース深度マップに対してスパース畳み込み処理を実行することと、
異なるスケールの少なくとも２つの特徴マップを取得するために、前記深度マップの特徴マップに対してスケール変換処理を実行することであって、前記異なるスケールの少なくとも２つの特徴マップは、スケール変換処理前の特徴マップおよびスケール変換処理後の少なくとも１つの特徴マップを含むこととを含むことを特徴とする、
項目２に記載のレーザレーダスパース深度マップの処理方法。
（項目４）
前記レーザレーダスパース深度マップのマスクに従って前記異なるスケールの少なくとも２つの特徴マップのマスクを決定することは、
前記レーザレーダスパース深度マップの特徴マップのマスクを取得するために、前記ニューラルネットワークによって、前記レーザレーダスパース深度マップのマスクに対してスパース畳み込み処理を実行し、各特徴マップのマスクを取得するために、前記マスクに対してスケール変換処理を実行することを含むことを特徴とする、
項目２または３に記載のレーザレーダスパース深度マップの処理方法。
（項目５）
前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行することは、
前記ニューラルネットワークが、少なくとも１レベルの有効なポイント特徴融合処理を実行することと、
少なくとも１レベルの有効なポイント融合処理において、前記ニューラルネットワークが、異なるスケールの複数のパスの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行することとを含み、
前記ニューラルネットワークが複数のレベルの有効なポイント特徴融合処理を実行する場合、前のレベルの融合処理の出力は、後のレベルの融合処理の入力として提供されることを特徴とする、
項目１ないし４のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
（項目６）
前記ニューラルネットワークは、前のレベルの融合処理後に出力された特徴マップに対してスケール変換処理を実行し、スケール変換処理後の特徴マップは、後のレベルの融合処理に提供されるために使用されることを特徴とする、
項目５に記載のレーザレーダスパース深度マップの処理方法。
（項目７）
前のレベルの融合処理の出力パス数が後のレベルの融合処理の入力パス数より少ない場合、前のレベルの融合処理の１つのパスの出力、および前記パスの出力のスケール変換処理後の特徴マップは、両方とも後のレベルの融合処理の出力として使用されることを特徴とする、
項目５または６に記載のレーザレーダスパース深度マップの処理方法。
（項目８）
前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行することは、
１つのパスの特徴マップを形成するために、融合処理後の少なくとも２つのパスの出力の特徴マップに対して有効なポイント特徴融合処理を実行することであって、前記形成された１つのパスの特徴マップは、後のレベルの融合処理の入力として使用されること、または、
前記ニューラルネットワークが、前記形成された１つのパスの特徴マップに対して出力処理を実行することをさらに含むことを特徴とする、
項目５ないし７のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
（項目９）
前記方法は、
前記レーザレーダスパース深度マップと同じ視野角およびサイズを有する画像を前記ニューラルネットワークに提供することであって、前記画像は、撮影装置で撮影された画像を含むことと、
前記ニューラルネットワークが、前記画像の少なくとも１つのスケールの特徴マップを取得することであって、前記画像の対応するスケールの特徴マップは、対応する融合処理の出力として使用されることとをさらに含み、
前記画像の特徴マップは、前記レーザレーダスパース深度マップの特徴マップとの融合処理を実行するために使用されることを特徴とする、
項目５ないし８のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
（項目１０）
前記融合処理がＮ個（ＮはＭより大きい整数である）パスの入力およびＮ個パスの出力を有する場合、前記ニューラルネットワークが、Ｍ番目のパスの入力に対して実行する有効なポイント特徴融合処理は、
Ｎ番目のパスの入力の特徴マップおよび特徴マップのマスクに対してダウンサンプリング処理をそれぞれ実行することと、
ダウンサンプリング処理後の特徴マップおよび特徴マップのマスク、およびＭ（Ｍは０より大きい整数である）番目のパスの入力の特徴マップおよび特徴マップのマスクに従って、スパース合併畳み込み処理を実行することと、
スパース合併畳み込み処理後に取得した特徴マップおよび特徴マップのマスクに対してスパース畳み込み処理をそれぞれ実行して、Ｍ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを形成することとを含み、
Ｎ番目のパスの入力の特徴マップのスケールは、Ｍ番目のパスの入力の特徴マップのスケールより大きいことを特徴とする、
項目５ないし９のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
（項目１１）
前記ニューラルネットワークが、Ｎ番目のパスの入力に対して実行する有効なポイント特徴融合処理は、
Ｎ番目のパスの入力の特徴マップおよび特徴マップのマスクに対してスパース畳み込み処理をそれぞれ実行することと、
少なくとも１つのＭ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを畳み込み処理し、前記畳み込み処理後の特徴マップおよび特徴マップのマスクに対してスパースアップサンプリング処理をそれぞれ実行することと、
Ｎ番目のパスのスパース畳み込み処理後の特徴マップおよび特徴マップのマスクと、少なくとも１つのＭ番目のパスのスパースアップサンプリング処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理を実行して、Ｎ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを形成することとを含むことを特徴とする、
項目１０に記載のレーザレーダスパース深度マップの処理方法。
（項目１２）
前記ニューラルネットワークが、前記形成された１つのパスの特徴マップに対して出力処理を実行することは、
最後のレベルの融合処理によって出力された、複数のパスの有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理を実行し、スパース加算結果を畳み込み処理して、処理後の深度マップを形成することを含むことを特徴とする、
項目８ないし１１のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
（項目１３）
前記融合処理がＮ個（ＮはＭより大きい整数である）パスの入力およびＮ個パスの出力を有する場合、前記ニューラルネットワークが、Ｎ番目のパスの入力に対して実行する有効なポイント特徴融合処理は、
Ｎ番目のパスの入力の特徴マップおよび特徴マップのマスクおよび前記画像の特徴マップに対してスパース合併畳み込み処理を実行することと、
少なくとも１つのＭ（Ｍは０より大きい整数である）番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを畳み込み処理し、前記畳み込み処理後の特徴マップおよび特徴マップのマスクに対してスパースアップサンプリング処理をそれぞれ実行することと、
Ｎ番目のパスのスパース合併畳み込み処理後の特徴マップおよび特徴マップのマスクと、少なくとも１つのＭ番目のパスのスパースアップサンプリング処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理をそれぞれ実行して、Ｎ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを形成することとを含むことを特徴とする、
項目９に記載のレーザレーダスパース深度マップの処理方法。
（項目１４）
前記ニューラルネットワークが、前記形成された１つのパスの特徴マップに対して出力処理を実行することは、
最後のレベルの融合処理によって出力された、複数のパスの有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理をそれぞれ実行し、スパース加算結果と前記画像の特徴マップに対してスパース合併畳み込み処理を実行し、スパース合併畳み込み処理の結果を畳み込み処理して、処理後の深度マップを形成することを含むことを特徴とする、
項目１３に記載のレーザレーダスパース深度マップの処理方法。
（項目１５）
前記スパース合併畳み込み処理は、
第１特徴マップおよび第２特徴マップをチャネル数の次元で合併した後に、畳み込み処理を実行し、畳み込み処理後の特徴マップと重み行列の逆数に対して要素ごとの乗算を実行して、スパース合併畳み込み処理後の特徴マップを形成することと、
第１特徴マップのマスクを第１特徴マップのチャネル数と掛け、第２特徴マップのマスクを第２特徴マップのチャネル数と掛け、２つの乗算結果の加算結果に対して畳み込み演算を実行して、畳み込み演算結果に従って重み行列を形成し、重み行列を二値化処理して、前記スパース合併畳み込み処理後の特徴マップのマスクを形成することとを含むことを特徴とする、
項目９ないし１４のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
（項目１６）
前記スパース加算処理は、
第１特徴マップと第１特徴マップのマスクに対して要素ごとの乗算を実行し、第２特徴マップと第２特徴マップのマスクに対して要素ごとの乗算を実行し、２つの乗算結果を加算し、加算結果と重み行列の逆数に対して要素ごとの乗算を実行して、スパース加算処理後の特徴マップを形成することと、
第１特徴マップのマスクと第２特徴マップのマスクをＯＲ演算して、前記スパース加算処理後の特徴マップのマスクを形成することとを含むことを特徴とする、
項目１０ないし１５のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
（項目１７）
前記スパースアップサンプリング処理は、
特徴マップと特徴マップのマスクに対して要素ごとの乗算を実行し、乗算結果をアップサンプリング処理することと、
特徴マップのマスクをアップサンプリング処理して、アップサンプリング処理後のマスクに対して重み行列を形成することと、
アップサンプリング処理後の特徴マップと、重み行列の逆数に対して要素ごとの乗算を実行して、スパース加算処理後の特徴マップを形成することと、
重み行列を二値化処理して、前記スパース加算処理後の特徴マップのマスクを形成することとを含むことを特徴とする、
項目１０ないし１６のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
（項目１８）
前記ニューラルネットワークは、レーザレーダスパース深度マップサンプルおよびレーザレーダスパース深度マップサンプルの補填深度マップサンプルの深度表記値に基づいてトレーニングして取得されることを特徴とする、
項目１ないし１７のいずれか一項に記載のレーザレーダスパース深度マップの処理方法。
（項目１９）
車両のインテリジェント制御方法であって、
項目１ないし１８のいずれか一項に記載のレーザレーダスパース深度マップの処理方法を採用して、処理後の深度マップを取得することと、
前記処理後の深度マップに従って、前記レーザレーダが配置された車両を制御するための命令または警告プロンプト情報を生成することとを含むことを特徴とする、前記車両のインテリジェント制御方法。
（項目２０）
障害物回避ナビゲーション方法であって、
項目１ないし１８のいずれか一項に記載のレーザレーダスパース深度マップの処理方法を採用して、処理後の深度マップを取得することと、
前記処理後の深度マップに従って、前記レーザレーダが配置されたロボットに対して障害物回避ナビゲーション制御を実行するための命令または警告プロンプト情報を生成することとを含むことを特徴とする、前記障害物回避ナビゲーション方法。
（項目２１）
ニューラルネットワークのトレーニング方法であって、
トレーニングされるニューラルネットワークにレーザレーダスパース深度マップサンプルを入力することと、
前記トレーニングされるニューラルネットワークによって、前記レーザレーダスパース深度マップサンプルの異なるスケールの少なくとも２つの特徴マップを取得し、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、前記有効なポイント特徴融合処理の結果に従って処理後の深度マップを形成することであって、前記処理後の深度マップにおける有効なポイントの数は、前記レーザレーダスパース深度マップサンプルにおける有効なポイントの数より大きいことと、
前記処理後の深度マップおよびレーザレーダスパース深度マップサンプルの補填深度マップサンプルの深度表記値をガイダンス情報として使用することにより、前記トレーニングされるニューラルネットワークに対して教師あり学習を実行することとを含むことを特徴とする、前記ニューラルネットワークのトレーニング方法。
（項目２２）
レーザレーダスパース深度マップの処理装置であって、
ニューラルネットワークにレーザレーダスパース深度マップを入力するように構成される深度マップ入力モジュールと、
前記レーザレーダスパース深度マップの異なるスケールの少なくとも２つの特徴マップを取得し、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、前記有効なポイント特徴融合処理の結果に従って処理後の深度マップを取得するように構成されるニューラルネットワークであって、前記処理後の深度マップにおける有効なポイントの数は、前記レーザレーダスパース深度マップにおける有効なポイントの数より大きいニューラルネットワークとを含むことを特徴とする、前記レーザレーダスパース深度マップの処理装置。
（項目２３）
前記深度マップ入力モジュールは、
前記ニューラルネットワークに前記レーザレーダスパース深度マップおよび前記レーザレーダスパース深度マップのマスクを入力するように構成され、
前記レーザレーダスパース深度マップのマスクは、前記レーザレーダスパース深度マップにおける有効なポイントを指示するために使用され、前記ニューラルネットワークは、さらに、
前記レーザレーダスパース深度マップのマスクに従って前記異なるスケールの少なくとも２つの特徴マップのマスクを決定するように構成され、
前記ニューラルネットワークは、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行する場合、前記異なるスケールの少なくとも２つの特徴マップのマスクに従って、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行するように構成されることを特徴とする、
項目２２に記載のレーザレーダスパース深度マップの処理装置。
（項目２４）
前記ニューラルネットワークは、
前記レーザレーダスパース深度マップの特徴マップを取得するために、前記レーザレーダスパース深度マップに対してスパース畳み込み処理を実行し、異なるスケールの少なくとも２つの特徴マップを取得するために、前記深度マップの特徴マップに対してスケール変換処理を実行するように構成される入力処理ユニットを含み、
前記異なるスケールの少なくとも２つの特徴マップは、スケール変換処理前の特徴マップおよびスケール変換処理後の少なくとも１つの特徴マップを含むことを特徴とする、
項目２３に記載のレーザレーダスパース深度マップの処理装置。
（項目２５）
前記入力処理ユニットは、さらに、前記レーザレーダスパース深度マップの特徴マップのマスクを取得するために、前記レーザレーダスパース深度マップのマスクに対してスパース畳み込み処理を実行し、各特徴マップのマスクを取得するために、前記マスクに対してスケール変換処理を実行するように構成されることを特徴とする、
項目２４に記載のレーザレーダスパース深度マップの処理装置。
（項目２６）
前記ニューラルネットワークは、
少なくとも１つの融合モジュールを含み、前記融合モジュールは、複数のパスの入力および複数のパスの出力を有し、前記融合モジュールは、複数のパスの入力の異なるスケールの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行するように構成され、
前記ニューラルネットワークが複数の融合モジュールを含む場合、前のレベルの融合モジュールの出力は、後のレベルの融合モジュールの入力として提供されるために使用されることを特徴とする、
項目２２ないし２５のいずれか一項に記載のレーザレーダスパース深度マップの処理装置。
（項目２７）
前記ニューラルネットワークは、
前記融合モジュールの後に配置される少なくとも１つの第１変換モジュールをさらに含み、
前記第１変換モジュールは、前のレベルの融合モジュールの少なくとも１つのパスの出力の特徴マップに対してスケール変換処理を実行するように構成され、スケール変換処理後の特徴マップは、後のレベルの融合モジュールに提供されるために使用されることを特徴とする、
項目２６に記載のレーザレーダスパース深度マップの処理装置。
（項目２８）
前のレベルの融合モジュールの出力パス数が後のレベルの融合モジュールの入力パス数より少ない場合、前のレベルの融合モジュールの１つのパスの出力、および前記パスの出力のスケール変換処理後の特徴マップは、両方とも後のレベルの融合モジュールの出力として使用されることを特徴とする、
項目２６または２７に記載のレーザレーダスパース深度マップの処理装置。
（項目２９）
前記ニューラルネットワークは、
前記融合モジュールの後に配置される少なくとも１つの第２変換モジュールをさらに含み、
前記第２変換モジュールは、１つのパスの特徴マップを形成するために、融合モジュールの少なくとも２つのパスの出力の特徴マップに対して有効なポイント特徴融合処理を実行するように構成され、前記形成された１つのパスの特徴マップは、後のレベルの融合モジュールの入力として使用され、またはニューラルネットワークの出力処理ユニットの入力として使用されることを特徴とする、
項目２６ないし２８のいずれか一項に記載のレーザレーダスパース深度マップの処理装置。
（項目３０）
前記深度マップ入力モジュールは、さらに、前記レーザレーダスパース深度マップと同じ視野角およびサイズを有する画像を前記ニューラルネットワークに提供するように構成され、前記画像は、撮影装置で撮影された画像を含み、
前記入力処理ユニットは、さらに、前記画像の少なくとも１つのスケールの特徴マップを取得するように構成され、前記画像の対応するスケールの特徴マップは、対応する融合処理の出力として使用され、
前記画像の特徴マップは、前記レーザレーダスパース深度マップの特徴マップとの融合処理を実行するために使用されることを特徴とする、
項目２６ないし２９のいずれか一項に記載のレーザレーダスパース深度マップの処理装置。
（項目３１）
前記融合モジュールがＮ個（ＮはＭより大きい整数である）パスの入力およびＮ個パスの出力を有する場合、前記融合モジュールが、Ｍ番目のパスの入力に対して実行する有効なポイント特徴融合処理は、
Ｎ番目のパスの入力の特徴マップおよび特徴マップのマスクに対してダウンサンプリング処理をそれぞれ実行し、
ダウンサンプリング処理後の特徴マップおよび特徴マップのマスク、およびＭ（Ｍは０より大きい整数である）番目のパスの入力の特徴マップおよび特徴マップのマスクに従って、スパース合併畳み込み処理を実行し、
スパース合併畳み込み処理後に取得した特徴マップおよび特徴マップのマスクに対してスパース畳み込み処理をそれぞれ実行して、Ｍ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを形成するように構成され、
Ｎ番目のパスの入力の特徴マップのスケールは、Ｍ番目のパスの入力の特徴マップのスケールより大きいことを特徴とする、
項目２６ないし３０のいずれか一項に記載のレーザレーダスパース深度マップの処理装置。
（項目３２）
前記融合モジュールが、Ｎ番目のパスの入力に対して有効なポイント特徴融合処理を実行する場合、
Ｎ番目のパスの入力の特徴マップおよび特徴マップのマスクに対してスパース畳み込み処理をそれぞれ実行し、
少なくとも１つのＭ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを畳み込み処理し、前記畳み込み処理後の特徴マップおよび特徴マップのマスクに対してスパースアップサンプリング処理をそれぞれ実行し、
Ｎ番目のパスのスパース畳み込み処理後の特徴マップおよび特徴マップのマスクと、少なくとも１つのＭ番目のパスのスパースアップサンプリング処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理を実行して、Ｎ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを形成するように構成されることを特徴とする、
項目３１に記載のレーザレーダスパース深度マップの処理装置。
（項目３３）
前記出力処理ユニットは、
最後のレベルの融合処理によって出力された、複数のパスの有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理を実行し、スパース加算結果を畳み込み処理して、処理後の深度マップを形成するように構成される第１出力処理ユニットを含むことを特徴とする、
項目２９ないし３２のいずれか一項に記載のレーザレーダスパース深度マップの処理装置。
（項目３４）
前記融合モジュールがＮ個（ＮはＭより大きい整数である）パスの入力およびＮ個パスの出力を有する場合、前記融合モジュールが、Ｎ番目のパスの入力に対して有効なポイント特徴融合処理を実行する場合、
Ｎ番目のパスの入力の特徴マップおよび特徴マップのマスクおよび前記画像の特徴マップに対してスパース合併畳み込み処理を実行し、
少なくとも１つのＭ（Ｍは０より大きい整数である）番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを畳み込み処理し、前記畳み込み処理後の特徴マップおよび特徴マップのマスクに対してスパースアップサンプリング処理をそれぞれ実行し、
Ｎ番目のパスのスパース合併畳み込み処理後の特徴マップおよび特徴マップのマスクと、少なくとも１つのＭ番目のパスのスパースアップサンプリング処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理をそれぞれ実行して、Ｎ番目のパスの出力の有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクを形成するように構成されることを特徴とする、
項目３０に記載のレーザレーダスパース深度マップの処理装置。
（項目３５）
前記出力処理ユニットは、
最後のレベルの融合処理によって出力された、複数のパスの有効なポイント特徴融合処理後の特徴マップおよび特徴マップのマスクに対してスパース加算処理をそれぞれ実行し、スパース加算結果と前記画像の特徴マップに対してスパース合併畳み込み処理を実行し、スパース合併畳み込み処理の結果を畳み込み処理して、処理後の深度マップを形成するように構成される第２出力処理ユニットを含むことを特徴とする、
項目３４に記載のレーザレーダスパース深度マップの処理装置。
（項目３６）
前記スパース合併畳み込み処理は、
第１特徴マップおよび第２特徴マップをチャネル数の次元で合併した後に、畳み込み処理を実行し、畳み込み処理後の特徴マップと重み行列の逆数に対して要素ごとの乗算を実行して、スパース合併畳み込み処理後の特徴マップを形成することと、
第１特徴マップのマスクを第１特徴マップのチャネル数と掛け、第２特徴マップのマスクを第２特徴マップのチャネル数と掛け、２つの乗算結果の加算結果に対して畳み込み演算を実行して、畳み込み演算結果に従って重み行列を形成し、重み行列を二値化処理して、前記スパース合併畳み込み処理後の特徴マップのマスクを形成することとを含むことを特徴とする、
項目３０ないし３５のいずれか一項に記載のレーザレーダスパース深度マップの処理装置。
（項目３７）
前記スパース加算処理は、
第１特徴マップと第１特徴マップのマスクに対して要素ごとの乗算を実行し、第２特徴マップと第２特徴マップのマスクに対して要素ごとの乗算を実行し、２つの乗算結果を加算し、加算結果と重み行列の逆数に対して要素ごとの乗算を実行して、スパース加算処理後の特徴マップを形成することと、
第１特徴マップのマスクと第２特徴マップのマスクをＯＲ演算して、前記スパース加算処理後の特徴マップのマスクを形成することとを含むことを特徴とする、
項目３１ないし３６のいずれか一項に記載のレーザレーダスパース深度マップの処理装置。
（項目３８）
前記スパースアップサンプリング処理は、
特徴マップと特徴マップのマスクに対して要素ごとの乗算を実行し、乗算結果をアップサンプリング処理することと、
特徴マップのマスクをアップサンプリング処理して、アップサンプリング処理後のマスクに対して重み行列を形成することと、
アップサンプリング処理後の特徴マップと、重み行列の逆数に対して要素ごとの乗算を実行して、スパース加算処理後の特徴マップを形成することと、
重み行列を二値化処理して、前記スパース加算処理後の特徴マップのマスクを形成することとを含むことを特徴とする、
項目３１ないし３７のいずれか一項に記載のレーザレーダスパース深度マップの処理装置。
（項目３９）
前記ニューラルネットワークは、レーザレーダスパース深度マップサンプルおよびレーザレーダスパース深度マップサンプルの補填深度マップサンプルの深度表記値に基づいてトレーニングして取得されることを特徴とする、
項目２２ないし３８のいずれか一項に記載のレーザレーダスパース深度マップの処理装置。
（項目４０）
車両のインテリジェント制御装置であって、
ニューラルネットワークにレーザレーダスパース深度マップを入力するように構成される深度マップ入力モジュールと、
前記レーザレーダスパース深度マップの異なるスケールの少なくとも２つの特徴マップを取得し、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、前記有効なポイント特徴融合処理の結果に従って処理後の深度マップを取得するように構成されるニューラルネットワークであって、前記処理後の深度マップにおける有効なポイントの数は、前記レーザレーダスパース深度マップにおける有効なポイントの数より大きいニューラルネットワークと、
前記処理後の深度マップに従って、前記レーザレーダが配置された車両を制御するための命令または警告プロンプト情報を生成するように構成される制御モジュールとを含むことを特徴とする、前記車両のインテリジェント制御装置。
（項目４１）
障害物回避ナビゲーション装置であって、
ニューラルネットワークにレーザレーダスパース深度マップを入力するように構成される深度マップ入力モジュールと、
前記レーザレーダスパース深度マップの異なるスケールの少なくとも２つの特徴マップを取得し、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、前記有効なポイント特徴融合処理の結果に従って処理後の深度マップを取得するように構成されるニューラルネットワークであって、前記処理後の深度マップにおける有効なポイントの数は、前記レーザレーダスパース深度マップにおける有効なポイントの数より大きいニューラルネットワークと、
前記処理後の深度マップに従って、前記レーザレーダが配置されたロボットに対して障害物回避ナビゲーション制御を実行するための命令または警告プロンプト情報を生成するように構成される障害物回避ナビゲーションモジュールとを含むことを特徴とする、前記障害物回避ナビゲーション装置。
（項目４２）
ニューラルネットワークのトレーニング装置であって、
レーザレーダスパース深度マップサンプルを、トレーニングされるニューラルネットワークに入力するように構成される深度マップサンプル入力モジュールと、
前記レーザレーダスパース深度マップサンプルの異なるスケールの少なくとも２つの特徴マップを取得し、前記異なるスケールの少なくとも２つの特徴マップに対して有効なポイント特徴融合処理をそれぞれ実行し、前記有効なポイント特徴融合処理の結果に従って処理後の深度マップを形成するように構成されるトレーニングされるニューラルネットワークであって、前記処理後の深度マップにおける有効なポイントの数は、前記レーザレーダスパース深度マップサンプルにおける有効なポイントの数より大きいトレーニングされるニューラルネットワークと、
前記処理後の深度マップおよび前記レーザレーダスパース深度マップサンプルの補填深度マップサンプルの深度表記値をガイダンス情報として使用することにより、前記トレーニングされるニューラルネットワークに対して教師あり学習を実行するように構成される監視モジュールとを含むことを特徴とする、前記ニューラルネットワークのトレーニング装置。
（項目４３）
電子機器であって、
コンピュータプログラムを記憶するように構成されるメモリと、
前記メモリに記憶されたコンピュータプログラムを実行し、且つ前記コンピュータプログラムが実行されると、前記項目１ないし２１のいずれか一項に記載の方法を実現するように構成されるプロセッサとを含む、前記電子機器。
（項目４４）
コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されると、前記項目１ないし２１のいずれか一項に記載の方法を実現する、前記コンピュータ読み取り可能な記憶媒体。
（項目４５）
コンピュータプログラムであって、
コンピュータ命令を含み、前記コンピュータ命令が機器のプロセッサで実行されると、前記項目１ないし２１のいずれか一項に記載の方法を実現する、前記コンピュータプログラム。
【国際調査報告】
2021530771.tif 000097
2021530771.tif 000098
2021530771.tif 000099
2021530771.tif 000100
2021530771.tif 000101
2021530771.tif 000102