(57)【特許請求の範囲】
【請求項１】
被訓練点群データを取得するステップと、
前記被訓練点群データ中の各点に対する注記に応答し、前記被訓練点群データ中の各点に対応するタグデータを生成し、そのうち、前記注記が各前記被訓練点群データ中の各点が車両輪郭に属するか否かを指示するステップと、
前記被訓練点群データ中の各点および前記被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するステップと、
被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するステップと、を含むことを特徴とする
点群データに基づく車両輪郭検出方法。
【請求項２】
前記被訓練点群データを取得するステップは、
点群データ収集装置で収集された被訓練三次元データをマッピングして被訓練奥行きマップを生成し、そのうち、前記被訓練奥行きマップにおける各画素点の数値が前記被訓練三次元データに一対一に対応する前記被訓練点群データ中の各点であるステップを含むことを特徴とする
請求項１に記載の方法。
【請求項３】
各前記被訓練三次元データＤ（ｘ，ｙ，ｚ）は、前記点群データ収集装置を原点、鉛直上方向をｚ軸、水平面内で任意に直交する２つの軸をそれぞれｘ軸およびｙ軸とする座標系の座標値であり、
前記被訓練奥行きマップにおける各画素点の座標が（ｒ，ｃ）であり、各前記画素点の数値が（ｄ，ｚ）であり、そのうち、
【数１】
0006364049.tif 000026
θは各前記被訓練三次元データＤと原点とを結ぶ線と第１の平面のなす角であり、Δθは前記点群データ収集装置の水平解像度であり、前記第１の平面はｙ軸、ｚ軸から構成される平面であり、
φは各前記被訓練三次元データＤと原点とを結ぶ線と第２の平面のなす角であり、Δφは前記点群データ収集装置の垂直解像度であり、前記第２の平面はｘ軸、ｙ軸から構成される平面であることを特徴とする
請求項２に記載の方法。
【請求項４】
前記被訓練点群データ中の各点に対する注記に応答し、前記被訓練点群データ中の各点に対応するタグデータを生成するステップは、
前記被訓練点群データ中の点が車両輪郭に属する場合、車両輪郭に属する当該点を変換して、第１チャネルの数値が１で、第２チャネルの数値が０で、第３〜２６チャネルがそれぞれ前記被訓練点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトルである２６チャネルの二次元タグデータを生成するステップと、
前記被訓練点群データ中の点が車両輪郭に属しない場合、車両輪郭に属しない当該点を変換して、第１チャネルの数値が０で、第２チャネルの数値が１である２チャネルの二次元タグデータを生成するステップと、を含むことを特徴とする
請求項３に記載の方法。
【請求項５】
前記点群データ中の車両輪郭に属する各点の各三次元座標に対する前記車両の所在する三次元立方体の各頂点の各座標（ｘｐ，ｙｐ，ｚｐ）の回転ベクトル（ｘ’ｐ，ｙ’ｐ，ｚ’ｐ）は
【数２】
0006364049.tif 000027
であり、
式中、Ｒは前記点群データ中の車両輪郭に属する任意の点Ｐ（ｘｉ，ｙｉ，ｚｉ）の回転行列であり、かつ、
【数３】
0006364049.tif 000028
であることを特徴とする
請求項３に記載の方法。
【請求項６】
前記被訓練点群データおよび前記被訓練点群データに対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するステップは、
前記全畳み込みニューラルネットワークのパラメータを初期化するステップと、
現在被訓練点群データおよび前記全畳み込みニューラルネットワークの現在パラメータに対応する前記全畳み込みニューラルネットワークの出力である現在出力と、前記被訓練点群データに対応するタグデータとの偏差である損失関数に基づき、前記全畳み込みニューラルネットワークのパラメータを調整するステップと、
前記損失関数が最小値である場合、前記損失関数に対応するパラメータを車両検出モデルのパラメータとして出力するステップと、
そうでない場合、前記損失関数に基づき前記全畳み込みニューラルネットワークのパラメータを調整するステップを繰り返して実行するステップと、を含むことを特徴とする
請求項１〜５のいずれかに記載の方法。
【請求項７】
前記被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するステップは、
前記点群データ収集装置で収集された被検出三次元データをマッピングして被検出奥行きマップを生成し、前記被検出奥行きマップにおける各画素点の数値が前記被検出三次元データに一対一に対応する前記被検出点群データ中の各被検出点であるステップと、
前記車両検出モデルに基づき、前記被検出点群データ中の各前記被検出点の予測結果を取得し、前記予測結果は被検出点が車両輪郭に属する確率を含むステップと、
前記被検出点の車両輪郭に属する確率が所定閾値より大きい場合、前記被検出点が車両輪郭に属すると判定するステップと、を含むことを特徴とする
請求項５に記載の方法。
【請求項８】
前記予測結果は、前記被検出点の位置情報をさらに含み、
前記被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するステップは、
前記被検出点群データ中の、車両輪郭に属する確率が所定閾値より大きい第１の被検出点を取得して第１の被検出点集合を形成するステップと、
前記第１の被検出点集合中の各被検出点の位置情報に基づき、前記被検出点群データに対応する車両の空間位置情報を生成するステップと、をさらに含むことを特徴とする
請求項７に記載の方法。
【請求項９】
被訓練点群データを取得するために構成される取得モジュールと、
前記被訓練点群データ中の各点に対する注記に応答し、前記被訓練点群データ中の各点に対応するタグデータを生成し、そのうち、前記注記が各前記被訓練点群データ中の各点が車両輪郭に属するか否かを指示するために構成されるタグデータ生成モジュールと、
前記被訓練点群データ中の各点および前記被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するために構成される訓練モジュールと、
被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するために構成される検出モジュールと、を備えることを特徴とする
点群データに基づく車両輪郭検出装置。
【請求項１０】
前記取得モジュールは、さらに、点群データ収集装置で収集された被訓練三次元データをマッピングして被訓練奥行きマップを生成するために構成され、そのうち、前記被訓練奥行きマップにおける各画素点の数値が前記被訓練三次元データに一対一に対応する前記被訓練点群データ中の各点であることを特徴とする
請求項９に記載の装置。
【請求項１１】
各前記被訓練三次元データＤ（ｘ，ｙ，ｚ）は、前記点群データ収集装置を原点、鉛直上方向をｚ軸、水平面内で任意に直交する２つの軸をそれぞれｘ軸およびｙ軸とする座標系の座標値であり、
前記被訓練奥行きマップにおける各画素点の座標が（ｒ，ｃ）であり、各前記画素点の数値が（ｄ，ｚ）であり、そのうち、
【数４】
0006364049.tif 000029
θは各前記被訓練三次元データＤと原点とを結ぶ線と第１の平面のなす角であり、Δθは前記点群データ収集装置の水平解像度であり、前記第１の平面はｙ軸、ｚ軸から構成される平面であり、
φは各前記被訓練三次元データＤと原点とを結ぶ線と第２の平面のなす角であり、Δφは前記点群データ収集装置の垂直解像度であり、前記第２の平面はｘ軸、ｙ軸から構成される平面であることを特徴とする
請求項１０に記載の装置。
【請求項１２】
前記タグデータ生成モジュールは、さらに、
前記被訓練点群データ中の点が車両輪郭に属する場合、車両輪郭に属する当該点を変換して、第１チャネルの数値が１で、第２チャネルの数値が０で、第３〜２６チャネルがそれぞれ前記被訓練点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトルである２６チャネルの二次元タグデータを生成し、
前記被訓練点群データ中の点が車両輪郭に属しない場合、車両輪郭に属しない当該点を変換して、第１チャネルの数値が０で、第２チャネルの数値が１である２チャネルの二次元タグデータを生成するために構成されることを特徴とする
請求項１１に記載の装置。
【請求項１３】
前記点群データ中の車両輪郭に属する各点の各三次元座標に対する前記車両の所在する三次元立方体の各頂点の各座標（ｘｐ，ｙｐ，ｚｐ）の回転ベクトル（ｘ’ｐ，ｙ’ｐ，ｚ’ｐ）は、
【数５】
0006364049.tif 000030
であり、
式中、Ｒは前記点群データ中の車両輪郭に属する任意の点Ｐ（ｘｉ，ｙｉ，ｚｉ）の回転行列であり、かつ、
【数６】
0006364049.tif 000031
であることを特徴とする
請求項１１に記載の装置。
【請求項１４】
前記訓練モジュールは、さらに、
前記全畳み込みニューラルネットワークのパラメータを初期化し、
現在被訓練点群データおよび前記全畳み込みニューラルネットワークの現在パラメータに対応する前記全畳み込みニューラルネットワークの出力である現在出力と、前記被訓練点群データに対応するタグデータとの偏差である損失関数に基づき、前記全畳み込みニューラルネットワークのパラメータを調整し、
前記損失関数が最小値である場合、前記損失関数に対応するパラメータを車両検出モデルのパラメータとして出力し、
そうでない場合、前記損失関数に基づき前記全畳み込みニューラルネットワークのパラメータを調整するステップを繰り返して実行するために構成されることを特徴とする
請求項９〜１３のいずれかに記載の装置。
【請求項１５】
前記検出モジュールは、さらに、
前記点群データ収集装置で収集された被検出三次元データをマッピングして被検出奥行きマップを生成し、前記被検出奥行きマップにおける各画素点の数値が前記被検出三次元データに一対一に対応する前記被検出点群データ中の各被検出点であり、
前記車両検出モデルに基づき、前記被検出点群データ中の各前記被検出点の車両輪郭に属する確率を含む予測結果を取得し、
前記被検出点の車両輪郭に属する確率が所定閾値より大きい場合、前記被検出点が車両輪郭に属すると判定するために構成されることを特徴とする
請求項１３に記載の装置。
【請求項１６】
前記予測結果は、前記被検出点の位置情報をさらに含み、
前記検出モジュールは、さらに、
前記被検出点群データ中の、車両輪郭に属する確率が所定閾値より大きい第１の被検出点を取得して第１の被検出点集合を形成し、
前記第１の被検出点集合中の各被検出点の位置情報に基づき、前記被検出点群データに対応する車両の空間位置情報を生成するために構成されることを特徴とする
請求項１５に記載の装置。
【請求項１７】
１つの又は複数のプロセッサと、
コマンドを記憶するメモリと、を含み、
前記コマンドが前記１つの又は複数のプロセッサによって実行される時に、前記１つの又は複数のプロセッサに
被訓練点群データを取得し、
前記被訓練点群データ中の各点に対する注記に応答し、前記被訓練点群データ中の各点に対応するタグデータを生成し、そのうち、前記注記が各前記被訓練点群データ中の各点が車両輪郭に属するか否かを指示し、
前記被訓練点群データ中の各点および前記被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得し、
被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するようにさせることを特徴とする
点群データに基づく車両輪郭検出装置。
【請求項１８】
前記被訓練点群データを取得することは、
点群データ収集装置で収集された被訓練三次元データをマッピングして被訓練奥行きマップを生成し、そのうち、前記被訓練奥行きマップにおける各画素点の数値が前記被訓練三次元データに一対一に対応する前記被訓練点群データ中の各点であるステップを含むことを特徴とする
請求項１７に記載の装置。
【請求項１９】
各前記被訓練三次元データＤ（ｘ，ｙ，ｚ）は、前記点群データ収集装置を原点、鉛直上方向をｚ軸、水平面内で任意に直交する２つの軸をそれぞれｘ軸およびｙ軸とする座標系の座標値であり、
前記被訓練奥行きマップにおける各画素点の座標が（ｒ，ｃ）であり、各前記画素点の数値が（ｄ，ｚ）であり、そのうち、
【数７】
0006364049.tif 000032
θは各前記被訓練三次元データＤと原点とを結ぶ線と第１の平面のなす角であり、Δθは前記点群データ収集装置の水平解像度であり、前記第１の平面はｙ軸、ｚ軸から構成される平面であり、
φは各前記被訓練三次元データＤと原点とを結ぶ線と第２の平面のなす角であり、Δφは前記点群データ収集装置の垂直解像度であり、前記第２の平面はｘ軸、ｙ軸から構成される平面であることを特徴とする
請求項１８に記載の装置。
【請求項２０】
前記の前記被訓練点群データ中の各点に対する注記に応答し、前記被訓練点群データ中の各点に対応するタグデータを生成することは、
前記被訓練点群データ中の点が車両輪郭に属する場合、車両輪郭に属する当該点を変換して、第１チャネルの数値が１で、第２チャネルの数値が０で、第３〜２６チャネルがそれぞれ前記被訓練点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトルである２６チャネルの二次元タグデータを生成するステップと、
前記被訓練点群データ中の点が車両輪郭に属しない場合、車両輪郭に属しない当該点を変換して、第１チャネルの数値が０で、第２チャネルの数値が１である２チャネルの二次元タグデータを生成するステップと、を含むことを特徴とする
請求項１９に記載の装置。
【請求項２１】
前記点群データ中の車両輪郭に属する各点の各三次元座標に対する前記車両の所在する三次元立方体の各頂点の各座標（ｘｐ，ｙｐ，ｚｐ）の回転ベクトル（ｘ’ｐ，ｙ’ｐ，ｚ’ｐ）は
【数８】
0006364049.tif 000033
であり、
式中、Ｒは前記点群データ中の車両輪郭に属する任意の点Ｐ（ｘｉ，ｙｉ，ｚｉ）の回転行列であり、かつ、
【数９】
0006364049.tif 000034
であることを特徴とする
請求項１９に記載の装置。
【請求項２２】
前記の前記被訓練点群データおよび前記被訓練点群データに対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得することは、
前記全畳み込みニューラルネットワークのパラメータを初期化するステップと、
現在被訓練点群データおよび前記全畳み込みニューラルネットワークの現在パラメータに対応する前記全畳み込みニューラルネットワークの出力である現在出力と、前記被訓練点群データに対応するタグデータとの偏差である損失関数に基づき、前記全畳み込みニューラルネットワークのパラメータを調整するステップと、
前記損失関数が最小値である場合、前記損失関数に対応するパラメータを車両検出モデルのパラメータとして出力するステップと、
そうでない場合、前記損失関数に基づき前記全畳み込みニューラルネットワークのパラメータを調整するステップを繰り返して実行するステップと、を含むことを特徴とする
請求項１７〜２１のいずれかに記載の装置。
【請求項２３】
前記の前記被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得することは、
前記点群データ収集装置で収集された被検出三次元データをマッピングして被検出奥行きマップを生成し、前記被検出奥行きマップにおける各画素点の数値が前記被検出三次元データに一対一に対応する前記被検出点群データ中の各被検出点であるステップと、
前記車両検出モデルに基づき、前記被検出点群データ中の各前記被検出点の予測結果を取得し、前記予測結果は被検出点が車両輪郭に属する確率を含むステップと、
前記被検出点の車両輪郭に属する確率が所定閾値より大きい場合、前記被検出点が車両輪郭に属すると判定するステップと、を含むことを特徴とする
請求項２１に記載の装置。
【請求項２４】
前記予測結果は、前記被検出点の位置情報をさらに含み、
前記の前記被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得することは、
前記被検出点群データ中の、車両輪郭に属する確率が所定閾値より大きい第１の被検出点を取得して第１の被検出点集合を形成するステップと、
前記第１の被検出点集合中の各被検出点の位置情報に基づき、前記被検出点群データに対応する車両の空間位置情報を生成するステップと、をさらに含むことを特徴とする
請求項２３に記載の装置。
【請求項２５】
コンピュータプログラムを記憶する不揮発性コンピュータ記憶媒体であって、
前記コンピュータプログラムが１つの又は複数のコンピュータにより実行される時に、前記１つの又は複数のコンピュータに、
被訓練点群データを取得し、
前記被訓練点群データ中の各点に対する注記に応答し、前記被訓練点群データ中の各点に対応するタグデータを生成し、そのうち、前記注記が各前記被訓練点群データ中の各点が車両輪郭に属するか否かを指示し、
前記被訓練点群データ中の各点および前記被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得し、
被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するようにさせることを特徴とする
不揮発性コンピュータ記憶媒体。
【請求項２６】
１つの又は複数のコンピュータにより実行される時に、前記１つの又は複数のコンピュータに、
被訓練点群データを取得し、
前記被訓練点群データ中の各点に対する注記に応答し、前記被訓練点群データ中の各点に対応するタグデータを生成し、そのうち、前記注記が各前記被訓練点群データ中の各点が車両輪郭に属するか否かを指示し、
前記被訓練点群データ中の各点および前記被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得し、
被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するようにさせることを特徴とする
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータの技術分野に関し、具体的には、車両検出技術分野に関し、特に点群データに基づく車両輪郭検出方法、および装置に関する。
【背景技術】
【０００２】
経済の発展および生活水準の向上につれて、自動車は不可欠な通勤手段として、徐々に多くの家庭に普及している。しかしながら、それに伴う運転安全問題は、常に幸せな生活を脅かしている。中国では、２０１０年度の交通事故による死亡者数は、中国公安省のデータによれば６５，２２５人であり、ＷＨＯモデルの推定によれば２７５，９８３人であり、一日一回重大な航空事故が発生することに相当する。交通事故による全世界の死傷者数は、一年に１３回の９１１大惨事が発生することに相当する。
【０００３】
科学技術が発達している現代社会において、人々は明らかに災難の多発が容認できない。安全運転が世間全体に期待され、政府および市場の推進で、自動車の安全技術がますます盛んになっている。広義では、自動車の安全技術はパッシブセーフティ（ｐａｓｓｉｖｅ  ｓａｆｅｔｙ）およびアクティブセーフティ（ａｃｔｉｖｅ  ｓａｆｅｔｙ）の２種類に大きく分けられる。パッシブセーフティは、衝突が発生する際に如何に損失を最小限に抑える技術であり、主に自動車構造、シートベルト、積層フロントガラス、折り畳み式ステアリングコラム、エアバッグなどの設計を含むが、衝突してから受動的保護をトリガするメカニズムによって、事故回避効果が限られる。アクティブセーフティは、予め警告して衝突を回避する技術であり、主に運転者の周囲環境の感知、分析、決定および制御、例えば車線逸脱警告（Ｌａｎｅ  Ｄｅｐａｒｔｕｒｅ  Ｗａｒｎｉｎｇ：ＬＤＷ）を含む。パッシブセーフティに比べて、アクティブセーフティは先行性および車両設計への低依存性などの利点に着目し、幅広く研究されており、かつ先進運転支援システム（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ：ＡＤＡＳ）の製品形態として周知されている。
【０００４】
車両検出技術は、アクティブセーフティの主な技術サポートの１つである。従来の技術案は、ほとんど単一の視覚技術を使用し、画像中の特徴をマッチングする方法により車両を検出するが、被検出車両の空間位置および姿勢を正確に提供することができない。また、レーザー点群を利用して入力とし、形状および点群の密度などの特徴によりクラスタリングしてから車両を検出する技術案も提案されたが、このような方法は、多くの場合に、大量の手動調整の必要があり、場面変化への適応性が低い。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記背景技術に言及された技術的問題を解決するために、改良した点群データに基づく車両輪郭検出方法、および装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
第１態様によれば、本発明は点群データに基づく車両輪郭検出方法を提供し、被訓練（訓練対象の）点群データを取得するステップと、被訓練点群データ中の各点が車両輪郭に属するか否かを指示するための注記に応答し、そのうち、被訓練点群データ中の各点に対応するタグデータを生成するステップと、被訓練点群データ中の各点および被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するステップと、被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得するステップと、を含む。
【０００７】
いくつかの実施形態において、被訓練点群データを取得するステップは、点群データ収集装置で収集された被訓練三次元データをマッピングして被訓練奥行きマップを生成し、被訓練奥行きマップにおける各画素点の数値が被訓練三次元データに一対一に対応する被訓練点群データ中の各点であるステップを含む。
【０００８】
いくつかの実施形態において、各被訓練三次元データＤ（ｘ，ｙ，ｚ）は、点群データ収集装置を原点、鉛直上方向をｚ軸、水平面内で任意に直交する２つの軸をそれぞれｘ軸およびｙ軸とする座標系の座標値であり、被訓練奥行きマップにおける各画素点の座標が（ｒ，ｃ）であり、各画素点の数値が（ｄ，ｚ）であり、そのうち、
【数１】
0006364049.tif 000002
θは各被訓練三次元データＤと原点とを結ぶ線と第１の平面のなす角であり、Δθは点群データ収集装置の水平解像度であり、第１の平面はｙ軸、ｚ軸から構成される平面であり、φは各被訓練三次元データＤと原点とを結ぶ線と第２の平面のなす角であり、Δφは点群データ収集装置の垂直解像度であり、第２の平面はｘ軸、ｙ軸から構成される平面である。
【０００９】
いくつかの実施形態において、被訓練点群データ中の各点に対する注記に応答し、被訓練点群データ中の各点に対応するタグデータを生成するステップは、被訓練点群データ中の点が車両輪郭に属する場合、車両輪郭に属する当該点を変換して、第１チャネルの数値が１で、第２チャネルの数値が０で、第３〜２６チャネルがそれぞれ被訓練点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトルである２６チャネルの二次元タグデータを生成するステップと、被訓練点群データ中の点が車両輪郭に属しない場合、車両輪郭に属しない当該点を変換して、第１チャネルの数値が０で、第２チャネルの数値が１である２チャネルの二次元タグデータを生成するステップと、を含む。
【００１０】
いくつかの実施形態において、点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトル（ｘ’ｐ，ｙ’ｐ，ｚ’ｐ）は、
【数２】
0006364049.tif 000003
であり、
式中、Ｒは点群データ中の車両輪郭に属する任意の点Ｐ（ｘｉ，ｙｉ，ｚｉ）の回転行列であり、
【数３】
0006364049.tif 000004
0006364049.tif 000005
0006364049.tif 000006
0006364049.tif 000007
である。
【００１１】
いくつかの実施形態において、被訓練点群データおよび被訓練点群データに対応するタグデータに基づき、全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するステップは、全畳み込みニューラルネットワークのパラメータを初期化するステップと、現在被訓練点群データおよび全畳み込みニューラルネットワークの現在パラメータに対応する全畳み込みニューラルネットワークの出力である現在出力と被訓練点群データに対応するタグデータとの偏差である損失関数に基づき、全畳み込みニューラルネットワークのパラメータを調整するステップと、損失関数が最小値である場合、損失関数に対応するパラメータを車両検出モデルのパラメータとして出力するステップと、そうでない場合、損失関数に基づき全畳み込みニューラルネットワークのパラメータを調整するステップを繰り返して実行するステップと、を含む。
【００１２】
いくつかの実施形態において、被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得するステップは、点群データ収集装置で収集された被検出三次元データをマッピングして被検出奥行きマップを生成し、被検出奥行きマップにおける各画素点の数値が被検出三次元データに一対一に対応する被検出点群データ中の各被検出点であるステップと、車両検出モデルに基づき、被検出点群データ中の各被検出点の車両輪郭に属する確率を含む予測結果を取得するステップと、被検出点の車両輪郭に属する確率が所定閾値より大きい場合、被検出点が車両輪郭に属すると判定するステップと、を含む。
【００１３】
いくつかの実施形態において、予測結果は被検出点の位置情報をさらに含み、
被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得するステップは、被検出点群データ中の、車両輪郭に属する確率が所定閾値より大きい第１の被検出点を取得して第１の被検出点集合を形成するステップと、第１の被検出点集合中の各被検出点の位置情報に基づき、被検出点群データに対応する車両の空間位置情報を生成するステップと、をさらに含む。
【００１４】
第２態様によれば、本発明は、点群データに基づく車両輪郭検出装置をさらに提供し、被訓練点群データを取得するために構成される取得モジュールと、被訓練点群データ中の各点が車両輪郭に属するか否かを指示する注記に応答し、被訓練点群データ中の各点に対応するタグデータを生成するために構成されるタグデータ生成モジュールと、被訓練点群データ中の各点および被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するために構成される訓練モジュールと、被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得するために構成される検出モジュールと、を備える。
【００１５】
いくつかの実施形態において、取得モジュールは、さらに、点群データ収集装置で収集された被訓練三次元データをマッピングして被訓練奥行きマップを生成し、被訓練奥行きマップにおける各画素点の数値が被訓練三次元データに一対一に対応する被訓練点群データ中の各点である。
【００１６】
いくつかの実施形態において、各被訓練三次元データＤ（ｘ，ｙ，ｚ）は、点群データ収集装置を原点、鉛直上方向をｚ軸、水平面内で任意に直交する２つの軸をそれぞれｘ軸およびｙ軸とする座標系の座標値であり、被訓練奥行きマップにおける各画素点の座標が（ｒ，ｃ）であり、各画素点の数値が（ｄ，ｚ）であり、そのうち、
【数４】
0006364049.tif 000008
θは各被訓練三次元データＤと原点とを結ぶ線と第１の平面のなす角であり、Δθは点群データ収集装置の水平解像度であり、第１の平面はｙ軸、ｚ軸から構成される平面であり、φは各被訓練三次元データＤと原点とを結ぶ線と第２の平面のなす角であり、Δφは点群データ収集装置の垂直解像度であり、第２の平面はｘ軸、ｙ軸から構成される平面である。
【００１７】
いくつかの実施形態において、タグデータ生成モジュールは、さらに、被訓練点群データ中の点が車両輪郭に属する場合、車両輪郭に属する当該点を変換して、第１チャネルの数値が１で、第２チャネルの数値が０で、第３〜２６チャネルがそれぞれ被訓練点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトルである２６チャネルの二次元タグデータを生成し、被訓練点群データ中の点が車両輪郭に属しない場合、車両輪郭に属しない当該点を変換して、第１チャネルの数値が０で、第２チャネルの数値が１である２チャネルの二次元タグデータを生成するために構成される。
【００１８】
いくつかの実施形態において、点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトル（ｘ’ｐ，ｙ’ｐ，ｚ’ｐ）は、
【数５】
0006364049.tif 000009
であり、
式中、Ｒは点群データ中の車両輪郭に属する任意の点Ｐ（ｘｉ，ｙｉ，ｚｉ）の回転行列であり、そのうち、
【数６】
0006364049.tif 000010
0006364049.tif 000011
0006364049.tif 000012
0006364049.tif 000013
である。
【００１９】
いくつかの実施形態において、訓練モジュールは、さらに、全畳み込みニューラルネットワークのパラメータを初期化し、現在被訓練点群データおよび全畳み込みニューラルネットワークの現在パラメータに対応する全畳み込みニューラルネットワークの出力である現在出力と被訓練点群データに対応するタグデータとの偏差である損失関数に基づき、全畳み込みニューラルネットワークのパラメータを調整し、損失関数が最小値である場合、損失関数に対応するパラメータを車両検出モデルのパラメータとして出力し、そうでない場合、損失関数に基づき全畳み込みニューラルネットワークのパラメータを調整するステップを繰り返して実行するために構成される。
【００２０】
いくつかの実施形態において、検出モジュールは、さらに、点群データ収集装置で収集された被検出三次元データをマッピングして被検出奥行きマップを生成し、被検出奥行きマップにおける各画素点の数値が被検出三次元データに一対一に対応する被検出点群データ中の各被検出点であり、車両検出モデルに基づき、被検出点群データ中の各被検出点の車両輪郭に属する確率を含む予測結果を取得し、被検出点の車両輪郭に属する確率が所定閾値より大きい場合、被検出点が車両輪郭に属すると判定するために構成される。
【００２１】
いくつかの実施形態において、予測結果は被検出点の位置情報をさらに含み、
検出モジュールは、さらに、被検出点群データ中の、車両輪郭に属する確率が所定閾値より大きい第１の被検出点を取得して第１の被検出点集合を形成し、第１の被検出点集合中の各被検出点の位置情報に基づき、被検出点群データに対応する車両の空間位置情報を生成するために構成される。
【発明の効果】
【００２２】
本発明に係る点群データに基づく車両輪郭検出方法、および装置によれば、点群データ収集装置で収集された点群データおよびそれらの点群データに対する注記により全畳み込みニューラルネットワークモデルを訓練し、車両輪郭検出に好適な車両検出モデルを取得し、当該車両検出モデルを使用して点群データに車両輪郭が含まれるか否かを判定することにより、従来の二次元画像を利用して車両輪郭を検出する際に、車両の二次元寸法の変化に起因する検出難度および検出誤差を回避することができる。
【００２３】
また、いくつかの実施形態において、本発明の技術案によれば、車両輪郭を検出するとともに車両の空間位置情報を直接取得することができ、それにより車両運転時の自動運転の経路計画および制御が容易になる。
【図面の簡単な説明】
【００２４】
以下の図面を参照しながら行った非限定的な実施例に対する詳細な説明を読むことによって、本発明の他の特徴、目的および利点はより明らかになる。
【図１】本発明を適用可能な例示的なシステムのアーキテクチャ図である。
【図２】本発明に係る点群データに基づく車両輪郭検出方法の一実施例のフローチャートである。
【図３】図２における被訓練点群データ中の各点および被訓練点群データ中の各点に対応するタグデータに基づき、全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するステップの代替的な実現形態の模式的フローチャートである。
【図４】図２における被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得するステップの代替的な実現形態の模式的フローチャートである。
【図５】本発明に係る点群データに基づく車両輪郭検出装置の一実施例の構成模式図である。
【図６】本発明の実施例を実現するための端末装置またはサーバに適用されるコンピュータシステムの構成模式図である。
【発明を実施するための形態】
【００２５】
以下、図面および実施例を参照しながら本発明をより詳細に説明する。ここで説明する具体的な実施例は、かかる発明を説明するものに過ぎず、当該発明を限定するものではないと理解すべきである。ただし、説明の便宜上、図面に発明に関連する部分のみが示されている。
【００２６】
なお、衝突しない場合、本発明の実施例および実施例の特徴を相互に組み合せてもよい。以下、図面および実施例を参照しながら本発明を詳細に説明する。
【００２７】
図１は、本発明に係る点群データに基づく車両輪郭検出方法または点群データに基づく車両輪郭検出装置の実施例を適用可能な例示的なシステムアーキテクチャ１００である。
【００２８】
図１に示すように、システムアーキテクチャ１００は、端末装置１０１、１０２、１０３、ネットワーク１０４およびサーバ１０５を備えてもよい。ネットワーク１０４は、端末装置１０１、１０２、１０３とサーバ１０５との間に通信リンクの媒体を提供することに用いられる。ネットワーク１０４は、様々な接続タイプ、例えば有線、無線通信リンクまたは光ファイバーケーブルなどを備えてもよい。
【００２９】
ユーザは、端末装置１０１、１０２、１０３を用いてネットワーク１０４を介してサーバ１０５と対話してメッセージなどを送受信してもよい。
【００３０】
いくつかの応用場面では、端末装置１０１、１０２、１０３は、点群データ収集機能を有する任意の電子機器であってもよい。例えば、端末装置１０１、１０２、１０３は、三次元レーザースキャナであってもよい。
【００３１】
或いは、別のいくつかの応用場面では、端末装置１０１、１０２、１０３は、点群データ収集装置とデータ通信を行い、それにより点群データ収集装置で収集された点群データを取得してもよい。例えば、端末装置１０１、１０２、１０３は様々な電子機器であってもよく、スマートフォン、タブレットＰＣ、電子書籍リーダー、ＭＰ３プレーヤー（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  Ａｕｄｉｏ  Ｌａｙｅｒ  ＩＩＩ、ムービングピクチャーエクスパーツグループオーディオレイヤー３）、ＭＰ４（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  Ａｕｄｉｏ  Ｌａｙｅｒ  ＩＶ、ムービングピクチャーエクスパーツグループオーディオレイヤー４）プレーヤー、ラップトップポータブルコンピュータ、およびデスクトップコンピュータなどを含むが、それらに限定されない。
【００３２】
サーバ１０５は、様々なサービスを提供するサーバ、例えば、端末装置１０１、１０２、１０３で取得された点群データを処理し分析するバックエンドサーバであってもよい。バックエンドサーバは、受信した点群データに対して分析などの処理を行い、処理結果（例えば、点群データに車両輪郭が含まれるか否か）を端末装置にフィードバックしてもよい。
【００３３】
なお、本発明の実施例に係る点群データに基づく車両輪郭検出方法はサーバ１０５により実行されてもよく、端末装置１０１、１０２、１０３により実行されてもよい。それに対応して、点群データに基づく車両輪郭検出装置は、サーバ１０５に設置されてもよく、端末装置１０１、１０２、１０３に設置されてもよい。
【００３４】
図１における端末装置、ネットワークおよびサーバの数は、例示的なものだけであると理解すべきである。必要に応じて、任意数の端末装置、ネットワーク、およびサーバを備えてもよい。
【００３５】
次に、図２に示すように、本発明に係る点群データに基づく車両輪郭検出方法の一実施例のフロー２００を示す。前記点群データに基づく車両輪郭検出方法は、以下のステップを含む。
【００３６】
ステップ２１０：被訓練点群データを取得する。
【００３７】
本実施例では、点群データに基づく車両輪郭検出方法を実行する電子機器（例えば、図１に示すサーバまたは端末装置）は、有線接続方式または無線接続方式により、点群データ収集機能を有する装置から点群データを取得してもよい。ただし、前記無線接続形態は、３Ｇ／４Ｇ接続、ＷｉＦｉ接続、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）接続、ＷｉＭＡＸ接続、Ｚｉｇｂｅｅ（登録商標）接続、ＵＷＢ（ｕｌｔｒａ  ｗｉｄｅｂａｎｄ）接続、およびその他の現在知られているか未来に開発される無線接続形態を含んでもよいが、これらに限定されない。
【００３８】
点群は、レーザーを利用して同一空間参照系で物体の表面の各サンプリング点の空間座標を取って得られたターゲット空間分布およびターゲット表面特性を表現する大量の点の集合である。つまり、カメラで撮影する写真と類似し、各点群はある場面画像に対応することができる。また、点群は当該場面画像における各物体の三次元モデルおよび線、面、体などの様々な情報を反映することができる。
【００３９】
ステップ２２０：被訓練点群データ中の各点が車両輪郭に属するか否かを指示するための注記に応答し、そのうち、被訓練点群データ中の各点に対応するタグデータを生成する。
【００４０】
いくつかの代替的な実現形態において、人工補助方式により、被訓練点群データ中の各点を注記し、それにより当該被訓練点群データ中の各点が車両輪郭に属するか否かを指示することができる。
【００４１】
注記は各被訓練点群データ中の各点が車両輪郭に属するか否かを指示するためのものであるため、注記に基いて生成されたタグデータにも、車両輪郭に属するか否かの情報を含む。
【００４２】
ステップ２３０：被訓練点群データ中の各点および被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得する。
【００４３】
一般的には、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ：ＣＮＮ）モデルの基本構造は、特徴抽出層、および特徴マッピング層の二層を含む。特徴抽出層については、各ニューロンの入力が前の層の局所採択域に接続され、かつ当該局所の特徴を抽出し、かつ、当該局所特徴が抽出されると、ほかの特徴との位置関係もそれに連れて決定される。特徴マッピング層については、ネットワークの各コンピューティング層が、複数の特徴マッピングからなり、各特徴マッピングは１つの平面であり、平面におけるすべてのニューロンの重みが等しい。
【００４４】
いくつかの代替的な実現形態において、被訓練点群データをＣＮＮモデルに入力し、ＣＮＮモデルの出力と被訓練点群データに対応するタグデータとの偏差に基づき、ＣＮＮモデルのパラメータを反復的に調整し、それにより訓練後のＣＮＮモデルの出力と被訓練点群データに対応するタグデータとの偏差を最小化するようにしてもよい。
【００４５】
ステップ２４０：被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得する。
【００４６】
上記ステップ２１０〜ステップ２４０により、車両検出モデルを取得することができる。このステップ２４０では、被検出点群データ中の各被検出点を車両検出モデルに入力することにより、当該被検出点群データに車両輪郭が含まれるか否かを検出することができる。本実施例に係る点群データに基づく車両輪郭検出方法によれば、三次元の点群データを検出根拠とするため、従来の二次元画像を利用して車両輪郭を検出する際に車両の二次元寸法の変化に起因した検出難度および検出誤差を回避することができる。
【００４７】
いくつかの代替的な実現形態において、被訓練点群データを取得するステップ２１０は、以下のステップをさらに含んでもよい。
【００４８】
ステップ２１１：点群データ収集装置で収集された被訓練三次元データをマッピングして被訓練奥行きマップを生成し、被訓練奥行きマップにおける各画素点の数値が被訓練三次元データに一対一に対応する被訓練点群データ中の各点である。
【００４９】
これらの代替的な実現形態の応用場面では、各被訓練三次元データＤ（ｘ，ｙ，ｚ）は、点群データ収集装置を原点、鉛直上方向をｚ軸、水平面内で任意に直交する２つの軸をそれぞれｘ軸およびｙ軸とする座標系の座標値であってもよい。被訓練三次元データＤに基づいて取得された被訓練奥行きマップでは、被訓練奥行きマップにおける各画素点の座標が（ｒ，ｃ）であり、各画素点の数値が（ｄ，ｚ）である。
そのうち、
【数７】
0006364049.tif 000014
（１）
つまり、当該奥行きマップでは、第ｒ行第ｃ列の位置の数値が（ｄ，ｚ）である。
θは各被訓練三次元データＤと原点とを結ぶ線と第１の平面のなす角であり、Δθは点群データ収集装置の水平解像度であり、第１の平面はｙ軸、ｚ軸から構成される平面である。つまり、θは垂直面に対する各被訓練三次元データＤの「ヨー角」と見なされてもよい。
【００５０】
φは各被訓練三次元データＤと原点とを結ぶ線と第２の平面のなす角であり、Δφは点群データ収集装置の垂直解像度であり、第２の平面はｘ軸、ｙ軸から構成される平面である。つまり、φは水平面に対する各被訓練三次元データＤの「ピッチ角」である。
【００５１】
また、ａｔａｎ２（ｙ，ｘ）の意味は、座標原点を開始点とし（ｘ，ｙ）点へ延びる半直線がｘ軸およびｙ軸から構成される座標平面でｘ軸の正方向とのなす角の角度である。
【００５２】
いくつかの代替的な実現形態において、被訓練点群データ集合中の各被訓練点群データに対する注記に応答し、被訓練点群データ中の各点に対応するタグデータを生成するステップ２２０は、以下のステップを含んでもよい。
【００５３】
ステップ２２１：被訓練点群データ中の点が車両輪郭に属する場合、車両輪郭に属する当該点を変換して、第１チャネルの数値が１で、第２チャネルの数値が０で、第３〜２６チャネルがそれぞれ被訓練点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトルである２６チャネルの二次元タグデータを生成する。
【００５４】
ステップ２２２：被訓練点群データ中の点が車両輪郭に属しない場合、車両輪郭に属しない当該点を変換して、第１チャネルの数値が０で、第２チャネルの数値が１である２チャネルの二次元タグデータを生成する。
【００５５】
つまり、被訓練点群データ中のある点が車両輪郭に属するか否かにかかわらず、その取得される二次元タグデータにおいて、第１チャネルの数値は、当該点が車両輪郭に属する確率を表し、第２チャネルの数値は当該点が車両輪郭に属しない確率を表すことができる。第１チャネルの数値と第２チャネルの数値がいずれも非負の数であり、かつ第１チャネルの数値と第２チャネルの数値との和が１であることが明らかにされる。
【００５６】
これらの代替的な実現形態の応用場面では、被訓練点群データは、車両輪郭に属するか否かを明確に判定できない点を含む可能性がある。これらの応用場面では、それらの点に対応する二次元タグデータにおける第１チャネルと第２チャネルに適切な数値を設定することにより、当該点が車両輪郭に属する可能性を表すようにしてもよい。
【００５７】
いくつかの代替的な実現形態において、点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトル（ｘ’ｐ，ｙ’ｐ，ｚ’ｐ）は、以下の式（２）で表されてもよい。
【００５８】
具体的には、
【数８】
0006364049.tif 000015
（２）
であり、式中、
Ｒは点群データ中の車両輪郭に属する任意の点Ｐ（ｘｉ，ｙｉ，ｚｉ）の回転行列であり、かつ、
【数９】
0006364049.tif 000016
0006364049.tif 000017
0006364049.tif 000018
0006364049.tif 000019
である。
【００５９】
ここで、θｉおよびφｉは、式（１）のθおよびφと類似する意味を有してもよい。つまり、θｉは車両輪郭に属する任意の点Ｐ（ｘｉ，ｙｉ，ｚｉ）と原点とを結ぶ線と第１の平面のなす角であり、第１の平面はｙ軸、ｚ軸から構成される平面である。φｉは車両輪郭に属する任意の点Ｐ（ｘｉ，ｙｉ，ｚｉ）と原点とを結ぶ線と第２の平面のなす角であり、第２の平面はｘ軸、ｙ軸から構成される平面である。
【００６０】
いくつかの代替的な実現形態において、本実施例に係る点群データに基づく車両輪郭検出方法のステップ２３０は、さらに図３に示すようなフロー３００により実現されてもよい。
【００６１】
ステップ３１０：全畳み込みニューラルネットワークのパラメータを初期化する。
【００６２】
ステップ３２０：損失関数に基づき、全畳み込みニューラルネットワークのパラメータを調整する。
ここで、損失関数は、現在出力と被訓練点群データに対応するタグデータとの偏差であってもよい。現在出力は、現在被訓練点群データおよび全畳み込みニューラルネットワークの現在パラメータに対応する全畳み込みニューラルネットワークの出力である。
【００６３】
ステップ３３０：現在出力に対応する損失関数が最小値であるか否かを判断する。
そうである場合（Ｙ）、ステップ３４０において、偏差に対応するパラメータを車両検出モデルのパラメータとして出力する。
そうでなく、現在出力に対応する損失関数が最小値ではない場合（Ｎ）、損失関数が最小値になったまで、損失関数に基づき全畳み込みニューラルネットワークのパラメータを調整するステップ３２０を繰り返して実行する。
【００６４】
いくつかの代替的な実現形態において、被検出点群データを取得し、前記車両検出モデルに基づき、前記被検出点群データ中の各被検出点に対応する検出結果を取得するステップ２４０は、さらに図４に示すようなフロー４００により実現されてもよい。
【００６５】
ステップ４１０：点群データ収集装置で収集された被検出三次元データをマッピングして被検出奥行きマップを生成し、被検出奥行きマップにおける各画素点の数値が被検出三次元データに一対一に対応する被検出点群データ中の各被検出点である。いくつかの代替的な実現形態において、前記の式（１）により点群データ収集装置で収集された被検出三次元データに対応する被検出奥行きマップを取得してもよい。
【００６６】
ステップ４２０：車両検出モデルに基づき、被検出点群データ中の各被検出点の車両輪郭に属する確率を含む予測結果を取得する。
【００６７】
ステップ４３０：被検出点の車両輪郭に属する確率が所定閾値より大きい場合、被検出点が車両輪郭に属すると判定する。
【００６８】
いくつかの代替的な実現形態において、予測結果は、被検出点の位置情報をさらに含んでもよい。
【００６９】
これらの実現形態において、フロー４００は、以下のステップをさらに含んでもよい。
【００７０】
ステップ４４０：被検出点群データ中の、車両輪郭に属する確率が所定閾値より大きい第１の被検出点を取得して第１の被検出点集合を形成する。
【００７１】
ステップ４５０：第１の被検出点集合中の各被検出点の位置情報に基づき、被検出点群データに対応する車両の空間位置情報を生成する。
【００７２】
いくつかの応用場面において、被検出点群データを車両検出モデルに入力した後、取得する検出結果は、被訓練点群データの車両輪郭に属する点の二次元タグデータと同様な表現形式を有してもよい。つまり、検出結果は、同様に２６個のチャネルを有し、第１チャネルの数値は、現在の車両検出モデルに基づき、当該被検出点が車両輪郭に属する確率を表し、第２チャネルの数値は、現在の車両検出モデルに基づいて当該被検出点が車両輪郭に属しない確率を表す。第３〜２６チャネルの値は、当該被検出点の空間位置を表すために用いられてもよい。
【００７３】
このようにして、被検出点群データの検出結果における第１チャネルの数値が所定閾値より大きい被検出点を車両輪郭に属する点とし、例えばデータ融合技術により、それらの車両輪郭に属する点の空間位置に基づき、当該被検出点群データにおける車両の位置を復元することができる。
【００７４】
本発明の上記実施例に係る方法は、点群データ収集装置で収集される点群データおよびそれらの点群データに対する注記により、全畳み込みニューラルネットワークモデルを訓練し、車両輪郭検出に適用できる車両検出モデルを取得し、当該車両検出モデルを使用して点群データに車両輪郭が含まれるか否かを判定することにより、従来の二次元画像を利用して車両輪郭を検出する際に車両の二次元寸法の変化に起因した検出難度および検出誤差を回避することができる。
【００７５】
さらに、図５を参照し、本発明は、上記各図に示す方法の実現形態として、点群データに基づく車両輪郭検出装置の一実施例を提供した。当該装置の実施例は、図２に示す方法の実施例に対応しており、当該装置は、具体的に様々な電子機器に適用されてもよい。
【００７６】
図５に示すように、本実施例に係る装置５００は、取得モジュール５１０、タグデータ生成モジュール５２０、訓練モジュール５３０および検出モジュール５４０を備える。
【００７７】
そのうち、取得モジュール５１０は、被訓練点群データを取得するために構成されてもよい。
【００７８】
タグデータ生成モジュール５２０は、被訓練点群データ中の各点が車両輪郭に属するか否かを指示するための注記に応答し、そのうち、被訓練点群データ中の各点に対応するタグデータを生成するために構成されてもよい。
【００７９】
訓練モジュール５３０は、被訓練点群データ中の各点および被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得するために構成されてもよい。
【００８０】
検出モジュール５４０は、被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得するために構成されてもよい。
【００８１】
いくつかの代替的な実現形態において、取得モジュール５１０は、さらに、点群データ収集装置で収集された被訓練三次元データをマッピングして被訓練奥行きマップを生成するために構成されてもよく、そのうち、被訓練奥行きマップにおける各画素点の数値が被訓練三次元データに一対一に対応する被訓練点群データ中の各点である。
【００８２】
いくつかの代替的な実現形態において、各被訓練三次元データＤ（ｘ，ｙ，ｚ）は、点群データ収集装置を原点、鉛直上方向をｚ軸、水平面内で任意に直交する２つの軸をそれぞれｘ軸およびｙ軸とする座標系の座標値であり、被訓練奥行きマップにおける各画素点の座標が（ｒ，ｃ）であり、各画素点の数値が（ｄ，ｚ）であり、そのうち、
【数１０】
0006364049.tif 000020
θは各被訓練三次元データＤと原点とを結ぶ線と第１の平面のなす角であり、Δθは点群データ収集装置の水平解像度であり、第１の平面はｙ軸、ｚ軸から構成される平面であり、φは各被訓練三次元データＤと原点とを結ぶ線と第２の平面のなす角であり、Δφは点群データ収集装置の垂直解像度であり、第２の平面はｘ軸、ｙ軸から構成される平面である。
【００８３】
いくつかの代替的な実現形態において、タグデータ生成モジュール５２０は、さらに、被訓練点群データ中の点が車両輪郭に属する場合、車両輪郭に属する当該点を変換して、第１チャネルの数値が１で、第２チャネルの数値が０で、第３〜２６チャネルがそれぞれ被訓練点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトルである２６チャネルの二次元タグデータを生成し、被訓練点群データ中の点が車両輪郭に属しない場合、車両輪郭に属しない当該点を変換して、第１チャネルの数値が０で、第２チャネルの数値が１である２チャネルの二次元タグデータを生成するために構成されてもよい。
【００８４】
いくつかの代替的な実現形態において、点群データ中の車両輪郭に属する各点の各三次元座標に対する車両の所在する三次元立方体の各頂点の各座標の回転ベクトル（ｘ’ｐ，ｙ’ｐ，ｚ’ｐ）は、
【数１１】
0006364049.tif 000021
であり、
式中、Ｒは点群データ中の車両輪郭に属する任意の点Ｐ（ｘｉ，ｙｉ，ｚｉ）の回転行列であり、かつ、
【数１２】
0006364049.tif 000022
0006364049.tif 000023
0006364049.tif 000024
0006364049.tif 000025
である。
【００８５】
いくつかの代替的な実現形態において、訓練モジュール５３０は、さらに、全畳み込みニューラルネットワークのパラメータを初期化し、現在被訓練点群データおよび全畳み込みニューラルネットワークの現在パラメータに対応する全畳み込みニューラルネットワークの出力である現在出力と被訓練点群データに対応するタグデータとの偏差である損失関数に基づき、全畳み込みニューラルネットワークのパラメータを調整し、損失関数が最小値である場合、損失関数に対応するパラメータを車両検出モデルのパラメータとして出力し、そうでない場合、損失関数に基づき全畳み込みニューラルネットワークのパラメータを調整するステップを繰り返して実行するために構成されてもよい。
【００８６】
いくつかの代替的な実現形態において、検出モジュール５４０は、さらに、点群データ収集装置で収集された被検出三次元データをマッピングして被検出奥行きマップを生成し、被検出奥行きマップにおける各画素点の数値が被検出三次元データに一対一に対応する被検出点群データ中の各被検出点であり、車両検出モデルに基づき、被検出点群データ中の各被検出点の予測結果を取得するために構成されてもよい。
【００８７】
ここで、予測結果は、被検出点が車両輪郭に属する確率を含んでもよく、かつ、被検出点の車両輪郭に属する確率が所定閾値より大きい場合、被検出点が車両輪郭に属すると判定する。
【００８８】
いくつかの代替的な実現形態において、予測結果は、被検出点の位置情報をさらに含んでもよい。
【００８９】
これらの実現形態において、検出モジュール５４０は、さらに、被検出点群データ中の、車両輪郭に属する確率が所定閾値より大きい第１の被検出点を取得して第１の被検出点集合を形成し、第１の被検出点集合中の各被検出点の位置情報に基づき、被検出点群データに対応する車両の空間位置情報を生成するために構成されてもよい。
【００９０】
上記点群データに基づく車両輪郭検出装置５００は、例えば、プロセッサ、メモリなどのいくつかの他の公知の構造をさらに備えてもよく、本発明の実施例を曖昧にすることを回避するために、これらの公知の構造を図５に示しなかったことを、当業者は理解することができる。
【００９１】
以下、本発明の実施例を実現するための端末装置またはサーバに適用されるコンピュータシステム６００を示す構造模式図である図６を参照する。
【００９２】
図６に示すように、コンピュータシステム６００は、読み出し専用メモリ（ＲＯＭ）６０２に記憶されているプログラムまたは記憶部６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたプログラムに基づいて様々な適当な動作および処理を実行することができる中央処理装置（ＣＰＵ）６０１を備える。ＲＡＭ６０３には、システム６００の操作に必要な様々なプログラムおよびデータがさらに記憶されている。ＣＰＵ６０１、ＲＯＭ６０２およびＲＡＭ６０３は、バス６０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続されている。
【００９３】
キーボード、マウスなどを含む入力部６０６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、およびスピーカなどを含む出力部６０７、ハードディスクなどを含む記憶部６０８、およびＬＡＮカード、モデムなどを含むネットワークインターフェースカードの通信部６０９は、Ｉ／Ｏインターフェース６０５に接続されている。通信部６０９は、例えばインターネットのようなネットワークを介して通信処理を実行する。ドライバ６１０は、必要に応じてＩ／Ｏインターフェース６０５に接続される。リムーバブルメディア６１１は、例えば、マグネチックディスク、光ディスク、光磁気ディスク、半導体メモリなどのようなものであり、必要に応じてドライバ６１０に取り付けられ、したがって、ドライバ６１０から読み出されたコンピュータプログラムが必要に応じて記憶部６０８にインストールされる。
【００９４】
特に、本発明の実施例によれば、上記のフローチャートを参照しながら記載されたプロセスは、コンピュータのソフトウェアプログラムとして実現されてもよい。例えば、本発明の実施例は、コンピュータプログラム製品を含み、当該コンピュータプログラム製品は、機械可読媒体に有形に具現化されるコンピュータプログラムを含み、前記コンピュータプログラムは、フローチャートで示される方法を実行するためのプログラムコードを含む。このような実施例では、当該コンピュータプログラムは、通信部６０９を介してネットワークからダウンロードされてインストールされてもよく、および／またはリムーバブルメディア６１１からインストールされてもよい。
【００９５】
図面におけるフローチャートおよびブロック図は、本発明の各実施例に係るシステム、方法およびコンピュータプログラム製品により実現可能なアーキテクチャ、機能および操作を示す。ここで、フローチャートまたはブロック図における各枠は、１つのモジュール、プログラムセグメント、またはコードの一部を代表してもよく、前記モジュール、プログラムセグメント、またはコードの一部は、規定された論理機能を達成するための１つ以上の実行可能な命令を含む。また、いくつかの代替実施態様として、枠に示された機能は、図面に示された順番と異なる順番で実行されてもよい。例えば、連続して示された２つの枠は、関連する機能に応じて、実際にほぼ並行に実行されてもよく、逆の順番で実行されてもよい。また、ブロック図および／またはフローチャートにおける各枠と、ブロック図および／またはフローチャートにおける枠の組合せは、規定された機能または操作を実行する、ハードウェアに基づく専用システムで実現されてもよく、あるいは、専用ハードウェアとコンピュータの命令との組合せで実行されてもよい。
【００９６】
本発明の実施例に記載されたモジュールは、ソフトウェアで実現されてもよく、ハードウェアで実現されてもよい。記載されたモジュールは、プロセッサに設定されてもよく、例えば、「取得モジュール、タグデータ生成モジュール、訓練モジュール、および検出モジュールを備えるプロセッサ」として記載されてもよい。その中でも、これらのモジュールの名称は、ある場合において当該モジュールその自体を限定するものではなく、例えば、取得モジュールは、「被訓練点群データを取得するモジュール」として記載されてもよい。
【００９７】
一方、本発明は、不揮発性コンピュータ記憶媒体をさらに提供し、当該不揮発性コンピュータ記憶媒体は、上記実施例の前記装置に含まれる不揮発性コンピュータ記憶媒体であってもよく、独立に存在して端末に組み立てられていない不揮発性コンピュータ記憶媒体であってもよい。前記不揮発性コンピュータ記憶媒体は、１つ以上のプログラムが記憶され、前記１つ以上のプログラムが１つの機器により実行された場合、前記機器に、被訓練点群データを取得し、被訓練点群データ中の各点が車両輪郭に属するか否かを指示するための注記に応答し、そのうち、被訓練点群データ中の各点に対応するタグデータを生成し、被訓練点群データ中の各点および被訓練点群データ中の各点に対応するタグデータに基づき全畳み込みニューラルネットワークモデルを訓練し、車両検出モデルを取得し、かつ、被検出点群データを取得し、車両検出モデルに基づき、被検出点群データ中の各被検出点に対応する検出結果を取得するようにさせる。
【００９８】
以上の記載は、本発明の好ましい実施例、および使用された技術的原理の説明に過ぎない。本発明に係る特許請求の範囲が、上記した技術的特徴の特定な組合せからなる技術案に限定されることではなく、本発明の趣旨を逸脱しない範囲で、上記の技術的特徴または同等の特徴の任意の組合せからなる他の技術案も含むべきであることを、当業者は理解すべきである。例えば、上記の特徴と、本発明に開示された類似の機能を持っている技術的特徴（これらに限定されていない）とを互いに置き換えてなる技術案が挙げられる。
【図１】
0006364049.tif 000035
【図２】
0006364049.tif 000036
【図３】
0006364049.tif 000037
【図４】
0006364049.tif 000038
【図５】
0006364049.tif 000039
【図６】
0006364049.tif 000040