(57)【要約】      （修正有）【課題】３次元標記のコストを低減し、３次元標記の效率を向上させることができる３次元データの生成方法、３次元データの生成装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体を提供する。【解決手段】３次元データの生成方法は、目標物体の２次元画像における輪郭情報標記結果を取得するステップＳ１１０と、輪郭情報標記結果と目標物体の標準３次元サイズとに基づいて、目標物体の被写界深度と目標物体の３次元方位とを算出するステップＳ１２０と、目標物体における基準２次元画像点の２次元画像における２次元座標と、被写界深度とに基づいて、基準２次元画像点の３次元座標を決定するステップＳ１３０と、基準２次元画像点の３次元座標と目標物体の３次元方位とに基づいて、目標物体とマッチングする３次元データを生成するステップＳ１４０と、を含む。【選択図】図１Ａ
2020042818.tif 000002
【特許請求の範囲】
【請求項１】
３次元データの生成方法であって、
目標物体の２次元画像における輪郭情報標記結果を取得するステップと、
前記輪郭情報標記結果と前記目標物体の標準３次元サイズとに基づいて、前記目標物体の被写界深度と前記目標物体の３次元方位とを算出するステップと、
前記目標物体における基準２次元画像点の前記２次元画像における２次元座標と、前記被写界深度とに基づいて、前記基準２次元画像点の３次元座標を決定するステップと、
前記基準２次元画像点の前記３次元座標と前記目標物体の前記３次元方位とに基づいて、前記目標物体とマッチングする３次元データを生成するステップとを含む３次元データの生成方法。
【請求項２】
前記目標物体は、車両を備え、
前記輪郭情報標記結果は、前記車両の外枠と、前記車両の車頭と車体との分割線の前記外枠における位置とを含む請求項１に記載の３次元データの生成方法。
【請求項３】
前記輪郭情報標記結果と前記目標物体の前記標準３次元サイズとに基づいて、前記目標物体の前記被写界深度と前記目標物体の前記３次元方位とを算出するステップは、
前記車両の前記外枠の外枠高さと、前記標準３次元サイズにおける前記車両の実際の高さとに基づいて、前記目標物体の前記被写界深度を算出するステップと、
前記車頭と前記車体との分割線の前記外枠における前記位置と、前記標準３次元サイズにおける前記車両の実際の長さと、前記目標物体の前記被写界深度とに基づいて、前記目標物体の前記３次元方位を算出するステップとを含む請求項２に記載の３次元データの生成方法。
【請求項４】
前記車両の前記外枠の前記外枠高さと、前記標準３次元サイズにおける前記車両の前記実際の高さとに基づいて、前記目標物体の前記被写界深度を算出するステップは、
Ｚ＝（Ｈ／ｈ）ｆの式に基づいて、前記目標物体の前記被写界深度Ｚを算出するステップを含み、
ただし、
Ｈは、前記車両の前記実際の高さであり、
ｈは、前記外枠高さであり、
ｆは、前記２次元画像に対応する撮影焦点距離である請求項３に記載の３次元データの生成方法。
【請求項５】
前記車頭と前記車体との分割線の前記外枠における前記位置と、前記標準３次元サイズにおける前記車両の前記実際の長さと、前記目標物体の前記被写界深度とに基づいて、前記目標物体の前記３次元方位を算出するステップは、
前記外枠における最左側点の横座標ｘｌｅｆｔを算出するステップと、
前記横座標ｘｌｅｆｔと、前記車頭と前記車体との分割線の前記外枠における前記位置とに基づいて、前記車頭と前記車体との分割線と、前記最左側点との横方向距離ｗｌｅｆｔを算出するステップと、
下記の式（１）から式（４）に基づいて、前記目標物体の前記３次元方位γを算出するステップとを含み、
【数７】
2020042818.tif 000014
【数８】
2020042818.tif 000015
【数９】
2020042818.tif 000016
【数１０】
2020042818.tif 000017
ただし、
Ｎは、実際のシーンにおける前記車両の車体長辺の前記２次元画像の撮影平面における投影であり、
Ｚは、前記目標物体の前記被写界深度であり、
αは、目標光線と前記撮影平面との間の角度であり、
βは、前記目標光線と前記車両の車体長辺との間の角度であり、
Ｌは、前記標準３次元サイズにおける前記車両の実際の長さであり、
前記目標光線は、実際のシーンにおける前記車両の最左側点と前記２次元画像の交点との間の接続線である請求項４に記載の３次元データの生成方法。
【請求項６】
前記目標物体の前記２次元画像における前記輪郭情報標記結果を取得したステップの後、
前記輪郭情報標記結果に基づいて、前記２次元画像において前記目標物体とマッチングする部分画像をカットするステップと、
前記部分画像を予めトレーニングされた標準３次元認識モデルに入力して、前記目標物体の標準３次元サイズを取得するステップとをさらに含む請求項１から請求項５のいずれかに記載の３次元データの生成方法。
【請求項７】
前記目標物体における前記基準２次元画像点の前記２次元座標と、前記被写界深度とに基づいて、前記基準２次元画像点の前記３次元座標を決定するステップは、
下記式（５）に基づいて、前記基準２次元画像点の前記３次元座標Ｐを算出するステップを含み、
【数１１】
2020042818.tif 000018
ただし、
ｘは、前記基準２次元画像点の横座標であり、
ｙは、前記基準２次元画像点の縦座標であり、
Ｚは、前記被写界深度であり、
ｆは、前記２次元画像に対応する撮影焦点距離である請求項１から請求項６のいずれかに記載の３次元データの生成方法。
【請求項８】
３次元データの生成装置であって、
目標物体の２次元画像における輪郭情報標記結果を取得する結果取得モジュールと、
前記輪郭情報標記結果と前記目標物体の標準３次元サイズとに基づいて、前記目標物体の被写界深度と前記目標物体の３次元方位とを算出する３次元算出モジュールと、
前記目標物体における基準２次元画像点の前記２次元画像における２次元座標と、前記被写界深度とに基づいて、前記基準２次元画像点の３次元座標を決定する座標決定モジュールと、
前記基準２次元画像点の前記３次元座標と前記目標物体の前記３次元方位とに基づいて、前記目標物体とマッチングする３次元データを生成するデータ生成モジュールとを備える３次元データの生成装置。
【請求項９】
コンピュータ機器であって、
メモリと、
プロセッサと、
前記メモリに記憶され、前記プロセッサによって実行可能なコンピュータプログラムとを備え、
該コンピュータプログラムが前記プロセッサによって実行される場合に、請求項１から請求項７のいずれかに記載の３次元データの生成方法を実現するコンピュータ機器。
【請求項１０】
コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行される場合に、請求項１から請求項７のいずれかに記載の３次元データの生成方法を実現するコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理技術に関し、特に３次元データの生成方法、３次元データの生成装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【０００２】
自動運転において、車両の３次元情報検出は走行環境での感知と計画に重要である。
【０００３】
従来技術において、３次元情報検出は、車両の３次元情報を標記することに頼る必要があり、標記の方法は人工による標記に限定されているため、３次元情報の標記は多くの場合に費用が高くて時間がかかり、既存の低コストで高速な２次元標記方法は３次元情報データを取得する要求を満たすことができない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、３次元データの生成方法、３次元データの生成装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体を提供して、３次元標記のコストを低減し、３次元標記の效率を向上させる。
【課題を解決するための手段】
【０００５】
本発明の第１態様として、目標物体の２次元画像における輪郭情報標記結果を取得するステップと、前記輪郭情報標記結果と前記目標物体の標準３次元サイズとに基づいて、前記目標物体の被写界深度と前記目標物体の３次元方位とを算出するステップと、前記目標物体における基準２次元画像点の前記２次元画像における２次元座標と、前記被写界深度とに基づいて、前記基準２次元画像点の３次元座標を決定するステップと、前記基準２次元画像点の前記３次元座標と前記目標物体の前記３次元方位とに基づいて、前記目標物体とマッチングする３次元データを生成するステップとを含む３次元データの生成方法を提供する。
【０００６】
本発明の第２態様として、目標物体の２次元画像における輪郭情報標記結果を取得する結果取得モジュールと、前記輪郭情報標記結果と前記目標物体の標準３次元サイズとに基づいて、前記目標物体の被写界深度と前記目標物体の３次元方位とを算出する３次元算出モジュールと、前記目標物体における基準２次元画像点の前記２次元画像における２次元座標と、前記被写界深度とに基づいて、前記基準２次元画像点の３次元座標を決定する座標決定モジュールと、前記基準２次元画像点の前記３次元座標と前記目標物体の前記３次元方位とに基づいて、前記目標物体とマッチングする３次元データを生成するデータ生成モジュールとを備える３次元データの生成装置を提供する。
【０００７】
本発明の第３態様として、コンピュータ機器であって、メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサによって実行可能なコンピュータプログラムとを備え、前記コンピュータプログラムが前記プロセッサによって実行される場合に、上記の３次元データの生成方法を実現するコンピュータ機器を提供する。
【０００８】
本発明の第４態様として、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合に、上記の３次元データの生成方法を実現するコンピュータ読み取り可能な記憶媒体を提供する。
【発明の効果】
【０００９】
本発明は、３次元データの生成方法、３次元データの生成装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体を提供する。取得された目標物体の２次元画像における輪郭情報標記結果と、目標物体の標準３次元サイズとに基づいて、目標物体の被写界深度と３次元方位を算出し、目標物体における基準２次元画像点の２次元画像における２次元座標と、被写界深度とに基づいて、基準２次元画像点の３次元座標を決定する。さらに３次元座標と目標物体の３次元方位とに基づいて、目標物体とマッチングする３次元データを生成し、２次元標記を利用して３次元情報を予測する。これにより、従来技術における３次元標記が人工的に標記する方法に限定されるため、３次元標記の費用が高くて時間がかかる問題が解決され、３次元標記のコストを低減し、３次元標記の效率を向上させる効果を実現する。
【図面の簡単な説明】
【００１０】
【図１Ａ】本発明の実施例１により提供される３次元データの生成方法の概略フローチャートである。
【図１Ｂ】本発明の実施例１に適用される車両の上面図が撮影された概略図である。
【図２】本発明の実施例２により提供される３次元データの生成方法の概略フローチャートである。
【図３】本発明の実施例３により提供される３次元データの生成装置の概略構成図である。
【図４】本発明の実施例４により提供されるコンピュータ機器の概略構成図である。
【発明を実施するための形態】
【００１１】
以下、図面と実施例とを組み合わせて、本発明についてさらに詳しく説明する。なお、ここで説明される具体的な実施例は、単に本発明を解釈するためのものであり、本発明を限定するものではない。また、説明の便宜上、図面には、すべての構成ではなく、本発明に係る部分だけが示されている。
【００１２】
なお、説明の便宜上、図面には、全内容ではなく、本発明に関する一部だけが示される。例示的な実施例をさらに詳しく検討する前に言及せざるを得ないのは、一部の例示的な実施例は、フローチャートとして描画される処理又は方法として説明される。フローチャートが各操作（又はＳ）を順次処理として説明するが、そのうち、多くの操作は、並行的に、併発的に又は同時に実施することができる。また、各操作の手順は、改めて整えることができる。操作が完成する場合、前記処理は、終了されてもよいが、図面に含まれていない付加Ｓを有してもよい。前記処理は、方法、関数、規程、サブルーチン及びサブプログラムなどに対応することができる。
【００１３】
実施例１
図１Ａは、本発明の実施例１により提供される３次元データの生成方法のフローチャートである。本実施例は、物体に対して３次元情報標記する場合に適用することができ、３次元データの生成方法は、本実施例により提供される３次元データの生成装置によって実行される。３次元データの生成装置は、ソフトウェア及び／又はハードウェアの方式を使用して実現することができ、一般的には、コンピュータ機器に統合することができる。図１Ａに示されるように、本実施例に係る３次元データの生成方法は、具体的には、以下のようなステップを含む。
ステップＳ１１０：目標物体の２次元画像における輪郭情報標記結果を取得する。
【００１４】
本実施例では、予め設定された角度から収集された目標物体の画像を、目標物体の２次元画像とすることができる。また、予め設定された角度は、本機器と目標物体が同一の水平線にあるときの任意の位置を含むが、これらに限定されない。例えば、無人車両上のレーザレーダによって目標車両を撮影して収集した画像を、取得された２次元画像とする。
【００１５】
また、輪郭情報標記結果は、取得された２次元画像における目標物体の輪郭特徴を表現することができる標記結果であってもよい。例えば、目標物体が車両である場合、輪郭情報標記結果は、車両の２次元画像における外接する矩形枠、すなわち車両の外枠であってもよいし、２次元画像における車両の車頭と車体との間の境界線、すなわち分割線、当該外枠における位置であってもよい。
【００１６】
具体的には、画像認識技術によって、２次元画像を認識処理し、目標物体の２次元画像における輪郭情報を認識して標記し、輪郭情報標記結果を取得することができる。
【００１７】
本実施例の変形例として、目標物体の２次元画像における輪郭情報標記結果を取得したステップの後、輪郭情報標記結果に基づいて、２次元画像の目標物体とマッチングする部分画像をカットするステップと、部分画像を予めトレーニングされた標準３次元認識モデルに入力して、目標物体の標準３次元サイズを取得するステップとをさらに含んでいてもよい。
【００１８】
また、目標物体とマッチングするカットされた部分画像は、目標物体在２次元画像における外接する矩形枠に対応する部分画像であってもよい。具体的には、標準３次元認識モデルは、ディープ機械学習アルゴリズムに基づいて構築されたモデルであってもよく、物体に対応する画像を認識して、物体に対応する実際の３次元サイズ、すなわち標準３次元サイズ予測するために用いられる。
また、標準３次元認識モデルによって使用されている機械学習アルゴリズムは、ディープコンボリューションニューラルネットワークを含むが、これらに限定されない。例示的には、まず、大量の異なる物体に対応する画像サンプルを収集することによって、ディープコンボリューションニューラルネットワークモデルをトレーニングして、画像から物体の標準３次元サイズを予測することができるモデルをトレーニングして、標準３次元認識モデルとする。次に、目標物体とマッチングするカットされた部分画像を、標準３次元認識モデルに入力し、それによって、目標物体の画像によって長さ、幅、高さ（Ｌ、Ｗ、Ｈ）などの標準３次元サイズを予測する。また、目標物体サイズテンプレートを設定して、取得された標準３次元サイズと目標物体サイズテンプレートをマッチングして、不合理な値をフィルタリングし、予測精度をさらに向上させることもできる。
【００１９】
ステップＳ１２０：輪郭情報標記結果と目標物体の標準３次元サイズとに基づいて、目標物体の被写界深度と目標物体の３次元方位とを算出する。
【００２０】
輪郭情報標記結果は、２次元画像に基づいて取得された目標物体の輪郭キー情報であり、目標物体の標準３次元サイズは、目標物体の実際のサイズであるため、両者を組み合わせて、２次元画像に基づいて、目標物体の３次元情報を取得することができる。
また、３次元情報は、目標物体の被写界深度と目標物体の３次元方位とを含むが、これらに限定されない。２次元標記によって３次元情報を予測することの利点は、相対的に低コストで高速の２次元標記を使用して、費用が高くて時間がかかる３次元標記と同等の検出効果を取得することができる。
【００２１】
具体的には、目標物体の被写界深度は、目標物体から２次元画像に対応する撮影焦点までの距離であってもよく、目標物体の３次元方位は、目標物体の向かっている方向と撮影平面との間の角度であってもよい。
【００２２】
例えば、図１Ｂに示す車両撮影上面図では、車両１の２次元画像２におけるイメージング範囲は、撮影焦点Ａと車両１の最左端点Ｅと最右端点Ｇとの２次元画像２における投影、すなわち交点Ｂと交点Ｃとなり、車両の被写界深度は、撮影焦点Ａから車両１のうち、２次元画像２に最も近い端点までの間の距離であり、すなわち距離Ｚであり、車両１の３次元方位は、角度γである。
【００２３】
ステップＳ１３０：目標物体における基準２次元画像点の２次元画像における２次元座標と、被写界深度とに基づいて、基準２次元画像点の３次元座標を決定する。
【００２４】
本実施例では、基準２次元画像点は、目標物体の２次元画像における任意の点であってもよく、例えば、目標物体の２次元画像における外接する矩形枠の幾何学的中心点、すなわち図１Ｂに示すＫ点である。
【００２５】
例示的には、２次元画像の一つの端点を原点として２次元座標系を構築して、目標物体の外接矩形枠の幾何学的中心点を認識する。そして、さらに、２次元座標系に基づいて幾何学的中心点の座標を取得して、目標物体における基準２次元画像点の２次元画像における２次元座標とし、算出して取得された目標物体の被写界深度を組み合わせて、予め設定された算出式に基づいて基準２次元画像点の３次元座標を決定する。
【００２６】
本実施例の変形例として、目標物体における基準２次元画像点の２次元座標と、被写界深度とに基づいて、基準２次元画像点の３次元座標を決定するステップは、下記の式（１）に基づいて、基準２次元画像点の３次元座標Pを算出するステップを含んでいてもよい。
【数１】
2020042818.tif 000003
ただし、
ｘは、基準２次元画像点の横座標であり、
ｙは、基準２次元画像点の縦座標であり、
Ｚは、被写界深度であり、
ｆは、２次元画像に対応する撮影焦点距離である。
【００２７】
一例として、図１Ｂに示されるように、車両１の外接矩形枠の幾何学的中心点、すなわち車両１の外枠中心点Ｋの座標は（ｘ、ｙ）であり、上記の式（１）を使用して車両１の外枠中心点に対応する、下記の式（２）に示す３次元座標Ｐを算出することができる。
【数２】
2020042818.tif 000004
ただし、
Ｚは、車両１の被写界深度であり、
ｆは、２次元画像が位置する撮影平面と撮影焦点Ａとの間の距離、すなわち撮影焦点距離である。
【００２８】
ステップＳ１４０：基準２次元画像点の３次元座標と目標物体の３次元方位とに基づいて、目標物体とマッチングする３次元データを生成する。
【００２９】
本実施例では、基準２次元画像点の３次元座標と目標物体の３次元方位とが決定された場合、２次元画像の基準２次元画像点から目標物体の被測定画像点までの距離に基づいて、予め設定された算出式に基づいて、被測定画像点に対応する３次元座標を決定する。さらに各画像点に対応する３次元座標構造に基づいてすべての目標物体とマッチングする３次元データを生成し、目標物体の２次元標記を利用して、目標物体の３次元標記を取得することを実現するため、直接に３次元標記を行うときに必要な人工的な作業時間を節約し、３次元標記の效率を向上させる。また、すべてのプロセスはすべてコンピュータによって自動的に完了されるため、人工による介入が必要なく、３次元標記のコストを低減することもできる。
【００３０】
本実施例により提供される３次元データの生成方法は、取得された目標物体の２次元画像における輪郭情報標記結果と、目標物体の標準３次元サイズとに基づいて、目標物体の被写界深度と３次元方位を算出する。そして、目標物体における基準２次元画像点の２次元画像における２次元座標と、被写界深度とに基づいて、基準２次元画像点の３次元座標を決定し、さらに３次元座標と目標物体の３次元方位とに基づいて、目標物体とマッチングする３次元データを生成し、２次元標記を利用して３次元情報を予測する。これにより、従来技術における３次元標記が人工的に標記する方法に限定されるため、３次元標記の費用が高くて時間がかかる問題が解決され、３次元標記のコストを低減し、３次元標記の效率を向上させる効果を実現する。
【００３１】
実施例２
図２は、本発明の実施例２により提供される３次元データの生成方法のフローチャートである。本実施例は、上記の実施例に基づいて具体化する。本実施例では、目標物体を車両であると具体化し、輪郭情報標記結果は、車両の外枠と、車両の車頭と車体との分割線の外枠における位置とを含むようにさらに最適化する。
【００３２】
それに対応して、本実施例に係る３次元データの生成方法は、下記のようなステップを含む。
ステップＳ２１０：車両の２次元画像における輪郭情報標記結果を取得し、輪郭情報標記結果は、車両の外枠と、車両の車頭と車体との分割線の外枠における位置とを含む。
【００３３】
本実施例では、車両の外枠は、具体的には、車両在２次元画像における外接矩形枠であってもよく、車両の車頭と車体との分割線の外枠における位置は、車両の車頭と車体との間の境界線の外接矩形枠における位置であってもよい。例えば、図１Ｂに示す上面図では、交点Ｂは、車両１の外枠における最左側点であり、交点Ｃは、車両１の外枠の最右側点であり、交点Ｄは、車両１の車頭と車体との分割線の外枠における位置点である。
【００３４】
図１Ｂに示されるように、一例として、車両１の外枠の幾何学的中心点Ｋ（ｘ、ｙ）を基準２次元画像点とし、２次元画像２における車両１の外枠の幅と高さが（ｗ、ｈ）である。また、外枠の幅ｈが交点Ｂと交点Ｃとの間の距離である場合、車両１の外枠における最左側点Ｂの横座標はｘｌｅｆｔ＝ｘｅ（ｗ／２）であり、最右側点Ｃの横座標はｘｒｉｇｈｔ＝ｘ＋（ｗ／２）であり、車頭と車体との分割線位置点Ｄの横座標はｘｓｅｇであることを取得することができる。
【００３５】
ステップＳ２２０：車両の外枠の外枠高さと、標準３次元サイズにおける車両の実際の高さとに基づいて、目標物体の被写界深度を算出する。
【００３６】
また、車両の外枠の外枠高さは、車両の２次元画像における外接矩形枠の高さ、すなわち２次元画像における車両の高さであってもよい。車両の外枠の外枠高さと標準３次元サイズにおける車両の実際の高さとの比は、２次元画像の撮影焦点距離と目標物体の被写界深度との比と等しいため、車両の外枠の外枠高さ、標準３次元サイズにおける車両の実際の高さ及び予め設定された２次元画像の撮影焦点距離に基づいて、車両の被写界深度、すなわち目標物体の被写界深度を算出することができる。
【００３７】
本実施例の変形例として、車両の外枠の外枠高さと、標準３次元サイズにおける車両の実際の高さとに基づいて、目標物体の被写界深度を算出するステップは、式：Ｚ＝（Ｈ／ｈ）ｆに基づいて、目標物体の被写界深度Ｚを算出するステップを含んでいてもよい。
ただし、
Ｈは、車両の実際の高さであり、
ｈは、外枠高さであり、
ｆは、２次元画像に対応する撮影焦点距離である。
【００３８】
図１Ｂに示されるように、車両１の実際高さＨと、車両１の外枠高さｈと、２次元画像２の撮影焦点距離ｆとに基づいて、上記の算出式に基づいて車両１の被写界深度Ｚ、すなわち目標物体の被写界深度Ｚを算出して取得する。
【００３９】
ステップＳ２３０：車頭と車体との分割線の外枠における位置と、標準３次元サイズにおける車両の実際の長さと、目標物体の被写界深度とに基づいて、目標物体の３次元方位を算出する。
【００４０】
本実施例では、目標物体の３次元方位は、具体的には、車両の車体長辺が撮影平面に対する角度であり、例えば、図１Ｂにおいて示す角度γである。具体的には、車頭と車体との分割線の外枠における位置に基づいて、車頭と車体との分割線と車両の外枠における最左側点との横方向距離を算出する。次に、横方向距離及び車両の被写界深度と撮影焦点距離との間の比の値に基づいて、実際のシーンの車両の車体長辺の２次元画像の撮影平面における投影長さを決定する。最後に、投影長さと標準３次元サイズにおける車両の実際の長さとに基づいて、予め設定された幾何式に基づいて、車両の３次元方位、すなわち目標物体の３次元方位を算出する。
【００４１】
本実施例の変形例として、車頭と車体との分割線の外枠における位置と、標準３次元サイズにおける車両の実際の長さと、目標物体の被写界深度とに基づいて、目標物体の３次元方位を算出するステップは、外枠における最左側点の横座標ｘｌｅｆｔを算出するステップと、横座標ｘｌｅｆｔと車頭と車体との分割線の外枠における位置とに基づいて、車頭と車体とのｆ分割線と、最左側点との横方向距離ｗｌｅｆｔを算出するステップと、下記の式（３）〜式（６）に基づいて、目標物体の３次元方位γを算出するステップとを含んでいてもよい。
【数３】
2020042818.tif 000005
【数４】
2020042818.tif 000006
【数５】
2020042818.tif 000007
【数６】
2020042818.tif 000008
ただし、
Ｎは、実際のシーンの車両の車体長辺の２次元画像の撮影平面における投影であり、
Ｚは、目標物体の被写界深度であり、
αは、目標光線と撮影平面との間の角度であり、
βは、目標光線と車両の車体長辺との間の角度であり、
Ｌは、標準３次元サイズにおける車両の実際の長さであり、
目標光線は、実際のシーンにおける車両の最左側点と２次元画像の交点との間の接続線である。
【００４２】
図１Ｂに示されるように、２次元画像２における車両１の外枠の幾何学的中心点Ｋ点の座標を原点（０、０）として構築された２次元座標系では、車両１の外枠最左側点Ｂの横座標がｘｌｅｆｔ＝−（ｗ／２）であることを取得することができる。ただし、ｗは、車両１の２次元画像２における外枠の幅である。また、車頭と車体との分割線位置点Ｄの横座標がｘｓｅｇである場合、交点Ｂと位置点Ｄとの間の距離、すなわち車頭と車体との分割線と最左側点の横方向距離はｗｌｅｆｔ＝ｘｓｅｇ−ｘｌｅｆｔである。利用実際のシーンの車両１の車体長辺の２次元画像の撮影平面における投影長さ、すなわち交点Ｑと点Ｆとの間の距離と、２次元画像２における交点Ｂと位置点Ｄとの間の距離との比は、車両１の被写界深度と２次元画像２の撮影焦点距離の比と等しいため、上記の式（３）に基づいて実際のシーンにおける車両１の車体長辺の２次元画像の撮影平面における投影Ｎの長さを算出することができる。その後、三角関数式（４）に基づいて撮影焦点Ａと交点Ｂと交点Ｋによって構成された三角形における∠ＡＢＫの値を算出し、したがって、平行線定理、すなわち式（５）に基づいて、角度αの値を決定し、次に、車両１の実際の車体長さＬ、及び車両１の車体長辺の２次元画像の撮影平面における投影Ｎの長さを組み合わせて、正弦定理にしたがって、角βの値を取得し、最後に、三角形の内角の和の定理、すなわち式（６）に基づいて、角γ、すなわち目標物体の３次元方位を算出して取得する。
【００４３】
ステップＳ２４０：目標物体における基準２次元画像点の２次元画像における２次元座標と、被写界深度とに基づいて、基準２次元画像点の３次元座標を決定する。
【００４４】
ステップＳ２５０：基準２次元画像点の３次元座標と目標物体の３次元方位とに基づいて、目標物体とマッチングする３次元データを生成する。
【００４５】
本実施例は、車両在２次元画像における外枠及び車両の車頭と車体との分割線の外枠における位置を取得し、車両の外枠の外枠高さと、標準３次元サイズにおける車両の実際の高さとを組み合わせて、車両の被写界深度を算出する。次に、車頭と車体との分割線の外枠における位置と、標準３次元サイズにおける車両の実際の長さと、車両の被写界深度とに基づいて、車両の３次元方位を算出する。最後に、車両中基準２次元画像点の２次元画像における２次元座標及び被写界深度を組み合わせて、基準２次元画像点の３次元座標を決定する。そして、基準２次元画像点の３次元座標及び車両の３次元方位に基づいて、車両とマッチングする３次元データを生成し、車両の２次元を利用して自動的に生成された車両の３次元データを標記するため、人工的に車両に対して３次元標記を行う必要がなく、車両３次元標記のコストを低減し、車両３次元標記の效率を向上させることができる。
【００４６】
実施例３
図３は、本発明の実施例３により提供される３次元データの生成装置の概略構成図である。図３に示されるように、３次元データの生成装置は、結果取得モジュール３１０と、３次元算出モジュール３２０と、座標決定モジュール３３０と、データ生成モジュール３４０とを備えている。
【００４７】
結果取得モジュール３１０は、目標物体の２次元画像における輪郭情報標記結果を取得する。
３次元算出モジュール３２０は、輪郭情報標記結果と目標物体の標準３次元サイズとに基づいて、目標物体の被写界深度と目標物体の３次元方位とを算出する。
座標決定モジュール３３０は、目標物体における基準２次元画像点の２次元画像における２次元座標と、被写界深度とに基づいて、基準２次元画像点の３次元座標を決定する。
データ生成モジュール３４０は、基準２次元画像点の３次元座標と目標物体の３次元方位とに基づいて、目標物体とマッチングする３次元データを生成する。
【００４８】
本実施例により提供される３次元データの生成装置は、取得された目標物体の２次元画像における輪郭情報標記結果と、目標物体の標準３次元サイズとに基づいて、目標物体の被写界深度と３次元方位を算出する。そして、目標物体における基準２次元画像点の２次元画像における２次元座標と、被写界深度とに基づいて、基準２次元画像点の３次元座標を決定する。さらに、３次元座標と目標物体の３次元方位とに基づいて、目標物体とマッチングする３次元データを生成し、２次元標記を利用して３次元情報を予測する。これにより、従来技術における３次元標記が人工的に標記する方法に限定されるため、３次元標記の費用が高くて時間がかかる問題が解決され、３次元標記のコストを低減し、３次元標記の效率を向上させる効果を実現する。
【００４９】
さらに、目標物体は、車両を備えることができ、輪郭情報標記結果は、車両の外枠と、及び車両の車頭と車体との分割線の外枠における位置とを含むことができる。
【００５０】
さらに、３次元算出モジュール３２０は、車両の外枠の外枠高さと、標準３次元サイズにおける車両の実際の高さとに基づいて、目標物体の被写界深度を算出する被写界深度算出サブモジュールと、車頭と車体との分割線の外枠における位置と、標準３次元サイズにおける車両の実際の長さと、目標物体の被写界深度とに基づいて、目標物体の３次元方位を算出するための方位算出サブモジュールとを備えていてもよい。
【００５１】
さらに、被写界深度算出サブモジュールは、具体的には、式：Ｚ＝（Ｈ／ｈ）ｆに基づいて、目標物体の被写界深度Ｚを算出してもよい。
ただし、
Ｈは、車両の実際の高さであり、
ｈは、外枠高さであり、
ｆは、２次元画像に対応する撮影焦点距離である。
【００５２】
さらに、方位算出サブモジュールは、具体的には、外枠における最左側点の横座標ｘｌｅｆｔを算出し、ｘｌｅｆｔと車頭と車体との分割線の外枠における位置とに基づいて、車頭と車体とのｆ分割線と、最左側点との横方向距離ｗｌｅｆｔを算出し、下記の式（３）から式（６）に基づいて、前記目標物体の３次元方位γを算出してもよい。
【数３】
2020042818.tif 000009
【数４】
2020042818.tif 000010
【数５】
2020042818.tif 000011
【数６】
2020042818.tif 000012
ただし、
Ｎは、実際のシーンにおける車両の車体長辺の２次元画像の撮影平面における投影であり、
Ｚは、目標物体の被写界深度であり、
αは、目標光線と撮影平面との間の角度であり、
βは、目標光線と車両の車体長辺との間の角度であり、
Ｌは、標準３次元サイズにおける車両の実際の長さであり、
目標光線は、実際のシーンにおける車両の最左側点と２次元画像の交点との間の接続線である。
【００５３】
さらに、３次元データの生成装置は、目標物体の２次元画像における輪郭情報標記結果を取得した後、輪郭情報標記結果に基づいて、２次元画像において目標物体とマッチングする部分画像をカットする画像カットモジュールと、部分画像を予めトレーニングされた標準３次元認識モデルに入力して、目標物体の標準３次元サイズを取得するサイズ取得モジュールとをさらに備えていてもよい。
【００５４】
さらに、座標決定モジュール３３０は、具体的には、下記の式（１）に基づいて、基準２次元画像点の３次元座標Ｐを算出することができる。
【数１】
2020042818.tif 000013
ただし、
ｘは、基準２次元画像点の横座標であり、
ｙは、基準２次元画像点の縦座標であり、
Ｚは、被写界深度であり、
ｆは、２次元画像に対応する撮影焦点距離である。
【００５５】
上記の３次元データの生成装置は、本発明の任意の実施例により提供される３次元データの生成方法を実行することができ、３次元データの生成方法を実行することに対応する機能モジュールと有益な効果を備える。
【００５６】
実施例４
図４は、本発明の実施例４により提供される機器の構成図である。図４は、本発明の実施形態を実現するのに適する例示的なコンピュータ機器１２のブロック図である。図４に示されるコンピュータ機器１２は、単なる一つの例であり、本発明の実施例の機能及び使用範囲を一切制限しない。
【００５７】
図４に示されるように、コンピュータ機器１２は、汎用コンピューティングデバイスの形態で示される。コンピュータ機器１２のコンポーネントは、少なくとも一つのプロセッサ又は処理ユニット１６と、システムメモリ２８と、異なるシステムコンポーネント（システムメモリ２８と処理ユニット１６とを有する）を接続するバス１８とを備えることができるが、これらに限定されない。
【００５８】
バス１８は、メモリバス又はメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、プロセッサ又は多様なバス構造のうち任意のバス構造を使用するローカルバスを含む、複数種のバス構造のうち少なくとも一つのものを表す。例をあげると、これらのアーキテクチャは、インダストリスタンダードアーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＡＣ）バス、拡張ＩＳＡバス、ビデオエレクトロニクススタンダーズアソシエーション（ＶＥＳＡ）ローカルバス、及びペリフェラルコンポーネントインターコネクト（ＰＣＩ）バスを含むが、これらに限定されない。
【００５９】
コンピュータ機器１２は、典型的には、多種類のコンピュータシステム読み取り可能な媒体を含む。これらの媒体は、コンピュータ機器１２がアクセスすることができる任意の使用可能な媒体であってもよく、揮発性媒体及び不揮発性媒体、リムーバブル媒体及びノンリムーバブル媒体を含む。
【００６０】
システムメモリ２８は、ランダムアクセスメモリ（ＲＡＭ）３０及び／又はキャッシュメモリ３２などの揮発性メモリの形態のコンピュータシステム読み取り可能な媒体を含んでいてもよい。コンピュータ機器１２は、他のリムーバブル／ノンリムーバブル、揮発性／不揮発性コンピュータシステム記憶媒体をさらに含んでいてもよい。単なる一例として、ストレージシステム３４は、ノンリムーバブル、不揮発性磁気媒体（図４に示されていないが、通常「ハードアクチュエー」と呼ぶ）に対して読み出し及び書き込みをするために用いることができる。図４に示されていないが、リムーバブル、不揮発性磁気ディスク（例えば、「フロッピーディスク」）に対して読み出し及び書き込みをするための磁気ディスクアクチュエー、及びリムーバブル、不揮発性光学ディスク（例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ又は他の光学媒体）に対して読み出し及び書き込みをするための光学ディスクアクチュエーを提供することができる。この場合、各アクチュエーは、少なくとも一つのデータメディアインターフェイスを介してバス１８に接続することがきる。メモリ２８は、本発明の各実施例に記載の機能を実行するように構成されるワンセットのプログラムモジュール（例えば、少なくとも一つ）を有する少なくとも一つのプログラム製品を含んでいてもよい。
【００６１】
ワンセットのプログラムモジュール４２（少なくとも一つ）を有するプログラム／ユーティリティ４０は、例えば、メモリ２８に記憶されてもよく、このようなプログラムモジュール４２は、オペレーティングシステム、少なくとも一つのアプリケーションプログラム、他のプログラムモジュール、及びプログラムデータを含むことができるがこれらに限定されない。これらの例のそれぞれ又は何らかの組み合わせには、ネットワーク環境の実装が含まれる可能性がある。プログラムモジュール４２は、通常、本発明に記載の実施例における機能及び／又は方法を実行する。
【００６２】
コンピュータ機器１２は、少なくとも一つの外部デバイス１４（例えば、キーボード、ポインティング機器、ディスプレイ２４など）と通信することができ、ユーザがコンピュータ機器１２とインタラクションすることを可能にする少なくとも一つの機器と通信することもでき、及び／又はコンピュータ機器１２が少なくとも一つの他のコンピューティングデバイスと通信することを可能にする任意の機器（例えば、ネットワークカード、モデムなど）と通信することができる。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェイス２２を介して行うことができる。また、コンピュータ機器１２は、ネットワークアダプタ２０を介して、少なくとも一つのネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及び／又はパブリックネットワーク、例えば、インターネット）と通信することができる。図４に示されるように、ネットワークアダプタ２０は、バス１８を介して、コンピュータ機器１２の他のモジュールと通信する。なお、図示されていないが、マイクロコードやデバイスドライバ、冗長処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライバ、及びデータバックアップトレージシステムなどを含むがこれらに限定されない他のハードウェア及び／又はソフトウェアモジュールを、コンピュータ機器１２と組み合わせて使用することができる。
【００６３】
処理ユニット１６は、システムメモリ２８に記憶されるプログラムを実行することにより、多様な機能アプリケーション及びデータ処理を実行し、例えば、本発明の各実施例により提供される３次元データの生成方法を実現する。すなわち、処理ユニットがプログラムを実行するときに、目標物体の２次元画像における輪郭情報標記結果を取得し、輪郭情報標記結果と目標物体の標準３次元サイズとに基づいて、目標物体の被写界深度と目標物体の３次元方位とを算出する。そして、目標物体における基準２次元画像点の２次元画像における２次元座標と、被写界深度とに基づいて、基準２次元画像点の３次元座標を決定し、基準２次元画像点の３次元座標と目標物体の３次元方位とに基づいて、目標物体とマッチングする３次元データを生成することを実現する。
【００６４】
実施例５
本発明の実施例５は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体を提供する。コンピュータプログラムがプロセッサによって実行される場合に、本発明の各実施例により提供される３次元データの生成方法を実現する。すなわち、コンピュータプログラムがプロセッサによって実行される場合に、目標物体の２次元画像における輪郭情報標記結果を取得し、輪郭情報標記結果と目標物体の標準３次元サイズとに基づいて、目標物体の被写界深度と目標物体の３次元方位とを算出する。そして、目標物体における基準２次元画像点の２次元画像における２次元座標と、被写界深度とに基づいて、基準２次元画像点の３次元座標を決定し、基準２次元画像点の３次元座標と目標物体の３次元方位とに基づいて、目標物体とマッチングする３次元データを生成することを実現する。
【００６５】
少なくとも一つのコンピュータ読み取り可能な媒体の任意の組み合わせを採用することができる。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、或いはコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な媒体は、例えば、電子、磁気、光、電磁気、赤外線、又は半導体のシステム、装置又はデバイス、或いは上記の任意の組み合わせであってもよいがこれらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）は、少なくとも一つの配線を備える電気接続部、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記の任意の適切な組み合わせを含む。この文書において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置又はデバイスにより使用され、或いはそれらと組み合わせて使用されることが可能であるプログラムを含む又は記憶する任意の有形の媒体であってもよい。
【００６６】
コンピュータ読み取り可能な信号媒体は、ベースバンドにおける、又は搬送波の一部として伝播するデータ信号を含むことができ、コンピュータ読み取り可能なプログラムコードが搭載される。この伝播するデータ信号は様々な形式を採用することができ、電磁信号、光信号又は上記の任意の適切な組み合わせを含むがこれらに限定されない。コンピュータ読み取り可能な信号媒体は、さらに、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよく、コンピュータ読み取り可能な媒体は、命令実行システム、装置又はデバイスにより使用され、或いはそれらと組み合わせて使用されるプログラムを送信、伝播又は伝送することができる。
【００６７】
コンピュータ読み取り可能な媒体に含まれるプログラムコードは、無線、有線、光ケーブル、ＲＦなど、又は上記の任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体によって伝送することができる。
【００６８】
少なくとも一つのプログラミング言語又はそれらの組み合わせで本発明の動作を実行するためのコンピュータプログラムコードを作成することができ、プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのプロジェクト指向のプログラミング言語を含み、さらに、「Ｃ」言語又は同様のプログラミング言語といった従来の手続き型プログラミング言語をも含む。プログラムコードは、完全にユーザーコンピュータで実行されてもよく、部分的にユーザーコンピュータに実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザーコンピュータで、部分的にリモートコンピュータで実行されてもよい、又は完全にリモートコンピュータ又はサーバーで実行してもよい。リモートコンピュータに係る場合、リモートコンピュータは、ローカルネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意種類のインターネットを介して、ユーザーコンピュータに接続することができ、或いは、外部コンピュータ（例えば、インターネットサービスプロバイダを利用してインターネットを介して接続する）に接続することもできる。
【００６９】
なお、以上は、本発明の好ましい実施例及び運用される技術的原理に過ぎない。当業者は、本発明がここで記載される特定の実施例に限定されないことを理解することができる。当業者であれば、本発明の保護範囲を逸脱することはなく、種々の明らかな変化、新たな調整及び取り換えを行うことができる。したがって、上記実施例により本発明について比較的詳細に説明したが、本発明は、上記実施例のみに限定されず、本発明の構想を逸脱しない場合、より多くの他の効果同等な実施例をさらに含むことができ、本発明の範囲は、特許請求の範囲によって决定される。
【図１Ａ】
2020042818.tif 000019
【図１Ｂ】
2020042818.tif 000020
【図２】
2020042818.tif 000021
【図３】
2020042818.tif 000022
【図４】
2020042818.tif 000023