(57)【要約】      （修正有）【課題】入力イメージの質が良くない場合でも、正確に距離を予測するための方法を提供する。【解決手段】Ｖ２Ｖ通信を介して取得した追加情報をもピッチキャリブレーションに用いる方法であって、コンピューティング装置は、初期ピッチキャリブレーションモジュールが、参照イメージにピッチ計算演算を適用して、初期予測ピッチを生成させるプロセスと、物体検出ネットワークをもって、参照イメージにニューラルネットワーク演算を適用して、参照物体検出情報を生成させるプロセスを遂行させ、調整ピッチキャリブレーションモジュールが、ターゲット物体を選択し、ターゲット物体の予測ターゲット高さを計算した後、初期予測ピッチに対応する誤差を計算した後、誤差を利用して対象カメラに対する調整予測ピッチを決定させる。【選択図】図２
2020126626.tif 000002
【特許請求の範囲】
【請求項１】
Ｖ２Ｖ（Ｖｅｈｉｃｌｅ  ｔｏ  Ｖｅｈｉｃｌｅ）通信を介して取得した追加情報を使用して少なくとも一つの対象カメラのピッチキャリブレーション（ｐｉｔｃｈ  ｃａｌｉｂｒａｔｉｏｎ）をさらに精巧に遂行することによって、前記対象カメラを基盤とした物体距離予測の正確度を向上させる方法において、
（ａ）コンピューティング装置が、前記対象カメラを介して少なくとも一つの参照イメージを取得すると、（ｉ）初期ピッチキャリブレーションモジュールをもって、前記参照イメージに少なくとも一つのピッチ計算演算を適用して、前記対象カメラの光軸と地面との間の角度を予測して生成された値である初期予測ピッチを生成させるプロセスと、（ｉｉ）物体検出ネットワークをもって、前記参照イメージに少なくとも一つのニューラルネットワーク演算を適用して、前記参照イメージに含まれている一つ以上の参照物体に関する参照物体検出情報を生成させるプロセスとを遂行させる段階；及び
（ｂ）前記コンピューティング装置が、調整ピッチキャリブレーションモジュールをもって、（ｉ）前記参照物体のうち少なくとも一つのターゲット物体を選択し、（ｉｉ）前記対象カメラを搭載した対象自律車両からの前記ターゲット物体の少なくとも一つの相対位置と前記初期予測ピッチとを参照して前記ターゲット物体の少なくとも一つの予測ターゲット高さを計算した後、（ｉｉｉ）前記予測ターゲット高さと予め取得された少なくとも一つの原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）ターゲット高さとを参照して、前記初期予測ピッチに対応する少なくとも一つの誤差を計算した後、（ｉｖ）前記誤差を利用して前記対象カメラに対する少なくとも一つの調整予測ピッチを決定させる段階；
を含むことを特徴とする方法。
【請求項２】
前記コンピューティング装置が、前記調整ピッチキャリブレーションモジュールをもって、それぞれの前記参照物体が通信可能に対応する特定クラスを有するか否かに関する第１条件を満足する一つ以上の特定の参照物体を前記参照物体の中から選択させ、（ｉ）それぞれの前記特定の参照物体を含むそれぞれの特定の参照バウンディングボックスが前記参照イメージの少なくとも一つのイラストレーションウィンドウ（ｉｌｌｕｓｔｒａｔｉｏｎ  ｗｉｎｄｏｗ）領域内に位置するか否かに関する第２条件、及び（ｉｉ）それぞれの前記特定の参照バウンディングボックスの縦横比（ａｓｐｅｃｔ  ｒａｔｉｏ）が予測閾値未満であるか否かに関する第３条件のうち少なくとも一つを満足する前記少なくとも一つのターゲット物体を前記特定の参照物体の中から選択させることを特徴とする請求項１に記載の方法。
【請求項３】
前記（ｂ）段階以前に、
前記コンピューティング装置が、距離計算モジュールをもって、前記初期予測ピッチと、前記参照物体検出情報と、前記参照イメージとを参照して、それぞれの前記参照物体を含むそれぞれの参照バウンディングボックスの各下段部分内の地点である一つ以上の参照位置基準点それぞれを、前記対象自律走行車両を含む仮想空間に対応する空間座標系にマッピング（ｍａｐｐｉｎｇ）して、前記参照物体と前記対象自律走行車両との間の一つ以上の縦方向地面距離と一つ以上の横方向地面距離とを計算させ、前記縦方向地面距離及び前記横方向地面距離それぞれを成分として含むそれぞれの参照相対座標を生成させることを特徴とする請求項１に記載の方法。
【請求項４】
前記（ｂ）段階以前に、
前記コンピューティング装置が、前記距離計算モジュールをもって、下記数式を参照して前記参照位置基準点を前記空間座標系にマッピングし、
【数１】
2020126626.tif 000012
前記数式で、(x1,y1)は前記参照イメージ上における前記参照位置基準点のうち一つの座標を意味し、(X1,Z1)は、前記対象自律走行車両の位置を利用して原本地点が設定された前記空間座標系で(x1,y1)に対応する前記参照相対座標のうち一つを意味し、X1は前記横方向地面距離のうち一つを、Z1は前記縦方向地面距離のうち一つを、θは前記初期予測ピッチを、(cx,cy)は前記対象カメラの主点座標（ｃｏｏｒｄｉｎａｔｅ  ｏｆ  ａ  ｐｒｉｎｃｉｐａｌ  ｐｏｉｎｔ）を、Lは前記地面からの前記対象カメラの高さを意味し、fは前記対象カメラの焦点距離を意味することを特徴とする請求項３に記載の方法。
【請求項５】
前記（ｂ）段階以前に、
前記コンピューティング装置が、Ｖ２Ｖ通信モジュールをもって、前記対象自律走行車両から臨界距離より近いところに位置する一つ以上の通信可能な物体と通信を行って、一つ以上の通信可能な物体クラスと、一つ以上の通信可能な物体の原本正解高さと、一つ以上の通信可能な物体座標とに関する情報を取得させ、前記調整ピッチキャリブレーションモジュールをもって、通信可能に対応する特定クラスを有する特定の参照物体を前記参照物体の中から選択させた後、（ｉ）前記通信可能な物体座標を利用して計算された、前記対象自律走行車両に対する通信可能な物体相対座標及び（ｉｉ）前記特定の参照物体の特定の参照相対座標を参照して、前記通信可能な物体の原本正解高さのうち少なくとも一部を前記特定の参照物体のうち少なくとも一部とペアリング（ｐａｉｒｉｎｇ）することによって、前記特定の参照物体に対する特定の参照原本正解高さを取得させることを特徴とする請求項３に記載の方法。
【請求項６】
前記（ｂ）段階で、
前記コンピューティング装置が、前記ターゲット物体が選択されると、前記調整ピッチキャリブレーションモジュールをもって、前記参照相対座標のうち、前記ターゲット物体に対応するターゲット相対座標を選択させ、前記初期予測ピッチを参照して高さ予測演算を遂行して前記予測ターゲット高さを計算させ、前記高さ予測演算は下記数式を参照して遂行され、
【数２】
2020126626.tif 000013
前記数式で、Z1は前記ターゲット相対座標(X1,Z1)の縦方向地面距離を、θは前記予測ピッチを、Lは前記地面からの前記対象カメラの高さを意味し、Z2は、前記ターゲット物体を含むターゲットバウンディングボックスの上段部分内の地点であるターゲット高さ予測基準点(x2,y2)を、前記対象自律走行車両を含む仮想空間に対応する空間座標系にマッピングして生成されたターゲット高さ予測地点の成分である縦方向投影距離を意味し、fは前記対象カメラの焦点距離を意味することを特徴とする請求項１に記載の方法。
【請求項７】
前記（ｂ）段階で、
前記コンピューティング装置が、前記ターゲット物体の個数が１つである場合、前記調整ピッチキャリブレーションモジュールをもって、（ｉ）前記原本正解ターゲット高さを参照して過大予測範囲及び過小予測範囲を設定させ、（ｉｉ−１）前記予測ターゲット高さが前記過大予測範囲に含まれる場合、前記初期予測ピッチを予め設定された調整割合だけ減少させる調整を遂行させるか、（ｉｉ−２）前記予測ターゲット高さが前記過小予測範囲に含まれる場合、前記初期予測ピッチを前記予め設定された調整割合だけ増加させる調整を遂行させることを特徴とする請求項１に記載の方法。
【請求項８】
前記（ｂ）段階で、
前記コンピューティング装置が、前記ターゲット物体の個数が２個以上である場合、前記調整ピッチキャリブレーションモジュールをもって、（ｉ）前記原本正解ターゲット高さを参照して過大予測範囲及び過小予測範囲を設定させ、（ｉｉ）前記過大予測範囲に対応する過大予測誤差の割合及び前記過小予測範囲に対応する過小予測誤差の割合のうち少なくとも一つに関する情報を取得させ、（ｉｉｉ）前記取得された情報を参照して前記初期予測ピッチを調整させることを特徴とする請求項１に記載の方法。
【請求項９】
前記（ａ）段階で、
前記コンピューティング装置が、前記初期ピッチキャリブレーションモジュールをもって、前記参照イメージに前記ピッチ計算演算を適用して前記初期予測ピッチを生成させ、前記ピッチ計算演算は下記数式を参照して遂行され、
【数３】
2020126626.tif 000014
前記数式で、vyは前記参照イメージの消失点（前記消失点に関する情報は、前記参照イメージの一つ以上の線が消失する地点を見出すことによって取得される）のｙ方向座標を、cyは前記参照イメージの主点のｙ方向座標を、そしてfyは前記参照イメージの焦点のｙ方向座標を意味することを特徴とする請求項１に記載の方法。
【請求項１０】
前記（ａ）段階で、
前記コンピューティング装置が、（ｉ）前記物体検出ネットワークに含まれているコンボリューションレイヤをもって、前記ニューラルネットワーク演算の一部である少なくとも一つのコンボリューション演算を前記参照イメージに適用して少なくとも一つの参照コンボリューション特徴マップを生成させ、（ｉｉ）前記物体検出ネットワークに含まれているＲＯＩプーリングレイヤをもって、前記参照コンボリューション特徴マップにおいて前記参照イメージのＲＯＩに対応する値をプーリングする、前記ニューラルネットワーク演算の一部である少なくとも一つのプーリング演算を適用することによって、少なくとも一つの参照ＲＯＩプーリング済み特徴マップを生成させた後、（ｉｉｉ）前記物体検出ネットワークに含まれているＦＣレイヤをもって、前記ニューラルネットワーク演算の一部である少なくとも一つのＦＣ演算を前記参照ＲＯＩプーリング済み特徴マップに適用することによって、前記参照物体の参照クラスに関する情報と前記参照物体の参照バウンディングボックスに関する情報とを含む前記参照物体検出情報を生成させることを特徴とする請求項１に記載の方法。
【請求項１１】
（ｃ）前記コンピューティング装置が、前記物体検出ネットワーク及び前記距離計算モジュールをもって、前記調整予測ピッチを参照して計算された、自律走行イメージに含まれている周辺物体と前記対象自律走行車両との間の距離に関する情報を含む自律走行情報を生成させる段階；
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項１２】
Ｖ２Ｖ（Ｖｅｈｉｃｌｅ  ｔｏ  Ｖｅｈｉｃｌｅ）通信を介して取得した追加情報を使用して少なくとも一つの対象カメラのピッチキャリブレーション（ｐｉｔｃｈ  ｃａｌｉｂｒａｔｉｏｎ）をさらに精巧に遂行することによって、前記対象カメラを基盤とした物体距離予測の正確度を向上させるコンピューティング装置において、
各インストラクションを格納する一つ以上のメモリと、
（Ｉ）前記対象カメラを介して少なくとも一つの参照イメージを取得すると、（ｉ）初期ピッチキャリブレーションモジュールをもって、前記参照イメージに少なくとも一つのピッチ計算演算を適用して、前記対象カメラの光軸と地面との間の角度を予測して生成された値である初期予測ピッチを生成させるプロセス、（ｉｉ）物体検出ネットワークをもって、前記参照イメージに少なくとも一つのニューラルネットワーク演算を適用して、前記参照イメージに含まれている一つ以上の参照物体に関する参照物体検出情報を生成させるプロセスを遂行させるプロセス、及び（ＩＩ）調整ピッチキャリブレーションモジュールをもって、（ｉ）前記参照物体のうち少なくとも一つのターゲット物体を選択し、（ｉｉ）前記対象カメラを搭載した対象自律車両からの前記ターゲット物体の少なくとも一つの相対位置と前記初期予測ピッチとを参照して前記ターゲット物体の少なくとも一つの予測ターゲット高さを計算した後、（ｉｉｉ）前記予測ターゲット高さと予め取得された少なくとも一つの原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）ターゲット高さとを参照して、前記初期予測ピッチに対応する少なくとも一つの誤差を計算した後、（ｉｖ）前記誤差を利用して前記対象カメラに対する少なくとも一つの調整予測ピッチを決定させるプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とするコンピューティング装置。
【請求項１３】
前記プロセッサが、前記調整ピッチキャリブレーションモジュールをもって、それぞれの前記参照物体が通信可能に対応する特定クラスを有するか否かに関する第１条件を満足する一つ以上の特定の参照物体を前記参照物体の中から選択させ、（ｉ）それぞれの前記特定の参照物体を含むそれぞれの特定の参照バウンディングボックスが前記参照イメージの少なくとも一つのイラストレーションウィンドウ（ｉｌｌｕｓｔｒａｔｉｏｎ  ｗｉｎｄｏｗ）領域内に位置するか否かに関する第２条件、及び（ｉｉ）それぞれの前記特定の参照バウンディングボックスの縦横比（ａｓｐｅｃｔ  ｒａｔｉｏ）が予測閾値未満であるか否かに関する第３条件のうち少なくとも一つを満足する前記少なくとも一つのターゲット物体を前記特定の参照物体の中から選択させることを特徴とする請求項１２に記載のコンピューティング装置。
【請求項１４】
前記（ＩＩ）プロセス以前に、
前記プロセッサが、距離計算モジュールをもって、前記初期予測ピッチと、前記参照物体検出情報と、前記参照イメージとを参照して、それぞれの前記参照物体を含むそれぞれの参照バウンディングボックスの各下段部分内の地点である一つ以上の参照位置基準点それぞれを、前記対象自律走行車両を含む仮想空間に対応する空間座標系にマッピング（ｍａｐｐｉｎｇ）して、前記参照物体と前記対象自律走行車両との間における一つ以上の縦方向地面距離と一つ以上の横方向地面距離とを計算させ、前記縦方向地面距離及び前記横方向地面距離それぞれを成分として含むそれぞれの参照相対座標を生成させることを特徴とする請求項１２に記載のコンピューティング装置。
【請求項１５】
前記（ＩＩ）プロセス以前に、
前記プロセッサが、前記距離計算モジュールをもって、下記数式を参照して前記参照位置基準点を前記空間座標系にマッピングし、
【数４】
2020126626.tif 000015
前記数式で、(x1,y1)は前記参照イメージ上における前記参照位置基準点のうち一つの座標を意味し、(X1,Z1)は、前記対象自律走行車両の位置を利用して原本地点が設定された前記空間座標系で(x1,y1)に対応する前記参照相対座標のうち一つを意味し、X1は前記横方向地面距離のうち一つを、Z1は前記縦方向地面距離のうち一つを、θは前記初期予測ピッチを、(cx,cy)は前記対象カメラの主点座標を、Lは前記地面からの前記対象カメラの高さを意味し、fは前記対象カメラの焦点距離を意味することを特徴とする請求項１４に記載のコンピューティング装置。
【請求項１６】
前記（ＩＩ）プロセス以前に、
前記プロセッサが、Ｖ２Ｖ通信モジュールをもって、前記対象自律走行車両から臨界距離より近いところに位置する一つ以上の通信可能な物体と通信を行って、一つ以上の通信可能な物体クラスと、一つ以上の通信可能な物体の原本正解高さと、一つ以上の通信可能な物体座標とに関する情報を取得させ、前記調整ピッチキャリブレーションモジュールをもって、通信可能に対応する特定クラスを有する特定の参照物体を前記参照物体の中から選択させた後、（ｉ）前記通信可能な物体座標を利用して計算された、前記対象自律走行車両に対する通信可能な物体相対座標、及び（ｉｉ）前記特定の参照物体の特定の参照相対座標を参照して、前記通信可能な物体の原本正解高さのうち少なくとも一部を前記特定の参照物体のうち少なくとも一部とペアリング（ｐａｉｒｉｎｇ）することによって、前記特定の参照物体に対する特定の参照原本正解高さを取得させることを特徴とする請求項１４に記載のコンピューティング装置。
【請求項１７】
前記（ＩＩ）プロセスで、
前記プロセッサが、前記ターゲット物体が選択されると、前記調整ピッチキャリブレーションモジュールをもって、前記参照相対座標のうち前記ターゲット物体に対応するターゲット相対座標を選択させ、前記初期予測ピッチを参照して高さ予測演算を遂行して前記予測ターゲット高さを計算させ、前記高さ予測演算は下記数式を参照して遂行され、
【数５】
2020126626.tif 000016
前記数式で、Z1は前記ターゲット相対座標(X1,Z1)の縦方向地面距離を、θは前記予測ピッチを、Lは前記地面からの前記対象カメラの高さを意味し、Z2は、前記ターゲット物体を含むターゲットバウンディングボックスの上段部分内の地点であるターゲット高さ予測基準点(x2,y2)を、前記対象自律走行車両を含む仮想空間に対応する空間座標系にマッピングして生成されたターゲット高さ予測地点の成分である縦方向投影距離を意味し、fは前記対象カメラの焦点距離を意味することを特徴とする請求項１２に記載のコンピューティング装置。
【請求項１８】
前記（ＩＩ）プロセスで、
前記プロセッサが、前記ターゲット物体の個数が１つである場合、前記調整ピッチキャリブレーションモジュールをもって、（ｉ）前記原本正解ターゲット高さを参照して過大予測範囲及び過小予測範囲を設定させ、（ｉｉ−１）前記予測ターゲット高さが前記過大予測範囲に含まれる場合、前記初期予測ピッチを予め設定された調整割合だけ減少させる調整を遂行させるか、（ｉｉ−２）前記予測ターゲット高さが前記過小予測範囲に含まれる場合、前記初期予測ピッチを前記予め設定された調整割合だけ増加させる調整を遂行させることを特徴とする請求項１２に記載のコンピューティング装置。
【請求項１９】
前記（ＩＩ）プロセスで、
前記プロセッサが、前記ターゲット物体の個数が２個以上である場合、前記調整ピッチキャリブレーションモジュールをもって、（ｉ）前記原本正解ターゲット高さを参照して過大予測範囲及び過小予測範囲を設定させ、（ｉｉ）前記過大予測範囲に対応する過大予測誤差の割合及び前記過小予測範囲に対応する過小予測誤差の割合のうち少なくとも一つに関する情報を取得させ、（ｉｉｉ）前記取得された情報を参照して前記初期予測ピッチを調整させることを特徴とする請求項１２に記載のコンピューティング装置。
【請求項２０】
前記（Ｉ）プロセスで、
前記プロセッサが、前記初期ピッチキャリブレーションモジュールをもって、前記参照イメージに前記ピッチ計算演算を適用して前記初期予測ピッチを生成させ、前記ピッチ計算演算は下記数式を参照して遂行され、
【数６】
2020126626.tif 000017
前記数式で、vyは前記参照イメージの消失点（前記消失点に関する情報は、前記参照イメージの一つ以上の線が消失する地点を見出すことによって取得される）のｙ方向座標を、cyは前記参照イメージの主点のｙ方向座標を、そしてfyは前記参照イメージの焦点のｙ方向座標を意味することを特徴とする請求項１２に記載のコンピューティング装置。
【請求項２１】
前記（Ｉ）プロセスで、
前記プロセッサが、（ｉ）前記物体検出ネットワークに含まれているコンボリューションレイヤをもって、前記ニューラルネットワーク演算の一部である少なくとも一つのコンボリューション演算を前記参照イメージに適用して少なくとも一つの参照コンボリューション特徴マップを生成させ、（ｉｉ）前記物体検出ネットワークに含まれているＲＯＩプーリングレイヤをもって、前記参照コンボリューション特徴マップにおいて前記参照イメージのＲＯＩに対応する値をプーリングする、前記ニューラルネットワーク演算の一部である少なくとも一つのプーリング演算を適用することによって、少なくとも一つの参照ＲＯＩプーリング済み特徴マップを生成させた後、（ｉｉｉ）前記物体検出ネットワークに含まれているＦＣレイヤをもって、前記ニューラルネットワーク演算の一部である少なくとも一つのＦＣ演算を前記参照ＲＯＩプーリング済み特徴マップに適用することによって、前記参照物体の参照クラスに関する情報と前記参照物体の参照バウンディングボックスに関する情報とを含む前記参照物体検出情報を生成させることを特徴とする請求項１２に記載のコンピューティング装置。
【請求項２２】
前記プロセッサが、（ＩＩＩ）前記物体検出ネットワーク及び前記距離計算モジュールをもって、前記調整予測ピッチを参照して計算された、自律走行イメージに含まれている周辺物体と前記対象自律走行車両との間の距離に関する情報を含む自律走行情報を生成させるプロセスをさらに遂行することを特徴とする請求項１２に記載のコンピューティング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律走行車両に利用するための方法及び装置に関し、より詳細には、カメラ基盤のロバスト物体距離の予測を提供する方法及び装置に関する。
【背景技術】
【０００２】
近年、自律走行技術は、将来的な技術として脚光を浴びている。何よりも、自律走行技術には周辺物体を認識し、自律走行車両と前記周辺物体との間の距離を予測することが含まれる。前記プロセスを通じて、前記自律走行技術は、前記自律走行車両が安全に走行して前記周辺物体と衝突しないようにする技術である。
【０００３】
従来の自律走行技術は、カメラを介して取得された入力イメージにおいて消失点（ｖａｎｉｓｈｉｎｇ  ｐｏｉｎｔ）を見出すプロセスを含む。この際、ピッチキャリブレーションは、前記入力イメージ上の前記消失点及び主点（ｐｒｉｎｃｉｐａｌ  ｐｏｉｎｔ）との間の関係を利用して、前記カメラのレンズ表面に対応する一般ベクトルと地面との間の角度を計算して遂行され得る。以後、前記計算された角度を利用して、前記入力イメージに含まれている少なくとも一つの物体と前記自律走行車両との間の少なくとも一つの距離を計算することができる。
【０００４】
一方、前記従来の自律走行技術は、前記カメラを介して取得された前記入力イメージの質が落ちると前記距離計算の正確度が急減するという問題点を有している。前記入力イメージを基盤として前記距離が予測されるので、前記距離の予測の際に欠陥が生じるのは当然である。しかし、多くの場合、本当の問題は人が前記イメージに欠陥が生じるのを防止できないことにある。具体的に、トンネルで光が弱くなったとか、雨によって視界がぼやけるというような問題は、性能の優れたカメラを使用したり自律走行システムをうまく設計したからといって解決され得ない。
【０００５】
したがって、前記カメラを介して取得された前記入力イメージの質が良くない場合でも、正確に距離の計算をすることができる方法が必要となる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上述した問題点を解決することを目的とする。
【０００７】
本発明は、Ｖ２Ｖ通信を介して取得した情報を追加として使用してカメラのピッチキャリブレーションをより精巧に遂行する方法を提供することによって、少なくとも一つのカメラを介して取得された入力映像の質が良くない場合にも自律走行車両と周辺物体との間の距離を予測し得ることを他の目的とする。
【課題を解決するための手段】
【０００８】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。
【０００９】
本発明の一態様によると、Ｖ２Ｖ（Ｖｅｈｉｃｌｅ  ｔｏ  Ｖｅｈｉｃｌｅ）通信を介して取得した追加情報を使用して少なくとも一つの対象カメラのピッチキャリブレーション（ｐｉｔｃｈ  ｃａｌｉｂｒａｔｉｏｎ）をさらに精巧に遂行することによって、前記対象カメラを基盤とした物体距離予測の正確度を向上させる方法において、（ａ）コンピューティング装置が、前記対象カメラを介して少なくとも一つの参照イメージを取得すると、（ｉ）初期ピッチキャリブレーションモジュールをもって、前記参照イメージに少なくとも一つのピッチ計算演算を適用して、前記対象カメラの光軸と地面との間の角度を予測して生成された値である初期予測ピッチを生成させるプロセスと、（ｉｉ）物体検出ネットワークをもって、前記参照イメージに少なくとも一つのニューラルネットワーク演算を適用して、前記参照イメージに含まれている一つ以上の参照物体に関する参照物体検出情報を生成させるプロセスとを遂行させる段階；及び（ｂ）前記コンピューティング装置が、調整ピッチキャリブレーションモジュールをもって、（ｉ）前記参照物体のうち少なくとも一つのターゲット物体を選択し、（ｉｉ）前記対象カメラを搭載した対象自律車両からの前記ターゲット物体の少なくとも一つの相対位置と前記初期予測ピッチとを参照して前記ターゲット物体の少なくとも一つの予測ターゲット高さを計算した後、（ｉｉｉ）前記予測ターゲット高さと予め取得された少なくとも一つの原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）ターゲット高さとを参照して、前記初期予測ピッチに対応する少なくとも一つの誤差を計算した後、（ｉｖ）前記誤差を利用して前記対象カメラに対する少なくとも一つの調整予測ピッチを決定させる段階；を含むことを特徴とする方法が開示される。
【００１０】
一実施例において、前記コンピューティング装置が、前記調整ピッチキャリブレーションモジュールをもって、それぞれの前記参照物体が通信可能に対応する特定クラスを有するか否かに関する第１条件を満足する一つ以上の特定の参照物体を前記参照物体の中から選択させ、（ｉ）それぞれの前記特定の参照物体を含むそれぞれの特定の参照バウンディングボックスが前記参照イメージの少なくとも一つのイラストレーションウィンドウ（ｉｌｌｕｓｔｒａｔｉｏｎ  ｗｉｎｄｏｗ）領域内に位置するか否かに関する第２条件、及び（ｉｉ）それぞれの前記特定の参照バウンディングボックスの縦横比（ａｓｐｅｃｔ  ｒａｔｉｏ）が予測閾値未満であるか否かに関する第３条件のうち少なくとも一つを満足する前記少なくとも一つのターゲット物体を前記特定の参照物体の中から選択させることを特徴とする。
【００１１】
一実施例において、前記（ｂ）段階以前に、前記コンピューティング装置が、距離計算モジュールをもって、前記初期予測ピッチと、前記参照物体検出情報と、前記参照イメージとを参照して、それぞれの前記参照物体を含むそれぞれの参照バウンディングボックスの各下段部分内の地点である一つ以上の参照位置基準点それぞれを、前記対象自律走行車両を含む仮想空間に対応する空間座標系にマッピング（ｍａｐｐｉｎｇ）して、前記参照物体と前記対象自律走行車両との間の一つ以上の縦方向地面距離と一つ以上の横方向地面距離とを計算させ、前記縦方向地面距離及び前記横方向地面距離それぞれを成分として含むそれぞれの参照相対座標を生成させることを特徴とする。
【００１２】
一実施例において、前記（ｂ）段階以前に、前記コンピューティング装置が、前記距離計算モジュールをもって、下記数式を参照して前記参照位置基準点を前記空間座標系にマッピングし、
【数１】
2020126626.tif 000003
前記数式で、(x1,y1)は前記参照イメージ上における前記参照位置基準点のうち一つの座標を意味し、(X1,Z1)は、前記対象自律走行車両の位置を利用して原本地点が設定された前記空間座標系で(x1,y1)に対応する前記参照相対座標のうち一つを意味し、X1は前記横方向地面距離のうち一つを、Z1は前記縦方向地面距離のうち一つを、θは前記初期予測ピッチを、(cx,cy)は前記対象カメラの主点座標（ｃｏｏｒｄｉｎａｔｅ  ｏｆ  ａ  ｐｒｉｎｃｉｐａｌ  ｐｏｉｎｔ）を、Lは前記地面からの前記対象カメラの高さを意味し、fは前記対象カメラの焦点距離を意味することを特徴とする。
【００１３】
一実施例において、前記（ｂ）段階以前に、前記コンピューティング装置が、Ｖ２Ｖ通信モジュールをもって、前記対象自律走行車両から臨界距離より近いところに位置する一つ以上の通信可能な物体と通信を行って、一つ以上の通信可能な物体クラスと、一つ以上の通信可能な物体の原本正解高さと、一つ以上の通信可能な物体座標とに関する情報を取得させ、前記調整ピッチキャリブレーションモジュールをもって、通信可能に対応する特定クラスを有する特定の参照物体を前記参照物体の中から選択させた後、（ｉ）前記通信可能な物体座標を利用して計算された、前記対象自律走行車両に対する通信可能な物体相対座標及び（ｉｉ）前記特定の参照物体の特定の参照相対座標を参照して、前記通信可能な物体の原本正解高さのうち少なくとも一部を前記特定の参照物体のうち少なくとも一部とペアリング（ｐａｉｒｉｎｇ）することによって、前記特定の参照物体に対する特定の参照原本正解高さを取得させることを特徴とする。
【００１４】
一実施例において、前記（ｂ）段階で、前記コンピューティング装置が、前記ターゲット物体が選択されると、前記調整ピッチキャリブレーションモジュールをもって、前記参照相対座標のうち、前記ターゲット物体に対応するターゲット相対座標を選択させ、前記初期予測ピッチを参照して高さ予測演算を遂行して前記予測ターゲット高さを計算させ、前記高さ予測演算は下記数式を参照して遂行され、
【数２】
2020126626.tif 000004
前記数式で、Z1は前記ターゲット相対座標(X1,Z1)の縦方向地面距離を、θは前記予測ピッチを、Lは前記地面からの前記対象カメラの高さを意味し、Z2は、前記ターゲット物体を含むターゲットバウンディングボックスの上段部分内の地点であるターゲット高さ予測基準点(x2,y2)を、前記対象自律走行車両を含む仮想空間に対応する空間座標系にマッピングして生成されたターゲット高さ予測地点の成分である縦方向投影距離を意味し、fは前記対象カメラの焦点距離を意味することを特徴とする。
【００１５】
一実施例において、前記（ｂ）段階で、前記コンピューティング装置が、前記ターゲット物体の個数が１つである場合、前記調整ピッチキャリブレーションモジュールをもって、（ｉ）前記原本正解ターゲット高さを参照して過大予測範囲及び過小予測範囲を設定させ、（ｉｉ−１）前記予測ターゲット高さが前記過大予測範囲に含まれる場合、前記初期予測ピッチを予め設定された調整割合だけ減少させる調整を遂行させるか、（ｉｉ−２）前記予測ターゲット高さが前記過小予測範囲に含まれる場合、前記初期予測ピッチを前記予め設定された調整割合だけ増加させる調整を遂行させることを特徴とする。
【００１６】
一実施例において、前記（ｂ）段階で、前記コンピューティング装置が、前記ターゲット物体の個数が２個以上である場合、前記調整ピッチキャリブレーションモジュールをもって、（ｉ）前記原本正解ターゲット高さを参照して過大予測範囲及び過小予測範囲を設定させ、（ｉｉ）前記過大予測範囲に対応する過大予測誤差の割合及び前記過小予測範囲に対応する過小予測誤差の割合のうち少なくとも一つに関する情報を取得させ、（ｉｉｉ）前記取得された情報を参照して前記初期予測ピッチを調整させることを特徴とする。
【００１７】
一実施例において、前記（ａ）段階で、前記コンピューティング装置が、前記初期ピッチキャリブレーションモジュールをもって、前記参照イメージに前記ピッチ計算演算を適用して前記初期予測ピッチを生成させ、前記ピッチ計算演算は下記数式を参照して遂行され、
【数３】
2020126626.tif 000005
前記数式で、vyは前記参照イメージの消失点（前記消失点に関する情報は、前記参照イメージの一つ以上の線が消失する地点を見出すことによって取得される）のｙ方向座標を、cyは前記参照イメージの主点のｙ方向座標を、そしてfyは前記参照イメージの焦点のｙ方向座標を意味することを特徴とする。
【００１８】
一実施例において、前記（ａ）段階で、前記コンピューティング装置が、（ｉ）前記物体検出ネットワークに含まれているコンボリューションレイヤをもって、前記ニューラルネットワーク演算の一部である少なくとも一つのコンボリューション演算を前記参照イメージに適用して少なくとも一つの参照コンボリューション特徴マップを生成させ、（ｉｉ）前記物体検出ネットワークに含まれているＲＯＩプーリングレイヤをもって、前記参照コンボリューション特徴マップにおいて前記参照イメージのＲＯＩに対応する値をプーリングする、前記ニューラルネットワーク演算の一部である少なくとも一つのプーリング演算を適用することによって、少なくとも一つの参照ＲＯＩプーリング済み特徴マップを生成させた後、（ｉｉｉ）前記物体検出ネットワークに含まれているＦＣレイヤをもって、前記ニューラルネットワーク演算の一部である少なくとも一つのＦＣ演算を前記参照ＲＯＩプーリング済み特徴マップに適用することによって、前記参照物体の参照クラスに関する情報と前記参照物体の参照バウンディングボックスに関する情報とを含む前記参照物体検出情報を生成させることを特徴とする。
【００１９】
一実施例において、（ｃ）前記コンピューティング装置が、前記物体検出ネットワーク及び前記距離計算モジュールをもって、前記調整予測ピッチを参照して計算された、自律走行イメージに含まれている周辺物体と前記対象自律走行車両との間の距離に関する情報を含む自律走行情報を生成させる段階；をさらに含むことを特徴とする。
【００２０】
本発明の他の態様によると、Ｖ２Ｖ（Ｖｅｈｉｃｌｅ  ｔｏ  Ｖｅｈｉｃｌｅ）通信を介して取得した追加情報を使用して少なくとも一つの対象カメラのピッチキャリブレーション（ｐｉｔｃｈ  ｃａｌｉｂｒａｔｉｏｎ）をさらに精巧に遂行することによって、前記対象カメラを基盤とした物体距離予測の正確度を向上させるコンピューティング装置において、各インストラクションを格納する一つ以上のメモリと、（Ｉ）前記対象カメラを介して少なくとも一つの参照イメージを取得すると、（ｉ）初期ピッチキャリブレーションモジュールをもって、前記参照イメージに少なくとも一つのピッチ計算演算を適用して、前記対象カメラの光軸と地面との間の角度を予測して生成された値である初期予測ピッチを生成させるプロセス、（ｉｉ）物体検出ネットワークをもって、前記参照イメージに少なくとも一つのニューラルネットワーク演算を適用して、前記参照イメージに含まれている一つ以上の参照物体に関する参照物体検出情報を生成させるプロセスを遂行させるプロセス、及び（ＩＩ）調整ピッチキャリブレーションモジュールをもって、（ｉ）前記参照物体のうち少なくとも一つのターゲット物体を選択し、（ｉｉ）前記対象カメラを搭載した対象自律車両からの前記ターゲット物体の少なくとも一つの相対位置と前記初期予測ピッチとを参照して前記ターゲット物体の少なくとも一つの予測ターゲット高さを計算した後、（ｉｉｉ）前記予測ターゲット高さと予め取得された少なくとも一つの原本正解（Ｇｒｏｕｎｄ−Ｔｒｕｔｈ）ターゲット高さとを参照して、前記初期予測ピッチに対応する少なくとも一つの誤差を計算した後、（ｉｖ）前記誤差を利用して前記対象カメラに対する少なくとも一つの調整予測ピッチを決定させるプロセスを遂行するための前記各インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とするコンピューティング装置が開示される。
【００２１】
一実施例において、前記プロセッサが、前記調整ピッチキャリブレーションモジュールをもって、それぞれの前記参照物体が通信可能に対応する特定クラスを有するか否かに関する第１条件を満足する一つ以上の特定の参照物体を前記参照物体の中から選択させ、（ｉ）それぞれの前記特定の参照物体を含むそれぞれの特定の参照バウンディングボックスが前記参照イメージの少なくとも一つのイラストレーションウィンドウ（ｉｌｌｕｓｔｒａｔｉｏｎ  ｗｉｎｄｏｗ）領域内に位置するか否かに関する第２条件、及び（ｉｉ）それぞれの前記特定の参照バウンディングボックスの縦横比（ａｓｐｅｃｔ  ｒａｔｉｏ）が予測閾値未満であるか否かに関する第３条件のうち少なくとも一つを満足する前記少なくとも一つのターゲット物体を前記特定の参照物体の中から選択させることを特徴とする。
【００２２】
一実施例において、前記（ＩＩ）プロセス以前に、前記プロセッサが、距離計算モジュールをもって、前記初期予測ピッチと、前記参照物体検出情報と、前記参照イメージとを参照して、それぞれの前記参照物体を含むそれぞれの参照バウンディングボックスの各下段部分内の地点である一つ以上の参照位置基準点それぞれを、前記対象自律走行車両を含む仮想空間に対応する空間座標系にマッピング（ｍａｐｐｉｎｇ）して、前記参照物体と前記対象自律走行車両との間における一つ以上の縦方向地面距離と一つ以上の横方向地面距離とを計算させ、前記縦方向地面距離及び前記横方向地面距離それぞれを成分として含むそれぞれの参照相対座標を生成させることを特徴とする。
【００２３】
一実施例において、前記（ＩＩ）プロセス以前に、前記プロセッサが、前記距離計算モジュールをもって、下記数式を参照して前記参照位置基準点を前記空間座標系にマッピングし、
【数４】
2020126626.tif 000006
前記数式で、(x1,y1)は前記参照イメージ上における前記参照位置基準点のうち一つの座標を意味し、(X1,Z1)は、前記対象自律走行車両の位置を利用して原本地点が設定された前記空間座標系で(x1,y1)に対応する前記参照相対座標のうち一つを意味し、X1は前記横方向地面距離のうち一つを、Z1は前記縦方向地面距離のうち一つを、θは前記初期予測ピッチを、(cx,cy)は前記対象カメラの主点座標を、Lは前記地面からの前記対象カメラの高さを意味し、fは前記対象カメラの焦点距離を意味することを特徴とする。
【００２４】
一実施例において、前記（ＩＩ）プロセス以前に、前記プロセッサが、Ｖ２Ｖ通信モジュールをもって、前記対象自律走行車両から臨界距離より近いところに位置する一つ以上の通信可能な物体と通信を行って、一つ以上の通信可能な物体クラスと、一つ以上の通信可能な物体の原本正解高さと、一つ以上の通信可能な物体座標とに関する情報を取得させ、前記調整ピッチキャリブレーションモジュールをもって、通信可能に対応する特定クラスを有する特定の参照物体を前記参照物体の中から選択させた後、（ｉ）前記通信可能な物体座標を利用して計算された、前記対象自律走行車両に対する通信可能な物体相対座標、及び（ｉｉ）前記特定の参照物体の特定の参照相対座標を参照して、前記通信可能な物体の原本正解高さのうち少なくとも一部を前記特定の参照物体のうち少なくとも一部とペアリング（ｐａｉｒｉｎｇ）することによって、前記特定の参照物体に対する特定の参照原本正解高さを取得させることを特徴とする。
【００２５】
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサが、前記ターゲット物体が選択されると、前記調整ピッチキャリブレーションモジュールをもって、前記参照相対座標のうち前記ターゲット物体に対応するターゲット相対座標を選択させ、前記初期予測ピッチを参照して高さ予測演算を遂行して前記予測ターゲット高さを計算させ、前記高さ予測演算は下記数式を参照して遂行され、
【数５】
2020126626.tif 000007
前記数式で、Z1は前記ターゲット相対座標(X1,Z1)の縦方向地面距離を、θは前記予測ピッチを、Lは前記地面からの前記対象カメラの高さを意味し、Z2は、前記ターゲット物体を含むターゲットバウンディングボックスの上段部分内の地点であるターゲット高さ予測基準点(x2,y2)を、前記対象自律走行車両を含む仮想空間に対応する空間座標系にマッピングして生成されたターゲット高さ予測地点の成分である縦方向投影距離を意味し、fは前記対象カメラの焦点距離を意味することを特徴とする。
【００２６】
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサが、前記ターゲット物体の個数が１つである場合、前記調整ピッチキャリブレーションモジュールをもって、（ｉ）前記原本正解ターゲット高さを参照して過大予測範囲及び過小予測範囲を設定させ、（ｉｉ−１）前記予測ターゲット高さが前記過大予測範囲に含まれる場合、前記初期予測ピッチを予め設定された調整割合だけ減少させる調整を遂行させるか、（ｉｉ−２）前記予測ターゲット高さが前記過小予測範囲に含まれる場合、前記初期予測ピッチを前記予め設定された調整割合だけ増加させる調整を遂行させることを特徴とする。
【００２７】
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサが、前記ターゲット物体の個数が２個以上である場合、前記調整ピッチキャリブレーションモジュールをもって、（ｉ）前記原本正解ターゲット高さを参照して過大予測範囲及び過小予測範囲を設定させ、（ｉｉ）前記過大予測範囲に対応する過大予測誤差の割合及び前記過小予測範囲に対応する過小予測誤差の割合のうち少なくとも一つに関する情報を取得させ、（ｉｉｉ）前記取得された情報を参照して前記初期予測ピッチを調整させることを特徴とする。
【００２８】
一実施例において、前記（Ｉ）プロセスで、前記プロセッサが、前記初期ピッチキャリブレーションモジュールをもって、前記参照イメージに前記ピッチ計算演算を適用して前記初期予測ピッチを生成させ、前記ピッチ計算演算は下記数式を参照して遂行され、
【数６】
2020126626.tif 000008
前記数式で、vyは前記参照イメージの消失点（前記消失点に関する情報は、前記参照イメージの一つ以上の線が消失する地点を見出すことによって取得される）のｙ方向座標を、cyは前記参照イメージの主点のｙ方向座標を、そしてfyは前記参照イメージの焦点のｙ方向座標を意味することを特徴とする。
【００２９】
一実施例において、前記（Ｉ）プロセスで、前記プロセッサが、（ｉ）前記物体検出ネットワークに含まれているコンボリューションレイヤをもって、前記ニューラルネットワーク演算の一部である少なくとも一つのコンボリューション演算を前記参照イメージに適用して少なくとも一つの参照コンボリューション特徴マップを生成させ、（ｉｉ）前記物体検出ネットワークに含まれているＲＯＩプーリングレイヤをもって、前記参照コンボリューション特徴マップにおいて前記参照イメージのＲＯＩに対応する値をプーリングする、前記ニューラルネットワーク演算の一部である少なくとも一つのプーリング演算を適用することによって、少なくとも一つの参照ＲＯＩプーリング済み特徴マップを生成させた後、（ｉｉｉ）前記物体検出ネットワークに含まれているＦＣレイヤをもって、前記ニューラルネットワーク演算の一部である少なくとも一つのＦＣ演算を前記参照ＲＯＩプーリング済み特徴マップに適用することによって、前記参照物体の参照クラスに関する情報と前記参照物体の参照バウンディングボックスに関する情報とを含む前記参照物体検出情報を生成させることを特徴とする。
【００３０】
一実施例において、前記プロセッサが、（ＩＩＩ）前記物体検出ネットワーク及び前記距離計算モジュールをもって、前記調整予測ピッチを参照して計算された、自律走行イメージに含まれている周辺物体と前記対象自律走行車両との間の距離に関する情報を含む自律走行情報を生成させるプロセスをさらに遂行することを特徴とする。
【００３１】
これ以外にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取り可能な記録媒体がさらに提供される。
【発明の効果】
【００３２】
本発明は、Ｖ２Ｖ通信を介して取得した情報を追加として使用してカメラのピッチキャリブレーションをより精巧に遂行する方法を提供することによって、少なくとも一つのカメラを介して取得された入力映像の質が良くない場合にも自律走行車両と周辺物体との間の距離を予測し得るようにする効果がある。
【図面の簡単な説明】
【００３３】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこのような図面に基づいて他の各図面が得られ得る。
【００３４】
【図１】本発明の一実施例にしたがって、Ｖ２Ｖ通信を介して取得した情報を追加として使用してカメラのピッチキャリブレーションをより精巧に遂行するコンピューティング装置の構成を概略的に示した図面である。
【図２】本発明の一実施例にしたがって、Ｖ２Ｖ通信を介して取得した情報を追加として使用してカメラのピッチキャリブレーションをより精巧に遂行する方法を概略的に示したフローチャートである。
【図３】本発明の一実施例にしたがって、Ｖ２Ｖ通信を介して取得した情報を追加として使用してカメラのピッチキャリブレーションをより精巧に遂行するのに使用される初期予測ピッチを計算する方法を概略的に示した図面である。
【図４】本発明の一実施例にしたがって、Ｖ２Ｖ通信を介して取得した情報を追加として使用してカメラのピッチキャリブレーションをより精巧に遂行するのに使用されるターゲット物体の予測ターゲット高さを計算する方法を概略的に示した図面である。
【発明を実施するための形態】
【００３５】
後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。このような実施例は、当業者が本発明を実施することができるように十分詳細に説明される。
【００３６】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００３７】
さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
【００３８】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００３９】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
【００４０】
図１は、本発明の一実施例にしたがって、Ｖ２Ｖ通信を介して取得した情報を追加として使用してカメラのピッチキャリブレーションをより精巧に遂行するコンピューティング装置の構成を概略的に示した図面である。
【００４１】
図１を参照すると、前記コンピューティング装置１００は、追って詳細に説明する成分である、少なくとも一つのＶ２Ｖ通信モジュール１３０と、少なくとも一つの初期ピッチキャリブレーションモジュール１４０と、少なくとも一つの調整ピッチキャリブレーションモジュール１５０と、少なくとも一つの距離計算モジュール１６０と、少なくとも一つの物体検出ネットワーク１７０とを含むことができる。この場合、前記Ｖ２Ｖ通信モジュール１３０、前記初期ピッチキャリブレーションモジュール１４０、前記調整ピッチキャリブレーションモジュール１５０、前記距離計算モジュール１６０及び前記物体検出ネットワーク１７０の入出力及び演算過程は、少なくとも一つの通信部１２０と少なくとも一つのプロセッサ１１０とによってそれぞれ行われ得る。ただし、図１では前記通信部１２０及び前記プロセッサ１１０の具体的な通信構造図を省略した。この場合、メモリ１１５は、後述する様々なインストラクションを格納した状態であり得、前記プロセッサ１１０は、前記メモリ１１５に格納された各インストラクションを遂行するように設定され、追って説明する前記各インストラクションを遂行することによって本発明のプロセスを遂行することができる。このように、前記コンピューティング装置１００が描写されたからといって、前記コンピューティング装置１００がプロセッサ、メモリ、媒体又はその他の演算要素を含む統合装置を排除するわけではない。
【００４２】
本発明において、前記コンピューティング装置１００は、本発明の方法を使用してキャリブレーションされる、対象カメラを含む対象自律走行車両と連動して遂行することができる。この場合、前記コンピューティング装置１００は、前記対象自律走行車両に直接搭載され得るか、前記対象自律走行車両と通信する中央サーバに搭載され得もする。
【００４３】
以上、本発明の一実施例にしたがって、前記Ｖ２Ｖ通信を介して取得した情報を追加として使用してカメラのピッチキャリブレーションをより精巧に遂行する前記コンピューティング装置１００の構成について説明したところ、以下、本発明にしたがって前記カメラ基盤の物体距離予測方法について図２を参照して説明することにする。
【００４４】
図２は、本発明の一実施例にしたがって、Ｖ２Ｖ通信を介して取得した情報を追加として使用してカメラのピッチキャリブレーションをより精巧に遂行する方法を概略的に示したフローチャートである。
【００４５】
図２を参照すると、参照イメージが前記対象カメラを介して取得されると、前記初期ピッチキャリブレーションモジュール１４０と前記物体検出ネットワーク１７０とによる演算がそれぞれ遂行され、前記演算のそれぞれの結果（前記初期ピッチキャリブレーションモジュール１４０からの初期予測ピッチと前記物体検出ネットワーク１７０からの参照物体検出情報）及び前記参照イメージは、前記距離計算モジュール１６０に独立して入力されて、前記対象自律走行車両に対する、前記参照イメージに含まれている一つ以上の参照物体のうち一つ以上の参照相対座標を予測することができる。このような過程と並列して、前記コンピューティング装置１００の前記Ｖ２Ｖ通信モジュール１３０は、前記Ｖ２Ｖ通信を介して通信可能な物体と通信して、臨界距離より近くに位置する前記通信可能な物体に関する物体情報を取得することができる。この際、前記参照座標に関する情報及び前記通信可能な物体に関する情報は、前記調整ピッチキャリブレーションモジュール１５０に伝送され得る。以後、前記対象カメラの調整予測ピッチは、前記調整ピッチキャリブレーションモジュール１５０の演算を通じて計算された後、前記自律走行車両と周辺物体との間の正確な距離は正確に計算され得る。
【００４６】
より具体的に、前記コンピューティング装置１００は、前記初期ピッチキャリブレーションモジュール１４０をもって、前記対象カメラを介して取得された前記参照イメージを利用して、前記対象カメラの光軸と地面との間の角度である前記初期予測ピッチを計算させることができる。このような過程は、前記参照イメージ上の消失点と主点と焦点との間の関係を利用して遂行され得る。図３を参照して、このような過程について詳細に説明することにする。
【００４７】
図３は、本発明の一実施例にしたがって、Ｖ２Ｖ通信を介して取得した情報を追加として使用してカメラのピッチキャリブレーションをより精巧に遂行するのに使用される初期予測ピッチを計算する方法を概略的に示した図面である。
【００４８】
図３を参照すると、前記初期予測ピッチが計算される原理を知ることができる。前記消失点である(vx,vy)は、前記対象カメラの水平移動によっては変わらず、前記対象カメラの回転移動によってのみ変わる点であるので、前記参照イメージ上の前記消失点、前記焦点及び前記主点の位置に関する情報を利用して、前記対象カメラの前記初期予測ピッチを計算することができる。
【００４９】
具体的に、前記コンピューティング装置１００は、前記初期ピッチキャリブレーションモジュール１４０をもって、前記参照イメージ上の線が集まる地点である前記消失点の座標を検出させることができる。以後、前記コンピューティング装置１００は、前記初期ピッチキャリブレーションモジュール１４０をもって、予め取得された前記消失点、前記焦点及び前記主点の座標に関する情報を利用して前記初期予測ピッチを計算させることができる。一例として、前記消失点の座標が(vx,vy)であり、前記焦点の座標が(fx,fy)であり、前記主点の座標が(cx,cy)であれば、前記初期予測ピッチの値は下記数式によって計算され得る。
【数７】
2020126626.tif 000009
【００５０】
このような計算と並列して、前記対象カメラを介して取得された前記参照イメージは、前記物体検出ネットワーク１７０に伝送され得る。前記物体検出ネットワーク１７０は、前記参照イメージに少なくとも一つのニューラルネットワーク演算を適用して前記参照イメージ上の前記参照物体を検出した後、前記参照物体に関する情報を含む前記参照物体検出情報を生成することができる。この際、前記物体検出ネットワーク１７０は、ＲＰＮ（ｒｅｇｉｏｎ  ｐｒｏｐｏｓａｌ  ｎｅｔｗｏｒｋ）に対応して支援され得る。
【００５１】
具体的に、前記コンピューティング装置１００が、前記物体検出ネットワーク１７０に含まれているコンボリューションレイヤをもって、前記ニューラルネットワーク演算の一部である少なくとも一つのコンボリューション演算を前記参照イメージに適用して少なくとも一つの参照コンボリューション特徴マップを生成させることができ、前記物体検出ネットワーク１７０に含まれているＲＯＩプーリングレイヤをもって、前記参照コンボリューション特徴マップで前記参照イメージのＲＯＩに対応する値をプーリングする、前記ニューラルネットワーク演算の一部である少なくとも一つのプーリング演算を適用することによって、少なくとも一つの参照ＲＯＩプーリング済み特徴マップを生成させることができる。以後、前記コンピューティング装置１００は、前記物体検出ネットワーク１７０に含まれているＦＣレイヤをもって、前記ニューラルネットワーク演算の一部である少なくとも一つのＦＣ演算を前記参照ＲＯＩプーリング済み特徴マップに適用することによって、前記参照物体の参照クラスに関する情報と前記参照物体の参照バウンディングボックスに関する情報とを含む前記参照物体検出情報を生成させることができる。
【００５２】
前記初期予測ピッチが前記初期ピッチキャリブレーションモジュール１４０により計算され、前記参照物体検出情報が前記物体検出ネットワーク１７０により生成されると、これらは前記距離計算モジュール１６０に伝送される。以後、前記コンピューティング装置１００は、前記距離計算モジュール１６０をもって、前記初期予測ピッチを利用して、前記参照物体及び前記対象自律走行車両それぞれの間における一つ以上の縦方向地面距離それぞれ及び一つ以上の横方向地面距離それぞれを計算することによって、前記参照相対座標を生成させることができる。
【００５３】
具体的には、前記コンピューティング装置１００が、前記距離計算モジュール１６０をもって、それぞれの前記参照物体を含む各参照バウンディングボックスの各下段部分にある地点である、それぞれの一つ以上の参照位置基準点を見出すようにすることができる。この場合、前記参照位置基準点は、前記下段部分の中間に位置する地点であり得、本発明の範囲はこれに限定されない。以後、前記コンピューティング装置１００は、前記距離計算モジュール１６０をもって、前記参照位置基準点を、前記対象自律走行車両を含む仮想空間に対応する空間座標系にマッピング（ｍａｐｐｉｎｇ）させることができる。このようなマッピング過程は、下記数式を参照して行われ得る。
【数８】
2020126626.tif 000010
【００５４】
前記数式で、(x1,y1)は前記参照イメージ上における前記参照位置基準点のうち一つの座標を意味し、(X1,Z1)は、前記対象自律走行車両の位置を利用して原本地点が設定された前記空間座標系で(x1,y1)に対応する前記参照相対座標のうち一つを意味することができる。また、X1は前記横方向地面距離のうち一つを、Z1は前記縦方向地面距離のうち一つを、θは前記初期予測ピッチを意味することができる。また、(cx,cy)は前記対象カメラの主点座標（ｃｏｏｒｄｉｎａｔｅ  ｏｆ  ａ  ｐｒｉｎｃｉｐａｌ  ｐｏｉｎｔ）を、Lは前記地面からの前記対象カメラの高さを意味し、fは前記対象カメラの焦点距離を意味することができる。追って参照する図４を検討してみると、Z1が前記数式により計算される方式を見ることができる。φ1は対象カメラの光軸と、前記対象カメラと(X1,Z1)とをつなぐ線との間の角度を意味するものであって、前記数式を利用して計算され得る。φ1とθとを導き出したので、三角関数（ｔｒｉｇｏｎｏｍｅｔｒｉｃ  ｆｕｎｃｔｉｏｎ）を使用してZ1を計算することができる。
【００５５】
また、このような過程と並列して、前記コンピューティング装置１００は、前記Ｖ２Ｖ通信モジュール１３０をもって、前記対象自律走行車両から臨界距離以内に位置する、車両及びバイクなどのＶ２Ｖ通信が可能な前記通信可能な物体と通信することができる。この場合、前記Ｖ２Ｖ通信を具現するために、４Ｇ通信、５Ｇ通信、又は車両間のラジオ通信等、どのような通信技術であっても適用することができる。このようなＶ２Ｖ通信を介して、前記Ｖ２Ｖ通信モジュール１３０は、前記通信可能な物体に対する、一つ以上の通信可能な物体クラスと、一つ以上の通信可能な物体の原本正解高さと、一つ以上の通信可能な物体座標とに関する情報を取得することができる。前記通信可能な物体原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）高さは、前記初期予測ピッチを調整するのに使用され得る。
【００５６】
以後、前記Ｖ２Ｖ通信モジュール１３０を介して取得された前記通信可能な物体に関する前記情報と、前記距離計算モジュール１６０により計算された前記参照相対座標と、前記物体検出ネットワーク１７０により生成された前記参照物体検出情報とは、前記調整ピッチキャリブレーションモジュール１５０に伝送され得る。
【００５７】
前記コンピューティング装置１００が、前記調整ピッチキャリブレーションモジュール１５０をもって、（ｉ）前記通信可能な物体座標を利用して計算された、前記対象自律走行車両に対する通信可能な物体相対座標、及び（ｉｉ）前記特定の参照物体の特定の参照相対座標を参照して、前記通信可能な物体の原本正解高さのうち少なくとも一部を、前記特定の参照物体のうち少なくとも一部とペアリング（ｐａｉｒｉｎｇ）することによって、前記特定の参照物体に対する特定の参照原本正解高さを取得させることができる。この場合、前記特定の参照物体は、前記参照物体群及び前記通信可能な物体群に含まれている物体であり得る。より具体的に、前記通信可能な物体相対座標を前記参照相対座標と比較して、前記通信可能な物体相対座標と前記参照相対座標との間の類似点数を計算することができ、閾値より高い特定の類似点数を見出し、前記特定の類似点数に対応する前記ペアを選択して、前記特定の参照物体及び前記通信可能な物体の原本正解高さをペアリング（ｐａｉｒｉｎｇ）することができる。
【００５８】
一方、前記コンピューティング装置１００は、前記調整ピッチキャリブレーションモジュール１５０をもって、前記初期予測ピッチを調整するのに使用される少なくとも一つのターゲット物体を選択させることができる。前記ターゲット物体は、前記参照イメージ上の前記参照物体のうち少なくとも一部であり得、それぞれの前記参照物体が通信可能に対応する特定クラスを有するのかに関する第１条件を満足しなければならない。前記ターゲット物体に対応する原本正解ターゲット高さは、前記Ｖ２Ｖ通信を介して取得された前記通信可能な物体原本正解高さから取得されなければならないため、前記第１条件が満足されなければならない。加えて、前記ターゲット物体は、第２条件及び第３条件のうち少なくとも一部を満足することができる。この場合、前記第２条件は、前記第１条件を満足するそれぞれの特定の参照物体を含むそれぞれの特定の参照バウンディングボックスが前記参照イメージの少なくとも一つのイラストレーションウィンドウ（ｉｌｌｕｓｔｒａｔｉｏｎ  ｗｉｎｄｏｗ）領域内に位置するか否かに関する条件に対応することができる。また、前記第３条件は、それぞれの前記特定の参照バウンディングボックスの各縦横比（ａｓｐｅｃｔ  ｒａｔｉｏ）が予測閾値未満であるか否かに関する条件に対応することができる。
【００５９】
前記第２条件において、前記イラストレーションウィンドウ領域が提示される。前記特定の参照バウンディングボックスのうち一つが前記イラストレーションウィンドウ領域に位置する場合、これに対応する物体の全体部分は、前記特定の参照バウンディングボックスのうち一つに含まれ得る。これと反対に、前記特定の参照バウンディングボックスのうち一つが前記イラストレーションウィンドウ領域に位置しない場合、これに対応する物体のうち一部のみが前記特定の参照バウンディングボックスのうち一つに含まれ得る。つまり、前記イラストレーションウィンドウ領域は、前記参照イメージに含まれている前記特定の参照バウンディングボックスの側面が前記参照イメージの前記境界線に接しない、前記参照イメージの境界線から遠い、前記参照イメージの中間領域であり得る。対応する特定の参照バウンディングボックスが前記イラストレーションウィンドウ領域に位置せず、前記特定の参照物体の全体部分を含まない、特定の参照物体のうち一つが前記ターゲット物体として選択される場合、前記初期予測ピッチを調整する過程に関する誤差をもたらし得るため、前記第２条件は必要である。
【００６０】
前記第３条件において、前記予測閾値が提示される。前記予測閾値は、前記対象自律走行車両から左右に過度に遠く離れていない前記特定の参照物体のうち一つを、前記ターゲット物体として選択するのに使用される。前記特定の参照物体のうち一つが前記対象自律走行車両から左右に過度に遠く離れている場合、これに対応する特定の参照バウンディングボックスは大きな縦横比を有することができる。したがって、前記特定の参照バウンディングボックスの縦横比を前記予測閾値と比較して、前記対象自律走行車両から左右に過度に遠く離れた前記特定の参照物体のうち一部は、前記ターゲット物体として選択されるものから除外され得る。前記特定の参照物体のうち一部が除外されなければならない理由は、前記特定の参照物体のうち一部が前記ターゲット物体として選択されれば、歪曲した状態で前記参照イメージ上に現れるため、前記初期予測ピッチを調整する過程で誤差が発生し得るからである。したがって、前記第２条件が必要である。
【００６１】
以後、前記ターゲット物体が決定されると、前記コンピューティング装置１００は、前記調整ピッチキャリブレーションモジュール１５０をもって、前記参照相対座標のうち前記ターゲット物体に対応する一つを選択してターゲット相対座標を取得させ、前記特定の参照原本正解高さのうち前記ターゲット物体に対応する一つを選択して原本正解ターゲット高さを取得させることができる。前記ターゲット相対座標及び前記原本正解ターゲット高さに関する情報を取得した後、前記コンピューティング装置１００は、前記調整ピッチキャリブレーションモジュール１５０をもって、予測ターゲット高さを生成させることができる。前記ターゲット物体に対する前記予測ターゲット高さを計算する方法は、以下で説明することにする。
【００６２】
具体的に、前記予測ターゲット高さは、下記数式によって、高さ予測演算を遂行することで計算され得る。
【数９】
2020126626.tif 000011
【００６３】
前記数式で、Z1は前記ターゲット相対座標(X1,Z1)の縦方向地面距離を、θは前記予測ピッチを、Lは前記地面からの前記対象カメラの高さを意味し、Z2は、前記ターゲット物体を含むターゲットバウンディングボックスの上段部分内の地点であるターゲット高さ予測基準点(x2,y2)を、前記対象自律走行車両を含む仮想空間に対応する空間座標系にマッピングして生成されたターゲット高さ予測地点の成分である縦方向投影距離を意味し、fは前記対象カメラの焦点距離を意味することができる。この場合、φ2及びZ2の計算方式は、前述したφ1及びZ1の計算方式とほぼ同様である。このようなところ、図４を参照して前記数式を幾何学的に説明することにする。
【００６４】
図４は、本発明の一実施例にしたがって、Ｖ２Ｖ通信を介して取得した情報を追加として使用してカメラのピッチキャリブレーションをより精巧に遂行するのに使用されるターゲット物体の予測ターゲット高さを計算する方法を概略的に示した図面である。
【００６５】
図４において、Z2とLとを二辺に有する第１直角三角形と、Z2-Z1とHとを二辺に有する第２直角三角形は、互いにＡＡ相似関係にあることを確認することができる。この場合、H:L=Z2-Z1:Z2の比例的な関係が成立することが分かり、前記数式を利用して前記予測ターゲット高さHは計算され得る。
【００６６】
前記予測ターゲット高さが計算された後、前記初期予測ピッチが調整される。一つのターゲット物体が選択される場合と多数のターゲット物体が選択される場合など、二種類の異なる実施例がある。以下、それぞれの実施例を説明することにする。
【００６７】
まず、前記ターゲット物体の個数が１つである場合、前記コンピューティング装置１００は、前記調整ピッチキャリブレーションモジュール１５０をもって、前記原本正解ターゲット高さを参照して過大予測範囲及び過小予測範囲を設定させることができる。この場合、前記原本正解ターゲット高さにＲを乗じた値よりも小さい範囲を前記過大予測範囲として、前記原本正解ターゲット高さにＲを乗じた値よりも大きい範囲を前記過小予測範囲として設定することができる。前記Ｒは、予め設定された臨界比率であり得る。前記初期予測ピッチが過度に大きく計算される場合、前記予測ターゲット高さは前記原本正解ターゲット高さより低く計算され、これと反対である場合、前記予測ターゲット物体が前記原本正解ターゲット高さより高く計算されるので、前記過大予測範囲及び前記過小予測範囲は前記のように設定される。
【００６８】
前記範囲が前記のように設定された後、前記予測ターゲット高さが前記過大予測範囲に含まれる場合、前記コンピューティング装置１００は、前記調整ピッチキャリブレーションモジュール１５０をもって、前記初期予測ピッチを予め設定された調整割合だけ減少させる調整を遂行して前記調整予測ピッチを生成させることができる。また、前記予測ターゲット高さが前記過小予測範囲に含まれる場合、前記コンピューティング装置１００は、前記調整ピッチキャリブレーションモジュール１５０をもって、前記初期予測ピッチを前記予め設定された調整割合だけ増加させる調整を遂行して前記調整予測ピッチを生成させることができる。
【００６９】
次に、前記ターゲット物体の個数が２個以上である場合、前記コンピューティング装置１００は、前記調整ピッチキャリブレーションモジュール１５０をもって、前記のように前記過大予測範囲及び前記過小予測範囲を設定させ、前記過大予測範囲に対応する過大予測誤差の割合と前記過小予測範囲に対応する過小予測誤差の割合とのうち少なくとも一つに関する情報を取得させることができる。この場合、前記過大予測誤差の割合は、前記ターゲット物体の個数ｒ２に対する、第１特定予測ターゲット高さが前記過大予測範囲に含まれる第１特定ターゲット物体の個数ｒ１の比率であり得る。これと同様に、前記過小予測誤差の割合は、前記ターゲット物体の個数ｒ２に対する、第２特定予測ターゲット高さが前記過小予測範囲に含まれる第２特定ターゲット物体の個数ｒ１の比率であり得る。前記過小予測誤差の割合及び前記過大予測誤差の割合のうち一つが閾値より大きい場合、前記コンピューティング装置は、前記調整ピッチキャリブレーションモジュールをもって、前記初期予測ピッチを調整させることができる。
【００７０】
一般的に、前記初期予測ピッチに誤差がある場合、前記過小予測誤差の割合及び前記過大予測誤差の割合のうち一つのみが前記閾値より高い。前記過小予測誤差の割合が前記閾値より大きい場合、前記コンピューティング装置１００は、前記調整ピッチキャリブレーションモジュール１５０をもって、前記初期予測ピッチを前記予め設定された調整割合だけ増加させる調整を遂行して前記調整予測ピッチを生成させることができる。これと反対に、前記過大予測誤差の割合が前記閾値より大きい場合、前記コンピューティング装置１００は、前記調整ピッチキャリブレーションモジュール１５０をもって、前記初期予測ピッチを前記予め設定された調整割合だけ減少させる調整を遂行して前記調整予測ピッチを生成させることができる。
【００７１】
前記調整予測ピッチが決定されると、前記コンピューティング装置１００は、前記距離計算モジュール１６０及び前記物体検出ネットワーク１７０をもって、前記調整予測ピッチを参照して計算された、自律走行イメージに含まれている周辺物体と前記対象自律走行車両との間の距離に関する情報を含む自律走行情報を生成させることができる。
【００７２】
本発明は、前記Ｖ２Ｖ通信により前記オンラインキャリブレーションを通じてカメラピッチを調整する方法に関する。すなわち、本発明は、前記カメラを基盤としてロバスト物体距離の予測を提供する。この際、ロバスト距離の予測は、前記消失点を見出す前記カメラピッチを調整するプロセスと、前記Ｖ２Ｖ通信を介して取得された情報を、前記カメラを介して取得された情報と融合させて前記周辺車両に対する実際の高さ情報を取得するプロセスと、前記周辺車両の前記実際の高さ情報を使用して前記ピッチをより正確に調整するプロセスとを含むことができる。
【００７３】
以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ  Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【００７４】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
【００７５】
したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【００７６】
［付記］
本願発明は、Ｖ２Ｖ通信を介して取得した情報とカメラを介して取得した情報とを融合してカメラのピッチキャリブレーションをより精巧に遂行することによって、カメラ基盤のロバスト物体距離の予測を提供する方法、及びこれを利用した装置｛ＭＥＴＨＯＤ  ＦＯＲ  ＰＲＯＶＩＤＩＮＧ  ＲＯＢＵＳＴ  ＯＢＪＥＣＴ  ＤＩＳＴＡＮＣＥ  ＥＳＴＩＭＡＴＩＯＮ  ＢＡＳＥＤ  ＯＮ  ＣＡＭＥＲＡ  ＢＹ  ＰＥＲＦＯＲＭＩＮＧ  ＰＩＴＣＨ  ＣＡＬＩＢＲＡＴＩＯＮ  ＯＦ  ＣＡＭＥＲＡ  ＭＯＲＥ  ＰＲＥＣＩＳＥＬＹ  ＷＩＴＨ  ＦＵＳＩＯＮ  ＯＦ  ＩＮＦＯＲＭＡＴＩＯＮ  ＡＣＱＵＩＲＥＤ  ＴＨＲＯＵＧＨ  ＣＡＭＥＲＡ  ＡＮＤ  ＩＮＦＯＲＭＡＴＩＯＮ  ＡＣＱＵＩＲＥＤ  ＴＨＲＯＵＧＨ  Ｖ２Ｖ  ＣＯＭＭＵＮＩＣＡＴＩＯＮ  ＡＮＤ  ＤＥＶＩＣＥ  ＵＳＩＮＧ  ＴＨＥ  ＳＡＭＥ｝に関する。
【図１】
2020126626.tif 000018
【図２】
2020126626.tif 000019
【図３】
2020126626.tif 000020
【図４】
2020126626.tif 000021