(57)【要約】      （修正有）【課題】カメラのずれた角度を補正するための方法およびコンピューティング装置を提供する。【解決手段】方法は、コンピューティング装置が、参照イメージを参照して状況情報によって第１参照データまたは第２参照データを生成する段階と、コンピューティング装置が、第１参照データまたは第２参照データ及び車両座標データを参照にして、第１角度誤差または第２角度誤差を取得する段階及びコンピューティング装置が、物理的回転モジュールをもって、第１角度誤差または第２角度誤差を参照にして、ずれた角度を調整する段階を含む。【選択図】図２
2020126647.tif 000002
【特許請求の範囲】
【請求項１】
対象車両によってそれ自体によって生成されたプライマリ（ｐｒｉｍａｒｙ）情報及び他の個体によって生成されたセカンダリ（ｓｅｃｏｎｄａｒｙ）情報（前記プライマリ情報及び前記セカンダリ情報の中の少なくとも一つは、前記対象車両に設置された所定の外部の力によって傾いたカメラのずれた角度を補正するために利用され、前記対象車両の周辺に対する状況情報を参照して選択される）のうちの少なくとも一部を利用して、前記ずれた角度を補正するための方法において、
（ａ）コンピューティング装置が、前記対象車両のカメラによって少なくとも一つの参照イメージが取得されると、（ｉ）前記状況情報が道路上の車線と関連した第１条件に対応する場合、第１ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）をもって、前記参照イメージに少なくとも一つの第１ＣＮＮ演算を適用して、前記参照イメージの参照車線に対する情報を含む第１参照データを生成するようにするプロセス、及び（ｉｉ）前記状況情報が前記道路上の他の車両と関連した第２条件に対応する場合、第２ＣＮＮをもって、前記参照イメージに少なくとも一つの第２ＣＮＮ演算を適用して、前記参照イメージの一つ以上の参照車両に対する情報を含む第２参照データを生成するようにするプロセスを遂行する段階；
（ｂ）前記コンピューティング装置が、補正モジュールをもって、（ｉ）前記状況情報が前記第１条件に対応する場合、前記第１参照データ及び車両座標データを参照にして、前記参照車線に対応する前記カメラに対する少なくとも一つの第１角度誤差を取得するプロセス、及び（ｉｉ）前記状況情報が前記第２条件に対応する場合、前記第２参照データ及び前記車両座標データを参照にして、前記参照車両に対応する前記カメラに対する少なくとも一つの第２角度誤差を取得するプロセスを遂行するようにする段階；及び
（ｃ）前記コンピューティング装置が、前記対象車両に搭載された物理的回転モジュールをもって、（ｉ）前記状況情報が前記第１条件に対応する場合、前記参照車線に対応する前記第１角度誤差を参照にして、前記ずれた角度を調整するプロセス、及び（ｉｉ）前記状況情報が前記第２条件に対応する場合、前記参照車両に対応する前記第２角度誤差を参照にして、前記ずれた角度を調整するプロセスを遂行するようにする段階；
を含むことを特徴とする方法。
【請求項２】
前記（ａ）段階で、
前記コンピューティング装置が、前記状況情報が前記第１条件に対応する場合、（ｉ）前記第１ＣＮＮに含まれた少なくとも一つの第１コンボリューションレイヤをもって、前記参照イメージに少なくとも一つの第１コンボリューション演算を適用して少なくとも一つの第１参照特徴マップを生成するようにし、（ｉｉ）前記第１ＣＮＮに含まれた少なくとも一つの第１プーリング（ｐｏｏｌｉｎｇ）レイヤをもって、前記第１参照特徴マップに少なくとも一つの第１プーリング演算を適用して少なくとも一つの第１参照プーリング済み特徴マップを生成するようにし、（ｉｉｉ）前記第１ＣＮＮに含まれた少なくとも一つの第１ＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記第１参照プーリング済み特徴マップに少なくとも一つの第１ＦＣ演算を適用することで、前記参照イメージの前記参照車線に対する検出結果を前記第１参照データとして生成するようにすることを特徴とする請求項１に記載の方法。
【請求項３】
前記（ｂ）段階で、
前記コンピューティング装置が、前記状況情報が前記第１条件に対応する場合、前記補正モジュールをもって、（ｉ）前記車両座標データを参照にして、前記車両座標データに対応する座標平面に前記参照車線をマッピング（ｍａｐｐｉｎｇ）するようにし、（ｉｉ）前記参照車線のうちの少なくとも一つと、前記座標平面上の参照軸との間の少なくとも一つの第１差異角度を計算するようにし、（ｉｉｉ）これを前記第１角度誤差として取得するようにすることを特徴とする請求項２に記載の方法。
【請求項４】
前記（ａ）段階で、
前記コンピューティング装置が、前記状況情報が前記第２条件に対応する場合、（ｉ）前記第２ＣＮＮに含まれた少なくとも一つの第２コンボリューションレイヤをもって、前記参照イメージに少なくとも一つの第２コンボリューション演算を適用して少なくとも一つの第２参照特徴マップを生成するようにし、（ｉｉ）前記第２ＣＮＮに含まれた少なくとも一つの第２プーリングレイヤをもって、前記第２参照特徴マップに少なくとも一つの第２プーリング演算を適用して少なくとも一つの第２参照プーリング済み特徴マップを生成するようにし、（ｉｉｉ）前記第２ＣＮＮに含まれた少なくとも一つの第２ＦＣレイヤをもって、前記第２参照プーリング済み特徴マップに少なくとも一つの第２ＦＣ演算を適用することで、前記参照イメージの前記参照車両に対する検出結果を前記第２参照データとして生成するようにすることを特徴とする請求項１に記載の方法。
【請求項５】
前記（ａ）段階で、
前記コンピューティング装置が、前記状況情報が前記第２条件に対応する場合、前記第２参照データを生成するプロセスと並列的に、前記対象車両から第１閾値以下の距離に位置した一つ以上のＶ２Ｖ（ｖｅｈｉｃｌｅ−ｔｏ−ｖｅｈｉｃｌｅ）通信車両と無線通信を遂行することで、前記Ｖ２Ｖ通信車両から比較データを取得し、
前記Ｖ２Ｖ通信車両に属している第１特定Ｖ２Ｖ通信車両ないし第Ｎ特定Ｖ２Ｖ通信車両のうちの第Ｋ特定Ｖ２Ｖ通信車両から取得された、前記比較データのうちの第Ｋ特定比較データは、前記第Ｋ特定Ｖ２Ｖ通信車両が前記対象車両から第２閾値以下の距離に位置した自身の第Ｋ特定周辺車両に対して生成した前記第Ｋ特定周辺車両の位置に対する情報を含み、
前記（ｂ）段階で、
前記コンピューティング装置が、前記状況情報が前記第２条件に対応する場合、前記補正モジュールをもって、（ｉ）（ｉ−１）前記第２参照データを参照にして、前記車両座標データに対応する座標平面上に前記対象車両を基準に前記参照車両の一つ以上の相対位置を示す一つ以上のイメージ基盤座標を生成するプロセス、及び（ｉ−２）前記比較データを参照にして、前記座標平面上に前記対象車両を基準に前記Ｖ２Ｖ通信車両の周辺車両の一つ以上の相対位置を示す一つ以上の通信基盤座標を生成するプロセスを遂行するようにし、（ｉｉ）前記イメージ基盤座標及び前記通信基盤座標を参照にして、前記第２角度誤差を取得するようにすることを特徴とし、Ｎは、前記Ｖ２Ｖ通信車両の個数であり、Ｋは、１からＮまでの整数（Ｉｎｔｅｇｅｒ）である請求項４に記載の方法。
【請求項６】
前記（ｂ）段階で、
前記コンピューティング装置が、前記状況情報が前記第２条件に対応する場合、前記補正モジュールをもって、前記カメラのＦＯＶ（Ｆｉｅｌｄ−Ｏｆ−Ｖｉｅｗ）に対する情報及び前記第Ｋ特定Ｖ２Ｖ通信モジュールから取得された前記第Ｋ特定比較データを参照にして、（ｉ）前記第Ｋ特定Ｖ２Ｖ通信車両によって予測された前記第Ｋ特定周辺車両の位置を前記座標平面上にマッピング（ｍａｐｐｉｎｇ）するようにすることで、一つ以上の第Ｋ初期座標を生成するようにし、（ｉｉ）前記第Ｋ初期座標を含む、一つ以上の第１初期座標ないし一つ以上の第Ｎ初期座標を参照にして、前記周辺車両の前記通信基盤座標を生成するようにすることを特徴とする請求項５に記載の方法。
【請求項７】
前記（ｂ）段階で、
前記コンピューティング装置が、前記補正モジュールをもって、少なくとも一つの第１特定直線と、少なくとも一つの第２特定直線との間の少なくとも一つの第２差異角度を計算してこれを前記第２角度誤差として出力するようにし、前記第１特定直線は、前記参照車両と前記周辺車両とに同時に含まれる、少なくとも一つの特定参照車両の少なくとも一つの特定通信基盤座標及び前記座標平面上の原点を含む直線であり、前記第２特定直線は、少なくとも一つの特定参照車両の少なくとも一つの特定イメージ基盤座標及び前記座標平面の原点を含む直線であることを特徴とする請求項５に記載の方法。
【請求項８】
前記（ｂ）段階で、
（ｉ）前記参照車両と前記周辺車両とに同時に含まれる特定参照車両、（ｉｉ）前記特定参照車両に対応する特定イメージ基盤座標、及び（ｉｉｉ）前記特定参照車両に対応する特定通信基盤座標が複数である場合、前記コンピューティング装置が次の数式によって前記第２角度誤差を取得し、
【数１５】
2020126647.tif 000017
Ｍは、前記特定参照車両の数を意味し、
【数１６】
2020126647.tif 000018
は、第Ｋ特定参照車両の第Ｋ特定イメージ基盤座標を意味し、
【数１７】
2020126647.tif 000019
は、前記第Ｋ特定参照車両の第Ｋ特定通信基盤座標を意味し、ａkは、前記第Ｋ特定参照車両に割り当てられた重み付け値を意味することを特徴とする請求項７に記載の方法。
【請求項９】
前記（ａ）段階で、
前記コンピューティング装置が、前記対象車両の走行情報が前記対象車両のＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）から取得されると、前記走行情報が直進走行に対する条件Ａに対応するのか、それとも直進ではない走行に対する条件Ｂに対応するのかを決定し、前記走行情報が前記条件Ａに対応する場合、前記第１ＣＮＮまたは前記第２ＣＮＮをもって、前記参照イメージに前記第１ＣＮＮ演算または前記第２ＣＮＮ演算を適用するようにすることを特徴とする請求項１に記載の方法。
【請求項１０】
対象車両によってそれ自体によって生成されたプライマリ（ｐｒｉｍａｒｙ）情報及び他の個体によって生成されたセカンダリ（ｓｅｃｏｎｄａｒｙ）情報（前記プライマリ情報及び前記セカンダリ情報の中の少なくとも一つは、前記対象車両に設置された所定の外部の力によって傾いたカメラのずれた角度を補正するために利用され、前記対象車両の周辺に対する状況情報を参照して選択される）のうちの少なくとも一部を利用して前記ずれた角度を補正するためのコンピューティング装置において、
インストラクションを格納する少なくとも一つのメモリ；及び
（Ｉ）前記対象車両のカメラによって少なくとも一つの参照イメージが取得されると、前記状況情報が道路上の車線と関連した第１条件に対応する場合、第１ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）をもって、前記参照イメージに少なくとも一つの第１ＣＮＮ演算を適用して、前記参照イメージの参照車線に対する情報を含む第１参照データを生成するようにし、前記状況情報が前記道路上の他の車両と関連した第２条件に対応する場合、第２ＣＮＮをもって、前記参照イメージに少なくとも一つの第２ＣＮＮ演算を適用して、前記参照イメージの一つ以上の参照車両に対する情報を含む第２参照データを生成するようにするプロセス、（ＩＩ）補正モジュールをもって、前記状況情報が前記第１条件に対応する場合、前記第１参照データ及び車両座標データを参照にして、前記参照車線に対応する前記カメラに対する少なくとも一つの第１角度誤差を取得するようにし、前記状況情報が前記第２条件に対応する場合、前記第２参照データ及び前記車両座標データを参照にして、前記参照車両に対応する前記カメラに対する少なくとも一つの第２角度誤差を取得するようにするプロセス、及び（ＩＩＩ）前記対象車両に搭載された物理的回転モジュールをもって、前記状況情報が前記第１条件に対応する場合、前記参照車線に対応する前記第１角度誤差を参照にして、前記ずれた角度を調整するようにし、前記状況情報が前記第２条件に対応する場合、前記参照車両に対応する前記第２角度誤差を参照にして、前記ずれた角度を調整するようにするプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
を含むことを特徴とするコンピューティング装置。
【請求項１１】
前記（Ｉ）プロセスで、
前記プロセッサが、前記状況情報が前記第１条件に対応する場合、（ｉ）前記第１ＣＮＮに含まれた少なくとも一つの第１コンボリューションレイヤをもって、前記参照イメージに少なくとも一つの第１コンボリューション演算を適用して少なくとも一つの第１参照特徴マップを生成するようにし、（ｉｉ）前記第１ＣＮＮに含まれた少なくとも一つの第１プーリング（ｐｏｏｌｉｎｇ）レイヤをもって、前記第１参照特徴マップに少なくとも一つの第１プーリング演算を適用して少なくとも一つの第１参照プーリング済み特徴マップを生成するようにし、（ｉｉｉ）前記第１ＣＮＮに含まれた少なくとも一つの第１ＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記第１参照プーリング済み特徴マップに少なくとも一つの第１ＦＣ演算を適用することで、前記参照イメージの前記参照車線に対する検出結果を前記第１参照データとして生成するようにすることを特徴とする請求項１０に記載のコンピューティング装置。
【請求項１２】
前記（ＩＩ）プロセスで、
前記プロセッサが、前記状況情報が前記第１条件に対応する場合、前記補正モジュールをもって、（ｉ）前記車両座標データを参照にして、前記車両座標データに対応する座標平面に前記参照車線をマッピング（ｍａｐｐｉｎｇ）するようにし、（ｉｉ）前記参照車線のうちの少なくとも一つと、前記座標平面上の参照軸との間の少なくとも一つの第１差異角度を計算するようにし、（ｉｉｉ）これを前記第１角度誤差として取得するようにすることを特徴とする請求項１１に記載のコンピューティング装置。
【請求項１３】
前記（Ｉ）プロセスで、
前記プロセッサが、前記状況情報が前記第２条件に対応する場合、（ｉ）前記第２ＣＮＮに含まれた少なくとも一つの第２コンボリューションレイヤをもって、前記参照イメージに少なくとも一つの第２コンボリューション演算を適用して少なくとも一つの第２参照特徴マップを生成するようにし、（ｉｉ）前記第２ＣＮＮに含まれた少なくとも一つの第２プーリングレイヤをもって、前記第２参照特徴マップに少なくとも一つの第２プーリング演算を適用して少なくとも一つの第２参照プーリング済み特徴マップを生成するようにし、（ｉｉｉ）前記第２ＣＮＮに含まれた少なくとも一つの第２ＦＣレイヤをもって、前記第２参照プーリング済み特徴マップに少なくとも一つの第２ＦＣ演算を適用することで、前記参照イメージの前記参照車両に対する検出結果を前記第２参照データとして生成するようにすることを特徴とする請求項１０に記載のコンピューティング装置。
【請求項１４】
前記（Ｉ）プロセスで、
前記プロセッサが、前記状況情報が前記第２条件に対応する場合、前記第２参照データを生成するプロセスと並列的に、前記対象車両から第１閾値以下の距離に位置した一つ以上のＶ２Ｖ（ｖｅｈｉｃｌｅ−ｔｏ−ｖｅｈｉｃｌｅ）通信車両と無線通信を遂行することで、前記Ｖ２Ｖ通信車両から比較データを取得し、
前記Ｖ２Ｖ通信車両に属している第１特定Ｖ２Ｖ通信車両ないし第Ｎ特定Ｖ２Ｖ通信車両のうちの第Ｋ特定Ｖ２Ｖ通信車両から取得された、前記比較データのうちの第Ｋ特定比較データは、前記第Ｋ特定Ｖ２Ｖ通信車両が前記対象車両から第２閾値以下の距離に位置した自身の第Ｋ特定周辺車両に対して生成した前記第Ｋ特定周辺車両の位置に対する情報を含み、
前記（ＩＩ）プロセスで、
前記プロセッサが、前記状況情報が前記第２条件に対応する場合、前記補正モジュールをもって、（ｉ）（ｉ−１）前記第２参照データを参照にして、前記車両座標データに対応する座標平面上に前記対象車両を基準に前記参照車両の一つ以上の相対位置を示す一つ以上のイメージ基盤座標を生成するプロセス、及び（ｉ−２）前記比較データを参照にして、前記座標平面上に前記対象車両を基準に前記Ｖ２Ｖ通信車両の周辺車両の一つ以上の相対位置を示す一つ以上の通信基盤座標を生成するプロセスを遂行するようにし、（ｉｉ）前記イメージ基盤座標及び前記通信基盤座標を参照にして、前記第２角度誤差を取得するようにすることを特徴とし、Ｎは、前記Ｖ２Ｖ通信車両の個数であり、Ｋは、１からＮまでの整数（Ｉｎｔｅｇｅｒ）である請求項１３に記載のコンピューティング装置。
【請求項１５】
前記（ＩＩ）プロセスで、
前記プロセッサが、前記状況情報が前記第２条件に対応する場合、前記補正モジュールをもって、前記カメラのＦＯＶ（Ｆｉｅｌｄ−Ｏｆ−Ｖｉｅｗ）に対する情報及び前記第Ｋ特定Ｖ２Ｖ通信モジュールから取得された前記第Ｋ特定比較データを参照にして、（ｉ）前記第Ｋ特定Ｖ２Ｖ通信車両によって予測された前記第Ｋ特定周辺車両の位置を前記座標平面上にマッピング（ｍａｐｐｉｎｇ）するようにすることで、一つ以上の第Ｋ初期座標を生成するようにし、（ｉｉ）前記第Ｋ初期座標を含む、一つ以上の第１初期座標ないし一つ以上の第Ｎ初期座標を参照にして、前記周辺車両の前記通信基盤座標を生成するようにすることを特徴とする請求項１４に記載のコンピューティング装置。
【請求項１６】
前記（ＩＩ）プロセスで、
前記プロセッサが、前記補正モジュールをもって、少なくとも一つの第１特定直線と、少なくとも一つの第２特定直線との間の少なくとも一つの第２差異角度を計算してこれを前記第２角度誤差として出力するようにし、前記第１特定直線は、前記参照車両と前記周辺車両とに同時に含まれる、少なくとも一つの特定参照車両の少なくとも一つの特定通信基盤座標及び前記座標平面上の原点を含む直線であり、前記第２特定直線は、少なくとも一つの特定参照車両の少なくとも一つの特定イメージ基盤座標及び前記座標平面の原点を含む直線であることを特徴とする請求項１４に記載のコンピューティング装置。
【請求項１７】
前記（ＩＩ）プロセスで、
（ｉ）前記参照車両と前記周辺車両とに同時に含まれる特定参照車両、（ｉｉ）前記特定参照車両に対応する特定イメージ基盤座標、及び（ｉｉｉ）前記特定参照車両に対応する特定通信基盤座標が複数である場合、前記プロセッサが次の数式によって前記第２角度誤差を取得し、
【数１８】
2020126647.tif 000020
Ｍは、前記特定参照車両の数を意味し、
【数１９】
2020126647.tif 000021
は、第Ｋ特定参照車両の第Ｋ特定イメージ基盤座標を意味し、
【数２０】
2020126647.tif 000022
は、前記第Ｋ特定参照車両の第Ｋ特定通信基盤座標を意味し、ａkは、前記第Ｋ特定参照車両に割り当てられた重み付け値を意味することを特徴とする請求項１６に記載のコンピューティング装置。
【請求項１８】
前記（Ｉ）プロセスで、
前記プロセッサが、前記対象車両の走行情報が前記対象車両のＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）から取得されると、前記走行情報が直進走行に対する条件Ａに対応するのか、それとも直進ではない走行に対する条件Ｂに対応するのかを決定し、前記走行情報が前記条件Ａに対応する場合、前記第１ＣＮＮまたは前記第２ＣＮＮをもって、前記参照イメージに前記第１ＣＮＮ演算または前記第２ＣＮＮ演算を適用するようにすることを特徴とする請求項１０に記載のコンピューティング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律走行車両に利用するための方法及び装置に関し；より詳しくは、それ自体によって生成された情報及び他の個体によって生成された情報を選択的に利用してカメラの誤整列を補正するための方法及び装置に関する。
【背景技術】
【０００２】
ディープ・コンボリューション・ニューラル・ネットワーク（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解くために９０年代にすでに使われたが、機械学習分野において広く使われるようになったのは最近の研究結果のおかげだ。例えば、毎年開かれるソフトウェアコンテストのイメージネット（ＩｍａｇｅＮｅｔ）イメージ分類試合でＣＮＮは、２０１２年に他の競争者たちに勝って優勝を収めた。それから、ＣＮＮは、機械学習分野で非常に有用なツールとなった。
【０００３】
このようなＣＮＮは、最近、自律走行分野においても広く利用されている。自律走行分野でＣＮＮは、物体検出、フリースペース（Ｆｒｅｅ  Ｓｐａｃｅ）検出及びセマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ  Ｓｅｇｍｅｎｔａｔｉｏｎ）などの動作を遂行することができる。
【０００４】
ＣＮＮは、自律走行車両に搭載されたカメラによって取得されたイメージを演算することで、前述の動作を遂行することができる。一例として、物体検出を遂行する際に、ＣＮＮはカメラによって取得されたイメージに含まれた物体に対して前記イメージに対応する２次元座標系での位置及びクラスを検出して、３次元座標系での前記物体の位置及び物体のクラスを出力することになる。このように２次元座標系で３次元座標系への変換プロセスには、カメラの物理的特性を表すカメラパラメータを利用することになる。
このようなアクセスには、カメラの実際の物理的特性がカメラパラメータに反映されない場合、前記変換プロセスに問題が生じるという致命的な弱点がある。つまり、カメラにかかる衝撃のような外部要因によってカメラの物理的特性が変われば、前記変換プロセスにおいてその前提が間違っていることになるので、適切に変換プロセスが遂行されなくなる。これまでの自律走行についての研究は、イメージプロセッシングに集中しており、このような問題点を解決する方法はあまり研究されていなかったのが現状である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、前述した問題点を解決することを目的とする。
【０００６】
本発明は、それ自体によって生成された情報及び他の個体によって生成された情報を選択的に利用してカメラの誤整列を感知し、補正する方法を提供することにより、外部要因による自律走行のリスクを低減することを他の目的とする。
【０００７】
また、本発明は、それぞれの異なる車両によって生成されたそれぞれの情報を統合して、前記それ自体によって生成された情報と比較できるデータを生成する手法を提供することにより、カメラの誤整列を補正することをまた他の目的とする。
【課題を解決するための手段】
【０００８】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は次の通りである。
【０００９】
本発明の一態様によれば、対象車両によってそれ自体によって生成されたプライマリ（ｐｒｉｍａｒｙ）情報及び他の個体によって生成されたセカンダリ（ｓｅｃｏｎｄａｒｙ）情報（前記プライマリ情報及び前記セカンダリ情報の中の少なくとも一つは、前記対象車両に設置された所定の外部の力によって傾いたカメラのずれた角度を補正するために利用され、前記対象車両の周辺に対する状況情報を参照して選択される）のうちの少なくとも一部を利用して、前記ずれた角度を補正するための方法において、（ａ）コンピューティング装置が、前記対象車両のカメラによって少なくとも一つの参照イメージが取得されると、（ｉ）前記状況情報が道路上の車線と関連した第１条件に対応する場合、第１ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）をもって、前記参照イメージに少なくとも一つの第１ＣＮＮ演算を適用して、前記参照イメージの参照車線に対する情報を含む第１参照データを生成するようにするプロセス、及び（ｉｉ）前記状況情報が前記道路上の他の車両と関連した第２条件に対応する場合、第２ＣＮＮをもって、前記参照イメージに少なくとも一つの第２ＣＮＮ演算を適用して、前記参照イメージの一つ以上の参照車両に対する情報を含む第２参照データを生成するようにするプロセスを遂行する段階；（ｂ）前記コンピューティング装置が、補正モジュールをもって、（ｉ）前記状況情報が前記第１条件に対応する場合、前記第１参照データ及び車両座標データを参照にして、前記参照車線に対応する前記カメラに対する少なくとも一つの第１角度誤差を取得するプロセス、及び（ｉｉ）前記状況情報が前記第２条件に対応する場合、前記第２参照データ及び前記車両座標データを参照にして、前記参照車両に対応する前記カメラに対する少なくとも一つの第２角度誤差を取得するプロセスを遂行するようにする段階；及び（ｃ）前記コンピューティング装置が、前記対象車両に搭載された物理的回転モジュールをもって、（ｉ）前記状況情報が前記第１条件に対応する場合、前記参照車線に対応する前記第１角度誤差を参照にして、前記ずれた角度を調整するプロセス、及び（ｉｉ）前記状況情報が前記第２条件に対応する場合、前記参照車両に対応する前記第２角度誤差を参照にして、前記ずれた角度を調整するプロセスを遂行するようにする段階；を含むことを特徴とする方法が提供される。
【００１０】
一実施例として、  前記（ａ）段階で、前記コンピューティング装置が、前記状況情報が前記第１条件に対応する場合、（ｉ）前記第１ＣＮＮに含まれた少なくとも一つの第１コンボリューションレイヤをもって、前記参照イメージに少なくとも一つの第１コンボリューション演算を適用して少なくとも一つの第１参照特徴マップを生成するようにし、（ｉｉ）前記第１ＣＮＮに含まれた少なくとも一つの第１プーリング（ｐｏｏｌｉｎｇ）レイヤをもって、前記第１参照特徴マップに少なくとも一つの第１プーリング演算を適用して少なくとも一つの第１参照プーリング済み特徴マップを生成するようにし、（ｉｉｉ）前記第１ＣＮＮに含まれた少なくとも一つの第１ＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記第１参照プーリング済み特徴マップに少なくとも一つの第１ＦＣ演算を適用することで、前記参照イメージの前記参照車線に対する検出結果を前記第１参照データとして生成するようにする。
【００１１】
一実施例として、前記（ｂ）段階で、前記コンピューティング装置が、前記状況情報が前記第１条件に対応する場合、前記補正モジュールをもって、（ｉ）前記車両座標データを参照にして、前記車両座標データに対応する座標平面に前記参照車線をマッピング（ｍａｐｐｉｎｇ）するようにし、（ｉｉ）前記参照車線のうちの少なくとも一つと、前記座標平面上の参照軸との間の少なくとも一つの第１差異角度を計算するようにし、（ｉｉｉ）これを前記第１角度誤差として取得するようにする。
【００１２】
一実施例として、前記（ａ）段階で、前記コンピューティング装置が、前記状況情報が前記第２条件に対応する場合、（ｉ）前記第２ＣＮＮに含まれた少なくとも一つの第２コンボリューションレイヤをもって、前記参照イメージに少なくとも一つの第２コンボリューション演算を適用して少なくとも一つの第２参照特徴マップを生成するようにし、（ｉｉ）前記第２ＣＮＮに含まれた少なくとも一つの第２プーリングレイヤをもって、前記第２参照特徴マップに少なくとも一つの第２プーリング演算を適用して少なくとも一つの第２参照プーリング済み特徴マップを生成するようにし、（ｉｉｉ）前記第２ＣＮＮに含まれた少なくとも一つの第２ＦＣレイヤをもって、前記第２参照プーリング済み特徴マップに少なくとも一つの第２ＦＣ演算を適用することで、前記参照イメージの前記参照車両に対する検出結果を前記第２参照データとして生成するようにする。
【００１３】
一実施例として、前記（ａ）段階で、前記コンピューティング装置が、前記状況情報が前記第２条件に対応する場合、前記第２参照データを生成するプロセスと並列的に、前記対象車両から第１閾値以下の距離に位置した一つ以上のＶ２Ｖ（ｖｅｈｉｃｌｅ−ｔｏ−ｖｅｈｉｃｌｅ）通信車両と無線通信を遂行することで、前記Ｖ２Ｖ通信車両から比較データを取得し、前記Ｖ２Ｖ通信車両に属している第１特定Ｖ２Ｖ通信車両ないし第Ｎ特定Ｖ２Ｖ通信車両のうちの第Ｋ特定Ｖ２Ｖ通信車両から取得された、前記比較データのうちの第Ｋ特定比較データは、前記第Ｋ特定Ｖ２Ｖ通信車両が前記対象車両から第２閾値以下の距離に位置した自身の第Ｋ特定周辺車両に対して生成した前記第Ｋ特定周辺車両の位置に対する情報を含み、前記（ｂ）段階で、前記コンピューティング装置が、前記状況情報が前記第２条件に対応する場合、前記補正モジュールをもって、（ｉ）（ｉ−１）前記第２参照データを参照にして、前記車両座標データに対応する座標平面上に前記対象車両を基準に前記参照車両の一つ以上の相対位置を示す一つ以上のイメージ基盤座標を生成するプロセス、及び（ｉ−２）前記比較データを参照にして、前記座標平面上に前記対象車両を基準に前記Ｖ２Ｖ通信車両の周辺車両の一つ以上の相対位置を示す一つ以上の通信基盤座標を生成するプロセスを遂行するようにし、（ｉｉ）前記イメージ基盤座標及び前記通信基盤座標を参照にして、前記第２角度誤差を取得するようにし、Ｎは、前記Ｖ２Ｖ通信車両の個数であり、Ｋは、１からＮまでの整数（Ｉｎｔｅｇｅｒ）である。
【００１４】
一実施例として、前記（ｂ）段階で、前記コンピューティング装置が、前記状況情報が前記第２条件に対応する場合、前記補正モジュールをもって、前記カメラのＦＯＶ（Ｆｉｅｌｄ−Ｏｆ−Ｖｉｅｗ）に対する情報及び前記第Ｋ特定Ｖ２Ｖ通信モジュールから取得された前記第Ｋ特定比較データを参照にして、（ｉ）前記第Ｋ特定Ｖ２Ｖ通信車両によって予測された前記第Ｋ特定周辺車両の位置を前記座標平面上にマッピング（ｍａｐｐｉｎｇ）するようにすることで、一つ以上の第Ｋ初期座標を生成するようにし、（ｉｉ）前記第Ｋ初期座標を含む、一つ以上の第１初期座標ないし一つ以上の第Ｎ初期座標を参照にして、前記周辺車両の前記通信基盤座標を生成するようにする。
【００１５】
一実施例として、前記（ｂ）段階で、前記コンピューティング装置が、前記補正モジュールをもって、少なくとも一つの第１特定直線と、少なくとも一つの第２特定直線との間の少なくとも一つの第２差異角度を計算してこれを前記第２角度誤差として出力するようにし、前記第１特定直線は、前記参照車両と前記周辺車両とに同時に含まれる、少なくとも一つの特定参照車両の少なくとも一つの特定通信基盤座標及び前記座標平面上の原点を含む直線であり、前記第２特定直線は、少なくとも一つの特定参照車両の少なくとも一つの特定イメージ基盤座標及び前記座標平面の原点を含む直線である。
【００１６】
一実施例として、前記（ｂ）段階で、（ｉ）前記参照車両と前記周辺車両とに同時に含まれる特定参照車両、（ｉｉ）前記特定参照車両に対応する特定イメージ基盤座標、及び（ｉｉｉ）前記特定参照車両に対応する特定通信基盤座標が複数である場合、前記コンピューティング装置が次の数式によって前記第２角度誤差を取得し、
【００１７】
【数１】
2020126647.tif 000003
Ｍは、前記特定参照車両の数を意味し、
【００１８】
【数２】
2020126647.tif 000004
は、第Ｋ特定参照車両の第Ｋ特定イメージ基盤座標を意味し、
【００１９】
【数３】
2020126647.tif 000005
は、前記第Ｋ特定参照車両の第Ｋ特定通信基盤座標を意味し、ａkは、前記第Ｋ特定参照車両に割り当てられた重み付け値を意味する。
【００２０】
一実施例として、前記（ａ）段階で、前記コンピューティング装置が、前記対象車両の走行情報が前記対象車両のＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）から取得されると、前記走行情報が直進走行に対する条件Ａに対応するのか、それとも直進ではない走行に対する条件Ｂに対応するのかを決定し、前記走行情報が前記条件Ａに対応する場合、前記第１ＣＮＮまたは前記第２ＣＮＮをもって、前記参照イメージに前記第１ＣＮＮ演算または前記第２ＣＮＮ演算を適用するようにする。
【００２１】
本発明の他の態様によれば、対象車両によってそれ自体によって生成されたプライマリ（ｐｒｉｍａｒｙ）情報及び他の個体によって生成されたセカンダリ（ｓｅｃｏｎｄａｒｙ）情報（前記プライマリ情報及び前記セカンダリ情報の中の少なくとも一つは、前記対象車両に設置された所定の外部の力によって傾いたカメラのずれた角度を補正するために利用され、前記対象車両の周辺に対する状況情報を参照して選択される）のうちの少なくとも一部を利用して前記ずれた角度を補正するためのコンピューティング装置において、インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）前記対象車両のカメラによって少なくとも一つの参照イメージが取得されると、前記状況情報が道路上の車線と関連した第１条件に対応する場合、第１ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）をもって、前記参照イメージに少なくとも一つの第１ＣＮＮ演算を適用して、前記参照イメージの参照車線に対する情報を含む第１参照データを生成するようにし、前記状況情報が前記道路上の他の車両と関連した第２条件に対応する場合、第２ＣＮＮをもって、前記参照イメージに少なくとも一つの第２ＣＮＮ演算を適用して、前記参照イメージの一つ以上の参照車両に対する情報を含む第２参照データを生成するようにするプロセス、（ＩＩ）補正モジュールをもって、前記状況情報が前記第１条件に対応する場合、前記第１参照データ及び車両座標データを参照にして、前記参照車線に対応する前記カメラに対する少なくとも一つの第１角度誤差を取得するようにし、前記状況情報が前記第２条件に対応する場合、前記第２参照データ及び前記車両座標データを参照にして、前記参照車両に対応する前記カメラに対する少なくとも一つの第２角度誤差を取得するようにするプロセス、及び（ＩＩＩ）前記対象車両に搭載された物理的回転モジュールをもって、前記状況情報が前記第１条件に対応する場合、前記参照車線に対応する前記第１角度誤差を参照にして、前記ずれた角度を調整するようにし、前記状況情報が前記第２条件に対応する場合、前記参照車両に対応する前記第２角度誤差を参照にして、前記ずれた角度を調整するようにするプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とするコンピューティング装置が提供される。
一実施例として、前記（Ｉ）プロセスで、前記プロセッサが、前記状況情報が前記第１条件に対応する場合、（ｉ）前記第１ＣＮＮに含まれた少なくとも一つの第１コンボリューションレイヤをもって、前記参照イメージに少なくとも一つの第１コンボリューション演算を適用して少なくとも一つの第１参照特徴マップを生成するようにし、（ｉｉ）前記第１ＣＮＮに含まれた少なくとも一つの第１プーリング（ｐｏｏｌｉｎｇ）レイヤをもって、前記第１参照特徴マップに少なくとも一つの第１プーリング演算を適用して少なくとも一つの第１参照プーリング済み特徴マップを生成するようにし、（ｉｉｉ）前記第１ＣＮＮに含まれた少なくとも一つの第１ＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）レイヤをもって、前記第１参照プーリング済み特徴マップに少なくとも一つの第１ＦＣ演算を適用することで、前記参照イメージの前記参照車線に対する検出結果を前記第１参照データとして生成するようにする。
【００２２】
一実施例として、前記（ＩＩ）プロセスで、前記プロセッサが、前記状況情報が前記第１条件に対応する場合、前記補正モジュールをもって、（ｉ）前記車両座標データを参照にして、前記車両座標データに対応する座標平面に前記参照車線をマッピング（ｍａｐｐｉｎｇ）するようにし、（ｉｉ）前記参照車線のうちの少なくとも一つと、前記座標平面上の参照軸との間の少なくとも一つの第１差異角度を計算するようにし、（ｉｉｉ）これを前記第１角度誤差として取得するようにする。
【００２３】
一実施例として、前記（Ｉ）プロセスで、前記プロセッサが、前記状況情報が前記第２条件に対応する場合、（ｉ）前記第２ＣＮＮに含まれた少なくとも一つの第２コンボリューションレイヤをもって、前記参照イメージに少なくとも一つの第２コンボリューション演算を適用して少なくとも一つの第２参照特徴マップを生成するようにし、（ｉｉ）前記第２ＣＮＮに含まれた少なくとも一つの第２プーリングレイヤをもって、前記第２参照特徴マップに少なくとも一つの第２プーリング演算を適用して少なくとも一つの第２参照プーリング済み特徴マップを生成するようにし、（ｉｉｉ）前記第２ＣＮＮに含まれた少なくとも一つの第２ＦＣレイヤをもって、前記第２参照プーリング済み特徴マップに少なくとも一つの第２ＦＣ演算を適用することで、前記参照イメージの前記参照車両に対する検出結果を前記第２参照データとして生成するようにする。
【００２４】
一実施例として、前記（Ｉ）プロセスで、前記プロセッサが、前記状況情報が前記第２条件に対応する場合、前記第２参照データを生成するプロセスと並列的に、前記対象車両から第１閾値以下の距離に位置した一つ以上のＶ２Ｖ（ｖｅｈｉｃｌｅ−ｔｏ−ｖｅｈｉｃｌｅ）通信車両と無線通信を遂行することで、前記Ｖ２Ｖ通信車両から比較データを取得し、前記Ｖ２Ｖ通信車両に属している第１特定Ｖ２Ｖ通信車両ないし第Ｎ特定Ｖ２Ｖ通信車両のうちの第Ｋ特定Ｖ２Ｖ通信車両から取得された、前記比較データのうちの第Ｋ特定比較データは、前記第Ｋ特定Ｖ２Ｖ通信車両が前記対象車両から第２閾値以下の距離に位置した自身の第Ｋ特定周辺車両に対して生成した前記第Ｋ特定周辺車両の位置に対する情報を含み、前記（ＩＩ）プロセスで、前記プロセッサが、前記状況情報が前記第２条件に対応する場合、前記補正モジュールをもって、（ｉ）（ｉ−１）前記第２参照データを参照にして、前記車両座標データに対応する座標平面上に前記対象車両を基準に前記参照車両の一つ以上の相対位置を示す一つ以上のイメージ基盤座標を生成するプロセス、及び（ｉ−２）前記比較データを参照にして、前記座標平面上に前記対象車両を基準に前記Ｖ２Ｖ通信車両の周辺車両の一つ以上の相対位置を示す一つ以上の通信基盤座標を生成するプロセスを遂行するようにし、（ｉｉ）前記イメージ基盤座標及び前記通信基盤座標を参照にして、前記第２角度誤差を取得するようにし、Ｎは、前記Ｖ２Ｖ通信車両の個数であり、Ｋは、１からＮまでの整数（Ｉｎｔｅｇｅｒ）である。
【００２５】
一実施例として、前記（ＩＩ）プロセスで、前記プロセッサが、前記状況情報が前記第２条件に対応する場合、前記補正モジュールをもって、前記カメラのＦＯＶ（Ｆｉｅｌｄ−Ｏｆ−Ｖｉｅｗ）に対する情報及び前記第Ｋ特定Ｖ２Ｖ通信モジュールから取得された前記第Ｋ特定比較データを参照にして、（ｉ）前記第Ｋ特定Ｖ２Ｖ通信車両によって予測された前記第Ｋ特定周辺車両の位置を前記座標平面上にマッピング（ｍａｐｐｉｎｇ）するようにすることで、一つ以上の第Ｋ初期座標を生成するようにし、（ｉｉ）前記第Ｋ初期座標を含む、一つ以上の第１初期座標ないし一つ以上の第Ｎ初期座標を参照にして、前記周辺車両の前記通信基盤座標を生成するようにする。
【００２６】
一実施例として、前記（ＩＩ）プロセスで、前記プロセッサが、前記補正モジュールをもって、少なくとも一つの第１特定直線と、少なくとも一つの第２特定直線との間の少なくとも一つの第２差異角度を計算してこれを前記第２角度誤差として出力するようにし、前記第１特定直線は、前記参照車両と前記周辺車両とに同時に含まれる、少なくとも一つの特定参照車両の少なくとも一つの特定通信基盤座標及び前記座標平面上の原点を含む直線であり、前記第２特定直線は、少なくとも一つの特定参照車両の少なくとも一つの特定イメージ基盤座標及び前記座標平面の原点を含む直線である。
【００２７】
一実施例として、前記（ＩＩ）プロセスで、（ｉ）前記参照車両と前記周辺車両とに同時に含まれる特定参照車両、（ｉｉ）前記特定参照車両に対応する特定イメージ基盤座標、及び（ｉｉｉ）前記特定参照車両に対応する特定通信基盤座標が複数である場合、前記プロセッサが次の数式によって前記第２角度誤差を取得し、
【００２８】
【数４】
2020126647.tif 000006
Ｍは、前記特定参照車両の数を意味し、
【００２９】
【数５】
2020126647.tif 000007
は、第Ｋ特定参照車両の第Ｋ特定イメージ基盤座標を意味し、
【００３０】
【数６】
2020126647.tif 000008
は、前記第Ｋ特定参照車両の第Ｋ特定通信基盤座標を意味し、ａkは、前記第Ｋ特定参照車両に割り当てられた重み付け値を意味する。
【００３１】
一実施例として、前記（Ｉ）プロセスで、前記プロセッサが、前記対象車両の走行情報が前記対象車両のＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）から取得されると、前記走行情報が直進走行に対する条件Ａに対応するのか、それとも直進ではない走行に対する条件Ｂに対応するのかを決定し、前記走行情報が前記条件Ａに対応する場合、前記第１ＣＮＮまたは前記第２ＣＮＮをもって、前記参照イメージに前記第１ＣＮＮ演算または前記第２ＣＮＮ演算を適用するようにする。
【００３２】
この他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取可能な記録媒体がさらに提供される。
【発明の効果】
【００３３】
本発明は、それ自体によって生成された情報及び他の個体によって生成された情報を選択的に利用してカメラの誤整列を感知し、補正する方法を提供することにより、外部要因による自律走行のリスクを低減できる効果がある。
【００３４】
また、本発明は、それぞれの異なる車両によって生成されたそれぞれの情報を統合して、前記それ自体によって生成された情報と比較できるデータを生成する方法を提供することにより、カメラの誤整列を補正できる効果がある。
【図面の簡単な説明】
【００３５】
本発明の前記及び他の目的及び特長は、次の添付図面とともに与えられた好ましい実施例の説明において明らかになるであろう。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
【図１】図１は、本発明の一実施例に係るそれ自体によって生成された情報及び他の個体によって生成された情報を選択的に利用してカメラの誤整列を補正する方法を遂行するコンピューティング装置の構成を概略的に示した図面である。
【図２】図２は、本発明の一実施例に係るそれ自体によって生成された情報及び他の個体によって生成された情報を利用してカメラの誤整列を補正する方法を概略的に示した図面である。
【図３】図３は、本発明の一実施例に係るそれ自体によって生成された情報及び他の個体によって生成された情報を選択的に利用してカメラの誤整列を補正するために利用される、第１角度誤差が取得される方式を概略的に示した図面である。
【図４】図４は、本発明の一実施例に係るそれ自体によって生成された情報及び他の個体によって生成された情報を選択的に利用してカメラの誤整列を補正するために利用される、第２角度誤差が取得される方式を概略的に示した図面である。
【発明を実施するための形態】
【００３６】
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。
【００３７】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００３８】
さらに、本発明は、本明細書に示された実施例のあらゆる可能な組み合わせを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は、本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似した参照符号は、いくつかの側面にかけて同一であるか類似した機能を指称する。
【００３９】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００４０】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明する。
【００４１】
図１は、本発明に係る一実施例によりＶ２Ｖ（ｖｅｈｉｃｌｅ−ｔｏ−ｖｅｈｉｃｌｅ）情報フュージョンを利用した協業診断（ｃｏｏｐｅｒａｔｉｖｅ  ｄｉａｇｎｏｓｔｉｃ）機能によってカメラの誤整列を感知し、補正する方法を遂行するコンピューティング装置の構成を概略的に示した図面である。
【００４２】
図１を参照すれば、前記コンピューティング装置１００は、後で詳しく説明する構成要素である第１ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）１３０、第２ＣＮＮ１４０及び補正モジュール１５０を含み得る。前記第１ＣＮＮ１３０、前記第２ＣＮＮ１４０、及び前記補正モジュール１５０の入出力及び演算プロセスはそれぞれ少なくとも一つの通信部１１０及び少なくとも一つのプロセッサ１２０によって行われ得る。ただし、図１では、前記通信部１１０と、前記プロセッサ１２０との具体的な連結関係を省略した。この際、メモリ１１５は、後述されるいくつかのインストラクションを格納した状態でもあり得、前記プロセッサ１２０は、前記メモリ１１５に格納された前記インストラクションを実行するように設定され、後から説明されるインストラクションを実行することで本発明の各プロセスを遂行することができる。このようにコンピューティング装置１００が描写されたところで、前記コンピューティング装置１００が本発明を実施するためのプロセッサ、メモリ、ミディアム（ｍｅｄｉｕｍ）、または他のコンピューティング構成要素が統合された形態である統合プロセッサを含む場合を排除するものではない。
【００４３】
以上、本発明の一実施例に係るそれ自体によって生成された情報及び他の個体によって生成された情報を選択的に利用してカメラの誤整列を補正する方法を遂行するコンピューティング装置１００の構成について説明した。以下、この発明の誤整列を補正する方法そのものについて具体的に説明する。
【００４４】
図２は、本発明の一実施例に係る前記それ自体によって生成された情報及び前記他の個体に生成された情報を選択的に利用してカメラの誤整列を補正する方法の流れを概略的に示した図面である。
【００４５】
図２を参照すると、前記コンピューティング装置１００は、対象車両に設置されたカメラによって、少なくとも一つの参照イメージを取得することができる（Ｓ０１）。その後、前記コンピューティング装置１００は、後に説明する前記対象車両の状況情報が第１条件に対応する場合、Ｓ０２−１段階、Ｓ０３−１段階及びＳ０４−１段階に対応する第１プロセスを遂行することができる。これと異なって、前記状況情報が第２条件に対応する場合、前記コンピューティング装置１００は、Ｓ０２−２段階、Ｓ０３−２段階及びＳ０４−２段階に対応する第２プロセスを遂行することができる。つまり、前記第１プロセス及び前記第２プロセスが図２に示されたように、二種類のプロセスが前記状況情報によって選択的に遂行され得る。ただし、前記二種類のプロセスが並列的に一緒に遂行される場合も可能であろう。
【００４６】
前記第１プロセスに対して、前記状況情報が前記第１条件に対応する場合、前記コンピューティング装置１００は、前記第１ＣＮＮ１３０をもって、前記参照イメージに少なくとも一つの第１ＣＮＮ演算を適用して、前記参照イメージの参照車線に対する情報を含む第１参照データを生成するようにすることができる（Ｓ０２−１）。そして、前記コンピューティング装置１００は、前記補正モジュール１５０をもって、前記第１参照データ及び車両座標データを参照にして、前記参照車線に対応する前記カメラに対する少なくとも一つの第１角度誤差を取得するようにすることができる（Ｓ０３−１）。その後、前記コンピューティング装置１００は、前記対象車両に搭載された物理的回転モジュール（図示せず）をもって、前記第１角度誤差を参照にして前記カメラのずれた角度を調整するようにすることができる（Ｓ０４−１）。この際、前記ずれた角度は、前記カメラにかかる物理的衝突のような外部要因により所定の外部の力によって生じたものであり得る。
【００４７】
これと異なって、前記第２プロセスに対して、前記状況情報が前記第２条件に対応する場合、前記コンピューティング装置１００は、前記第２ＣＮＮ１４０をもって、前記参照イメージに少なくとも一つの第２ＣＮＮ演算を適用して、前記参照イメージの参照車両に対する情報を含む第２参照データを生成するようにすることができる（Ｓ０２−２）。そして、前記コンピューティング装置１００は、前記補正モジュール１５０をもって、前記第２参照データ及び車両座標データを参照にして、前記参照車両に対応する前記カメラに対する少なくとも一つの第２角度誤差を取得するようにすることができる（Ｓ０３−２）。その後、前記コンピューティング装置１００は、前記対象車両に搭載された物理的回転モジュール（図示せず）をもって、前記第２角度誤差を参照にして前記ずれた角度を調整するようにすることができる（Ｓ０４−２）。
【００４８】
以上、本発明の誤整列を補正する方法について簡略的に説明した。以下、前記方法についてさらに具体的に説明する。
【００４９】
まず、前記状況情報は、前記対象車両の周辺に車線の数が充分であるかどうか、つまり前記車線の数が第１閾値以上であるかに対する情報、及び前記対象車両周辺の車両の数が充分であるか、つまり前記対象車周辺の車両の数が第２閾値以上であるかに対する情報を含み得る。この際、前記状況情報の前記第１条件は、前記対象車両周辺の車線の数が、前記第１閾値以上である場合を意味し得る。後で説明するが、前記第１プロセスは、前記参照車線に対する情報を利用して遂行されるため、前記状況情報の前記第１条件が要求される。また、前記状況情報の前記第２条件は、前記対象車両周辺の車両の数が、前記第２閾値以上である場合を意味し得る。また、後で説明するが、前記第２プロセスは、前記参照車両に対する情報を利用して遂行されるため、前記状況情報の前記第２条件が要求される。
【００５０】
前述のように利用される前記状況情報は、様々な方法によって取得され得る。一例として、前記第１ＣＮＮ１３０及び前記第２ＣＮＮ１４０以外のやや単純な構造の他のニューラルネットワークが、前記コンピューティング装置１００に含まれ、前記対象車両の周辺のイメージを取得することができ、前記対象車両の周辺に対する大まかな情報を検出することができる。他の例として、前記対象車両の位置は、サーバに伝達され得、前記サーバは、前記対象車両の前記状況情報を前記コンピューティング装置１００に伝達することができる。さらに単純には、前記対象車両の搭乗者が周辺を確認し、前記状況情報を前記コンピューティング装置１００に入力することができる。追加的に、前記状況情報は、前記第１条件及び前記第２条件の両方に対応し得る。このような場合、前記第１プロセス及び前記第２プロセスの一つが任意で選択されるか、前記搭乗者によって選ばれることができる。
【００５１】
以下、前記対象車両の周辺の車線を基盤に遂行される第１プロセスについて、図３を参照して説明することにする。
【００５２】
図３は、本発明の一実施例に係るそれ自体によって生成された情報及び前記他の個体によって生成された情報を選択的に利用して前記カメラの前記誤整列を補正するために利用される、第１角度誤差が取得される方式を概略的に示した図面である。
【００５３】
図３を参照すると、前記コンピューティング装置１００は、前記第１ＣＮＮ１３０及び前記補正モジュール１５０によって、前記第１角度誤差を取得することを確認することができる。具体的に、前記コンピューティング装置１００は、前記第１ＣＮＮ１３０に含まれた少なくとも一つの第１コンボリューションレイヤ１３１をもって、前記参照イメージに少なくとも一つの第１コンボリューション演算を適用して少なくとも一つの第１参照特徴マップを生成するようにする。その後、前記コンピューティング装置１００は、前記第１ＣＮＮ１３０に含まれた少なくとも一つの第１プーリングレイヤ１３２をもって、第１ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）１３４から第１ＲＯＩ（Ｒｅｇｉｏｎ−Ｏｆ−Ｉｎｔｅｒｅｓｔ）情報を取得するようにし、前記第１参照特徴マップに少なくとも一つの第１プーリング演算を適用して、少なくとも一つの第１参照プーリング済み特徴マップを生成するようにする。そして、前記コンピューティング装置１００が、前記第１ＣＮＮ１３０に含まれた少なくとも一つの第１ＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）レイヤ１３３をもって、前記第１参照プーリング済み特徴マップに少なくとも一つの第１ＦＣ演算を適用することで、前記参照イメージの前記参照車線に対する検出結果を前記第１参照データとして生成するようにする。以上のプロセスは、イメージ上の物体を検出するために利用される「Ｆａｓｔｅｒ  Ｒ−ＣＮＮ（Ｒｅｇｉｏｎ−ｂａｓｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）」の広く知られている構造と類似していることから、通常の技術者が容易に理解できるであろう。
【００５４】
その後、前記コンピューティング装置１００が、前記補正モジュール１５０をもって、前記車両座標データに対応する座標平面に前記参照車線をマッピング（ｍａｐｐｉｎｇ）するようにする。一例として、前記車両座標データは、前記対象車両に設置された前記カメラのカメラパラメータに対する情報を含み得る。この場合、前記カメラパラメータを用いた広く知られているイメージプロセッシング技術を用いて、前記対象車両の位置を原点とする前記座標平面に前記参照車線がマップッピングされる。その後、前記コンピューティング装置１００は、前記参照車線のうちの前記対象車両と最も近い特定参照車線１５２を検出し、前記特定参照車線１５２と、前記座標平面上の予め設定された参照軸１５１との間の第１差異角度を計算するようにする。前記参照軸１５１は、最適の角度でセッティングされた前記カメラによって撮影されたイメージにおいて前記対象車両に平行して適切に整列された車線を設定して生成された、前記座標平面上の直線に平行な軸であり得る。前記参照軸１５１と、前記特定参照車線１５２との間の前記第１差異角度を計算することによって、現在状態の前記カメラの角度が前記最適の角度を基準にどれほど外れているかを計算することができる。前記補正モジュール１５０は、前記第１差異角度を前記第１角度誤差として出力し、前記コンピューティング装置１００は、前記物理的回転モジュールをもって、前記第１角度誤差を参照にして前記カメラの角度を調整するようにすることができる。
【００５５】
ただし、こうした第１プロセスは、前記カメラが前記参照イメージを撮影する時点に前記対象車両が車線に平行に走行している場合にのみ適切に遂行されることができる。これによって、前記コンピューティング装置１００は、前記対象車両のＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）から前記対象車両の走行情報を取得し、前記走行情報が、前記対象車両が第３閾値の時間の間に継続して直進する状況を示す条件Ａに対応するか、または前記条件Ａと反対の場合である条件Ｂに対応するかを決定し、前記走行情報が前記条件Ａに対応する場合、前記第１ＣＮＮ１３０をもって、前記参照イメージに前記第１ＣＮＮ演算を適用して前記第１プロセスを遂行できるようにすることができる。
【００５６】
以上、前記第１プロセスについて説明した。次に、前記対象車周辺の車両の位置を基盤に遂行される前記第２プロセスに対して、図４を参照にして説明する。
【００５７】
図４は、本発明の一実施例に係るそれ自体によって生成された情報及び前記他の個体によって生成された情報を選択的に利用して前記カメラの前記誤整列を補正するために利用される、第２角度誤差が取得される方式を概略的に示した図面である。
【００５８】
図４を参照すると、前記コンピューティング装置１００は、前記第２ＣＮＮ１４０及び前記補正モジュール１５０によって、前記第２角度誤差を取得することを確認することができる。具体的に、前記コンピューティング装置１００が、前記第２ＣＮＮ１４０に含まれた少なくとも一つの第２コンボリューションレイヤ１４１をもって、前記参照イメージに少なくとも一つの第２コンボリューション演算を適用して少なくとも一つの第２参照特徴マップを生成するようにする。その後、前記コンピューティング装置１００が、前記第２ＣＮＮ１４０に含まれた少なくとも一つの第２プーリングレイヤ１４２をもって、第２ＲＰＮ１４４から第２ＲＯＩ情報を取得するようにし、前記第２参照特徴マップに少なくとも一つの第２プーリング演算を適用して少なくとも一つの第２参照プーリング済み特徴マップを生成するようにする。そして、前記コンピューティング装置１００が、前記第２ＣＮＮ１４０に含まれた少なくとも一つの第２ＦＣレイヤ１４３をもって、前記第２参照プーリング済み特徴マップに少なくとも一つの第２ＦＣ演算を適用することで、前記参照イメージの前記参照車両に対する検出結果を前記第２参照データとして生成するようにする。その際、前記参照車両は、前記対象車両周辺の車両のうちの前記参照イメージ上に撮影された少なくとも一部であり得る。一例として、図４に示したように、前記カメラが前記対象車両の前方に設置されている場合、前記対象車両の前方に位置した、第１参照車両３００、第２参照車両４００及び第３参照車両５００は、前記参照車両として撮影されたものであり得る。
【００５９】
前記第２プロセスを遂行するために、前記第２参照データ以外にも一つのデータ、つまり前記比較データがさらに必要である。前記比較データは、前記対象車両２００周辺の車両のうちの少なくとも一部であるＶ２Ｖ通信車両から取得される。便宜のために、第１ないし第ＮのＶ２Ｖ通信車両が存在すると想定し、この際、Ｎは、１以上の整数（ｉｎｔｅｇｅｒ）であるとする。
【００６０】
前記多数のＶ２Ｖ通信車両から前記比較データを取得したこのような例を説明するために、図４を参照する。図４を参照すると、第Ｋ特定Ｖ２Ｖ通信車両６００及び第Ｌ特定Ｖ２Ｖ通信車両７００を確認することができる。この際、Ｋ及びＬは、１からＮまでの整数である。前記第Ｋ特定Ｖ２Ｖ通信車両６００及び前記第Ｌ特定Ｖ２Ｖ通信車両７００は、これらの前方にカメラが設置されている場合、前記対象車両２００、前記第１参照車両３００、前記第２参照車両４００及び前記第３参照車両５００のような周辺車両の位置を計算することができる。前記第Ｋ特定Ｖ２Ｖ通信車両６００及び前記第Ｌ特定Ｖ２Ｖ通信車両７００は、これらの周辺車両、つまり前記対象車両２００、前記第１参照車両３００、前記第２参照車両４００及び前記第３参照車両５００の位置を、第Ｋ特定比較データ及び第Ｌ特定比較データとして計算し、これを前記対象車両２００の前記コンピューティング装置１００に伝達することができる。このようなプロセスを遂行して、第１ないし第Ｎ特定比較データを含む前記比較データが取得され得る。
【００６１】
その後、前記コンピューティング装置１００が、前記補正モジュール１５０をもって、前記第２参照データ及び前記比較データをそれぞれ参照して、二種類の座標、つまりイメージ基盤座標及び通信基盤座標をそれぞれ生成するようにすることができる。つまり、前記コンピューティング装置１００は、前記補正モジュール１５０をもって、前記第２参照データを参照にして、前記対象車両を基準に前記参照車両の一つ以上の相対位置を示す、前記座標平面上の前記イメージ基盤座標を生成するようにすることができる。簡単に言えば、前記イメージ基盤座標は、前記現状の前記カメラのずれた角度を利用して予測された前記参照車両の位置を示すことができる。前記プロセスと並列して、前記コンピューティング装置１００が、前記補正モジュール１５０をもって、前記比較データを参照にして、前記座標平面上に前記対象車両を基準に前記Ｖ２Ｖ通信車両の周辺車両の一つ以上の相対位置を示す一つ以上の前記通信基盤座標を生成することができる。このような通信基盤座標は、前記Ｖ２Ｖ通信車両によって予測された前記Ｖ２Ｖ通信車両の前記周辺車両の位置を示すことができ、前記イメージ基盤座標と比較するために利用され得る。
【００６２】
前記通信基盤座標が取得される方式に対し、図４を再び参照してさらに具体的に説明する。前記コンピューティング装置１００が、前記補正モジュール１５０をもって、前記カメラのＦＯＶ（Ｆｉｅｌｄ−Ｏｆ−Ｖｉｅｗ）に対する情報、前記第Ｋ特定比較データ及び前記第Ｌ特定比較データを参照にして、前記第Ｋ特定Ｖ２Ｖ通信車両の周辺に位置した第Ｋ特定周辺車両の位置及び前記第Ｌ特定Ｖ２Ｖ通信車両の周辺に位置した第Ｌ特定周辺車両の位置を前記座標平面上にそれぞれマッピング（ｍａｐｐｉｎｇ）するようにすることで、一つ以上の第Ｋ初期座標及び第Ｌ初期座標をそれぞれ生成するようにする。第１ないし第Ｎ初期座標が取得されたことによって、前記コンピューティング装置１００は、前記補正モジュール１５０をもって、前記Ｖ２Ｖ通信車両の前記周辺車両それぞれに対応する前記初期座標のそれぞれを統合することで、前記通信基盤座標を生成するようにすることができる。ここで、前記第１ないし前記第Ｎ初期座標は、前記第Ｋ初期座標及び前記第Ｌ初期座標を含むことができる。
【００６３】
この際、前記第Ｋ特定比較データは、前記対象車両２００、前記第１参照車両３００、前記第２参照車両４００及び前記第３参照車両５００のそれぞれの予測座標
【００６４】
【数７】
2020126647.tif 000009
を含み得、前記第Ｌ特定比較データは、前記対象車両２００、前記第１参照車両３００、前記第２参照車両４００及び前記第３参照車両５００のそれぞれの予測座標
【００６５】
【数８】
2020126647.tif 000010
を含み得る。これらの予測座標は、前記座標平面にマップピングされ、前記第Ｋ初期座標及び前記第Ｌ初期座標となり得る。前記座標平面の原点は、前記対象車両２００の位置であるので、前記第１参照車両３００、前記第２参照車両４００及び前記第３参照車両５００の第Ｋ初期座標は、前記第１参照車両３００、前記第２参照車両４００及び前記第３参照車両５００の予測座標から前記対象車両２００の予測座標を引いて計算され得、前記第Ｌ初期座標も類似した方式で計算され得る。つまり、前記第１参照車両３００、前記第２参照車両４００及び前記第３参照車両５００の前記第Ｋ初期座標は、
【００６６】
【数９】
2020126647.tif 000011
で計算され得、前記第Ｌ初期座標も同じ方式によって
【００６７】
【数１０】
2020126647.tif 000012
で計算され得る。
【００６８】
その後、前記通信基盤座標のうちの一部、つまり前記第１参照車両３００、前記第２参照車両４００及び前記第３参照車両５００に対する特定通信基盤座標は、前記初期座標の一部、つまり前記第１参照車両３００、前記第２参照車両４００及び前記第３参照車両５００に対する特定初期座標を統合して生成され得る。前記特定初期座標が統合される方式を以下に説明するが、前記第１参照車両３００、前記第２参照車両４００及び前記第３参照車両５００に対応する、前記第Ｋ初期座標及び前記第Ｌ初期座標のみが存在するものと想定する。
【００６９】
簡単には、前記第１参照車両３００、前記第２参照車両４００及び前記第３参照車両５００に対する前記通信基盤座標のうちの前記一部は、前記第１参照車両３００、前記第２参照車両４００及び前記第３参照車両５００それぞれに対するそれぞれの前記第Ｋ初期座標及びそれぞれの前記第Ｌ初期座標の各ペアを平均して、
【００７０】
【数１１】
2020126647.tif 000013
で計算され得る。前記実施例において、単に平均を出したが、加重平均のような他のさらに複雑な方法が用いられ得る。
【００７１】
前記通信基盤座標が生成されると、前記コンピューティング装置１００は、前記イメージ基盤座標及びこれに対応する前記通信基盤座標を参照して前記第２角度誤差を取得することができる。具体的に、前記コンピューティング装置１００が、前記補正モジュール１５０をもって、少なくとも一つの第１特定直線と、少なくとも一つの第２特定直線との間の少なくとも一つの第２差異角度を計算してこれを前記第２角度誤差として出力するようにし、前記第１特定直線は、前記参照車両と前記周辺車両とに同時に含まれる、少なくとも一つの特定参照車両の少なくとも一つの特定通信基盤座標及び前記座標平面上の原点を含む直線であり、前記第２特定直線は、少なくとも一つの特定参照車両の少なくとも一つの特定イメージ基盤座標及び前記座標平面の原点を含む直線である。複数の特定参照車両が存在し、それによって特定通信基盤座標及び特定イメージ基盤座標が複数存在する場合を説明するために、図４を再び参照することにする。
【００７２】
図４を参照すれば、前記第１参照車両３００、前記第２参照車両４００及び前記第３参照車両５００に対する、第１特定通信基盤座標３０１、第２特定通信基盤座標４０１及び第３特定通信基盤座標５０１と、第１特定イメージ基盤座標３０２、第２特定イメージ基盤座標４０２及び第３特定イメージ基盤座標５０２とを確認することができ、前記第１特定通信基盤座標、前記第２特定通信基盤座標及び前記第３通信基盤座標をそれぞれ含む第１直線と、前記第１特定イメージ基盤座標、前記第２特定イメージ基盤座標及び前記第３特定イメージ基盤座標をそれぞれ含む第２直線との間の差異角度（θ1、θ2及びθ3）が計算されたことを確認することができる。前記第２角度誤差は、前記差異角度の平均として計算され得る。
【００７３】
以上のプロセスは、次の数式のように一般化され得る。
【００７４】
【数１２】
2020126647.tif 000014
この際、Ｍは、前記Ｖ２Ｖ通信車両の前記周辺車両及び前記参照車両に同時に該当する前記特定参照車両の個数を意味し、
【００７５】
【数１３】
2020126647.tif 000015
は、第Ｋ特定参照車両の第Ｋ特定イメージ基盤座標を意味する。また、
【００７６】
【数１４】
2020126647.tif 000016
は、前記第Ｋ特定参照車両の第Ｋ特定通信基盤座標を意味し、ａkは、前記第Ｋ特定参照車両に割り当てられる重み付け値を意味し得る。
【００７７】
以上で説明された前記第２プロセスは、前記参照イメージが取得された時点と前記比較データが生成された時点との間の差が第４閾値以下である場合に遂行され得るであろう。また、前記対象車両が直進していない場合、前記第２プロセスの正確度が落ちるので、前記第１プロセスと類似して、前記対象車両の前記走行情報が直進走行の前記Ａ条件に対応する場合に前記第２プロセスが遂行され得る。
【００７８】
以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータ読取り可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって利用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
【００７９】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
【００８０】
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020126647.tif 000023
【図２】
2020126647.tif 000024
【図３】
2020126647.tif 000025
【図４】
2020126647.tif 000026