(57)【要約】      （修正有）【課題】走行環境にかかわらず自動車間通信（Ｖｅｈｉｃｌｅ  Ｔｏ  Ｖｅｈｉｃｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）を利用して少なくとも一つのブラインドスポット警報を行えるようにする。【解決手段】第１自動車の後方映像を後方カメラが取得すると、第１ブラインドスポット警報装置は、後方映像をブラインドスポットモニタに伝送することによって、後方映像に近隣の各自動車が位置するのかを確認する第１ブラインドスポットモニタリング情報を出力させる。第２自動車がブラインドスポットに位置するのかを確認する第２ブラインドスポットモニタリング情報が第２自動車の第２ブラインドスポット警報装置から自動車間通信を介して取得されると、第１ブラインドスポット警報装置が、第１及び第２ブラインドスポットモニタリング情報を参照してブラインドスポットに近隣の自動車及び第２自動車のうち少なくとも一つが位置していることを警報する。【選択図】図２
2020123339.tif 000002
【特許請求の範囲】
【請求項１】
自動車間通信（Ｖｅｈｉｃｌｅ  Ｔｏ  Ｖｅｈｉｃｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）を基盤として自動車のブラインドスポット（Ｂｌｉｎｄ  Ｓｐｏｔ）を警報（Ｗａｒｎｉｎｇ）する方法において、
（ａ）第１自動車の後方領域（Ｒｅａｒ  Ａｒｅａ）を撮影する後方カメラから前記第１自動車の後方映像（Ｒｅａｒ  Ｖｉｄｅｏ）が取得されると、前記第１自動車の第１ブラインドスポット警報装置が、前記第１自動車の前記後方映像をブラインドスポットモニタ（Ｂｌｉｎｄ−Ｓｐｏｔ  Ｍｏｎｉｔｏｒ）に伝送するプロセスを遂行することによって、前記ブラインドスポットモニタをもって、前記第１自動車の前記後方映像をＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤で分析して前記第１自動車の前記後方映像に少なくとも一つの近隣の自動車が位置するのかを確認させ、前記第１自動車の前記後方映像に位置する少なくとも一つの前記近隣の自動車が前記第１自動車の第１ブラインドスポットに位置するのかを確認した結果である第１ブラインドスポットモニタリング情報を出力させる段階；及び
（ｂ）前記第１自動車の前記後方領域に位置する第２自動車の第２ブラインドスポット警報装置から、前記第２自動車が前記第１自動車の前記第１ブラインドスポットに位置するのかを確認した結果である第２ブラインドスポットモニタリング情報が前記自動車間通信を介して取得されると、前記第１ブラインドスポット警報装置が、前記第１ブラインドスポットモニタリング情報と前記第２ブラインドスポットモニタリング情報とを参照して、前記第１ブラインドスポットに前記近隣の自動車及び前記第２自動車のうち少なくとも一つが位置していることを警報するプロセスを遂行する段階；
を含むことを特徴とする方法。
【請求項２】
（ｃ）前記第１自動車の前方領域（Ｆｒｏｎｔ  Ａｒｅａ）を撮影する第１前方カメラから前記第１自動車の第１前方映像が取得されると、前記第１ブラインドスポット警報装置が、前記第１前方映像を前記第１自動車の第１検出器（Ｄｅｔｅｃｔｏｒ）に伝送するプロセスを遂行することによって、前記第１検出器をもって、前記ＣＮＮ基盤で前記第１前方映像を分析して前記第１自動車の前記前方領域に位置する第３自動車を検出させ、検出された前記第３自動車の第３ブラインドスポットに前記第１自動車が位置するか否かを確認した結果である第３ブラインドスポットモニタリング情報を前記自動車間通信を介して前記第３自動車に伝送させる段階；
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記第１ブラインドスポット警報装置は、前記第１前方映像を前記第１検出器に伝送することによって、前記第１検出器をもって、（ｉ）前記第１前方映像を第１コンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｌａｙｅｒ）に入力させて、前記第１コンボリューションレイヤが前記第１前方映像に対してコンボリューション演算を適用して第１前方映像特徴マップを生成させ、（ｉｉ）前記第１前方映像特徴マップを第１ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）に入力させて、前記第１ＲＰＮが前記第１前方映像特徴マップ上の第１物体に対応する第１プロポーザルボックス（Ｐｒｏｐｏｓａｌ  Ｂｏｘ）を生成させ、（ｉｉｉ）前記第１前方映像特徴マップを第１プーリングレイヤ（Ｐｏｏｌｉｎｇ  Ｌａｙｅｒ）に入力させて、前記第１プーリングレイヤが前記第１前方映像特徴マップ上の前記第１プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して第１前方映像特徴ベクトル（Ｆｒｏｎｔ  Ｖｉｄｅｏ  Ｆｅａｔｕｒｅ  Ｖｅｃｔｏｒ）を生成させ、（ｉｖ）前記第１前方映像特徴ベクトルを第１ＦＣレイヤ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ  Ｌａｙｅｒ）に入力させて、前記第１ＦＣレイヤが前記第１前方映像特徴ベクトルに対してＦＣ演算を適用させ、（ｖ）前記第１ＦＣレイヤからの出力を第１分類レイヤ（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｌａｙｅｒ）と第１リグレッションレイヤ（Ｒｅｇｒｅｓｓｉｏｎ  Ｌａｙｅｒ）とにそれぞれ入力させて、前記第１分類レイヤと前記第１リグレッションレイヤとが前記第１プロポーザルボックスそれぞれに対応する前記第１物体それぞれに関する第１クラス情報（Ｃｌａｓｓ  Ｉｎｆｏｒｍａｔｉｏｎ）と第１リグレッション情報（Ｒｅｇｒｅｓｓｉｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ）とをそれぞれ出力させることによって、前記第１物体それぞれに関する前記第１クラス情報と前記第１リグレッション情報とを参照して前記第１前方映像内に位置する前記第３自動車を検出させることを特徴とする請求項２に記載の方法。
【請求項４】
前記第１検出器は、学習装置により、（ｉ）トレーニングイメージを前記第１コンボリューションレイヤに入力して、前記第１コンボリューションレイヤが前記トレーニングイメージに対してコンボリューション演算を適用して学習用特徴マップを生成させるプロセス、（ｉｉ）前記学習用特徴マップを前記第１ＲＰＮに入力して、前記第１ＲＰＮが前記学習用特徴マップ上の学習用物体に対応する学習用プロポーザルボックスを生成させるプロセス、（ｉｉｉ）前記学習用特徴マップを前記第１プーリングレイヤに入力して、前記第１プーリングレイヤが前記学習用特徴マップ上の前記学習用プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して学習用特徴ベクトルを生成させるプロセス、（ｉｖ）前記学習用特徴ベクトルを前記第１ＦＣレイヤに入力して、前記第１ＦＣレイヤが前記学習用特徴ベクトルに対してＦＣ演算を適用させるプロセス、（ｖ）前記第１ＦＣレイヤからの学習用出力を前記第１分類レイヤと前記第１リグレッションレイヤとにそれぞれ入力して、前記第１分類レイヤと前記第１リグレッションレイヤとが前記学習用プロポーザルボックスそれぞれに対応する前記学習用物体それぞれに関する学習用クラス情報と学習用リグレッション情報とをそれぞれ出力させるプロセス、及び（ｖｉ）ロスレイヤをもって、前記学習用クラス情報と、前記学習用リグレッション情報と、これにそれぞれ対応する原本正解とを参照して少なくとも一つのロスを算出させ、前記ロスをバックプロパゲーションして少なくとも一つの前記第１ＦＣレイヤ及び前記第１コンボリューションレイヤのうち少なくとも一つのパラメータをアップデートさせるプロセスが遂行されることによって、学習された状態であることを特徴とする請求項３に記載の方法。
【請求項５】
前記第１ブラインドスポット警報装置は、前記第１自動車と前記第３自動車との間の縦（Ｌｏｎｇｉｔｕｄｉｎａｌ）の距離と横（Ｌａｔｅｒａｌ）の距離とを参照して、前記第１自動車が前記第３ブラインドスポットに位置するのかを確認するプロセスを遂行することを特徴とする請求項２に記載の方法。
【請求項６】
前記第１ブラインドスポット警報装置は、前記第１自動車に関するＧＰＳ位置情報を前記自動車間通信を介して前記第３自動車に伝送するプロセスをさらに遂行することを特徴とする請求項２に記載の方法。
【請求項７】
前記（ａ）段階で、
前記第１ブラインドスポット警報装置は、前記後方映像を前記ブラインドスポットモニタに伝送することによって、前記ブラインドスポットモニタをもって、（ｉ）前記後方映像を第２コンボリューションレイヤに入力して、前記第２コンボリューションレイヤが前記後方映像に対してコンボリューション演算を適用して後方映像特徴マップを生成させ、（ｉｉ）前記後方映像特徴マップを第２ＲＰＮに入力して、前記第２ＲＰＮが前記後方映像特徴マップ上の第２物体に対応する第２プロポーザルボックスを生成させ、（ｉｉｉ）前記後方映像特徴マップを第２プーリングレイヤに入力して、前記第２プーリングレイヤが前記後方映像特徴マップ上の前記第２プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して後方映像特徴ベクトルを生成させ、（ｉｖ）前記後方映像特徴ベクトルを第２ＦＣレイヤに入力して、前記第２ＦＣレイヤが前記後方映像特徴ベクトルに対してＦＣ演算を適用させ、（ｖ）前記第２ＦＣレイヤからの出力を第２分類レイヤと第２リグレッションレイヤとにそれぞれ入力して、前記第２分類レイヤと前記第２リグレッションレイヤとが前記第２プロポーザルボックスそれぞれに対応する前記第２物体それぞれに関する第２クラス情報と第２リグレッション情報とをそれぞれ出力させるプロセスを遂行することによって、前記第２物体それぞれに関する前記第２クラス情報と前記第２リグレッション情報とを参照して前記後方映像内に位置する前記近隣の自動車を検出させることを特徴とする請求項１に記載の方法。
【請求項８】
前記ブラインドスポットモニタは、学習装置により、（ｉ）トレーニングイメージを前記第２コンボリューションレイヤに入力して、前記第２コンボリューションレイヤが前記トレーニングイメージに対してコンボリューション演算を適用して学習用特徴マップを生成させるプロセス、（ｉｉ）前記学習用特徴マップを前記第２ＲＰＮに入力して、前記第２ＲＰＮが前記学習用特徴マップ上の学習用物体に対応する学習用プロポーザルボックスを生成させるプロセス、（ｉｉｉ）前記学習用特徴マップを前記第２プーリングレイヤに入力して、前記第２プーリングレイヤが前記学習用特徴マップ上の前記学習用プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して学習用特徴ベクトルを生成させるプロセス、（ｉｖ）前記学習用特徴ベクトルを前記第２ＦＣレイヤに入力して、前記第２ＦＣレイヤが前記学習用特徴ベクトルに対してＦＣ演算を適用させるプロセス、（ｖ）前記第２ＦＣレイヤからの学習用出力を前記第２分類レイヤと前記第２リグレッションレイヤとにそれぞれ入力して、前記第２分類レイヤと前記第２リグレッションレイヤとが前記学習用プロポーザルボックスそれぞれに対応する前記学習用物体それぞれに関する学習用クラス情報と学習用リグレッション情報とをそれぞれ出力させるプロセス、及び（ｖｉ）ロスレイヤをもって、前記学習用クラス情報と、前記学習用リグレッション情報と、これにそれぞれ対応する原本正解とを参照して少なくとも一つのロスを算出させ、前記ロスをバックプロパゲーションして少なくとも一つの前記第２ＦＣレイヤ及び前記第２コンボリューションレイヤのうち少なくとも一つのパラメータをアップデートさせるプロセスが遂行されることによって、学習された状態であることを特徴とする請求項７に記載の方法。
【請求項９】
前記（ａ）段階で、
前記第１ブラインドスポット警報装置は、前記後方映像を前記ブラインドスポットモニタに伝送することによって、前記ブラインドスポットモニタをもって、前記近隣の自動車それぞれと前記第１自動車との間の縦の距離及び横の距離を参照して、前記近隣の自動車が前記第１ブラインドスポットに位置するのかを確認させるプロセスを遂行することを特徴とする請求項１に記載の方法。
【請求項１０】
前記（ｂ）段階で、
前記第１ブラインドスポット警報装置は、前記第１自動車の走行環境情報（Ｄｒｉｖｉｎｇ  Ｅｎｖｉｒｏｎｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）に応答して前記第１ブラインドスポットモニタリング情報及び前記第２ブラインドスポットモニタリング情報のうち少なくとも一部を参照して前記第１ブラインドスポットに前記近隣の自動車及び前記第２自動車のうち少なくとも一つが位置していることを警報するプロセスを遂行することを特徴とする請求項１に記載の方法。
【請求項１１】
前記（ｂ）段階で、
前記第１ブラインドスポット警報装置は、前記自動車間通信を介して前記第２ブラインドスポット警報装置から前記第２自動車に関するＧＰＳ位置情報を取得するプロセスを遂行し、
前記第２自動車に関する前記ＧＰＳ位置情報のＧＰＳコンフィデンス（Ｃｏｎｆｉｄｅｎｃｅ）値が有効である場合、前記第１ブラインドスポット警報装置は、前記第２自動車に関する前記ＧＰＳ位置情報を参照して前記第２自動車が前記第１ブラインドスポットに位置するのかを確認することによって、前記第１ブラインドスポットに前記第２自動車が位置していることを警報するプロセスを遂行し、
前記第２自動車に関する前記ＧＰＳ位置情報の前記ＧＰＳコンフィデンス値が有効でない場合には、前記第１ブラインドスポット警報装置は、前記第１ブラインドスポットモニタリング情報と前記第２ブラインドスポットモニタリング情報とを参照して、前記第１ブラインドスポットに前記近隣の自動車及び前記第２自動車のうち少なくとも一つが位置していることを警報するプロセスを遂行することを特徴とする請求項１に記載の方法。
【請求項１２】
前記（ｂ）段階で、
前記第２ブラインドスポット警報装置は、前記第２自動車の前方領域を撮影する第２前方カメラから取得される第２前方映像を前記第２自動車の第２検出器に伝送することによって、前記第２検出器をもって、（ｉ）前記第２前方映像を第３コンボリューションレイヤに入力して、前記第３コンボリューションレイヤが前記第２前方映像に対してコンボリューション演算を適用して第２前方映像特徴マップを生成させ、（ｉｉ）前記第２前方映像特徴マップを第３ＲＰＮに入力して、前記第３ＲＰＮが前記第２前方映像特徴マップ上の第３物体に対応する第３プロポーザルボックスを生成させ、（ｉｉｉ）前記第２前方映像特徴マップを第３プーリングレイヤに入力して、前記第３プーリングレイヤが前記第２前方映像特徴マップ上の前記第３プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して第２前方映像特徴ベクトルを生成させ、（ｉｖ）前記第２前方映像特徴ベクトルを第３ＦＣレイヤに入力して、前記第３ＦＣレイヤが前記第２前方映像特徴ベクトルに対してＦＣ演算を適用させ、（ｖ）前記第３ＦＣレイヤからの出力を第３分類レイヤと第３リグレッションレイヤとにそれぞれ入力して、前記第３分類レイヤと前記第３リグレッションレイヤとが前記第３プロポーザルボックスそれぞれに対応する前記第３物体それぞれに関する第３クラス情報と第３リグレッション情報とをそれぞれ出力させることによって、前記第３物体それぞれに関する前記第３クラス情報と前記第３リグレッション情報とを参照して前記第２前方映像内に位置する前記第１自動車を検出させるプロセスを遂行することによって、前記第２自動車が、検出された前記第１自動車の前記第１ブラインドスポットに位置するのかを示す前記第２ブラインドスポットモニタリング情報を生成するプロセスを遂行することを特徴とする請求項１に記載の方法。
【請求項１３】
前記第２検出器は、学習装置により、（ｉ）トレーニングイメージを前記第３コンボリューションレイヤに入力して、前記第３コンボリューションレイヤが前記トレーニングイメージに対してコンボリューション演算を適用して学習用特徴マップを生成させるプロセス、（ｉｉ）前記学習用特徴マップを前記第３ＲＰＮに入力して、前記第３ＲＰＮが前記学習用特徴マップ上の学習用物体に対応する学習用プロポーザルボックスを生成させるプロセス、（ｉｉｉ）前記学習用特徴マップを前記第３プーリングレイヤに入力して、前記第３プーリングレイヤが前記学習用特徴マップ上の前記学習用プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して学習用特徴ベクトルを生成させるプロセス、（ｉｖ）前記学習用特徴ベクトルを前記第３ＦＣレイヤに入力して、前記第３ＦＣレイヤが前記学習用特徴ベクトルに対してＦＣ演算を適用させるプロセス、（ｖ）前記第３ＦＣレイヤからの学習用出力を前記第３分類レイヤと前記第３リグレッションレイヤとにそれぞれ入力して、前記第３分類レイヤと前記第３リグレッションレイヤとが前記学習用プロポーザルボックスそれぞれに対応する前記学習用物体それぞれに関する学習用クラス情報と学習用リグレッション情報とをそれぞれ出力させるプロセス、及び（ｖｉ）ロスレイヤをもって、前記学習用クラス情報と、前記学習用リグレッション情報と、これにそれぞれ対応する原本正解とを参照して少なくとも一つのロスを算出させ、前記ロスをバックプロパゲーションして少なくとも一つの前記第３ＦＣレイヤ及び前記第３コンボリューションレイヤのうち少なくとも一つのパラメータをアップデートさせるプロセスが遂行されることによって、学習された状態であることを特徴とする請求項１２に記載の方法。
【請求項１４】
自動車間通信（Ｖｅｈｉｃｌｅ  Ｔｏ  Ｖｅｈｉｃｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）を基盤として自動車のブラインドスポット（Ｂｌｉｎｄ  Ｓｐｏｔ）を警報（Ｗａｒｎｉｎｇ）するための第１自動車の第１ブラインドスポット警報装置において、
インストラクションを格納する少なくとも一つのメモリと、
（Ｉ）前記第１自動車の後方領域（Ｒｅａｒ  Ａｒｅａ）を撮影する後方カメラから前記第１自動車の後方映像（Ｒｅａｒ  Ｖｉｄｅｏ）が取得されると、前記第１自動車の前記後方映像をブラインドスポットモニタ（Ｂｌｉｎｄ−Ｓｐｏｔ  Ｍｏｎｉｔｏｒ）に伝送することによって、前記ブラインドスポットモニタをもって、前記第１自動車の前記後方映像をＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤で分析して前記第１自動車の前記後方映像に少なくとも一つの近隣の自動車が位置するのかを確認させ、前記第１自動車の前記後方映像に位置する少なくとも一つの前記近隣の自動車が前記第１自動車の第１ブラインドスポットに位置するのかを確認した結果である第１ブラインドスポットモニタリング情報を出力させるプロセス；及び（ＩＩ）前記第１自動車の前記後方領域に位置する第２自動車の第２ブラインドスポット警報装置から、前記第２自動車が前記第１自動車の前記第１ブラインドスポットに位置するのかを確認した結果である第２ブラインドスポットモニタリング情報が前記自動車間通信を介して取得されると、前記第１ブラインドスポットモニタリング情報と前記第２ブラインドスポットモニタリング情報とを参照して、前記第１ブラインドスポットに前記近隣の自動車及び前記第２自動車のうち少なくとも一つが位置していることを警報するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする装置。
【請求項１５】
（ＩＩＩ）前記第１自動車の前方領域（Ｆｒｏｎｔ  Ａｒｅａ）を撮影する第１前方カメラから前記第１自動車の第１前方映像が取得されると、前記プロセスが、前記第１前方映像を前記第１自動車の第１検出器（Ｄｅｔｅｃｔｏｒ）に伝送することによって、前記第１検出器をもって、前記ＣＮＮ基盤で前記第１前方映像を分析して前記第１自動車の前記前方領域に位置する第３自動車を検出させ、検出された前記第３自動車の第３ブラインドスポットに前記第１自動車が位置するか否かを確認した結果である第３ブラインドスポットモニタリング情報を前記自動車間通信を介して前記第３自動車に伝送させるプロセス；
をさらに遂行することを特徴とする請求項１４に記載の装置。
【請求項１６】
前記プロセッサは、前記第１前方映像を前記第１検出器に伝送することによって、前記第１検出器をもって、（ｉ）前記第１前方映像を第１コンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｌａｙｅｒ）に入力させて、前記第１コンボリューションレイヤが前記第１前方映像に対してコンボリューション演算を適用して第１前方映像特徴マップを生成させ、（ｉｉ）前記第１前方映像特徴マップを第１ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）に入力させて、前記第１ＲＰＮが前記第１前方映像特徴マップ上の第１物体に対応する第１プロポーザルボックス（Ｐｒｏｐｏｓａｌ  Ｂｏｘ）を生成させ、（ｉｉｉ）前記第１前方映像特徴マップを第１プーリングレイヤ（Ｐｏｏｌｉｎｇ  Ｌａｙｅｒ）に入力させて、前記第１プーリングレイヤが前記第１前方映像特徴マップ上の前記第１プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して第１前方映像特徴ベクトル（Ｆｒｏｎｔ  Ｖｉｄｅｏ  Ｆｅａｔｕｒｅ  Ｖｅｃｔｏｒ）を生成させ、（ｉｖ）前記第１前方映像特徴ベクトルを第１ＦＣレイヤ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ  Ｌａｙｅｒ）に入力させて、前記第１ＦＣレイヤが前記第１前方映像特徴ベクトルに対してＦＣ演算を適用させ、（ｖ）前記第１ＦＣレイヤからの出力を第１分類レイヤ（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｌａｙｅｒ）と第１リグレッションレイヤ（Ｒｅｇｒｅｓｓｉｏｎ  Ｌａｙｅｒ）とにそれぞれ入力させて、前記第１分類レイヤと前記第１リグレッションレイヤとが前記第１プロポーザルボックスそれぞれに対応する前記第１物体それぞれに関する第１クラス情報（Ｃｌａｓｓ  Ｉｎｆｏｒｍａｔｉｏｎ）と第１リグレッション情報（Ｒｅｇｒｅｓｓｉｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ）とをそれぞれ出力させることによって、前記第１物体それぞれに関する前記第１クラス情報と前記第１リグレッション情報とを参照して前記第１前方映像内に位置する前記第３自動車を検出させるプロセスを遂行することを特徴とする請求項１５に記載の装置。
【請求項１７】
前記第１検出器は、学習装置により、（ｉ）トレーニングイメージを前記第１コンボリューションレイヤに入力して、前記第１コンボリューションレイヤが前記トレーニングイメージに対してコンボリューション演算を適用して学習用特徴マップを生成させるプロセス、（ｉｉ）前記学習用特徴マップを前記第１ＲＰＮに入力して、前記第１ＲＰＮが前記学習用特徴マップ上の学習用物体に対応する学習用プロポーザルボックスを生成させるプロセス、（ｉｉｉ）前記学習用特徴マップを前記第１プーリングレイヤに入力して、前記第１プーリングレイヤが前記学習用特徴マップ上の前記学習用プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して学習用特徴ベクトルを生成させるプロセス、（ｉｖ）前記学習用特徴ベクトルを前記第１ＦＣレイヤに入力して、前記第１ＦＣレイヤが前記学習用特徴ベクトルに対してＦＣ演算を適用させるプロセス、（ｖ）前記第１ＦＣレイヤからの学習用出力を前記第１分類レイヤと前記第１リグレッションレイヤとにそれぞれ入力して、前記第１分類レイヤと前記第１リグレッションレイヤとが前記学習用プロポーザルボックスそれぞれに対応する前記学習用物体それぞれに関する学習用クラス情報と学習用リグレッション情報とをそれぞれ出力させるプロセス、及び（ｖｉ）ロスレイヤをもって、前記学習用クラス情報と、前記学習用リグレッション情報と、これにそれぞれ対応する原本正解とを参照して少なくとも一つのロスを算出させ、前記ロスをバックプロパゲーションして少なくとも一つの前記第１ＦＣレイヤ及び前記第１コンボリューションレイヤのうち少なくとも一つのパラメータをアップデートさせるプロセスが遂行されることによって、学習された状態であることを特徴とする請求項１６に記載の装置。
【請求項１８】
前記プロセッサは、前記第１自動車と前記第３自動車との間の縦（Ｌｏｎｇｉｔｕｄｉｎａｌ）の距離と横（Ｌａｔｅｒａｌ）の距離とを参照して、前記第１自動車が前記第３ブラインドスポットに位置するのかを確認するプロセスを遂行することを特徴とする請求項１５に記載の装置。
【請求項１９】
前記プロセッサは、前記第１自動車に関するＧＰＳ位置情報を前記自動車間通信を介して前記第３自動車に伝送するプロセスをさらに遂行することを特徴とする請求項１５に記載の装置。
【請求項２０】
前記（Ｉ）プロセスで、
前記プロセッサは、前記後方映像を前記ブラインドスポットモニタに伝送することによって、前記ブラインドスポットモニタをもって、（ｉ）前記後方映像を第２コンボリューションレイヤに入力して、前記第２コンボリューションレイヤが前記後方映像に対してコンボリューション演算を適用して後方映像特徴マップを生成させ、（ｉｉ）前記後方映像特徴マップを第２ＲＰＮに入力して、前記第２ＲＰＮが前記後方映像特徴マップ上の第２物体に対応する第２プロポーザルボックスを生成させ、（ｉｉｉ）前記後方映像特徴マップを第２プーリングレイヤに入力して、前記第２プーリングレイヤが前記後方映像特徴マップ上の前記第２プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して後方映像特徴ベクトルを生成させ、（ｉｖ）前記後方映像特徴ベクトルを第２ＦＣレイヤに入力して、前記第２ＦＣレイヤが前記後方映像特徴ベクトルに対してＦＣ演算を適用させ、（ｖ）前記第２ＦＣレイヤからの出力を第２分類レイヤと第２リグレッションレイヤとにそれぞれ入力して、前記第２分類レイヤと前記第２リグレッションレイヤとが前記第２プロポーザルボックスそれぞれに対応する前記第２物体それぞれに関する第２クラス情報と第２リグレッション情報とをそれぞれ出力させるプロセスを遂行することによって、前記第２物体それぞれに関する前記第２クラス情報と前記第２リグレッション情報とを参照して前記後方映像内に位置する前記近隣の自動車を検出させることを特徴とする請求項１４に記載の装置。
【請求項２１】
前記ブラインドスポットモニタは、学習装置により、（ｉ）トレーニングイメージを前記第２コンボリューションレイヤに入力して、前記第２コンボリューションレイヤが前記トレーニングイメージに対してコンボリューション演算を適用して学習用特徴マップを生成させるプロセス、（ｉｉ）前記学習用特徴マップを前記第２ＲＰＮに入力して、前記第２ＲＰＮが前記学習用特徴マップ上の学習用物体に対応する学習用プロポーザルボックスを生成させるプロセス、（ｉｉｉ）前記学習用特徴マップを前記第２プーリングレイヤに入力して、前記第２プーリングレイヤが前記学習用特徴マップ上の前記学習用プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して学習用特徴ベクトルを生成させるプロセス、（ｉｖ）前記学習用特徴ベクトルを前記第２ＦＣレイヤに入力して、前記第２ＦＣレイヤが前記学習用特徴ベクトルに対してＦＣ演算を適用させるプロセス、（ｖ）前記第２ＦＣレイヤからの学習用出力を前記第２分類レイヤと前記第２リグレッションレイヤとにそれぞれ入力して、前記第２分類レイヤと前記第２リグレッションレイヤとが前記学習用プロポーザルボックスそれぞれに対応する前記学習用物体それぞれに関する学習用クラス情報と学習用リグレッション情報とをそれぞれ出力させるプロセス、及び（ｖｉ）ロスレイヤをもって、前記学習用クラス情報と、前記学習用リグレッション情報と、これにそれぞれ対応する原本正解とを参照して少なくとも一つのロスを算出させ、前記ロスをバックプロパゲーションして少なくとも一つの前記第２ＦＣレイヤ及び前記第２コンボリューションレイヤのうち少なくとも一つのパラメータをアップデートさせるプロセスが遂行されることによって、学習された状態であることを特徴とする請求項２０に記載の装置。
【請求項２２】
前記（Ｉ）プロセスで、
前記プロセッサは、前記後方映像を前記ブラインドスポットモニタに伝送することによって、前記ブラインドスポットモニタをもって、前記近隣の自動車それぞれと前記第１自動車との間の縦の距離及び横の距離を参照して、前記近隣の自動車が前記第１ブラインドスポットに位置するのかを確認させるプロセスを遂行することを特徴とする請求項１４に記載の装置。
【請求項２３】
前記（ＩＩ）プロセスで、
前記プロセッサは、前記第１自動車の走行環境情報（Ｄｒｉｖｉｎｇ  Ｅｎｖｉｒｏｎｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）に応答して前記第１ブラインドスポットモニタリング情報及び前記第２ブラインドスポットモニタリング情報のうち少なくとも一部を参照して前記第１ブラインドスポットに前記近隣の自動車及び前記第２自動車のうち少なくとも一つが位置していることを警報するプロセスを遂行することを特徴とする請求項１４に記載の装置。
【請求項２４】
前記（ＩＩ）プロセスで、
前記プロセッサは、前記自動車間通信を介して前記第２ブラインドスポット警報装置から前記第２自動車に関するＧＰＳ位置情報を取得するプロセスを遂行し、
前記第２自動車に関する前記ＧＰＳ位置情報のＧＰＳコンフィデンス（Ｃｏｎｆｉｄｅｎｃｅ）値が有効である場合、前記プロセッサは、前記第２自動車に関する前記ＧＰＳ位置情報を参照して前記第２自動車が前記第１ブラインドスポットに位置するのかを確認することによって、前記第１ブラインドスポットに前記第２自動車が位置していることを警報するプロセスを遂行し、
前記第２自動車に関する前記ＧＰＳ位置情報の前記ＧＰＳコンフィデンス値が有効でない場合には、前記プロセッサは、前記第１ブラインドスポットモニタリング情報と前記第２ブラインドスポットモニタリング情報とを参照して、前記第１ブラインドスポットに前記近隣の自動車及び前記第２自動車のうち少なくとも一つが位置していることを警報するプロセスを遂行することを特徴とする請求項１４に記載の装置。
【請求項２５】
前記（ＩＩ）プロセスで、
前記第２ブラインドスポット警報装置は、前記第２自動車の前方領域を撮影する第２前方カメラから取得される第２前方映像を前記第２自動車の第２検出器に伝送することによって、前記第２検出器をもって、（ｉ）前記第２前方映像を第３コンボリューションレイヤに入力して、前記第３コンボリューションレイヤが前記第２前方映像に対してコンボリューション演算を適用して第２前方映像特徴マップを生成させ、（ｉｉ）前記第２前方映像特徴マップを第３ＲＰＮに入力して、前記第３ＲＰＮが前記第２前方映像特徴マップ上の第３物体に対応する第３プロポーザルボックスを生成させ、（ｉｉｉ）前記第２前方映像特徴マップを第３プーリングレイヤに入力して、前記第３プーリングレイヤが前記第２前方映像特徴マップ上の前記第３プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して第２前方映像特徴ベクトルを生成させ、（ｉｖ）前記第２前方映像特徴ベクトルを第３ＦＣレイヤに入力して、前記第３ＦＣレイヤが前記第２前方映像特徴ベクトルに対してＦＣ演算を適用させ、（ｖ）前記第３ＦＣレイヤからの出力を第３分類レイヤと第３リグレッションレイヤとにそれぞれ入力して、前記第３分類レイヤと前記第３リグレッションレイヤとが前記第３プロポーザルボックスそれぞれに対応する前記第３物体それぞれに関する第３クラス情報と第３リグレッション情報とをそれぞれ出力させることによって、前記第３物体それぞれに関する前記第３クラス情報と前記第３リグレッション情報とを参照して前記第２前方映像内に位置する前記第１自動車を検出させるプロセスを遂行することによって、前記第２自動車が、検出された前記第１自動車の前記第１ブラインドスポットに位置するのかを示す前記第２ブラインドスポットモニタリング情報を生成するプロセスを遂行することを特徴とする請求項１４に記載の装置。
【請求項２６】
前記第２検出器は、学習装置により、（ｉ）トレーニングイメージを前記第３コンボリューションレイヤに入力して、前記第３コンボリューションレイヤが前記トレーニングイメージに対してコンボリューション演算を適用して学習用特徴マップを生成させるプロセス、（ｉｉ）前記学習用特徴マップを前記第３ＲＰＮに入力して、前記第３ＲＰＮが前記学習用特徴マップ上の学習用物体に対応する学習用プロポーザルボックスを生成させるプロセス、（ｉｉｉ）前記学習用特徴マップを前記第３プーリングレイヤに入力して、前記第３プーリングレイヤが前記学習用特徴マップ上の前記学習用プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して学習用特徴ベクトルを生成させるプロセス、（ｉｖ）前記学習用特徴ベクトルを前記第３ＦＣレイヤに入力して、前記第３ＦＣレイヤが前記学習用特徴ベクトルに対してＦＣ演算を適用させるプロセス、（ｖ）前記第３ＦＣレイヤからの学習用出力を前記第３分類レイヤと前記第３リグレッションレイヤとにそれぞれ入力して、前記第３分類レイヤと前記第３リグレッションレイヤとが前記学習用プロポーザルボックスそれぞれに対応する前記学習用物体それぞれに関する学習用クラス情報と学習用リグレッション情報とをそれぞれ出力させるプロセス、及び（ｖｉ）ロスレイヤをもって、前記学習用クラス情報と、前記学習用リグレッション情報と、これにそれぞれ対応する原本正解とを参照して少なくとも一つのロスを算出させ、前記ロスをバックプロパゲーションして少なくとも一つの前記第３ＦＣレイヤ及び前記第３コンボリューションレイヤのうち少なくとも一つのパラメータをアップデートさせるプロセスが遂行されることによって、学習された状態であることを特徴とする請求項２５に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車のブラインドスポット警報システムに関し、より詳細には、自動車間通信を基盤として近隣の自動車との協業を通じてブラインドスポットを警報するシステムに関する。
【背景技術】
【０００２】
一般的に、運転者が自動車の走行中に車線変更をする場合、側面及び後方を観察して視野を確保することができるように自動車の両側にサイドミラーが設置されており、室内前面中央部にルームミラーが設置されている。
【０００３】
サイドミラーは、自動車の両側面に設置されて側面及び後方の視野を確保するのに利用されているが、側面に近接して走行する自動車や物体を確認することができないブラインドスポットが存在する。
【０００４】
したがって、走行中である自動車の側面に付いて後を追ってくる他の自動車を運転者が確認できずに車線を変更する場合、ブラインドスポットにおいて他の走行する自動車と接触事故が発生し得る問題点があった。
【０００５】
このような問題点を防ぐために、運転者がブラインドスポットを観測することができるように表面が曲面で形成された凸鏡をサイドミラーの一方の部分に取り付ける場合もある。
【０００６】
しかし、サイドミラーに凸鏡などを設置する場合でも、自動車の車線を変更するために運転者は肉眼でブラインドスポットを確認しなければならないため、運転者の運転疲労度を増加させるようになり、運転者の位置によっては凸鏡が取り付けられたサイドミラーでも確認されないブラインドスポットが存在する問題点が生じる。
【０００７】
これを防止するために、最近では自動車の後面に取り付けられたセンサを介してブラインドスポットに接近したり、ブラインドスポットに位置する自動車等を感知して運転者に提供することによって、運転者がブラインドスポットにある自動車等を認知することができず、車線を変更することで発生する事故を防止するためのブラインドスポット警報システムが提案されている。
【０００８】
特にビジョンセンサ（Ｖｉｓｉｏｎ  Ｓｅｎｓｏｒ）を利用した従来のブラインドスポット警報システムは、映像情報に含まれているモニタリング車両を検出し、検出されたモニタリング車両に関する情報を利用してブラインドスポットにモニタリング車両があるかを決定することができる。
【０００９】
また、最近では、自動車間通信で自動車の位置情報が共有されるブラインドスポット警報システムが提案されている。
【００１０】
しかし、従来のブラインドスポット警報システムは、自動車間通信でＧＰＳを利用した自動車の位置情報を共有しながらも、位置の正確度が低くなる高層建物の間、曇天、トンネルなどのような走行環境ではブラインドスポットを正確に警報することができない問題点を有する。
【００１１】
また、従来のブラインドスポット警報システムでは、自動車の後方に設置された後方カメラのレンズが水滴などによって汚れた場合、ブラインドスポットを正確に警報することができない問題点もある。
【００１２】
併せて、従来のブラインドスポット警報システムでは照度の低い夜間走行時における後方カメラのイメージを基盤とした物体検出性能が低いため、ブラインドスポット警報を行うことができないという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本発明は、前述した問題点を全て解決することをその目的とする。
【００１４】
本発明は、走行環境にかかわらず自動車間通信（Ｖｅｈｉｃｌｅ  Ｔｏ  Ｖｅｈｉｃｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）を利用して少なくとも一つのブラインドスポット警報を行えるようにすることを他の目的とする。
【００１５】
本発明は、自動車における少なくとも一つの後方カメラの少なくとも一つのレンズが汚れても、ブラインドスポット警報を行えるようにすることをまた他の目的とする。
【００１６】
本発明は、夜間でもブラインドスポット警報を行えるようにすることをまた他の目的とする。
【課題を解決するための手段】
【００１７】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記のとおりである。
【００１８】
本発明の一態様によると、自動車間通信（Ｖｅｈｉｃｌｅ  Ｔｏ  Ｖｅｈｉｃｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）を基盤として自動車のブラインドスポット（Ｂｌｉｎｄ  Ｓｐｏｔ）を警報（Ｗａｒｎｉｎｇ）する方法において、（ａ）第１自動車の後方領域（Ｒｅａｒ  Ａｒｅａ）を撮影する後方カメラから前記第１自動車の後方映像（Ｒｅａｒ  Ｖｉｄｅｏ）が取得されると、前記第１自動車の第１ブラインドスポット警報装置が、前記第１自動車の前記後方映像をブラインドスポットモニタ（Ｂｌｉｎｄ−Ｓｐｏｔ  Ｍｏｎｉｔｏｒ）に伝送するプロセスを遂行することによって、前記ブラインドスポットモニタをもって、前記第１自動車の前記後方映像をＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤で分析して前記第１自動車の前記後方映像に少なくとも一つの近隣の自動車が位置するのかを確認させ、前記第１自動車の前記後方映像に位置する少なくとも一つの前記近隣の自動車が前記第１自動車の第１ブラインドスポットに位置するのかを確認した結果である第１ブラインドスポットモニタリング情報を出力させる段階；及び（ｂ）前記第１自動車の前記後方領域に位置する第２自動車の第２ブラインドスポット警報装置から、前記第２自動車が前記第１自動車の前記第１ブラインドスポットに位置するのかを確認した結果である第２ブラインドスポットモニタリング情報が前記自動車間通信を介して取得されると、前記第１ブラインドスポット警報装置が、前記第１ブラインドスポットモニタリング情報と前記第２ブラインドスポットモニタリング情報とを参照して、前記第１ブラインドスポットに前記近隣の自動車及び前記第２自動車のうち少なくとも一つが位置していることを警報するプロセスを遂行する段階；を含むことを特徴とする。
【００１９】
一実施例において、（ｃ）前記第１自動車の前方領域（Ｆｒｏｎｔ  Ａｒｅａ）を撮影する第１前方カメラから前記第１自動車の第１前方映像が取得されると、前記第１ブラインドスポット警報装置が、前記第１前方映像を前記第１自動車の第１検出器（Ｄｅｔｅｃｔｏｒ）に伝送するプロセスを遂行することによって、前記第１検出器をもって、前記ＣＮＮ基盤で前記第１前方映像を分析して前記第１自動車の前記前方領域に位置する第３自動車を検出させ、検出された前記第３自動車の第３ブラインドスポットに前記第１自動車が位置するか否かを確認した結果である第３ブラインドスポットモニタリング情報を前記自動車間通信を介して前記第３自動車に伝送させる段階；をさらに含むことを特徴とする。
【００２０】
一実施例において、前記第１ブラインドスポット警報装置は、前記第１前方映像を前記第１検出器に伝送することによって、前記第１検出器をもって、（ｉ）前記第１前方映像を第１コンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｌａｙｅｒ）に入力させて、前記第１コンボリューションレイヤが前記第１前方映像に対してコンボリューション演算を適用して第１前方映像特徴マップを生成させ、（ｉｉ）前記第１前方映像特徴マップを第１ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）に入力させて、前記第１ＲＰＮが前記第１前方映像特徴マップ上の第１物体に対応する第１プロポーザルボックス（Ｐｒｏｐｏｓａｌ  Ｂｏｘ）を生成させ、（ｉｉｉ）前記第１前方映像特徴マップを第１プーリングレイヤ（Ｐｏｏｌｉｎｇ  Ｌａｙｅｒ）に入力させて、前記第１プーリングレイヤが前記第１前方映像特徴マップ上の前記第１プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して第１前方映像特徴ベクトル（Ｆｒｏｎｔ  Ｖｉｄｅｏ  Ｆｅａｔｕｒｅ  Ｖｅｃｔｏｒ）を生成させ、（ｉｖ）前記第１前方映像特徴ベクトルを第１ＦＣレイヤ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ  Ｌａｙｅｒ）に入力させて、前記第１ＦＣレイヤが前記第１前方映像特徴ベクトルに対してＦＣ演算を適用させ、（ｖ）前記第１ＦＣレイヤからの出力を第１分類レイヤ（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｌａｙｅｒ）と第１リグレッションレイヤ（Ｒｅｇｒｅｓｓｉｏｎ  Ｌａｙｅｒ）とにそれぞれ入力させて、前記第１分類レイヤと前記第１リグレッションレイヤとが前記第１プロポーザルボックスそれぞれに対応する前記第１物体それぞれに関する第１クラス情報（Ｃｌａｓｓ  Ｉｎｆｏｒｍａｔｉｏｎ）と第１リグレッション情報（Ｒｅｇｒｅｓｓｉｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ）とをそれぞれ出力させることによって、前記第１物体それぞれに関する前記第１クラス情報と前記第１リグレッション情報とを参照して前記第１前方映像内に位置する前記第３自動車を検出させることを特徴とする。
【００２１】
一実施例において、前記第１検出器は、学習装置により、（ｉ）トレーニングイメージを前記第１コンボリューションレイヤに入力して、前記第１コンボリューションレイヤが前記トレーニングイメージに対してコンボリューション演算を適用して学習用特徴マップを生成させるプロセス、（ｉｉ）前記学習用特徴マップを前記第１ＲＰＮに入力して、前記第１ＲＰＮが前記学習用特徴マップ上の学習用物体に対応する学習用プロポーザルボックスを生成させるプロセス、（ｉｉｉ）前記学習用特徴マップを前記第１プーリングレイヤに入力して、前記第１プーリングレイヤが前記学習用特徴マップ上の前記学習用プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して学習用特徴ベクトルを生成させるプロセス、（ｉｖ）前記学習用特徴ベクトルを前記第１ＦＣレイヤに入力して、前記第１ＦＣレイヤが前記学習用特徴ベクトルに対してＦＣ演算を適用させるプロセス、（ｖ）前記第１ＦＣレイヤからの学習用出力を前記第１分類レイヤと前記第１リグレッションレイヤとにそれぞれ入力して、前記第１分類レイヤと前記第１リグレッションレイヤとが前記学習用プロポーザルボックスそれぞれに対応する前記学習用物体それぞれに関する学習用クラス情報と学習用リグレッション情報とをそれぞれ出力させるプロセス、及び（ｖｉ）ロスレイヤをもって、前記学習用クラス情報と、前記学習用リグレッション情報と、これにそれぞれ対応する原本正解とを参照して少なくとも一つのロスを算出させ、前記ロスをバックプロパゲーションして少なくとも一つの前記第１ＦＣレイヤ及び前記第１コンボリューションレイヤのうち少なくとも一つのパラメータをアップデートさせるプロセスが遂行されることによって、学習された状態であることを特徴とする。
【００２２】
一実施例において、前記第１ブラインドスポット警報装置は、前記第１自動車と前記第３自動車との間の縦（Ｌｏｎｇｉｔｕｄｉｎａｌ）の距離と横（Ｌａｔｅｒａｌ）の距離とを参照して、前記第１自動車が前記第３ブラインドスポットに位置するのかを確認するプロセスを遂行することを特徴とする。
【００２３】
一実施例において、前記第１ブラインドスポット警報装置は、前記第１自動車に関するＧＰＳ位置情報を前記自動車間通信を介して前記第３自動車に伝送するプロセスをさらに遂行することを特徴とする。
【００２４】
一実施例において、前記（ａ）段階で、前記第１ブラインドスポット警報装置は、前記後方映像を前記ブラインドスポットモニタに伝送することによって、前記ブラインドスポットモニタをもって、（ｉ）前記後方映像を第２コンボリューションレイヤに入力して、前記第２コンボリューションレイヤが前記後方映像に対してコンボリューション演算を適用して後方映像特徴マップを生成させ、（ｉｉ）前記後方映像特徴マップを第２ＲＰＮに入力して、前記第２ＲＰＮが前記後方映像特徴マップ上の第２物体に対応する第２プロポーザルボックスを生成させ、（ｉｉｉ）前記後方映像特徴マップを第２プーリングレイヤに入力して、前記第２プーリングレイヤが前記後方映像特徴マップ上の前記第２プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して後方映像特徴ベクトルを生成させ、（ｉｖ）前記後方映像特徴ベクトルを第２ＦＣレイヤに入力して、前記第２ＦＣレイヤが前記後方映像特徴ベクトルに対してＦＣ演算を適用させ、（ｖ）前記第２ＦＣレイヤからの出力を第２分類レイヤと第２リグレッションレイヤとにそれぞれ入力して、前記第２分類レイヤと前記第２リグレッションレイヤとが前記第２プロポーザルボックスそれぞれに対応する前記第２物体それぞれに関する第２クラス情報と第２リグレッション情報とをそれぞれ出力させるプロセスを遂行することによって、前記第２物体それぞれに関する前記第２クラス情報と前記第２リグレッション情報とを参照して前記後方映像内に位置する前記近隣の自動車を検出させることを特徴とする。
【００２５】
一実施例において、前記ブラインドスポットモニタは、学習装置により、（ｉ）トレーニングイメージを前記第２コンボリューションレイヤに入力して、前記第２コンボリューションレイヤが前記トレーニングイメージに対してコンボリューション演算を適用して学習用特徴マップを生成させるプロセス、（ｉｉ）前記学習用特徴マップを前記第２ＲＰＮに入力して、前記第２ＲＰＮが前記学習用特徴マップ上の学習用物体に対応する学習用プロポーザルボックスを生成させるプロセス、（ｉｉｉ）前記学習用特徴マップを前記第２プーリングレイヤに入力して、前記第２プーリングレイヤが前記学習用特徴マップ上の前記学習用プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して学習用特徴ベクトルを生成させるプロセス、（ｉｖ）前記学習用特徴ベクトルを前記第２ＦＣレイヤに入力して、前記第２ＦＣレイヤが前記学習用特徴ベクトルに対してＦＣ演算を適用させるプロセス、（ｖ）前記第２ＦＣレイヤからの学習用出力を前記第２分類レイヤと前記第２リグレッションレイヤとにそれぞれ入力して、前記第２分類レイヤと前記第２リグレッションレイヤとが前記学習用プロポーザルボックスそれぞれに対応する前記学習用物体それぞれに関する学習用クラス情報と学習用リグレッション情報とをそれぞれ出力させるプロセス、及び（ｖｉ）ロスレイヤをもって、前記学習用クラス情報と、前記学習用リグレッション情報と、これにそれぞれ対応する原本正解とを参照して少なくとも一つのロスを算出させ、前記ロスをバックプロパゲーションして少なくとも一つの前記第２ＦＣレイヤ及び前記第２コンボリューションレイヤのうち少なくとも一つのパラメータをアップデートさせるプロセスが遂行されることによって、学習された状態であることを特徴とする。
【００２６】
一実施例において、前記（ａ）段階で、前記第１ブラインドスポット警報装置は、前記後方映像を前記ブラインドスポットモニタに伝送することによって、前記ブラインドスポットモニタをもって、前記近隣の自動車それぞれと前記第１自動車との間の縦の距離及び横の距離を参照して、前記近隣の自動車が前記第１ブラインドスポットに位置するのかを確認させるプロセスを遂行することを特徴とする。
【００２７】
一実施例において、前記（ｂ）段階で、前記第１ブラインドスポット警報装置は、前記第１自動車の走行環境情報（Ｄｒｉｖｉｎｇ  Ｅｎｖｉｒｏｎｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）に応答して前記第１ブラインドスポットモニタリング情報及び前記第２ブラインドスポットモニタリング情報のうち少なくとも一部を参照して前記第１ブラインドスポットに前記近隣の自動車及び前記第２自動車のうち少なくとも一つが位置していることを警報するプロセスを遂行することを特徴とする。
【００２８】
一実施例において、前記（ｂ）段階で、前記第１ブラインドスポット警報装置は、前記自動車間通信を介して前記第２ブラインドスポット警報装置から前記第２自動車に関するＧＰＳ位置情報を取得するプロセスを遂行し、前記第２自動車に関する前記ＧＰＳ位置情報のＧＰＳコンフィデンス（Ｃｏｎｆｉｄｅｎｃｅ）値が有効である場合、前記第１ブラインドスポット警報装置は、前記第２自動車に関する前記ＧＰＳ位置情報を参照して前記第２自動車が前記第１ブラインドスポットに位置するのかを確認することによって、前記第１ブラインドスポットに前記第２自動車が位置していることを警報するプロセスを遂行し、前記第２自動車に関する前記ＧＰＳ位置情報の前記ＧＰＳコンフィデンス値が有効でない場合には、前記第１ブラインドスポット警報装置は、前記第１ブラインドスポットモニタリング情報と前記第２ブラインドスポットモニタリング情報とを参照して、前記第１ブラインドスポットに前記近隣の自動車及び前記第２自動車のうち少なくとも一つが位置していることを警報するプロセスを遂行することを特徴とする。
【００２９】
一実施例において、前記（ｂ）段階で、前記第２ブラインドスポット警報装置は、前記第２自動車の前方領域を撮影する第２前方カメラから取得される第２前方映像を前記第２自動車の第２検出器に伝送することによって、前記第２検出器をもって、（ｉ）前記第２前方映像を第３コンボリューションレイヤに入力して、前記第３コンボリューションレイヤが前記第２前方映像に対してコンボリューション演算を適用して第２前方映像特徴マップを生成させ、（ｉｉ）前記第２前方映像特徴マップを第３ＲＰＮに入力して、前記第３ＲＰＮが前記第２前方映像特徴マップ上の第３物体に対応する第３プロポーザルボックスを生成させ、（ｉｉｉ）前記第２前方映像特徴マップを第３プーリングレイヤに入力して、前記第３プーリングレイヤが前記第２前方映像特徴マップ上の前記第３プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して第２前方映像特徴ベクトルを生成させ、（ｉｖ）前記第２前方映像特徴ベクトルを第３ＦＣレイヤに入力して、前記第３ＦＣレイヤが前記第２前方映像特徴ベクトルに対してＦＣ演算を適用させ、（ｖ）前記第３ＦＣレイヤからの出力を第３分類レイヤと第３リグレッションレイヤとにそれぞれ入力して、前記第３分類レイヤと前記第３リグレッションレイヤとが前記第３プロポーザルボックスそれぞれに対応する前記第３物体それぞれに関する第３クラス情報と第３リグレッション情報とをそれぞれ出力させることによって、前記第３物体それぞれに関する前記第３クラス情報と前記第３リグレッション情報とを参照して前記第２前方映像内に位置する前記第１自動車を検出させるプロセスを遂行することによって、前記第２自動車が、検出された前記第１自動車の前記第１ブラインドスポットに位置するのかを示す前記第２ブラインドスポットモニタリング情報を生成するプロセスを遂行することを特徴とする。
【００３０】
一実施例において、前記第２検出器は、学習装置により、（ｉ）トレーニングイメージを前記第３コンボリューションレイヤに入力して、前記第３コンボリューションレイヤが前記トレーニングイメージに対してコンボリューション演算を適用して学習用特徴マップを生成させるプロセス、（ｉｉ）前記学習用特徴マップを前記第３ＲＰＮに入力して、前記第３ＲＰＮが前記学習用特徴マップ上の学習用物体に対応する学習用プロポーザルボックスを生成させるプロセス、（ｉｉｉ）前記学習用特徴マップを前記第３プーリングレイヤに入力して、前記第３プーリングレイヤが前記学習用特徴マップ上の前記学習用プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して学習用特徴ベクトルを生成させるプロセス、（ｉｖ）前記学習用特徴ベクトルを前記第３ＦＣレイヤに入力して、前記第３ＦＣレイヤが前記学習用特徴ベクトルに対してＦＣ演算を適用させるプロセス、（ｖ）前記第３ＦＣレイヤからの学習用出力を前記第３分類レイヤと前記第３リグレッションレイヤとにそれぞれ入力して、前記第３分類レイヤと前記第３リグレッションレイヤとが前記学習用プロポーザルボックスそれぞれに対応する前記学習用物体それぞれに関する学習用クラス情報と学習用リグレッション情報とをそれぞれ出力させるプロセス、及び（ｖｉ）ロスレイヤをもって、前記学習用クラス情報と、前記学習用リグレッション情報と、これにそれぞれ対応する原本正解とを参照して少なくとも一つのロスを算出させ、前記ロスをバックプロパゲーションして少なくとも一つの前記第３ＦＣレイヤ及び前記第３コンボリューションレイヤのうち少なくとも一つのパラメータをアップデートさせるプロセスが遂行されることによって、学習された状態であることを特徴とする。
【００３１】
本発明のまた他の態様によると、自動車間通信（Ｖｅｈｉｃｌｅ  Ｔｏ  Ｖｅｈｉｃｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）を基盤として自動車のブラインドスポット（Ｂｌｉｎｄ  Ｓｐｏｔ）を警報（Ｗａｒｎｉｎｇ）するための第１自動車の第１ブラインドスポット警報装置において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）前記第１自動車の後方領域（Ｒｅａｒ  Ａｒｅａ）を撮影する後方カメラから前記第１自動車の後方映像（Ｒｅａｒ  Ｖｉｄｅｏ）が取得されると、前記第１自動車の前記後方映像をブラインドスポットモニタ（Ｂｌｉｎｄ−Ｓｐｏｔ  Ｍｏｎｉｔｏｒ）に伝送することによって、前記ブラインドスポットモニタをもって、前記第１自動車の前記後方映像をＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）基盤で分析して前記第１自動車の前記後方映像に少なくとも一つの近隣の自動車が位置するのかを確認させ、前記第１自動車の前記後方映像に位置する少なくとも一つの前記近隣の自動車が前記第１自動車の第１ブラインドスポットに位置するのかを確認した結果である第１ブラインドスポットモニタリング情報を出力させるプロセス；及び（ＩＩ）前記第１自動車の前記後方領域に位置する第２自動車の第２ブラインドスポット警報装置から、前記第２自動車が前記第１自動車の前記第１ブラインドスポットに位置するのかを確認した結果である第２ブラインドスポットモニタリング情報が前記自動車間通信を介して取得されると、前記第１ブラインドスポットモニタリング情報と前記第２ブラインドスポットモニタリング情報とを参照して、前記第１ブラインドスポットに前記近隣の自動車及び前記第２自動車のうち少なくとも一つが位置していることを警報するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
【００３２】
一実施例において、（ＩＩＩ）前記第１自動車の前方領域（Ｆｒｏｎｔ  Ａｒｅａ）を撮影する第１前方カメラから前記第１自動車の第１前方映像が取得されると、前記プロセスが、前記第１前方映像を前記第１自動車の第１検出器（Ｄｅｔｅｃｔｏｒ）に伝送することによって、前記第１検出器をもって、前記ＣＮＮ基盤で前記第１前方映像を分析して前記第１自動車の前記前方領域に位置する第３自動車を検出させ、検出された前記第３自動車の第３ブラインドスポットに前記第１自動車が位置するか否かを確認した結果である第３ブラインドスポットモニタリング情報を前記自動車間通信を介して前記第３自動車に伝送させるプロセス；をさらに遂行することを特徴とする。
【００３３】
一実施例において、前記プロセッサは、前記第１前方映像を前記第１検出器に伝送することによって、前記第１検出器をもって、（ｉ）前記第１前方映像を第１コンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｌａｙｅｒ）に入力させて、前記第１コンボリューションレイヤが前記第１前方映像に対してコンボリューション演算を適用して第１前方映像特徴マップを生成させ、（ｉｉ）前記第１前方映像特徴マップを第１ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）に入力させて、前記第１ＲＰＮが前記第１前方映像特徴マップ上の第１物体に対応する第１プロポーザルボックス（Ｐｒｏｐｏｓａｌ  Ｂｏｘ）を生成させ、（ｉｉｉ）前記第１前方映像特徴マップを第１プーリングレイヤ（Ｐｏｏｌｉｎｇ  Ｌａｙｅｒ）に入力させて、前記第１プーリングレイヤが前記第１前方映像特徴マップ上の前記第１プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して第１前方映像特徴ベクトル（Ｆｒｏｎｔ  Ｖｉｄｅｏ  Ｆｅａｔｕｒｅ  Ｖｅｃｔｏｒ）を生成させ、（ｉｖ）前記第１前方映像特徴ベクトルを第１ＦＣレイヤ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ  Ｌａｙｅｒ）に入力させて、前記第１ＦＣレイヤが前記第１前方映像特徴ベクトルに対してＦＣ演算を適用させ、（ｖ）前記第１ＦＣレイヤからの出力を第１分類レイヤ（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｌａｙｅｒ）と第１リグレッションレイヤ（Ｒｅｇｒｅｓｓｉｏｎ  Ｌａｙｅｒ）とにそれぞれ入力させて、前記第１分類レイヤと前記第１リグレッションレイヤとが前記第１プロポーザルボックスそれぞれに対応する前記第１物体それぞれに関する第１クラス情報（Ｃｌａｓｓ  Ｉｎｆｏｒｍａｔｉｏｎ）と第１リグレッション情報（Ｒｅｇｒｅｓｓｉｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ）とをそれぞれ出力させることによって、前記第１物体それぞれに関する前記第１クラス情報と前記第１リグレッション情報とを参照して前記第１前方映像内に位置する前記第３自動車を検出させるプロセスを遂行することを特徴とする。
【００３４】
一実施例において、前記第１検出器は、学習装置により（ｉ）トレーニングイメージを前記第１コンボリューションレイヤに入力して、前記第１コンボリューションレイヤが前記トレーニングイメージに対してコンボリューション演算を適用して学習用特徴マップを生成させるプロセス、（ｉｉ）前記学習用特徴マップを前記第１ＲＰＮに入力して、前記第１ＲＰＮが前記学習用特徴マップ上の学習用物体に対応する学習用プロポーザルボックスを生成させるプロセス、（ｉｉｉ）前記学習用特徴マップを前記第１プーリングレイヤに入力して、前記第１プーリングレイヤが前記学習用特徴マップ上の前記学習用プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して学習用特徴ベクトルを生成させるプロセス、（ｉｖ）前記学習用特徴ベクトルを前記第１ＦＣレイヤに入力して、前記第１ＦＣレイヤが前記学習用特徴ベクトルに対してＦＣ演算を適用させるプロセス、（ｖ）前記第１ＦＣレイヤからの学習用出力を前記第１分類レイヤと前記第１リグレッションレイヤとにそれぞれ入力して、前記第１分類レイヤと前記第１リグレッションレイヤとが前記学習用プロポーザルボックスそれぞれに対応する前記学習用物体それぞれに関する学習用クラス情報と学習用リグレッション情報とをそれぞれ出力させるプロセス、及び（ｖｉ）ロスレイヤをもって、前記学習用クラス情報と、前記学習用リグレッション情報と、これにそれぞれ対応する原本正解とを参照して少なくとも一つのロスを算出させ、前記ロスをバックプロパゲーションして少なくとも一つの前記第１ＦＣレイヤ及び前記第１コンボリューションレイヤのうち少なくとも一つのパラメータをアップデートさせるプロセスが遂行されることによって、学習された状態であることを特徴とする。
【００３５】
一実施例において、前記プロセッサは、前記第１自動車と前記第３自動車との間の縦（Ｌｏｎｇｉｔｕｄｉｎａｌ）の距離と横（Ｌａｔｅｒａｌ）の距離とを参照して、前記第１自動車が前記第３ブラインドスポットに位置するのかを確認するプロセスを遂行することを特徴とする。
【００３６】
一実施例において、前記プロセッサは、前記第１自動車に関するＧＰＳ位置情報を前記自動車間通信を介して前記第３自動車に伝送するプロセスをさらに遂行することを特徴とする。
【００３７】
一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、前記後方映像を前記ブラインドスポットモニタに伝送することによって、前記ブラインドスポットモニタをもって、（ｉ）前記後方映像を第２コンボリューションレイヤに入力して、前記第２コンボリューションレイヤが前記後方映像に対してコンボリューション演算を適用して後方映像特徴マップを生成させ、（ｉｉ）前記後方映像特徴マップを第２ＲＰＮに入力して、前記第２ＲＰＮが前記後方映像特徴マップ上の第２物体に対応する第２プロポーザルボックスを生成させ、（ｉｉｉ）前記後方映像特徴マップを第２プーリングレイヤに入力して、前記第２プーリングレイヤが前記後方映像特徴マップ上の前記第２プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して後方映像特徴ベクトルを生成させ、（ｉｖ）前記後方映像特徴ベクトルを第２ＦＣレイヤに入力して、前記第２ＦＣレイヤが前記後方映像特徴ベクトルに対してＦＣ演算を適用させ、（ｖ）前記第２ＦＣレイヤからの出力を第２分類レイヤと第２リグレッションレイヤとにそれぞれ入力して、前記第２分類レイヤと前記第２リグレッションレイヤとが前記第２プロポーザルボックスそれぞれに対応する前記第２物体それぞれに関する第２クラス情報と第２リグレッション情報とをそれぞれ出力させるプロセスを遂行することによって、前記第２物体それぞれに関する前記第２クラス情報と前記第２リグレッション情報とを参照して前記後方映像内に位置する前記近隣の自動車を検出させることを特徴とする。
【００３８】
一実施例において、前記ブラインドスポットモニタは、学習装置により、（ｉ）トレーニングイメージを前記第２コンボリューションレイヤに入力して、前記第２コンボリューションレイヤが前記トレーニングイメージに対してコンボリューション演算を適用して学習用特徴マップを生成させるプロセス、（ｉｉ）前記学習用特徴マップを前記第２ＲＰＮに入力して、前記第２ＲＰＮが前記学習用特徴マップ上の学習用物体に対応する学習用プロポーザルボックスを生成させるプロセス、（ｉｉｉ）前記学習用特徴マップを前記第２プーリングレイヤに入力して、前記第２プーリングレイヤが前記学習用特徴マップ上の前記学習用プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して学習用特徴ベクトルを生成させるプロセス、（ｉｖ）前記学習用特徴ベクトルを前記第２ＦＣレイヤに入力して、前記第２ＦＣレイヤが前記学習用特徴ベクトルに対してＦＣ演算を適用させるプロセス、（ｖ）前記第２ＦＣレイヤからの学習用出力を前記第２分類レイヤと前記第２リグレッションレイヤとにそれぞれ入力して、前記第２分類レイヤと前記第２リグレッションレイヤとが前記学習用プロポーザルボックスそれぞれに対応する前記学習用物体それぞれに関する学習用クラス情報と学習用リグレッション情報とをそれぞれ出力させるプロセス、及び（ｖｉ）ロスレイヤをもって、前記学習用クラス情報と、前記学習用リグレッション情報と、これにそれぞれ対応する原本正解とを参照して少なくとも一つのロスを算出させ、前記ロスをバックプロパゲーションして少なくとも一つの前記第２ＦＣレイヤ及び前記第２コンボリューションレイヤのうち少なくとも一つのパラメータをアップデートさせるプロセスが遂行されることによって、学習された状態であることを特徴とする。
【００３９】
一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、前記後方映像を前記ブラインドスポットモニタに伝送することによって、前記ブラインドスポットモニタをもって、前記近隣の自動車それぞれと前記第１自動車との間の縦の距離及び横の距離を参照して、前記近隣の自動車が前記第１ブラインドスポットに位置するのかを確認させるプロセスを遂行することを特徴とする。
【００４０】
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、前記第１自動車の走行環境情報（Ｄｒｉｖｉｎｇ  Ｅｎｖｉｒｏｎｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）に応答して前記第１ブラインドスポットモニタリング情報及び前記第２ブラインドスポットモニタリング情報のうち少なくとも一部を参照して前記第１ブラインドスポットに前記近隣の自動車及び前記第２自動車のうち少なくとも一つが位置していることを警報するプロセスを遂行することを特徴とする。
【００４１】
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、前記自動車間通信を介して前記第２ブラインドスポット警報装置から前記第２自動車に関するＧＰＳ位置情報を取得するプロセスを遂行し、前記第２自動車に関する前記ＧＰＳ位置情報のＧＰＳコンフィデンス（Ｃｏｎｆｉｄｅｎｃｅ）値が有効である場合、前記プロセッサは、前記第２自動車に関する前記ＧＰＳ位置情報を参照して前記第２自動車が前記第１ブラインドスポットに位置するのかを確認することによって、前記第１ブラインドスポットに前記第２自動車が位置していることを警報するプロセスを遂行し、前記第２自動車に関する前記ＧＰＳ位置情報の前記ＧＰＳコンフィデンス値が有効でない場合には、前記プロセッサは、前記第１ブラインドスポットモニタリング情報と前記第２ブラインドスポットモニタリング情報とを参照して、前記第１ブラインドスポットに前記近隣の自動車及び前記第２自動車のうち少なくとも一つが位置していることを警報するプロセスを遂行することを特徴とする。
【００４２】
一実施例において、前記（ＩＩ）プロセスで、前記第２ブラインドスポット警報装置は、前記第２自動車の前方領域を撮影する第２前方カメラから取得される第２前方映像を前記第２自動車の第２検出器に伝送することによって、前記第２検出器をもって、（ｉ）前記第２前方映像を第３コンボリューションレイヤに入力して、前記第３コンボリューションレイヤが前記第２前方映像に対してコンボリューション演算を適用して第２前方映像特徴マップを生成させ、（ｉｉ）前記第２前方映像特徴マップを第３ＲＰＮに入力して、前記第３ＲＰＮが前記第２前方映像特徴マップ上の第３物体に対応する第３プロポーザルボックスを生成させ、（ｉｉｉ）前記第２前方映像特徴マップを第３プーリングレイヤに入力して、前記第３プーリングレイヤが前記第２前方映像特徴マップ上の前記第３プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して第２前方映像特徴ベクトルを生成させ、（ｉｖ）前記第２前方映像特徴ベクトルを第３ＦＣレイヤに入力して、前記第３ＦＣレイヤが前記第２前方映像特徴ベクトルに対してＦＣ演算を適用させ、（ｖ）前記第３ＦＣレイヤからの出力を第３分類レイヤと第３リグレッションレイヤとにそれぞれ入力して、前記第３分類レイヤと前記第３リグレッションレイヤとが前記第３プロポーザルボックスそれぞれに対応する前記第３物体それぞれに関する第３クラス情報と第３リグレッション情報とをそれぞれ出力させることによって、前記第３物体それぞれに関する前記第３クラス情報と前記第３リグレッション情報とを参照して前記第２前方映像内に位置する前記第１自動車を検出させるプロセスを遂行することによって、前記第２自動車が、検出された前記第１自動車の前記第１ブラインドスポットに位置するのかを示す前記第２ブラインドスポットモニタリング情報を生成するプロセスを遂行することを特徴とする。
【００４３】
一実施例において、前記第２検出器は、学習装置により、（ｉ）トレーニングイメージを前記第３コンボリューションレイヤに入力して、前記第３コンボリューションレイヤが前記トレーニングイメージに対してコンボリューション演算を適用して学習用特徴マップを生成させるプロセス、（ｉｉ）前記学習用特徴マップを前記第３ＲＰＮに入力して、前記第３ＲＰＮが前記学習用特徴マップ上の学習用物体に対応する学習用プロポーザルボックスを生成させるプロセス、（ｉｉｉ）前記学習用特徴マップを前記第３プーリングレイヤに入力して、前記第３プーリングレイヤが前記学習用特徴マップ上の前記学習用プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して学習用特徴ベクトルを生成させるプロセス、（ｉｖ）前記学習用特徴ベクトルを前記第３ＦＣレイヤに入力して、前記第３ＦＣレイヤが前記学習用特徴ベクトルに対してＦＣ演算を適用させるプロセス、（ｖ）前記第３ＦＣレイヤからの学習用出力を前記第３分類レイヤと前記第３リグレッションレイヤとにそれぞれ入力して、前記第３分類レイヤと前記第３リグレッションレイヤとが前記学習用プロポーザルボックスそれぞれに対応する前記学習用物体それぞれに関する学習用クラス情報と学習用リグレッション情報とをそれぞれ出力させるプロセス、及び（ｖｉ）ロスレイヤをもって、前記学習用クラス情報と、前記学習用リグレッション情報と、これにそれぞれ対応する原本正解とを参照して少なくとも一つのロスを算出させ、前記ロスをバックプロパゲーションして少なくとも一つの前記第３ＦＣレイヤ及び前記第３コンボリューションレイヤのうち少なくとも一つのパラメータをアップデートさせるプロセスが遂行されることによって、学習された状態であることを特徴とする。
【００４４】
その他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取り可能な記録媒体がさらに提供される。
【発明の効果】
【００４５】
本発明は、自動車のブラインドスポット検出機能を利用して、自動車間通信を介して近隣の自動車が自車のブラインドスポットに進入しているか否かが伝送されて、走行環境に関係なしに正確にブラインドスポットに対する警報を行うことができる効果がある。
【００４６】
本発明は、自動車のブラインドスポット検出機能を利用して、自動車間通信を介して近隣の自動車が自車のブラインドスポットに進入しているか否かが伝送されて、後方カメラのレンズが汚れている状況でも正確にブラインドスポットに対する警報を行うことができる他の効果がある。
【００４７】
本発明は、自動車のブラインドスポット検出機能を利用して、自動車間通信を介して近隣の自動車が自車のブラインドスポットに進入しているか否かが伝送されて、夜間でも正確にブラインドスポットに対する警報を行うことができるまた他の効果がある。
【図面の簡単な説明】
【００４８】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
【図１】図１は、本発明の一実施例による自動車間通信（Ｖｅｈｉｃｌｅ  Ｔｏ  Ｖｅｈｉｃｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）を基盤として近隣の自動車との協業を通じて少なくとも一つのブラインドスポットを警報し、極限状況でフォールトトレラント（Ｆａｕｌｔ−Ｔｏｌｅｒａｎｔ）及びフラクチュエーションロバスト（Ｆｌｕｃｔｕａｔｉｏｎ−Ｒｏｂｕｓｔ）性を有するブラインドスポット警報装置を簡略に示したものである。
【図２】図２は、本発明の一実施例による自動車間通信を基盤として近隣の自動車との協業を通じてブラインドスポットを警報し、極限状況でフォールトトレラント及びフラクチュエーションロバスト性のあるブラインドスポット警報装置を備えたそれぞれの自動車を簡略に示したものである。
【図３】図３は、本発明の一実施例による自動車間通信を基盤として近隣の自動車との協業を通じてブラインドスポットを警報し、極限状況でフォールトトレラント及びフラクチュエーションロバスト性のあるブラインドスポット警報装置を備えたそれぞれの自動車の走行状態を簡略に示したものである。
【図４】図４は、本発明の一実施例による自動車間通信を基盤として近隣の自動車との協業を通じてブラインドスポットを警報し、極限状況でフォールトトレラント及びフラクチュエーションロバスト性のある方法を簡略に示したものである。
【図５】図５は、本発明の一実施例による自動車間通信を基盤として近隣の自動車との協業を通じてブラインドスポットを警報し、極限状況でフォールトトレラント及びフラクチュエーションロバスト性のある方法において、ブラインドスポット警報装置及び検出器が自動車を検出する方法を簡略に示したものである。
【図６】図６は、本発明の一実施例による自動車間通信を基盤として近隣の自動車との協業を通じてブラインドスポットを警報し、極限状況でフォールトトレラント及びフラクチュエーションロバスト性のあるブラインドスポット警報装置及び検出器を学習するための学習装置を簡略に示したものである。
【図７】図７は、本発明の一実施例による自動車間通信を基盤として近隣の自動車との協業を通じてブラインドスポットを警報し、極限状況でフォールトトレラント及びフラクチュエーションロバスト性のあるブラインドスポット警報装置及び検出器を学習する学習方法を簡略に示したものである。
【発明を実施するための形態】
【００４９】
後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。
【００５０】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００５１】
さらに、本発明は、本明細書に示された実施例のすべての可能な組み合わせを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであると、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
【００５２】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００５３】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
【００５４】
図１は、本発明の一実施例による自動車間通信（Ｖｅｈｉｃｌｅ  Ｔｏ  Ｖｅｈｉｃｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）を基盤として近隣の自動車との協業を通じて少なくとも一つのブラインドスポットを警報し、極限状況でフォールトトレラント（Ｆａｕｌｔ−Ｔｏｌｅｒａｎｔ）及びフラクチュエーションロバスト（Ｆｌｕｃｔｕａｔｉｏｎ−Ｒｏｂｕｓｔ）性を有するブラインドスポット警報装置を簡略に示したものである。図１を参照すると、ブラインドスポット警報装置１００は、極限状況でフォールトトレラント及びフラクチュエーションロバスト性を有し、自動車間通信を基盤として近隣の自動車との協業を通じてブラインドスポットを警報するためのインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納するメモリ１１０と、メモリ１１０に格納されたインストラクションに対応して極限状況でフォールトトレラント及びフラクチュエーションロバスト性を有し、自動車間通信を基盤として近隣の自動車との協業を通じてブラインドスポットを警報するプロセッサ１２０とを含むことができる。
【００５５】
具体的に、ブラインドスポット警報装置１００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、コンピューティング装置をもって特定の方式で機能させるインストラクション）との組み合わせを利用して所望のシステム性能を達成するものであり得る。
【００５６】
また、コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ  Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ  Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置は、オペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
【００５７】
しかし、コンピューティング装置が、本発明を実施するためのプロセッサ、メモリ、ミディアム又は他のコンピューティング構成要素の組み合わせを含む統合プロセッサを排除するものではない。
【００５８】
このように構成された本発明の一実施例によるブラインドスポット警報装置１００を利用して、極限状況でフォールトトレラント及びフラクチュエーションロバスト性を有し、自動車間通信を基盤として近隣の自動車との協業を通じてブラインドスポットを警報する方法を図２ないし図５を参照して説明すると以下のとおりである。
【００５９】
まず、図２を参照すると、それぞれの自動車にブラインドスポット警報装置１００又は１００’が設置されており、それぞれのブラインドスポット警報装置１００又は１００’は、それぞれの前方カメラ１０１又は１０１’から取得される少なくとも一つの前方イメージそれぞれから近隣の自動車を検出するそれぞれの検出器１５０又は１５０’をそれぞれ含み、それぞれの少なくとも一つの後方カメラ１０２又は１０２’からそれぞれ取得される少なくとも一つの後方イメージ上のブラインドスポット領域を検出するそれぞれの少なくとも一つのブラインドスポットモニタ１６０又は１６０’をそれぞれ含むことができる。
【００６０】
また、それぞれのブラインドスポット警報装置１００又は１００’は、（ｉ）検出器１５０又は１５０’でそれぞれ検出された自動車に関する情報及びそれぞれの自動車の走行情報を送受信するそれぞれの自動車間通信部１７０又は１７０’と、（ｉｉ）ブラインドスポットモニタ１６０又は１６０’からのブラインドスポットモニタリング情報と自動車間通信部１７０又は１７０’を通じてそれぞれ受信される近隣の自動車の走行情報とをそれぞれ参照してブラインドスポットに対する警報を出力するかを判断するそれぞれの警報決定モジュール（Ｗａｒｎｉｎｇ  Ｄｅｃｉｓｉｏｎ  Ｍｏｄｕｌｅ）１８０又は１８０’を含むことができる。
【００６１】
次に、図３を参照すると、第１自動車１０と第１自動車１０周辺の近隣の自動車である第２自動車２０とが走行中である状態において、第１自動車１０と第２自動車２０は、それぞれのブラインドスポット警報装置を通じて後方領域の自車のブラインドスポットをモニタリングして、第１自動車と各第２自動車とのブラインドスポットそれぞれに近隣の自動車のうち一つでも位置するのかを決定して自車の運転者に対して警報することによって安全走行を行うことができるようにする。
【００６２】
また、第１自動車１０と第２自動車２０それぞれのブラインドスポット警報装置は、自車の位置情報を近隣の自動車に伝送することができ、近隣の自動車の位置情報を受信したそれぞれの自動車のそれぞれのブラインドスポット警報装置は、近隣の自動車の位置情報を利用して自車のブラインドスポットに近隣の自動車が位置するのかを確認して自車の運転者が分かるように警報することによって安全走行を可能にする。
【００６３】
これに加えて、それぞれの自動車１０又は２０のそれぞれのブラインドスポット警報装置は、前方の近隣の各自動車の位置を検出して、それぞれのブラインドスポット警報装置に対応するそれぞれの自動車が近隣の各自動車のブラインドスポットに位置するのかを確認し、これを自動車間通信部を介して近隣の各自動車に伝送することができる。そうすると、自動車間通信部を介して自車の自動車のブラインドスポットに近隣の自動車が位置しているのかに関する情報を受信した前方のそれぞれの近隣の自動車におけるそれぞれのブラインドスポット警報装置は、自車のブラインドスポットに近隣の自動車が位置しているという事実を自車の運転者に対して警報することによって安全走行を可能にする。
【００６４】
このようなブラインドスポット警報装置の動作状態を、図４を参照してより詳細に説明すると以下のとおりである。
【００６５】
まず、図３のように第１自動車と、第１自動車周辺の近隣の自動車のうち一つである第２自動車とが走行中である状態において、第１自動車のブラインドスポット警報装置１００は、第１自動車の後方領域を撮影する後方カメラから後方映像を取得するか、他の装置をもって取得するように支援する。
【００６６】
そして、第１自動車のブラインドスポット警報装置１００は、ブラインドスポットモニタ１６０をもって、後方映像を利用してブラインドスポットをモニタリングさせることができる。
【００６７】
この際、後方映像が取得されると、ブラインドスポットモニタ１６０は後方映像内に位置する近隣の自動車、すなわち、図３における第２自動車を検出することができる。ここで、後方映像内の近隣の自動車を検出するために、Ｒ−ＣＮＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、速い（Ｆａｓｔ）Ｒ−ＣＮＮなどの物体検出器を利用することができるが、本発明がこれに限定されるわけではない。
【００６８】
すなわち、第１自動車の後方領域を撮影する後方カメラから第１自動車の後方映像が取得されると、第１自動車の第１ブラインドスポット警報装置１００は、第１自動車の後方映像をブラインドスポットモニタ１６０に伝送することによって、ブラインドスポットモニタ１６０をもって、第１自動車の後方映像をＣＮＮ基盤で分析して第１自動車の後方映像内の少なくとも一つの近隣の自動車が位置するのかを確認させ、第１自動車の後方映像内の少なくとも一つの近隣の自動車が第１自動車の第１ブラインドスポットに位置するのかを確認した結果である第１ブラインドスポットモニタリング情報を出力させることができる。
【００６９】
一例として、図５を参照すると、第１ブラインドスポット警報装置は、第１自動車の後方映像をブラインドスポットモニタに伝送することができる。
【００７０】
そうすると、ブラインドスポットモニタは、後方映像をコンボリューションレイヤ（すなわち、第２コンボリューションレイヤ）２１０に入力してコンボリューションレイヤ（第２コンボリューションレイヤ）２１０が後方映像に対してコンボリューション演算を適用して後方映像特徴マップを生成させ、後方映像特徴マップをＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）（すなわち、第２ＲＰＮ）２２０に入力してＲＰＮ（第２ＲＰＮ）２２０が後方映像特徴マップ上の第２物体に対応する第２プロポーザルボックスを生成させることができる。そして、ブラインドスポットモニタは、後方映像特徴マップをプーリングレイヤ（すなわち、第２プーリングレイヤ）２３０に入力してプーリングレイヤ（Ｐｏｏｌｉｎｇ  Ｌａｙｅｒ）（第２プーリングレイヤ）２３０が後方映像特徴マップ上の第２プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して後方映像特徴ベクトルを生成させ、後方映像特徴ベクトルをＦＣレイヤ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ  Ｌａｙｅｒ）（すなわち、第２ＦＣレイヤ）２４０に入力してＦＣレイヤ（第２ＦＣレイヤ）２４０が後方映像特徴ベクトルに対してＦＣ演算を適用させることができる。次に、ブラインドスポットモニタは、ＦＣレイヤ（第２ＦＣレイヤ）２４０からの出力を分類レイヤ（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｌａｙｅｒ）（第２分類レイヤ）２５０とリグレッションレイヤ（Ｒｅｇｒｅｓｓｉｏｎ  Ｌａｙｅｒ）（第２リグレッションレイヤ）２６０とにそれぞれ入力して、第２分類レイヤと第２リグレッションレイヤとが第２プロポーザルボックスそれぞれに対応する第２物体それぞれに対する第２クラス情報と第２リグレッション情報とをそれぞれ出力させることによって、第２物体それぞれに対する第２クラス情報と第２リグレッション情報とを参照して後方映像内に位置する近隣の各自動車及び第２自動車のうち少なくとも一つを検出させることができる。
【００７１】
一方、ブラインドスポットモニタ１６０は、学習装置により、入力映像内に位置する近隣の各自動車を検出することができるように学習された状態であり得、学習装置及び学習方法についても以下にて説明することにする。
【００７２】
再び図４を参照すると、ブラインドスポットモニタ１６０は、検出されたそれぞれの近隣の自動車と第１自動車との間におけるそれぞれの距離を算出した後、検出された近隣の自動車のうち一つでも第１自動車の第１ブラインドスポットに位置するのかを確認することができる。
【００７３】
一例として、ブラインドスポットモニタ１６０は、検出された近隣の自動車それぞれと第１自動車との間の縦（Ｌｏｎｇｉｔｕｄｉｎａｌ）の距離と横（Ｌａｔｅｒａｌ）の距離とを参照して、近隣の各自動車が第１自動車の第１ブラインドスポットに位置するのかを確認させることができる。すなわち、第１自動車の第１ブラインドスポットが第１自動車の後方領域の両側に３ｍ×３ｍで設定されている場合、縦の距離は３ｍ未満であり、横の距離で車幅の１／２距離を減算した距離が３ｍ未満である近隣の自動車が、第１自動車の第１ブラインドスポットに位置するものと判断することができる。また、横の距離の値が＋であるのか−であるのかを参照して、近隣の各自動車が位置する第１ブラインドスポットが第１自動車の右側または左側ブラインドスポットであるのかを確認することができる。
【００７４】
そうすると、第１自動車のブラインドスポット警報装置１００は、警報決定モジュール１８０をもって、第１自動車の第１ブラインドスポットに近隣の自動車のうち一つでも位置する場合に警報を出力させて、第１自動車の運転者が第１自動車の第１ブラインドスポットに近隣の自動車が位置しているという事実を知らせることによって、安全走行が可能であるようにする。
【００７５】
次に、第１自動車のブラインドスポット警報装置１００は、第２自動車に関する位置情報を自動車間通信部を介して受信することができ、受信された第２自動車に関する位置情報が第１自動車の第１ブラインドスポットに対応するものと確認されれば、これを第１自動車の運転者に対して警報することによって、安全走行が可能であるようにする。
【００７６】
すなわち、第１自動車の後方領域に位置する第２自動車の第２ブラインドスポット警報装置１００’から第２自動車が第１自動車の第１ブラインドスポットに位置するのかを確認した結果である第２ブラインドスポットモニタリング情報が自動車間通信を介して取得されると、第１自動車の第１ブラインドスポット警報装置１００は、第１ブラインドスポットモニタリング情報と第２ブラインドスポットモニタリング情報とを参照して、第１ブラインドスポットに近隣の各自動車及び第２自動車のうち少なくとも一つが位置していることを警報するプロセスを遂行することができる。
【００７７】
この際、第１自動車の第１ブラインドスポット警報装置１００は、第１自動車の走行環境情報に応答して、第１ブラインドスポットモニタリング情報及び第２ブラインドスポットモニタリング情報のうち少なくとも一つを参照して第１ブラインドスポットに近隣の各自動車及び第２自動車のうち少なくとも一つが位置していることを警報するプロセスを遂行することができる。したがって、第１自動車の後方カメラに水滴などの汚染物質がある場合にも、第１自動車のブラインドスポット警報装置１００は自動車間通信を介して第２自動車に関する位置情報を確認してブラインドスポットを警報することができるようになる。
【００７８】
また、第１自動車の第１ブラインドスポット警報装置１００は、自動車間通信を介して第２自動車の第２ブラインドスポット警報装置１００’から第２自動車に関するＧＰＳ位置情報を取得するプロセスを遂行することができる。そして、第２自動車から伝送された第２自動車に関するＧＰＳ位置情報のＧＰＳコンフィデンス（Ｃｏｎｆｉｄｅｎｃｅ）値が有効であると判断された場合、第１自動車の第１ブラインドスポット警報１００は、第２自動車に関するＧＰＳ位置情報を参照して第２自動車が第１ブラインドスポットに位置するのかを確認した上で第１ブラインドスポットに第２自動車が位置していることを警報するプロセスを遂行し、第２自動車のＧＰＳ位置情報のＧＰＳコンフィデンス値が有効でない場合には、第１ブラインドスポットモニタリング情報と第２ブラインドスポットモニタリング情報とを参照して第１ブラインドスポットに近隣の各自動車及び第２自動車のうち少なくとも一つが位置していることを警報するプロセスを遂行することができる。
【００７９】
一方、第２自動車の第２ブラインドスポット警報装置１００’は、前方カメラから前方映像を取得する。
【００８０】
そして、第２自動車の第２ブラインドスポット警報装置１００’は、第２検出器１５０’をもって、前方映像を利用して第２自動車前方の近隣の自動車を検出させることができる。
【００８１】
一例として、前方映像が入力されると、第２検出器１５０’は、前方映像内に位置する近隣の自動車、すなわち、図３における第１自動車を検出することができる。この際、前方映像内の近隣の自動車を検出するために、Ｒ−ＣＮＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、速い（Ｆａｓｔ）Ｒ−ＣＮＮなどの物体検出器を利用することができるが、本発明がこれに限定されるわけではない。
【００８２】
一例として、図５を再び参照すると、第２自動車の第２ブラインドスポット警報装置は、第２自動車の前方領域を撮影する第２前方カメラから取得される第２前方映像を第２自動車の第２検出器に伝送するか、他の装置をもって伝送するように支援することができる。
【００８３】
そうすると、第２自動車の第２検出器は、第２前方映像をコンボリューションレイヤ（すなわち、第３コンボリューションレイヤ）２１０に入力してコンボリューションレイヤ（第３コンボリューションレイヤ）２１０が第２前方映像に対してコンボリューション演算を適用して第２前方映像特徴マップを生成させ、第２前方映像特徴マップをＲＰＮ（すなわち、第３ＲＰＮ）２２０に入力してＲＰＮ（第３ＲＰＮ）２２０が第２前方映像特徴マップ上の第３物体に対応する第３プロポーザルボックスを出力させる。そして、第２検出器は、第２前方映像特徴マップをプーリングレイヤ（すなわち、第３プーリングレイヤ）２３０に入力してプーリングレイヤ（第３プーリングレイヤ）２３０が第２前方映像特徴マップ上の第３プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して第２前方映像特徴ベクトルを出力させ、第２前方映像特徴ベクトルをＦＣネットワーク（すなわち、第３ＦＣレイヤ）２４０に入力してＦＣレイヤ（第３ＦＣレイヤ）２４０が第２前方映像特徴ベクトルに対してＦＣ演算を適用させる。次に、第２検出器は、ＦＣレイヤ（すなわち、第３ＦＣレイヤ）２４０からの出力を分類レイヤ（すなわち、第３分類レイヤ）２５０とリグレッションレイヤ（すなわち、第３リグレッションレイヤ）２６０とにそれぞれ入力して第３分類レイヤと第３リグレッションレイヤとが第３プロポーザルボックスそれぞれに対応する第３物体それぞれに対する第３クラス情報と第３リグレッション情報とを出力させることによって、第３物体それぞれに対する第３クラス情報と第３リグレッション情報とを参照して第２前方映像内に位置する第１自動車を検出させることができる。
【００８４】
図４を参照すると、第２自動車の第２検出器１５０’は、近隣の各自動車と第２自動車との間のそれぞれの距離を算出した後、第２自動車が近隣の自動車のブラインドスポットに位置するのかを確認することができる。すなわち、第１自動車と第２自動車との間の距離を算出した後、第２自動車が第１自動車の第１ブラインドスポットに位置するのかを確認することができる。
【００８５】
すなわち、第２検出器１５０’は第２自動車が検出された第１自動車の第１ブラインドスポットに位置するのかを示す第２ブラインドスポットモニタリング情報を生成することができる。
【００８６】
この場合、第２検出器１５０’は、第２自動車と検出された第１自動車との間におけるそれぞれの縦の距離及びそれぞれの横の距離を参照して第２自動車が第１自動車の第１ブラインドスポットに位置するのかを確認することができる。
【００８７】
一方、第２検出器１５０’は、学習装置により、入力映像内に位置する近隣の各自動車を検出することができるように学習された状態であり得、学習装置及び学習方法についても以下にて説明することにする。
【００８８】
以後、第２自動車が近隣の各自動車のブラインドスポットに位置する場合、第２自動車のブラインドスポット警報装置１００’は、自動車間通信部を介して第２自動車が近隣の各自動車のブラインドスポットに位置しているという情報を近隣の各自動車に伝送することができる。すなわち、第２自動車が第１自動車の第１ブラインドスポットに位置すると判断される場合、第２自動車のブラインドスポット警報装置１００’は、自動車間通信部を介して第２自動車が第１自動車の第１ブラインドスポットに位置しているという情報を第１自動車に伝送することができる。
【００８９】
そうすると、この情報を受信した近隣の各自動車、すなわち、図３における第１自動車のブラインドスポット警報装置１００は、警報決定モジュール１８０にしたがって第１自動車のブラインドスポットに第２自動車が位置しているという事実を利用して第１自動車の運転者に対して警報することによって安全走行を可能にし得る。
【００９０】
その結果、自動車間通信で車両の位置情報（ＧＰＳ）を共有しながらも、位置正確度の低い高層建物の間、曇天、トンネルなどの走行環境では近隣の各自動車のブラインドスポットに関する情報を取得することができるため、安全走行を可能にする。
【００９１】
また、ほこり、水滴などのように後方カメラの少なくとも一つのレンズが汚れている場合にも、近隣の自動車のブラインドスポットに関する情報を取得することができるため、安全走行を可能にする。
【００９２】
これに加えて、自動車の後方にはヘッドライトがないことから夜間に照度が低くて後方カメラの後方イメージを基盤とした物体検出性能が低い状態においても、近隣の自動車の前方カメラから取得された前方イメージを利用して正確にブラインドスポット警報を提供することができるようになる。
【００９３】
一方、ブラインドスポット警報装置１００は、自車の警報決定モジュール１８０をもって、走行環境に応じてブラインドスポットに対する警報を決定させることができる。
【００９４】
一例として、ＧＰＳコンフィデンス値が有効であると判断された場合には、自動車間通信を介して近隣の自動車に関するＧＰＳ情報を利用して自動車間の距離が算出され、算出された距離を参照してブラインドスポットに対する警報の要否を判断することができる。
【００９５】
しかし、ＧＰＳコンフィデンス値が有効でない場合には、カメラを利用して自動車間の距離が算出され得、自動車間通信を介して共有される算出された距離を参照してブラインドスポットに対する警報の要否が決定され得る。
【００９６】
また、自動車に関する走行情報にしたがってブラインドスポットに対する警報の要否が決定され得る。すなわち、昼間、晴れた天気のような一般的な照度において走行する場合には、後方カメラを利用したブラインドスポット検出器１６０の結果を参照してブラインドスポットに対する警報を行うことができ、夜間、雨天のような低照度において走行する場合には、自動車間通信を介して近隣の各自動車から伝送される内容と前方カメラを利用する自動車検出器１５０’の結果とを参照してブラインドスポットに対する警報を行うことができる。
【００９７】
前記にて説明したように、本発明は極限状況で自動車間通信を介して伝送され、近隣の各自動車からのブラインドスポット情報の自動車間情報融合（Ｉｎｆｏｒｍａｔｉｏｎ  Ｆｕｓｉｏｎ）を通じてフォールトトレラント及びフラクチュエーションロバスト性のあるブラインドスポット検出を提供することによって、機能的に安全な（Ｆｕｎｃｔｉｏｎａｌ  Ｓａｆｅｔｙ）ブラインドスポット警報を行うことによって安全な走行を可能にすることができる。
【００９８】
次に、図２を参照すると、第１自動車の前方領域を撮影する第１前方カメラ１０１から第１自動車の第１前方映像が取得されると、第１自動車のブラインドスポット警報装置１００は、第１前方映像を第１自動車の第１検出器１５０に伝送することによって、第１検出器１５０をもって、ＣＮＮ基盤で第１前方映像を分析して第１自動車の前方領域に位置する第３自動車を検出させ、検出された第３自動車の第３ブラインドスポットに第１自動車が位置するか否かを確認した結果である第３ブラインドスポットモニタリング情報を自動車間通信を介して第３自動車に伝送するプロセスを遂行することができる。この際、第１自動車のブラインドスポット警報装置１００は、第１前方カメラ１０１からの第１前方映像を利用して第３自動車の第３ブラインドスポットに第１自動車が位置しているか否かを示す第３ブラインドスポットモニタリング情報を生成するプロセスと、第１自動車の後方カメラ１０２からの後方映像を利用して、近隣の各自動車及び第２自動車のうち少なくとも一つが第１自動車の第１ブラインドスポットに位置しているか否かを示す第１ブラインドスポットモニタリング情報を生成するプロセスとを時間順に関係なしに独立して遂行することができる。
【００９９】
一例として、図５を参照すると、第１自動車の第１ブラインドスポット警報装置は、第１前方カメラから取得された第１前方映像を第１検出器に伝送することができる。
【０１００】
そうすると、第１検出器は、第１前方映像をコンボリューションレイヤ（すなわち、第１コンボリューションレイヤ）２１０に入力してコンボリューションレイヤ（第１コンボリューションレイヤ）２１０が第１前方映像に対してコンボリューション演算を適用して第１前方映像特徴マップを生成させ、第１前方映像特徴マップをＲＰＮ（すなわち、第１ＲＰＮ）２２０に入力してＲＰＮ（第１ＲＰＮ）２２０が第１前方映像特徴マップ上の第１物体に対応する第１プロポーザルボックスを作成させる。そして、第１検出器は、第１前方映像特徴マップをプーリングレイヤ（すなわち、第１プーリングレイヤ）２３０に入力してプーリングレイヤ（第１プーリングレイヤ）２３０が第１前方映像特徴マップ上の第１プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して第１前方映像特徴ベクトルを生成させ、第１前方映像特徴ベクトルをＦＣレイヤ（第１ＦＣレイヤ）２４０に入力してＦＣレイヤ（すなわち、第１ＦＣレイヤ）２４０が第１前方映像特徴ベクトルに対してＦＣ演算を適用させる。次に、第１検出器は、ＦＣレイヤ（第１ＦＣレイヤ）２４０からの出力を分類レイヤ（すなわち、第１分類レイヤ）２５０とリグレッションレイヤ（すなわち、第１リグレッションレイヤ）２６０とにそれぞれ入力して、第１プロポーザルボックスそれぞれに対応する第１物体それぞれに関する第１クラス情報と第１リグレッション情報とをそれぞれ出力させることによって、第１物体それぞれに関する第１クラス情報と第１リグレッション情報とを参照して第１前方映像内に位置する第３自動車を検出することができる。
【０１０１】
一方、第１検出器１５０は、学習装置により、映像内に位置する近隣の各自動車を検出することができるように学習された状態であり得、学習装置及び学習方法については以下にて説明することにする。
【０１０２】
そして、第１検出器１５０は、第１自動車と検出された第３自動車との間の距離を算出した後、第１自動車が第３自動車の第３ブラインドスポットに位置しているか否かを示す第３ブラインドスポットモニタリング情報を生成することができる。
【０１０３】
図６は、本発明の一実施例による自動車間通信を基盤として近隣の自動車との協業を通じてブラインドスポットを警報し、極限状況でフォールトトレラント及びフラクチュエーションロバスト性のあるブラインドスポット警報装置及び検出器を学習する学習装置を簡略に示したものである。学習装置２００は、入力映像から自動車を検出するためのインストラクションを格納するメモリ２１０と、メモリ２１０に格納されたインストラクションに対応して前記で説明した第１ブラインドスポット警報装置１００のブラインドスポットモニタと第１検出器、及び第２ブラインドスポット警報装置の第２検出器を学習させるためのプロセスを遂行するプロセッサ２２０とを含むことができる。この場合、前記では説明しなかったが、第２ブラインドスポット警報装置のブラインドスポットモニタを排除するわけではない。
【０１０４】
具体的に、学習装置２００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と少なくとも一つのコンピュータソフトウェア（すなわち、コンピューティング装置をもって特定の方式で機能させるインストラクション）との組み合わせを利用して所望のシステム性能を達成するものであり得る。
【０１０５】
また、コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ  Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ  Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置は、オペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
【０１０６】
しかし、コンピューティング装置が、本発明を実施するためのプロセッサ、メモリ、ミディアム又はその他のコンピューティング構成要素の組み合わせを含む統合プロセッサを排除するわけではない。
【０１０７】
このように構成された本発明の一実施例による学習装置２００を利用して、入力映像から自動車を検出するブラインドスポットモニタ及び検出器を学習する方法を図７を参照して説明すると以下のとおりである。以下の説明では、ブラインドスポットモニタと検出器とを別途に区分しないものとする。
【０１０８】
まず、自動車の前方カメラからの前方映像及び後方カメラからの後方映像に対応する少なくとも一つのトレーニングイメージが取得されると、学習装置２００は、トレーニングイメージをコンボリューションレイヤに入力して、コンボリューションレイヤがトレーニングイメージに対してコンボリューション演算を適用して学習用特徴マップを生成させることができる。
【０１０９】
そして、学習装置２００は、コンボリューションレイヤ２１０により生成された学習用特徴マップをＲＰＮ２２０に入力してＲＰＮ２２０が学習用特徴マップ上の学習用物体に対応する学習用プロポーザルボックスを生成させ、学習用特徴マップをプーリングレイヤ２３０に入力してプーリングレイヤ２３０が学習用特徴マップ上の学習用プロポーザルボックスに対応する領域に対してプーリング演算を適用して学習用特徴ベクトルを生成させることができる。
【０１１０】
以後、学習装置２００は、プーリングレイヤ２３０により生成された学習用特徴ベクトルをＦＣレイヤ２４０に入力してＦＣレイヤ２４０が学習用特徴ベクトルに対してＦＣ演算を適用させ、ＦＣレイヤ２４０からの学習用出力を分類レイヤ２５０とリグレッションレイヤ２６０とにそれぞれ入力して、学習用プロポーザルボックスそれぞれに対応する学習用物体それぞれに対する学習用クラス情報と学習用リグレッション情報とをそれぞれ生成させることができる。
【０１１１】
次に、学習装置２００は、少なくとも一つの、ロスレイヤ２７０をもって、学習用クラス情報と、学習用リグレッション情報と、これにそれぞれ対応する原本正解とを参照した少なくとも一つのロスを算出させ、ロスを利用したバックプロパゲーションを通じて少なくとも一つのＦＣレイヤ２４０及びコンボリューションレイヤ２１０のうち少なくとも一つのパラメータをアップデートすることによって、ブラインド警報装置のブラインドスポットモニタ及び検出器を学習することができる。
【０１１２】
また、以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ  Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【０１１３】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
【０１１４】
したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【符号の説明】
【０１１５】
１００、１００’：ブラインドスポット警報装置
１１０：メモリ
１２０：プロセッサ
【図１】
2020123339.tif 000003
【図２】
2020123339.tif 000004
【図３】
2020123339.tif 000005
【図４】
2020123339.tif 000006
【図５】
2020123339.tif 000007
【図６】
2020123339.tif 000008
【図７】
2020123339.tif 000009