(57)【要約】      （修正有）【課題】バイクライダー用スマートヘルメットを利用してブラインドスポットをモニタリングする方法に関し、バイクライダーが周辺状況を正確に認知し得るようにする方法を提案する。【解決手段】ブラインドスポットモニタリング装置１００は、スマートヘルメットに対応する第１ブラインドスポットの映像イメージを取得し、第１ブラインドスポットに位置する第１物体を確認する。さらに、スマートヘルメットに設けられたＧＰＳセンサ、加速度センサ、地磁気センサから取得されるセンサ情報に基づき、スマートヘルメット方向及びバイク走行方向を判断、参照して、第１物体のうちバイクに対応する第２ブラインドスポットに位置する第２物体を確認し、第２物体を前記スマートヘルメットに設けられたヘッドアップディスプレイを通じて表示するか、第２ブラインドスポットに第２物体が位置していることをスピーカを通じて音声で警報する。【選択図】図２
2020126629.tif 000002
【特許請求の範囲】
【請求項１】
バイクライダー用スマートヘルメットを利用して、バイクの少なくとも一つのブラインドスポット（Ｂｌｉｎｄ  Ｓｐｏｔ）をモニタリングする方法において、
（ａ）ライダーが着用している前記スマートヘルメットに対応する少なくとも一つの第１ブラインドスポットの少なくとも一つの映像イメージ（Ｖｉｄｅｏ  Ｉｍａｇｅ）が取得されると、ブラインドスポットモニタリング装置は、物体検出器をもって、前記映像イメージ上の少なくとも一つの物体を検出させるプロセス、及び検出された前記物体のうち前記第１ブラインドスポットに位置する少なくとも一つの第１物体を確認するプロセスを遂行する段階；及び
（ｂ）前記ブラインドスポットモニタリング装置が、前記スマートヘルメットに設けられたＧＰＳセンサ、加速度センサ、及び地磁気センサ（Ｇｅｏｍａｇｎｅｔｉｃ  Ｓｅｎｓｏｒ）のうち少なくとも一部から取得されるセンサ情報を参照してスマートヘルメット方向及びバイク走行方向を判断するプロセス、前記スマートヘルメット方向と前記バイク走行方向とを参照して前記第１物体のうち前記バイクに対応する少なくとも一つの第２ブラインドスポットに位置する少なくとも一つの第２物体を確認するプロセス、及び前記第２物体を前記スマートヘルメットに設けられたヘッドアップディスプレイ（Ｈｅａｄ  Ｕｐ  Ｄｉｓｐｌａｙ）を通じて表示するか、前記第２ブラインドスポットに前記第２物体が位置していることを前記スマートヘルメットに設けられた少なくとも一つのスピーカを通じて音声で警報（Ａｌａｒｍ）するプロセスを遂行する段階；
を含むことを特徴とする方法。
【請求項２】
前記（ｂ）段階は、
（ｂ１）前記ブラインドスポットモニタリング装置が、（ｉ）前記スマートヘルメットを着用した前記ライダーの視野角（Ｖｉｅｗｉｎｇ  Ａｎｇｌｅ）と前記映像イメージを撮影するカメラまたはレーダーセンサ（Ｒａｄａｒ  Ｓｅｎｓｏｒ）の少なくとも一つのセンサ角（Ｓｅｎｓｉｎｇ  Ａｎｇｌｅ）とを参照して取得されたライダーブラインドスポット情報と（ｉｉ）前記センサ情報とを参照して取得されたバイク位置、バイク走行方向、及びバイク走行速力を、少なくとも一つの近傍車両及び少なくとも一つの近傍バイクに対応する少なくとも一つの近傍スマートヘルメットに伝送するプロセスを遂行することによって、（１）前記近傍車両のうち少なくとも一つのライダーブラインドスポットに位置する少なくとも一つの特定の近傍車両をもって、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍車両のセンサ情報から取得された車両位置、車両走行方向、及び車両走行速力とを参照して、（１−ａ）前記特定の近傍車両と前記バイクとの間の交通事故発生の可能性を判断させて、（１−ｂ）前記特定の近傍車両の少なくとも一人の特定の近傍運転者に対して警報させるプロセス、及び（２）前記近傍スマートヘルメットのうち前記ライダーブラインドスポットに位置する少なくとも一つの特定の近傍バイクに対応する少なくとも一つの特定の近傍スマートヘルメットをもって、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍スマートヘルメットのセンサ情報から取得された近傍バイク位置、近傍バイク走行方向、及び近傍バイク走行速力とを参照して、（２−ａ）前記特定の近傍バイクと前記バイクとの間の交通事故発生の可能性を判断させて、（２−ｂ）前記特定の近傍バイクに対応する少なくとも一つの特定の近傍ライダーに対して警報させるプロセスのうち少なくとも一つを遂行する段階をさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記ライダーブラインドスポットに位置する前記特定の近傍車両の前記特定の近傍運転者が、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍車両のセンサ情報から取得された前記車両位置、前記車両走行方向、及び前記車両走行速力とを参照して、前記特定の近傍車両のステアリングホイール（Ｓｔｅｅｒｉｎｇ  Ｗｈｅｅｌ）を操作することによって前記バイクの近傍前方領域に移動しようとする場合、前記ブラインドスポットモニタリング装置は、前記ライダーブラインドスポットに位置する前記特定の近傍車両をもって、前記ステアリングホイールが回転するのを防ぐようにするか前記ステアリングホイールを振動させて、前記特定の近傍運転者に対して警報させるプロセスを遂行することを特徴とする請求項２に記載の方法。
【請求項４】
前記ライダーブラインドスポットに位置する前記特定の近傍車両が自律走行車両である場合、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記自律走行車両のセンサ情報から取得された自律走行車両位置、自律走行車両走行方向、及び自律走行車両走行速力とを参照して、前記自律走行車両の走行プラン（Ｄｒｉｖｉｎｇ  Ｐｌａｎ）が前記バイクの前記近傍前方領域に移動することを示すと判断されれば、前記ブラインドスポットモニタリング装置は、前記ライダーブラインドスポットに位置する前記自律走行車両をもって、前記走行プランによる前記自律走行車両の車線変更を遮断させるプロセスを遂行することを特徴とする請求項２に記載の方法。
【請求項５】
前記（ｂ）段階で、
前記ブラインドスポットモニタリング装置は、前記スマートヘルメット方向と前記バイク走行方向との間の角度差を算出するプロセスと、前記角度差を利用して前記第１物体の少なくとも一つの第１位置を前記バイク走行方向に対応する少なくとも一つの相対位置（Ｒｅｌａｔｉｖｅ  Ｌｏｃａｔｉｏｎ）に変換するプロセスと、前記第２ブラインドスポットにマッチングする前記相対位置の少なくとも一部に対応する前記第１物体の少なくとも一部を前記第２物体として判断するプロセスと、を遂行することを特徴とする請求項１に記載の方法。
【請求項６】
前記（ａ）段階で、
前記ブラインドスポットモニタリング装置は、前記映像イメージを前記物体検出器に伝送することによって、前記物体検出器をもって、（ｉ）前記映像イメージをコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎ  Ｌａｙｅｒ）に入力して、前記コンボリューションレイヤが前記映像イメージに対してコンボリューション演算を適用して少なくとも一つの特徴マップ（Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、（ｉｉ）前記特徴マップをＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）に入力して、前記ＲＰＮが前記特徴マップ上の前記物体に対応する少なくとも一つのプロポーザルボックス（Ｐｒｏｐｏｓａｌ  Ｂｏｘ）を生成させ、（ｉｉｉ）前記特徴マップをプーリングレイヤ（Ｐｏｏｌｉｎｇ  Ｌａｙｅｒ）に入力して、前記プーリングレイヤが前記特徴マップ上の前記プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して少なくとも一つの特徴ベクトル（Ｆｅａｔｕｒｅ  Ｖｅｃｔｏｒ）を生成させ、（ｉｖ）前記特徴ベクトルをＦＣレイヤ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ  Ｌａｙｅｒ）に入力して、前記ＦＣレイヤが前記特徴ベクトルに対してＦＣ演算を適用させ、（ｖ）前記ＦＣレイヤからの出力を分類レイヤ（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｌａｙｅｒ）とリグレッションレイヤ（Ｒｅｇｒｅｓｓｉｏｎ  Ｌａｙｅｒ）とにそれぞれ入力して、前記分類レイヤと前記リグレッションレイヤとが前記プロポーザルボックスそれぞれに対応する前記物体それぞれのクラス情報とリグレッション情報とをそれぞれ出力させて、前記映像イメージ上の前記物体を検出させるプロセスを遂行することを特徴とする請求項１に記載の方法。
【請求項７】
前記物体検出器は、学習装置により、（ｉ）トレーニングイメージを前記コンボリューションレイヤに入力して、前記コンボリューションレイヤが前記トレーニングイメージに対して前記コンボリューション演算を適用して学習用特徴マップを生成させるプロセス、（ｉｉ）前記学習用特徴マップを前記ＲＰＮに入力して、前記ＲＰＮが前記学習用特徴マップ上の少なくとも一つの学習用物体に対応する少なくとも一つの学習用プロポーザルボックスを生成させるプロセス、（ｉｉｉ）前記学習用特徴マップを前記プーリングレイヤに入力して、前記プーリングレイヤが前記学習用特徴マップ上の前記学習用プロポーザルボックスに対応する少なくとも一つの領域に対して前記プーリング演算を適用して学習用特徴ベクトルを生成させるプロセス、（ｉｖ）前記学習用特徴ベクトルを前記ＦＣレイヤに入力して、前記ＦＣレイヤが前記学習用特徴ベクトルに対して前記ＦＣ演算を適用させるプロセス、（ｖ）前記ＦＣレイヤからの少なくとも一つの学習用出力を前記分類レイヤと前記リグレッションレイヤとにそれぞれ入力して、前記学習用プロポーザルボックスそれぞれに対応する前記学習用物体それぞれに対する学習用クラス情報と学習用リグレッション情報とをそれぞれ出力させるプロセス、及び（ｖｉ）ロスレイヤ（Ｌｏｓｓ  Ｌａｙｅｒ）をもって、前記学習用クラス情報と、前記学習用リグレッション情報と、これにそれぞれ対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出させ、前記ロスをバックプロパゲーションして前記ロスが最小化されるように前記ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一つのパラメータの少なくとも一つをアップデートさせるプロセスが遂行されることによって、学習された状態であることを特徴とする請求項６に記載の方法。
【請求項８】
バイクライダー用スマートヘルメットを利用して、バイクの少なくとも一つのブラインドスポット（Ｂｌｉｎｄ  Ｓｐｏｔ）をモニタリングする方法において、
（ａ）ライダーが着用している前記スマートヘルメットに設けられたＧＰＳセンサ、加速度センサ、及び地磁気センサのうち少なくとも一部からセンサ情報が取得されると、ブラインドスポットモニタリング装置が前記センサ情報を参照してバイク位置、バイク走行方向、及びバイク走行速力を取得するプロセスを遂行する段階；及び
（ｂ）前記ブラインドスポットモニタリング装置が、（ｉ）前記スマートヘルメットを着用した前記ライダーの視野角（Ｖｉｅｗｉｎｇ  Ａｎｇｌｅ）と前記スマートヘルメットに設けられたカメラまたはレーダーセンサ（Ｒａｄａｒ  Ｓｅｎｓｏｒ）の少なくとも一つのセンサ角（Ｓｅｎｓｉｎｇ  Ａｎｇｌｅ）とを参照して取得されたライダーブラインドスポット情報と、（ｉｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力を、少なくとも一つの近傍車両及び少なくとも一つの近傍バイクに対応する少なくとも一つの近傍スマートヘルメットに伝送するプロセスを遂行することによって、（１）前記近傍車両のうち少なくとも一つのライダーブラインドスポットに位置する少なくとも一つの特定の近傍車両をもって、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍車両のセンサ情報から取得された車両位置、車両走行方向、及び車両走行速力とを参照して（１−ａ）前記特定の近傍車両と前記バイクとの間の交通事故発生の可能性を判断させて、（１−ｂ）前記特定の近傍車両の少なくとも一人の特定の近傍運転者に対して警報（Ａｌａｒｍ）させるプロセス、及び（２）前記近傍スマートヘルメットのうち前記ライダーブラインドスポットに位置する少なくとも一つの特定の近傍バイクに対応する少なくとも一つの特定の近傍スマートヘルメットをもって、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍スマートヘルメットのセンサ情報から取得された近傍バイク位置、近傍バイク走行方向、及び近傍バイク走行速力とを参照して、（２−ａ）前記特定の近傍バイクと前記バイクとの間の交通事故発生の可能性を判断させて、（２−ｂ）前記特定の近傍バイクに対応する少なくとも一つの特定の近傍ライダーに対して警報させるプロセスのうち少なくとも一つを遂行する段階；
を含むことを特徴とする方法。
【請求項９】
前記（ｂ）段階で、
前記ライダーブラインドスポットに位置する前記特定の近傍車両の前記特定の近傍運転者が、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍車両のセンサ情報から取得された前記車両位置、前記車両走行方向、及び前記車両走行速力とを参照して前記特定の近傍車両のステアリングホイール（Ｓｔｅｅｒｉｎｇ  Ｗｈｅｅｌ）を操作することによって、前記バイクの近傍前方領域に移動しようとする場合、前記ブラインドスポットモニタリング装置は、前記ライダーブラインドスポットに位置する前記特定の近傍車両をもって、前記ステアリングホイールが回転することを防ぐようにするかステアリングホイールを振動させて、前記特定の近傍運転者に対して警報させるプロセスを遂行することを特徴とする請求項８に記載の方法。
【請求項１０】
前記ライダーブラインドスポットに位置する前記特定の近傍車両が自律走行車両である場合、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記自律走行車両のセンサ情報から取得された自律走行車両位置、自律走行車両走行方向、及び自律走行車両走行速力とを参照して、前記自律走行車両の走行プラン（Ｄｒｉｖｉｎｇ  Ｐｌａｎ）が前記バイクの前記近傍前方領域に移動することを示すと判断されれば、前記ブラインドスポットモニタリング装置は、前記ライダーブラインドスポットに位置する前記自律走行車両をもって、前記走行プランによる前記自律走行車両の車線変更を遮断させるプロセスを遂行することを特徴とする請求項８に記載の方法。
【請求項１１】
バイクライダー用スマートヘルメットを利用して、バイクの少なくとも一つのブラインドスポット（Ｂｌｉｎｄ  Ｓｐｏｔ）をモニタリングするブラインドスポットモニタリング装置において、
インストラクションを格納する少なくとも一つのメモリと、
（Ｉ）ライダーが着用している前記スマートヘルメットに対応する少なくとも一つの第１ブラインドスポットの少なくとも一つの映像イメージ（Ｖｉｄｅｏ  Ｉｍａｇｅ）が取得されると、物体検出器をもって、前記映像イメージ上の少なくとも一つの物体を検出させるプロセス、及び検出された前記物体のうち前記第１ブラインドスポットに位置する少なくとも一つの第１物体を確認するプロセス、及び（ＩＩ）前記スマートヘルメットに設けられたＧＰＳセンサと、加速度センサと、地磁気センサ（Ｇｅｏｍａｇｎｅｔｉｃ  Ｓｅｎｓｏｒ）とのうち少なくとも一部から取得されるセンサ情報を参照してスマートヘルメット方向とバイク走行方向とを判断するプロセス、前記スマートヘルメット方向と前記バイク走行方向とを参照して前記第１物体のうち前記バイクに対応する少なくとも一つの第２ブラインドスポットに位置する少なくとも一つの第２物体を確認するプロセス、及び前記第２物体を前記スマートヘルメットに設けられたヘッドアップディスプレイ（Ｈｅａｄ  Ｕｐ  Ｄｉｓｐｌａｙ）を通じて表示するか、前記第２ブラインドスポットに前記第２物体が位置していることを前記スマートヘルメットに設けられた少なくとも一つのスピーカを通じて音声で警報（Ａｌａｒｍ）するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする装置。
【請求項１２】
前記（ＩＩ）プロセスは、
（ＩＩ−１）（ｉ）前記スマートヘルメットを着用した前記ライダーの視野角（Ｖｉｅｗｉｎｇ  Ａｎｇｌｅ）と前記映像イメージを撮影するカメラまたはレーダーセンサ（Ｒａｄａｒ  Ｓｅｎｓｏｒ）の少なくとも一つのセンサ角（Ｓｅｎｓｉｎｇ  Ａｎｇｌｅ）とを参照して取得されたライダーブラインドスポット情報と、（ｉｉ）前記センサ情報とを参照して取得されたバイク位置、バイク走行方向、及びバイク走行速力を、少なくとも一つの近傍車両及び少なくとも一つの近傍バイクに対応する少なくとも一つの近傍スマートヘルメットに伝送するプロセスを遂行することによって、（１）前記近傍車両のうち少なくとも一つのライダーブラインドスポットに位置する少なくとも一つの特定の近傍車両をもって、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍車両のセンサ情報から取得された車両位置、車両走行方向、及び車両走行速力とを参照して、（１−ａ）前記特定の近傍車両と前記バイクとの間の交通事故発生の可能性を判断させて、（１−ｂ）前記特定の近傍車両の少なくとも一人の特定の近傍運転者に対して警報させるプロセス、及び（２）前記近傍スマートヘルメットのうち前記ライダーブラインドスポットに位置する少なくとも一つの特定の近傍バイクに対応する少なくとも一つの特定の近傍スマートヘルメットをもって、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍スマートヘルメットのセンサ情報から取得された近傍バイク位置、近傍バイク走行方向、及び近傍バイク走行速力とを参照して、（２−ａ）前記特定の近傍バイクと前記バイクとの間の交通事故発生の可能性を判断させて、（２−ｂ）前記特定の近傍バイクに対応する少なくとも一つの特定の近傍ライダーに対して警報させるプロセスのうち少なくとも一つを遂行するプロセスをさらに遂行することを特徴とする請求項１１に記載の装置。
【請求項１３】
前記ライダーブラインドスポットに位置する前記特定の近傍車両の前記特定の近傍運転者が、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍車両のセンサ情報から取得された前記車両位置、前記車両走行方向、及び前記車両走行速力とを参照して、前記特定の近傍車両のステアリングホイール（Ｓｔｅｅｒｉｎｇ  Ｗｈｅｅｌ）を操作することによって前記バイクの近傍前方領域に移動しようとする場合、前記プロセッサは、前記ライダーブラインドスポットに位置する前記特定の近傍車両をもって、前記ステアリングホイールが回転するのを防ぐようにするか前記ステアリングホイールを振動させて、前記特定の近傍運転者に対して警報させるプロセスを遂行することを特徴とする請求項１２に記載の装置。
【請求項１４】
前記ライダーブラインドスポットに位置する前記特定の近傍車両が自律走行車両である場合、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記自律走行車両のセンサ情報から取得された自律走行車両位置、自律走行車両走行方向、及び自律走行車両走行速力とを参照して、前記自律走行車両の走行プラン（Ｄｒｉｖｉｎｇ  Ｐｌａｎ）が前記バイクの前記近傍前方領域に移動することを示すと判断されれば、前記プロセッサは、前記ライダーブラインドスポットに位置する前記自律走行車両をもって、前記走行プランによる前記自律走行車両の車線変更を遮断させるプロセスを遂行することを特徴とする請求項１２に記載の装置。
【請求項１５】
前記（ＩＩ）プロセスで、
前記プロセッサは、前記スマートヘルメット方向と前記バイク走行方向との間の角度差を算出するプロセスと、前記角度差を利用して前記第１物体の少なくとも一つの第１位置を前記バイク走行方向に対応する少なくとも一つの相対位置（Ｒｅｌａｔｉｖｅ  Ｌｏｃａｔｉｏｎ）に変換するプロセスと、前記第２ブラインドスポットにマッチングする前記相対位置の少なくとも一部に対応する前記第１物体の少なくとも一部を前記第２物体として判断するプロセスと、を遂行することを特徴とする請求項１１に記載の装置。
【請求項１６】
前記（Ｉ）プロセスで、
前記プロセッサは、前記映像イメージを前記物体検出器に伝送することによって、前記物体検出器をもって、（ｉ）前記映像イメージをコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎ  Ｌａｙｅｒ）に入力して、前記コンボリューションレイヤが前記映像イメージに対してコンボリューション演算を適用して少なくとも一つの特徴マップ（Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、（ｉｉ）前記特徴マップをＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐ）に入力して、前記ＲＰＮが前記学習用特徴マップ上の少なくとも一つの学習用物体に対応する少なくとも一つの学習用プロポーザルボックスを生成させるプロセス、（ｉｉｉ）前記学習用特徴マップを前記プーリングレイヤに入力して、前記プーリングレイヤが前記学習用特徴マップ上の前記学習用プロポーザルボックスに対応する少なくとも一つの領域に対して前記プーリング演算を適用して学習用特徴ベクトルを生成させるプロセス、（ｉｖ）前記特徴ベクトルをＦＣレイヤ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ  Ｌａｙｅｒ）に入力して、前記ＦＣレイヤが前記特徴ベクトルに対してＦＣ演算を適用させ、（ｖ）前記ＦＣレイヤからの出力を分類レイヤ（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｌａｙｅｒ）とリグレッションレイヤ（Ｒｅｇｒｅｓｓｉｏｎ  Ｌａｙｅｒ）とにそれぞれ入力して、前記分類レイヤと前記リグレッションレイヤが前記プロポーザルボックスそれぞれに対応する前記物体それぞれのクラス情報とリグレッション情報とをそれぞれ出力させて、前記映像イメージ上の前記物体を検出させるプロセスを遂行することを特徴とする請求項１１に記載の装置。
【請求項１７】
前記物体検出器は、学習装置により、（ｉ）トレーニングイメージを前記コンボリューションレイヤに入力して、前記コンボリューションレイヤが前記トレーニングイメージに対して前記コンボリューション演算を適用して学習用特徴マップを生成させるプロセス、（ｉｉ）前記学習用特徴マップを前記ＲＰＮに入力して、前記ＲＰＮが前記学習用特徴マップ上の少なくとも一つの学習用物体に対応する少なくとも一つの学習用プロポーザルボックスを生成させるプロセス、（ｉｉｉ）前記学習用特徴マップを前記プーリングレイヤに入力して、前記プーリングレイヤが前記学習用特徴マップ上の前記学習用プロポーザルボックスに対応する少なくとも一つの領域に対して前記プーリング演算を適用して学習用特徴ベクトルを生成させるプロセス、（ｉｖ）前記学習用特徴ベクトルを前記ＦＣレイヤに入力して、前記ＦＣレイヤが前記学習用特徴ベクトルに対して前記ＦＣ演算を適用させるプロセス、（ｖ）前記ＦＣレイヤからの少なくとも一つの学習用出力を前記分類レイヤと前記リグレッションレイヤとにそれぞれ入力して、前記学習用プロポーザルボックスそれぞれに対応する前記学習用物体それぞれに対する学習用クラス情報と学習用リグレッション情報とをそれぞれ出力させるプロセス、及び（ｖｉ）ロスレイヤ（Ｌｏｓｓ  Ｌａｙｅｒ）をもって、前記学習用クラス情報と、前記学習用リグレッション情報と、これにそれぞれ対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出させ、前記ロスをバックプロパゲーションして前記ロスが最小化されるように前記ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一つのパラメータの少なくとも一つをアップデートさせるプロセスが遂行されることによって、学習された状態であることを特徴とする請求項１６に記載の装置。
【請求項１８】
バイクライダー用スマートヘルメットを利用して、バイクの少なくとも一つのブラインドスポット（Ｂｌｉｎｄ  Ｓｐｏｔ）をモニタリングするブラインドスポットモニタリング装置において、
インストラクションを格納する少なくとも一つのメモリと、
（Ｉ）ライダーが着用している前記スマートヘルメットに設けられたＧＰＳセンサ、加速度センサ、及び地磁気センサのうち少なくとも一部からセンサ情報が取得されると、前記センサ情報を参照してバイク位置、バイク走行方向、及びバイク走行速力を取得するプロセス、及び（ＩＩ）（ｉ）前記スマートヘルメットを着用した前記ライダーの視野角（Ｖｉｅｗｉｎｇ  Ａｎｇｌｅ）と、前記スマートヘルメットに設けられたカメラまたはレーダーセンサ（Ｒａｄａｒ  Ｓｅｎｓｏｒ）の少なくとも一つのセンサ角（Ｓｅｎｓｉｎｇ  Ａｎｇｌｅ）とを参照して取得されたライダーブラインドスポット情報と、（ｉｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力を、少なくとも一つの近傍車両及び少なくとも一つの近傍バイクに対応する少なくとも一つの近傍スマートヘルメットに伝送するプロセスを遂行することによって、（１）前記近傍車両のうち少なくとも一つのライダーブラインドスポットに位置する少なくとも一つの特定の近傍車両をもって、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍車両のセンサ情報から取得された車両位置、車両走行方向、及び車両走行速力とを参照して（１−ａ）前記特定の近傍車両と前記バイクとの間の交通事故発生の可能性を判断させて、（１−ｂ）前記特定の近傍車両の少なくとも一人の特定の近傍運転者に対して警報（Ａｌａｒｍ）させるプロセス、及び（２）前記近傍スマートヘルメットのうち前記ライダーブラインドスポットに位置する少なくとも一つの特定の近傍バイクに対応する少なくとも一つの特定の近傍スマートヘルメットをもって、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍スマートヘルメットのセンサ情報から取得された近傍バイク位置、近傍バイク走行方向、及び近傍バイク走行速力とを参照して、（２−ａ）前記特定の近傍バイクと前記バイクとの間の交通事故発生の可能性を判断させて、（２−ｂ）前記特定の近傍バイクに対応する少なくとも一つの特定の近傍ライダーに対して警報させるプロセスのうち少なくとも一つを遂行するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする装置。
【請求項１９】
前記（ＩＩ）プロセスで、
前記ライダーブラインドスポットに位置する前記特定の近傍車両の前記特定の近傍運転者が、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍車両のセンサ情報から取得された前記車両位置、前記車両走行方向、及び前記車両走行速力とを参照して前記特定の近傍車両のステアリングホイール（Ｓｔｅｅｒｉｎｇ  Ｗｈｅｅｌ）を操作することによって前記バイクの近傍前方領域に移動しようとする場合、前記プロセッサは、前記ライダーブラインドスポットに位置する前記特定の近傍車両をもって、前記ステアリングホイールが回転するのを防ぐようにするか前記ステアリングホイールを振動させて、前記特定の近傍運転者に対して警報させるプロセスを遂行することを特徴とする請求項１８に記載の装置。
【請求項２０】
前記ライダーブラインドスポットに位置する前記特定の近傍車両が自律走行車両である場合、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記自律走行車両のセンサ情報から取得された自律走行車両位置、自律走行車両走行方向、及び自律走行車両走行速力とを参照して、前記自律走行車両の走行プラン（Ｄｒｉｖｉｎｇ  Ｐｌａｎ）が前記バイクの前記近傍前方領域に移動することを示すと判断されれば、前記プロセッサは、前記ライダーブラインドスポットに位置する前記自律走行車両をもって、前記走行プランによる前記自律走行車両の車線変更を遮断させるプロセスを遂行することを特徴とする請求項１８に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、バイクライダー用スマートヘルメットを利用して、バイクのブラインドスポット（Ｂｌｉｎｄ  Ｓｐｏｔ）をモニタリングする方法及びこれを利用したブラインドスポットモニタリング装置に関し、より詳細には、バイクに搭乗したライダーが着用しているスマートヘルメットから取得される映像イメージ（Ｖｉｄｅｏ  Ｉｍａｇｅ）を利用してブラインドスポットをモニタリングする方法及びこれを利用したブラインドスポットモニタリング装置に関する。
【背景技術】
【０００２】
バイクライダーは、自律走行車両の運転者よりも安全に関してさらに関心を持つようになる。それに加えて、バイク及び二輪車を走行する場合、ライダーが位置する空間が開放されていることから、エアバッグのような標準安全システムの役目が果たされなくなる。
【０００３】
よって、バイクライダーは、交通事故を避けるために注意しなければならない。詳細には、バイクライダーは周辺の車両を注意深く観察しなければならず、周辺車両の運転者にとってバイクが見えるようにしなければならない。特に停止の際に、バイクの単一後方ブレーキランプ（Ｒｅａｒ  Ｂｒａｋｅ  Ｌｉｇｈｔ）がバイクの前方に位置する車両のブレーキランプのうち一つと混同する現象を克服するために様々な技術開発が必要である。
【０００４】
また、自転車やオートバイのようなバイクを運行するライダーが見ることができる視野角（Ｖｉｅｗｉｎｇ  Ａｎｇｌｅ）は制限されており、それによりライダーが走行中であるバイクの周辺状況を全て確認できないことによって、様々な事故を誘発している。
【０００５】
したがって、本発明では、バイクライダーが周辺状況を正確に認知し得るようにする方法を提案する。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上述した問題点をすべて解決することをその目的とする。
【０００７】
本発明は、走行中であるバイクライダーがバイクの周辺状況を認知し得るようにすることを他の目的とする。
【０００８】
本発明は、バイクライダーが周辺の状況を認知して、安全にバイクを走行させ得るようにすることをまた他の目的とする。
【０００９】
本発明は、バイクライダーが取得した情報をＶ２Ｘ通信（Ｖｅｈｉｃｌｅ−ｔｏ−Ｅｖｅｒｙｔｈｉｎｇ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）を通じて少なくとも一つの近傍車両に送信させることをまた他の目的とする。
【課題を解決するための手段】
【００１０】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は以下のとおりである。
【００１１】
本発明の一態様によると、バイクライダー用スマートヘルメットを利用して、バイクの少なくとも一つのブラインドスポット（Ｂｌｉｎｄ  Ｓｐｏｔ）をモニタリングする方法において、（ａ）ライダーが着用している前記スマートヘルメットに対応する少なくとも一つの第１ブラインドスポットの少なくとも一つの映像イメージ（Ｖｉｄｅｏ  Ｉｍａｇｅ）が取得されると、ブラインドスポットモニタリング装置は、物体検出器をもって、前記映像イメージ上の少なくとも一つの物体を検出させるプロセス、及び検出された前記物体のうち前記第１ブラインドスポットに位置する少なくとも一つの第１物体を確認するプロセスを遂行する段階；及び（ｂ）前記ブラインドスポットモニタリング装置が、前記スマートヘルメットに設けられたＧＰＳセンサ、加速度センサ、及び地磁気センサ（Ｇｅｏｍａｇｎｅｔｉｃ  Ｓｅｎｓｏｒ）のうち少なくとも一部から取得されるセンサ情報を参照してスマートヘルメット方向及びバイク走行方向を判断するプロセス、前記スマートヘルメット方向と前記バイク走行方向とを参照して前記第１物体のうち前記バイクに対応する少なくとも一つの第２ブラインドスポットに位置する少なくとも一つの第２物体を確認するプロセス、及び前記第２物体を前記スマートヘルメットに設けられたヘッドアップディスプレイ（Ｈｅａｄ  Ｕｐ  Ｄｉｓｐｌａｙ）を通じて表示するか、前記第２ブラインドスポットに前記第２物体が位置していることを前記スマートヘルメットに設けられた少なくとも一つのスピーカを通じて音声で警報（Ａｌａｒｍ）するプロセスを遂行する段階；を含むことを特徴とする。
【００１２】
一実施例において、前記（ｂ）段階は、（ｂ１）前記ブラインドスポットモニタリング装置が、（ｉ）前記スマートヘルメットを着用した前記ライダーの視野角（Ｖｉｅｗｉｎｇ  Ａｎｇｌｅ）と前記映像イメージを撮影するカメラまたはレーダーセンサ（Ｒａｄａｒ  Ｓｅｎｓｏｒ）の少なくとも一つのセンサ角（Ｓｅｎｓｉｎｇ  Ａｎｇｌｅ）とを参照して取得されたライダーブラインドスポット情報と（ｉｉ）前記センサ情報とを参照して取得されたバイク位置、バイク走行方向、及びバイク走行速力を、少なくとも一つの近傍車両及び少なくとも一つの近傍バイクに対応する少なくとも一つの近傍スマートヘルメットに伝送するプロセスを遂行することによって、（１）前記近傍車両のうち少なくとも一つのライダーブラインドスポットに位置する少なくとも一つの特定の近傍車両をもって、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍車両のセンサ情報から取得された車両位置、車両走行方向、及び車両走行速力とを参照して、（１−ａ）前記特定の近傍車両と前記バイクとの間の交通事故発生の可能性を判断させて、（１−ｂ）前記特定の近傍車両の少なくとも一人の特定の近傍運転者に対して警報させるプロセス、及び（２）前記近傍スマートヘルメットのうち前記ライダーブラインドスポットに位置する少なくとも一つの特定の近傍バイクに対応する少なくとも一つの特定の近傍スマートヘルメットをもって、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍スマートヘルメットのセンサ情報から取得された近傍バイク位置、近傍バイク走行方向、及び近傍バイク走行速力とを参照して、（２−ａ）前記特定の近傍バイクと前記バイクとの間の交通事故発生の可能性を判断させて、（２−ｂ）前記特定の近傍バイクに対応する少なくとも一つの特定の近傍ライダーに対して警報させるプロセスのうち少なくとも一つを遂行する段階をさらに含むことを特徴とする。
【００１３】
一実施例において、前記ライダーブラインドスポットに位置する前記特定の近傍車両の前記特定の近傍運転者が、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍車両のセンサ情報から取得された前記車両位置、前記車両走行方向、及び前記車両走行速力とを参照して、前記特定の近傍車両のステアリングホイール（Ｓｔｅｅｒｉｎｇ  Ｗｈｅｅｌ）を操作することによって前記バイクの近傍前方領域に移動しようとする場合、前記ブラインドスポットモニタリング装置は、前記ライダーブラインドスポットに位置する前記特定の近傍車両をもって、前記ステアリングホイールが回転するのを防ぐようにするか前記ステアリングホイールを振動させて、前記特定の近傍運転者に対して警報させるプロセスを遂行することを特徴とする。
【００１４】
一実施例において、前記ライダーブラインドスポットに位置する前記特定の近傍車両が自律走行車両である場合、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記自律走行車両のセンサ情報から取得された自律走行車両位置、自律走行車両走行方向、及び自律走行車両走行速力とを参照して、前記自律走行車両の走行プラン（Ｄｒｉｖｉｎｇ  Ｐｌａｎ）が前記バイクの前記近傍前方領域に移動することを示すと判断されれば、前記ブラインドスポットモニタリング装置は、前記ライダーブラインドスポットに位置する前記自律走行車両をもって、前記走行プランによる前記自律走行車両の車線変更を遮断させるプロセスを遂行することを特徴とする。
【００１５】
一実施例において、前記（ｂ）段階で、前記ブラインドスポットモニタリング装置は、前記スマートヘルメット方向と前記バイク走行方向との間の角度差を算出するプロセスと、前記角度差を利用して前記第１物体の少なくとも一つの第１位置を前記バイク走行方向に対応する少なくとも一つの相対位置（Ｒｅｌａｔｉｖｅ  Ｌｏｃａｔｉｏｎ）に変換するプロセスと、前記第２ブラインドスポットにマッチングする前記相対位置の少なくとも一部に対応する前記第１物体の少なくとも一部を前記第２物体として判断するプロセスと、を遂行することを特徴とする。
【００１６】
一実施例において、前記（ａ）段階で、前記ブラインドスポットモニタリング装置は、前記映像イメージを前記物体検出器に伝送することによって、前記物体検出器をもって、（ｉ）前記映像イメージをコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎ  Ｌａｙｅｒ）に入力して、前記コンボリューションレイヤが前記映像イメージに対してコンボリューション演算を適用して少なくとも一つの特徴マップ（Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、（ｉｉ）前記特徴マップをＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）に入力して、前記ＲＰＮが前記特徴マップ上の前記物体に対応する少なくとも一つのプロポーザルボックス（Ｐｒｏｐｏｓａｌ  Ｂｏｘ）を生成させ、（ｉｉｉ）前記特徴マップをプーリングレイヤ（Ｐｏｏｌｉｎｇ  Ｌａｙｅｒ）に入力して、前記プーリングレイヤが前記特徴マップ上の前記プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して少なくとも一つの特徴ベクトル（Ｆｅａｔｕｒｅ  Ｖｅｃｔｏｒ）を生成させ、（ｉｖ）前記特徴ベクトルをＦＣレイヤ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ  Ｌａｙｅｒ）に入力して、前記ＦＣレイヤが前記特徴ベクトルに対してＦＣ演算を適用させ、（ｖ）前記ＦＣレイヤからの出力を分類レイヤ（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｌａｙｅｒ）とリグレッションレイヤ（Ｒｅｇｒｅｓｓｉｏｎ  Ｌａｙｅｒ）とにそれぞれ入力して、前記分類レイヤと前記リグレッションレイヤとが前記プロポーザルボックスそれぞれに対応する前記物体それぞれのクラス情報とリグレッション情報とをそれぞれ出力させて、前記映像イメージ上の前記物体を検出させるプロセスを遂行することを特徴とする。
【００１７】
一実施例において、前記物体検出器は、学習装置により、（ｉ）トレーニングイメージを前記コンボリューションレイヤに入力して、前記コンボリューションレイヤが前記トレーニングイメージに対して前記コンボリューション演算を適用して学習用特徴マップを生成させるプロセス、（ｉｉ）前記学習用特徴マップを前記ＲＰＮに入力して、前記ＲＰＮが前記学習用特徴マップ上の少なくとも一つの学習用物体に対応する少なくとも一つの学習用プロポーザルボックスを生成させるプロセス、（ｉｉｉ）前記学習用特徴マップを前記プーリングレイヤに入力して、前記プーリングレイヤが前記学習用特徴マップ上の前記学習用プロポーザルボックスに対応する少なくとも一つの領域に対して前記プーリング演算を適用して学習用特徴ベクトルを生成させるプロセス、（ｉｖ）前記学習用特徴ベクトルを前記ＦＣレイヤに入力して、前記ＦＣレイヤが前記学習用特徴ベクトルに対して前記ＦＣ演算を適用させるプロセス、（ｖ）前記ＦＣレイヤからの少なくとも一つの学習用出力を前記分類レイヤと前記リグレッションレイヤとにそれぞれ入力して、前記学習用プロポーザルボックスそれぞれに対応する前記学習用物体それぞれに対する学習用クラス情報と学習用リグレッション情報とをそれぞれ出力させるプロセス、及び（ｖｉ）ロスレイヤ（Ｌｏｓｓ  Ｌａｙｅｒ）をもって、前記学習用クラス情報と、前記学習用リグレッション情報と、これにそれぞれ対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出させ、前記ロスをバックプロパゲーションして前記ロスが最小化されるように前記ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一つのパラメータの少なくとも一つをアップデートさせるプロセスが遂行されることによって、学習された状態であることを特徴とする。
【００１８】
本発明の他の態様によると、バイクライダー用スマートヘルメットを利用して、バイクの少なくとも一つのブラインドスポット（Ｂｌｉｎｄ  Ｓｐｏｔ）をモニタリングする方法において、（ａ）ライダーが着用している前記スマートヘルメットに設けられたＧＰＳセンサ、加速度センサ、及び地磁気センサのうち少なくとも一部からセンサ情報が取得されると、ブラインドスポットモニタリング装置が前記センサ情報を参照してバイク位置、バイク走行方向、及びバイク走行速力を取得するプロセスを遂行する段階；及び（ｂ）前記ブラインドスポットモニタリング装置が、（ｉ）前記スマートヘルメットを着用した前記ライダーの視野角（Ｖｉｅｗｉｎｇ  Ａｎｇｌｅ）と前記スマートヘルメットに設けられたカメラまたはレーダーセンサ（Ｒａｄａｒ  Ｓｅｎｓｏｒ）の少なくとも一つのセンサ角（Ｓｅｎｓｉｎｇ  Ａｎｇｌｅ）とを参照して取得されたライダーブラインドスポット情報と、（ｉｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力を、少なくとも一つの近傍車両及び少なくとも一つの近傍バイクに対応する少なくとも一つの近傍スマートヘルメットに伝送するプロセスを遂行することによって、（１）前記近傍車両のうち少なくとも一つのライダーブラインドスポットに位置する少なくとも一つの特定の近傍車両をもって、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍車両のセンサ情報から取得された車両位置、車両走行方向、及び車両走行速力とを参照して（１−ａ）前記特定の近傍車両と前記バイクとの間の交通事故発生の可能性を判断させて、（１−ｂ）前記特定の近傍車両の少なくとも一人の特定の近傍運転者に対して警報（Ａｌａｒｍ）させるプロセス、及び（２）前記近傍スマートヘルメットのうち前記ライダーブラインドスポットに位置する少なくとも一つの特定の近傍バイクに対応する少なくとも一つの特定の近傍スマートヘルメットをもって、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍スマートヘルメットのセンサ情報から取得された近傍バイク位置、近傍バイク走行方向、及び近傍バイク走行速力とを参照して、（２−ａ）前記特定の近傍バイクと前記バイクとの間の交通事故発生の可能性を判断させて、（２−ｂ）前記特定の近傍バイクに対応する少なくとも一つの特定の近傍ライダーに対して警報させるプロセスのうち少なくとも一つを遂行する段階；を含むことを特徴とする。
【００１９】
一実施例において、前記（ｂ）段階で、前記ライダーブラインドスポットに位置する前記特定の近傍車両の前記特定の近傍運転者が、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍車両のセンサ情報から取得された前記車両位置、前記車両走行方向、及び前記車両走行速力とを参照して前記特定の近傍車両のステアリングホイール（Ｓｔｅｅｒｉｎｇ  Ｗｈｅｅｌ）を操作することによって、前記バイクの近傍前方領域に移動しようとする場合、ライダーブラインドスポットに位置する特定の近傍車両をもって、前記ステアリングホイールが回転することを防ぐようにするかステアリングホイールを振動させて、前記特定の近傍運転者に対して警報させるプロセスを遂行することを特徴とする。
【００２０】
一実施例において、前記ライダーブラインドスポットに位置する前記特定の近傍車両が自律走行車両である場合、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記自律走行車両のセンサ情報から取得された自律走行車両位置、自律走行車両走行方向、及び自律走行車両走行速力とを参照して、前記自律走行車両の走行プラン（Ｄｒｉｖｉｎｇ  Ｐｌａｎ）が前記バイクの前記近傍前方領域に移動することを示すと判断されれば、前記ブラインドスポットモニタリング装置は、前記ライダーブラインドスポットに位置する前記自律走行車両をもって、前記走行プランによる前記自律走行車両の車線変更を遮断させるプロセスを遂行することを特徴とする。
【００２１】
本発明のまた他の態様によると、バイクライダー用スマートヘルメットを利用して、バイクの少なくとも一つのブラインドスポット（Ｂｌｉｎｄ  Ｓｐｏｔ）をモニタリングするブラインドスポットモニタリング装置において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）ライダーが着用している前記スマートヘルメットに対応する少なくとも一つの第１ブラインドスポットの少なくとも一つの映像イメージ（Ｖｉｄｅｏ  Ｉｍａｇｅ）が取得されると、物体検出器をもって、前記映像イメージ上の少なくとも一つの物体を検出させるプロセス、及び検出された前記物体のうち前記第１ブラインドスポットに位置する少なくとも一つの第１物体を確認するプロセス、及び（ＩＩ）前記スマートヘルメットに設けられたＧＰＳセンサと、加速度センサと、地磁気センサ（Ｇｅｏｍａｇｎｅｔｉｃ  Ｓｅｎｓｏｒ）とのうち少なくとも一部から取得されるセンサ情報を参照してスマートヘルメット方向とバイク走行方向とを判断するプロセス、前記スマートヘルメット方向と前記バイク走行方向とを参照して前記第１物体のうち前記バイクに対応する少なくとも一つの第２ブラインドスポットに位置する少なくとも一つの第２物体を確認するプロセス、及び前記第２物体を前記スマートヘルメットに設けられたヘッドアップディスプレイ（Ｈｅａｄ  Ｕｐ  Ｄｉｓｐｌａｙ）を通じて表示するか、前記第２ブラインドスポットに前記第２物体が位置していることを前記スマートヘルメットに設けられた少なくとも一つのスピーカを通じて音声で警報（Ａｌａｒｍ）するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
【００２２】
一実施例において、前記（ＩＩ）プロセスは、（ＩＩ−１）（ｉ）前記スマートヘルメットを着用した前記ライダーの視野角（Ｖｉｅｗｉｎｇ  Ａｎｇｌｅ）と前記映像イメージを撮影するカメラまたはレーダーセンサ（Ｒａｄａｒ  Ｓｅｎｓｏｒ）の少なくとも一つのセンサ角（Ｓｅｎｓｉｎｇ  Ａｎｇｌｅ）とを参照して取得されたライダーブラインドスポット情報と、（ｉｉ）前記センサ情報とを参照して取得されたバイク位置、バイク走行方向、及びバイク走行速力を、少なくとも一つの近傍車両及び少なくとも一つの近傍バイクに対応する少なくとも一つの近傍スマートヘルメットに伝送するプロセスを遂行することによって、（１）前記近傍車両のうち少なくとも一つのライダーブラインドスポットに位置する少なくとも一つの特定の近傍車両をもって、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍車両のセンサ情報から取得された車両位置、車両走行方向、及び車両走行速力とを参照して、（１−ａ）前記特定の近傍車両と前記バイクとの間の交通事故発生の可能性を判断させて、（１−ｂ）前記特定の近傍車両の少なくとも一人の特定の近傍運転者に対して警報させるプロセス、及び（２）前記近傍スマートヘルメットのうち前記ライダーブラインドスポットに位置する少なくとも一つの特定の近傍バイクに対応する少なくとも一つの特定の近傍スマートヘルメットをもって、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍スマートヘルメットのセンサ情報から取得された近傍バイク位置、近傍バイク走行方向、及び近傍バイク走行速力とを参照して、（２−ａ）前記特定の近傍バイクと前記バイクとの間の交通事故発生の可能性を判断させて、（２−ｂ）前記特定の近傍バイクに対応する少なくとも一つの特定の近傍ライダーに対して警報させるプロセスのうち少なくとも一つを遂行するプロセスをさらに遂行することを特徴とする。
【００２３】
一実施例において、前記ライダーブラインドスポットに位置する前記特定の近傍車両の前記特定の近傍運転者が、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍車両のセンサ情報から取得された前記車両位置、前記車両走行方向、及び前記車両走行速力とを参照して、前記特定の近傍車両のステアリングホイール（Ｓｔｅｅｒｉｎｇ  Ｗｈｅｅｌ）を操作することによって前記バイクの近傍前方領域に移動しようとする場合、前記プロセッサは、前記ライダーブラインドスポットに位置する前記特定の近傍車両をもって、前記ステアリングホイールが回転するのを防ぐようにするか前記ステアリングホイールを振動させて、前記特定の近傍運転者に対して警報させるプロセスを遂行することを特徴とする。
【００２４】
一実施例において、前記ライダーブラインドスポットに位置する前記特定の近傍車両が自律走行車両である場合、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記自律走行車両のセンサ情報から取得された自律走行車両位置、自律走行車両走行方向、及び自律走行車両走行速力とを参照して、前記自律走行車両の走行プラン（Ｄｒｉｖｉｎｇ  Ｐｌａｎ）が前記バイクの前記近傍前方領域に移動することを示すと判断されれば、前記プロセッサは、前記ライダーブラインドスポットに位置する前記自律走行車両をもって、前記走行プランによる前記自律走行車両の車線変更を遮断させるプロセスを遂行することを特徴とする。
【００２５】
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサは、前記スマートヘルメット方向と前記バイク走行方向との間の角度差を算出するプロセスと、前記角度差を利用して前記第１物体の少なくとも一つの第１位置を前記バイク走行方向に対応する少なくとも一つの相対位置（Ｒｅｌａｔｉｖｅ  Ｌｏｃａｔｉｏｎ）に変換するプロセスと、前記第２ブラインドスポットにマッチングする前記相対位置の少なくとも一部に対応する前記第１物体の少なくとも一部を前記第２物体として判断するプロセスと、を遂行することを特徴とする。
【００２６】
一実施例において、前記（Ｉ）プロセスで、前記プロセッサは、前記映像イメージを前記物体検出器に伝送することによって、前記物体検出器をもって、（ｉ）前記映像イメージをコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎ  Ｌａｙｅｒ）に入力して、前記コンボリューションレイヤが前記映像イメージに対してコンボリューション演算を適用して少なくとも一つの特徴マップ（Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させ、（ｉｉ）前記特徴マップをＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）に入力して、前記ＲＰＮが前記学習用特徴マップ上の少なくとも一つの学習用物体に対応する少なくとも一つの学習用プロポーザルボックスを生成させるプロセス、（ｉｉｉ）前記学習用特徴マップを前記プーリングレイヤに入力して、前記プーリングレイヤが前記学習用特徴マップ上の前記学習用プロポーザルボックスに対応する少なくとも一つの領域に対して前記プーリング演算を適用して学習用特徴ベクトルを生成させるプロセス、（ｉｖ）前記特徴ベクトルをＦＣレイヤ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ  Ｌａｙｅｒ）に入力して、前記ＦＣレイヤが前記特徴ベクトルに対してＦＣ演算を適用させ、（ｖ）前記ＦＣレイヤからの出力を分類レイヤ（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｌａｙｅｒ）とリグレッションレイヤ（Ｒｅｇｒｅｓｓｉｏｎ  Ｌａｙｅｒ）とにそれぞれ入力して、前記分類レイヤと前記リグレッションレイヤが前記プロポーザルボックスそれぞれに対応する前記物体それぞれのクラス情報とリグレッション情報とをそれぞれ出力させて、前記映像イメージ上の前記物体を検出させるプロセスを遂行することを特徴とする。
【００２７】
一実施例において、前記物体検出器は、学習装置により、（ｉ）トレーニングイメージを前記コンボリューションレイヤに入力して、前記コンボリューションレイヤが前記トレーニングイメージに対して前記コンボリューション演算を適用して学習用特徴マップを生成させるプロセス、（ｉｉ）前記学習用特徴マップを前記ＲＰＮに入力して、前記ＲＰＮが前記学習用特徴マップ上の少なくとも一つの学習用物体に対応する少なくとも一つの学習用プロポーザルボックスを生成させるプロセス、（ｉｉｉ）前記学習用特徴マップを前記プーリングレイヤに入力して、前記プーリングレイヤが前記学習用特徴マップ上の前記学習用プロポーザルボックスに対応する少なくとも一つの領域に対して前記プーリング演算を適用して学習用特徴ベクトルを生成させるプロセス、（ｉｖ）前記学習用特徴ベクトルを前記ＦＣレイヤに入力して、前記ＦＣレイヤが前記学習用特徴ベクトルに対して前記ＦＣ演算を適用させるプロセス、（ｖ）前記ＦＣレイヤからの少なくとも一つの学習用出力を前記分類レイヤと前記リグレッションレイヤとにそれぞれ入力して、前記学習用プロポーザルボックスそれぞれに対応する前記学習用物体それぞれに対する学習用クラス情報と学習用リグレッション情報とをそれぞれ出力させるプロセス、及び（ｖｉ）ロスレイヤ（Ｌｏｓｓ  Ｌａｙｅｒ）をもって、前記学習用クラス情報と、前記学習用リグレッション情報と、これにそれぞれ対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出させ、前記ロスをバックプロパゲーションして前記ロスが最小化されるように前記ＦＣレイヤ及び前記コンボリューションレイヤのうち少なくとも一つのパラメータの少なくとも一つをアップデートさせるプロセスが遂行されることによって、学習された状態であることを特徴とする。
【００２８】
本発明のまた他の態様によると、バイクライダー用スマートヘルメットを利用して、バイクの少なくとも一つのブラインドスポット（Ｂｌｉｎｄ  Ｓｐｏｔ）をモニタリングするブラインドスポットモニタリング装置において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）ライダーが着用している前記スマートヘルメットに設けられたＧＰＳセンサ、加速度センサ、及び地磁気センサのうち少なくとも一部からセンサ情報が取得されると、前記センサ情報を参照してバイク位置、バイク走行方向、及びバイク走行速力を取得するプロセス、及び（ＩＩ）（ｉ）前記スマートヘルメットを着用した前記ライダーの視野角（Ｖｉｅｗｉｎｇ  Ａｎｇｌｅ）と前記スマートヘルメットに設けられたカメラまたはレーダーセンサ（Ｒａｄａｒ  Ｓｅｎｓｏｒ）の少なくとも一つのセンサ角（Ｓｅｎｓｉｎｇ  Ａｎｇｌｅ）とを参照して取得されたライダーブラインドスポット情報と、（ｉｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力を、少なくとも一つの近傍車両及び少なくとも一つの近傍バイクに対応する少なくとも一つの近傍スマートヘルメットに伝送するプロセスを遂行することによって、（１）前記近傍車両のうち少なくとも一つのライダーブラインドスポットに位置する少なくとも一つの特定の近傍車両をもって、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍車両のセンサ情報から取得された車両位置、車両走行方向、及び車両走行速力とを参照して（１−ａ）前記特定の近傍車両と前記バイクとの間の交通事故発生の可能性を判断させて、（１−ｂ）前記特定の近傍車両の少なくとも一人の特定の近傍運転者に対して警報（Ａｌａｒｍ）させるプロセス、及び（２）前記近傍スマートヘルメットのうち前記ライダーブラインドスポットに位置する少なくとも一つの特定の近傍バイクに対応する少なくとも一つの特定の近傍スマートヘルメットをもって、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍スマートヘルメットのセンサ情報から取得された近傍バイク位置、近傍バイク走行方向、及び近傍バイク走行速力とを参照して、（２−ａ）前記特定の近傍バイクと前記バイクとの間の交通事故発生の可能性を判断させて、（２−ｂ）前記特定の近傍バイクに対応する少なくとも一つの特定の近傍ライダーに対して警報させるプロセスのうち少なくとも一つを遂行するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
【００２９】
一実施例において、前記（ＩＩ）プロセスで、前記ライダーブラインドスポットに位置する前記特定の近傍車両の前記特定の近傍運転者が、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記特定の近傍車両のセンサ情報から取得された前記車両位置、前記車両走行方向、及び前記車両走行速力とを参照して前記特定の近傍車両のステアリングホイール（Ｓｔｅｅｒｉｎｇ  Ｗｈｅｅｌ）を操作することによって前記バイクの近傍前方領域に移動しようとする場合、前記プロセッサは、前記ライダーブラインドスポットに位置する前記特定の近傍車両をもって、前記ステアリングホイールが回転するのを防ぐようにするか前記ステアリングホイールを振動させて、前記特定の近傍運転者に対して警報させるプロセスを遂行することを特徴とする。
【００３０】
一実施例において、前記ライダーブラインドスポットに位置する前記特定の近傍車両が自律走行車両である場合、（ｉ）前記バイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）前記自律走行車両のセンサ情報から取得された自律走行車両位置、自律走行車両走行方向、及び自律走行車両走行速力とを参照して、前記自律走行車両の走行プラン（Ｄｒｉｖｉｎｇ  Ｐｌａｎ）が前記バイクの前記近傍前方領域に移動することを示すと判断されれば、前記プロセッサは、前記ライダーブラインドスポットに位置する前記自律走行車両をもって、前記走行プランによる前記自律走行車両の車線変更を遮断させるプロセスを遂行することを特徴とする。
【００３１】
その他にも、本発明の方法を実行するためのコンピュータプログラムを格納するためのコンピュータ読取り可能な記録媒体がさらに提供される。
【発明の効果】
【００３２】
本発明は、バイクライダーにバイクの周辺環境を認知させるようにして、交通事故を防止する効果がある。
【００３３】
本発明は、バイクライダーにバイクの周辺環境を認知させるようにして、ライダーの走行の質（Ｄｒｉｖｉｎｇ  Ｑｕａｌｉｔｙ）を向上させる他の効果がある。
【００３４】
本発明は、バイクライダーが取得した情報をＶ２Ｘ通信を介して近傍車両に伝送することによって、近傍車両が安全に運転できるようにし、それに伴って道路上の交通事故が減少するまた他の効果がある。
【図面の簡単な説明】
【００３５】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
【００３６】
【図１】本発明の一実施例によるバイクライダー用スマートヘルメットを利用して、バイクの少なくとも一つのブラインドスポット（Ｂｌｉｎｄ  Ｓｐｏｔ）をモニタリングするブラインドスポットモニタリング装置を簡略に示したものである。
【図２】本発明の一実施例によるバイクライダー用スマートヘルメットを利用して、バイクのブラインドスポットをモニタリングするブラインドスポットモニタリング方法を簡略に示したものである。
【図３】本発明の一実施例によるバイクライダー用スマートヘルメットを利用してバイクのブラインドスポットをモニタリングする方法において、少なくとも一つの映像イメージ（Ｖｉｄｅｏ  Ｉｍａｇｅ）から少なくとも一つの物体を検出する物体検出器を簡略に示したものである。
【図４】本発明の一実施例によるバイクライダー用スマートヘルメットを利用してバイクのブラインドスポットをモニタリングする方法において、バイクのブラインドスポットをモニタリングするプロセスを簡略に示したものである。
【図５】本発明の一実施例によるバイクライダー用スマートヘルメットを利用してバイクのブラインドスポットをモニタリングする方法において、バイクと周辺の車両とが走行する状態を簡略に示したものである。
【図６】本発明の一実施例によるバイクライダー用スマートヘルメットを利用してバイクのブラインドスポットをモニタリングする方法において、スマートヘルメットからバイクのブラインドスポットに関する情報を参照して自律走行する自律走行車両の作動状態を簡略に示したものである。
【発明を実施するための形態】
【００３７】
後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように十分詳細に説明される。
【００３８】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は、本説明書から、また一部は、本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００３９】
さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、類似する機能を指す。
【００４０】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００４１】
ここに提供される本発明の名称及び要約は、単に便宜のために提供されるものであって、これらの実施例の範囲または意味を制限したり解釈するものではない。
【００４２】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
【００４３】
図１は、本発明の一実施例によるバイクライダー用スマートヘルメットを利用して、バイクの少なくとも一つのブラインドスポット（Ｂｌｉｎｄ  Ｓｐｏｔ）をモニタリングするブラインドスポットモニタリング装置を簡略に示したものである。図１を参照すると、ブラインドスポットモニタリング装置１００は、バイクに搭乗したライダーが着用しているスマートヘルメットに設けられた少なくとも一つのセンサから取得されるセンサ情報を参照してバイクのブラインドスポットをモニタリングするためのインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納するメモリ１１０と、メモリ１１０に格納されたインストラクションによって、スマートヘルメットに設けられたセンサから取得されるセンサ情報を参照してバイクのブラインドスポットをモニタリングするためのプロセスを遂行するプロセッサ１２０と、を含むことができる。本発明全体にわたって、バイクは一輪自転車、自転車、三輪自転車、二輪車、一輪または三輪オートバイ等を含み得るが、それに限定されるわけではない。
【００４４】
具体的に、ブラインドスポットモニタリング装置１００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他既存のコンピューティング装置の構成要素を含むことができる装置；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージ領域ネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と、少なくとも一つのコンピュータソフトウェア（すなわち、コンピューティング装置をもって特定の方式で機能させるインストラクション）との組み合わせを利用して所望のシステム性能を達成するものであり得る。
【００４５】
また、コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ  Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ  Ｂｕｓ）などのハードウェア構成を含むことができる。また、コンピューティング装置は、オペレーティングシステム、特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
【００４６】
しかし、コンピューティング装置が、本発明を実施するためのプロセッサ、メモリ、ミディアム又は他のコンピューティング構成要素の何らかの組み合わせを含む統合プロセッサ（Ｉｎｔｅｇｒａｔｅｄ  Ｐｒｏｃｅｓｓｏｒ）を排除するものではない。
【００４７】
このように構成された本発明の一実施例によるブラインドスポットモニタリング装置１００を利用して、スマートヘルメットに設けられたセンサから取得されるセンサ情報を参照してバイクのブラインドスポットをモニタリングする方法を、図２を参照して説明すると以下のとおりである。
【００４８】
まず、バイクに搭乗したライダーが着用しているスマートヘルメットに設けられた少なくとも一つのカメラまたは少なくとも一つのレーダーセンサ１０から少なくとも一つの第１ブラインドスポットの少なくとも一つの映像イメージ（Ｖｉｄｅｏ  Ｉｍａｇｅ）が取得されると、ブラインドスポットモニタリング装置１００は、物体検出器をもって、映像イメージ上の少なくとも一つの物体を検出させるプロセスを遂行することができる（Ｓ１）。この場合、レーダーセンサ（Ｒａｄａｒ  Ｓｅｎｓｏｒ）は、ライダーセンサ（ＬｉＤＡＲ  Ｓｅｎｓｏｒ）、レーザーセンサ（Ｌａｓｅｒ  Ｓｅｎｓｏｒ）、超音波センサなどを含むことができ、周辺環境をスキャンして周辺環境に対応するイメージを取得することができるセンサは、どのようなものであれ含むことができる。
【００４９】
一例として、図３を参照すると、ブラインドスポットモニタリング装置１００は、映像イメージを物体検出器１５０に伝送することができる。そうすると、物体検出器１５０は、映像イメージをコンボリューションレイヤ（Ｃｏｎｖｏｌｕｔｉｏｎ  Ｌａｙｅｒ）１５１に入力して、コンボリューションレイヤ１５１が映像イメージに対してコンボリューション演算を少なくとも一回適用させて少なくとも一つの特徴マップ（Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させることができる。そして、物体検出器１５０は、特徴マップをＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）１５２に入力して、ＲＰＮ１５２が特徴マップ上の少なくとも一つの物体に対応する少なくとも一つのプロポーザルボックス（Ｐｒｏｐｏｓａｌ  Ｂｏｘ）を出力させることができる。以後、物体検出器１５０は、特徴マップをプーリングレイヤ（Ｐｏｏｌｉｎｇ  Ｌａｙｅｒ）１５３に入力して、プーリングレイヤ１５３が特徴マップ上のプロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して少なくとも一つの特徴ベクトル（Ｆｅａｔｕｒｅ  Ｖｅｃｔｏｒ）を出力させることができる。以後、物体検出器１５０は、特徴ベクトルをＦＣレイヤ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ  Ｌａｙｅｒ）１５４に入力して、ＦＣレイヤ１５４が特徴ベクトルに対してＦＣ演算を適用させ、ＦＣレイヤ１５４からの少なくとも一つの出力を分類レイヤ１５５とリグレッションレイヤ１５６とにそれぞれ入力して、プロポーザルボックスそれぞれに対応する物体それぞれのクラス情報とリグレッション情報とをそれぞれ生成させて、映像イメージ上の物体を検出することができる。
【００５０】
この際、物体検出器は、学習装置により既に学習された状態であり得る。
【００５１】
すなわち、学習装置が、少なくとも一つのトレーニングイメージをコンボリューションレイヤ１５１に入力して、コンボリューションレイヤ１５１がトレーニングイメージに対してコンボリューション演算を少なくとも一回適用して少なくとも一つの学習用特徴マップを生成させ、学習用特徴マップをＲＰＮ１５２に入力して、ＲＰＮ１５２が学習用特徴マップ上の少なくとも一つの学習用物体に対応する少なくとも一つの学習用プロポーザルボックスを出力させることができる。そして、学習装置が、学習用特徴マップをプーリングレイヤ１５３に入力して、プーリングレイヤ１５３が学習用特徴マップ上の学習用プロポーザルボックスに対応する少なくとも一つの領域に対してプーリング演算を適用して少なくとも一つの学習用特徴ベクトルを生成させ、学習用特徴ベクトルをＦＣレイヤ１５４に入力して、ＦＣレイヤ１５４が学習用特徴ベクトルに対してＦＣ演算を適用させることができる。以後、学習装置が、ＦＣレイヤ１５４からの少なくとも一つの学習用出力を分類レイヤ１５５とリグレッションレイヤ１５６とにそれぞれ入力して、学習用プロポーザルボックスそれぞれに対応する少なくとも一つの学習用物体それぞれに対する学習用クラス情報と学習用リグレッション情報とをそれぞれ生成させることができる。そして、学習装置は、ロスレイヤが学習用クラス情報と、学習用リグレッション情報と、これにそれぞれ対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを生成させ、ロスを利用したバックプロパゲーションを通じてロスを最小化するようにＦＣレイヤ１５４及びコンボリューションレイヤ１５１のうち少なくとも一つのパラメータの少なくとも一つをアップデートさせることができる。上記のプロセスを繰り返した結果、学習装置が物体検出器を学習することができる。
【００５２】
次に、ブラインドスポットモニタリング装置１００は、物体検出器により検出された物体のうち第１ブラインドスポットに位置する少なくとも一つの第１物体を確認するプロセスを遂行することができる（Ｓ２）。
【００５３】
この場合、第１ブラインドスポットはスマートヘルメットに対応するブラインドスポットであり得、スマートヘルメットから予め設定された距離以内であり、ライダーが視覚的に確認し得ない領域であり得る。
【００５４】
次に、スマートヘルメットに設けられたセンサ２０、例えば、ＧＰＳセンサ、加速度センサ、及び地磁気センサのうち少なくとも一部からセンサ情報が取得されると、ブラインドスポットモニタリング装置１００は、ＧＰＳセンサ、加速度センサ、及び地磁気センサのうち少なくとも一部からのセンサ情報を参照してスマートヘルメット方向とバイク走行方向とを確認することができる（Ｓ３）。
【００５５】
そして、ブラインドスポットモニタリング装置１００は、スマートヘルメット方向とバイク走行方向とを参照して、第１物体のうちバイクに対応する少なくとも一つの第２ブラインドスポットに位置する少なくとも一つの第２物体を確認するプロセスを遂行することができる（Ｓ４）。この際、第２ブラインドスポットは、バイクの周辺領域のうちバイクに搭乗したライダーが視覚的に確認することができない領域であり得る。
【００５６】
すなわち、ブラインドスポットモニタリング装置１００は、スマートヘルメット方向とバイク走行方向とのうち少なくとも一つの角度差を算出するプロセスと、角度差を利用して第１物体の少なくとも一つの第１位置をバイク走行方向に対応する少なくとも一つの相対位置（Ｒｅｌａｔｉｖｅ  Ｌｏｃａｔｉｏｎ）に変換するプロセスと、第２ブラインドスポットにマッチングする相対位置の少なくとも一部に対応する第１物体の少なくとも一部を第２物体として決定するプロセスとを遂行することができる。
【００５７】
一例として、図４を参照すると、バイク１のライダーが着用したスマートヘルメット２に設けられたカメラまたはレーダーセンサの少なくとも一つのセンサ角（Ｓｅｎｓｉｎｇ  Ａｎｇｌｅ）４は、スマートヘルメットのブラインドスポット、すなわち、スマートヘルメットの少なくとも一つの後方領域に対応し得、バイク１のブラインドスポット５は、バイク１の走行方向によってライダーが視覚的に確認できない領域に設定された少なくとも一つの予め設定された領域であり得る。
【００５８】
この場合、スマートヘルメット２のスマートヘルメット方向はライダーによって変更され得、そのような場合に、物体検出器を利用して検出されたスマートヘルメットのブラインドスポットである第１ブラインドスポットに位置する第１物体は、バイクのブラインドスポットである第２ブラインドスポットから検出された物体でないことがあり得る。
【００５９】
したがって、ブラインドスポットモニタリング装置１００は、スマートヘルメット２を基準としてスマートヘルメット方向ＲＤとバイクの走行方向ＢＤとの間の角度を決定し、決定された角度を参照して第１物体の第１位置を、バイク走行方向ＢＤを基準とした相対位置に変換し、相対位置が第２ブラインドスポット５に位置する第１物体の少なくとも一部を第２物体として決定することによって、バイクのブラインドスポット５に位置する物体を検出することができる。
【００６０】
次に、ブラインドスポットモニタリング装置１００は、バイクのブラインドスポットである第２ブラインドスポットに位置する第２物体をスマートヘルメットに設けられたヘッドアップディスプレイ（Ｈｅａｄ  Ｕｐ  Ｄｉｓｐｌａｙ）を通じて表示するプロセス（Ｓ５）、または、第２ブラインドスポットに第２物体が位置していることを、スマートヘルメットに設けられた少なくとも一つのスピーカを通じて音声で警報（Ａｌａｒｍ）するプロセスを遂行することによって、ライダーがバイクのブラインドスポットに位置する物体、すなわち、少なくとも一人の歩行者、少なくとも一台の車両、または少なくとも一台の他のバイクを認知させてバイクが安全運行をし得るようにする。
【００６１】
また、これと同時に、ブラインドスポットモニタリング装置１００は、スマートヘルメットを着用したライダーの視野角と映像イメージを撮影するカメラまたはレーダーセンサのセンサ角とを参照して少なくとも一つのライダーブラインドスポットを確認することができる（Ｓ６）。
【００６２】
すなわち、再び図４を参照すると、スマートヘルメットに設けられたカメラまたはレーダーセンサのセンサ角４と、スマートヘルメットを着用したライダーの視野角３との範囲を外れた状態であるライダーブラインドスポット６が決定され得る。
【００６３】
したがって、ブラインドスポットモニタリング装置１００は、（ｉ）スマートヘルメットを着用したライダーの視野角と映像イメージを撮影するカメラまたはレーダーセンサのセンサ角とを参照して取得されたライダーブラインドスポットに関する情報と（ｉｉ）スマートヘルメットからのセンサ情報とを参照して取得されたバイク位置、バイク走行方向、及びバイク走行速力とを、少なくとも一つの近傍車両及び少なくとも一つの近傍バイクの少なくとも一つのスマートヘルメットに伝送することができる（Ｓ７）。この際、ブラインドスポットモニタリング装置１００は、Ｖ２Ｘ（Ｖｅｈｉｃｌｅ  Ｔｏ  Ｅｖｅｒｙｔｈｉｎｇ）通信を介してライダーブラインドスポット情報、バイク位置、バイク走行方向、及びバイク走行速力を伝送することができる。
【００６４】
そうすると、ライダーブラインドスポットのうち一つに位置する特定の近傍車両は、（ｉ）ブラインドスポットモニタリング装置１００から取得されるバイク位置、前記バイク走行方向、及び前記バイク走行速力と、（ｉｉ）特定の近傍車両のセンサ情報から取得される車両位置、車両走行方向、及び車両走行速力とを参照して決定される特定の近傍車両とバイクとの間の交通事故発生の可能性を利用して、特定の近傍車両の特定の近傍運転者に対して警報することができる。また、近傍スマートヘルメットのうちライダーブラインドスポットに位置する少なくとも一つの特定の近傍バイクに対応する少なくとも一つの特定の近傍スマートヘルメットは、（ｉ）ブラインドスポットモニタリング装置１００から取得されるバイク位置、バイク走行方向、及びバイク走行速力と、（ｉｉ）特定の近傍スマートヘルメットのセンサ情報から取得される近傍バイク位置、近傍バイク走行方向、及び近傍バイク走行速力とを参照して、特定の近傍バイクと前記バイクとの間の交通事故発生の可能性を判断して、特定の近傍バイクに対応する少なくとも一つの特定の近傍ライダーに対して警報することができる。
【００６５】
この場合、ライダーブラインドスポットに位置する特定の近傍車両の特定の近傍運転者が、（ｉ）ブラインドスポットモニタリング装置１００から取得されるバイク位置、バイク走行方向、及びバイク走行速力と、（ｉｉ）特定の近傍車両のセンサ情報から取得される車両位置、車両走行方向、及び車両走行速力とを参照して特定の近傍車両のステアリングホイール（Ｓｔｅｅｒｉｎｇ  Ｗｈｅｅｌ）を操作することによって、車両がバイクの近傍前方領域に移動しようとする場合、ライダーブラインドスポットに位置する特定の近傍車両は、ステアリングホイールが回転するのを防ぐようにするか、ステアリングホイールを振動させて、特定の近傍運転者に対して警報するプロセスを遂行することができる。
【００６６】
一例として、図５を参照すると、バイク１の近傍で走行中である車両３０は、ブラインドスポットモニタリング装置１００から受信されるライダーブラインドスポット情報を参照して車両３０がライダーブラインドスポット６のうち一つに位置するか否かを確認するプロセスと、車両３０が前記ライダーブラインドスポット６のうち一つに位置するものと判断される場合にバイク１のライダーが注意しない領域、すなわち、ライダーが視覚的に確認しないバイクの近傍前方領域に車両３０の走行方向を変更するようになると、交通事故発生の可能性が予め設定された閾値を超過する危険領域４０を確認するプロセスと、を遂行することによって、車両３０が危険領域４０に入ることを中断させて車両３０とライダー１との間に発生し得る交通事故を防止することができる。
【００６７】
また、ライダーブラインドスポットに位置する特定の近傍車両が自律走行車両である場合、（ｉ）バイク位置、バイク走行方向、及びバイク走行速力と、（ｉｉ）自律走行車両のセンサ情報から取得された自律走行車両位置、自律走行車両走行方向、及び自律走行車両走行速力とを参照して、自律走行車両の走行プラン（Ｄｒｉｖｉｎｇ  Ｐｌａｎ）がバイクの近傍前方領域に移動することを示すと判断されれば、ライダーブラインドスポットに位置する自律走行車両は、自律走行車両の走行プランによる自律走行車両の車線変更を遮断させることができる。
【００６８】
一例として、図６を参照すると、自律走行車両２００は、自律走行プラン２０１と少なくとも一つのステアリングセンサ２０２からの少なくとも一つの信号とを参照して、車線変更可否及び車線変更の際の車線変更方向を判断することができ（Ｓ１１）、少なくとも一つの位置センサ及び少なくとも一つの速力センサ２０３から取得されるセンサ情報を利用して自律走行車両の位置、自律走行車両の走行方向、及び自律走行車両の走行速力を参照して自律走行車両が走行する間（Ｓ１２）、Ｖ２Ｘ通信部２０４を通じてライダーブラインドスポット情報、バイク位置、バイク走行方向、及びバイク走行速力が取得されると、ライダーブラインドスポット情報を参照して、自律走行車両２００は、それ自体がライダーブラインドスポットのうち一つに位置するのかを判断することができる。
【００６９】
そして、自律走行車両２００がライダーブラインドスポットのうち一つに位置するものと判断されれば、自律走行車両２００は、自律走行車両２００の走行環境が危険であるか否かを判断することができる（Ｓ１３）。
【００７０】
すなわち、（ｉ）バイク位置、バイク走行方向、及びバイク走行速力と、（ｉｉ）自律走行車両のセンサ情報から取得された自律走行車両位置、自律走行車両走行方向、及び自律走行車両走行速力とを参照して、自律走行車両の走行プランがライダーブラインドスポットのうち一つからバイクの近傍前方領域に移動することを示していると判断されれば、バイクライダーが自律走行車両１００を認識できないため、自律走行車両は交通事故発生の可能性が予め設定された閾値より大きいものと判断することができる。
【００７１】
そうすると、自律走行車両２００は、電子ステアリング装置２０５を作動させてステアリングホイールを操作しにくくするかステアリングホイールを振動させることによって、自律走行車両２００の運転者に危険状況を認知させることができる。また、自律走行車両２００は、自律走行システム２０６を作動させて自律走行車両２００がバイク側に車線変更するのを中断させて交通事故を防止することができる。また、自律走行車両２００は、警報装置２０７を作動させて光や音声などを利用して、自律走行車両の運転者及びバイクライダーに対して警報して交通事故を防止することができる。
【００７２】
一方、前記においては、ブラインドスポットモニタリング装置がバイクブラインドスポットをモニタリングするプロセス及びライダーブラインドスポット情報を近傍の車両または近傍のスマートヘルメットに伝送するプロセスを同時に遂行するものと説明したが、これとは異なり、ブラインドスポットモニタリング装置は、ライダーブラインドスポット情報を近傍車両または近傍スマートヘルメットに伝送するプロセスのみを遂行することもできる。
【００７３】
すなわち、ライダーが着用しているスマートヘルメットに設けられたＧＰＳセンサ、加速度センサ、及び地磁気センサのうち少なくとも一部からセンサ情報が取得されると、ブラインドスポットモニタリング装置は、スマートヘルメットからのセンサ情報を参照してバイク位置、バイク走行方向、及びバイク走行速力を取得するプロセスを遂行することができる。そして、ブラインドスポットモニタリング装置は、（ｉ）スマートヘルメットを着用したライダーの視野角とスマートヘルメットに設けられたカメラまたはレーダーセンサのセンサ角とを参照して取得されたライダーブラインドスポット情報と（ｉｉ）前記センサ情報とを参照して取得されたバイク位置、バイク走行方向、及びバイク走行速力を、近傍車両及び近傍バイクに対応する近傍スマートヘルメットに伝送するプロセスを遂行することによって、（１）近傍車両のうちライダーブラインドスポットの一つに位置する特定の近傍車両をもって、（ｉ）バイク位置、バイク走行方向、及びバイク走行速力と、（ｉｉ）特定の近傍車両のセンサ情報から取得された車両位置、車両走行方向、及び車両走行速力とを参照して（１−ａ）特定の近傍車両とバイクとの間の交通事故発生の可能性を判断させて、（１−ｂ）特定の近傍車両の特定の近傍運転者に対して警報させるプロセス、及び（２）近傍スマートヘルメットのうちライダーブラインドスポットの一つに位置する少なくとも一つの特定の近傍バイクに対応する特定の近傍スマートヘルメットをもって、（ｉ）バイク位置、バイク走行方向、及びバイク走行速力と、（ｉｉ）特定の近傍スマートヘルメットのセンサ情報から取得された近傍バイク位置、近傍バイク走行方向、及び近傍バイク走行速力とを参照して、（２−ａ）特定の近傍バイクとバイクとの間の交通事故発生の可能性を判断させて、（２−ｂ）特定の近傍バイクに対応する特定の近傍ライダーに対して警告させるプロセスのうち少なくとも一つを遂行することができる。
【００７４】
この場合、ライダーブラインドスポットに位置する特定の近傍車両の特定の近傍運転者が、（ｉ）バイク位置、バイク走行方向、及びバイク走行速力と、（ｉｉ）特定の近傍車両のセンサ情報から取得された車両位置、車両走行方向、及び車両走行速力とを参照して特定の近傍車両のステアリングホイールを操作することによって、バイクの近傍前方領域に移動しようとする場合、ブラインドスポットモニタリング装置１００は、ライダーブラインドスポットに位置する特定の近傍車両をもって、ステアリングホイールが回転するのを防ぐようにするかステアリングホイールを振動させて、特定の近傍運転者に対して警報させるプロセスを遂行することができる。
【００７５】
また、ライダーブラインドスポットに位置する特定の近傍車両が自律走行車両である場合、（ｉ）バイク位置、バイク走行方向、及びバイク走行速力と、（ｉｉ）自律走行車両のセンサ情報から取得された自律走行車両位置、自律走行車両走行方向、及び自律走行車両走行速力とを参照して、自律走行車両の走行プランがバイクの近傍前方領域に移動することを示していると判断されれば、ブラインドスポットモニタリング装置１００は、ライダーブラインドスポットに位置する自律走行車両をもって、走行プランによる自律走行車両の車線変更を遮断させるプロセスを遂行することができる。
【００７６】
前記で説明したように、本発明は、スマートヘルメットに設けられたカメラまたはレーザーセンサからのセンサ情報を参照して、ブラインドスポットを検出して生成されたヘルメット方向を基準としてブラインドスポット検出結果を取得するプロセス、人の認識状態を利用して運転者の状態をモニタリングしてスマートヘルメット方向を確認するプロセス、スマートヘルメット方向とバイク走行方向とを参照してヘルメット方向を基準としてブラインドスポット検出結果から変換されたバイク走行方向に基づいたブラインドスポット検出結果をバイクのライダーに対して通知するプロセス、スマートヘルメットに設けられたカメラまたはレーザーセンサのセンサ角と、スマートヘルメットを着用したライダーの視野角とのうちいずれでも確認されないライダーブラインドスポットを確認するプロセス、及び確認されたライダーブラインドスポットを、Ｖ２Ｘ通信を介して近傍車両または近傍バイクに伝送するプロセスを遂行することによって、近傍車両または近傍バイクがライダーブラインドスポットを参照して安全に走行させることができる。
【００７７】
また、以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ  Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【００７８】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面により説明されたが、これは、本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
【００７９】
したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【００８０】
本発明は、バイクライダー用スマートヘルメットを利用してバイクのブラインドスポットをモニタリングする方法及びこれを利用したブラインドスポットモニタリング装置｛ＭＥＴＨＯＤ  ＦＯＲ  ＭＯＮＩＴＯＲＩＮＧ  ＢＬＩＮＤ  ＳＰＯＴ  ＯＦ  ＣＹＣＬＥ  ＵＳＩＮＧ  ＳＭＡＲＴ  ＨＥＬＭＥＴ  ＦＯＲ  ＣＹＣＬＥ  ＲＩＤＥＲ  ＡＮＤ  ＢＬＩＮＤ  ＳＰＯＴ  ＭＯＮＩＴＯＲＩＮＧ  ＤＥＶＩＣＥ  ＵＳＩＮＧ  ＴＨＥＭ｝に関する。
【００８１】
本発明は、バイクライダー用スマートヘルメットを利用してブラインドスポット（Ｂｌｉｎｄ  Ｓｐｏｔ）をモニタリングする方法において、ブラインドスポットモニタリング装置は、（ａ）スマートヘルメットに対応する第１ブラインドスポットの映像イメージ（Ｖｉｄｅｏ  Ｉｍａｇｅ）が取得されると、物体検出器をもって、映像イメージ上の物体を検出させ、第１ブラインドスポットに位置する第１物体を確認する段階；及び（ｂ）スマートヘルメットに設けられたＧＰＳセンサ、加速度センサ、及び地磁気センサ（Ｇｅｏｍａｇｎｅｔｉｃ  Ｓｅｎｓｏｒ）のうち一部から取得されるセンサ情報を参照してスマートヘルメット方向及びバイク走行方向を判断し、スマートヘルメット方向とバイク走行方向とを参照して、第１物体のうちバイクに対応する第２ブラインドスポットに位置する第２物体を確認し、第２物体を前記スマートヘルメットに設けられたヘッドアップディスプレイ（Ｈｅａｄ  Ｕｐ  Ｄｉｓｐｌａｙ；ＨＵＤ）を通じて表示するか、第２ブラインドスポットに第２物体が位置していることをスピーカを通じて音声で警報（Ａｌａｒｍ）する段階；を含むことを特徴とする方法を提供する。
【符号の説明】
【００８２】
１００：ブラインドスポットモニタリング装置
１１０：メモリ
１２０：プロセッサ
【図１】
2020126629.tif 000003
【図２】
2020126629.tif 000004
【図３】
2020126629.tif 000005
【図４】
2020126629.tif 000006
【図５】
2020126629.tif 000007
【図６】
2020126629.tif 000008