(57)【要約】      （修正有）【課題】自動車のブラインドスポットに観察対象自動車が位置するかを判断する自動車のブラインドスポットモニタリング方法及びこれを利用したブラインドスポットモニタを提供する。【解決手段】ブラインドスポットモニタは、基準自動車から所定距離別に撮影されたサンプリング用の後方映像イメージから、基準自動車のブラインドスポットに観察対象自動車が検出される候補領域として、ｍ個のプロポーザルボックスを設定する。基準自動車の運行中、撮影されたテスト用後方映像イメージからコンボリューション、プーリング、ＦＣ  ｌａｙｅｒなどの機能を通じ得られた情報を参照して、ｍ個のプロポーザルボックスからｊ個を選択し、ｊ個に対する検出バウンディングボックスを獲得する。ｊ個の検出バウンディングボックスと対応するプロポーザルボックスの重複度合いから、ブラインドスポットの観察対象自動車の検出有無を判断する。【選択図】図６
2019067405.tif 000002
【特許請求の範囲】
【請求項１】
自動車のブラインドスポットをモニタリングする方法において、
（ａ）（ｉ）基準自動車のブラインドスポット（ｂｌｉｎｄ  ｓｐｏｔ）で前記基準自動車から所定距離別に位置する少なくとも一つの参照自動車に対応される前記基準自動車で撮影された複数のサンプリング用後方映像イメージを獲得し、（ｉｉ）各々の前記サンプリング用後方映像イメージから前記参照自動車に対応する複数の参照バウンディングボックス（ｂｏｕｎｄｉｎｇ  ｂｏｘ）を生成し、（ｉｉｉ）前記参照バウンディングボックスを前記基準自動車のブラインドスポットに位置するようになる少なくとも一つの観察対象自動車を検出し得る確率を有する候補領域としてのｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ  ｂｏｘ）に設定した状態で、前記基準自動車の運行中、前記基準自動車で撮影されたテスト用後方映像イメージが獲得されると、ブラインドスポットモニタが、前記テスト用後方映像イメージから少なくとも一つのテスト用特徴マップを獲得する段階；
（ｂ）前記ブラインドスポットモニタが、（ｉ）前記テスト用特徴マップ上の前記ｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して前記ｍ個のプロポーザルボックス各々に対応するテスト用特徴ベクタ（ｆｅａｔｕｒｅ  ｖｅｃｔｏｒ）を獲得し、（ｉｉ）前記ｍ個のプロポーザルボックス各々に対応する前記テスト用特徴ベクタを少なくとも一つのＦＣ  ｌａｙｅｒに各々入力して（ｉｉｉ）クラシフィケーションのための演算を通じて前記ｍ個のプロポーザルボックス各々に対応するクラス別のテスト用クラシフィケーションスコアを獲得し、（ｉｖ）前記ｍ個のプロポーザルボックス各々に対応する前記クラス別のテスト用リグレッション情報を獲得する段階；及び
（ｃ）前記ブラインドスポットモニタは、（ｉ）前記クラス別のテスト用クラシフィケーションスコアを参照して前記ｍ個のプロポーザルボックスのうちｊ個のプロポーザルボックスを選択し、（ｉｉ）前記ｊ個のプロポーザルボックス各々に対応する前記テスト用リグレッション情報を利用して前記ｊ個のプロポーザルボックス各々に対応する検出バウンディングボックスを獲得し、（ｉｉｉ）前記検出バウンディングボックス各々が前記ｊ個のプロポーザルボックスのうち対応されるプロポーザルボックスと第１臨界値以上でマッチングされるかを各々確認し、（ｉｖ）前記ｊ個のプロポーザルボックスのうち少なくとも一つのプロポーザルボックスに前記観察対象自動車が位置するか否かを判断することで前記基準自動車のブラインドスポットに前記観察対象自動車が位置するか否かを判断する段階；
を含むことを特徴とする方法。
【請求項２】
（ｄ）前記ｊ個のプロポーザルボックスのうちから選択された前記対応されるプロポーザルボックスと第２臨界値未満でマッチングされる少なくとも一つの特定検出バウンディングボックスがある場合、前記ブラインドスポットモニタは、前記特定検出バウンディングボックスを前記基準自動車のブラインドスポットに位置するようになる前記観察対象自動車を検出するための候補領域を含むグループの新しい構成要素として追加される少なくとも一つの動的プロポーザルボックスに設定し、更新されたグループを獲得する段階；
をさらに含むことを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
【請求項３】
前記（ｄ）段階で、前記特定検出バウンディングボックスが獲得された前記テスト用後方映像イメージのフレームがｔフレームの場合、前記ブラインドスポットモニタは、前記テスト用後方映像イメージのｔ＋１フレームで、前記ｍ個のプロポーザルボックスと前記動的プロポーザルボックスを前記更新されたグループに含まれたものに設定する請求項２に記載の自動車のブラインドスポットモニタリング方法。
【請求項４】
前記ブラインドスポットモニタは、
（ｉ）前記ｔ＋１フレームからｔ＋（ｋ−１）フレームまで前記動的プロポーザルボックスに前記観察対象自動車が位置するか否かを判断し、（ｉｉ）ｔ＋ｋフレームで前記動的プロポーザルボックスに前記観察対象自動車が位置しないと判断された状態で、ｔ＋ｋ＋１フレームでｍ個のプロポーザルボックスに前記観察対象自動車が位置するか否かを判断することを特徴とする請求項３に記載の自動車のブラインドスポットモニタリング方法。
【請求項５】
（ｅ）前記基準自動車のブラインドスポットに前記観察対象自動車が位置したと判断される場合、前記ブラインドスポットモニタは、前記ブラインドスポットに前記観察対象自動車が位置した情報を前記自動車のコントロールユニットに伝送することで前記コントロールユニットをもって前記観察対象自動車が位置する前記ブラインドスポット方向に前記基準自動車が車線を変更することを防止するように支援する段階；
をさらに含むことを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
【請求項６】
前記（ｃ）段階で、
前記ブラインドスポットモニタは、
（ｉ）前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックス各々の面積と各々の前記検出バウンディングボックスに対応される前記プロポーザルボックスの面積が互いに重なる第１重複領域を計算し、（ｉｉ）前記第１重複領域のうち第３臨界値以上であると判断される特定第１重複領域に該当されるプロポーザルボックスに前記観察対象自動車が位置すると判断することを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
【請求項７】
前記（ｃ）段階で、
前記ブラインドスポットモニタは、
（ｉ）前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックスが互いに重なる第２重複領域を計算し、（ｉｉ）前記第２重複領域のうち第４臨界値以上であると確認される少なくとも一つの特定第２重複領域に該当する少なくとも一つの特殊検出バウンディングボックスが一つの同一の前記観察対象自動車に対応されると判断し、（ｉｉｉ）前記特殊検出バウンディングボックスのうち対応される前記プロポーザルボックスと面積が互いに重なる重複領域が最大の検出バウンディングボックスを前記観察対象自動車に対する検出バウンディングボックスと判断することを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
【請求項８】
前記（ｃ）段階で、
前記ブラインドスポットモニタは、
（ｉ）前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックスが互いに重なる第２重複領域を各々計算し、（ｉｉ）前記第２重複領域のうち第５臨界値未満であると確認される特定第２重複領域に該当する特別検出バウンディングボックスが互いに異なる前記観察対象自動車に対応されると判断し、（ｉｉｉ）前記特別検出バウンディングボックスを前記各々の観察対象自動車を含むと判断することを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
【請求項９】
前記（ａ）段階で、
前記ブラインドスポットモニタは、
コンボリューションを遂行する場合、パッドを０に設定した状態で既設定されたストライドでフィルタを移動させ、前記テスト用後方映像イメージをコンボリューションするか、以前にコンボリューションされたテスト用特徴マップをコンボリューションすることを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
【請求項１０】
前記（ａ）段階で、
前記ブラインドスポットモニタは、
前記テスト用後方映像イメージで前記ブラインドスポットに対応されるイメージをコンボリューションして前記テスト用特徴マップを獲得することを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
【請求項１１】
前記ブラインドスポットモニタは、学習装置によって学習されたコンボリューションパラメータ、クラシフィケーションパラメータ、及びリグレッションパラメータを利用して前記コンボリューション、前記クラシフィケーション、及び前記ボックスリグレッションを遂行することを特徴とするが、
前記学習装置は、
（ｉ）トレーニングイメージをコンボリューションしてトレーニング用特徴マップを獲得し、前記トレーニング用特徴マップをＲＰＮ（ｒｅｇｉｏｎ  ｐｒｏｐｏｓａｌ  ｎｅｔｗｏｒｋ）に入力して前記トレーニングイメージに位置するオブジェクトに対応されるプロポーザルボックスを獲得し、（ｉｉ）前記プロポーザルボックスに対応される前記トレーニングイメージ領域に対してプーリング（ｐｏｏｌｉｎｇ）を遂行して前記プロポーザルボックス各々に対応されるトレーニング用特徴ベクタを獲得し、前記プロポーザルボックス各々に対応する前記トレーニング用特徴ベクタを前記ＦＣ  ｌａｙｅｒに各々入力して前記クラシフィケーションのための演算を通じて前記プロポーザルボックス各々に対応する前記クラス別のトレーニング用クラシフィケーションスコアを獲得し、前記ボックスリグレッションのための演算を通じて前記プロポーザルボックス各々に対応する前記クラス別のトレーニング用リグレッション情報を獲得し、（ｉｉｉ）前記クラシフィケーションスコアと既設定されたクラシフィケーショングラウンドトゥルース（ｇｒｏｕｎｄ  ｔｒｕｔｈ）を比較分析してクラシフィケーションに対するロス値であるクラシフィケーションロス値を獲得し、前記リグレッション情報と既設定されたボックスリグレッショングラウンドトゥルースを比較分析してリグレッションに対するロス値であるリグレッションロス値を獲得し、前記獲得されたクラシフィケーションロス値と前記リグレッションロス値を各々バックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記コンボリューションパラメータ、前記クラシフィケーションパラメータ、及び前記ボックスリグレッションパラメータを学習することを特徴とする請求項１に記載の自動車のブラインドスポットモニタリング方法。
【請求項１２】
自動車のブラインドスポットをモニタリングする装置において、
基準自動車のブラインドスポット（ｂｌｉｎｄ  ｓｐｏｔ）で前記基準自動車から所定距離別に位置する少なくとも一つの参照自動車に対応される前記基準自動車で撮影された複数のサンプリング用後方映像イメージを獲得し、各々の前記サンプリング用後方映像イメージから前記参照自動車に対応する複数の参照バウンディングボックス（ｂｏｕｎｄｉｎｇ  ｂｏｘ）を生成し、前記参照バウンディングボックスを前記基準自動車のブラインドスポットに位置するようになる少なくとも一つの観察対象自動車を検出し得る確率を有する候補領域としてのｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ  ｂｏｘ）に設定した状態で、前記基準自動車の運行中、前記基準自動車で撮影された複数のテスト用後方映像イメージを獲得する通信部；及び
（ｉ）前記テスト用後方映像イメージから少なくとも一つのテスト用特徴マップを獲得するプロセス；（ｉｉ）前記テスト用特徴マップ上の前記ｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して前記ｍ個のプロポーザルボックス各々に対応するテスト用特徴ベクタ（ｆｅａｔｕｒｅ  ｖｅｃｔｏｒ）を獲得し、前記ｍ個のプロポーザルボックス各々に対応する前記テスト用特徴ベクタを少なくとも一つのＦＣ  ｌａｙｅｒに各々入力して（ｉｉ−１）クラシフィケーションのための演算を通じて前記ｍ個のプロポーザルボックス各々に対応するクラス別のテスト用クラシフィケーションスコアを獲得し、（ｉｉ−２）前記ｍ個のプロポーザルボックス各々に対応する前記クラス別のテスト用リグレッション情報を獲得するプロセス；及び（ｉｉｉ）前記クラス別のテスト用クラシフィケーションスコアを参照して前記ｍ個のプロポーザルボックスのうちｊ個のプロポーザルボックスを選択し、前記ｊ個のプロポーザルボックス各々に対応する前記テスト用リグレッション情報を利用して前記ｊ個のプロポーザルボックス各々に対応する検出バウンディングボックスを獲得し、前記検出バウンディングボックス各々が前記ｊ個のプロポーザルボックスのうち対応されるプロポーザルボックスと第１臨界値以上でマッチングされるかを各々確認し、前記ｊ個のプロポーザルボックスのうち少なくとも一つのプロポーザルボックスに前記観察対象自動車が位置するか否かを判断することで前記基準自動車のブラインドスポットに前記観察対象自動車が位置するか否かを判断するプロセスを遂行するプロセッサ
を含む自動車のブラインドスポットモニタ。
【請求項１３】
前記プロセッサは、
（ｉｖ）前記ｊ個のプロポーザルボックスのうちから選択された前記対応されるプロポーザルボックスと第２臨界値未満でマッチングされる少なくとも一つの特定検出バウンディングボックスがある場合、前記特定検出バウンディングボックスを前記基準自動車のブラインドスポットに位置するようになる前記観察対象自動車を検出するための候補領域を含むグループの新しい構成要素として追加される少なくとも一つの動的プロポーザルボックスに設定し、更新されたグループを獲得するプロセス；
をさらに遂行することを特徴とする請求項１２に記載の自動車のブラインドスポットモニタ。
【請求項１４】
前記プロセッサは、
前記特定検出バウンディングボックスが獲得された前記テスト用後方映像イメージのフレームがｔフレームの場合、前記テスト用後方映像イメージのｔ＋１フレームで前記ｍ個のプロポーザルボックスと前記動的プロポーザルボックスを前記更新されたグループに含まれたものに設定する請求項１３に記載の自動車のブラインドスポットモニタ。
【請求項１５】
前記プロセッサは、
前記ｔ＋１フレームからｔ＋（ｋ−１）フレームまで前記動的プロポーザルボックスに前記観察対象自動車が位置するか否かを判断し、ｔ＋ｋフレームで前記動的プロポーザルボックスに前記観察対象自動車が位置しないと判断された状態で、ｔ＋ｋ＋１フレームで前記ｍ個のプロポーザルボックスに前記観察対象自動車が位置するか否かを判断することを特徴とする請求項１４に記載の自動車のブラインドスポットモニタ。
【請求項１６】
前記プロセッサは、
（ｖ）前記基準自動車のブラインドスポットに前記観察対象自動車が位置したと判断される場合、前記ブラインドスポットに前記観察対象自動車が位置した情報を前記自動車のコントロールユニットに伝送することで前記コントロールユニットをもって前記観察対象自動車が位置する前記ブラインドスポット方向に前記基準自動車が車線を変更することを防止するように支援するプロセス；
をさらに遂行することを特徴とする請求項１２に記載の自動車のブラインドスポットモニタ。
【請求項１７】
前記プロセッサは、
前記（ｉｉｉ）プロセスで、
前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックス各々の面積と各々の前記検出バウンディングボックスに対応される前記プロポーザルボックスの面積が互いに重なる第１重複領域を計算し、前記第１重複領域のうち第３臨界値以上であると判断される特定第１重複領域に該当されるプロポーザルボックスに前記観察対象自動車が位置すると判断することを特徴とする請求項１２に記載の自動車のブラインドスポットモニタ。
【請求項１８】
前記プロセッサは、
前記（ｉｉｉ）プロセスで、
前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックスが互いに重なる第２重複領域を計算し、前記第２重複領域のうち第４臨界値以上であると確認される少なくとも一つの特定第２重複領域に該当する少なくとも一つの特殊検出バウンディングボックスが一つの同一の前記観察対象自動車に対応されると判断し、前記特殊検出バウンディングボックスのうち対応される前記プロポーザルボックスと面積が互いに重なる重複領域が最大の検出バウンディングボックスを前記観察対象自動車に対する検出バウンディングボックスと判断することを特徴とする請求項１２に記載の自動車のブラインドスポットモニタ。
【請求項１９】
前記プロセッサは、
前記（ｉｉｉ）プロセスで、
前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックスが互いに重なる第２重複領域を各々計算し、前記第２重複領域のうち第５臨界値未満であると確認される特定第２重複領域に該当する特別検出バウンディングボックスが互いに異なる前記観察対象自動車に対応されると判断し、前記特別検出バウンディングボックスを互いに異なる前記観察対象自動車を含むと判断することを特徴とする請求項１２に記載の自動車のブラインドスポットモニタ。
【請求項２０】
前記プロセッサは、
前記（ｉ）プロセスで、
コンボリューションを遂行する場合、パッドを０に設定した状態で既設定されたストライドでフィルタを移動させ、前記テスト用後方映像イメージをコンボリューションするか、以前にコンボリューションされたテスト用特徴マップをコンボリューションすることを特徴とする請求項１２に記載の自動車のブラインドスポットモニタ。
【請求項２１】
前記プロセッサは、
前記（ｉ）プロセスで、
前記テスト用後方映像イメージで前記ブラインドスポットに対応されるイメージをコンボリューションして前記テスト用特徴マップを獲得することを特徴とする請求項１２に記載の自動車のブラインドスポットモニタ。
【請求項２２】
前記プロセッサは、学習装置によって学習されたコンボリューションパラメータ、クラシフィケーションパラメータ、及びリグレッションパラメータを利用して前記コンボリューション、前記クラシフィケーション、及び前記ボックスリグレッションを遂行することを特徴とするが、
前記学習装置は、
（ａ）トレーニングイメージをコンボリューションしてトレーニング用特徴マップを獲得し、前記トレーニング用特徴マップをＲＰＮ（ｒｅｇｉｏｎ  ｐｒｏｐｏｓａｌ  ｎｅｔｗｏｒｋ）に入力して前記トレーニングイメージに位置するオブジェクトに対応されるプロポーザルボックスを獲得し、（ｂ）前記プロポーザルボックスに対応される前記トレーニングイメージ領域に対してプーリング（ｐｏｏｌｉｎｇ）を遂行して前記プロポーザルボックス各々に対応されるトレーニング用特徴ベクタを獲得し、前記プロポーザルボックス各々に対応する前記トレーニング用特徴ベクタを前記ＦＣ  ｌａｙｅｒに各々入力して前記クラシフィケーションのための演算を通じて前記プロポーザルボックス各々に対応する前記クラス別のトレーニング用クラシフィケーションスコアを獲得し、前記ボックスリグレッションのための演算を通じて前記プロポーザルボックス各々に対応する前記クラス別のトレーニング用リグレッション情報を獲得し、（ｃ）前記クラシフィケーションスコアと既設定されたクラシフィケーショングラウンドトゥルース（ｇｒｏｕｎｄ  ｔｒｕｔｈ）を比較分析してクラシフィケーションに対するロス値であるクラシフィケーションロス値を獲得し、前記リグレッション情報と既設定されたボックスリグレッショングラウンドトゥルースを比較分析してリグレッションに対するロス値であるリグレッションロス値を獲得し、前記獲得されたクラシフィケーションロス値と前記リグレッションロス値を各々バックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記コンボリューションパラメータ、前記クラシフィケーションパラメータ、及び前記ボックスリグレッションパラメータを学習することを特徴とする請求項１２に記載の自動車のブラインドスポットモニタ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は自動車のブラインドスポットモニタリング方法及びこれを利用したブラインドスポットモニタに関し、より詳細には、基準自動車のブラインドスポットで基準自動車から所定距離別に位置する参照自動車に対応される基準自動車で撮影された後方映像イメージから参照自動車に対応する参照バウンディングボックスを生成し、生成された参照バウンディングボックスを基準自動車のブラインドスポットに位置するようになる観察対象自動車を検出するための候補領域としてのプロポーザルボックスに設定した後、前記基準自動車の運行中設定されたプロポーザルボックスに観察対象自動車が位置するか否かを判断することで自動車のブラインドスポットに観察対象自動車が位置するかを判断する自動車のブラインドスポットモニタリング方法及びこれを利用したブラインドスポットモニタに関する。
【背景技術】
【０００２】
一般的に、運転者が自動車を運行中、車線変更をする時、側面及び後方を観察して視野を確保することができるように自動車の両側にサイドミラーが設置されており、室内前面中央部にルームミラーが設置されている。
サイドミラーは自動車の両側面に設置されて側面及び後方視野を確保するように利用されているが、側面に近接して走行する自動車や物体は確認することができないブラインドスポットがある。
【０００３】
従って、走行中の自動車の側面に寄せて追従してくる他の自動車を運転者が確認することなく車線を変更する場合、ブラインドスポットで走行する他の自動車と接触事故が発生し得る問題点があった。
かかる問題点を防止するために、運転手らはブラインドスポットを観測することができるように表面が曲面で形成された凸面鏡をサイドミラーの片側部分に付着する場合もある。
【０００４】
しかし、サイドミラーに凸面鏡などを設置する場合にも、自動車の車線を変更するために運転者は肉眼でブラインドスポットを確認しなければならないので、運転者の運転疲労度を増加させるようになり、運転者の位置によって凸面鏡が付着されたサイドミラーでも確認されないブラインドスポットが存在する問題点が発生する。
【０００５】
これを防止するために、最近は自動車の後面に装着されたセンサを通じてブラインドスポットに接近したりブラインドスポットに位置する自動車などを感知して運転者に提供することで運転者がブラインドスポットにある自動車などを認知することができず、車線を変更するかブラインドスポットに近接する自動車によって事故の危険が感知される場合、未然に事故を防止するためのブラインドスポットモニタリングシステムが提案されている。
【０００６】
特に、ビジョンセンサを利用したブラインドスポットモニタリングシステムでは映像情報を基盤にいくつかの特性を検出し出すアルゴリズムを多く適用している。
一例として、客体のエッジ線分を検出し、分割された線の群を定義して１次的に自動車を構成され得る候補群を作り、対称性と影部分を利用して最終的に自動車に対する判定を下すアルゴリズム、映像ヒストグラムの対称性を利用して自動車の位置と外郭の大きさを定義するアルゴリズム、自動車のみが有する特性を抽出して群を定義し、定義された類型と類似する程度で自動車を判別するアルゴリズムなどが知られている。
【０００７】
かかる客体の特性や形状を抽出するアルゴリズムは外部環境、対象物体の外形、そしてシステム構成によって検出率は非常に制限され、複数回の映像処理を経て自動車を判断するので、演算されるデータの量が大きい問題点がある。従って、演算処理量が非常に多いため、リアルタイムで自動車を検出することに限界があった。
【０００８】
また、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）で低速度を誘発する主要イシューのうち一つはＲＰＮ（Ｒｅｇｉｏｎ  ｐｒｏｐｏｓａｌ  ｎｅｔｗｏｒｋ）である。最終特徴マップから検出対象候補を抽出するために、ＲＰＮはスライディングウィンドウが各々すべての位置に動きながらスライディングウィンドウが前記検出対象候補を含むか否かを決定する。この時、ＦＣレイヤは前記検出対象候補が車両か否かを決定するが、各々の検出対象候補のうち多数は互いに重畳されるにもかかわらず、ＲＰＮは探知時間を向上させるのに役立たない重畳検出対象候補に対して計算を遂行して多くの実行時間を消費している。
【０００９】
また、他のビジョンセンサを利用した自動車の検出方法としては、オプティカルフロー（ｏｐｔｉｃａｌ  ｆｌｏｗ）技法があるが、映像ピクセルの動きをモーションベクタで表現する方法である。しかし、オプティカルフロー技法を利用した自動車認識アルゴリズムは背景の動きと映像ノイズに大きく影響を受け、演算処理量が非常に多いため、リアルタイムの自動車の検出が容易でない問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は上述した問題点をすべて解決することをその目的とする。
本発明はブラインドスポットに位置する自動車を容易に検出できるようにすることを他の目的とする。
本発明は自動車の走行環境に関係なくブラインドスポットに位置する自動車を検出できるようにすることをまた他の目的とする。
【００１１】
本発明はブラインドスポットに位置する自動車を検出するための演算されるデータの量が少ないアルゴリズムを提供することをまた他の目的とする。
本発明は背景の動きと映像ノイズの影響を受けずにブラインドスポットに位置する自動車をリアルタイムで検出できるようにすることをまた他の目的とする。
【００１２】
本発明はコンボリューションニューラルネットワーク（ＣＮＮ）アルゴリズムを利用してブラインドスポットに位置する自動車を正確に検出できるようにすることをまた他の目的とする。
【課題を解決するための手段】
【００１３】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記のとおりである。
本発明の一実施例によれば、自動車のブラインドスポットをモニタリングする方法において、（ａ）（ｉ）基準自動車のブラインドスポット（ｂｌｉｎｄ  ｓｐｏｔ）で前記基準自動車から所定距離別に位置する参照自動車に対応される前記基準自動車で撮影されたサンプリング用後方映像イメージを獲得し、（ｉｉ）各々の前記サンプリング用後方映像イメージから前記参照自動車に対応する参照バウンディングボックス（ｂｏｕｎｄｉｎｇ  ｂｏｘ）を生成し、（ｉｉｉ）前記参照バウンディングボックスを前記基準自動車のブラインドスポットに位置するようになる観察対象自動車を検出し得る確率を有する候補領域としてのｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ  ｂｏｘ）に設定した状態で、前記基準自動車の運行中、前記基準自動車で撮影されたテスト用後方映像イメージが獲得されると、ブラインドスポットモニタが、前記テスト用後方映像イメージから少なくとも一つのテスト用特徴マップを獲得する段階；（ｂ）前記ブラインドスポットモニタが、（ｉ）前記テスト用特徴マップ上の前記ｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して前記ｍ個のプロポーザルボックス各々に対応するテスト用特徴ベクタ（ｆｅａｔｕｒｅ  ｖｅｃｔｏｒ）を獲得し、（ｉｉ）前記ｍ個のプロポーザルボックス各々に対応する前記テスト用特徴ベクタを少なくとも一つのＦＣ  ｌａｙｅｒに各々入力して（ｉｉｉ）クラシフィケーションのための演算を通じて前記ｍ個のプロポーザルボックス各々に対応するクラス別のテスト用クラシフィケーションスコアを獲得し、（ｉｖ）前記ｍ個のプロポーザルボックス各々に対応する前記クラス別のテスト用リグレッション情報を獲得する段階；及び（ｃ）前記ブラインドスポットモニタは、（ｉ）前記クラス別のテスト用クラシフィケーションスコアを参照して前記ｍ個のプロポーザルボックスのうちｊ個のプロポーザルボックスを選択し、（ｉｉ）前記ｊ個のプロポーザルボックス各々に対応する前記テスト用リグレッション情報を利用して前記ｊ個のプロポーザルボックス各々に対応する検出バウンディングボックスを獲得し、（ｉｉｉ）前記検出バウンディングボックス各々が前記ｊ個のプロポーザルボックスのうち対応されるプロポーザルボックスと第１臨界値以上でマッチングされるかを各々確認し、（ｉｖ）前記ｊ個のプロポーザルボックスのうち少なくとも一つのプロポーザルボックスに前記観察対象自動車が位置するか否かを判断することで前記基準自動車のブラインドスポットに前記観察対象自動車が位置するか否かを判断する段階；を含む自動車のブラインドスポットモニタリング方法が提供される。
【００１４】
前記一実施例によれば、（ｄ）前記ｊ個のプロポーザルボックスのうちから選択された前記対応されるプロポーザルボックスと第２臨界値未満でマッチングされる少なくとも一つの特定検出バウンディングボックスがある場合、前記ブラインドスポットモニタは、前記特定検出バウンディングボックスを前記基準自動車のブラインドスポットに位置するようになる前記観察対象自動車を検出するための候補領域を含むグループの新しい構成要素として追加される少なくとも一つの動的プロポーザルボックスに設定し、更新されたグループを獲得する段階；をさらに含むことを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
【００１５】
また、前記一実施例によれば、前記（ｄ）段階で、前記特定検出バウンディングボックスが獲得された前記テスト用後方映像イメージのフレームがｔフレームの場合、前記ブラインドスポットモニタは、前記テスト用後方映像イメージのｔ＋１フレームで、前記ｍ個のプロポーザルボックスと前記動的プロポーザルボックスを前記更新されたグループに含まれたものに設定する自動車のブラインドスポットモニタリング方法が提供される。
また、前記一実施例によれば、前記ブラインドスポットモニタは、（ｉ）前記ｔ＋１フレームからｔ＋（ｋ−１）フレームまで前記動的プロポーザルボックスに前記観察対象自動車が位置するか否かを判断し、（ｉｉ）ｔ＋ｋフレームで前記動的プロポーザルボックスに前記観察対象自動車が位置しないと判断された状態で、ｔ＋ｋ＋１フレームでｍ個のプロポーザルボックスに前記観察対象自動車が位置するか否かを判断することを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
【００１６】
また、前記一実施例によれば、（ｅ）前記基準自動車のブラインドスポットに前記観察対象自動車が位置したと判断される場合、前記ブラインドスポットモニタは、前記ブラインドスポットに前記観察対象自動車が位置した情報を前記自動車のコントロールユニットに伝送することで前記コントロールユニットをもって前記観察対象自動車が位置する前記ブラインドスポット方向に前記基準自動車が車線を変更することを防止するように支援する段階；をさらに含むことを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
【００１７】
また、前記一実施例によれば、前記ブラインドスポットモニタは、（ｉ）前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックス各々の面積と各々の前記検出バウンディングボックスに対応される前記プロポーザルボックスの面積が互いに重なる第１重複領域を計算し、（ｉｉ）前記第１重複領域のうち第３臨界値以上であると判断される特定第１重複領域に該当されるプロポーザルボックスに前記観察対象自動車が位置すると判断することを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
【００１８】
また、前記一実施例によれば、前記ブラインドスポットモニタは、（ｉ）前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックスが互いに重なる第２重複領域を計算し、（ｉｉ）前記第２重複領域のうち第４臨界値以上であると確認される少なくとも一つの特定第２重複領域に該当する少なくとも一つの特殊検出バウンディングボックスが一つの同一の前記観察対象自動車に対応されると判断し、（ｉｉｉ）前記特殊検出バウンディングボックスのうち対応される前記プロポーザルボックスと面積が互いに重なる重複領域が最大の検出バウンディングボックスを前記観察対象自動車に対する検出バウンディングボックスと判断することを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
【００１９】
また、前記一実施例によれば、前記ブラインドスポットモニタは、（ｉ）前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックスが互いに重なる第２重複領域を各々計算し、（ｉｉ）前記第２重複領域のうち第５臨界値未満であると確認される特定第２重複領域に該当する特別検出バウンディングボックスが互いに異なる前記観察対象自動車に対応されると判断し、（ｉｉｉ）前記特別検出バウンディングボックスを前記各々の観察対象自動車を含むと判断することを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
【００２０】
また、前記一実施例によれば、前記ブラインドスポットモニタは、コンボリューションを遂行する場合、パッドを０に設定した状態で既設定されたストライドでフィルタを移動させ、前記テスト用後方映像イメージをコンボリューションするか、以前にコンボリューションされたテスト用特徴マップをコンボリューションすることを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
【００２１】
また、前記一実施例によれば、前記ブラインドスポットモニタは、前記テスト用後方映像イメージで前記ブラインドスポットに対応されるイメージをコンボリューションして前記テスト用特徴マップを獲得することを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
【００２２】
また、前記一実施例によれば、前記ブラインドスポットモニタは、学習装置によって学習されたコンボリューションパラメータ、クラシフィケーションパラメータ、及びリグレッションパラメータを利用して前記コンボリューション、前記クラシフィケーション、及び前記ボックスリグレッションを遂行することを特徴とするが、前記学習装置は、（ｉ）トレーニングイメージをコンボリューションしてトレーニング用特徴マップを獲得し、前記トレーニング用特徴マップをＲＰＮ（ｒｅｇｉｏｎ  ｐｒｏｐｏｓａｌ  ｎｅｔｗｏｒｋ）に入力して前記トレーニングイメージに位置するオブジェクトに対応されるプロポーザルボックスを獲得し、（ｉｉ）前記プロポーザルボックスに対応される前記トレーニングイメージ領域に対してプーリング（ｐｏｏｌｉｎｇ）を遂行して前記プロポーザルボックス各々に対応されるトレーニング用特徴ベクタを獲得し、前記プロポーザルボックス各々に対応する前記トレーニング用特徴ベクタを前記ＦＣ  ｌａｙｅｒに各々入力して前記クラシフィケーションのための演算を通じて前記プロポーザルボックス各々に対応する前記クラス別のトレーニング用クラシフィケーションスコアを獲得し、前記ボックスリグレッションのための演算を通じて前記プロポーザルボックス各々に対応する前記クラス別のトレーニング用リグレッション情報を獲得し、（ｉｉｉ）前記クラシフィケーションスコアと既設定されたクラシフィケーショングラウンドトゥルース（ｇｒｏｕｎｄ  ｔｒｕｔｈ）を比較分析してクラシフィケーションに対するロス値であるクラシフィケーションロス値を獲得し、前記リグレッション情報と既設定されたボックスリグレッショングラウンドトゥルースを比較分析してリグレッションに対するロス値であるリグレッションロス値を獲得し、前記獲得されたクラシフィケーションロス値と前記リグレッションロス値を各々バックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記コンボリューションパラメータ、前記クラシフィケーションパラメータ、及び前記ボックスリグレッションパラメータを学習することを特徴とする自動車のブラインドスポットモニタリング方法が提供される。
【００２３】
また、本発明の一実施例によれば、自動車のブラインドスポットをモニタリングする装置において、基準自動車のブラインドスポット（ｂｌｉｎｄ  ｓｐｏｔ）で前記基準自動車から所定距離別に位置する参照自動車に対応される前記基準自動車で撮影されたサンプリング用後方映像イメージを獲得し、各々の前記サンプリング用後方映像イメージから前記参照自動車に対応する参照バウンディングボックス（ｂｏｕｎｄｉｎｇ  ｂｏｘ）を生成し、前記参照バウンディングボックスを前記基準自動車のブラインドスポットに位置するようになる観察対象自動車を検出し得る確率を有する候補領域としてのｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ  ｂｏｘ）に設定した状態で、前記基準自動車の運行中、前記基準自動車で撮影されたテスト用後方映像イメージを獲得する通信部；及び（ｉ）前記テスト用後方映像イメージから少なくとも一つのテスト用特徴マップを獲得するプロセス；（ｉｉ）前記テスト用特徴マップ上の前記ｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して前記ｍ個のプロポーザルボックス各々に対応するテスト用特徴ベクタ（ｆｅａｔｕｒｅ  ｖｅｃｔｏｒ）を獲得し、前記ｍ個のプロポーザルボックス各々に対応する前記テスト用特徴ベクタを少なくとも一つのＦＣ  ｌａｙｅｒに各々入力して（ｉｉ−１）クラシフィケーションのための演算を通じて前記ｍ個のプロポーザルボックス各々に対応するクラス別のテスト用クラシフィケーションスコアを獲得し、（ｉｉ−２）前記ｍ個のプロポーザルボックス各々に対応する前記クラス別のテスト用リグレッション情報を獲得するプロセス；及び（ｉｉｉ）前記クラス別のテスト用クラシフィケーションスコアを参照して前記ｍ個のプロポーザルボックスのうちｊ個のプロポーザルボックスを選択し、前記ｊ個のプロポーザルボックス各々に対応する前記テスト用リグレッション情報を利用して前記ｊ個のプロポーザルボックス各々に対応する検出バウンディングボックスを獲得し、前記検出バウンディングボックス各々が前記ｊ個のプロポーザルボックスのうち対応されるプロポーザルボックスと第１臨界値以上でマッチングされるかを各々確認し、前記ｊ個のプロポーザルボックスのうち少なくとも一つのプロポーザルボックスに前記観察対象自動車が位置するか否かを判断することで前記基準自動車のブラインドスポットに前記観察対象自動車が位置するか否かを判断するプロセスを遂行するプロセッサ；を含む自動車のブラインドスポットモニタが提供される。
【００２４】
前記一実施例によれば、（ｉｖ）前記ｊ個のプロポーザルボックスのうちから選択された前記対応されるプロポーザルボックスと第２臨界値未満でマッチングされる少なくとも一つの特定検出バウンディングボックスがある場合、前記特定検出バウンディングボックスを前記基準自動車のブラインドスポットに位置するようになる前記観察対象自動車を検出するための候補領域を含むグループの新しい構成要素として追加される少なくとも一つの動的プロポーザルボックスに設定し、更新されたグループを獲得するプロセス；をさらに遂行することを特徴とする自動車のブラインドスポットモニタが提供される。
【００２５】
また、前記一実施例によれば、前記特定検出バウンディングボックスが獲得された前記テスト用後方映像イメージのフレームがｔフレームの場合、前記テスト用後方映像イメージのｔ＋１フレームで前記ｍ個のプロポーザルボックスと前記動的プロポーザルボックスを前記更新されたグループに含まれたものに設定する自動車のブラインドスポットモニタが提供される。
【００２６】
また、前記一実施例によれば、前記ｔ＋１フレームからｔ＋（ｋ−１）フレームまで前記動的プロポーザルボックスに前記観察対象自動車が位置するか否かを判断し、ｔ＋ｋフレームで前記動的プロポーザルボックスに前記観察対象自動車が位置しないと判断された状態で、ｔ＋ｋ＋１フレームで前記ｍ個のプロポーザルボックスに前記観察対象自動車が位置するか否かを判断することを特徴とする自動車のブラインドスポットモニタが提供される。
【００２７】
また、前記一実施例によれば、（ｖ）前記基準自動車のブラインドスポットに前記観察対象自動車が位置したと判断される場合、前記ブラインドスポットに前記観察対象自動車が位置した情報を前記自動車のコントロールユニットに伝送することで前記コントロールユニットをもって前記観察対象自動車が位置する前記ブラインドスポット方向に前記基準自動車が車線を変更することを防止するように支援するプロセス；をさらに遂行することを特徴とする自動車のブラインドスポットモニタが提供される。
【００２８】
また、前記一実施例によれば、前記（ｉｉｉ）プロセスで、前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックス各々の面積と各々の前記検出バウンディングボックスに対応される前記プロポーザルボックスの面積が互いに重なる第１重複領域を計算し、前記第１重複領域のうち第３臨界値以上であると判断される特定第１重複領域に該当されるプロポーザルボックスに前記観察対象自動車が位置すると判断することを特徴とする自動車のブラインドスポットモニタが提供される。
【００２９】
また、前記一実施例によれば、前記（ｉｉｉ）プロセスで、前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックスが互いに重なる第２重複領域を計算し、前記第２重複領域のうち第４臨界値以上であると確認される少なくとも一つの特定第２重複領域に該当する少なくとも一つの特殊検出バウンディングボックスが一つの同一の前記観察対象自動車に対応されると判断し、前記特殊検出バウンディングボックスのうち対応される前記プロポーザルボックスと面積が互いに重なる重複領域が最大の検出バウンディングボックスを前記観察対象自動車に対する検出バウンディングボックスと判断することを特徴とする自動車のブラインドスポットモニタが提供される。
【００３０】
また、前記一実施例によれば、前記（ｉｉｉ）プロセスで、前記ｊ個のプロポーザルボックス各々に対応される前記検出バウンディングボックスが互いに重なる第２重複領域を各々計算し、前記第２重複領域のうち第５臨界値未満であると確認される特定第２重複領域に該当する特別検出バウンディングボックスが互いに異なる前記観察対象自動車に対応されると判断し、前記特別検出バウンディングボックスを互いに異なる前記観察対象自動車を含むと判断することを特徴とする自動車のブラインドスポットモニタが提供される。
【００３１】
また、前記一実施例によれば、前記（ｉ）プロセスで、コンボリューションを遂行する場合、パッドを０に設定した状態で既設定されたストライドでフィルタを移動させ、前記テスト用後方映像イメージをコンボリューションするか、以前にコンボリューションされたテスト用特徴マップをコンボリューションすることを特徴とする自動車のブラインドスポットモニタが提供される。
【００３２】
また、前記一実施例によれば、前記（ｉ）プロセスで、前記テスト用後方映像イメージで前記ブラインドスポットに対応されるイメージをコンボリューションして前記テスト用特徴マップを獲得することを特徴とする自動車のブラインドスポットモニタが提供される。
【００３３】
また、前記一実施例によれば、学習装置によって学習されたコンボリューションパラメータ、クラシフィケーションパラメータ、及びリグレッションパラメータを利用して前記コンボリューション、前記クラシフィケーション、及び前記ボックスリグレッションを遂行することを特徴とするが、前記学習装置は、（ａ）トレーニングイメージをコンボリューションしてトレーニング用特徴マップを獲得し、前記トレーニング用特徴マップをＲＰＮ（ｒｅｇｉｏｎ  ｐｒｏｐｏｓａｌ  ｎｅｔｗｏｒｋ）に入力して前記トレーニングイメージに位置するオブジェクトに対応されるプロポーザルボックスを獲得し、（ｂ）前記プロポーザルボックスに対応される前記トレーニングイメージ領域に対してプーリング（ｐｏｏｌｉｎｇ）を遂行して前記プロポーザルボックス各々に対応されるトレーニング用特徴ベクタを獲得し、前記プロポーザルボックス各々に対応する前記トレーニング用特徴ベクタを前記ＦＣ  ｌａｙｅｒに各々入力して前記クラシフィケーションのための演算を通じて前記プロポーザルボックス各々に対応する前記クラス別のトレーニング用クラシフィケーションスコアを獲得し、前記ボックスリグレッションのための演算を通じて前記プロポーザルボックス各々に対応する前記クラス別のトレーニング用リグレッション情報を獲得し、（ｃ）前記クラシフィケーションスコアと既設定されたクラシフィケーショングラウンドトゥルース（ｇｒｏｕｎｄ  ｔｒｕｔｈ）を比較分析してクラシフィケーションに対するロス値であるクラシフィケーションロス値を獲得し、前記リグレッション情報と既設定されたボックスリグレッショングラウンドトゥルースを比較分析してリグレッションに対するロス値であるリグレッションロス値を獲得し、前記獲得されたクラシフィケーションロス値と前記リグレッションロス値を各々バックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）して前記コンボリューションパラメータ、前記クラシフィケーションパラメータ、及び前記ボックスリグレッションパラメータを学習することを特徴とする自動車のブラインドスポットモニタが提供される。
【００３４】
これ以外にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータで判読可能な記録媒体がさらに提供される。
【発明の効果】
【００３５】
本発明はコンボリューションニューラルネットワーク（ＣＮＮ）アルゴリズムを利用してブラインドスポットに位置する自動車を正確に検出できるようになる。
また、本発明は自動車の走行環境に関係なくブラインドスポットに位置する自動車を正確に検出できるようになる。
【００３６】
また、本発明はブラインドスポットに検出対象自動車に対する候補領域を設定することで少ないデータ量の演算でブラインドスポットに位置する自動車を検出できるようになる。
また、本発明は背景の動きと映像ノイズの影響を受けずにブラインドスポットに位置する自動車をリアルタイムで少ない演算を通じて検出できるようになる。
【図面の簡単な説明】
【００３７】
本発明の実施例の説明に利用されるために添付された下記図面は本発明の実施例のうち単に一部に過ぎず、本発明が属する技術分野で通常の知識を有する者（以下“通常の技術者”）においては発明的作業がなされることなく本図面に基づいて他の図面が得られることがある。
【００３８】
図１は本発明の一実施例によるブラインドスポットモニタリングシステムを概略的に示したブロックダイアグラムであり、  
図２は本発明の一実施例によるブラインドスポットモニタリングシステムが含まれた自動車を概略的に示したものであり、  
図３は本発明の一実施例によってブラインドスポットモニタリングを遂行するｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋのブロックダイアグラムを概略的に示したものであり、  
図４は本発明の一実施例によってサンプル用後方映像イメージを用いてブラインドスポットモニタリングのためのプロポーザルボックスを設定する状態を概略的に示したものであり、  
図５は本発明の一実施例によってブラインドスポットモニタリングを遂行する状態を概略的に示したものであり、  
図６は本発明の一実施例によってブラインドスポットモニタリングのための動的プロポーザルボックスを追加する状態を概略的に示したものである。
【発明を実施するための形態】
【００３９】
後述する本発明に対する詳細な説明は、本発明の目的、技術的解法及び長点を明らかにさせるために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は通常の技術者が本発明を実施することができるように充分詳細に説明される。
【００４０】
また、本発明の詳細な説明及び請求項にかけて、‘含む’という単語及びその変形は他の技術的特徴、付加物、構成要素または段階を除くものとして意図されたものではない。通常の技術者に本発明の他の目的、長点及び特性が一部は本説明書から、そして一部は本発明の実施から明らかになる。下記の例示及び図面は実例として提供され、本発明を限定するものとして意図されたものではない。
【００４１】
さらに、本発明は本明細書に表示された実施例のすべての可能な組み合わせを網羅する。本発明の多様な実施例は相互に異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例にかかる本発明の精神及び範囲を逸脱せずに他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されると、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号は様々な側面にかけて同一か類似する機能を指称する。
【００４２】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明することとする。
まず、図１は本発明の一実施例によるブラインドスポットモニタリングシステムを概略的に示したブロックダイアグラムであり、図１を参照すれば、ブラインドスポットモニタリングシステムはブラインドスポットモニタ１００と基準自動車２００が含まれ得る。
【００４３】
まず、ブラインドスポットモニタ１００は自動車のブラインドスポットに位置するか近接する他の自動車を検出するものであり、ビジョンセンサ１０、一例として、カメラなどから獲得される基準自動車で撮影された後方映像イメージを分析して基準自動車のブラインドスポットに観察対象自動車が位置するか否かを判別し得る。
【００４４】
そして、基準自動車２００はブラインドスポットモニタ１００から伝送される情報とステアリングシステムの情報を参照して観察対象自動車が位置するブラインドスポット方向に自動車が車線を変更することを防止するか、アラームシステムを通じて運転者がブラインドスポットに観察対象自動車が位置することを認知するようにし得る。特に、基準自動車２００が自律走行自動車の場合、ブラインドスポットモニタ１００から受信されるブラインドスポットに位置する観察対象自動車の情報と走行環境を参照して自律走行中に車線の変更可否を判断し得るようになる。
【００４５】
また、ブラインドスポットモニタ１００は基準自動車の運行中、カメラなどのビジョンセンサ１０によって撮影された基準自動車における後方映像イメージを獲得する通信部１１０と、獲得された後方映像イメージを分析して基準自動車のブラインドスポットに前記観察対象自動車が位置するか否かを判断するプロセッサ１２０が含まれ得る。この時、ビジョンセンサ１０は、図２から分かるように、基準自動車２００の任意の位置に設置されて基準自動車２００の後方映像を撮影するものであり、ＣＣＤ（ｃｈａｒｇｅ  ｃｏｕｐｌｅｄ  ｄｅｖｉｃｅ）、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｍｅｔａｌ  ｏｘｉｄｅ  ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、またはイメージキャプチャ素子などの光学センサが含まれ得る。
【００４６】
そして、プロセッサ１２０は（ｉ）獲得されたテスト用後方映像イメージから少なくとも一つのテスト用特徴マップを獲得し、（ｉｉ）テスト用特徴マップ上のｍ個のプロポーザルボックスに対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して（ｉｉｉ）ｍ個のプロポーザルボックス各々に対応するテスト用特徴ベクタ（ｆｅａｔｕｒｅ  ｖｅｃｔｏｒ）を獲得する。ここで、ｍは既設定された値であり得る。そして、プロセッサ１２０は（ｉ）ｍ個のプロポーザルボックス各々に対応するテスト用特徴ベクタを少なくとも一つのＦＣ  ｌａｙｅｒに各々入力して（ｉｉ）クラシフィケーションのための演算を通じてｍ個のプロポーザルボックス各々に対応するクラス別のテスト用クラシフィケーションスコアを獲得し、（ｉｉｉ）ｍ個のプロポーザルボックス各々に対応するクラス別のテスト用リグレッション情報を獲得する。以後、（ｉ）クラス別のテスト用クラシフィケーションスコアを参照して、ｍ個のプロポーザルボックスのうちｊ個のプロポーザルボックスを選択し、（ｉｉ）ｊ個のプロポーザルボックス各々に対応するテスト用リグレッション情報を利用してｊ個のプロポーザルボックス各々に対応する検出バウンディングボックスを獲得し、（ｉｉｉ）検出バウンディングボックス各々がｊ個のプロポーザルボックスのうち対応されるプロポーザルボックスと第１臨界値以上でマッチングされるかを各々確認し、（ｉｖ）ｊ個のプロポーザルボックスのうち少なくとも一つのプロポーザルボックスに観察対象自動車が位置するか否かを判断することで基準自動車のブラインドスポットに観察対象自動車が位置するか否かを判断する。
【００４７】
このように構成された本発明の一実施例によるブラインドスポットモニタリングシステムで自動車のブラインドスポットに観察対象自動車が位置するか否かをモニタリングする方法を図３ないし図６を参照してより詳細に説明すれば次のとおりである。
まず、運転者などを含む使用者はブラインドスポットに位置するようになる観察対象自動車を検出するための候補領域としてのｍ個のプロポーザルボックスを設定する（Ｓ１）。ここで、候補領域は少なくとも一つの観察対象自動車を検出し得る確率を有する既設定された値以上であり得る。
【００４８】
一例として、使用者は図４のように、基準自動車のブラインドスポット（ｂｌｉｎｄ  ｓｐｏｔ）（ＢＳ）で基準自動車から所定距離別に後方に位置する参照自動車に対応される後方映像イメージ、即ち、基準自動車で撮影されたサンプリング用後方映像イメージを獲得する。即ち、基準自動車の左右車線で所定距離別に参照自動車を移動させながら基準自動車に設置されたビジョンセンサを利用して基準自動車のサンプリング用後方映像イメージを撮影する。この時、所定距離は図４で１メートルに設定したが、これに限定されずブラインドスポット（ＢＳ）に位置するようになる観察対象自動車を検出するための任意の単位距離に設定し得て、単位距離別に参照自動車を移動させるが各々移動された参照自動車がブラインドスポット（ＢＳ）で観察対象自動車が位置するようになるすべての候補群を含むように単位距離及び移動回数を調整し得る。
【００４９】
そして、所定距離別に参照自動車を移動させて撮影されたサンプリング用後方映像イメージで各々の参照自動車に対応する参照バウンディングボックス（Ｐ１、Ｐ２、Ｐ３）を生成し、生成された参照バウンディングボックス（Ｐ１、Ｐ２、Ｐ３）を基準自動車のブラインドスポット（ＢＳ）に位置するようになる観察対象自動車を検出するための候補領域としてのｍ個のプロポーザルボックス（ｐｒｏｐｏｓａｌ  ｂｏｘ）（Ｐ１、Ｐ２、Ｐ３）に設定する。図３ないし図６では説明の便宜のためにｍ個のプロポーザルボックスを３個のプロポーザルボックスとして示した。
【００５０】
この時、基準自動車でブラインドスポット（ＢＳ）は各々基準自動車の左右車線領域に形成されるので、一側方向で設定したｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）を対応される他側方向のブラインドスポットに対称的に設定することで基準自動車両側のブラインドスポットに位置するようになる観察対象自動車の候補領域であるプロポーザルボックスを設定し得るようになる。
【００５１】
次に、図４と同じ方法によってブラインドスポット（ＢＳ）に位置するようになる観察対象自動車に対する候補領域としてのｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）を設定した状態で、図５のように基準自動車の走行中、基準自動車で撮影された後方映像イメージが通信部１１０を通じて獲得されると、ブラインドスポットモニタ１００が後方映像イメージからテスト用特徴マップを獲得する（Ｓ２）。
【００５２】
一例として、基準自動車の運行中、基準自動車に設置されたビジョンセンサ１０が基準自動車の後方映像イメージを撮影して伝送すれば、ブラインドスポットモニタ１００の通信部１１０がビジョンセンサ１０から伝送される基準自動車の後方映像イメージを獲得するようになり、ブラインドスポットモニタ１００のプロセッサ１２０は通信部１００を通じて獲得された後方映像イメージをコンボリューションレイヤに入力して後方映像イメージをコンボリューションすることでテスト用特徴マップを獲得する。
【００５３】
この時、ブラインドスポットモニタ１００のプロセッサ１２０は後方映像イメージをコンボリューションする場合、パッドを０に設定した状態で既設定されたストライドでフィルタを移動させて後方映像イメージをコンボリューションするか、以前にコンボリューションされたテスト用特徴マップをコンボリューションし得る。即ち、プロセッサ１２０は後方映像イメージをコンボリューションして後方映像イメージの大きさを縮小し、コンボリューションを多重で遂行して既設定された大きさのテスト用特徴マップを獲得し得る。これとは異なり、ブラインドスポットモニタ１００のプロセッサ１２０はパッドを特定値に設定した状態でコンボリューションを遂行して（ｉ）後方映像イメージと同じ大きさの特徴マップを獲得し、（ｉｉ）獲得された特徴マップをプーリングして特徴マップをダウンサイジングし、（ｉｉｉ）コンボリューションとプーリングを反復して後方映像イメージから既設定された大きさのテスト用特徴マップを生成することもある。
【００５４】
また、ブラインドスポットモニタ１００のプロセッサ１２０はコンボリューションレイヤを利用したコンボリューションを遂行するにおいて、ビジョンセンサ１０から獲得された後方映像イメージ全体に対してコンボリューションを遂行するか、ビジョンセンサ１０から獲得された後方映像イメージのうちブラインドスポット（ＢＳ）に設定された領域に対応されるイメージのみをコンボリューションしてテスト用特徴マップを獲得し得る。
【００５５】
次に、ブラインドスポットモニタ１００のプロセッサ１２０はテスト用特徴マップのｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）に対応する領域各々に対してプーリング（ｐｏｏｌｉｎｇ）して（Ｓ３）ｍ個のプロポーザルボックス各々に対応するテスト用特徴ベクタ（ｆｅａｔｕｒｅ  ｖｅｃｔｏｒ）を獲得し得る。
【００５６】
一例として、ブラインドスポットモニタ１００のプロセッサ１２０は（ｉ）テスト用特徴マップのうちｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）に対応する各々の領域に該当する特徴マップをＲＯＩプーリングレイヤに入力し、（ｉｉ）テスト用特徴マップのｍ個のプロポーザルボックス（Ｐ１、Ｐ２、…、Ｐｍ）に対応する領域各々に対してマックスプーリングするかアベレージプーリングし、（ｉｉｉ）ｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）各々に対応するテスト用特徴ベクタを獲得し得る。
【００５７】
次に、ブラインドスポットモニタ１００のプロセッサ１２０は（ｉ）ｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）各々に対応するテスト用特徴ベクタを少なくとも一つのＦＣ（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ）ｌａｙｅｒに各々入力し（Ｓ４）、（ｉｉ）第１ＦＣ  ｌａｙｅｒにおけるクラシフィケーションのための演算を通じてｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）各々に対応するクラス別のテスト用クラシフィケーションスコアを獲得し、（ｉｉｉ）第２ＦＣ  ｌａｙｅｒにおけるリグレッションのための演算を通じてｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）各々に対応するクラス別のテスト用リグレッション情報を獲得し得る。この時、クラスは検出されるオブジェクトが何かを判別するためのものであるか、検出されるオブジェクトが自動車なのか否かを判別するためのものであり得る。
【００５８】
次に、ブラインドスポットモニタ１００のプロセッサ１２０は第１ＦＣ  ｌａｙｅｒから獲得されたクラス別のテスト用クラシフィケーションスコアを参照してｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）のうち観察対象自動車が位置すると判断されたｊ個のプロポーザルボックスを決定する（Ｓ５）。
【００５９】
次に、ブラインドスポットモニタ１００のプロセッサ１２０は観察対象自動車が位置すると判断されたｊ個のプロポーザルボックス各々に対応するテスト用リグレッション情報を利用してｊ個のプロポーザルボックス各々に対応する検出バウンディングボックスを獲得する（Ｓ６）。
【００６０】
一例として、ブラインドスポットモニタ１００のプロセッサ１２０はｊ個のプロポーザルボックスのうち一つに対応するリグレッション情報の一部からクラス別にリグレッション情報（前記クラス別にリグレッション情報は自動車クラスに対応される）を選択し、クラス別にリグレッション情報を用いて前記特定プロポーザルボックスをリグレッションすることで、観察対象自動車を囲むバウンディングボックスを獲得し得る。
【００６１】
次に、ブラインドスポットモニタ１００のプロセッサ１２０は（ｉ）検出バウンディングボックス各々がｊ個のプロポーザルボックスのうち対応されるプロポーザルボックスと第１臨界値以上でマッチングされるかを各々確認し、（ｉｉ）ｊ個のプロポーザルボックスのうち少なくとも一つのプロポーザルボックスに観察対象自動車が位置するか否かを判断し、（ｉｉｉ）基準自動車のブラインドスポット（ＢＳ）に観察対象自動車が位置するか否かを判断し得る。
【００６２】
一方、ｊ個のプロポーザルボックスのうち対応されるプロポーザルボックスと第２臨界値未満でマッチングされる少なくとも一つの特定バウンディングボックスが検出されると判断される場合、ブラインドスポットモニタ１００のプロセッサ１２０は特定バウンディングボックスを候補領域を含むグループの新しい構成要素として追加される少なくとも一つの動的プロポーザルボックス（図５のＤＰＢ）に設定して更新されたグループを獲得する。ここで、第１臨界値及び第２臨界値は互いに同じか異なり得る。当該イメージの次フレーム上でｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）以外に追加された動的プロポーザルボックスを使用し、ブラインドスポットモニタ１００は特定観察対象自動車を追跡し得る。
【００６３】
例えば、図６を参照して説明すれば、特定検出バウンディングボックス（即ち、ＤＰＢ）が後方映像イメージのｔフレームから獲得される場合、ブラインドスポットモニタ１００のプロセッサ１２０はｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）と動的プロポーザルボックスを後方映像イメージのｔ＋１フレーム上で更新されたグループに含まれたものに設定し得る。
【００６４】
また、（ｉ）動的プロポーザルボックスとｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）を観察対象自動車を検出するための候補領域として設定し、（ｉｉ）ｔ＋１フレームからｔ＋（ｋ−１）フレームまで動的プロポーザルボックスに観察対象自動車が位置するか否かを判断し、（ｉｉｉ）ｔ＋ｋフレームで動的プロポーザルボックスに観察対象自動車が位置しないと判断された状態で、ブラインドスポットモニタ１００のプロセッサ１２０は、ｔ＋ｋ＋１フレームでｍ個のプロポーザルボックス（Ｐ１、Ｐ２、Ｐ３）を用いて観察対象自動車が位置するか否かを判断し得る。
【００６５】
ここで、ブラインドスポットモニタ１００のプロセッサ１２０は（ｉ）検出バウンディングボックス各々及びこれに対応されるｊ個のプロポーザルボックスが互いに重なる領域を含む第１重複領域を計算し、（ｉｉ）第１重複領域のうち第３臨界値以上であると判断される特定第１重複領域に該当される所定のプロポーザルボックスに前記観察対象自動車が位置するか否かを判断し得る。ここで、バウンディングボックスはｊ個のプロポーザルボックスに対する全単射対応（ｂｉｊｅｃｔｉｖｅ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）を有する。例えば、特殊プロポーザルボックスのうち対応される特定バウンディングボックスが獲得されると、ブラインドスポットモニタ１００のプロセッサ１２０は特殊プロポーザルボックスと特定バウンディングボックスとの間の第１重畳の比率を計算するが、ここで重畳の比率は（ｉ）特殊プロポーザルボックスと特定バウンディングボックスが重なる領域を（ｉｉ）特殊プロポーザルボックスと特定バウンディングボックスの合わせた領域で割るものであり、もし第１重畳の比率が第３臨界値以上であれば特殊プロポーザルボックスは観察対象自動車を含むと判断し得る。
【００６６】
また、ブラインドスポットモニタ１００のプロセッサ１２０は（ｉ）ｊ個のプロポーザルボックス各々に対応される検出バウンディングボックスが互いに重畳される第２重複領域を計算し、（ｉｉ）第２重複領域のうち第４臨界値以上であると確認される少なくとも一つの特定検出バウンディングボックスを一つの同一の観察対象自動車を含むと判断し、（ｉｉｉ）特殊検出バウンディングボックスのうち対応されるプロポーザルボックスと面積が最も多く重なる重複領域を前記観察対象自動車を含むと判断し得る。ここで、バウンディングボックスはｊ個のプロポーザルボックスに対する全単射対応（ｂｉｊｅｃｔｉｖｅ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）を有する。
【００６７】
また、ブラインドスポットモニタ１００のプロセッサ１２０は（ｉ）第２重複領域を計算し、（ｉｉ）第２重複領域のうち特別な第２重複領域と対応される特別なバウンディングボックス（即ち、第５臨界値未満であると判断される第２重複領域該当するバウンディングボックス）を互いに異なる観察対象自動車を含むと判断し得る。
【００６８】
一例として、第１プロポーザルボックスに対応する第１検出バウンディングボックスが獲得され、第２プロポーザルボックスに対応する第２検出バウンディングボックスが獲得される場合、プロセッサ１２０は、第１検出バウンディングボックスの面積と第２検出バウンディングボックスの面積が重畳される第２重畳の比率、即ち、（ｉ）第１検出バウンディングボックスと第２検出バウンディングボックスの交差集合の面積を（ｉｉ）第１検出バウンディングボックスと第２検出バウンディングボックスの和集合の面積で割った比率を計算し、計算された第２重畳の比率が第４臨界値以上であれば、プロセッサ１２０は、第１検出バウンディングボックスと第２検出バウンディングボックスを同一の観察対象自動車を示すと判断し、計算された第２重畳の比率が第５臨界値未満であれば、プロセッサ１２０は、第１検出バウンディングボックスと第２検出バウンディングボックスを各々異なる観察対象自動車を含むと判断する。ここで、第４臨界値及び第５臨界値は互いに同じか異なり得る。そして、第１検出バウンディングボックスと第２検出バウンディングボックスが一つの同一の観察対象自動車を含むと判断される場合、プロセッサ１２０は、第１検出バウンディングボックスと第１プロポーザルボックスが重畳される第３比率と、第２検出バウンディングボックスと第２プロポーザルボックスが重畳される第４比率を比較し、第３比率が大きい場合、第１検出バウンディングボックスが観察対象自動車を含むと判断する。
【００６９】
次に、ブラインドスポットモニタ１００のプロセッサ１２０は基準自動車のブラインドスポットに観察対象自動車が位置したと判断される場合、ブラインドスポットに観察対象自動車が位置した情報を基準自動車２００のコントロールユニットに伝送することで基準自動車２００のコントロールユニットをもって観察対象自動車が位置するブラインドスポット方向に自動車が車線を変更することを防止するように支援し得る。
【００７０】
この時、基準自動車２００のコントロールユニットは自動車のステアリングシステムの情報を参照して運転者が車線を変更しようとする場合、変更しようとする車線のブラインドスポットに観察対象自動車が位置する場合、アラームシステムを通じて運転者がブラインドスポットに観察対象自動車があることを認知し得るようにして車線変更による危険状況を未然に防止できるようにし得る。また、基準自動車２００が自律走行自動車の場合、自律走行自動車がブラインドスポットに観察自動車が位置するか否かに対する情報と走行環境を参照して安全に車線を変更し得るようにする。
【００７１】
前記でブラインドスポットに観察対象自動車が位置するかを確認する動作を片側ブラインドスポットについてのみ説明したが、自動車の両側車線に形成されるブラインドスポット各々に対して順次に前記のような方法を遂行してブラインドスポットに観察対象自動車が位置するかを確認し得る。
【００７２】
そして、前記の方法によってブラインドスポットに観察対象自動車が位置するかをモニタリングする方法において、ブラインドスポットモニタは、学習装置によって学習されたコンボリューションパラメータ、クラシフィケーションパラメータ、及びリグレッションパラメータを利用してコンボリューション、クラシフィケーション、及びボックスリグレッションを遂行することができるＣＮＮが含まれ得る。
【００７３】
この時、学習装置はブラインドスポットモニタと同一の装置が挙げられるが、これに限定されず、学習装置及びブラインドスポットモニタはその機能を遂行するために別途のいくつかの装置に分けられ得るが、本明細書では便宜上単一装置として具現される学習装置を説明する。本発明による学習装置はコンボリューショナルレイヤ、領域プロポーザルネットワーク、ＦＣレイヤなど少なくとも一部が含まれ得る。また、類似する条件がブラインドスポットモニタに適用され得る。
【００７４】
そして、学習装置またはブラインドスポットモニタが学習する方法を概略的に説明すれば次のとおりである。
まず、トレーニングイメージをコンボリューションしてトレーニング用特徴マップを獲得し、トレーニング用特徴マップをＲＰＮ（ｒｅｇｉｏｎ  ｐｒｏｐｏｓａｌ  ｎｅｔｗｏｒｋ）に入力してトレーニングイメージに位置するオブジェクトに対応されるプロポーザルボックスを獲得する。そして、プロポーザルボックスに対応されるトレーニングイメージ領域に対してプーリング（ｐｏｏｌｉｎｇ）を遂行してプロポーザルボックス各々に対応されるトレーニング用特徴ベクタを獲得する。以後、プロポーザルボックス各々に対応するトレーニング用特徴ベクタをＦＣ  ｌａｙｅｒに各々入力してクラシフィケーションのための演算を通じてプロポーザルボックス各々に対応するクラス別のトレーニング用クラシフィケーションスコアを獲得し、ボックスリグレッションのための演算を通じてプロポーザルボックス各々に対応するクラス別のトレーニング用リグレッション情報を獲得する。そして、クラシフィケーションスコアと既設定されたクラシフィケーショングラウンドトゥルー（ｇｒｏｕｎｄ  ｔｒｕｅ）を比較分析してクラシフィケーションに対するロス値であるクラシフィケーションロス値を獲得し、リグレッション情報と既設定されたボックスリグレッショングラウンドトゥルーを比較分析してリグレッションに対するロス値であるリグレッションロス値を獲得し、獲得されたクラシフィケーションロス値とリグレッションロス値を各々バックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）してコンボリューションパラメータ、クラシフィケーションパラメータ、及びボックスリグレッションパラメータを学習する。
【００７５】
また、以上で説明された本発明にかかる実施例は多様なコンピュータ構成要素を通じて遂行され得るプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独または組み合わせて含まれ得る。前記コンピュータで判読可能な記録媒体に記録されるプログラム命令語は本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ  ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ  ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけではなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は本発明にかかる処理を遂行するために一つ以上のソフトウェアモジュールとして作動されるように構成されることがあり、その逆も同様である。
【００７６】
以上、本発明が具体的な構成要素などのような特定の事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野において通常の知識を有する者であればかかる記載から多様な修正及び変形が行なわれ得る。
【００７７】
従って、本発明の思想は前記説明された実施例に極限されて定められてはならず、後述する特許請求の範囲だけではなく、本特許請求の範囲と均等または等価的に変形されたすべてのものは本発明の思想の範疇に属するといえる。
【符号の説明】
【００７８】
１０：ビジョンセンサ、
１００：ブラインドスポットモニタ、
１１０：通信部、
１２０：プロセッサ、
２００：自動車
ＢＳ：ブラインドスポット
Ｐ１、Ｐ２、Ｐ３：プロポーザルボックス、
ＤＰＢ：動的プロポーザルボックス
【図１】
2019067405.tif 000003
【図２】
2019067405.tif 000004
【図３】
2019067405.tif 000005
【図４】
2019067405.tif 000006
【図５】
2019067405.tif 000007
【図６】
2019067405.tif 000008
【外国語明細書】
2019067405000001.pdf