(57)【要約】【課題】駐車可能空間を検出するために利用される自動車の自動駐車装置を学習させる方法を提供する。【解決手段】自動車の周辺領域の駐車場イメージが取得されると、駐車場イメージを入力することにより、コンボリューション特徴マップを出力し、コンボリューション特徴マップをデコンボリューションしてデコンボリューション特徴マップを出力し、デコンボリューション特徴マップをマスキングしてセグメンテーション情報を出力する段階、デコンボリューション特徴マップを入力することにより、特定駐車可能領域の頂点に対する相対座標を生成し、相対座標をリグレッションしてリグレッション位置情報を生成する段階、第１ロスレイヤをもって、リグレッション位置情報と、これに対応するＲＯＩのＧＴとを参照して第１ロスを算出するようにし、第１ロスを利用したバックプロパゲーションによって、リグレッサを学習させる段階を含む。【選択図】図２
2020126636.tif 000002
【特許請求の範囲】
【請求項１】
駐車場の駐車可能空間を検出するために利用される自動車の自動駐車装置を学習する方法において、
（ａ）前記駐車場の上部から前記駐車場の床方向に前記自動車の周辺領域を撮影して生成された少なくとも一つの駐車場イメージが取得されると、学習装置が、（ｉ）前記駐車場イメージをセグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）エンコーダ（ｅｎｃｏｄｅｒ）によって、前記駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つのコンボリューション特徴マップを出力するようにし、（ｉ−２）デコーダ（ｄｅｃｏｄｅｒ）によって、前記コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用してデコンボリューション特徴マップを出力するようにし、（ｉ−３）マスキングレイヤ（ｍａｓｋｉｎｇ  ｌａｙｅｒ）によって、前記デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記駐車場イメージ上で一つ以上の空き駐車領域のセグメンテーションを示すセグメンテーション情報を出力するようにするプロセスを遂行する段階、
（ｂ）前記学習装置が、（ｉ）特定ＲＯＩに対応する前記デコンボリューション特徴マップをリグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ｉ−１）前記特定ＲＯＩの中心からの前記特定ＲＯＩの一つ以上の頂点に対する相対座標を生成するようにし、（ｉ−２）前記相対座標に少なくとも一つのリグレッション演算を適用して、少なくとも一つの特定駐車可能領域（前記空き駐車領域のうちの前記特定駐車可能領域は、前記特定ＲＯＩとして決定される）に対するリグレッション位置情報を生成するようにするプロセスを遂行する段階、及び
（ｃ）前記学習装置が、第１ロスレイヤをもって、前記リグレッション位置情報とこれに対応する少なくとも一つのＲＯＩのＧＴ（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上の第１ロスを算出するようにするプロセス、及び前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記リグレッサを学習させるプロセスを遂行する段階、
を含むことを特徴とする方法。
【請求項２】
前記セグメンテーションネットワークは、以前学習装置により前記駐車場イメージ上で前記空き駐車領域をセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）して生成されたセグメンテーション情報を出力するよう事前学習された状態であり、
少なくとも一つの学習用以前駐車場イメージが取得されると、前記以前学習装置が、（ｉ）前記学習用以前駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）前記エンコーダによって、前記学習用以前駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用以前コンボリューション特徴マップを出力するようにし、（ｉ−２）前記デコーダによって、前記学習用以前コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して少なくとも一つの学習用以前デコンボリューション特徴マップを出力するようにし、（ｉ−３）前記マスキングレイヤによって、前記学習用以前デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用以前駐車場イメージ上で前記空き駐車領域のセグメンテーションを示す学習用以前セグメンテーション情報を出力するようにするプロセス、及び（ｉｉ）第２ロスレイヤをもって、前記学習用以前セグメンテーション情報とこれに対応する少なくとも一つのセグメンテーションＧＴとを参照して、一つ以上の第２ロスを算出するようにし、前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスが最小化されるように前記マスキングレイヤ、前記デコーダ、及び前記エンコーダのうちの少なくとも一つのパラメータがアップデートされるプロセス、
を遂行することを特徴とする請求項１に記載の方法。
【請求項３】
前記学習装置は、前記ＲＯＩのＧＴをジッタリング（ｊｉｔｔｅｒｉｎｇ）するプロセス、及び前記第１ロスレイヤをもって、ジッタリングされた前記ＲＯＩのＧＴと前記リグレッション位置情報とを参照して前記第１ロスを算出するようにするプロセス、
を遂行することを特徴とする請求項１に記載の方法。
【請求項４】
前記学習装置は、前記ＲＯＩのＧＴのスケールを参照して、前記ＲＯＩのＧＴの前記スケールの最大値と前記スケールの最小値とを設定するプロセス、及び前記ＲＯＩのＧＴの前記スケールの前記最大値と前記スケールの前記最小値との平均を用いて前記ＲＯＩのＧＴをジッタリングするプロセス、
を遂行することを特徴とする請求項３に記載の方法。
【請求項５】
前記学習装置は、前記スケールの前記最大値と前記スケールの前記最小値との間から無作為に選択される一つ以上のランダムスケールを取得するプロセス、及び前記第１ロスレイヤをもって、それぞれの前記ランダムスケールと前記リグレッション位置情報とを参照して一つ以上の第３ロスを算出するようにし、それぞれの前記第３ロスを利用したバックプロパゲーションによってそれぞれの前記第３ロスを最小化するように前記リグレッサを微細調整するようにするプロセス、
を遂行することを特徴とする請求項４に記載の方法。
【請求項６】
前記学習装置は、前記マスキングレイヤをもって、前記デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用するようにすることにより、前記駐車場イメージ上で、（ｉ）一つ以上の関心駐車可能領域、（ｉｉ）一つ以上の背景領域、（ｉｉ）一つ以上の関心外駐車可能領域、及び（ｉｖ）一つ以上の駐車された駐車領域のうちの少なくとも一つをセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）するプロセス、
を遂行することを特徴とする請求項１に記載の方法。
【請求項７】
前記学習装置は、前記マスキングレイヤをもって、前記空き駐車領域と前記自動車との間の一つ以上の距離を参照して、前記空き駐車領域を前記関心駐車可能領域及び前記関心外駐車可能領域にセグメンテーションするようにするプロセス、
を遂行することを特徴とする請求項６に記載の方法。
【請求項８】
駐車場の駐車可能空間を検出するため利用される自動車の自動駐車装置をテスティングする方法において、
（ａ）少なくとも一つの学習用以前駐車場イメージが取得されると、学習装置が、（ｉ）前記学習用駐車場イメージをセグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）エンコーダ（ｅｎｃｏｄｅｒ）によって、前記学習用駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用コンボリューション特徴マップを出力するようにし、（ｉ−２）デコーダ（ｄｅｃｏｄｅｒ）によって、前記学習用コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して学習用デコンボリューション特徴マップを出力するようにし、（ｉ−３）マスキングレイヤ（ｍａｓｋｉｎｇ  ｌａｙｅｒ）によって、前記学習用デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用駐車場イメージ上で一つ以上の学習用空き駐車領域のセグメンテーションを示す学習用セグメンテーション情報を出力するようにするプロセス、（ｉｉ）学習用特定ＲＯＩに対応する前記学習用デコンボリューション特徴マップをリグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ｉｉ−１）前記学習用特定ＲＯＩの中心からの前記学習用特定ＲＯＩの一つ以上の頂点に対する学習用相対座標を生成するようにし、（ｉｉ−２）前記学習用相対座標に少なくとも一つのリグレッション演算を適用して、少なくとも一つの学習用特定駐車可能領域（前記学習用空き駐車領域のうちの前記学習用特定駐車可能領域は、前記学習用特定ＲＯＩとして決定される）に対する学習用リグレッション位置情報を生成するようにするプロセス、及び（ｉｉｉ）第１ロスレイヤをもって、前記学習用リグレッション位置情報と、これに対応する少なくとも一つのＲＯＩのＧＴ（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上の第１ロスを算出するようにするプロセス、及び前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記リグレッサを学習させるプロセスを遂行した状態で、テスティング装置が、テスト用駐車場の上部から前記テスト用駐車場の床方向にテスト用自動車の周辺領域を撮影して生成された少なくとも一つのテスト用駐車場イメージが取得されると、（ａ−１）前記テスト用駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ａ−１ーａ）前記エンコーダ（ｅｎｃｏｄｅｒ）によって、前記テスト用駐車場イメージに前記コンボリューション演算を適用して少なくとも一つのテスト用コンボリューション特徴マップを出力するようにし、（ａ−１−ｂ）前記デコーダ（ｄｅｃｏｄｅｒ）によって、前記テスト用コンボリューション特徴マップに前記デコンボリューション演算を適用してテスト用デコンボリューション特徴マップを出力するようにし、（ａ−１−ｃ）前記マスキングレイヤ（ｍａｓｋｉｎｇ  ｌａｙｅｒ）によって、前記テスト用デコンボリューション特徴マップにマスキング演算を適用して前記テスト用駐車場イメージ上で一つ以上のテスト用空き駐車領域のセグメンテーションを示すテスト用セグメンテーション情報を出力するようにするプロセスを遂行する段階、及び
（ｂ）前記テスティング装置が、テスト用特定ＲＯＩに対応する前記テスト用デコンボリューション特徴マップを前記リグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ｉ−１）前記テスト用特定ＲＯＩの中心からの前記テスト用特定ＲＯＩの一つ以上の頂点に対するテスト用相対座標を生成するようにし、（ｉ−２）前記テスト用相対座標に前記リグレッション演算を適用して、少なくとも一つのテスト用特定駐車可能領域（前記テスト用空き駐車領域のうちの前記テスト用特定駐車可能領域は、前記テスト用特定ＲＯＩとして決定される）に対するテスト用リグレッション位置情報を生成するようにするプロセスを遂行する段階、
を含むことを特徴とするテスティング方法。
【請求項９】
前記セグメンテーションネットワークは、以前学習装置により前記テスト用駐車場イメージ上で前記テスト用空き駐車領域をセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）して生成されたテスト用セグメンテーション情報を出力するよう事前学習された状態であり、
少なくとも一つの学習用以前駐車場イメージが取得されると、前記以前学習装置が、（ｉ）前記学習用以前駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）前記エンコーダによって、前記学習用以前駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用以前コンボリューション特徴マップを出力するようにし、（ｉ−２）前記デコーダによって、前記学習用以前コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して少なくとも一つの学習用以前デコンボリューション特徴マップを出力するようにし、（ｉ−３）前記マスキングレイヤによって、前記学習用以前デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用以前駐車場イメージ上で前記空き駐車領域のセグメンテーションを示す学習用以前セグメンテーション情報を出力するようにするプロセス、及び（ｉｉ）第２ロスレイヤをもって、前記学習用以前セグメンテーション情報とこれに対応する少なくとも一つのセグメンテーションＧＴとを参照して、一つ以上の第２ロスを算出するようにし、前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスが最小化されるように前記マスキングレイヤ、前記デコーダ、及び前記エンコーダのうちの少なくとも一つのパラメータがアップデートされるプロセス、
を遂行することを特徴とする請求項８に記載のテスティング方法。
【請求項１０】
前記テスティング装置は、前記マスキングレイヤをもって、前記テスト用デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用するようにすることにより、前記テスト用駐車場イメージ上で、（ｉ）一つ以上のテスト用関心駐車可能領域、（ｉｉ）一つ以上のテスト用背景領域、（ｉｉｉ）一つ以上のテスト用関心外駐車可能領域、及び（ｉｖ）一つ以上のテスト用駐車された駐車領域のうちの少なくとも一つをセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）するプロセス、
を遂行することを特徴とする請求項８に記載のテスティング方法。
【請求項１１】
前記テスティング装置は、前記マスキングレイヤをもって、前記テスト用空き駐車領域と前記テスト用自動車との間の一つ以上の距離を参照して、前記テスト用空き駐車領域を前記テスト用関心駐車可能領域及び前記テスト用関心外駐車可能領域にセグメンテーションするようにするプロセス、
を遂行することを特徴とする請求項１０に記載のテスティング方法。
【請求項１２】
（ｃ）前記テスト用特定駐車可能領域に対する前記テスト用リグレッション位置情報が取得されると、前記テスティング装置が、前記テスト用自動車の前記自動駐車装置をもって、前記テスト用リグレッション位置情報を参照して、前記テスト用特定駐車可能領域内に前記テスト用自動車を駐車させるようにするプロセスを遂行する段階、
をさらに含むことを特徴とする請求項８に記載のテスティング方法。
【請求項１３】
駐車場の駐車可能空間を検出するために利用される自動車の自動駐車装置を学習する学習装置において、
インストラクションを格納する少なくとも一つのメモリ、及び
（Ｉ）前記駐車場の上部から前記駐車場の床方向に前記自動車の周辺領域を撮影して生成された少なくとも一つの駐車場イメージが取得されると、（ｉ）前記駐車場イメージをセグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）エンコーダ（ｅｎｃｏｄｅｒ）によって、前記駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つのコンボリューション特徴マップを出力するようにし、（ｉ−２）デコーダ（ｄｅｃｏｄｅｒ）によって、前記コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用してデコンボリューション特徴マップを出力するようにし、（ｉ−３）マスキングレイヤ（ｍａｓｋｉｎｇ  ｌａｙｅｒ）によって、前記デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記駐車場イメージ上で一つ以上の空き駐車領域のセグメンテーションを示すセグメンテーション情報を出力するようにするプロセス、（ＩＩ）特定ＲＯＩに対応する前記デコンボリューション特徴マップをリグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ｉ−１）前記特定ＲＯＩの中心からの前記特定ＲＯＩの一つ以上の頂点に対する相対座標を生成するようにし、（ｉ−２）前記相対座標に少なくとも一つのリグレッション演算を適用して、少なくとも一つの特定駐車可能領域（前記空き駐車領域のうちの前記特定駐車可能領域は、前記特定ＲＯＩとして決定される）に対するリグレッション位置情報を生成するようにするプロセス、及び（ＩＩＩ）第１ロスレイヤをもって、前記リグレッション位置情報とこれに対応する少なくとも一つのＲＯＩのＧＴ（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上の第１ロスを算出するようにするプロセス、及び前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記リグレッサを学習させるプロセスを遂行するか、他の装置をもって遂行するようにするために前記インストラクションを実行するように構成された少なくとも一つのプロセッサ、
を含むことを特徴とする学習装置。
【請求項１４】
前記セグメンテーションネットワークは、以前学習装置により前記駐車場イメージ上で前記空き駐車領域をセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）して生成されたセグメンテーション情報を出力するよう事前学習された状態であり、
少なくとも一つの学習用以前駐車場イメージが取得されると、前記以前学習装置が、（ｉ）前記学習用以前駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）前記エンコーダによって、前記学習用以前駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用以前コンボリューション特徴マップを出力するようにし、（ｉ−２）前記デコーダによって、前記学習用以前コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して少なくとも一つの学習用以前デコンボリューション特徴マップを出力するようにし、（ｉ−３）前記マスキングレイヤによって、前記学習用以前デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用以前駐車場イメージ上で前記空き駐車領域のセグメンテーションを示す学習用以前セグメンテーション情報を出力するようにするプロセス、及び（ｉｉ）第２ロスレイヤをもって、前記学習用以前セグメンテーション情報とこれに対応する少なくとも一つのセグメンテーションＧＴとを参照して、一つ以上の第２ロスを算出するようにし、前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスが最小化されるように前記マスキングレイヤ、前記デコーダ、及び前記エンコーダのうちの少なくとも一つのパラメータがアップデートされるプロセス、
を遂行することを特徴とする請求項１３に記載の学習装置。
【請求項１５】
前記プロセッサは、前記ＲＯＩのＧＴをジッタリング（ｊｉｔｔｅｒｉｎｇ）するプロセス、及び前記第１ロスレイヤをもって、ジッタリングされた前記ＲＯＩのＧＴと前記リグレッション位置情報とを参照して前記第１ロスを算出するようにするプロセス、
を遂行することを特徴とする請求項１３に記載の学習装置。
【請求項１６】
前記プロセッサは、前記ＲＯＩのＧＴのスケールを参照して、前記ＲＯＩのＧＴの前記スケールの最大値と前記スケールの最小値とを設定するプロセス、及び前記ＲＯＩのＧＴの前記スケールの前記最大値と前記スケールの前記最小値との平均を用いて前記ＲＯＩのＧＴをジッタリングするプロセス、
を遂行することを特徴とする請求項１５に記載の学習装置。
【請求項１７】
前記プロセッサは、前記スケールの前記最大値と前記スケールの前記最小値との間から無作為に選択される一つ以上のランダムスケールを取得するプロセス、及び前記第１ロスレイヤをもって、それぞれの前記ランダムスケールと前記リグレッション位置情報とを参照して一つ以上の第３ロスを算出するようにし、それぞれの前記第３ロスを利用したバックプロパゲーションによってそれぞれの前記第３ロスを最小化するように前記リグレッサを微細調整するようにするプロセス、
を遂行することを特徴とする請求項１６に記載の学習装置。
【請求項１８】
前記プロセッサは、前記マスキングレイヤをもって、前記デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用するようにすることにより、前記駐車場イメージ上で、（ｉ）一つ以上の関心駐車可能領域、（ｉｉ）一つ以上の背景領域、（ｉｉ）一つ以上の関心外駐車可能領域、及び（ｉｖ）一つ以上の駐車された駐車領域のうちの少なくとも一つをセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）するプロセス、
を遂行することを特徴とする請求項１３に記載の学習装置。
【請求項１９】
前記プロセッサは、前記マスキングレイヤをもって、前記空き駐車領域と前記自動車との間の一つ以上の距離を参照して、前記空き駐車領域を前記関心駐車可能領域及び前記関心外駐車可能領域にセグメンテーションするようにするプロセス、
を遂行することを特徴とする請求項１８に記載の学習装置。
【請求項２０】
駐車場の駐車可能空間を検出するため利用される自動車の自動駐車装置をテスティングするテスティング装置において、
インストラクションを格納する少なくとも一つのメモリ、及び
（Ｉ）少なくとも一つの学習用駐車場イメージが取得されると、（ｉ）前記学習用駐車場イメージをセグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）エンコーダ（ｅｎｃｏｄｅｒ）によって、前記学習用駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用コンボリューション特徴マップを出力するようにし、（ｉ−２）デコーダ（ｄｅｃｏｄｅｒ）によって、前記学習用コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して学習用デコンボリューション特徴マップを出力するようにし、（ｉ−３）マスキングレイヤ（ｍａｓｋｉｎｇ  ｌａｙｅｒ）によって、前記学習用デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用駐車場イメージ上で一つ以上の学習用空き駐車領域のセグメンテーションを示す学習用セグメンテーション情報を出力するようにするプロセス、（ｉｉ）学習用特定ＲＯＩに対応する前記学習用デコンボリューション特徴マップをリグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ｉｉ−１）前記学習用特定ＲＯＩの中心からの前記学習用特定ＲＯＩの一つ以上の頂点に対する学習用相対座標を生成するようにし、（ｉｉ−２）前記学習用相対座標に少なくとも一つのリグレッション演算を適用して、少なくとも一つの学習用特定駐車可能領域（前記学習用空き駐車領域のうちの前記学習用特定駐車可能領域は、前記学習用特定ＲＯＩとして決定される）に対する学習用リグレッション位置情報を生成するようにするプロセス、及び（ｉｉｉ）第１ロスレイヤをもって、前記学習用リグレッション位置情報と、これに対応する少なくとも一つのＲＯＩのＧＴ（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上の第１ロスを算出するようにするプロセス、及び前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記リグレッサを学習させるプロセスを遂行した状態で、（Ｉー１）テスト用駐車場の上部から前記テスト用駐車場の床方向にテスト用自動車の周辺領域を撮影して生成された少なくとも一つのテスト用駐車場イメージが取得されると、前記テスト用駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（Ｉ−１ーａ）前記エンコーダ（ｅｎｃｏｄｅｒ）によって、前記テスト用駐車場イメージに前記コンボリューション演算を適用して少なくとも一つのテスト用コンボリューション特徴マップを出力するようにし、（Ｉ−１−ｂ）前記デコーダ（ｄｅｃｏｄｅｒ）によって、前記テスト用コンボリューション特徴マップに前記デコンボリューション演算を適用してテスト用デコンボリューション特徴マップを出力するようにし、（Ｉ−１−ｃ）前記マスキングレイヤ（ｍａｓｋｉｎｇ  ｌａｙｅｒ）によって、前記テスト用デコンボリューション特徴マップにマスキング演算を適用して前記テスト用駐車場イメージ上で一つ以上のテスト用空き駐車領域のセグメンテーションを示すテスト用セグメンテーション情報を出力するようにするプロセス、及び（ＩＩ）テスト用特定ＲＯＩに対応する前記テスト用デコンボリューション特徴マップを前記リグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ＩＩ−１）前記テスト用特定ＲＯＩの中心からの前記テスト用特定ＲＯＩの一つ以上の頂点に対するテスト用相対座標を生成するようにし、（ＩＩ−２）前記テスト用相対座標に前記リグレッション演算を適用して、少なくとも一つのテスト用特定駐車可能領域（前記テスト用空き駐車領域のうちの前記テスト用特定駐車可能領域は、前記テスト用特定ＲＯＩとして決定される）に対するテスト用リグレッション位置情報を生成するようにするプロセスを遂行するか、他の装置をもって遂行するようにするために前記インストラクションを実行するように構成された少なくとも一つのプロセッサ、
を含むことを特徴とするテスティング装置。
【請求項２１】
前記セグメンテーションネットワークは、以前学習装置により前記テスト用駐車場イメージ上で前記テスト用空き駐車領域をセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）して生成されたテスト用セグメンテーション情報を出力するよう事前学習された状態であり、
少なくとも一つの学習用以前駐車場イメージが取得されると、前記以前学習装置が、（ｉ）前記学習用以前駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）前記エンコーダによって、前記学習用以前駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用以前コンボリューション特徴マップを出力するようにし、（ｉ−２）前記デコーダによって、前記学習用以前コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して少なくとも一つの学習用以前デコンボリューション特徴マップを出力するようにし、（ｉ−３）前記マスキングレイヤによって、前記学習用以前デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用以前駐車場イメージ上で前記空き駐車領域のセグメンテーションを示す学習用以前セグメンテーション情報を出力するようにするプロセス、及び（ｉｉ）第２ロスレイヤをもって、前記学習用以前セグメンテーション情報とこれに対応する少なくとも一つのセグメンテーションＧＴとを参照して、一つ以上の第２ロスを算出するようにし、前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスが最小化されるように前記マスキングレイヤ、前記デコーダ、及び前記エンコーダのうちの少なくとも一つのパラメータがアップデートされるプロセス、
を遂行することを特徴とする請求項２０に記載のテスティング装置。
【請求項２２】
前記プロセッサは、前記マスキングレイヤをもって、前記テスト用デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用するようにすることにより、前記テスト用駐車場イメージ上で、（ｉ）一つ以上のテスト用関心駐車可能領域、（ｉｉ）一つ以上のテスト用背景領域、（ｉｉｉ）一つ以上のテスト用関心外駐車可能領域、及び（ｉｖ）一つ以上のテスト用駐車された駐車領域のうちの少なくとも一つをセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）するプロセス、
を遂行することを特徴とする請求項２０に記載のテスティング装置。
【請求項２３】
前記プロセッサは、前記マスキングレイヤをもって、前記テスト用空き駐車領域と前記テスト用自動車との間の一つ以上の距離を参照して、前記テスト用空き駐車領域を前記テスト用関心駐車可能領域及び前記テスト用関心外駐車可能領域にセグメンテーションするようにするプロセス、
を遂行することを特徴とする請求項２２に記載のテスティング装置。
【請求項２４】
前記プロセッサが、（ＩＩＩ）前記テスト用特定駐車可能領域に対する前記テスト用リグレッション位置情報が取得されると、前記テスト用自動車の前記自動駐車装置をもって、前記テスト用リグレッション位置情報を参照して、前記テスト用特定駐車可能領域内に前記テスト用自動車を駐車させるようにするプロセスを遂行するプロセス、
をさらに遂行することを特徴とする請求項２０に記載のテスティング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動駐車装置に関し、より詳細には、自動車を自動駐車するために利用される自動駐車システムによる空き駐車領域を検出する方法及び装置に関する。
【背景技術】
【０００２】
自動車とは、一つの場所から他の場所へ、人や貨物、そしてそのようなものを運送する装置を指す。近年、駐車補助システムは自動車を運転するユーザの便宜を増加させる技術的発展として発達し、商業化されている。
【０００３】
自動車に設置された駐車補助システムは、駐車可能か否かを運転者に知らせるためのアラウンドビューモニタリング（ＡＶＭ）イメージを基盤にして自動車周辺の駐車スペースを識別し、必要な場合、音声信号あるいは視覚的信号を利用して運転者に危険状況警報を出力する。一部の場合、駐車補助システムは、駐車の際にステアリング及びスピードの出しすぎの制御を担当する。
【０００４】
駐車補助システムを施行するため、カメラあるいは超音波センサといった、駐車スペースを識別する少なくとも一つのセンサが車両内に搭載される必要がある。
【０００５】
ＡＶＭイメージを基盤にした駐車スペースを識別するため、駐車補助システムは、駐車スペース識別の予備プロセスとして、駐車スペースに含まれた多数の交差地点を検出しなければならない。
【０００６】
ＡＶＭイメージにおいて、一般に、カメラから遠く離れた位置に対応する領域内で大きなエラーが発生する。これらの問題を解決するために、ＡＶＭイメージ内のすべての領域のうちのカメラから予め設定された範囲に対応する領域のみに対して交差地点を検出する技法が提案された。だが、これをするために、自動車は、駐車スペースの与えられた距離内の領域に進入しなければならないが、これは駐車スペースを識別するのに要求された時間が増大されるという点で不便さを引き起こす。
【０００７】
従来技術によるＡＶＭイメージを基盤にした駐車空間識別装置は、駐車空間が識別されるまで、順次に生成されたイメージ内の検出された交差地点に対するすべての位置値を格納する。すなわち、駐車空間識別装置は、一つの交差地点に対する多数の位置値を格納し、このような位置値の平均値を計算することにより、交差地点の最終位置を検出する。このような場合、メモリが過多に使用され、交差地点を検出するために計算回数が増加する。
【０００８】
すなわち、従来の駐車補助装置は、センサを利用して駐車スペースに自動車が位置しているか否かだけを知らせるか、超高周波センサを利用して駐車スペースの距離を測定してくれるか、イメージ内のエッジ（ｅｄｇｅ）を利用して駐車線を検出することで自動車が駐車できるようにする。
【０００９】
しかし、従来の方法では、車両の有無についての情報だけでは自動駐車モードをサポートできず、超高周波センサのみを利用して駐車スペースを確保し難い。
また、イメージプロセッシングを利用する方法は、エラーが多いため利用することが困難である。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、前述した問題点を全て解決することを目的とする。
【００１１】
本発明は、駐車場内で一つ以上の空き駐車領域を確認できるようにすることを他の目的とする。
【００１２】
本発明は、駐車場内で空き駐車領域に対する正確な情報を提供することをまた他の目的とする。
【課題を解決するための手段】
【００１３】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記の通りである。
【００１４】
本発明の一態様によれば、駐車場の駐車可能空間を検出するために利用される自動車の自動駐車装置を学習する方法において、（ａ）前記駐車場の上部から前記駐車場の床方向に前記自動車の周辺領域を撮影して生成された少なくとも一つの駐車場イメージが取得されると、学習装置が、（ｉ）前記駐車場イメージをセグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）エンコーダ（ｅｎｃｏｄｅｒ）によって、前記駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つのコンボリューション特徴マップを出力するようにし、（ｉ−２）デコーダ（ｄｅｃｏｄｅｒ）によって、前記コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用してデコンボリューション特徴マップを出力するようにし、（ｉ−３）マスキングレイヤ（ｍａｓｋｉｎｇ  ｌａｙｅｒ）によって、前記デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記駐車場イメージ上で一つ以上の空き駐車領域のセグメンテーションを示すセグメンテーション情報を出力するようにするプロセスを遂行する段階、（ｂ）前記学習装置が、（ｉ）特定ＲＯＩに対応する前記デコンボリューション特徴マップをリグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ｉ−１）前記特定ＲＯＩの中心からの前記特定ＲＯＩの一つ以上の頂点に対する相対座標を生成するようにし、（ｉ−２）前記相対座標に少なくとも一つのリグレッション演算を適用して、少なくとも一つの特定駐車可能領域（前記空き駐車領域のうちの前記特定駐車可能領域は、前記特定ＲＯＩとして決定される）に対するリグレッション位置情報を生成するようにするプロセスを遂行する段階、及び（ｃ）前記学習装置が、第１ロスレイヤをもって、前記リグレッション位置情報とこれに対応する少なくとも一つのＲＯＩのＧＴ（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上の第１ロスを算出するようにするプロセス、及び前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記リグレッサを学習させるプロセスを遂行する段階、を含むことを特徴とする方法が提供される。
【００１５】
一実施例として、前記セグメンテーションネットワークは、以前学習装置により前記駐車場イメージ上で前記空き駐車領域をセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）して生成されたセグメンテーション情報を出力するよう事前学習された状態であり、少なくとも一つの学習用以前駐車場イメージが取得されると、前記以前学習装置が、（ｉ）前記学習用以前駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）前記エンコーダによって、前記学習用以前駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用以前コンボリューション特徴マップを出力するようにし、（ｉ−２）前記デコーダによって、前記学習用以前コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して少なくとも一つの学習用以前デコンボリューション特徴マップを出力するようにし、（ｉ−３）前記マスキングレイヤによって、前記学習用以前デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用以前駐車場イメージ上で前記空き駐車領域のセグメンテーションを示す学習用以前セグメンテーション情報を出力するようにするプロセス、及び（ｉｉ）第２ロスレイヤをもって、前記学習用以前セグメンテーション情報とこれに対応する少なくとも一つのセグメンテーションＧＴとを参照して、一つ以上の第２ロスを算出するようにし、前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスが最小化されるように前記マスキングレイヤ、前記デコーダ、及び前記エンコーダのうちの少なくとも一つのパラメータがアップデートされるプロセス、を遂行する。
【００１６】
一実施例として、前記学習装置は、前記ＲＯＩのＧＴをジッタリング（ｊｉｔｔｅｒｉｎｇ）するプロセス、及び前記第１ロスレイヤをもって、ジッタリングされた前記ＲＯＩのＧＴと前記リグレッション位置情報とを参照して前記第１ロスを算出するようにするプロセス、を遂行する。
【００１７】
一実施例として、前記学習装置は、前記ＲＯＩのＧＴのスケールを参照して、前記ＲＯＩのＧＴの前記スケールの最大値と前記スケールの最小値とを設定するプロセス、及び前記ＲＯＩのＧＴの前記スケールの前記最大値と前記スケールの前記最小値との平均を用いて前記ＲＯＩのＧＴをジッタリングするプロセス、を遂行する。
【００１８】
一実施例として、前記学習装置は、前記スケールの前記最大値と前記スケールの前記最小値との間から無作為に選択される一つ以上のランダムスケールを取得するプロセス、及び前記第１ロスレイヤをもって、それぞれの前記ランダムスケールと前記リグレッション位置情報とを参照して一つ以上の第３ロスを算出するようにし、それぞれの前記第３ロスを利用したバックプロパゲーションによってそれぞれの前記第３ロスを最小化するように前記リグレッサを微細調整するようにするプロセス、を遂行する。
【００１９】
一実施例として、前記学習装置は、前記マスキングレイヤをもって、前記デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用するようにすることにより、前記駐車場イメージ上で、（ｉ）一つ以上の関心駐車可能領域、（ｉｉ）一つ以上の背景領域、（ｉｉ）一つ以上の関心外駐車可能領域、及び（ｉｖ）一つ以上の駐車された駐車領域のうちの少なくとも一つをセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）するプロセス、を遂行する。
【００２０】
一実施例として、前記学習装置は、前記マスキングレイヤをもって、前記空き駐車領域と前記自動車との間の一つ以上の距離を参照して、前記空き駐車領域を前記関心駐車可能領域及び前記関心外駐車可能領域にセグメンテーションするようにするプロセス、を遂行する。
【００２１】
本発明の他の態様によれば、駐車場の駐車可能空間を検出するため利用される自動車の自動駐車装置をテスティングする方法において、（ａ）少なくとも一つの学習用以前駐車場イメージが取得されると、学習装置が、（ｉ）前記学習用駐車場イメージをセグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）エンコーダ（ｅｎｃｏｄｅｒ）によって、前記学習用駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用コンボリューション特徴マップを出力するようにし、（ｉ−２）デコーダ（ｄｅｃｏｄｅｒ）によって、前記学習用コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して学習用デコンボリューション特徴マップを出力するようにし、（ｉ−３）マスキングレイヤ（ｍａｓｋｉｎｇ  ｌａｙｅｒ）によって、前記学習用デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用駐車場イメージ上で一つ以上の学習用空き駐車領域のセグメンテーションを示す学習用セグメンテーション情報を出力するようにするプロセス、（ｉｉ）学習用特定ＲＯＩに対応する前記学習用デコンボリューション特徴マップをリグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ｉｉ−１）前記学習用特定ＲＯＩの中心からの前記学習用特定ＲＯＩの一つ以上の頂点に対する学習用相対座標を生成するようにし、（ｉｉ−２）前記学習用相対座標に少なくとも一つのリグレッション演算を適用して、少なくとも一つの学習用特定駐車可能領域（前記学習用空き駐車領域のうちの前記学習用特定駐車可能領域は、前記学習用特定ＲＯＩとして決定される）に対する学習用リグレッション位置情報を生成するようにするプロセス、及び（ｉｉｉ）第１ロスレイヤをもって、前記学習用リグレッション位置情報と、これに対応する少なくとも一つのＲＯＩのＧＴ（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上の第１ロスを算出するようにするプロセス、及び前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記リグレッサを学習させるプロセスを遂行した状態で、テスティング装置が、テスト用駐車場の上部から前記テスト用駐車場の床方向にテスト用自動車の周辺領域を撮影して生成された少なくとも一つのテスト用駐車場イメージが取得されると、（ａ−１）前記テスト用駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ａ−１ーａ）前記エンコーダ（ｅｎｃｏｄｅｒ）によって、前記テスト用駐車場イメージに前記コンボリューション演算を適用して少なくとも一つのテスト用コンボリューション特徴マップを出力するようにし、（ａ−１−ｂ）前記デコーダ（ｄｅｃｏｄｅｒ）によって、前記テスト用コンボリューション特徴マップに前記デコンボリューション演算を適用してテスト用デコンボリューション特徴マップを出力するようにし、（ａ−１−ｃ）前記マスキングレイヤ（ｍａｓｋｉｎｇ  ｌａｙｅｒ）によって、前記テスト用デコンボリューション特徴マップにマスキング演算を適用して前記テスト用駐車場イメージ上で一つ以上のテスト用空き駐車領域のセグメンテーションを示すテスト用セグメンテーション情報を出力するようにするプロセスを遂行する段階、及び（ｂ）前記テスティング装置が、テスト用特定ＲＯＩに対応する前記テスト用デコンボリューション特徴マップを前記リグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ｉ−１）前記テスト用特定ＲＯＩの中心からの前記テスト用特定ＲＯＩの一つ以上の頂点に対するテスト用相対座標を生成するようにし、（ｉ−２）前記テスト用相対座標に前記リグレッション演算を適用して、少なくとも一つのテスト用特定駐車可能領域（前記テスト用空き駐車領域のうちの前記テスト用特定駐車可能領域は、前記テスト用特定ＲＯＩとして決定される）に対するテスト用リグレッション位置情報を生成するようにするプロセスを遂行する段階、を含むことを特徴とするテスティング方法が提供される。
【００２２】
一実施例として、前記セグメンテーションネットワークは、以前学習装置により前記テスト用駐車場イメージ上で前記テスト用空き駐車領域をセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）して生成されたテスト用セグメンテーション情報を出力するよう事前学習された状態であり、少なくとも一つの学習用以前駐車場イメージが取得されると、前記以前学習装置が、（ｉ）前記学習用以前駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）前記エンコーダによって、前記学習用以前駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用以前コンボリューション特徴マップを出力するようにし、（ｉ−２）前記デコーダによって、前記学習用以前コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して少なくとも一つの学習用以前デコンボリューション特徴マップを出力するようにし、（ｉ−３）前記マスキングレイヤによって、前記学習用以前デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用以前駐車場イメージ上で前記空き駐車領域のセグメンテーションを示す学習用以前セグメンテーション情報を出力するようにするプロセス、及び（ｉｉ）第２ロスレイヤをもって、前記学習用以前セグメンテーション情報とこれに対応する少なくとも一つのセグメンテーションＧＴとを参照して、一つ以上の第２ロスを算出するようにし、前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスが最小化されるように前記マスキングレイヤ、前記デコーダ、及び前記エンコーダのうちの少なくとも一つのパラメータがアップデートされるプロセス、を遂行する。
【００２３】
一実施例として、前記テスティング装置は、前記マスキングレイヤをもって、前記テスト用デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用するようにすることにより、前記テスト用駐車場イメージ上で、（ｉ）一つ以上のテスト用関心駐車可能領域、（ｉｉ）一つ以上のテスト用背景領域、（ｉｉｉ）一つ以上のテスト用関心外駐車可能領域、及び（ｉｖ）一つ以上のテスト用駐車された駐車領域のうちの少なくとも一つをセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）するプロセス、を遂行する。
【００２４】
一実施例として、前記テスティング装置は、前記マスキングレイヤをもって、前記テスト用空き駐車領域と前記テスト用自動車との間の一つ以上の距離を参照して、前記テスト用空き駐車領域を前記テスト用関心駐車可能領域及び前記テスト用関心外駐車可能領域にセグメンテーションするようにするプロセス、を遂行する。
【００２５】
一実施例として、（ｃ）前記テスト用特定駐車可能領域に対する前記テスト用リグレッション位置情報が取得されると、前記テスティング装置が、前記テスト用自動車の前記自動駐車装置をもって、前記テスト用リグレッション位置情報を参照して、前記テスト用特定駐車可能領域内に前記テスト用自動車を駐車させるようにするプロセスを遂行する段階、をさらに含む。
【００２６】
本発明のまた他の態様によれば、駐車場の駐車可能空間を検出するために利用される自動車の自動駐車装置を学習する学習装置において、インストラクションを格納する少なくとも一つのメモリ、及び（Ｉ）前記駐車場の上部から前記駐車場の床方向に前記自動車の周辺領域を撮影して生成された少なくとも一つの駐車場イメージが取得されると、（ｉ）前記駐車場イメージをセグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）エンコーダ（ｅｎｃｏｄｅｒ）によって、前記駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つのコンボリューション特徴マップを出力するようにし、（ｉ−２）デコーダ（ｄｅｃｏｄｅｒ）によって、前記コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用してデコンボリューション特徴マップを出力するようにし、（ｉ−３）マスキングレイヤ（ｍａｓｋｉｎｇ  ｌａｙｅｒ）によって、前記デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記駐車場イメージ上で一つ以上の空き駐車領域のセグメンテーションを示すセグメンテーション情報を出力するようにするプロセス、（ＩＩ）特定ＲＯＩに対応する前記デコンボリューション特徴マップをリグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ｉ−１）前記特定ＲＯＩの中心からの前記特定ＲＯＩの一つ以上の頂点に対する相対座標を生成するようにし、（ｉ−２）前記相対座標に少なくとも一つのリグレッション演算を適用して、少なくとも一つの特定駐車可能領域（前記空き駐車領域のうちの前記特定駐車可能領域は、前記特定ＲＯＩとして決定される）に対するリグレッション位置情報を生成するようにするプロセス、及び（ＩＩＩ）第１ロスレイヤをもって、前記リグレッション位置情報とこれに対応する少なくとも一つのＲＯＩのＧＴ（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上の第１ロスを算出するようにするプロセス、及び前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記リグレッサを学習させるプロセスを遂行するか、他の装置をもって遂行するようにするために前記インストラクションを実行するように構成された少なくとも一つのプロセッサ、を含むことを特徴とする学習装置が提供される。
【００２７】
一実施例として、前記セグメンテーションネットワークは、以前学習装置により前記駐車場イメージ上で前記空き駐車領域をセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）して生成されたセグメンテーション情報を出力するよう事前学習された状態であり、少なくとも一つの学習用以前駐車場イメージが取得されると、前記以前学習装置が、（ｉ）前記学習用以前駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）前記エンコーダによって、前記学習用以前駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用以前コンボリューション特徴マップを出力するようにし、（ｉ−２）前記デコーダによって、前記学習用以前コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して少なくとも一つの学習用以前デコンボリューション特徴マップを出力するようにし、（ｉ−３）前記マスキングレイヤによって、前記学習用以前デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用以前駐車場イメージ上で前記空き駐車領域のセグメンテーションを示す学習用以前セグメンテーション情報を出力するようにするプロセス、及び（ｉｉ）第２ロスレイヤをもって、前記学習用以前セグメンテーション情報とこれに対応する少なくとも一つのセグメンテーションＧＴとを参照して、一つ以上の第２ロスを算出するようにし、前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスが最小化されるように前記マスキングレイヤ、前記デコーダ、及び前記エンコーダのうちの少なくとも一つのパラメータがアップデートされるプロセス、を遂行する。
【００２８】
一実施例として、前記プロセッサは、前記ＲＯＩのＧＴをジッタリング（ｊｉｔｔｅｒｉｎｇ）するプロセス、及び前記第１ロスレイヤをもって、ジッタリングされた前記ＲＯＩのＧＴと前記リグレッション位置情報とを参照して前記第１ロスを算出するようにするプロセス、を遂行する。
【００２９】
一実施例として、前記プロセッサは、前記ＲＯＩのＧＴのスケールを参照して、前記ＲＯＩのＧＴの前記スケールの最大値と前記スケールの最小値とを設定するプロセス、及び前記ＲＯＩのＧＴの前記スケールの前記最大値と前記スケールの前記最小値との平均を用いて前記ＲＯＩのＧＴをジッタリングするプロセス、を遂行する。
【００３０】
一実施例として、前記プロセッサは、前記スケールの前記最大値と前記スケールの前記最小値との間から無作為に選択される一つ以上のランダムスケールを取得するプロセス、及び前記第１ロスレイヤをもって、それぞれの前記ランダムスケールと前記リグレッション位置情報とを参照して一つ以上の第３ロスを算出するようにし、それぞれの前記第３ロスを利用したバックプロパゲーションによってそれぞれの前記第３ロスを最小化するように前記リグレッサを微細調整するようにするプロセス、を遂行する。
【００３１】
一実施例として、前記プロセッサは、前記マスキングレイヤをもって、前記デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用するようにすることにより、前記駐車場イメージ上で、（ｉ）一つ以上の関心駐車可能領域、（ｉｉ）一つ以上の背景領域、（ｉｉ）一つ以上の関心外駐車可能領域、及び（ｉｖ）一つ以上の駐車された駐車領域のうちの少なくとも一つをセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）するプロセス、を遂行する。
【００３２】
一実施例として、前記プロセッサは、前記マスキングレイヤをもって、前記空き駐車領域と前記自動車との間の一つ以上の距離を参照して、前記空き駐車領域を前記関心駐車可能領域及び前記関心外駐車可能領域にセグメンテーションするようにするプロセス、を遂行する。
【００３３】
本発明のまた他の態様によれば、駐車場の駐車可能空間を検出するため利用される自動車の自動駐車装置をテスティングするテスティング装置において、インストラクションを格納する少なくとも一つのメモリ、及び（Ｉ）少なくとも一つの学習用駐車場イメージが取得されると、（ｉ）前記学習用駐車場イメージをセグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）エンコーダ（ｅｎｃｏｄｅｒ）によって、前記学習用駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用コンボリューション特徴マップを出力するようにし、（ｉ−２）デコーダ（ｄｅｃｏｄｅｒ）によって、前記学習用コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して学習用デコンボリューション特徴マップを出力するようにし、（ｉ−３）マスキングレイヤ（ｍａｓｋｉｎｇ  ｌａｙｅｒ）によって、前記学習用デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用駐車場イメージ上で一つ以上の学習用空き駐車領域のセグメンテーションを示す学習用セグメンテーション情報を出力するようにするプロセス、（ｉｉ）学習用特定ＲＯＩに対応する前記学習用デコンボリューション特徴マップをリグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ｉｉ−１）前記学習用特定ＲＯＩの中心からの前記学習用特定ＲＯＩの一つ以上の頂点に対する学習用相対座標を生成するようにし、（ｉｉ−２）前記学習用相対座標に少なくとも一つのリグレッション演算を適用して、少なくとも一つの学習用特定駐車可能領域（前記学習用空き駐車領域のうちの前記学習用特定駐車可能領域は、前記学習用特定ＲＯＩとして決定される）に対する学習用リグレッション位置情報を生成するようにするプロセス、及び（ｉｉｉ）第１ロスレイヤをもって、前記学習用リグレッション位置情報と、これに対応する少なくとも一つのＲＯＩのＧＴ（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上の第１ロスを算出するようにするプロセス、及び前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記リグレッサを学習させるプロセスを遂行した状態で、（Ｉー１）テスト用駐車場の上部から前記テスト用駐車場の床方向にテスト用自動車の周辺領域を撮影して生成された少なくとも一つのテスト用駐車場イメージが取得されると、前記テスト用駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（Ｉ−１ーａ）前記エンコーダ（ｅｎｃｏｄｅｒ）によって、前記テスト用駐車場イメージに前記コンボリューション演算を適用して少なくとも一つのテスト用コンボリューション特徴マップを出力するようにし、（Ｉ−１−ｂ）前記デコーダ（ｄｅｃｏｄｅｒ）によって、前記テスト用コンボリューション特徴マップに前記デコンボリューション演算を適用してテスト用デコンボリューション特徴マップを出力するようにし、（Ｉ−１−ｃ）前記マスキングレイヤ（ｍａｓｋｉｎｇ  ｌａｙｅｒ）によって、前記テスト用デコンボリューション特徴マップにマスキング演算を適用して前記テスト用駐車場イメージ上で一つ以上のテスト用空き駐車領域のセグメンテーションを示すテスト用セグメンテーション情報を出力するようにするプロセス、及び（ＩＩ）テスト用特定ＲＯＩに対応する前記テスト用デコンボリューション特徴マップを前記リグレッサ（ｒｅｇｒｅｓｓｏｒ）に入力することにより、前記リグレッサをもって、（ＩＩ−１）前記テスト用特定ＲＯＩの中心からの前記テスト用特定ＲＯＩの一つ以上の頂点に対するテスト用相対座標を生成するようにし、（ＩＩ−２）前記テスト用相対座標に前記リグレッション演算を適用して、少なくとも一つのテスト用特定駐車可能領域（前記テスト用空き駐車領域のうちの前記テスト用特定駐車可能領域は、前記テスト用特定ＲＯＩとして決定される）に対するテスト用リグレッション位置情報を生成するようにするプロセスを遂行するか、他の装置をもって遂行するようにするために前記インストラクションを実行するように構成された少なくとも一つのプロセッサ、を含むことを特徴とするテスティング装置が提供される。
【００３４】
一実施例として、前記セグメンテーションネットワークは、以前学習装置により前記テスト用駐車場イメージ上で前記テスト用空き駐車領域をセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）して生成されたテスト用セグメンテーション情報を出力するよう事前学習された状態であり、少なくとも一つの学習用以前駐車場イメージが取得されると、前記以前学習装置が、（ｉ）前記学習用以前駐車場イメージを前記セグメンテーションネットワークに入力することにより、前記セグメンテーションネットワークをもって、（ｉ−１）前記エンコーダによって、前記学習用以前駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用以前コンボリューション特徴マップを出力するようにし、（ｉ−２）前記デコーダによって、前記学習用以前コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して少なくとも一つの学習用以前デコンボリューション特徴マップを出力するようにし、（ｉ−３）前記マスキングレイヤによって、前記学習用以前デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用以前駐車場イメージ上で前記空き駐車領域のセグメンテーションを示す学習用以前セグメンテーション情報を出力するようにするプロセス、及び（ｉｉ）第２ロスレイヤをもって、前記学習用以前セグメンテーション情報とこれに対応する少なくとも一つのセグメンテーションＧＴとを参照して、一つ以上の第２ロスを算出するようにし、前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスが最小化されるように前記マスキングレイヤ、前記デコーダ、及び前記エンコーダのうちの少なくとも一つのパラメータがアップデートされるプロセス、を遂行する。
【００３５】
一実施例として、前記プロセッサは、前記マスキングレイヤをもって、前記テスト用デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用するようにすることにより、前記テスト用駐車場イメージ上で、（ｉ）一つ以上のテスト用関心駐車可能領域、（ｉｉ）一つ以上のテスト用背景領域、（ｉｉｉ）一つ以上のテスト用関心外駐車可能領域、及び（ｉｖ）一つ以上のテスト用駐車された駐車領域のうちの少なくとも一つをセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）するプロセス、を遂行する。
【００３６】
一実施例として、前記プロセッサは、前記マスキングレイヤをもって、前記テスト用空き駐車領域と前記テスト用自動車との間の一つ以上の距離を参照して、前記テスト用空き駐車領域を前記テスト用関心駐車可能領域及び前記テスト用関心外駐車可能領域にセグメンテーションするようにするプロセス、を遂行する。
【００３７】
一実施例として、前記プロセッサが、（ＩＩＩ）前記テスト用特定駐車可能領域に対する前記テスト用リグレッション位置情報が取得されると、前記テスト用自動車の前記自動駐車装置をもって、前記テスト用リグレッション位置情報を参照して、前記テスト用特定駐車可能領域内に前記テスト用自動車を駐車させるようにするプロセスを遂行するプロセス、をさらに遂行する。
【００３８】
この他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取可能な記録媒体がさらに提供される。
【発明の効果】
【００３９】
本発明は、駐車場内で空き駐車領域が決定されることがあるため、自動車の自動駐車モードを支援できる効果がある。
【００４０】
また、本発明は、駐車場内で空き駐車領域が決定され得るので、ユーザの駐車場利用のための利便性を向上させることができる効果がある。
【００４１】
また、本発明は、駐車場内で空いている駐車領域に対する正確な情報を提供して、ユーザが速い時間で自動車を駐車できるようにするようにする効果がある。
【００４２】
また、本発明は、駐車場内で空き駐車領域に関する情報を提供して自動駐車システムの性能を向上させる効果がある。
【００４３】
また、本発明は、駐車領域を案内するための人員に対する要求を取り除き、駐車場を無人化できる効果がある。
【００４４】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
【図面の簡単な説明】
【００４５】
【図１】図１は、本発明の一実施例に係る駐車場内の一つ以上の駐車領域を検出するために利用される自動車の自動駐車装置を学習させる学習装置を概略的に示した図面である。
【図２】図２は、本発明の一実施例に係る駐車場内の駐車領域を検出するために利用される自動車の自動駐車装置を学習させる学習装置を概略的に示した図面である。
【図３】図３は、本発明の一実施例に係る駐車場内の駐車領域を検出するために利用される自動車の自動駐車装置を学習させる学習方法内の駐車領域をセグメンテーションするために利用されるセグメンテーションネットワークを事前に学習させる方法を概略的に示した図面である。
【図４】図４は、本発明の一実施例に係る駐車場内の駐車領域を検出するために利用される自動車の自動駐車装置をテスティングするテスティング装置を概略的に示した図面である。
【図５】図５は、本発明の一実施例に係る駐車場内の駐車領域を検出するために利用される自動車の自動駐車装置をテスティングするテスティング方法を概略的に示した図面である。
【発明を実施するための形態】
【００４６】
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。
【００４７】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００４８】
さらに、本発明は、本明細書に示された実施例のあらゆる可能な組み合わせを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は、本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似した参照符号は、いくつかの側面にかけて同一であるか類似した機能を指称する。
【００４９】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００５０】
本願に提供されている本発明の題名及び要約は、便宜のためのものであり、実施例の範囲を限定したり、実施例の意味を解析したりするものではない。
【００５１】
本明細書及び添付された請求項に使用されたように、単数形態は、内容と文脈が明らかに異なると指示していない限り、複数の指示対象を含む。
【００５２】
参考までに、以下の説明において混乱を避けるために、前記学習プロセスに関連する用語に「学習用」または「トレーニング」という単語が追加され、テスティングプロセスに関連する用語に「テスト用」または「テスティング」という単語が追加された。
【００５３】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明する。
【００５４】
図１は、本発明の一実施例に係る駐車場内の一つ以上の駐車領域を検出するために利用される自動車の自動駐車装置を学習させる学習装置を概略的に示した図面である。図１参照すれば、学習装置１０００は、駐車場内の駐車領域を検出するために利用される自動車の自動駐車装置を学習させるためのインストラクションを格納するメモリ１１００と、メモリ１１００に格納されたインストラクションによって駐車場内の駐車領域を検出するために利用される自動車の自動駐車装置を学習させるプロセスを遂行するプロセッサ１２００とを含むことができる。
【００５５】
具体的に、前記学習装置１０００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他の従来のコンピューティング装置の各構成要素、ルータ、スイッチなどのような電子通信装置、ネットワーク接続ストレージ（ＮＡＳ）及びストレージエリアネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と、少なくとも一つのコンピュータソフトウェア（つまり、前記コンピューティング装置をもって、特定の方式で機能させる各インストラクション）との組み合わせを利用して希望するシステム性能を達成するものであり得る。
【００５６】
前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ  Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ  Ｂｕｓ）などのハードウェア構成を含むことができる。また、前記コンピューティング装置は、オペレーティングシステム（ＯＳ）及び特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
【００５７】
しかし、前記コンピューティング装置が本発明を行うためのミディアム、プロセッサ、メモリまたはほかのコンピューティング構成要素が統合された形である統合プロセッサを含む場合を排除するものではない。
【００５８】
このように構成された本発明の一実施例に係る学習装置１０００を利用して駐車場の駐車領域を検出するために利用される自動車の自動駐車装置を学習させる方法を図２を参照して説明すると次の通りである。
【００５９】
まず、前記駐車場の上部から前記駐車場の床方向に前記自動車の周辺領域を撮影して生成され、利用される少なくとも一つの学習用駐車場イメージが取得されると、前記学習装置１０００が、前記駐車場イメージをセグメンテーションネットワーク１００に入力することで、前記セグメンテーションネットワーク１００をもって、前記駐車場イメージ上で一つ以上の空き駐車領域のセグメンテーションを示すセグメンテーション情報を出力するようにするプロセスを遂行することができる。
【００６０】
たとえば、前記セグメンテーションネットワーク１００は、エンコーダ（ｅｎｃｏｄｅｒ）１１０によって、前記駐車場イメージに少なくとも一つのコンボリューション演算を適用して、少なくとも一つのコンボリューション特徴マップを出力するようにし、デコーダ（ｄｅｃｏｄｅｒ）１２０によって、前記コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して、少なくとも一つのデコンボリューション特徴マップを出力するようにすることができる。
この際、前記エンコーダ１１０は、前記駐車場イメージをダウンサンプリング（ｄｏｗｎ−ｓａｍｐｌｉｎｇ）することができ、前記デコーダ１２０は、ダウンサンプリングされた特徴マップをアップサンプリング（ｕｐ−ｓａｍｐｌｉｎｇ）することができる。
【００６１】
そして、前記エンコーダ１１０は、前記駐車場イメージに一つ以上のコンボリューション演算を適用して、イメージまたは特徴マップのサイズを減少させる一つ以上のコンボリューションレイヤを含むことができ、前記デコーダ１２０は、前記コンボリューション演算によって減少した前記特徴マップに一つ以上のデコンボリューション演算を適用して特徴マップのサイズを増加させる一つ以上のデコンボリューションレイヤを含むことができる。この際、前記デコーダ１２０から出力される特徴マップを「最後の特徴マップ」と呼ぶことにする。
【００６２】
また、前記セグメンテーションネットワーク１００は、ＦＣＮ（Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｔｗｏｒｋ）、ディープラボ（ＤｅｅｐＬａｂ）ｖ１、ｖ２、ユーネット（Ｕ−Ｎｅｔ）、リセグ（ＲｅＳｅｇ）のうちの少なくとも一部分を含むことができる。
【００６３】
この後、前記セグメンテーションネットワーク１００は、マスキングレイヤ１３０をもって、前記最後の特徴マップ、つまり前記デコンボリューション特徴マップを前記セグメンテーションクラスそれぞれに分類した結果であるセマンティックセグメンテーション（ｓｅｍａｎｔｉｃ  ｓｅｇｍｅｎｔａｔｉｏｎ）を生成するようにすることができる。
【００６４】
この際、前記マスキングレイヤ１３０は、前記セグメンテーションクラスごとにバイナリ（ｂｉｎａｒｙ）値が異なるように設定され得る、少なくとも一つのバイナリマスキングレイヤを含むことができる。
【００６５】
そして、前記セグメンテーションクラスは、一つ以上の関心駐車可能領域、一つ以上の背景領域、一つ以上の関心外駐車可能領域及び一つ以上の駐車された駐車領域として設定され得るが、これに限らず、前記駐車場の状況に応じて前記駐車場内の前記駐車領域をグルーピング（ｇｒｏｕｐｉｎｇ）するために利用され得る多様なクラスに設定されることができる。
【００６６】
その後、前記学習装置１０００は、前記マスキングレイヤ１３０をもって、前記空き駐車領域と前記自動車との間の一つ以上の距離を参照して、前記空き駐車領域を前記関心駐車可能領域及び前記関心外駐車可能領域としてセグメンテーションするようにするプロセスを遂行することができる。
【００６７】
次に、前記学習装置１０００が、特定ＲＯＩに対応する前記デコンボリューション特徴マップをリグレッサ（ｒｅｇｒｅｓｓｏｒ）２００に入力することにより、前記リグレッサ２００をもって、前記特定ＲＯＩの中心からの前記特定ＲＯＩの一つ以上の頂点に対する相対座標を生成するようにし、前記相対座標に少なくとも一つのリグレッション演算を適用して、少なくとも一つの特定駐車可能領域（前記空き駐車領域のうちの前記特定駐車可能領域は、前記特定ＲＯＩとして決定される）に対するリグレッション位置情報を生成するようにするプロセスを遂行することができる。
【００６８】
次に、前記学習装置１０００が、第１ロスレイヤ３００をもって、前記リグレッション位置情報と、これに対応する少なくとも一つのＲＯＩのＧＴ（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上の第１ロスを算出するようにするプロセス、及び前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記リグレッサ２００を学習させるプロセスを遂行することができる。
この際、前記学習装置１０００は、前記特定駐車可能領域である前記特定ＲＯＩに対応する前記ＲＯＩのＧＴを利用して前記リグレッサ２００を学習させるプロセスを遂行するが、テスティングプロセスで推定された前記空き駐車領域は、前記ＧＴによる前記ＲＯＩほど正確ではないので、前記リグレッサ２００によって取得された相対座標は、エラーを有し得る。
【００６９】
したがって、前記任意でジッタリング（ｊｉｔｔｅｒｉｎｇ）されたＲＯＩのＧＴを利用して前記リグレッサ２００を学習させ、不安定なＲＯＩでも正確な相対座標を取得するロバスト（ｒｏｂｕｓｔ）性のあるリグレッサ２００を提供することができる。
【００７０】
つまり、前記学習装置は、前記ＲＯＩのＧＴをジッタリングするプロセス、及び前記第１ロスレイヤ３００をもって、ジッタリングされた前記ＲＯＩのＧＴと前記リグレッション位置情報とを参照して前記第１ロスを算出するようにするプロセスを遂行することができる。
【００７１】
この際、前記リグレッサ２００によって取得された前記相対座標の前記ＧＴは、ジッタリングされた部分によって変わり得る。
【００７２】
そして、前記学習装置１０００は、前記ＲＯＩのＧＴのスケールを参照して、前記ＲＯＩのＧＴの前記スケールの最大値と前記スケールの最小値とを設定するプロセス、及び前記ＲＯＩのＧＴの前記スケールの前記最大値と前記スケールの前記最小値との平均値を利用して前記ＲＯＩのＧＴをジッタリングするプロセスを遂行することができる。
【００７３】
一例として、前記ＲＯＩの前記スケールをＳとする場合、前記スケールの最大値をＳｍａｘに設定し、前記スケールの前記最小値をＳｍｉｎに設定し、前記ＲＯＩの前記スケールＳを前記スケールの前記最大値と前記スケールの前記最小値の平均値（Ｓ＝（Ｓｍａｘ＋Ｓｍｉｎ）／２）に設定した後、前記スケールＳを利用して前記リグレッサ２００を学習させることができる。
【００７４】
そして、前記学習装置１０００は、前記スケールの最大値と前記スケールの最小値との間から無作為に選択される一つ以上のランダムスケールを取得するプロセス、及び前記第１ロスレイヤ３００をもって、前記ランダムスケールそれぞれと前記リグレッション位置情報とを参照して一つ以上の第３ロスを算出するようにし、前記第３ロスそれぞれを利用したバックプロパゲーションによって前記第３ロスそれぞれを最小化されるように前記リグレッサ２００を微細調整するようにすることができる。
【００７５】
結果的に、前記テスティングプロセスにおいて、（ｉ）前記関心駐車可能領域それぞれの前記ＲＯＩは、セマンティックセグメンテーション情報から抽出され、（ｉｉ）前記ＲＯＩの一つ以上の特徴は、前記リグレッサ２００に入力され、（ｉｉｉ）前記相対座標は、前記リグレッサ２００から取得された後、（ｉｖ）前記関心駐車可能領域それぞれの前記それぞれの四つの頂点に対する前記正確な座標が前記抽出されたＲＯＩの中心を基準に取得される。
【００７６】
一方、前記セグメンテーションネットワーク１００は、以前学習装置により前記駐車場イメージ上で前記関心駐車領域をセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）して生成されたセグメンテーション情報を出力するよう事前学習された状態である。この際、前記以前学習装置は、前記セグメンテーションネットワーク１００を学習させるためのインストラクションを格納するメモリと、前記メモリに含まれた前記インストラクションとによって前記セグメンテーションネットワーク１００を学習させるプロセスを遂行するプロセッサを含むことができる。そして、前記以前学習装置は、図１で説明した前記学習装置と同じように、典型的に少なくとも一つのコンピューティング装置及び少なくとも一つのコンピュータソフトウェアの組み合わせを利用して求めるシステム性能を達成することで、詳しい説明は省略する。
【００７７】
一例として、図３を参照して、前記セグメンテーションネットワーク１００を事前学習させるプロセスを説明すると、次の通りである。
【００７８】
まず、少なくとも一つの学習用以前駐車場イメージが取得されると、前記以前学習装置１５００が、前記学習用以前駐車場イメージを前記セグメンテーションネットワーク１００に入力するプロセスを遂行することができる。
【００７９】
その後、前記セグメンテーションネットワーク１００は、前記エンコーダ（ｅｎｃｏｄｅｒ）１１０によって、前記学習用以前駐車場イメージに少なくとも一つのコンボリューション演算を適用して、少なくとも一つの学習用以前コンボリューション特徴マップを出力することができ、前記デコーダ（ｄｅｃｏｄｅｒ）１２０によって、前記学習用以前コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して、少なくとも一つの学習用以前デコンボリューション特徴マップを出力するようにすることができる。
【００８０】
そして、前記セグメンテーションネットワーク１００は、前記マスキングレイヤ１３０をもって、前記学習用以前デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用することにより、前記学習用以前駐車場イメージ上で前記関心駐車可能領域をセグメンテーションして学習用以前セグメンテーション情報を出力することができる。
【００８１】
その後、前記以前学習装置１５００は、第２ロスレイヤ５００をもって、前記学習用以前セグメンテーション情報とこれに対応する少なくとも一つのセグメンテーションＧＴとを参照して、一つ以上の第２ロスを算出するようにし、前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスが最小化されるように前記マスキングレイヤ、前記デコーダ、及び前記エンコーダのうちの少なくとも一つのパラメータがアップデートされるようにすることで、前記セグメンテーションネットワーク１００を事前学習させることができる。
【００８２】
図４は、本発明の一実施例に係る駐車場内の駐車領域を検出するために利用される自動車の自動駐車装置をテスティングするテスティング装置を概略的に示した図面である。図４参照すれば、前記テスティング装置２０００は、駐車場内の駐車領域を検出するために利用される自動車の自動駐車装置をテストするための各インストラクションを格納するメモリ２１００と、メモリ２１００に格納されたインストラクションによって駐車場内の駐車領域を検出するために利用される自動車の自動駐車装置をテストするためのプロセスを遂行するプロセッサ２２００とを含むことができる。
【００８３】
具体的に、前記テスティング装置２０００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他の従来のコンピューティング装置の各構成要素、ルータ、スイッチなどのような電子通信装置、ネットワーク接続ストレージ（ＮＡＳ）及びストレージエリアネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と、少なくとも一つのコンピュータソフトウェア（つまり、前記コンピューティング装置をもって、特定の方式で機能させる各インストラクション）との組み合わせを利用して希望するシステム性能を達成するものであり得る。
【００８４】
前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ  Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ  Ｂｕｓ）などのハードウェア構成を含むことができる。また、前記コンピューティング装置は、オペレーティングシステム（ＯＳ）及び特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
【００８５】
しかし、前記コンピューティング装置が本発明を行うためのミディアム、プロセッサ、メモリまたはほかのコンピューティング構成要素が統合された形である統合プロセッサを含む場合を排除するものではない。
【００８６】
このように構成された本発明の一実施例に係るテスティング装置２０００を利用して駐車場の駐車領域を検出するために利用される自動車の自動駐車装置をテスティングする方法を、図５を参照して説明すると次の通りである。
【００８７】
まず、図２と図３とを参照して説明した学習方法によってセグメンテーションネットワーク１００とリグレッサ２００が学習された状態であり得る。
【００８８】
つまり、少なくとも一つの学習用駐車場イメージが取得されると、前記学習装置が、（ｉ）前記学習用駐車場イメージを前記セグメンテーションネットワーク１００に入力することにより、前記セグメンテーションネットワーク１００をもって、前記エンコーダ（ｅｎｃｏｄｅｒ）１１０によって、前記学習用駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用コンボリューション特徴マップを出力するようにし、前記デコーダ（ｄｅｃｏｄｅｒ）１２０によって、前記学習用コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して少なくとも一つの学習用デコンボリューション特徴マップを出力するようにし、前記マスキングレイヤ（ｍａｓｋｉｎｇ  ｌａｙｅｒ）１３０によって、前記学習用デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用駐車場イメージ上で一つ以上の学習用空き駐車領域のセグメンテーションを示す学習用セグメンテーション情報を出力するようにするプロセスを遂行する。そして、前記学習装置は、学習用特定ＲＯＩに対応する前記学習用デコンボリューション特徴マップをリグレッサ（ｒｅｇｒｅｓｓｏｒ）２００に入力することにより、前記リグレッサ２００をもって、前記学習用特定ＲＯＩの中心からの前記学習用特定ＲＯＩの一つ以上の頂点に対する学習用相対座標を生成するようにし、前記学習用相対座標に少なくとも一つのリグレッション演算を適用して、少なくとも一つの学習用特定駐車可能領域（前記学習用空き駐車領域のうちの前記学習用特定駐車可能領域は、前記学習用特定ＲＯＩとして決定される）に対する学習用リグレッション位置情報を生成するようにするプロセスを遂行することができる。そして、前記学習装置は、前記第１ロスレイヤをもって、前記学習用リグレッション位置情報と、これに対応する少なくとも一つのＲＯＩのＧＴ（ｇｒｏｕｎｄ  ｔｒｕｔｈ）とを参照して一つ以上の第１ロスを算出するようにするプロセス、及び前記第１ロスを利用したバックプロパゲーションによって、前記第１ロスを最小化するように前記リグレッサ２００を学習させるプロセスを遂行することができる。
【００８９】
また、前記セグメンテーションネットワーク１００は、前記以前学習装置により前記テスト用駐車場イメージ上で前記テスト用関心駐車可能領域をセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）して生成されたテスト用セグメンテーション情報を出力するよう事前学習された状態である。
【００９０】
つまり、少なくとも一つの学習用以前駐車場イメージが取得されると、前記以前学習装置が、（ｉ）前記学習用以前駐車場イメージを前記セグメンテーションネットワーク１００に入力することにより、前記セグメンテーションネットワーク１００をもって、前記エンコーダ１１０によって、前記学習用駐車場イメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つの学習用以前コンボリューション特徴マップを出力するようにし、前記デコーダ１２０によって、前記学習用以前コンボリューション特徴マップに少なくとも一つのデコンボリューション演算を適用して少なくとも一つの学習用以前デコンボリューション特徴マップを出力するようにし、前記マスキングレイヤ１３０によって、前記学習用以前デコンボリューション特徴マップに少なくとも一つのマスキング演算を適用して前記学習用以前駐車場イメージ上で前記学習用空き駐車領域のセグメンテーションを示す学習用以前セグメンテーション情報を出力するようにするプロセスを遂行することができる。そして、前記以前学習装置は、前記第２ロスレイヤをもって、前記学習用以前セグメンテーション情報とこれに対応する少なくとも一つのセグメンテーションＧＴとを参照して、第２ロスを算出するようにし、前記第２ロスを利用したバックプロパゲーションによって、前記第２ロスが最小化されるように前記マスキングレイヤ１３０、前記デコーダ１２０、及び前記エンコーダ１１０のうちの少なくとも一つのパラメータがアップデートされるプロセスを遂行することができる。
【００９１】
このように、前記セグメンテーションネットワーク１０００及び前記リグレッサ２００が学習された状態で、前記テスティング装置２０００が、テスト用駐車場の上部から前記テスト用駐車場の床方向にテスト用自動車の周辺領域を撮影して生成された少なくとも一つのテスト用駐車場イメージが取得されると、前記テスト用駐車場イメージを前記セグメンテーションネットワーク１００に入力するプロセスを遂行することができる。
【００９２】
この際、前記テスト用駐車場イメージは、前記テスト用駐車場の前記上部、つまり天井もしくは壁面に設置された少なくとも一つのカメラを利用して前記テスト用駐車場の前記床面方向へ撮影されたイメージであり得る。
【００９３】
その後、前記セグメンテーションネットワーク１００は、前記エンコーダ（ｅｎｃｏｄｅｒ）１１０によって、前記テスト用駐車場イメージに前記コンボリューション演算を適用して少なくとも一つのテスト用コンボリューション特徴マップを出力するようにし、前記デコーダ（ｄｅｃｏｄｅｒ）１２０によって、前記テスト用コンボリューション特徴マップに前記デコンボリューション演算を適用して少なくとも一つのテスト用デコンボリューション特徴マップを出力するようにし、前記マスキングレイヤ（ｍａｓｋｉｎｇ  ｌａｙｅｒ）１３０によって、前記テスト用デコンボリューション特徴マップにマスキング演算を適用して前記テスト用駐車場イメージ上で一つ以上のテスト用空き駐車領域のセグメンテーションを示すテスト用セグメンテーション情報を出力するようにすることができる。
【００９４】
この際、前記セグメンテーションネットワーク１００は、前記マスキングレイヤ１３０をもって、前記テスト用デコンボリューション特徴マップに前記マスキング演算を適用するようにすることにより、前記テスト用駐車場イメージ上で、（ｉ）一つ以上のテスト用関心駐車可能領域、（ｉｉ）一つ以上のテスト用背景領域、（ｉｉｉ）一つ以上のテスト用関心外駐車可能領域、及び（ｉｖ）一つ以上のテスト用駐車された駐車領域のうちの少なくとも一つをセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）するプロセスを遂行することができる。具体的に、前記セグメンテーションネットワーク１００は、前記マスキングレイヤ１３０をもって、前記テスト用空き駐車領域と前記テスト用自動車との間の一つ以上の距離を参照して、前記テスト用空き駐車領域を前記テスト用関心駐車可能領域及び前記テスト用関心外駐車可能領域としてセグメンテーションするようにすることができる。
【００９５】
そして、前記テスト用自動車の運転者は、前記ディスプレイされたセマンティックセグメンテーション（ｓｅｍａｎｔｉｃ  ｓｅｇｍｅｎｔａｔｉｏｎ）のうち、前記駐車可能領域の希望する領域を選択することができる。
【００９６】
また、他の例として、前記自動車の前記自動駐車装置が、特定条件を参照して前記関心駐車可能領域のうちの前記特定駐車可能領域を選択することができる。例えば、前記関心駐車可能領域のうちの前記自動車の現在位置と最も近い前記特定駐車可能領域が選択されるか、前記自動車の走行方向から最短走行距離に位置する前記特定駐車可能領域が選択され得る。
【００９７】
その後、前記テスティング装置２０００は、テスト用特定ＲＯＩに対応する前記テスト用デコンボリューション特徴マップをリグレッサ２００に入力することにより、前記リグレッサ２００をもって、前記テスト用特定ＲＯＩの中心からの前記テスト用特定ＲＯＩの一つ以上の頂点に対するテスト用相対座標を生成するようにし、前記テスト用相対座標に前記リグレッション演算を適用して、少なくとも一つのテスト用特定駐車可能領域（前記テスト用空き駐車領域のうちの前記テスト用特定駐車可能領域は、前記テスト用特定ＲＯＩとして決定される）に対するテスト用リグレッション位置情報を生成するようにするプロセスを遂行することができる。
【００９８】
そして、前記テスト用の特定駐車可能領域に対する前記テスト用リグレッション位置情報が取得されると、前記テスティング装置２０００が、前記テスト用自動車の前記自動駐車装置をもって、前記テスト用リグレッション位置情報を参照して、前記テスト用特定駐車可能領域内に前記テスト用自動車を駐車させるようにするプロセスを遂行することができる。
【００９９】
つまり、前記駐車場内で前記空き駐車領域を確認するだけでなく、前記空き駐車領域に対する正確な位置情報を提供することで、前記自動車の前記自動駐車装置をもって、前記空き駐車領域内に前記自動車を駐車させるようにすることができる。
一方、それぞれのカメラは、駐車場の同一に区切られた空間のイメージあるいは映像を撮影するように多数のカメラが設置され得、それぞれのカメラは駐車場内で位置が割り当てられ得る。
【０１００】
前記で説明したように、本発明は、駐車場の上部領域から床方向へ撮影した駐車場のイメージにセマンティックセグメンテーションを適用して、空き駐車領域を確認し、セマンティックセグメンテーション内で関心駐車可能領域に対応するＲＯＩをジッタリングして学習されたリグレッサによって、関心駐車可能領域の各頂点の相対座標を算出して関心駐車可能領域に対する正確な情報を提供する。
【０１０１】
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって利用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
【０１０２】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
【０１０３】
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020126636.tif 000003
【図２】
2020126636.tif 000004
【図３】
2020126636.tif 000005
【図４】
2020126636.tif 000006
【図５】
2020126636.tif 000007