(57)【要約】      （修正有）【課題】検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムを提供する。【解決手段】物体検出システム１００は、少なくとも一つの入力イメージが取得されると、特定の特徴マップを生成させた後、特定のクエリベクトルを生成させる認識器１１０と、特定のクエリベクトルをデータベクトルと比較させて、これらの間のそれぞれの第１類似度スコアを算出させ、特定の第１類似度スコアが予め設定された第１閾値未満である場合、特定の部分イメージを未知のイメージデータベースに追加させる類似度判断ユニットと、特定のクラス情報が取得されると、特定の短期アップデートベクトルを生成させた後、特徴フィンガープリントデータベースをアップデートさせる短期アップデートユニットと、を含む。【選択図】図１
2020123340.tif 000002
【特許請求の範囲】
【請求項１】
学習されていないクラス（Ｕｎｔｒａｉｎｅｄ  Ｃｌａｓｓ）を有する物体を検出するために物体検出システム（Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｎｇ  Ｓｙｓｔｅｍ）をリアルタイムにアップデートする方法において、
（ａ）少なくとも一つの入力イメージ（Ｉｎｐｕｔ  Ｉｍａｇｅ）が取得されると、前記物体検出システムが、これに含まれている認識器（Ｒｅｃｏｇｎｉｚｅｒ）をもって、前記入力イメージの特定の物体を含む特定ＲＯＩに対応する特定の特徴マップ（Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させた後、前記特定の特徴マップを利用して前記特定の物体に対応する特定のクエリベクトル（Ｑｕｅｒｙ  Ｖｅｃｔｏｒ）を生成させる段階；
（ｂ）前記物体検出システムが、類似度判断ユニット（Ｓｉｍｉｌａｒｉｔｙ  Ｄｅｔｅｒｍｉｎｉｎｇ  Ｕｎｉｔ）をもって、（ｉ）前記特定のクエリベクトルを、前記物体検出システムに入力されるイメージの物体を検出するのに使用される少なくとも一つの特徴フィンガープリントデータベース（Ｆｅａｔｕｒｅ  Ｆｉｎｇｅｒｐｒｉｎｔ  ＤＢ）に含まれている少なくとも一つのデータベクトルと比較させて、前記特定のクエリベクトルとそれぞれの前記データベクトルとの間におけるそれぞれの少なくとも一つの第１類似度スコア（Ｓｉｍｉｌａｒｉｔｙ  Ｓｃｏｒｅ）を算出させ、（ｉｉ）第１類似度スコア（Ｓｉｍｉｌａｒｉｔｙ  Ｓｃｏｒｅ）のうち最大の特定の第１類似度スコアが予め設定された第１閾値未満である場合、前記特定ＲＯＩに対応する特定の部分イメージ（Ｐａｒｔｉａｌ  Ｉｍａｇｅ）を、前記特徴フィンガープリントデータベースのアップデートに使用される未知のイメージデータベース（Ｕｎｋｎｏｗｎ−Ｉｍａｇｅ  ＤＢ）に追加させる段階；及び
（ｃ）前記特定の部分イメージに対応する特定のクラス情報が取得されると、前記物体検出システムが、短期アップデートユニット（Ｓｈｏｒｔ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｕｎｉｔ）をもって、前記特定のクラス情報と、前記認識器により生成された前記特定の物体に対応する特定の成分ベクトル（Ｅｌｅｍｅｎｔ  Ｖｅｃｔｏｒ）を利用して、前記特定の物体に対応する特定の短期アップデートベクトル（Ｓｈｏｒｔ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｖｅｃｔｏｒ）を生成させた後、これを利用して前記特定のフィンガープリントデータベースをアップデートさせる段階；
を含むことを特徴とする方法。
【請求項２】
前記（ｃ）段階で、
前記物体検出システムが、前記短期アップデートユニットをもって、（ｉ）前記データベクトルのうちで前記特定の短期アップデートベクトルと同一のクラス情報を有する特定のデータベクトルと前記特定の短期アップデートベクトルとの間におけるそれぞれの少なくとも一つの第２類似度スコアを算出させ、（ｉｉ）前記第２類似度スコアのうち最大値を選択させ、（ｉｉｉ）（ｉｉｉ−１）最大の第２類似度スコアが予め設定された第２閾値以上である場合、前記最大の第２類似度スコアに対応するターゲットデータベクトル（Ｔａｒｇｅｔ  Ｄａｔａ  Ｖｅｃｔｏｒ）を前記特定の短期アップデートベクトルを利用してアップデートさせ、（ｉｉｉ−２）前記最大の第２類似度スコアが前記第２閾値未満である場合、前記特定の短期アップデートベクトルを前記特徴フィンガープリントデータベースに追加させて前記特徴フィンガープリントデータベースをアップデートさせることを特徴とする請求項１に記載の方法。
【請求項３】
前記（ｃ）段階で、
前記最大の第２類似度スコアが前記第２閾値以上である場合、前記物体検出システムは、（１）前記短期アップデートユニットをもって、前記ターゲットデータベクトルに含まれている第１対象成分ないし第Ｎ対象成分を含むそれぞれの対象成分を、前記特定の短期アップデートベクトルに含まれている第１アップデート成分ないし第Ｎアップデート成分を含むそれぞれのアップデート成分と比較させ、（２）前記短期アップデートユニットをもって、（ｉ）Ｋは１以上Ｎ以下の整数（ｉｎｔｅｇｅｒ）であって、第Ｋ対象成分がデータ未存在を表す第１記号（Ｎｏｔａｔｉｏｎ）に対応し、第Ｋアップデート成分は所定値を表す第２記号に対応する場合、前記第Ｋ対象成分を前記第Ｋアップデート成分に代替させ、（ｉｉ）前記第Ｋ対象成分が前記第２記号に対応し、前記第Ｋアップデート成分が前記第１記号に対応する場合、前記第Ｋ対象成分をそのまま保持させ、（ｉｉｉ）前記第Ｋ対象成分と前記第Ｋアップデート成分とがいずれも前記第２記号に対応する場合、前記第Ｋ対象成分と前記第Ｋアップデート成分との加重和（Ｗｅｉｇｈｔｅｄ  Ｓｕｍ）で前記第Ｋ対象成分をアップデートさせ、（ｉｖ）前記第Ｋ対象成分と前記第Ｋアップデート成分とがいずれも前記第１記号に対応する場合、前記第Ｋ対象成分をそのまま保持させることを特徴とする請求項２に記載の方法。
【請求項４】
前記（ｃ）段階で、
前記データベクトルのうちで前記特定の短期アップデートベクトルと同一のクラス情報を有する前記特定のデータベクトルが存在しない場合、前記物体検出システムは、前記短期アップデートユニットをもって、前記特定の短期アップデートベクトルを前記特徴フィンガープリントデータベースに追加させることを特徴とする請求項１に記載の方法。
【請求項５】
（ｄ）前記物体検出システムが、長期アップデートユニット（Ｌｏｎｇ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｕｎｉｔ）をもって、前記短期アップデートユニットにより使用された後、少なくとも一つの既知のイメージデータベース（Ｋｎｏｗｎ−Ｉｍａｇｅ  ＤＢ）に格納された、前記特定の部分イメージを含む少なくとも一つの部分イメージと、それに対応するクラス情報（前記クラス情報は前記物体検出システムに含まれている少なくとも一つの物体のクラスを表す）とに対応する少なくとも一つの長期アップデートベクトル（Ｌｏｎｇ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｖｅｃｔｏｒ）を生成させ、前記長期アップデートベクトルを利用して前記特徴フィンガープリントデータベースをさらにアップデートさせ、
それぞれの前記長期アップデートベクトルが、それぞれの前記部分イメージと、それぞれの前記クラス情報を表す少なくとも一つの値を含むクラス部分（Ｃｌａｓｓ  Ｐａｒｔ）とを利用して前記認識器により生成された少なくとも一つの値を含む参照部分（Ｒｅｆｅｒｅｎｃｅ  Ｐａｒｔ）を含む段階；
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記（ｄ）段階で、
前記物体検出システムが、前記長期アップデートユニットをもって、（ｉ）それぞれの前記長期アップデートベクトル間の少なくとも一つの第３類似度スコアを算出させ、（ｉｉ）少なくとも一つの統合長期アップデートベクトル（Ｉｎｔｅｇｒａｔｅｄ  Ｌｏｎｇ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｖｅｃｔｏｒ）を生成するために互いに同一のクラス情報を有する前記長期アップデートベクトルの一部を併合し、前記統合長期アップデートベクトルと、併合されていない残余長期アップデートベクトル（Ｒｅｍａｉｎｉｎｇ  Ｌｏｎｇ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｖｅｃｔｏｒ）とを前記特徴フィンガープリントデータベースに追加することによって、前記特徴フィンガープリントデータベースをアップデートさせることを特徴とする請求項５に記載の方法。
【請求項７】
前記（ｂ）段階で、
前記物体検出システムが、前記類似度判断ユニットをもって、
【数５】
2020123340.tif 000007
前記数式によって前記第１類似度スコアのうち一つを算出させ、Ｑは前記特定のクエリベクトルであり、Ｄは前記データベクトルのうち一つであることを特徴とする請求項１に記載の方法。
【請求項８】
前記（ａ）段階で、
前記物体検出システムが、（ｉ）前記認識器に対応するＲＰＮをもって、前記入力イメージに含まれている前記特定ＲＯＩを検出させた後、（ｉｉ）前記認識器に対応する少なくとも一つのキーポイント検出器（Ｋｅｙｐｏｉｎｔ  Ｄｅｔｅｃｔｏｒ）をもって、前記特定ＲＯＩに対応する前記特定の部分イメージ上の少なくとも一つのキー領域（Ｋｅｙ  Ｒｅｇｉｏｎ）を検出させ、（ｉｉｉ）前記認識器に対応する特徴抽出器（Ｆｅａｔｕｒｅ  Ｅｘｔｒａｃｔｏｒ）をもって、前記特定の部分イメージを利用して前記特定の特徴マップを生成させた後、（ｉｖ）前記認識器をもって、前記特定の特徴マップ内の前記キー領域に対応する値を利用して前記特定のクエリベクトルを生成させることを特徴とする請求項１に記載の方法。
【請求項９】
前記特徴抽出器は、少なくとも一つのコンボリューションニューロン（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒｏｎ）を有する少なくとも一つのコンボリューションレイヤを含み、それぞれの前記コンボリューションニューロンをもって、それ自体に入力された値に対して、前記コンボリューションニューロンのパラメータを利用してコンボリューション演算を適用し、その結果をその次のコンボリューションニューロンに伝達させることによって、前記特定の部分イメージから前記特定の特徴マップを抽出することを特徴とし、
前記パラメータは、前記（ａ）段階以前に学習プロセスを経て決定されることを特徴とする請求項１に記載の方法。
【請求項１０】
学習されていないクラス（Ｕｎｔｒａｉｎｅｄ  Ｃｌａｓｓ）を有する物体を検出するために物体検出システム（Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｎｇ  Ｓｙｓｔｅｍ）をリアルタイムにアップデートする物体検出システムにおいて、
インストラクションを格納する少なくとも一つのメモリと、
（Ｉ）少なくとも一つの入力イメージ（Ｉｎｐｕｔ  Ｉｍａｇｅ）が取得されると、前記物体検出システムに含まれている認識器（Ｒｅｃｏｇｎｉｚｅｒ）をもって、前記入力イメージの特定の物体を含む特定ＲＯＩに対応する特定の特徴マップ（Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させた後、前記特定の特徴マップを利用して前記特定の物体に対応する特定のクエリベクトル（Ｑｕｅｒｙ  Ｖｅｃｔｏｒ）を生成させるプロセス；（ＩＩ）類似度判断ユニット（Ｓｉｍｉｌａｒｉｔｙ  Ｄｅｔｅｒｍｉｎｉｎｇ  Ｕｎｉｔ）をもって、（ｉ）前記特定のクエリベクトルを、前記物体検出システムに入力されるイメージの物体を検出するのに使用される少なくとも一つの特徴フィンガープリントデータベース（Ｆｅａｔｕｒｅ  Ｆｉｎｇｅｒｐｒｉｎｔ  ＤＢ）に含まれている少なくとも一つのデータベクトルと比較させて、前記特定のクエリベクトルとそれぞれの前記データベクトルとの間におけるそれぞれの少なくとも一つの第１類似度スコア（Ｓｉｍｉｌａｒｉｔｙ  Ｓｃｏｒｅ）を算出させ、（ｉｉ）第１類似度スコア（Ｓｉｍｉｌａｒｉｔｙ  Ｓｃｏｒｅ）のうち最大の特定の第１類似度スコアが予め設定された第１閾値未満である場合、前記特定ＲＯＩに対応する特定の部分イメージ（Ｐａｒｔｉａｌ  Ｉｍａｇｅ）を、前記特徴フィンガープリントデータベースのアップデートに使用される未知のイメージデータベース（Ｕｎｋｎｏｗｎ−Ｉｍａｇｅ  ＤＢ）に追加させるプロセス；及び（ＩＩＩ）前記特定の部分イメージに対応する特定のクラス情報が取得されると、短期アップデートユニット（Ｓｈｏｒｔ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｕｎｉｔ）をもって、前記特定のクラス情報と、前記認識器により生成された前記特定の物体に対応する特定の成分ベクトル（Ｅｌｅｍｅｎｔ  Ｖｅｃｔｏｒ）とを利用して、前記特定の物体に対応する特定の短期アップデートベクトル（Ｓｈｏｒｔ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｖｅｃｔｏｒ）を生成させた後、これを利用して前記特徴フィンガープリントデータベースをアップデートさせるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする物体検出システム。
【請求項１１】
前記（ＩＩＩ）プロセスで、
前記プロセッサが、前記短期アップデートユニットをもって、（ｉ）前記データベクトルのうちで前記特定の短期アップデートベクトルと同一のクラス情報を有する特定のデータベクトルと、前記特定の短期アップデートベクトルとの間におけるそれぞれの少なくとも一つの第２類似度スコアを算出させ、（ｉｉ）前記第２類似度スコアのうち最大値を選択させ、（ｉｉｉ）（ｉｉｉ−１）最大の第２類似度スコアが予め設定された第２閾値以上である場合、前記最大の第２類似度スコアに対応するターゲットデータベクトル（Ｔａｒｇｅｔ  Ｄａｔａ  Ｖｅｃｔｏｒ）を前記特定の短期アップデートベクトルを利用してアップデートさせ、（ｉｉｉ−２）前記最大の第２類似度スコアが前記第２閾値未満である場合、前記特定の短期アップデートベクトルを前記特徴フィンガープリントデータベースに追加させて前記特徴フィンガープリントデータベースをアップデートさせることを特徴とする請求項１０に記載の物体検出システム。
【請求項１２】
前記（ＩＩＩ）プロセスで、
前記最大の第２類似度スコアが前記第２閾値以上である場合、前記プロセスが、（Ｉ）前記短期アップデートユニットをもって、前記ターゲットデータベクトルに含まれている第１対象成分ないし第Ｎ対象成分を含むそれぞれの対象成分を、前記特定の短期アップデートベクトルに含まれている第１アップデート成分ないし第Ｎアップデート成分を含むそれぞれのアップデート成分と比較させ、（ＩＩ）前記短期アップデートユニットをもって、（ｉ）Ｋは１以上Ｎ以下の整数であって、第Ｋ対象成分がデータ未存在を表す第１記号（Ｎｏｔａｔｉｏｎ）に対応し、第Ｋアップデート成分は所定値を表す第２記号に対応する場合、前記第Ｋ対象成分を前記第Ｋアップデート成分に代替させ、（ｉｉ）前記第Ｋ対象成分が前記第２記号に対応し、前記第Ｋアップデート成分が前記第１記号に対応する場合、前記第Ｋ対象成分をそのまま保持させ、（ｉｉｉ）前記第Ｋ対象成分と前記第Ｋアップデート成分とがいずれも前記第２記号に対応する場合、前記第Ｋ対象成分と前記第Ｋアップデート成分との加重和（Ｗｅｉｇｈｔｅｄ  Ｓｕｍ）で前記第Ｋ対象成分をアップデートさせ、（ｉｖ）前記第Ｋ対象成分と前記第Ｋアップデート成分とがいずれも前記第１記号に対応する場合、前記第Ｋ対象成分をそのまま保持させることを特徴とする請求項１０に記載の物体検出システム。
【請求項１３】
前記（ＩＩＩ）プロセスで、
前記データベクトルのうちで前記特定の短期アップデートベクトルと同一のクラス情報を有する前記特定のデータベクトルが存在しない場合、前記プロセッサが、前記短期アップデートユニットをもって、前記特定の短期アップデートベクトルを前記特徴フィンガープリントデータベースに追加させることを特徴とする請求項１０に記載の物体検出システム。
【請求項１４】
前記プロセッサが、
（ＩＶ）長期アップデートユニット（Ｌｏｎｇ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｕｎｉｔ）をもって、前記短期アップデートユニットにより使用された後、少なくとも一つの既知のイメージデータベース（Ｋｎｏｗｎ−Ｉｍａｇｅ  ＤＢ）に格納された、前記特定の部分イメージを含む少なくとも一つの部分イメージと、それに対応するクラス情報（前記クラス情報は前記物体検出システムに含まれている少なくとも一つの物体のクラスを表す）とに対応する少なくとも一つの長期アップデートベクトル（Ｌｏｎｇ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｖｅｃｔｏｒ）を生成させ、前記長期アップデートベクトルを利用して前記特徴フィンガープリントデータベースをさらにアップデートさせ、
それぞれの前記長期アップデートベクトルが、それぞれの前記部分イメージと、それぞれの前記クラス情報を表す少なくとも一つの値を含むクラス部分（Ｃｌａｓｓ  Ｐａｒｔ）とを利用して前記認識器により生成された少なくとも一つの値を含む参照部分（Ｒｅｆｅｒｅｎｃｅ  Ｐａｒｔ）を含むプロセス；
をさらに遂行することを特徴とする請求項１０に記載の物体検出システム。
【請求項１５】
前記（ＩＶ）プロセスで、
前記プロセッサが、前記長期アップデートユニットをもって、（ｉ）それぞれの前記長期アップデートベクトル間の少なくとも一つの第３類似度スコアを算出させ、（ｉｉ）少なくとも一つの統合長期アップデートベクトル（Ｉｎｔｅｇｒａｔｅｄ  Ｌｏｎｇ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｖｅｃｔｏｒ）を生成するために互いに同一のクラス情報を有する前記長期アップデートベクトルの一部を併合し、前記統合長期アップデートベクトルと、併合されていない残余長期アップデートベクトル（Ｒｅｍａｉｎｉｎｇ  Ｌｏｎｇ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｖｅｃｔｏｒ）とを前記特徴フィンガープリントデータベースに追加することによって、前記特徴フィンガープリントデータベースをアップデートさせることを特徴とする請求項１４に記載の物体検出システム。
【請求項１６】
前記（ＩＩ）プロセスで、
前記プロセッサが、前記類似度判断ユニットをもって、
【数６】
2020123340.tif 000008
前記数式によって前記第１類似度スコアのうち一つを算出させ、Ｑは前記特定のクエリベクトルであり、Ｄは前記データベクトルのうち一つであることを特徴とする請求項１０に記載の物体検出システム。
【請求項１７】
前記（Ｉ）プロセスで、
前記プロセッサが、（ｉ）前記認識器に対応するＲＰＮをもって、前記入力イメージに含まれている前記特定ＲＯＩを検出させた後、（ｉｉ）前記認識器に対応する少なくとも一つのキーポイント検出器（Ｋｅｙｐｏｉｎｔ  Ｄｅｔｅｃｔｏｒ）をもって、前記特定ＲＯＩに対応する前記特定の部分イメージ上の少なくとも一つのキー領域（Ｋｅｙ  Ｒｅｇｉｏｎ）を検出させ、（ｉｉｉ）前記認識器に対応する特徴抽出器（Ｆｅａｔｕｒｅ  Ｅｘｔｒａｃｔｏｒ）をもって、前記特定の部分イメージを利用して前記特定の特徴マップを生成させた後、（ｉｖ）前記認識器をもって、前記特定の特徴マップ内の前記キー領域に対応する値を利用して前記特定のクエリベクトルを生成させることを特徴とする請求項１０に記載の物体検出システム。
【請求項１８】
前記特徴抽出器は、少なくとも一つのコンボリューションニューロン（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒｏｎ）を有する少なくとも一つのコンボリューションレイヤを含み、それぞれの前記コンボリューションニューロンをもって、それ自体に入力された値に対して、前記コンボリューションニューロンのパラメータを利用してコンボリューション演算を適用し、その結果をその次のコンボリューションニューロンに伝達させることによって前記特定の部分イメージから前記特定の特徴マップを抽出することを特徴とし、
前記パラメータは、前記（Ｉ）プロセス以前に学習プロセスを経て決定されることを特徴とする請求項１０に記載の物体検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は自律走行車両を利用する方法と装置に関し、詳細には、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムを提供する方法及び装置に関する。
【背景技術】
【０００２】
ディープコンボリューションニューラルネットワーク（Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ；Ｄｅｅｐ  ＣＮＮｓ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解決するために９０年代にすでに使用されていたが、現在のように広く使われるようになったのは最近の研究結果の賜物である。このようなＣＮＮは、２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）分野で非常に有用なツールとなった。
【０００３】
ＣＮＮは最近、自律走行分野でも広く使用されている。ＣＮＮは、自律走行車両において、セマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ  Ｓｅｇｍｅｎｔａｔｉｏｎ）物体検出などの、自律走行を補助するための様々な機能を遂行することができるが、これらは主に数万枚のトレーニングデータセットを利用して学習された後、自律走行車両に搭載されるようになる。
【０００４】
一方、自律走行車両は、長期間の使用により問題が発生し得る。そのうちの一つとして、時間が経つにつれて道路には学習過程で存在しなかった物体が追加され、したがって、ＣＮＮが物体検出器としての機能を適切に遂行し得なくなる場合がある。例えば、車両は毎年新たに市販され、そのデザインが変更されるが、この場合、物体検出器がこのような新しい車両を車両として検出することができなくなり得る。したがって、自律走行車両に搭載されたＣＮＮは、定期的にアップデートされる必要がある。しかしながら、ＣＮＮのパラメータをアップデートするための学習プロセスにはかなり費用がかかり、これをアップデートするためにそれぞれの自律走行車両にパラメータと関連する情報を伝送するプロセスにもかなり費用がかかり得る問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上述した問題点を解決することを目的とする。
【０００６】
本発明は、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムを提供することによって、自律走行車両が長時間走行しても安全に走行し得るようにすることを他の目的とする。
【課題を解決するための手段】
【０００７】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は、以下の通りである。
【０００８】
本発明の一態様によると、学習されていないクラス（Ｕｎｔｒａｉｎｅｄ  Ｃｌａｓｓ）を有する物体を検出するために物体検出システム（Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｎｇ  Ｓｙｓｔｅｍ）をリアルタイムにアップデートする方法において、（ａ）少なくとも一つの入力イメージ（Ｉｎｐｕｔ  Ｉｍａｇｅ）が取得されると、前記物体検出システムが、これに含まれている認識器（Ｒｅｃｏｇｎｉｚｅｒ）をもって、前記入力イメージの特定の物体を含む特定ＲＯＩに対応する特定の特徴マップ（Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させた後、前記特定の特徴マップを利用して前記特定の物体に対応する特定のクエリベクトル（Ｑｕｅｒｙ  Ｖｅｃｔｏｒ）を生成させる段階；（ｂ）前記物体検出システムが、類似度判断ユニット（Ｓｉｍｉｌａｒｉｔｙ  Ｄｅｔｅｒｍｉｎｉｎｇ  Ｕｎｉｔ）をもって、（ｉ）前記特定のクエリベクトルを、前記物体検出システムに入力されるイメージの物体を検出するのに使用される少なくとも一つの特徴フィンガープリントデータベース（Ｆｅａｔｕｒｅ  Ｆｉｎｇｅｒｐｒｉｎｔ  ＤＢ）に含まれている少なくとも一つのデータベクトルと比較させて、前記特定のクエリベクトルとそれぞれの前記データベクトルとの間におけるそれぞれの少なくとも一つの第１類似度スコア（Ｓｉｍｉｌａｒｉｔｙ  Ｓｃｏｒｅ）を算出させ、（ｉｉ）第１類似度スコア（Ｓｉｍｉｌａｒｉｔｙ  Ｓｃｏｒｅ）のうち最大の特定の第１類似度スコアが予め設定された第１閾値未満である場合、前記特定ＲＯＩに対応する特定の部分イメージ（Ｐａｒｔｉａｌ  Ｉｍａｇｅ）を、前記特徴フィンガープリントデータベースのアップデートに使用される未知のイメージデータベース（Ｕｎｋｎｏｗｎ−Ｉｍａｇｅ  ＤＢ）に追加させる段階；及び（ｃ）前記特定の部分イメージに対応する特定のクラス情報が取得されると、前記物体検出システムが、短期アップデートユニット（Ｓｈｏｒｔ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｕｎｉｔ）をもって、前記特定のクラス情報と、前記認識器により生成された前記特定の物体に対応する特定の成分ベクトル（Ｅｌｅｍｅｎｔ  Ｖｅｃｔｏｒ）を利用して、前記特定の物体に対応する特定の短期アップデートベクトル（Ｓｈｏｒｔ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｖｅｃｔｏｒ）を生成させた後、これを利用して前記特定のフィンガープリントデータベースをアップデートさせる段階；を含むことを特徴とする。
【０００９】
一実施例において、前記（ｃ）段階で、前記物体検出システムが、前記短期アップデートユニットをもって、（ｉ）前記データベクトルのうちで前記特定の短期アップデートベクトルと同一のクラス情報を有する特定のデータベクトルと前記特定の短期アップデートベクトルとの間におけるそれぞれの少なくとも一つの第２類似度スコアを算出させ、（ｉｉ）前記第２類似度スコアのうち最大値を選択させ、（ｉｉｉ）（ｉｉｉ−１）最大の第２類似度スコアが予め設定された第２閾値以上である場合、前記最大の第２類似度スコアに対応するターゲットデータベクトル（Ｔａｒｇｅｔ  Ｄａｔａ  Ｖｅｃｔｏｒ）を前記特定の短期アップデートベクトルを利用してアップデートさせ、（ｉｉｉ−２）前記最大の第２類似度スコアが前記第２閾値未満である場合、前記特定の短期アップデートベクトルを前記特徴フィンガープリントデータベースに追加させて前記特徴フィンガープリントデータベースをアップデートさせることを特徴とする。
【００１０】
一実施例において、前記（ｃ）段階で、前記最大の第２類似度スコアが前記第２閾値以上である場合、前記物体検出システムは、（１）前記短期アップデートユニットをもって、前記ターゲットデータベクトルに含まれている第１対象成分ないし第Ｎ対象成分を含むそれぞれの対象成分を、前記特定の短期アップデートベクトルに含まれている第１アップデート成分ないし第Ｎアップデート成分を含むそれぞれのアップデート成分と比較させ、（２）前記短期アップデートユニットをもって、（ｉ）Ｋは１以上Ｎ以下の整数（ｉｎｔｅｇｅｒ）であって、第Ｋ対象成分がデータ未存在を表す第１記号（Ｎｏｔａｔｉｏｎ）に対応し、第Ｋアップデート成分は所定値を表す第２記号に対応する場合、前記第Ｋ対象成分を前記第Ｋアップデート成分に代替させ、（ｉｉ）前記第Ｋ対象成分が前記第２記号に対応し、前記第Ｋアップデート成分が前記第１記号に対応する場合、前記第Ｋ対象成分をそのまま保持させ、（ｉｉｉ）前記第Ｋ対象成分と前記第Ｋアップデート成分とがいずれも前記第２記号に対応する場合、前記第Ｋ対象成分と前記第Ｋアップデート成分との加重和（Ｗｅｉｇｈｔｅｄ  Ｓｕｍ）で前記第Ｋ対象成分をアップデートさせ、（ｉｖ）前記第Ｋ対象成分と前記第Ｋアップデート成分とがいずれも前記第１記号に対応する場合、前記第Ｋ対象成分をそのまま保持させることを特徴とする。
【００１１】
実施例において、前記（ｃ）段階で、前記データベクトルのうちで前記特定の短期アップデートベクトルと同一のクラス情報を有する前記特定のデータベクトルが存在しない場合、前記物体検出システムは、前記短期アップデートユニットをもって、前記特定の短期アップデートベクトルを前記特徴フィンガープリントデータベースに追加させることを特徴とする。
【００１２】
一実施例において、（ｄ）前記物体検出システムが、長期アップデートユニット（Ｌｏｎｇ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｕｎｉｔ）をもって、前記短期アップデートユニットにより使用された後、少なくとも一つの既知のイメージデータベース（Ｋｎｏｗｎ−Ｉｍａｇｅ  ＤＢ）に格納された、前記特定の部分イメージを含む少なくとも一つの部分イメージと、それに対応するクラス情報（前記クラス情報は前記物体検出システムに含まれている少なくとも一つの物体のクラスを表す）とに対応する少なくとも一つの長期アップデートベクトル（Ｌｏｎｇ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｖｅｃｔｏｒ）を生成させ、前記長期アップデートベクトルを利用して前記特徴フィンガープリントデータベースをさらにアップデートさせ、それぞれの前記長期アップデートベクトルが、それぞれの前記部分イメージと、それぞれの前記クラス情報を表す少なくとも一つの値を含むクラス部分（Ｃｌａｓｓ  Ｐａｒｔ）とを利用して前記認識器により生成された少なくとも一つの値を含む参照部分（Ｒｅｆｅｒｅｎｃｅ  Ｐａｒｔ）を含む段階；をさらに含むことを特徴とする。
【００１３】
一実施例において、前記（ｄ）段階で、前記物体検出システムが、前記長期アップデートユニットをもって、（ｉ）それぞれの前記長期アップデートベクトル間の少なくとも一つの第３類似度スコアを算出させ、（ｉｉ）少なくとも一つの統合長期アップデートベクトル（Ｉｎｔｅｇｒａｔｅｄ  Ｌｏｎｇ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｖｅｃｔｏｒ）を生成するために互いに同一のクラス情報を有する前記長期アップデートベクトルの一部を併合し、前記統合長期アップデートベクトルと、併合されていない残余長期アップデートベクトル（Ｒｅｍａｉｎｉｎｇ  Ｌｏｎｇ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｖｅｃｔｏｒ）とを前記特徴フィンガープリントデータベースに追加することによって、前記特徴フィンガープリントデータベースをアップデートさせることを特徴とする。
【００１４】
一実施例において、前記（ｂ）段階で、前記物体検出システムが、前記類似度判断ユニットをもって、
【００１５】
【数１】
2020123340.tif 000003
前記数式によって前記第１類似度スコアのうち一つを算出させ、Ｑは前記特定のクエリベクトルであり、Ｄは前記データベクトルのうち一つであることを特徴とする。
【００１６】
一実施例において、前記（ａ）段階で、前記物体検出システムが、（ｉ）前記認識器に対応するＲＰＮをもって、前記入力イメージに含まれている前記特定ＲＯＩを検出させた後、（ｉｉ）前記認識器に対応する少なくとも一つのキーポイント検出器（Ｋｅｙｐｏｉｎｔ  Ｄｅｔｅｃｔｏｒ）をもって、前記特定ＲＯＩに対応する前記特定の部分イメージ上の少なくとも一つのキー領域（Ｋｅｙ  Ｒｅｇｉｏｎ）を検出させ、（ｉｉｉ）前記認識器に対応する特徴抽出器（Ｆｅａｔｕｒｅ  Ｅｘｔｒａｃｔｏｒ）をもって、前記特定の部分イメージを利用して前記特定の特徴マップを生成させた後、（ｉｖ）前記認識器をもって、前記特定の特徴マップ内の前記キー領域に対応する値を利用して前記特定のクエリベクトルを生成させることを特徴とする。
【００１７】
一実施例において、前記特徴抽出器は、少なくとも一つのコンボリューションニューロン（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒｏｎ）を有する少なくとも一つのコンボリューションレイヤを含み、それぞれの前記コンボリューションニューロンをもって、それ自体に入力された値に対して、前記コンボリューションニューロンのパラメータを利用してコンボリューション演算を適用し、その結果をその次のコンボリューションニューロンに伝達させることによって、前記特定の部分イメージから前記特定の特徴マップを抽出することを特徴とし、前記パラメータは、前記（ａ）段階以前に学習プロセスを経て決定されることを特徴とする。
【００１８】
本発明の他の態様によると、学習されていないクラス（Ｕｎｔｒａｉｎｅｄ  Ｃｌａｓｓ）を有する物体を検出するために物体検出システム（Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｎｇ  Ｓｙｓｔｅｍ）をリアルタイムにアップデートする物体検出システムにおいて、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）少なくとも一つの入力イメージ（Ｉｎｐｕｔ  Ｉｍａｇｅ）が取得されると、前記物体検出システムに含まれている認識器（Ｒｅｃｏｇｎｉｚｅｒ）をもって、前記入力イメージの特定の物体を含む特定ＲＯＩに対応する特定の特徴マップ（Ｆｅａｔｕｒｅ  Ｍａｐ）を生成させた後、前記特定の特徴マップを利用して前記特定の物体に対応する特定のクエリベクトル（Ｑｕｅｒｙ  Ｖｅｃｔｏｒ）を生成させるプロセス；（ＩＩ）類似度判断ユニット（Ｓｉｍｉｌａｒｉｔｙ  Ｄｅｔｅｒｍｉｎｉｎｇ  Ｕｎｉｔ）をもって、（ｉ）前記特定のクエリベクトルを、前記物体検出システムに入力されるイメージの物体を検出するのに使用される少なくとも一つの特徴フィンガープリントデータベース（Ｆｅａｔｕｒｅ  Ｆｉｎｇｅｒｐｒｉｎｔ  ＤＢ）に含まれている少なくとも一つのデータベクトルと比較させて、前記特定のクエリベクトルとそれぞれの前記データベクトルとの間におけるそれぞれの少なくとも一つの第１類似度スコア（Ｓｉｍｉｌａｒｉｔｙ  Ｓｃｏｒｅ）を算出させ、（ｉｉ）第１類似度スコア（Ｓｉｍｉｌａｒｉｔｙ  Ｓｃｏｒｅ）のうち最大の特定の第１類似度スコアが予め設定された第１閾値未満である場合、前記特定ＲＯＩに対応する特定の部分イメージ（Ｐａｒｔｉａｌ  Ｉｍａｇｅ）を、前記特徴フィンガープリントデータベースのアップデートに使用される未知のイメージデータベース（Ｕｎｋｎｏｗｎ−Ｉｍａｇｅ  ＤＢ）に追加させるプロセス；及び（ＩＩＩ）前記特定の部分イメージに対応する特定のクラス情報が取得されると、短期アップデートユニット（Ｓｈｏｒｔ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｕｎｉｔ）をもって、前記特定のクラス情報と、前記認識器により生成された前記特定の物体に対応する特定の成分ベクトル（Ｅｌｅｍｅｎｔ  Ｖｅｃｔｏｒ）とを利用して、前記特定の物体に対応する特定の短期アップデートベクトル（Ｓｈｏｒｔ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｖｅｃｔｏｒ）を生成させた後、これを利用して前記特徴フィンガープリントデータベースをアップデートさせるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
【００１９】
一実施例において、前記（ＩＩＩ）プロセスで、前記プロセッサが、前記短期アップデートユニットをもって、（ｉ）前記データベクトルのうちで前記特定の短期アップデートベクトルと同一のクラス情報を有する特定のデータベクトルと、前記特定の短期アップデートベクトルとの間におけるそれぞれの少なくとも一つの第２類似度スコアを算出させ、（ｉｉ）前記第２類似度スコアのうち最大値を選択させ、（ｉｉｉ）（ｉｉｉ−１）最大の第２類似度スコアが予め設定された第２閾値以上である場合、前記最大の第２類似度スコアに対応するターゲットデータベクトル（Ｔａｒｇｅｔ  Ｄａｔａ  Ｖｅｃｔｏｒ）を前記特定の短期アップデートベクトルを利用してアップデートさせ、（ｉｉｉ−２）前記最大の第２類似度スコアが前記第２閾値未満である場合、前記特定の短期アップデートベクトルを前記特徴フィンガープリントデータベースに追加させて前記特徴フィンガープリントデータベースをアップデートさせることを特徴とする。
【００２０】
一実施例において、前記（ＩＩＩ）プロセスで、前記最大の第２類似度スコアが前記第２閾値以上である場合、前記プロセスが、（Ｉ）前記短期アップデートユニットをもって、前記ターゲットデータベクトルに含まれている第１対象成分ないし第Ｎ対象成分を含むそれぞれの対象成分を、前記特定の短期アップデートベクトルに含まれている第１アップデート成分ないし第Ｎアップデート成分を含むそれぞれのアップデート成分と比較させ、（ＩＩ）前記短期アップデートユニットをもって、（ｉ）Ｋは１以上Ｎ以下の整数であって、第Ｋ対象成分がデータ未存在を表す第１記号（Ｎｏｔａｔｉｏｎ）に対応し、第Ｋアップデート成分は所定値を表す第２記号に対応する場合、前記第Ｋ対象成分を前記第Ｋアップデート成分に代替させ、（ｉｉ）前記第Ｋ対象成分が前記第２記号に対応し、前記第Ｋアップデート成分が前記第１記号に対応する場合、前記第Ｋ対象成分をそのまま保持させ、（ｉｉｉ）前記第Ｋ対象成分と前記第Ｋアップデート成分とがいずれも前記第２記号に対応する場合、前記第Ｋ対象成分と前記第Ｋアップデート成分との加重和（Ｗｅｉｇｈｔｅｄ  Ｓｕｍ）で前記第Ｋ対象成分をアップデートさせ、（ｉｖ）前記第Ｋ対象成分と前記第Ｋアップデート成分とがいずれも前記第１記号に対応する場合、前記第Ｋ対象成分をそのまま保持させることを特徴とする。
【００２１】
前記（ＩＩＩ）プロセスで、前記データベクトルのうちで前記特定の短期アップデートベクトルと同一のクラス情報を有する前記特定のデータベクトルが存在しない場合、前記プロセッサが、前記短期アップデートユニットをもって、前記特定の短期アップデートベクトルを前記特徴フィンガープリントデータベースに追加させることを特徴とする。
【００２２】
本発明の他の態様によると、前記プロセッサが、（ＩＶ）長期アップデートユニット（Ｌｏｎｇ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｕｎｉｔ）をもって、前記短期アップデートユニットにより使用された後、少なくとも一つの既知のイメージデータベース（Ｋｎｏｗｎ−Ｉｍａｇｅ  ＤＢ）に格納された、前記特定の部分イメージを含む少なくとも一つの部分イメージと、それに対応するクラス情報（前記クラス情報は前記物体検出システムに含まれている少なくとも一つの物体のクラスを表す）とに対応する少なくとも一つの長期アップデートベクトル（Ｌｏｎｇ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｖｅｃｔｏｒ）を生成させ、前記長期アップデートベクトルを利用して前記特徴フィンガープリントデータベースをさらにアップデートさせ、それぞれの前記長期アップデートベクトルが、それぞれの前記部分イメージと、それぞれの前記クラス情報を表す少なくとも一つの値を含むクラス部分（Ｃｌａｓｓ  Ｐａｒｔ）とを利用して前記認識器により生成された少なくとも一つの値を含む参照部分（Ｒｅｆｅｒｅｎｃｅ  Ｐａｒｔ）を含むプロセス；をさらに遂行することを特徴とする。
【００２３】
一実施例において、前記（ＩＶ）プロセスで、前記プロセッサが、前記長期アップデートユニットをもって、（ｉ）それぞれの前記長期アップデートベクトル間の少なくとも一つの第３類似度スコアを算出させ、（ｉｉ）少なくとも一つの統合長期アップデートベクトル（Ｉｎｔｅｇｒａｔｅｄ  Ｌｏｎｇ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｖｅｃｔｏｒ）を生成するために互いに同一のクラス情報を有する前記長期アップデートベクトルの一部を併合し、前記統合長期アップデートベクトルと、併合されていない残余長期アップデートベクトル（Ｒｅｍａｉｎｉｎｇ  Ｌｏｎｇ−Ｔｅｒｍ  Ｕｐｄａｔｅ  Ｖｅｃｔｏｒ）とを前記特徴フィンガープリントデータベースに追加することによって、前記特徴フィンガープリントデータベースをアップデートさせることを特徴とする。
【００２４】
一実施例において、前記（ＩＩ）プロセスで、前記プロセッサが、前記類似度判断ユニットをもって、
【００２５】
【数２】
2020123340.tif 000004
前記数式によって前記第１類似度スコアのうち一つを算出させ、Ｑは前記特定のクエリベクトルであり、Ｄは前記データベクトルのうち一つであることを特徴とする。
【００２６】
一実施例において、前記（Ｉ）プロセスで、前記プロセッサが、（ｉ）前記認識器に対応するＲＰＮをもって、前記入力イメージに含まれている前記特定ＲＯＩを検出させた後、（ｉｉ）前記認識器に対応する少なくとも一つのキーポイント検出器（Ｋｅｙｐｏｉｎｔ  Ｄｅｔｅｃｔｏｒ）をもって、前記特定ＲＯＩに対応する前記特定の部分イメージ上の少なくとも一つのキー領域（Ｋｅｙ  Ｒｅｇｉｏｎ）を検出させ、（ｉｉｉ）前記認識器に対応する特徴抽出器（Ｆｅａｔｕｒｅ  Ｅｘｔｒａｃｔｏｒ）をもって、前記特定の部分イメージを利用して前記特定の特徴マップを生成させた後、（ｉｖ）前記認識器をもって、前記特定の特徴マップ内の前記キー領域に対応する値を利用して前記特定のクエリベクトルを生成させることを特徴とする。
【００２７】
一実施例において、前記特徴抽出器は、少なくとも一つのコンボリューションニューロン（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒｏｎ）を有する少なくとも一つのコンボリューションレイヤを含み、それぞれの前記コンボリューションニューロンをもって、それ自体に入力された値に対して、前記コンボリューションニューロンのパラメータを利用してコンボリューション演算を適用し、その結果をその次のコンボリューションニューロンに伝達させることによって前記特定の部分イメージから前記特定の特徴マップを抽出することを特徴とし、前記パラメータは、前記（Ｉ）プロセス以前に学習プロセスを経て決定されることを特徴とする。
【００２８】
その他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取り可能な記録媒体がさらに提供される。
【発明の効果】
【００２９】
本発明は、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムを提供することによって、自律走行車両が長時間走行しても安全に走行し得るようにする効果がある。
【図面の簡単な説明】
【００３０】
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
【図１】本発明の一実施例にしたがって、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムを提供する方法を遂行する物体検出システムの構成を簡略に示した図面である。
【図２】本発明の一実施例にしたがって、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムが少なくとも一つのイメージに含まれたそれぞれの物体のクラスを検出するプロセスを簡略に示した図面である。
【図３】本発明の一実施例にしたがって、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムの短期アップデートを遂行するプロセスを簡略に示した図面である。
【図４】本発明の一実施例にしたがって、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムの長期アップデートを遂行するプロセスを簡略に示した図面である。
【発明を実施するための形態】
【００３１】
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
【００３２】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００３３】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００３４】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
【００３５】
図１は、本発明の一実施例にしたがって、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムを提供する方法を遂行する物体検出システムの構成を簡略に示した図面である。
【００３６】
図１を参照すると、物体検出システム１００は、追って詳細に説明する構成要素である認識器１１０と、特徴フィンガープリントデータベース１２０と、未知のイメージデータベース（Ｕｎｋｎｏｗｎ−Ｉｍａｇｅ  ＤＢ）１３０と、既知のイメージデータベース（Ｋｎｏｗｎ−Ｉｍａｇｅ  ＤＢ）１４０とを含むことができる。認識器１１０、特徴フィンガープリントデータベース１２０、未知のイメージデータベース１３０及び既知のイメージデータベース１４０の入出力及び演算の過程は、物体検出システム１００に含まれているそれぞれの通信部及びプロセッサにより遂行され得る。また、物体検出システム１００に含まれているメモリ（図示せず）は、後述する様々なインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納した状態であり得、プロセッサ（図示せず）は、メモリ（図示せず）に格納されているインストラクションを遂行し、追って説明するインストラクションを遂行することによって本発明のプロセスを遂行することができる。このように、物体検出システム１００が描写されたからといって、物体検出システム１００が本発明を実施するためのプロセッサ、ミディアム、メモリ又は他のコンピューティング要素が統合された形態である統合プロセッサ（Ｉｎｔｅｇｒａｔｅｄ  Ｐｒｏｃｅｓｓｏｒ）を含む場合を排除するわけではない。
【００３７】
また、物体検出システム１００は、類似度判断ユニット（図示せず）と、短期アップデートユニット（図示せず）と、長期アップデートユニット（図示せず）とを含むことができる。
【００３８】
具体的に、認識器１１０は、（ｉ）少なくとも一つの入力されたイメージ上に存在する物体の位置情報、及び（ｉｉ）これを含むＲＯＩの少なくとも一つの特徴マップを生成した後、それぞれの特徴マップを参照してそれぞれの物体のそれぞれのクエリベクトルを生成することができる。特徴フィンガープリントデータベース１２０は、データベクトルとクエリベクトルとを比較することによって、クエリベクトルに対応する物体のクラス情報を導き出すためのデータベクトルを格納することができる。前記物体に対応するクエリベクトルとの類似度スコアが予め設定された第１閾値以上であるデータベクトルが特徴フィンガープリントデータベース１２０にない場合、未知のイメージデータベース１３０は、追って物体検出システム１００が検出することができるクラスの種類をアップデートするために、前記物体に対応する入力イメージの一部分を格納することができる。既知のイメージデータベース１４０は、追って詳細に説明する長期アップデートのために、（ｉ）未識別物体を正確にバウンディング（Ｂｏｕｎｄｉｎｇ）するそれぞれのイメージである、物体検出システム１００に入力された少なくとも一つの部分イメージ（Ｐａｒｔｉａｌ  Ｉｍａｇｅ）及び（ｉｉ）物体検出システム１００に入力されプログラマが確認した、これに対応する情報を格納することができる。
【００３９】
物体検出システム１００は、（ｉ）追って説明する、クエリベクトルを、特徴フィンガープリントデータベース１２０に含まれているデータベクトルと比較する類似度判断ユニット（図示せず）と、（ｉｉ）短期アップデートユニット（図示せず）と、（ｉｉｉ）長期アップデートユニット（図示せず）とを含むことができる。それぞれのユニットは、ハードウェア又はソフトウェアとして構成され得るであろう。
【００４０】
以上、本発明の一実施例にしたがって、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システム１００の構成を説明したところ、以下、物体検出システムが入力イメージ内の物体を検出する方法と、短期アップデート及び長期アップデートを行う方法について説明する。このために、まず図２を参照することにする。
【００４１】
図２は、本発明の一実施例にしたがって、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システム１００が少なくとも一つのイメージに含まれているそれぞれの物体のクラスを検出するプロセスを簡略に示した図面である。
【００４２】
図２を参照すると、認識器１１０に含まれているＮ個のキーポイント検出器１１１及び特徴抽出器１１２を確認することができる。キーポイント検出器１１１は、それ自体に入力されたイメージ上の少なくとも一つのキー領域を検出することができる。キー領域は、物体検出において重要な部分である。追って詳細に説明するが、これは、キー領域の少なくとも一つの特徴と特徴フィンガープリントデータベース１２０に格納された特徴との間を比較することによってクラスを検出するからである。このようなキーポイント検出器１１１は、すでに学習された状態であり得る。特徴抽出器１１２は、入力イメージに対してコンボリューション演算を少なくとも一回適用することで、少なくとも一つの特徴マップを生成することができる。特徴抽出器もまた予め学習された状態であり得る。例えば、特徴抽出器が少なくとも一つのコンボリューションニューロンを含む少なくとも一つのコンボリューションレイヤを含むことができる。そして、特徴抽出器は、それぞれのコンボリューションニューロンをもって、それ自体に入力された値に対して、コンボリューションニューロンのパラメータを利用してコンボリューション演算を適用し、その結果をその次のコンボリューションニューロンに伝達させることによって、それ自体に入力されたイメージから特徴マップを抽出することができる。パラメータは、本発明のプロセスが始まる前に学習プロセスを経て決定され得る。
【００４３】
入力イメージが取得されると、物体検出ネットワークは少なくとも一つのＲＰＮをもって、入力イメージのＲＯＩを生成させ、入力イメージ上でそれぞれのＲＯＩに対応するそれぞれの領域をクロップ（Ｃｒｏｐ）してそれぞれの部分イメージを生成することができる。または、入力イメージ自体がそれぞれの部分イメージのように単一の物体を含むイメージであってもよい。以後、認識器１１０は、特定の部分イメージに対応するクエリベクトルを生成し、このために、認識器１１０はそれ自体に含まれているキーポイント検出器１１１をもって、特定の部分イメージ上のキー領域を検出させる。また、認識器１１０は、特徴抽出器１１２をもって、特定の部分イメージに対応する少なくとも一つの特定の特徴マップを生成させる。以後、認識器１１０は、クエリユニットをもって、それぞれのキーポイント検出器１１１が検出した特定の部分イメージ上のキー領域それぞれに対応する、特定の特徴マップ上の値を利用して特定のクエリベクトルを生成させることができる。この際、それぞれのキーポイント検出器に対応するそれぞれの値は、特定のクエリベクトル上のそれぞれの対応する位置にあるはずである。このような方式の例示は、図２で確認することができる。図２のクエリベクトルにおいて、「なし（Ｎｏｔ  Ｐｒｅｓｅｎｔ）」を指すクエリベクトルの例示の構成要素は、それぞれの構成要素に対応するそれぞれのキーポイント検出器１１１が、それぞれのキーポイント検出器に対応するそれぞれのキー領域を入力イメージ上で見出すことができなかった場合である。特定の部分イメージ以外の部分イメージに対応する他のクエリベクトルは、上記のように特定のクエリベクトルの生成プロセスと類似したプロセスを通じて生成され得る。
【００４４】
以後、このように生成された特定のクエリベクトルは、特徴フィンガープリントデータベース１２０に伝達されて、その内部に格納されたデータベクトルと比較される。このような比較の過程において、それぞれのデータベクトルと特定のクエリベクトルとの間におけるそれぞれの第１類似度スコアが生成され、これはベクトル間のユークリッド距離（Ｅｕｃｌｉｄｅａｎ  Ｄｉｓｔａｎｃｅ）の絶対値に対する負数（ｎｅｇａｔｉｖｅ  ｎｕｍｂｅｒ）の指数乗、すなわち、
【００４５】
【数３】
2020123340.tif 000005
であるか、ベクトル間のコサイン距離（Ｃｏｓｉｎｅ  Ｄｉｓｔａｎｃｅ）であり得る。ユークリッド距離を利用して類似度スコアを生成する場合、これは下記の数式で表現することができる。
【００４６】
【数４】
2020123340.tif 000006
この場合、Ｑは特定のクエリベクトルであり得、Ｄはデータベクトルのうち一つであり得る。
【００４７】
クエリベクトルのうち「なし」と表示された構成要素は、第１類似度スコアを算出するのに利用されず、クエリベクトルのうち「なし」に対応しない全ての構成要素を含むデータベクトルのみが第１類似度スコアを算出するのに利用される。
【００４８】
図２の例を挙げると、図２に示されているクエリベクトルの例示と、特徴フィンガープリントデータベース１２０に格納されている、それぞれの自動車ブランドに対応するデータベクトルとを比較するということである。特徴フィンガープリントデータベース１２０には、現代（Ｈｙｕｎｄａｉ）クラスに対するデータベクトルが重複して存在し、これは様々な角度から撮影されたイメージを有する現代クラスに含まれている車両に対するデータベクトルである。このように特徴フィンガープリントデータベース１２０が構成されている場合にのみ、物体に対する角度に拘わらず物体の検出が遂行され得るためである。図２のクエリベクトルの例示は、前述したところによると、シトロエン、アウディのデータベクトルと共に第１類似度スコアを算出するのに使用されるであろう。
【００４９】
特定のクエリベクトルに対する類似度スコアを算出した後、第１類似度スコアのうち最大値が予め設定された第１閾値以上である場合、物体検出システム１００は、最大値に対応するクラスを特定のクエリベクトルに対応する特定の物体のクラスとして出力することができる。第１類似度スコアのうち最大値が予め設定された第１閾値未満である場合、特定の部分イメージを未知のイメージデータベース１３０に格納することができ、物体検出システム１００は、入力イメージに対する物体の検出結果が適切に導き出されなかったというログ（Ｌｏｇ）をプログラマに伝送することができる。
【００５０】
このように未知のイメージデータベース１３０に入力イメージのような部分イメージが格納されると、物体検出システムは短期アップデートを遂行することができる。これについて説明するために、図３を参照することにする。
【００５１】
図３は、本発明の一実施例にしたがって、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムの短期アップデートを遂行するプロセスを簡略に示した図面である。
【００５２】
図３を参照すると、プログラマが未知のイメージデータベース１３０に格納されたイメージを確認し、イメージのクラスを決定して入力することができる。このような、未知のイメージデータベース１３０に格納されたイメージ及びこれに対応する追加のクラス情報を含むアップデートセット（Ｕｐｄａｔｅ  Ｓｅｔ）は、既知のイメージデータベース１４０に伝達されて、追って説明する長期アップデートの過程で使用され得る。また、アップデートセットは、認識器１１０に伝達されて短期アップデートに使用される。
【００５３】
認識器１１０は、アップデートセットを取得して短期アップデートベクトルを生成することができる。具体的に、認識器１１０は、前述したクエリベクトルを生成する方式と同一または類似する方式を通じて生成された成分ベクトルに追加のクラス情報を付け加えることによって、アップデートセット内のイメージを利用して短期アップデートベクトルを生成することができる。実施例にしたがって、クエリベクトルは既知のイメージデータベース１４０に格納されて、当該クエリベクトルが、短期アップデートを遂行するのに使用され得る。すなわち、クエリベクトルと成分ベクトルとは基本的に同一である。以後、短期アップデートベクトルは、特徴フィンガープリントデータベース１２０に伝達される。
【００５４】
まず、追加のクラス情報に含まれているクラスが特定の短期アップデートベクトルに対する特徴フィンガープリントデータベース１２０に格納されているデータベクトルのうちいずれの一つにも対応しない場合、これは、特定の短期アップデートベクトルのクラスに対応する特定の物体が初めて検出されたということを意味するものであるので、追って同じクラスの物体を検出するために、特定の短期アップデートベクトルが、特徴フィンガープリントデータベース１２０に、新たなクラスに対応する新たなデータベクトルとして追加され得る。
【００５５】
ところが、もし追加のクラス情報に含まれているクラスが特徴フィンガープリントデータベース１２０に含まれているデータベクトルのうちいずれか一つに対応する場合、当該クラスは、以前に検出されたことがあるものの不適切なデータベクトルが原因になって検出されなかったものであるので、当該クラスに対応するデータベクトルのセットをアップデートするようになる。この際、特定の短期アップデートベクトルを当該クラスに対応する新たなデータベクトルとして追加するのか、既存のデータベクトルをアップデートするのかを決定するプロセスは、以下に説明する方法によって決定される。
【００５６】
物体検出システム１００は、特定の短期アップデートベクトルに含まれているそれぞれの値と、データベクトルに含まれている、これに対応する値とを比較して、前述した方式と同じような方式によって、それぞれのデータベクトルに対応する第２類似度スコアそれぞれを生成することができる。この際、予め設定された第２閾値以上の第２類似度スコアを有するデータベクトルがなければ、短期アップデートベクトルは当該クラスに対応する新たなデータベクトルとして追加される。予め設定された第２閾値以上の類似度スコアを有するターゲットデータベクトルがあれば、当該ターゲットデータベクトルは、短期アップデートベクトルを利用してアップデートされる。
【００５７】
より具体的には、物体検出システム１００は、短期アップデートユニットをもって、第２類似度スコアのうち最大値を選択させる。選択された最大の第２類似度スコアが第２閾値以上である場合、物体検出システム１００は、短期アップデートユニットをもって、最大の第２類似度スコアに対応するターゲットデータベクトルを特定の短期アップデートベクトルを利用してアップデートさせる。その代わりに、最大の第２類似度スコアが第２閾値未満である場合、物体検出システム１００は、短期アップデートユニットをもって、特定の短期アップデートベクトルを特徴フィンガープリントデータベースに追加させる。
【００５８】
ターゲットデータベクトルが短期アップデートベクトルを利用してどのようにアップデートされるかについて以下に説明する。ターゲットデータベクトルがＮ個の対象成分を含み、特定の短期アップデートベクトルがＮ個のアップデート成分を含む場合、Ｋは１以上Ｎ以下の整数（ｉｎｔｅｇｅｒ）であって、物体検出システム１００は、短期アップデートユニットをもって、第Ｋ対象成分がデータの未存在を表す第１記号（Ｎｏｔａｔｉｏｎ）に対応し、第Ｋアップデート成分は所定値を表す第２記号に対応する場合、第Ｋ対象成分を第Ｋアップデート成分に代替させることができる。または、第Ｋ対象成分が第２記号に対応し、第Ｋアップデート成分が第１記号に対応する場合、物体検出システム１００は、短期アップデートユニットをもって、第Ｋ対象成分をそのまま保持させることができる。他の場合において、例えば、第Ｋ対象成分と第Ｋアップデート成分とがいずれも第２記号に対応する場合、物体検出システム１００は、短期アップデートユニットをもって、第Ｋ対象成分と第Ｋアップデート成分との加重和（Ｗｅｉｇｈｔｅｄ  Ｓｕｍ）で第Ｋ対象成分をアップデートさせ、第Ｋ対象成分と第Ｋアップデート成分とがいすれも第１記号に対応する場合、物体検出システム１００は、短期アップデートユニットをもって、第Ｋ対象成分をそのまま保持することができる。
【００５９】
これを簡潔に説明すると、データベクトルのうち「なし」である構成成分が短期アップデートベクトルにおいて「なし」でない場合、当該データベクトルの構成成分は短期アップデートベクトルの値を有するようにアップデートされ得る。構成成分がいずれも「なし」でない場合、両構成成分の加重和を利用して当該構成成分をアップデートすることができる。短期アップデートが遂行されることによって新たなクラスの物体が検出され得、既存のクラスの物体に対する検出もやはり改善され得るが、これをさらに最適化するために長期アップデートを行う方法について検討することにする。
【００６０】
図４は、本発明の一実施例にしたがって、検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムの長期アップデートを遂行するプロセスを簡略に示した図面である。
【００６１】
図４を参照すると、既知のイメージデータベース１４０に格納されたイメージを使用して、長期アップデートが遂行され得る。既知のイメージデータベース１４０には、短期アップデートで使用されていた様々なアップデートセットが存在し得る。長期アップデートのために、物体検出システム１００は、認識器１１０をもってアップデートセットを利用して少なくとも一つの長期アップデートベクトルを生成させることができる。この場合、長期アップデートベクトルは、短期アップデートベクトルと同じような方式で生成され得る。すなわち、それぞれの長期アップデートベクトルもやはり（ｉ）キーポイント検出器１１１に対応する値と（ｉｉ）イメージを含むクラス情報とを含むことができる。
【００６２】
このような長期アップデートベクトルは、同じクラスに対応するベクトルを統合する過程を経ることができる。すなわち、同じクラスに対応する各ベクトル間に、それぞれの構成成分が、相互の加重合によりアップデートされて統合され得る。例えば、特定クラスに対応する３つのベクトルがそれぞれ（１ａ、０、３ａ、０、５ａ）、（１ｂ、２ｂ、０、０、５ｂ）、（０、２ｃ、０、０、５ｃ）であるものと想定してみる。クラス情報に対する部分は省略しており、「なし」は０と表示されている。この場合、例示としてこれらの統合ベクトルは（（１ａ＋２ｂ）／２、（２ｂ＋２ｃ）／２、（３ａ）、０、（５ａ＋５ｂ＋５ｃ）／３）と計算され得る。クラスごとに統合されたベクトルが特徴フィンガープリントデータベース１２０に格納されるように、特徴フィンガープリントデータベース１２０をアップデートして特徴フィンガープリントデータベース１２０が最適化され得る。この際、同じクラス情報を有する長期アップデートベクトルの一部と予め設定された第３閾値より大きい長期アップデートベクトルとの間の第３類似度スコアが、アップデートプロセスを最適化するために統合されるように選択され得る。第３類似度スコアの算出方式は、第１及び第２類似度スコアの算出方式と同一または類似し得る。
【００６３】
その結果、特徴フィンガープリントデータベース１２０を最適化して新たに検出され得るクラスをアップデートすることによって、自律走行車両は安全に走行し得るであろう。
【００６４】
以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ  Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  Ｍｅｄｉａ）及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【００６５】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
【００６６】
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020123340.tif 000009
【図２】
2020123340.tif 000010
【図３】
2020123340.tif 000011
【図４】
2020123340.tif 000012