(57)【要約】      （修正有）【課題】ＣＮＮを用いて物体をトラッキングする方法を提供する。【解決手段】方法は、装置において、映像の現在の映像フレームから特徴マップを取得し、ＲＰＮにより物体に対するプロポーザルボックス（ＰＢ）に関する情報を生成させ、以前の映像フレームに位置する物体に対する以前のバウンディングボックス（ＢＢ）の以前の状態ベクトルから、以前のＢＢの予測状態ベクトルをカルマンフィルタアルゴリズム（ＫＦＡ）により生成し、予測状態ベクトルに対して以前のＢＢの位置からトラッキングされた現在の映像フレームにおける予測ＢＢを生成し、予測ＢＢを参照して特定のＰＢを決定し、ＦＣＮにより特徴マップに演算を適用して位置基盤スコアマップを出力させ、プーリングレイヤにより特定のＰＢに対するクラススコアとリグレッションデルタを算出させ、現在の映像フレームにおける物体に対する現在のＢＢを生成し、ＫＦＡを用いて現在のＢＢを調整する。【選択図】図２
2020061144.tif 000002
【特許請求の範囲】
【請求項１】
トラッキングネットワーク（Ｔｒａｃｋｉｎｇ  ｎｅｔｗｏｒｋ）を含むＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を利用して少なくとも一つの物体をトラッキングする方法において、
（ａ）テスト装置が、入力される映像の現在の映像フレームを利用して少なくとも一つの特徴マップ（ｆｅａｔｕｒｅ  ｍａｐ）を取得し、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって、前記特徴マップに少なくとも一つの演算を適用させて前記物体に対応する少なくとも一つのプロポーザルボックス（ｐｒｏｐｏｓａｌ  ｂｏｘ）に関する情報を生成させる段階；
（ｂ）前記テスト装置が、（ｉ）（ｉ−１）以前の映像フレーム上に位置する前記物体に対応する少なくとも一つの以前のバウンディングボックスの少なくとも一つの以前の状態ベクトルから、少なくとも前記現在の映像フレーム上に前記物体が位置するものと予測される前記以前のバウンディングボックスの少なくとも一つの予測状態ベクトルをカルマンフィルタアルゴリズム（Ｋａｌｍａｎ  ｆｉｌｔｅｒ  ａｌｇｏｒｉｔｈｍ）を使用して生成し、（ｉ−２）前記予測状態ベクトルに対応して、前記以前のバウンディングボックスの位置からトラッキングされた前記現在の映像フレーム上における少なくとも一つの予測バウンディングボックスを生成し、前記予測状態ベクトルに対応する前記予測バウンディングボックスは予測された位置に関する情報を含み、（ｉ−３）前記プロポーザルボックスのうち前記予測バウンディングボックスを参照して選択される少なくとも一つの特定のプロポーザルボックスを少なくとも一つのシードボックス（ｓｅｅｄ  ｂｏｘ）として決定するプロセス、及び（ｉｉ）ＦＣＮ（Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋ）をもって、前記特徴マップに少なくとも一つのフル（ｆｕｌｌ）コンボリューション演算を適用して少なくとも一つの位置基盤スコアマップ（ｐｏｓｉｔｉｏｎ  ｓｅｎｓｉｔｉｖｅ  ｓｃｏｒｅ  ｍａｐ）を出力させるプロセスを遂行する段階；
（ｃ）前記テスト装置が、少なくとも一つのプーリングレイヤ（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）をもって、前記位置基盤スコアマップ上で前記シードボックスに対応する領域をプーリングして、前記特定のプロポーザルボックスに対応する少なくとも一つのクラススコアと少なくとも一つのリグレッションデルタとを算出させる段階；及び
（ｄ）前記テスト装置が、前記リグレッションデルタと前記シードボックスとを参照して、前記現在の映像フレーム上における前記物体に対応する少なくとも一つの現在のバウンディングボックスを生成し、前記カルマンフィルタアルゴリズムを利用して前記現在のバウンディングボックスを調整する段階；
を含むことを特徴とする方法。
【請求項２】
前記（ｂ）段階で、
前記テスト装置は、前記カルマンフィルタアルゴリズムを利用して、前記以前の映像フレームの少なくとも一つの以前の誤差の共分散（Ｅｒｒｏｒ  Ｃｏｖａｒｉａｎｃｅ）を参照して前記現在の映像フレームの少なくとも一つの予測誤差の共分散を算出することを特徴とする請求項１に記載の方法。
【請求項３】
前記（ｂ）段階で、
前記テスト装置は、（ｉ）前記予測誤差の共分散を利用してカルマンゲイン（Ｋａｌｍａｎ  ｇａｉｎ）を取得し、（ｉｉ）前記カルマンゲインと前記予測状態ベクトルとを利用して前記現在のバウンディングボックスの位置情報による前記現在のバウンディングボックスの現在の状態ベクトルをアップデートし、（ｉｉｉ）前記カルマンゲインと前記予測誤差の共分散とを利用して前記現在の映像フレームの現在の誤差の共分散をアップデートすることを特徴とする請求項２に記載の方法。
【請求項４】
前記（ｃ）段階で、
前記テスト装置は、前記位置基盤スコアマップで前記シードボックスに対応する少なくとも一つの領域にプーリング演算を適用し、前記プーリングされた位置基盤スコアマップにグローバルプーリング演算を適用して、前記特定のプロポーザルボックスに対応する前記クラススコアと前記リグレッションデルタとを算出させることを特徴とする請求項１に記載の方法。
【請求項５】
前記（ｂ）段階で、
前記テスト装置は、（ｉ）前記予測バウンディングボックスの位置情報及び前記それぞれのプロポーザルボックスの各位置情報、（ｉｉ）前記予測バウンディングボックスと前記それぞれのプロポーザルボックスとの間のそれぞれの重なる面積、並びに（ｉｉｉ）前記予測バウンディングボックスの前記位置情報、前記それぞれのプロポーザルボックスの各位置情報、及び前記それぞれの重なる面積のうち一種類を参照して前記シードボックスを決定することを特徴とする請求項１に記載の方法。
【請求項６】
前記（ａ）段階で、
前記テスト装置は、少なくとも一つのコンボリューションレイヤ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｌａｙｅｒ）をもって、前記現在の映像フレームに少なくとも一つのコンボリューション演算を適用して前記特徴マップを取得させ、前記ＲＰＮをもって、前記特徴マップ上の前記物体が含まれるものと推定される領域に対応する前記プロポーザルボックスを出力するように支援することを特徴とする請求項１に記載の方法。
【請求項７】
前記（ａ）段階以前に、
学習装置が、（ｉ）前記コンボリューションレイヤをもって、少なくとも一つのトレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つのトレーニング用特徴マップを取得させ、（ｉｉ）（ｉｉ−１）前記ＲＰＮをもって、前記トレーニング用特徴マップ上の少なくとも一つのトレーニング用物体が含まれるものと予測される各領域に対応する少なくとも一つのトレーニング用プロポーザルボックスをそれぞれ生成させ、（ｉｉ−２）前記ＦＣＮ（Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋ）をもって、前記トレーニング用特徴マップに少なくとも一つのフルコンボリューション演算を適用して少なくとも一つのトレーニング用位置基盤スコアマップを生成させ、（ｉｉｉ）前記プーリングレイヤをもって、前記トレーニング用位置基盤スコアマップ上の前記各領域をプーリングして、前記トレーニング用プロポーザルボックスそれぞれに対応するトレーニング用クラススコアそれぞれとトレーニング用リグレッションデルタそれぞれとを算出させ、（ｉｖ）少なくとも一つのロスレイヤ（ｌｏｓｓ  ｌａｙｅｒ）をもって、前記それぞれのトレーニング用リグレッションデルタと、前記それぞれのトレーニング用クラススコアと、これに対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出することにより、前記ロスをバックプロパゲーションすることで前記ＦＣＮと前記コンボリューションレイヤのパラメータとを学習させることを特徴とする請求項６に記載の方法。
【請求項８】
トラッキングネットワーク（Ｔｒａｃｋｉｎｇ  ｎｅｔｗｏｒｋ）を含むＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を使用して少なくとも一つの物体をトラッキングする方法において、
（ａ）テスト装置が、入力される映像の現在の映像フレームを利用して少なくとも一つの特徴マップ（ｆｅａｔｕｒｅ  ｍａｐ）を取得し、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって、前記特徴マップに少なくとも一つの演算を適用させて前記物体に対応する少なくとも一つのプロポーザルボックス（ｐｒｏｐｏｓａｌ  ｂｏｘ）に関する情報を生成させる段階；
（ｂ）前記テスト装置が、（ｉ）以前の映像フレーム上に位置する前記物体に対応する少なくとも一つの以前のバウンディングボックスの少なくとも一つの以前の状態ベクトルから、少なくとも前記現在の映像フレーム上に前記物体が位置するものと予測される前記以前のバウンディングボックスの少なくとも一つの予測状態ベクトルをカルマンフィルタアルゴリズム（Ｋａｌｍａｎ  ｆｉｌｔｅｒ  ａｌｇｏｒｉｔｈｍ）を使用して生成し、（ｉｉ）前記予測状態ベクトルに対応して、前記以前のバウンディングボックスの位置からトラッキングされた前記現在の映像フレーム上における少なくとも一つの予測バウンディングボックスを生成し、前記予測状態ベクトルに対応する前記予測バウンディングボックスは予測された位置に関する情報を含み、（ｉｉｉ）前記プロポーザルボックスのうち前記予測バウンディングボックスを参照して選択される少なくとも一つの特定のプロポーザルボックスを少なくとも一つのシードボックス（ｓｅｅｄ  ｂｏｘ）として決定するプロセスを遂行する段階；
（ｃ）前記テスト装置が、少なくとも一つのプーリングレイヤ（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）をもって、前記特徴マップ上で前記シードボックスに対応する少なくとも一つの領域をプーリングして、少なくとも一つの特徴ベクトルを生成し、少なくとも一つのＦＣレイヤ（ＦＣ  ｌａｙｅｒ）をもって、前記特徴ベクトルに少なくとも一つのＦＣ演算（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ  ｏｐｅｒａｔｉｏｎ）を適用して、前記特定のプロポーザルボックスに対応する少なくとも一つのクラススコアと少なくとも一つのリグレッションデルタとを算出させる段階；
（ｄ）前記テスト装置が、前記リグレッションデルタと前記シードボックスとを参照して前記現在の映像フレーム上における前記物体に対応する少なくとも一つの現在のバウンディングボックスを生成し、前記カルマンフィルタアルゴリズムを利用して前記現在のバウンディングボックスを調整する段階；
を含むことを特徴とする方法。
【請求項９】
前記（ｂ）段階で、
前記テスト装置は、前記カルマンフィルタアルゴリズムを利用して、前記以前の映像フレームの少なくとも一つの以前の誤差の共分散（Ｅｒｒｏｒ  Ｃｏｖａｒｉａｎｃｅ）を参照して前記現在の映像フレームの少なくとも一つの予測誤差の共分散を算出することを特徴とする請求項８に記載の方法。
【請求項１０】
前記（ｄ）段階で、
前記テスト装置は、（ｉ）前記予測誤差の共分散を利用してカルマンゲイン（Ｋａｌｍａｎ  ｇａｉｎ）を取得し、（ｉｉ）前記カルマンゲインと前記予測状態ベクトルとを利用して前記現在のバウンディングボックスの位置情報による前記現在のバウンディングボックスの現在の状態ベクトルをアップデートし、（ｉｉｉ）前記カルマンゲインと前記予測誤差の共分散とを利用して前記現在の映像フレームの現在の予測誤差の共分散をアップデートすることを特徴とする請求項９に記載の方法。
【請求項１１】
前記（ｂ）段階で、
前記テスト装置は、（ｉ）前記予測バウンディングボックスの位置情報及び前記それぞれのプロポーザルボックスの各位置情報、（ｉｉ）前記予測バウンディングボックスと前記それぞれのプロポーザルボックスとの間のそれぞれの重なる面積、並びに（ｉｉｉ）前記予測バウンディングボックスの前記位置情報、前記それぞれのプロポーザルボックスの各位置情報、及びそれぞれの重なる面積のうち一種類を参照して前記シードボックスを決定することを特徴する請求項８に記載の方法。
【請求項１２】
前記（ａ）段階で、
前記テスト装置は、少なくとも一つのコンボリューションレイヤ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｌａｙｅｒ）をもって、前記現在の映像フレームに少なくとも一つのコンボリューション演算を適用して前記特徴マップを取得させ、前記ＲＰＮをもって、前記特徴マップ上の前記物体が含まれるものと推定される領域に対応する前記プロポーザルボックスを出力するように支援することを特徴とする請求項８に記載の方法。
【請求項１３】
前記（ａ）段階以前に、
学習装置が、（ｉ）前記コンボリューションレイヤをもって、少なくとも一つのトレーニングイメージにコンボリューション演算を適用して少なくとも一つのトレーニング用特徴マップを取得させ、（ｉｉ）前記ＲＰＮをもって、前記トレーニング用特徴マップ上の少なくとも一つのトレーニング用物体が含まれるものと予測される各領域に対応する少なくとも一つのトレーニング用プロポーザルボックスをそれぞれ生成させ、（ｉｉｉ）前記プーリングレイヤをもって、前記トレーニング用特徴マップ上の前記トレーニング用プロポーザルボックスそれぞれに対応する各領域をプーリングして、前記トレーニング用プロポーザルボックスそれぞれに対応する少なくとも一つのトレーニング用特徴ベクトルを算出するようにし、前記ＦＣレイヤをもって、前記トレーニング用特徴ベクトルにＦＣ演算を適用して、前記トレーニング用プロポーザルボックスそれぞれに対応するそれぞれのトレーニング用クラススコアとそれぞれのトレーニング用リグレッションデルタとを算出させ、（ｉｖ）少なくとも一つのロスレイヤをもって、それぞれのトレーニング用リグレッションデルタと、それぞれのトレーニング用クラススコアと、それにそれぞれ対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出し、前記ロスをバックプロパゲーションすることで前記ＦＣＮと前記コンボリューションレイヤのパラメータとを学習させることを特徴とする請求項１２に記載の方法。
【請求項１４】
トラッキングネットワーク（Ｔｒａｃｋｉｎｇ  ｎｅｔｗｏｒｋ）を含むＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を使用して少なくとも一つの物体をトラッキングする装置において、
入力される映像の少なくとも一つの映像フレームを取得する通信部；及び
（Ｉ）入力される映像の現在の映像フレームを利用して少なくとも一つの特徴マップ（ｆｅａｔｕｒｅ  ｍａｐ）を取得し、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって、前記特徴マップに少なくとも一つの演算を適用させて、前記物体に対応する少なくとも一つのプロポーザルボックス（ｐｒｏｐｏｓａｌ  ｂｏｘ）に関する情報を生成させるプロセス；（ＩＩ）（ＩＩ−１）（ｉ）以前の映像フレーム上に位置する前記物体に対応する少なくとも一つの以前のバウンディングボックスの少なくとも一つの以前の状態ベクトルから、少なくとも前記現在の映像フレーム上に前記物体が位置するものと予測される前記以前のバウンディングボックスの少なくとも一つの予測状態ベクトルをカルマンフィルタアルゴリズム（Ｋａｌｍａｎ  ｆｉｌｔｅｒ  ａｌｇｏｒｉｔｈｍ）を使用して生成し、（ｉｉ）前記予測状態ベクトルに対応して、前記以前のバウンディングボックスの位置からトラッキングされた前記現在の映像フレーム上における少なくとも一つの予測バウンディングボックスを生成し、前記予測状態ベクトルに対応する前記予測バウンディングボックスは予測された位置に関する情報を含み、（ｉｉｉ）前記プロポーザルボックスのうち前記予測バウンディングボックスを参照して選択される少なくとも一つの特定のプロポーザルボックスを少なくとも一つのシードボックス（ｓｅｅｄ  ｂｏｘ）として決定するプロセス、及び（ＩＩ−２）ＦＣＮ（Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋ）をもって、前記特徴マップに少なくとも一つのフル（ｆｕｌｌ）コンボリューション演算を適用して少なくとも一つの位置基盤スコアマップ（ｐｏｓｉｔｉｏｎ  ｓｅｎｓｉｔｉｖｅ  ｓｃｏｒｅ  ｍａｐ）を出力させるプロセス；（ＩＩＩ）少なくとも一つのプーリングレイヤ（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）をもって、前記位置基盤スコアマップ上で前記シードボックスに対応する領域をプーリングして、前記特定のプロポーザルボックスに対応する少なくとも一つのクラススコアと少なくとも一つのリグレッションデルタとを算出させるプロセス；及び（ＩＶ）前記リグレッションデルタと前記シードボックスとを参照して、前記現在の映像フレーム上における前記物体に対応する少なくとも一つの現在のバウンディングボックスを生成し、前記カルマンフィルタアルゴリズムを利用して前記現在のバウンディングボックスを調整するプロセス；を遂行するプロセッサ
を含むことを特徴とする装置。
【請求項１５】
前記プロセッサは、
前記（ＩＩ）プロセスで、前記カルマンフィルタアルゴリズムを利用して、前記以前の映像フレームの少なくとも一つの以前の誤差の共分散（Ｅｒｒｏｒ  Ｃｏｖａｒｉａｎｃｅ）を参照して、前記現在の映像フレームの少なくとも一つの予測誤差の共分散を算出することを特徴とする請求項１４に記載の装置。
【請求項１６】
前記プロセッサは、
前記（ＩＶ）プロセスで、前記予測誤差の共分散を利用してカルマンゲイン（Ｋａｌｍａｎ  ｇａｉｎ）を取得し、前記カルマンゲインと前記予測状態ベクトルとを利用して前記現在のバウンディングボックスの位置情報による前記現在のバウンディングボックスの現在の状態ベクトルをアップデートし、前記カルマンゲインと前記予測誤差の共分散とを利用して前記現在の映像フレームの現在の誤差の共分散をアップデートすることを特徴とする請求項１５に記載の装置。
【請求項１７】
前記プロセッサは、
前記（ＩＩＩ）プロセスで、前記位置基盤スコアマップで前記シードボックスに対応する少なくとも一つの領域にプーリング演算を適用し、前記プーリングされた位置基盤スコアマップにグローバルプーリング演算を適用して、前記特定のプロポーザルボックスに対応する前記クラススコアと前記リグレッションデルタとを算出させることを特徴とする請求項１４に記載の装置。
【請求項１８】
前記プロセッサは、
前記（ＩＩ）プロセスで、（ｉ）前記予測バウンディングボックスの位置情報及び前記それぞれのプロポーザルボックスの各位置情報、（ｉｉ）前記予測バウンディングボックスと前記それぞれのプロポーザルボックスとの間のそれぞれの重なる面積、並びに（ｉｉｉ）前記予測バウンディングボックスの前記位置情報、前記それぞれのプロポーザルボックスの各位置情報、及び前記それぞれの重なる面積のうち一種類を参照して前記シードボックスを決定することを特徴とする請求項１４に記載の装置。
【請求項１９】
前記プロセッサは、
前記（Ｉ）プロセスで、少なくとも一つのコンボリューションレイヤ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｌａｙｅｒ）をもって、前記現在の映像フレームに少なくとも一つのコンボリューション演算を適用して前記特徴マップを取得させ、前記ＲＰＮをもって、前記特徴マップ上の前記物体が含まれるものと推定される領域に対応する前記プロポーザルボックスを出力するように支援することを特徴とする請求項１４に記載の装置。
【請求項２０】
前記プロセッサは、
前記（Ｉ）プロセス以前に、
学習装置が、（ｉ）前記コンボリューションレイヤをもって、少なくとも一つのトレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つのトレーニング用特徴マップを取得させ、（ｉｉ）（ｉｉ−１）前記ＲＰＮをもって、前記トレーニング用特徴マップ上の少なくとも一つのトレーニング用物体が含まれるものと予測される各領域に対応する少なくとも一つのトレーニング用プロポーザルボックスをそれぞれ生成させ、（ｉｉ−２）前記ＦＣＮ（Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋ）をもって、前記トレーニング用特徴マップに少なくとも一つのフルコンボリューション演算を適用して少なくとも一つのトレーニング用位置基盤スコアマップを生成させ、（ｉｉｉ）前記プーリングレイヤをもって、前記トレーニング用位置基盤スコアマップ上の前記各領域をプーリングして、前記トレーニング用プロポーザルボックスそれぞれに対応するトレーニング用クラススコアそれぞれとトレーニング用リグ用リグレッションデルタそれぞれとを算出させ、（ｉｖ）少なくとも一つのロスレイヤ（ｌｏｓｓ  ｌａｙｅｒ）をもって、前記それぞれのトレーニング用リグレッションデルタと、前記それぞれのトレーニング用クラススコアと、これに対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出し、前記ロスをバックプロパゲーションすることで前記ＦＣＮと前記コンボリューションレイヤのパラメータとを学習させることを特徴とする請求項１９に記載の装置。
【請求項２１】
トラッキングネットワーク（Ｔｒａｃｋｉｎｇ  ｎｅｔｗｏｒｋ）を含むＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を使用して少なくとも一つの物体をトラッキングする装置において、
入力される映像の少なくとも一つの映像フレームを取得する通信部；及び
（Ｉ）入力される映像の現在の映像フレームを利用して少なくとも一つの特徴マップ（ｆｅａｔｕｒｅ  ｍａｐ）を取得し、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって、前記特徴マップに少なくとも一つの演算を適用させて前記物体に対応する少なくとも一つのプロポーザルボックス（ｐｒｏｐｏｓａｌ  ｂｏｘ）に関する情報を生成させるプロセス；（ＩＩ）（ｉ）以前の映像フレーム上に位置する前記物体に対応する少なくとも一つの以前のバウンディングボックスの少なくとも一つの以前の状態ベクトルから、少なくとも前記現在の映像フレーム上に前記物体が位置するものと予測される前記以前のバウンディングボックスの少なくとも一つの予測状態ベクトルをカルマンフィルタアルゴリズム（Ｋａｌｍａｎ  ｆｉｌｔｅｒ  ａｌｇｏｒｉｔｈｍ）を使用して生成し、（ｉｉ）前記予測状態ベクトルに対応して、前記以前のバウンディングボックスの位置からトラッキングされた前記現在の映像フレーム上における少なくとも一つの予測バウンディングボックスを生成し、前記予測状態ベクトルに対応する前記予測バウンディングボックスは予測された位置に関する情報を含み、（ｉｉｉ）前記プロポーザルボックスのうち前記予測バウンディングボックスを参照して選択される少なくとも一つの特定のプロポーザルボックスを少なくとも一つのシードボックス（ｓｅｅｄ  ｂｏｘ）として決定するプロセス；（ＩＩＩ）少なくとも一つのプーリングレイヤ（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）をもって、前記特徴マップ上で前記シードボックスに対応する少なくとも一つの領域をプーリングして、少なくとも一つの特徴ベクトルを生成し、少なくとも一つのＦＣレイヤ（ＦＣ  ｌａｙｅｒ）をもって、前記特徴ベクトルに少なくとも一つのＦＣ演算（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ  ｏｐｅｒａｔｉｏｎ）を適用して、前記特定のプロポーザルボックスに対応する少なくとも一つのクラススコアと少なくとも一つのリグレッションデルタとを算出させるプロセス；及び（ＩＶ）前記リグレッションデルタと前記シードボックスとを参照して前記現在の映像フレーム上における前記物体に対応する少なくとも一つの現在のバウンディングボックスを生成し、前記カルマンフィルタアルゴリズムを利用して、前記現在のバウンディングボックスを調整するプロセス；を遂行するプロセッサ
を含むことを特徴とする装置。
【請求項２２】
前記プロセッサは、
前記（ＩＩ）プロセスで、前記カルマンフィルタアルゴリズムを利用して、前記以前の映像フレームの少なくとも一つの以前の誤差の共分散（Ｅｒｒｏｒ  Ｃｏｖａｒｉａｎｃｅ）を参照して、前記現在の映像フレームの少なくとも一つの予測誤差の共分散を算出することを特徴とする請求項２１に記載の装置。
【請求項２３】
前記プロセッサは、
前記（ＩＶ）プロセスで、前記予測誤差の共分散を利用してカルマンゲインを取得し、前記カルマンゲインと前記予測状態ベクトルとを利用して前記現在のバウンディングボックスの位置情報による前記現在のバウンディングボックスの現在の状態ベクトルをアップデートし、前記カルマンゲインと前記予測誤差の共分散を利用して前記現在の映像フレームの現在の誤差の共分散をアップデートすることを特徴とする請求項２２に記載の装置。
【請求項２４】
前記プロセッサは、
前記（ＩＩ）プロセスで、（ｉ）前記予測バウンディングボックスの位置情報及び前記それぞれのプロポーザルボックスの各位置情報、（ｉｉ）前記予測バウンディングボックスと前記それぞれのプロポーザルボックスとの間のそれぞれの重なる面積、並びに（ｉｉｉ）前記予測バウンディングボックスの前記位置情報、前記それぞれのプロポーザルボックスの各位置情報、及び前記それぞれの重なる面積のうち一種類を参照して前記シードボックスを決定することを特徴とする請求項２１に記載の装置。
【請求項２５】
前記プロセッサは、
前記（Ｉ）プロセスで、少なくとも一つのコンボリューションレイヤ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｌａｙｅｒ）をもって、前記現在の映像フレームに少なくとも一つのコンボリューション演算を適用して前記特徴マップを取得させ、前記ＲＰＮをもって、前記特徴マップ上の前記物体が含まれるものと推定される領域に対応する前記プロポーザルボックスを出力するように支援することを特徴とする請求項２１に記載の装置。
【請求項２６】
前記プロセッサは、
前記（Ｉ）プロセス以前に、
学習装置が、（ｉ）前記コンボリューションレイヤをもって、少なくとも一つのトレーニングイメージにコンボリューション演算を適用して少なくとも一つのトレーニング用特徴マップを取得させ、（ｉｉ）前記ＲＰＮをもって、前記トレーニング用特徴マップ上の少なくとも一つのトレーニング用物体が含まれるものと予測される各領域に対応する少なくとも一つのトレーニング用プロポーザルボックスをそれぞれ生成させ、（ｉｉｉ）前記プーリングレイヤをもって、前記トレーニング用特徴マップ上の前記トレーニング用プロポーザルボックスそれぞれに対応する各領域をプーリングして、前記トレーニング用プロポーザルボックスそれぞれに対応する少なくとも一つのトレーニング用特徴ベクトルを算出させ、前記ＦＣレイヤをもって、前記トレーニング用特徴ベクトルにＦＣ演算を適用して、前記トレーニング用プロポーザルボックスそれぞれに対応するそれぞれのトレーニング用クラススコアとそれぞれのトレーニング用リグレッションデルタとを算出させ、（ｉｖ）少なくとも一つのロスレイヤをもって、それぞれのトレーニング用リグレッションデルタと、それぞれのトレーニング用クラススコアと、これにそれぞれ対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出し、前記ロスをバックプロパゲーションすることにより、前記ＦＣＮと前記コンボリューションレイヤのパラメータとを学習させることを特徴とする請求項２５に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はトラッキングネットワーク（Ｔｒａｃｋｉｎｇ  ｎｅｔｗｏｒｋ）を含むＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を使用して、少なくとも一つの物体をトラッキングする方法において、（ａ）テスト装置が、入力される映像の現在の映像フレームを利用して少なくとも一つの特徴マップ（ｆｅａｔｕｒｅ  ｍａｐ）を取得し、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって、前記特徴マップに少なくとも一つの演算を適用させて前記物体に対応する少なくとも一つのプロポーザルボックス（ｐｒｏｐｏｓａｌ  ｂｏｘ）に関する情報を生成させる段階；（ｂ）前記テスト装置が、（ｉ）（ｉ−１）以前の映像フレーム上に位置する前記物体に対応する少なくとも一つの以前のバウンディングボックスの少なくとも一つの以前の状態ベクトルから、少なくとも前記現在の映像フレーム上に前記物体が位置するものと予測される前記以前のバウンディングボックスの少なくとも一つの予測状態ベクトルをカルマンフィルタアルゴリズム（Ｋａｌｍａｎ  ｆｉｌｔｅｒ  ａｌｇｏｒｉｔｈｍ）を使用して生成し、（ｉ−２）前記予測状態ベクトルに対応して、前記以前のバウンディングボックスの位置からトラッキングされた前記現在の映像フレーム上における少なくとも一つの予測バウンディングボックスを生成し、前記予測状態ベクトルに対応する前記予測バウンディングボックスは予測された位置に関する情報を含み、（ｉ−３）前記プロポーザルボックスのうち前記予測バウンディングボックスを参照して選択される少なくとも一つの特定のプロポーザルボックスを少なくとも一つのシードボックス（ｓｅｅｄ  ｂｏｘ）として決定するプロセス、及び（ｉｉ）ＦＣＮ（Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋ）をもって、前記特徴マップに少なくとも一つのフル（ｆｕｌｌ）コンボリューション演算を適用して少なくとも一つの位置基盤スコアマップ（ｐｏｓｉｔｉｏｎ  ｓｅｎｓｉｔｉｖｅ  ｓｃｏｒｅ  ｍａｐ）を出力させるプロセスを遂行する段階；及び（ｃ）前記テスト装置が、少なくとも一つのプーリングレイヤ（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）をもって、前記位置基盤スコアマップ上で前記シードボックスに対応する領域をプーリングして、前記特定のプロポーザルボックスに対応する少なくとも一つのクラススコアと少なくとも一つのリグレッションデルタとを算出させる段階；及び（ｄ）前記テスト装置が、前記リグレッションデルタと前記シードボックスとを参照して、前記現在の映像フレーム上における前記物体に対応する少なくとも一つの現在のバウンディングボックスを生成し、前記カルマンフィルタアルゴリズムを利用して前記現在のバウンディングボックスを調整する段階；を含むことを特徴とする方法及びこれを利用した装置に関する。
【背景技術】
【０００２】
ビジュアルトラッキングと呼ばれる物体トラッキングは、一連のイメージ又は映像においてターゲットを探知、抽出、識別及び位置を探し出すプロセスである。交通状況モニタリング、医療診断、視覚的監視及び人間とコンピュータとの相互作用などを含み、広範囲な実際の応用プログラムを備えた基本的なコンピュータビジョン作業である。
【０００３】
既存の外観に基づくトラッキング（ａｐｐｅａｒａｎｃｅ−ｂａｓｅｄ  ｔｒａｃｋｉｎｇ）方法は、ほとんど探知によるトラッキング（ｔｒａｃｋｉｎｇ−ｂｙ−ｄｅｔｅｃｔｉｏｎ）の問題が発生した。モデル構成メカニズムによると、統計的モデリングは生成的モデリング（ｇｅｎｅｒａｔｉｖｅ  ｍｏｄｅｌｉｎｇ）、差別的モデリング（ｄｉｓｃｒｉｍｉｎａｔｉｖｅ  ｍｏｄｅｌｉｎｇ）及びハイブリッドモデリング（ｈｙｂｒｉｄ  ｇｅｎｅｒａｔｉｖｅ  ｄｉｓｃｒｉｍｉｎａｔｉｖｅ  ｍｏｄｅｌｉｎｇ）と同じく３つのカテゴリに分類される。主な短所は、ターゲットの意味情報（ｓｅｍａｎｔｉｃ  ｉｎｆｏｒｍａｔｉｏｎ）をキャプチャすることができず、重要な形の変化に堅固でなく、弁別力（ｄｉｓｃｒｉｍｉｎａｔｉｖｅ  ｐｏｗｅｒ）が制限的であって低いレベルの手作業に依存しているということである。
【０００４】
ディープランニングは、２００６年に発表されて以降、テキスト、イメージ、映像、音声及びその他の様々な領域（例えば、新薬の開発及び遺伝体学など）を処理する最新技術を大きく改善した。特に、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）は近年、イメージクラシフィケーション、シメンティックセグメンテーション、物体検出など、様々なコンピュータビジョン作業に適用されている。
【０００５】
ＣＮＮのこのような大きな成功は、主に視覚的データを表す優れた性能のためである。しかし、低レベルの手作業機能を基盤としたアプローチ方式は、依然として実用的にうまく動作するのに対し、映像処理応用プログラムに大量のトレーニングデータを収集することが難しく、まだ物体トラッキングに特化されたトレーニングアルゴリズムを使用することができないため、物体トラッキングはＣＮＮの人気傾向に影響をあまり受けない。最近のいくつかのトラッキングアルゴリズムは、イメージネット（ＩｍａｇｅＮｅｔ）のような大規模なクラシフィケーションデータセットであらかじめトレーニングされたＣＮＮを伝送して、データ不足の問題を解決した。
【０００６】
このような方法は、一般的な特徴表現を取得するには十分であり得るが、クラシフィケーション及びトラッキング問題、つまり任意のクラスのターゲットを予測することと、物体クラスラベルとの間の根本的な不一致により、トラッキングの側面ではその効果が制限的である。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上述した問題点を全て解決することをその目的とする。
【０００８】
本発明は、トラッキングネットワークを含むＣＮＮを利用して、少なくとも一つの物体をトラッキングする方法を提供することを他の目的とする。
【０００９】
本発明は、物体トラッキングのための別途の学習が必要でないトラッキングネットワークを含むＣＮＮを提供することをまた他の目的とする。
【００１０】
本発明は、物体検出器で学習されたＣＮＮを利用して物体トラッキングを遂行する方法を提供することをまた他の目的とする。
【００１１】
本発明は、物体検出を遂行する既存のＣＮＮに比べて、少ない演算量で物体をトラッキングする方法を提供することをまた他の目的とする。
【課題を解決するための手段】
【００１２】
前記ような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記の通りである。
【００１３】
本発明の一態様によると、トラッキングネットワーク（Ｔｒａｃｋｉｎｇ  ｎｅｔｗｏｒｋ）を含むＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を使用して、少なくとも一つの物体をトラッキングする方法において、（ａ）テスト装置が、入力される映像の現在の映像フレームを利用して少なくとも一つの特徴マップ（ｆｅａｔｕｒｅ  ｍａｐ）を取得し、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって、前記特徴マップに少なくとも一つの演算を適用させて、前記物体に対応する少なくとも一つのプロポーザルボックス（ｐｒｏｐｏｓａｌ  ｂｏｘ）に関する情報を生成させる段階；（ｂ）前記テスト装置が、（ｉ）（ｉ−１）以前の映像フレーム上に位置する前記物体に対応する少なくとも一つの以前のバウンディングボックスの少なくとも一つの以前の状態ベクトルから、少なくとも前記現在の映像フレーム上に前記物体が位置するものと予測される前記以前のバウンディングボックスの少なくとも一つの予測状態ベクトルをカルマンフィルタアルゴリズム（Ｋａｌｍａｎ  ｆｉｌｔｅｒ  ａｌｇｏｒｉｔｈｍ）を使用して生成し、（ｉ−２）前記予測状態ベクトルに対応して、前記以前のバウンディングボックスの位置からトラッキングされた前記現在の映像フレーム上における少なくとも一つの予測バウンディングボックスを生成し、前記予測状態ベクトルに対応する前記予測バウンディングボックスは予測された位置に関する情報を含み、（ｉ−３）前記プロポーザルボックスのうち前記予測バウンディングボックスを参照して選択される少なくとも一つの特定のプロポーザルボックスを少なくとも一つのシードボックス（ｓｅｅｄ  ｂｏｘ）として決定するプロセス、及び（ｉｉ）ＦＣＮ（Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋ）をもって、前記特徴マップに少なくとも一つのフル（ｆｕｌｌ）コンボリューション演算を適用して少なくとも一つの位置基盤スコアマップ（ｐｏｓｉｔｉｏｎ  ｓｅｎｓｉｔｉｖｅ  ｓｃｏｒｅ  ｍａｐ）を出力させるプロセスを遂行する段階；（ｃ）前記テスト装置が、少なくとも一つのプーリングレイヤ（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）をもって、前記位置基盤スコアマップ上で前記シードボックスに対応する領域をプーリングして、前記特定のプロポーザルボックスに対応する少なくとも一つのクラススコアと少なくとも一つのリグレッションデルタとを算出させる段階；及び（ｄ）前記テスト装置が、前記リグレッションデルタと前記シードボックスとを参照して、前記現在の映像フレーム上における前記物体に対応する少なくとも一つの現在のバウンディングボックスを生成し、前記カルマンフィルタアルゴリズムを利用して前記現在のバウンディングボックスを調整する段階；を含むことを特徴とする方法が提供される。
【００１４】
一実施例において、前記（ｂ）段階で、前記テスト装置は前記カルマンフィルタアルゴリズムを利用して、前記以前の映像フレームの少なくとも一つの以前の誤差の共分散（Ｅｒｒｏｒ  Ｃｏｖａｒｉａｎｃｅ）を参照して、前記現在の映像フレームの少なくとも一つの予測誤差の共分散を算出することを特徴とする方法が提供される。
【００１５】
一実施例において、前記（ｄ）段階で、前記テスト装置は、（ｉ）前記予測誤差の共分散を利用してカルマンゲイン（Ｋａｌｍａｎ  ｇａｉｎ）を取得し、（ｉｉ）前記カルマンゲインと前記予測状態ベクトルとを利用して前記現在のバウンディングボックスの位置情報による前記現在のバウンディングボックスの現在の状態ベクトルをアップデートし、（ｉｉｉ）前記カルマンゲインと前記予測誤差の共分散を利用して、前記現在の映像フレームの現在の誤差の共分散をアップデートすることを特徴とする方法が提供される。
【００１６】
一実施例において、前記（ｃ）段階で、前記テスト装置は、前記位置基盤スコアマップにおいて前記シードボックスに対応する少なくとも一つの領域にプーリング演算を適用し、前記プーリングされた位置基盤スコアマップにグローバルプーリング演算を適用して、前記特定のプロポーザルボックスに対応する前記クラススコアと前記リグレッションデルタとを算出させることを特徴とする方法が提供される。
【００１７】
一実施例において、前記（ｂ）段階で、前記テスト装置は、（ｉ）前記予測バウンディングボックスの位置情報及び前記それぞれのプロポーザルボックスの各位置情報、（ｉｉ）前記予測バウンディングボックスと前記それぞれのプロポーザルボックスとの間のそれぞれの重なる面積、並びに（ｉｉｉ）前記予測バウンディングボックスの前記位置情報、前記それぞれのプロポーザルボックスの各位置情報、及び前記それぞれの重なる面積のうち一種類を参照して前記シードボックスを決定することを特徴とする方法が提供される。
【００１８】
一実施例において、前記（ａ）段階で、前記テスト装置は、少なくとも一つのコンボリューションレイヤ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｌａｙｅｒ）をもって、前記現在の映像フレームに少なくとも一つのコンボリューション演算を適用して前記特徴マップを取得させ、前記ＲＰＮをもって、前記特徴マップ上の前記物体が含まれるものと推定される領域に対応する前記プロポーザルボックスを出力するように支援することを特徴とする方法が提供される。
【００１９】
一実施例で、前記（ａ）段階以前に、学習装置が、（ｉ）前記コンボリューションレイヤをもって、少なくとも一つのトレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つのトレーニング用特徴マップを取得させ、（ｉｉ）（ｉｉ−１）前記ＲＰＮをもって、前記トレーニング用特徴マップ上の少なくとも一つのトレーニング用物体が含まれるものと予測される各領域に対応する少なくとも一つのトレーニング用プロポーザルボックスをそれぞれ生成させ、（ｉｉ−２）前記ＦＣＮ（Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋ）をもって、前記トレーニング用特徴マップに少なくとも一つのフルコンボリューション演算を適用して少なくとも一つのトレーニング用位置基盤スコアマップを生成させ、（ｉｉｉ）前記プーリングレイヤをもって、前記トレーニング用位置基盤スコアマップ上の前記各領域をプーリングして、前記トレーニング用プロポーザルボックスそれぞれに対応するトレーニング用クラススコアそれぞれとトレーニング用リグレッションデルタそれぞれとを算出させ、（ｉｖ）少なくとも一つのロスレイヤ（ｌｏｓｓ  ｌａｙｅｒ）をもって、前記それぞれのトレーニング用リグレッションデルタと、前記それぞれのトレーニング用クラススコアと、これにそれぞれ対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出することにより、前記ロスをバックプロパゲーションすることで前記ＦＣＮと前記コンボリューションレイヤのパラメータとを学習させることを特徴とする方法が提供される。
【００２０】
本発明の他の態様によると、トラッキングネットワーク（Ｔｒａｃｋｉｎｇ  ｎｅｔｗｏｒｋ）を含むＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を使用して少なくとも一つの物体をトラッキングする方法において、（ａ）テスト装置が、入力される映像の現在映像フレームを利用して少なくとも一つの特徴マップ（ｆｅａｔｕｒｅ  ｍａｐ）を取得し、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって、前記特徴マップに少なくとも一つの演算を適用させて前記物体に対応する少なくとも一つのプロポーザルボックス（ｐｒｏｐｏｓａｌ  ｂｏｘ）に関する情報を生成させる段階；（ｂ）前記テスト装置が、（ｉ）以前の映像フレーム上に位置する前記物体に対応する少なくとも一つの以前のバウンディングボックスの少なくとも一つの以前の状態ベクトルから、少なくとも前記現在の映像フレーム上に前記物体が位置するものと予測される前記以前のバウンディングボックスの少なくとも一つの予測状態ベクトルをカルマンフィルタアルゴリズム（Ｋａｌｍａｎ  ｆｉｌｔｅｒ  ａｌｇｏｒｉｔｈｍ）を使用して生成し、（ｉｉ）前記予測状態ベクトルに対応して、前記以前のバウンディングボックスの位置からトラッキングされた前記現在の映像フレーム上における少なくとも一つの予測バウンディングボックスを生成し、前記予測状態ベクトルに対応する前記予測バウンディングボックスは、予測された位置に関する情報を含み、（ｉｉｉ）前記プロポーザルボックスのうち前記予測バウンディングボックスを参照して選択される少なくとも一つの特定のプロポーザルボックスを少なくとも一つのシードボックス（ｓｅｅｄ  ｂｏｘ）として決定するプロセスを遂行する段階；（ｃ）前記テスト装置が、少なくとも一つのプーリングレイヤ（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）をもって、前記特徴マップ上で前記シードボックスに対応する少なくとも一つの領域をプーリングして、少なくとも一つの特徴ベクトルを生成し、少なくとも一つのＦＣレイヤ（ＦＣ  ｌａｙｅｒ）をもって、前記特徴ベクトルに少なくとも一つのＦＣ演算（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ  ｏｐｅｒａｔｉｏｎ）を適用して、前記特定のプロポーザルボックスに対応する少なくとも一つのクラススコアと少なくとも一つのリグレッションデルタとを算出させる段階；及び（ｄ）前記テスト装置が、前記リグレッションデルタと前記シードボックスとを参照して、前記現在の映像フレーム上における前記物体に対応する少なくとも一つの現在のバウンディングボックスを生成し、前記カルマンフィルタアルゴリズムを利用して前記現在のバウンディングボックスを調整する段階；を含むことを特徴とする方法が提供される。
【００２１】
一実施例において、前記（ｂ）段階で、前記テスト装置は、前記カルマンフィルタアルゴリズムを利用して、前記以前の映像フレームの少なくとも一つの以前の誤差の共分散（Ｅｒｒｏｒ  Ｃｏｖａｒｉａｎｃｅ）を参照して、前記現在の映像フレームの少なくとも一つの予測誤差の共分散を算出することを特徴とする方法が提供される。
【００２２】
一実施例において、前記（ｄ）段階で、前記テスト装置は、（ｉ）前記予測誤差の共分散を利用してカルマンゲイン（Ｋａｌｍａｎ  ｇａｉｎ）を取得し、（ｉｉ）前記カルマンゲインと前記予測状態ベクトルとを利用して前記現在のバウンディングボックスの位置情報による前記現在のバウンディングボックスの現在の状態ベクトルをアップデートし、（ｉｉｉ）前記カルマンゲインと前記予測誤差の共分散を利用して前記現在の映像フレームの現在誤差の共分散をアップデートすることを特徴とする方法が提供される。
【００２３】
一実施例において、前記（ｂ）段階で、前記テスト装置は、（ｉ）前記予測バウンディングボックスの位置情報及び前記それぞれのプロポーザルボックスの各位置情報、（ｉｉ）前記予測バウンディングボックスと前記それぞれのプロポーザルボックスとの間のそれぞれの重なる面積、並びに（ｉｉｉ）前記予測バウンディングボックスの前記位置情報、前記それぞれのプロポーザルボックスの各位置情報、及び前記それぞれの重なる面積のうち一種類を参照して前記シードボックスを決定することを特徴とする装置が提供される。
【００２４】
一実施例において、前記（ａ）段階で、前記テスト装置は、少なくとも一つのコンボリューションレイヤ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｌａｙｅｒ）をもって、前記現在の映像フレームに少なくとも一つのコンボリューション演算を適用して前記特徴マップを取得させ、前記ＲＰＮをもって、前記特徴マップ上の前記物体が含まれるものと推定される領域に対応する前記プロポーザルボックスを出力するように支援することを特徴とする方法が提供される。
【００２５】
一実施例において、前記（ａ）段階以前に、学習装置が、（ｉ）前記コンボリューションレイヤをもって、少なくとも一つのトレーニングイメージにコンボリューション演算を適用して少なくとも一つのトレーニング用特徴マップを取得させ、（ｉｉ）前記ＲＰＮをもって、前記トレーニング用特徴マップ上の少なくとも一つのトレーニング用物体が含まれるものと予測される各領域に対応する少なくとも一つのトレーニング用プロポーザルボックスをそれぞれ生成させ、（ｉｉｉ）前記プーリングレイヤをもって、前記トレーニング用特徴マップ上の前記トレーニング用プロポーザルボックスそれぞれに対応する各領域をプーリングして、前記トレーニング用プロポーザルボックスそれぞれに対応する少なくとも一つのトレーニング用特徴ベクトルを算出させ、前記ＦＣレイヤをもって、前記トレーニング用特徴ベクトルにＦＣ演算を適用して、前記トレーニング用プロポーザルボックスそれぞれに対応するそれぞれのトレーニング用クラススコアとそれぞれのトレーニング用リグレッションデルタを算出するようにし、（ｉｖ）少なくとも一つのロスレイヤをもって、それぞれのトレーニング用リグレッションデルタと、それぞれのトレーニング用クラススコアと、これにそれぞれ対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出し、前記ロスをバックプロパゲーションすることにより、前記ＦＣＮと前記コンボリューションレイヤのパラメータとを学習させることを特徴とする方法が提供される。
【００２６】
本発明のまた他の態様によると、トラッキングネットワーク（Ｔｒａｃｋｉｎｇ  ｎｅｔｗｏｒｋ）を含むＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を使用して少なくとも一つの物体をトラッキングする装置において、入力される映像の少なくとも一つの映像フレームを取得する通信部；及び（Ｉ）入力される映像の現在の映像フレームを利用して少なくとも一つの特徴マップ（ｆｅａｔｕｒｅ  ｍａｐ）を取得し、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって、前記特徴マップに少なくとも一つの演算を適用させて前記物体に対応する少なくとも一つのプロポーザルボックス（ｐｒｏｐｏｓａｌ  ｂｏｘ）に対する情報を生成させるプロセス；（ＩＩ）（ＩＩ−１）（ｉ）以前の映像フレーム上に位置する前記物体に対応する少なくとも一つの以前のバウンディングボックスの少なくとも一つの以前の状態ベクトルから、少なくとも前記現在の映像フレーム上に前記物体が位置するものと予測される前記以前のバウンディングボックスの少なくとも一つの予測状態ベクトルをカルマンフィルタアルゴリズム（Ｋａｌｍａｎ  ｆｉｌｔｅｒ  ａｌｇｏｒｉｔｈｍ）を使用して生成し、（ｉｉ）前記予測状態ベクトルに対応して、前記以前のバウンディングボックスの位置からトラッキングされた前記現在の映像フレーム上における少なくとも一つの予測バウンディングボックスを生成し、前記予測状態ベクトルに対応する前記予測バウンディングボックスは予測された位置に関する情報を含み、（ｉｉｉ）前記プロポーザルボックスのうち前記予測バウンディングボックスを参照して選択される少なくとも一つの特定のプロポーザルボックスを少なくとも一つのシードボックス（ｓｅｅｄ  ｂｏｘ）として決定するプロセス、及び（ＩＩ−２）ＦＣＮ（Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋ）をもって、前記特徴マップに少なくとも一つのフル（ｆｕｌｌ）コンボリューション演算を適用して少なくとも一つの位置基盤スコアマップ（ｐｏｓｉｔｉｏｎ  ｓｅｎｓｉｔｉｖｅ  ｓｃｏｒｅ  ｍａｐ）を出力させるプロセス；（ＩＩＩ）少なくとも一つのプーリングレイヤ（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）をもって、前記位置基盤のスコアマップ上で前記シードボックスに対応する領域をプーリングして、前記特定のプロポーザルボックスに対応する少なくとも一つのクラススコアと少なくとも一つのリグレッションデルタとを算出させるプロセス；及び（ＩＶ）前記リグレッションデルタと前記シードボックスとを参照して、前記現在の映像フレーム上における前記物体に対応する少なくとも一つの現在のバウンディングボックスを調整するプロセス；を遂行するプロセスを含むことを特徴とする装置が提供される。
【００２７】
一実施例において、前記プロセッサは、前記（ＩＩ）プロセスで、前記カルマンフィルタアルゴリズムを利用して、前記以前の映像フレームの少なくとも一つの以前の誤差の共分散（Ｅｒｒｏｒ  Ｃｏｖａｒｉａｎｃｅ）を参照して前記現在の映像フレームの少なくとも一つの以前の予測誤差の共分散を算出することを特徴とする装置が提供される。
【００２８】
一実施例において、前記プロセッサは、前記（ＩＶ）プロセスで、前記予測誤差の共分散を利用してカルマンゲイン（Ｋａｌｍａｎ  ｇａｉｎ）を取得し、前記カルマンゲインゲインと前記予測状態ベクトルを利用して前記現在のバウンディングボックスの位置情報による前記現在のバウンディングボックスの現在の状態ベクトルをアップデートし、前記カルマンゲインと前記予測誤差の共分散を利用して前記現在の映像フレームの現在の誤差の共分散をアップデートすることを特徴とする装置が提供される。
【００２９】
一実施例において、前記プロセッサは、前記（ＩＩＩ）プロセスで、前記位置基盤スコアマップにおいて前記シードボックスに対応する少なくとも一つの領域にプーリング演算を適用し、前記プーリングされた位置基盤スコアマップにグローバルプーリング演算を適用して、前記特定のプロポーザルボックスに対応する前記クラススコアと前記リグレッションデルタとを算出させることを特徴とする装置が提供される。
【００３０】
一実施例において、前記プロセッサは、前記（ＩＩ）プロセスで、（ｉ）前記予測バウンディングボックスの位置情報及び前記それぞれのプロポーザルボックスの各位置情報、（ｉｉ）前記予測バウンディングボックスと前記それぞれのプロポーザルボックスとの間のそれぞれの重なる面積、並びに（ｉｉｉ）前記予測バウンディングボックスの前記位置情報、前記それぞれのプロポーザルボックスの各位置情報、及び前記それぞれの重なる面積のうち一種類を参照して前記シードボックスを決定することを特徴とする装置が提供される。
【００３１】
一実施例において、前記プロセッサは、前記（Ｉ）プロセスで、少なくとも一つのコンボリューションレイヤ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｌａｙｅｒ）をもって、前記現在の映像フレームに少なくとも一つのコンボリューション演算を適用して前記特徴マップを取得させ、前記ＲＰＮをもって、前記特徴マップ上の前記物体が含まれるものと推定される領域に対応する前記それぞれのプロポーザルボックスを出力するように支援することを特徴とする装置が提供される。
【００３２】
一実施例で、前記プロセッサは、前記（Ｉ）プロセス以前に、学習装置が、（ｉ）前記コンボリューションレイヤをもって、少なくとも一つのトレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つのトレーニング用特徴マップを取得させ、（ｉｉ）（ｉｉ−１）前記ＲＰＮをもって、前記トレーニング用特徴マップ上の少なくとも一つのトレーニング用物体が含まれるものと予測される各領域に対応する少なくとも一つのトレーニング用プロポーザルボックスをそれぞれ生成させ、（ｉｉ−２）前記ＦＣＮ（Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋ）をもって、前記トレーニング用特徴マップに少なくとも一つのフルコンボリューション演算を適用して少なくとも一つのトレーニング用位置基盤スコアマップを生成させ、（ｉｉｉ）前記プーリングレイヤをもって前記トレーニング用位置基盤スコアマップ上の前記各領域をプーリングして、前記トレーニング用プロポーザルボックスそれぞれに対応するトレーニング用クラススコアそれぞれと、トレーニング用リグレッションデルタそれぞれを算出させ、（ｉｖ）少なくとも一つのロスレイヤ（ｌｏｓｓ  ｌａｙｅｒ）をもって、前記それぞれのトレーニング用リグレッションデルタと、前記それぞれのトレーニング用クラススコアと、これに対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出することにより、前記ロスをバックプロパゲーションすることで前記ＦＣＮと前記コンボリューションレイヤのパラメータとを学習させることを特徴とする装置が提供される。
【００３３】
本発明のまた他の態様によると、トラッキングネットワークを含むＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を使用して少なくとも一つの物体をトラッキングする装置において、入力される映像の少なくとも一つの映像フレームを取得する通信部；及び（Ｉ）入力される映像の現在の映像フレームを利用して、少なくとも一つの特徴マップ（ｆｅａｔｕｒｅ  ｍａｐ）を取得し、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって、前記特徴マップに少なくとも一つの演算を適用させて前記物体に対応する少なくとも一つのプロポーザルボックス（ｐｒｏｐｏｓａｌ  ｂｏｘ）に関する情報を生成させるプロセス；（ＩＩ）（ｉ）以前の映像フレーム上に位置する前記物体に対応する少なくとも一つの以前のバウンディングボックスの少なくとも一つの以前の状態ベクトルから、少なくとも前記現在の映像フレーム上に前記物体が位置するものと予測される前記以前のバウンディングボックスの少なくとも一つの予測状態ベクトルをもってカルマンフィルタアルゴリズム（Ｋａｌｍａｎ  ｆｉｌｔｅｒ  ａｌｇｏｒｉｔｈｍ）を使用して生成し、（ｉｉ）前記予測状態ベクトルに対応して、前記以前のバウンディングボックスの位置からトラッキングされた前記現在の映像フレーム上における少なくとも一つの予測バウンディングボックスを生成し、前記予測状態ベクトルに対応する前記予測バウンディングボックスは、予測された位置に関する情報を含み、（ｉｉｉ）前記プロポーザルボックスのうち前記予測バウンディングボックスを参照して選択される少なくとも一つの特定のプロポーザルボックスを少なくとも一つのシードボックス（ｓｅｅｄ  ｂｏｘ）として決定するプロセス；（ＩＩＩ）少なくとも一つのプーリングレイヤ（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）をもって、前記特徴マップ上で前記シードボックスに対応する少なくとも一つの領域をプーリングして、少なくとも一つの特徴ベクトルを生成し、少なくとも一つのＦＣレイヤ（ＦＣ  ｌａｙｅｒ）をもって、前記特徴ベクトルに少なくとも一つのＦＣ演算（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ  ｏｐｅｒａｔｉｏｎ）を適用して、前記特定のプロポーザルボックスに対応する少なくとも一つのクラススコアと少なくとも一つのリグレッションデルタとを算出させるプロセス；及び（ＩＶ）前記リグレッションデルタと前記シードボックスとを参照して前記現在の映像フレーム上における前記物体に対応する少なくとも一つの現在のバウンディングボックスを生成し、前記カルマンフィルタアルゴリズムを利用して、前記現在のバウンディングボックスを調整するプロセス；を遂行するプロセッサを含むことを特徴とする装置が提供される。
【００３４】
一実施例において、前記プロセッサは、前記（ＩＩ）プロセスで、前記カルマンフィルタアルゴリズムを利用して、前記以前の映像フレームの少なくとも一つの以前の誤差の共分散（Ｅｒｒｏｒ  Ｃｏｖａｒｉａｎｃｅ）を参照して、前記現在の映像フレームの少なくとも一つの予測誤差の共分散を算出することを特徴とする装置が提供される。
【００３５】
一実施例において、前記プロセッサは、前記（ＩＶ）プロセスで、前記予測誤差の共分散を利用してカルマンゲイン（Ｋａｌｍａｎ  ｇａｉｎ）を取得し、前記カルマンゲインゲインと前記予測状態ベクトルを利用して前記現在のバウンディングボックスの位置情報による前記現在のバウンディングボックスの現在の状態ベクトルをアップデートし、前記カルマンゲインと前記予測誤差の共分散を利用して前記現在の映像フレームの現在の誤差の共分散をアップデートすることを特徴とする装置が提供される。
【００３６】
一実施例において、前記プロセッサは、前記（ＩＩ）プロセスで、（ｉ）前記予測バウンディングボックスの位置情報及び前記それぞれのプロポーザルボックスの各位置情報、（ｉｉ）前記予測バウンディングボックスと前記それぞれのプロポーザルボックスとの間のそれぞれの重なる面積、並びに（ｉｉｉ）前記予測バウンディングボックスの前記位置情報、前記それぞれのプロポーザルボックスの各位置情報、及び前記それぞれの重なる面積のうちの一種類を参照して前記シードボックスを決定することを特徴とする装置が提供される。
【００３７】
一実施例において、前記プロセッサは、前記（Ｉ）プロセスで、少なくとも一つのコンボリューションレイヤ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｌａｙｅｒ）をもって、前記現在の映像フレームに少なくとも一つのコンボリューション演算を適用して前記特徴マップを取得させ、前記ＲＰＮをもって、前記特徴マップ上の前記物体が含まれるものと推定される領域に対応する前記プロポーザルボックスを出力するように支援することを特徴とする装置が提供される。
【００３８】
一実施例において、前記プロセッサは、前記（Ｉ）プロセス以前に、学習装置が、（ｉ）前記コンボリューションレイヤをもって、少なくとも一つのトレーニングイメージにコンボリューション演算を適用して少なくとも一つのトレーニング用特徴マップを取得させ、（ｉｉ）前記ＲＰＮをもって、前記トレーニング用特徴マップ上の少なくとも一つのトレーニング用物体が含まれるものと予測される各領域に対応する少なくとも一つのトレーニング用プロポーザルボックスをそれぞれ生成させ、（ｉｉｉ）前記プーリングレイヤをもって、前記トレーニング用特徴マップ上の前記トレーニング用プロポーザルボックスそれぞれに対応する各領域をプーリングして、前記トレーニング用プロポーザルボックスそれぞれに対応する少なくとも一つのトレーニング用特徴ベクトルを算出させ、前記ＦＣレイヤをもって、前記トレーニング用特徴ベクトルにＦＣ演算を適用して、前記トレーニング用プロポーザルボックスそれぞれに対応するそれぞれのトレーニング用クラススコアとそれぞれのトレーニング用リグレッションデルタを算出するようにし、（ｉｖ）少なくとも一つのロスレイヤをもって、それぞれのトレーニング用リグレッションデルタと、それぞれのトレーニング用クラススコアと、これにそれぞれ対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出し、前記ロスをバックプロパゲーションすることにより前記ＦＣＮと前記コンボリューションレイヤのパラメータとを学習させることを特徴とする装置が提供される。
【発明の効果】
【００３９】
本発明はトラッキングネットワークを含むＣＮＮを利用して物体をトラッキングすることが可能となる。
【００４０】
また、本発明は、物体トラッキングのための別途の学習が必要でないトラッキングネットワークを含むＣＮＮを提供することができる。
【００４１】
また、本発明は、物体検出で学習されたＣＮＮを利用して物体トラッキングを遂行可能なようにすることで、物体トラッキングのための開発に要する費用と時間を最小化することができる。
【００４２】
また、本発明は、物体検出を遂行する既存のＣＮＮに比べて少ない演算量で物体トラッキングをすることができるようになる。
【図面の簡単な説明】
【００４３】
本発明の実施例の説明に利用されるために添付された以下の図面は、本発明の実施例のうち単に一部であるにすぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
【００４４】
【図１】図１は、本発明の一実施例によるトラッキングネットワークを含むＣＮＮを利用して、少なくとも一つの物体をトラッキングするテスト装置を簡略に示したものである。
【図２】図２は、本発明の一実施例によるトラッキングネットワークを含むＣＮＮを利用して物体をトラッキングする方法を簡略に示したものである。
【図３】図３は、本発明の一実施例によるトラッキングネットワークを含むＣＮＮを利用して物体をトラッキングする方法において、少なくとも一つの特徴マップを取得する状態を簡略に示したものである。
【図４】図４は、本発明の一実施例によるトラッキングネットワークを含むＣＮＮを利用して物体をトラッキングする方法において、一つ以上のプロポーザルボックスを取得する状態を簡略に示したものである。
【図５】図５は、本発明の一実施例によるトラッキングネットワークを含むＣＮＮを利用して物体をトラッキングする方法において、少なくとも一つの予測バウンディングボックスを取得する状態を簡略に示したものである。
【図６】図６は、本発明の一実施例によるトラッキングネットワークを含むＣＮＮを利用して物体をトラッキングする方法において、カルマンフィルタアルゴリズムを簡略に示したものである。
【図７】図７は、本発明の一実施例によるトラッキングネットワークを含むＣＮＮを利用して物体をトラッキングする方法において、少なくとも一つのシードボックスを取得する状態を簡略に示したものである。
【図８】図８は、本発明の一実施例によるトラッキングネットワークを含むＣＮＮを利用して物体をトラッキングする方法において、物体の少なくとも一つのバウンディングボックスを取得する状態を簡略に示したものである。
【図９】図９は、本発明の他の実施例によるトラッキングネットワークを含むＣＮＮを利用して物体をトラッキングするテスト装置を簡略に示したものである。
【図１０】図１０は、本発明の他の実施例によるトラッキングネットワークを含むＣＮＮを利用して物体をトラッキングする方法を簡略に示したものである。
【発明を実施するための形態】
【００４５】
後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法及び各長所を明らかにするために、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。
【００４６】
本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現される得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
【００４７】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【００４８】
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
【００４９】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施するようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することとする。
【００５０】
図１は、本発明の一実施例によるトラッキングネットワークを含むＣＮＮを使用して物体をトラッキングするテスト装置１００を簡略に示したものであって、図１を参照すると、テスト装置１００は通信部１１０とプロセッサ１２０を含むことができる。
【００５１】
先ず、通信部１１０は、入力される映像のうち少なくとも一つの現在の映像フレームを取得することができる。この際、映像はイメージシーケンスを含むことができる。
【００５２】
次に、プロセッサ１２０は、（ｉ）入力される映像の現在の映像フレームを利用して少なくとも一つの特徴マップ（ｆｅａｔｕｒｅ  ｍａｐ）を取得し、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって、前記特徴マップに少なくとも一つの演算を適用させて前記物体に対応する少なくとも一つのプロポーザルボックス（ｐｒｏｐｏｓａｌ  ｂｏｘ）に関する情報を生成させる第１プロセス；（ｉｉ）（ｉｉ−１）以前の映像フレーム上に位置する前記物体に対応する少なくとも一つの以前のバウンディングボックスの少なくとも一つの以前の状態ベクトルから、少なくとも前記現在の映像フレーム上に前記物体が位置するものと予測される前記以前のバウンディングボックスの少なくとも一つの予測状態ベクトルをカルマンフィルタアルゴリズム（Ｋａｌｍａｎ  ｆｉｌｔｅｒ  ａｌｇｏｒｉｔｈｍ）を使用して生成し、（ｉｉ−２）前記予測状態ベクトルに対応して、前記以前のバウンディングボックスの位置からトラッキングされた前記現在の映像フレーム上における少なくとも一つの予測バウンディングボックスを生成し、前記予測状態ベクトルに対応する前記予測バウンディングボックスは、予測された位置に関する情報を含み、（ｉｉ−３）前記プロポーザルボックスのうち前記予測バウンディングボックスを参照して選択される少なくとも一つの特定のプロポーザルボックスを少なくとも一つのシードボックス（ｓｅｅｄ  ｂｏｘ）として決定し、（ｉｉ−４）ＦＣＮ（Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋ）をもって、前記特徴マップに少なくとも一つのフル（ｆｕｌｌ）コンボリューション演算を適用して少なくとも一つの位置基盤スコアマップ（ｐｏｓｉｔｉｏｎ  ｓｅｎｓｉｔｉｖｅ  ｓｃｏｒｅ  ｍａｐ）を出力させる第２プロセス；（ｉｉｉ）少なくとも一つのプーリングレイヤ（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）をもって、前記位置基盤のスコアマップ上で前記シードボックスに対応する領域をプーリングして、前記特定のプロポーザルボックスに対応する少なくとも一つのクラススコアと少なくとも一つのリグレッションデルタとを算出させる第３プロセス；及び（ｉｖ）前記リグレッションデルタと前記シードボックスとを参照して、前記現在の映像フレーム上における前記物体に対応する少なくとも一つの現在のバウンディングボックスを生成し、前記カルマンフィルタアルゴリズムを利用して前記現在のバウンディングボックスを調整する第４プロセスを遂行することができる。
【００５３】
この際、本発明の一実施例によるテスト装置１００は、コンピュータ装置であって、プロセッサを搭載して演算能力を備えた装置であればいくらでも本発明によるテスト装置１００として採択され得る。また、図１では一つのテスト装置１００のみを示したが、これに限定されず、テスト装置は複数個に分けて役割を遂行することもできる。
【００５４】
このように構成された本発明の一実施例によるテスト装置１００を利用してトラッキングネットワークを含むＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を使用して物体をトラッキングする方法を、図２を参照して説明すると以下のとおりである。
【００５５】
まず、テスト装置１００は、入力される映像の現在の映像フレームＶＦから特徴マップＦＭを取得する。
【００５６】
一例として、図３を参照すると、ビジョンセンサ（図示せず）などによって撮影された映像が入力されると、テスト装置１００は、入力される映像の現在の映像フレームＶＦを取得するか、又は他の装置をもって取得するように支援し、一つ以上のコンボリューションレイヤ１２１をもって、現在の映像フレームＶＦに一回以上のコンボリューション演算を適用して特徴マップＦＭを出力させる。この際、現在の映像フレームＶＦは、ＲＧＢの３チャンネルを有する１２８０ｘ７２０サイズのイメージであり得、特徴マップＦＭは４０ｘ２３サイズである２５６チャンネルを有することができるが、それぞれのサイズ及びチャンネルデプスはこれに限定されず、多様なサイズと多様なチャンネルデプスを有することができる。
【００５７】
次に、テスト装置１００は、取得された特徴マップＦＭをＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）１２２に入力し、ＲＰＮをもって、特徴マップに少なくとも一つの演算を適用して、物体に対応するプロポーザルボックスＰＢに関する情報を生成する。
【００５８】
一例として、図４を参照すると、テスト装置１００はＲＰＮ１２２をもって、特徴マップＦＭ上に物体を含むものと推定される領域に対応するプロポーザルボックスＰＢ１、ＰＢ２、ＰＢ３、ＰＢ４を出力するように支援することができる。ここで、図４では４つのプロポーザルボックスＰＢ１、ＰＢ２、ＰＢ３、ＰＢ４を示したが、これは説明の便宜のためであって物体に対応するプロポーザルボックスの個数はこれに限定されない。また、図４ではトラッキングとしようとする一つの物体を例示的に示しているが、これに限定されず、トラッキングとしようとする物体は２つ以上になり得、トラッキングとしようとする複数の物体それぞれに対して複数のプロポーザルボックスを出力することができる。そして、図４では複数のプロポーザルボックスＰＢ１、ＰＢ２、ＰＢ３、ＰＢ４を現在の映像フレームＶＦに示したが、これは説明の便宜のためであると理解されるべきである。
【００５９】
再び図２を参照すると、テスト装置１００は、カルマンフィルタアルゴリズム１２３を利用して、現在の映像フレームＶＦで少なくとも一つの物体の位置と予測される少なくとも一つの予測バウンディングボックスＥＢＢ（予測バウンディングボックスは、以前のバウンディングボックスからトラッキングされるバウンディングボックスであり、以前のバウンディングボックスは以前の映像フレームに位置した物体に対応するバウンディングボックスである）を生成するか、又は他の装置によって生成するように支援する。
【００６０】
一例として、図５を参照すると、テスト装置１００は（ｉ）以前の映像フレーム上に位置する前記物体に対応する少なくとも一つの以前のバウンディングボックス（図示せず）の少なくとも一つの以前の状態ベクトルから、少なくとも前記現在の映像フレーム上に前記物体が位置するものと予測される前記以前のバウンディングボックスの少なくとも一つの予測状態ベクトルをカルマンフィルタアルゴリズム１２３を使用して生成し、（ｉｉ）前記予測状態ベクトルに対応して、前記以前のバウンディングボックスの位置からトラッキングされた前記現在の映像フレーム上における少なくとも一つの予測バウンディングボックスＥＢＢを生成し、前記予測状態ベクトルに対応する前記予測バウンディングボックスは、予測された位置に関する情報を含む。
【００６１】
また、テスト装置１００は、カルマンフィルタアルゴリズム１２３を利用して前記以前の映像フレームの少なくとも一つの以前の誤差の共分散（Ｅｒｒｏｒ  Ｃｏｖａｒｉａｎｃｅ）を参照して、前記現在の映像フレームの少なくとも一つの予測誤差の共分散を算出することができる。
【００６２】
この際、図６を参照して、カルマンフィルタアルゴリズムによって予測バウンディングボックスＥＢＢと予測誤差の共分散を取得する動作をさらに詳しく説明すると以下のとおりである。
【００６３】
まず、カルマンフィルタは次のように初期セッティングが行われ得る。
【００６４】
１．遷移マトリクス（ｔｒａｎｓｉｔｉｏｎ  ｍａｔｒｉｘ）：１２ｘ１２
【表１】
2020061144.tif 000003
【００６５】
２．観測マトリクス（ｏｂｓｅｒｖａｔｉｏｎ  ｍａｔｒｉｘ）：４ｘ１２
【表２】
2020061144.tif 000004
【００６６】
３．測定ノイズ共分散マトリクス（ｍｅａｓｕｒｅｍｅｎｔ  ｎｏｉｓｅ  ｃｏｖａｒｉａｎｃｅ  ｍａｔｒｉｘ）：４ｘ４
【表３】
2020061144.tif 000005
【００６７】
４．工程ノイズ共分散マトリクス（ｐｒｏｃｅｓｓ  ｎｏｉｓｅ  ｃｏｖａｒｉａｎｃｅ  ｍａｔｒｉｘ）：１２ｘ１２
【表４】
2020061144.tif 000006
【００６８】
５．誤差の共分散マトリクス（ｅｒｒｏｒ  ｃｏｖａｒｉａｎｃｅ  ｍａｔｒｉｘ）：１２ｘ１２
【表５】
2020061144.tif 000007
【００６９】
６．状態ベクトル（ｓｔａｔｅ  ｖｅｃｔｏｒ）：１２ｘ１
【表６】
2020061144.tif 000008
【００７０】
７．観測ベクトル（ｏｂｓｅｒｖａｔｉｏｎ  ｖｅｃｔｏｒ）：４ｘ１
【表７】
2020061144.tif 000009
【００７１】
このように、初期設定が行われた状態で、カルマンフィルタは時間アップデートによる予測を通じて、以前の映像フレームにおける物体に対する以前のバウンディングボックスの状態ベクトル（ｘ^k-1）と誤差の共分散（Ｐk-1）とを次の数式１と数式２とを利用して、それぞれ現在の映像フレームにおける予測バウンディングボックスの状態ベクトル（ｘ^k￣）と予測誤差の共分散（Ｐk￣）とを生成する。
【００７２】
【数１】
2020061144.tif 000010
【００７３】
【数２】
2020061144.tif 000011
【００７４】
つまり、以前のバウンディングボックスの位置情報を利用して、以前のバウンディングボックスの現在の映像フレーム上における変更された位置情報である現在の位置情報、すなわち、ｘ＝［ｐｒｅｄｉｃｔｅｄ＿ｘ１，ｐｒｅｄｉｃｔｅｄ＿ｙ１、ｐｒｅｄｉｃｔｅｄ＿ｘ２，ｐｒｅｄｉｃｔｅｄ＿ｙ２，…］を予測する。この際、（ｘ１，ｙ１）は、以前のバウンディングボックスの左上の点の座標情報であり、（ｘ２，ｙ２）は、以前のバウンディングボックスの右下の点の座標情報であり得る。
【００７５】
再び、図２を参照すると、テスト装置１００は、シードボックス選択レイヤ１２４をもって、複数のプロポーザルボックスＰＢ１、ＰＢ２、ＰＢ３、ＰＢ４のうち予測バウンディングボックスＥＢＢを参照して選択される少なくとも一つの特定のプロポーザルボックスをシードボックスＳＢとして決定する。
【００７６】
一例として、テスト装置１００は、複数のプロポーザルボックスＰＢ１、ＰＢ２、ＰＢ３、ＰＢ４のうち予測バウンディングボックスＥＢＢに最も近いプロポーザルボックスをシードボックスＳＢとして決定することができる。
【００７７】
この際、テスト装置１００は、（ｉ）前記予測バウンディングボックスの位置情報及び前記それぞれのプロポーザルボックスの各位置情報、（ｉｉ）前記予測バウンディングボックスと前記それぞれのプロポーザルボックスとの間のそれぞれの重なる面積、並びに（ｉｉｉ）前記予測バウンディングボックスの前記位置情報、前記それぞれのプロポーザルボックスの各位置情報、及び前記それぞれの重なる面積のうち一種類を参照して前記シードボックスを決定することができる。
【００７８】
次に、テスト装置１００は、ＦＣＮ（ｆｕｌｌｙ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｔｗｏｒｋ）１２５をもって、特徴マップＦＭにフルコンボリューション演算を適用して位置基盤スコアマップＰＳＳＭを出力させ、プーリングレイヤ１２６をもって、前記位置基盤スコアマップＰＳＳＭ上で前記シードボックスＳＢに対応する少なくとも一つの領域を少なくとも一回プーリングして、前記特定のプロポーザルボックスに対応する少なくとも一つのクラススコアＣＳと少なくとも一つのリグレッションデルタＲＤとを算出させることができる。ここで、テスト装置は、シードボックスＳＢに対応する少なくとも一つの領域にプーリング演算を適用するか、又は他の装置をもって適用するように支援することができ、位置基盤スコアマップＰＳＳＭ上でプーリングされた位置基盤スコアマップに少なくとも一つのグローバルプーリング演算を適用するか、又は他の装置をもって適用するように支援することで、特定のプロポーザルボックスに対応するクラススコアＣＳ及びリグレッションデルタＲＤを出力することができる。
【００７９】
前記において特徴マップＦＭを利用したＲＰＮ１２２のプロセスと、カルマンフィルタアルゴリズム１２３を利用してシードボックスＳＢを決定するプロセスと、特徴マップＦＭを利用して位置基盤スコアマップＰＳＳＭを生成するＦＣＮ１２５のプロセスとは、順次に説明したが、これとは異なり、順次に関係なしに並列的に行われてもよく、逆にＰＳＳＭの生成が先に遂行されてからシードボックスの決定が行われてもよい。
【００８０】
また、前記においてプーリングレイヤ１２６は、物体に対応する一つのシードボックスＳＢのみを利用してプーリングを遂行するので、従来の物体を検出するＣＮＮで物体に対応する多数のプロポーザルボックスそれぞれに対してプーリングを遂行するのに比べて少ない演算量で物体をトラッキングすることができるようになる。
【００８１】
次に、テスト装置１００は、リグレッションデルタＲＤとシードボックスＳＢとを参照して、現在の映像フレームＶＦ上における物体に対応する少なくとも一つの現在のバウンディングボックスＣＢＢを生成するか、又は他の装置によって生成するように支援し、カルマンフィルタアルゴリズム１２３を利用して現在のバウンディングボックスＣＢＢを補正して、補正された現在のバウンディングボックスＡＢＢを出力することができる。
【００８２】
ここで、カルマンフィルタアルゴリズム１２３は次の数式３のように予測誤差の共分散（Ｐk￣）を利用してカルマンゲイン（Ｋk）を取得し、次の数式４のようにカルマンゲイン（Ｋk）と予測状態ベクトル（ｘ^k￣）とを利用して現在のバウンディングボックスＣＢＢの位置情報（Ｚk）による現在のバウンディングボックスＣＢＢの現在の状態ベクトル（ｘ^k）をアップデートし、次の数式５のようにカルマンゲイン（Ｋk）と予測誤差の共分散（Ｐk￣）とを利用して現在の映像フレームの現在の誤差の共分散（Ｐk）をアップデートする。
【００８３】
【数３】
2020061144.tif 000012
【００８４】
【数４】
2020061144.tif 000013
【００８５】
【数５】
2020061144.tif 000014
【００８６】
一方、図１ないし図８を参照して説明したテスト装置１００のプロセス以前に、トラッキングネットワークを含むＣＮＮは学習装置によって学習された状態であり得る。
【００８７】
つまり、学習装置（図示せず）によって、コンボリューションレイヤ１２１をもって少なくとも一つのトレーニングイメージに少なくとも一つのコンボリューション演算を適用して少なくとも一つのトレーニング用特徴マップを取得させ、前記ＲＰＮ１２２をもって、前記トレーニング用特徴マップ上の少なくとも一つのトレーニング用物体が含まれるものと予測される各領域に対応する少なくとも一つのトレーニング用プロポーザルボックスをそれぞれ生成させ、前記ＦＣＮ１２５をもって、前記トレーニング用特徴マップに少なくとも一つのフルコンボリューション演算を適用して少なくとも一つのトレーニング用位置基盤スコアマップを生成させ、前記プーリングレイヤ１２６をもって、前記トレーニング用位置基盤スコアマップ上の前記各領域をプーリングして、前記トレーニング用プロポーザルボックスそれぞれに対応するトレーニング用クラススコアそれぞれとトレーニング用リグレッションデルタそれぞれとを算出させ、少なくとも一つのロスレイヤ（ｌｏｓｓ  ｌａｙｅｒ）をもって、前記それぞれのトレーニング用リグレッションデルタと、前記それぞれのトレーニング用クラススコアと、これにそれぞれ対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出することにより、前記ロスをバックプロパゲーションすることで、前記ＦＣＮ１２５と前記コンボリューションレイヤ１２１のパラメータを学習させることができる。
【００８８】
次に、図９は本発明の他の実施例によるトラッキングネットワークを含むＣＮＮを使用して物体をトラッキングするテスト装置２００を簡略に示したものであって、図９を参照すると、テスト装置２００は通信部２１０とプロセッサ２２０を含むことができる。
【００８９】
先ず、通信部２１０は、入力される映像の現在の映像フレームを取得することができる。この際、映像はイメージシーケンスを含むことができる。
【００９０】
次に、プロセッサ２２０は（ｉ）入力される映像の現在の映像フレームを利用して少なくとも一つの特徴マップ（ｆｅａｔｕｒｅ  ｍａｐ）を取得し、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって、前記特徴マップに少なくとも一つの演算を適用させて前記物体に対応する少なくとも一つのプロポーザルボックス（ｐｒｏｐｏｓａｌ  ｂｏｘ）に関する情報を生成させる第１プロセス；（ｉｉ）（ｉｉ−１）以前の映像フレーム上に位置する前記物体に対応する少なくとも一つの以前のバウンディングボックスの少なくとも一つの以前の状態ベクトルから、少なくとも前記現在の映像フレーム上に前記物体が位置するものと予測される前記以前のバウンディングボックスの少なくとも一つの予測状態ベクトルをカルマンフィルタアルゴリズム（Ｋａｌｍａｎ  ｆｉｌｔｅｒ  ａｌｇｏｒｉｔｈｍ）を使用して生成し、（ｉｉ−２）前記予測状態ベクトルに対応して、前記以前のバウンディングボックスの位置からトラッキングされた前記現在の映像フレーム上における少なくとも一つの予測バウンディングボックスを生成し、前記予測状態ベクトルに対応する前記予測バウンディングボックスは予測された位置に関する情報を含み、（ｉｉ−３）前記プロポーザルボックスのうち前記予測バウンディングボックスを参照して選択される少なくとも一つの特定のプロポーザルボックスを少なくとも一つのシードボックス（ｓｅｅｄ  ｂｏｘ）として決定する第２プロセス；（ｉｉｉ）少なくとも一つのプーリングレイヤ（ｐｏｏｌｉｎｇ  ｌａｙｅｒ）をもって、前記特徴マップ上で前記シードボックスに対応する少なくとも一つの領域をプーリングして、少なくとも一つの特徴ベクトルを生成し、少なくとも一つのＦＣレイヤ（ＦＣ  ｌａｙｅｒ）をもって、前記特徴ベクトルに少なくとも一つのＦＣ演算（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ  ｏｐｅｒａｔｉｏｎ）を適用して、前記特定のプロポーザルボックスに対応する少なくとも一つのクラススコアと少なくとも一つのリグレッションデルタとを算出させる第３プロセス；及び（ｉｖ）前記リグレッションデルタと前記シードボックスとを参照して前記現在の映像フレーム上における前記物体に対応する少なくとも一つの現在のバウンディングボックスを生成し、前記カルマンフィルタアルゴリズムを利用して前記現在のバウンディングボックスを調整する第４プロセス；を遂行することができる。
【００９１】
この際、本発明の一実施例によるテスト装置２００は、コンピュータ装置であって、プロセッサを搭載して演算能力を備えた装置であればいくらでも本発明によるテスト装置２００として採択され得る。また、図９では一つのテスト装置２００のみを示したが、これに限定されず、テスト装置は複数個に分けて役割を遂行することもできる。
【００９２】
このように構成された本発明の一実施例によるテスト装置２００を利用してトラッキングネットワークを含むＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を使用して物体をトラッキングする方法を、図１０を参照して説明すると以下のとおりである。以下の説明では、図１ないし図８の説明から容易に理解可能な部分については詳細な説明を省略することにする。
【００９３】
まず、テスト装置２００は、入力される映像の現在の映像フレームＶＦから少なくとも一つの特徴マップＦＭを取得する。
【００９４】
一例として、ビジョンセンサ（図示せず）などによって撮影された映像が入力されると、テスト装置２００は入力される映像の現在の映像フレームＶＦを取得するか、又は他の装置によって取得するように支援し、一つ以上のコンボリューションレイヤ２２１をもって、現在の映像フレームＶＦに一回以上のコンボリューション演算を適用して特徴マップＦＭを出力させる。
【００９５】
次に、テスト装置２００は、取得された特徴マップＦＭをＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）２２２に入力し、ＲＰＮをもって、特徴マップに少なくとも一つの演算を適用して、物体に対応するプロポーザルボックスＰＢに関する情報を取得する。
【００９６】
一例として、テスト装置１００は、ＲＰＮ２２２をもって、特徴マップＦＭ上に物体を含むものと推定される領域に対応するプロポーザルボックスＰＢ１、ＰＢ２、ＰＢ３、ＰＢ４を出力するように支援することができる。
【００９７】
そして、テスト装置２００は、カルマンフィルタアルゴリズム２２３を利用して、現在の映像フレームＶＦで少なくとも一つの物体の位置と予測される少なくとも一つの予測バウンディングボックスＥＢＢ（予測バウンディングボックスは、以前のバウンディングボックスからトラッキングされるバウンディングボックスであり、以前のバウンディングボックスは以前の映像フレームに位置した物体に対応するバウンディングボックスである）を生成するか、又は他の装置によって生成するように支援する。
【００９８】
また、テスト装置２００は、カルマンフィルタアルゴリズム２２３を利用して前記以前の映像フレームの少なくとも一つの以前の誤差の共分散（Ｅｒｒｏｒ  Ｃｏｖａｒｉａｎｃｅ）を参照して、前記現在の映像フレームの少なくとも一つの予測誤差の共分散を算出することができる。
【００９９】
次に、テスト装置２００は、シードボックス選択レイヤ２２４をもって、複数のプロポーザルボックスＰＢ１、ＰＢ２、ＰＢ３、ＰＢ４のうち予測バウンディングボックスＥＢＢを参照して選択される少なくとも一つの特定のプロポーザルボックスをシードボックスＳＢとして決定する。
【０１００】
そして、プーリングレイヤ２２５をもって、前記特徴マップ上で前記シードボックスＳＢに対応する少なくとも一つの領域をプーリングして、少なくとも一つの特徴ベクトルを生成し、少なくとも一つのＦＣレイヤ２２６をもって、前記特徴ベクトルに少なくとも一つのＦＣ演算（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ  ｏｐｅｒａｔｉｏｎ）を適用して、前記特定のプロポーザルボックスに対応する少なくとも一つのクラススコアＣＳと少なくとも一つのリグレッションデルタＲＤとを算出させる。
【０１０１】
次に、テスト装置２００は、前記リグレッションデルタＲＤと前記シードボックスＳＢとを参照して前記現在の映像フレーム上における前記物体に対応する少なくとも一つの現在のバウンディングボックスを生成し、前記カルマンフィルタアルゴリズムを利用して前記現在のバウンディングボックスを調整して補正された現在のバウンディングボックスＡＢＢを出力することができる。
【０１０２】
一方、前記のテスト方法以前に、トラッキングネットワークを含むＣＮＮは学習装置によって学習された状態であり得る。
【０１０３】
つまり、学習装置（図示せず）により、前記コンボリューションレイヤ２２１をもって、少なくとも一つのトレーニングイメージにコンボリューション演算を適用して少なくとも一つのトレーニング用特徴マップを取得させ、前記ＲＰＮ２２２をもって、前記トレーニング用特徴マップ上の少なくとも一つのトレーニング用物体が含まれるものと予測される各領域に対応する少なくとも一つのトレーニング用プロポーザルボックスをそれぞれ生成させ、前記プーリングレイヤ２２５をもって、前記トレーニング用特徴マップ上の前記トレーニング用プロポーザルボックスそれぞれに対応する各領域をプーリングして、前記トレーニング用プロポーザルボックスそれぞれに対応する少なくとも一つのトレーニング用特徴ベクトルを算出するようにし、前記ＦＣレイヤ２２６をもって、前記トレーニング用特徴ベクトルにＦＣ演算を適用して、前記トレーニング用プロポーザルボックスそれぞれに対応するそれぞれのトレーニング用クラススコアとそれぞれのトレーニング用リグレッションデルタとを算出するようにし、少なくとも一つのロスレイヤ（図示せず）をもって、それぞれのトレーニング用リグレッションデルタと、それぞれのトレーニング用クラススコアと、これにそれぞれ対応する原本正解（Ｇｒｏｕｎｄ  Ｔｒｕｔｈ）とを参照して少なくとも一つのロスを算出し、前記ロスをバックプロパゲーションすることで、前記ＦＣレイヤ２２６と前記コンボリューションレイヤ２２１のパラメータを学習させることができる。
【０１０４】
また、以上にて説明された本発明による実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカル・ディスク（ｆｌｏｐｔｉｃａｌ  ｄｉｓｋ）のような磁気−光メディア（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ  ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行される高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
【０１０５】
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、係る記載から多様な修正及び変形が行われ得る。
【０１０６】
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。
【図１】
2020061144.tif 000015
【図２】
2020061144.tif 000016
【図３】
2020061144.tif 000017
【図４】
2020061144.tif 000018
【図５】
2020061144.tif 000019
【図６】
2020061144.tif 000020
【図７】
2020061144.tif 000021
【図８】
2020061144.tif 000022
【図９】
2020061144.tif 000023
【図１０】
2020061144.tif 000024