(57)【要約】      （修正有）【課題】客体に対応するバウンディングボックスを獲得する方法を提供する。【解決手段】プロポーザルボックスを獲得し、参照バウンディングボックスとプロポーザルボックスとの間の距離を比較した結果、および／または、プロポーザルボックスが客体を含むか否かを示すスコアを比較した結果、を参照して特定のプロポーザルボックスを選択し、次に、特定のプロポーザルボックスをトラッキングボックス開始領域として設定し、ミーンシフトトラッキングアルゴリズムを用いて現在フレームの特定領域をトラッキングボックスのターゲット領域として決定し、プーリングレイヤが、特定領域に対応する領域に対してプーリング演算を可能とするようにプーリング済み特徴マップを生成することと、ＦＣレイヤが、プーリング済み特徴マップに対してリグレッション演算をすることによりバウンディングボックスを獲得する。【選択図】図３Ｂ
2019075116.tif 000002
【特許請求の範囲】
【請求項１】
トラッキングネットワークを含むＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いてテストイメージ上の少なくとも一つの客体に対応する少なくとも一つのバウンディングボックスを獲得するための方法において、
（ａ）現在フレームとしての前記テストイメージにコンボリューション演算を加えて特徴マップが生成され、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）によって前記特徴マップに所定の演算を加えて複数のプロポーザルボックスに対する情報が出力されると、テスティング装置が、前記複数のプロポーザルボックスを獲得するか獲得するように支援する段階；
（ｂ）前記テスティング装置は、（ｉ）以前フレーム上に位置する前記客体の参照バウンディングボックスと前記各々の複数のプロポーザルボックス間の各距離を比較した結果及び（ｉｉ）前記各々のプロポーザルボックスが前記客体を含むか否かを示す確率値である各々のスコアを比較した結果のうち少なくとも一つを参照して、前記複数のプロポーザルボックスのうち少なくとも一つの特定プロポーザルボックスを選択するか選択するように支援し、前記特定プロポーザルボックスをミーンシフトトラッキングアルゴリズムに用いられるトラッキングボックス開始領域に設定するか設定するように支援する段階；
（ｃ）前記テスティング装置は、前記ミーンシフトトラッキングアルゴリズムを用いて、前記以前フレームの前記客体に対するピクセルデータに対応される確率データ情報と類似すると判断される確率データ情報を有する前記現在フレームの特定領域を前記トラッキングボックスのターゲット領域に決定するか決定するように支援する段階；及び
（ｄ）前記テスティング装置は、プーリングレイヤをもって前記特定領域に対応される前記特徴マップ上の領域に対してプーリングしてプーリング済み特徴マップを生成するようにし、ＦＣレイヤをもって前記プーリング済み特徴マップに対してリグレッション演算をすることでバウンディングボックスを獲得するようにする段階；
を含むことを特徴とする方法。
【請求項２】
前記（ｃ）段階で、
前記以前フレーム上の前記客体に対するピクセルデータに対応される確率データ情報が前記以前フレーム上の前記バウンディングボックスのピクセルデータに対応するヒストグラムであることを特徴とする請求項１に記載の方法。
【請求項３】
（ｅ）前記テスティング装置は、前記バウンディングボックスを次のフレーム上に位置すべき前記客体のトラッキングボックスに用いられ得る参照バウンディングボックスに決定する段階をさらに含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記（ｂ）段階で、
前記テスティング装置は、前記客体の個数が複数の場合（ｉ）前記以前フレーム上の前記客体の前記参照バウンディングボックスと前記各々の複数のプロポーザルボックス間の各々の距離を比較した結果及び（ｉｉ）前記各々のプロポーザルボックスが前記客体を含むか否かを示すと判断される確率値である前記各々のスコアを比較した結果のうち少なくとも一つを参照して、前記複数のプロポーザルボックスのうち前記特定のプロポーザルボックスを選択するか選択するように支援し、前記各々の特定のプロポーザルボックスを前記各々のトラッキングボックスの各々の開始領域に設定するか設定するように支援することを特徴とする請求項１に記載の方法。
【請求項５】
前記（ｂ）段階で、
前記以前フレーム上に位置する前記客体の前記参照バウンディングボックスと前記各々の複数のプロポーザルボックス間の距離は前記参照バウンディングボックスのセンター座標と前記各々の複数のプロポーザルボックスのセンター座標間のＬ２ディスタンスであることを特徴とする請求項１に記載の方法。
【請求項６】
学習装置が（ｉ）コンボリューションレイヤをもってトレーニング用客体を含むトレーニングイメージからトレーニング用特徴マップを獲得するようにし、（ｉｉ）前記ＲＰＮをもって前記トレーニングイメージ上の前記トレーニング用客体に対応する少なくとも一つのトレーニング用プロポーザルボックスを獲得するようにし、（ｉｉｉ）前記プーリングレイヤをもって前記トレーニング用プロポーザルボックスをプーリングしてそれに対応するトレーニング用プーリング済み特徴マップを生成するようにし、（ｉｖ）前記ＦＣレイヤをもって前記トレーニング用プーリング済み特徴マップにリグレッション演算をすることでトレーニング用バウンディングボックスに対するピクセルデータ情報を獲得するようにし、（ｖ）ロスレイヤをもって前記トレーニングイメージ上の前記バウンディングボックスに対する前記ピクセルデータ情報と原本正解イメージ上の前記バウンディングボックスのピクセルデータに対する情報を比較することで比較データを獲得するようにして、前記比較データを利用したバックプロパゲーションを遂行することで前記ＣＮＮの少なくとも一つのパラメータを調整するプロセスをすべて完了した状態で、前記テスティング装置が前記（ａ）ないし（ｄ）段階を遂行することを特徴とする請求項１に記載の方法。
【請求項７】
前記（ｄ）段階で、
前記テスティング装置は、前記プーリング済み特徴マップを生成して前記ＦＣレイヤを通じてリグレッション演算を加える過程によって、前記テストイメージ上の前記客体に対応するようにサイズが調整された前記バウンディングボックスを獲得するか獲得するように支援することを特徴とする請求項１に記載の方法。
【請求項８】
トラッキングネットワークとディテクションネットワークを含むＣＮＮを用いてテストイメージ上の客体に対応するバウンディングボックスを獲得するための方法において、
（ａ）現在フレームとしての前記テストイメージにコンボリューション演算を加えて特徴マップが生成され、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）によって前記特徴マップに所定の演算を加えて複数のプロポーザルボックスに対する情報が出力されると、テスティング装置が、前記複数のプロポーザルボックスを獲得するか獲得するように支援する段階；
（ｂ）前記テスティング装置は、（ｂ−１）（ｉ）以前フレーム上に位置する前記客体の参照バウンディングボックスと前記各々の複数のプロポーザルボックス間の各距離を比較した結果及び（ｉｉ）前記各々のプロポーザルボックスが前記客体を含むか否かを示す確率値である各々のスコアを比較した結果のうち少なくとも一つを参照して、前記複数のプロポーザルボックスのうち少なくとも一つの特定のプロポーザルボックスを選択するか選択するように支援し、前記特定のプロポーザルボックスをミーンシフトトラッキングアルゴリズムに用いられるトラッキングボックス開始領域に設定するか設定するように支援し、（ｂ−２）前記複数のプロポーザルボックスのうち前記トラッキングボックスに設定されていない前記プロポーザルボックスのうち少なくとも一部を複数の未追跡ボックス（ｕｎｔｒａｃｋｅｄ  ｂｏｘ）に設定するか設定するように支援する段階；及び
（ｃ）（ｃ−１）前記テスティング装置は、前記（ｂ−１）段階以後に、前記ミーンシフトトラッキングアルゴリズムを用いて、前記以前フレームの前記客体に対するピクセルデータに対応される確率データ情報と類似すると判断される確率データ情報を有する前記現在フレームの特定領域を前記トラッキングボックスのターゲット領域に決定するか決定するように支援し、第１プーリングレイヤをもって前記特定領域に対応される前記特徴マップ上の領域に対してプーリングして第１プーリング済み特徴マップを生成するようにし、ＦＣレイヤをもって前記第１プーリング済み特徴マップに対してリグレッション演算をすることで第１バウンディングボックスを獲得するようにする段階；及び（ｃ−２）前記テスティング装置は、前記（ｂ−２）段階以後に、第２プーリングレイヤをもって前記複数の未追跡ボックスのうち少なくとも一つに対応する前記特徴マップ上の領域をプーリングして第２プーリング済み特徴マップを生成し、前記ＦＣレイヤが前記第２プーリング済み特徴マップにクラシフィケーション演算を加えて新たな客体を感知すると、前記ＦＣレイヤをもって前記第２プーリング済み特徴マップにリグレッション演算を加えることで第２バウンディングボックスを獲得するようにする段階；
を含むことを特徴とする方法。
【請求項９】
前記（ｃ−２）段階で、
前記テスティング装置は、前記新たな客体に対応する前記第２バウンディングボックスを次のフレームに含まれた前記新たな客体のトラッキングボックスに用いられ得る参照バウンディングボックスに決定することを特徴とする請求項８に記載の方法。
【請求項１０】
前記（ｂ−２）段階で、
（ｉ）前記以前フレームから獲得された前記参照バウンディングボックスと前記各々の複数の未追跡ボックス間の各々のＬ２ディスタンスと（ｉｉ）前記各々の複数の未追跡ボックスが前記客体を含むか否かを示す確率値である各々のスコアのうち少なくとも一つを参照して、複数の未追跡ボックスのうち少なくとも一つの特定未追跡ボックスが選択され、
前記（ｃ−２）段階で、
前記テスティング装置は、前記第２プーリングレイヤをもって前記特定未追跡ボックスに対応する前記特徴マップ上の領域をプーリングして前記第２プーリング済み特徴マップを生成するようにし、前記ＦＣレイヤが前記第２プーリング済み特徴マップに前記クラシフィケーション演算を加えて前記新たな客体を感知すると、前記ＦＣレイヤをもって前記第２プーリング済み特徴マップに前記リグレッション演算を加えることで前記第２バウンディングボックスを獲得するようにすることを特徴とする請求項８に記載の方法。
【請求項１１】
トラッキングネットワークを含むＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いてテストイメージ上の少なくとも一つの客体に対応する少なくとも一つのバウンディングボックスを獲得するためのテスティング装置において、
前記テストイメージまたは前記テストイメージから変換された特徴マップを獲得する通信部；及び
（Ｉ）現在フレームとしての前記テストイメージにコンボリューション演算を加えて前記特徴マップが獲得され、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）によって前記特徴マップに所定の演算を加えて複数のプロポーザルボックスに対する情報が出力されると、前記複数のプロポーザルボックスを獲得するか獲得するように支援するプロセス；（ＩＩ）（ｉ）以前フレーム上に位置する前記客体の参照バウンディングボックスと前記各々の複数のプロポーザルボックス間の各距離を比較した結果及び（ｉｉ）前記各々のプロポーザルボックスが前記客体を含むか否かを示す確率値である各々のスコアを比較した結果のうち少なくとも一つを参照して、前記複数のプロポーザルボックスのうち少なくとも一つの特定プロポーザルボックスを選択するか選択するように支援し、前記特定プロポーザルボックスをミーンシフトトラッキングアルゴリズムに用いられるトラッキングボックス開始領域に設定するか設定するように支援するプロセス；（ＩＩＩ）前記ミーンシフトトラッキングアルゴリズムを用いて、前記以前フレームの前記客体に対するピクセルデータに対応される確率データ情報と類似すると判断される確率データ情報を有する前記現在フレームの特定領域を前記トラッキングボックスのターゲット領域に決定するか決定するように支援するプロセス；（ＩＶ）プーリングレイヤをもって前記特定領域に対応される前記特徴マップ上の領域に対してプーリングしてプーリング済み特徴マップを生成するようにし、ＦＣレイヤをもって前記プーリング済み特徴マップに対してリグレッション演算をすることでバウンディングボックスを獲得するようにするプロセスを遂行するプロセッサ；
を含むことを特徴とするテスティング装置。
【請求項１２】
前記（ＩＩＩ）プロセスで、
前記以前フレーム上の前記客体に対するピクセルデータに対応される確率データ情報が前記以前フレーム上の前記バウンディングボックスのピクセルデータに対応するヒストグラムであることを特徴とする請求項１１に記載のテスティング装置。
【請求項１３】
前記プロセッサは、（Ｖ）前記バウンディングボックスを次のフレーム上に位置すべき前記客体のトラッキングボックスに用いられ得る参照バウンディングボックスに決定するプロセスをさらに遂行することを特徴とする請求項１１に記載のテスティング装置。
【請求項１４】
前記（ＩＩ）プロセスで、
前記プロセッサは、前記客体の個数が複数の場合（ｉ）前記以前フレーム上の前記客体の前記参照バウンディングボックスと前記各々の複数のプロポーザルボックス間の各々の距離を比較した結果及び（ｉｉ）前記各々のプロポーザルボックスが前記客体を含むか否かを示すと判断される確率値である前記各々のスコアを比較した結果のうち少なくとも一つを参照して、前記複数のプロポーザルボックスのうち前記特定のプロポーザルボックスを選択するか選択するように支援し、前記各々の特定のプロポーザルボックスを前記各々のトラッキングボックスの各々の開始領域に設定するか設定するように支援することを特徴とする請求項１１に記載のテスティング装置。
【請求項１５】
前記（ＩＩ）プロセスで、
前記以前フレーム上に位置する前記客体の前記参照バウンディングボックスと前記各々の複数のプロポーザルボックス間の距離は前記参照バウンディングボックスのセンター座標と前記各々の複数のプロポーザルボックスのセンター座標間のＬ２ディスタンスであることを特徴とする請求項１１に記載のテスティング装置。
【請求項１６】
学習装置が（ｉ）コンボリューションレイヤをもってトレーニング用客体を含むトレーニングイメージからトレーニング用特徴マップを獲得するようにし、（ｉｉ）前記ＲＰＮをもって前記トレーニングイメージ上の前記トレーニング用客体に対応する少なくとも一つのトレーニング用プロポーザルボックスを獲得するようにし、（ｉｉｉ）前記プーリングレイヤをもって前記トレーニング用プロポーザルボックスをプーリングしてそれに対応するトレーニング用プーリング済み特徴マップを生成するようにし、（ｉｖ）前記ＦＣレイヤをもって前記トレーニング用プーリング済み特徴マップにリグレッション演算をすることでトレーニング用バウンディングボックスに対するピクセルデータ情報を獲得するようにし、（ｖ）ロスレイヤをもって前記トレーニングイメージ上の前記バウンディングボックスに対する前記ピクセルデータ情報と原本正解イメージ上の前記バウンディングボックスのピクセルデータに対する情報を比較することで比較データを獲得するようにして、前記比較データを利用したバックプロパゲーションを遂行することで前記ＣＮＮの少なくとも一つのパラメータを調整するプロセスをすべて完了した状態で、前記プロセッサが前記（Ｉ）ないし（ＩＶ）プロセスを遂行することを特徴とする請求項１１に記載のテスティング装置。
【請求項１７】
前記（ＩＶ）プロセスで、
前記プロセッサは、前記プーリング済み特徴マップを生成して前記ＦＣレイヤを通じてリグレッション演算を加える過程によって、前記テストイメージ上の前記客体に対応するようにサイズが調整された前記バウンディングボックスを獲得するか獲得するように支援することを特徴とする請求項１１に記載のテスティング装置。
【請求項１８】
トラッキングネットワークとディテクションネットワークを含むＣＮＮを用いてテストイメージ上の客体に対応するバウンディングボックスを獲得するためのテスティング装置において、
前記テストイメージまたは前記テストイメージから変換された特徴マップを獲得する通信部；及び
（Ｉ）現在フレームとしての前記テストイメージにコンボリューション演算を加えて前記特徴マップが生成され、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）によって前記特徴マップに所定の演算を加えて複数のプロポーザルボックスに対する情報が出力されると、前記複数のプロポーザルボックスを獲得するか獲得するように支援するプロセス；（ＩＩ）（ＩＩ−１）（ｉ）以前フレーム上に位置する前記客体の参照バウンディングボックスと前記各々の複数のプロポーザルボックス間の各距離を比較した結果及び（ｉｉ）前記各々のプロポーザルボックスが前記客体を含むか否かを示す確率値である各々のスコアを比較した結果のうち少なくとも一つを参照して、前記複数のプロポーザルボックスのうち少なくとも一つの特定のプロポーザルボックスを選択するか選択するように支援し、前記特定のプロポーザルボックスをミーンシフトトラッキングアルゴリズムに用いられるトラッキングボックス開始領域に設定するか設定するように支援し、（ＩＩ−２）前記複数のプロポーザルボックスのうち前記トラッキングボックスに設定されていない前記プロポーザルボックスのうち少なくとも一部を複数の未追跡ボックス（ｕｎｔｒａｃｋｅｄ  ｂｏｘ）に設定するか設定するように支援するプロセス；及び（ＩＩＩ）（ＩＩＩ−１）前記（ＩＩ−１）プロセス以後に、前記ミーンシフトトラッキングアルゴリズムを用いて、前記以前フレームの前記客体に対するピクセルデータに対応される確率データ情報と類似すると判断される確率データ情報を有する前記現在フレームの特定領域を前記トラッキングボックスのターゲット領域に決定するか決定するように支援し、第１プーリングレイヤをもって前記特定領域に対応される前記特徴マップ上の領域に対してプーリングして第１プーリング済み特徴マップを生成するようにし、ＦＣレイヤをもって前記第１プーリング済み特徴マップに対してリグレッション演算をすることで第１バウンディングボックスを獲得するようにするプロセス；及び（ＩＩＩ−２）前記（ＩＩ−２）プロセス以後に、第２プーリングレイヤをもって前記複数の未追跡ボックスのうち少なくとも一つに対応する前記特徴マップ上の領域をプーリングして第２プーリング済み特徴マップを生成するようにし、前記ＦＣレイヤが前記第２プーリング済み特徴マップにクラシフィケーション演算を加えて新たな客体を感知すると、前記ＦＣレイヤをもって前記第２プーリング済み特徴マップにリグレッション演算を加えることで第２バウンディングボックスを獲得するようにするプロセスを遂行するプロセッサ；
を含むことを特徴とするテスティング装置。
【請求項１９】
前記（ＩＩＩ−２）プロセスで、
前記プロセッサは、前記新たな客体に対応する前記第２バウンディングボックスを次のフレームに含まれた前記新たな客体のトラッキングボックスに用いられ得る参照バウンディングボックスに決定することを特徴とする請求項１８に記載のテスティング装置。
【請求項２０】
前記（ＩＩ−２）プロセスで、
（ｉ）前記以前フレームから獲得された前記参照バウンディングボックスと前記各々の複数の未追跡ボックス間の各々のＬ２ディスタンスと（ｉｉ）前記各々の複数の未追跡ボックスが前記客体を含むか否かを示す確率値である各々のスコアのうち少なくとも一つを参照して、複数の未追跡ボックスのうち少なくとも一つの特定未追跡ボックスが選択され、
前記（ＩＩＩ−２）プロセスで、
前記プロセッサが、前記第２プーリングレイヤをもって前記特定未追跡ボックスに対応する前記特徴マップ上の領域をプーリングして前記第２プーリング済み特徴マップを生成するようにし、前記ＦＣレイヤが前記第２プーリング済み特徴マップに前記クラシフィケーション演算を加えて前記新たな客体を感知すると、前記ＦＣレイヤをもって前記第２プーリング済み特徴マップに前記リグレッション演算を加えることで前記第２バウンディングボックスを獲得するようにすることを特徴とする請求項１８に記載のテスティング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はトラッキングネットワークを含むＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いてテストイメージ上の少なくとも一つの客体に対応する少なくとも一つのバウンディングボックスを獲得するための方法及びこれを利用した装置に関し、より詳細には、（ａ）現在フレームとしての前記テストイメージにコンボリューション演算を加えて特徴マップが生成され、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）によって前記特徴マップに所定の演算を加えて複数のプロポーザルボックスに対する情報が出力されると、前記複数のプロポーザルボックスを獲得するか獲得するように支援する段階；（ｂ）（ｉ）以前フレーム上に位置する前記客体の参照バウンディングボックスと前記各々の複数のプロポーザルボックス間の各距離を比較した結果及び（ｉｉ）前記各々のプロポーザルボックスが前記客体を含むか否かを示す確率値である各々のスコアを比較した結果のうち少なくとも一つを参照して、前記複数のプロポーザルボックスのうち少なくとも一つの特定プロポーザルボックスを選択するか選択するように支援し、前記特定プロポーザルボックスをミーンシフトトラッキングアルゴリズムに用いられるトラッキングボックス開始領域に設定するか設定するように支援する段階；（ｃ）前記ミーンシフトトラッキングアルゴリズムを用いて、前記以前フレームの前記客体に対するピクセルデータに対応される確率データ情報と類似すると判断される確率データ情報を有する前記現在フレームの特定領域を前記トラッキングボックスのターゲット領域に決定するか決定するように支援する段階；及び（ｄ）プーリングレイヤをもって前記特定領域に対応される前記特徴マップ上の領域に対してプーリングしてプーリング済み特徴マップを生成するようにし、ＦＣレイヤをもって前記プーリング済み特徴マップに対してリグレッション演算をすることでバウンディングボックスを獲得するようにする段階；を含むことを特徴とする方法及びこれを利用したテスティング装置に関する。
【背景技術】
【０００２】
マシンラーニングで、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）は視覚映像分析分野に成功的に適用されるディープ、フィードフォワード人工ニューラルネットワークの一つである。
【０００３】
図１は先行技術にかかる従来のＣＮＮを用いた学習過程を示したものである。
【０００４】
具体的に、図１は予測されたバウンディングボックスを原本正解バウンディングボックスと比較してロス値を獲得する過程を示した図面である。ここで、前記ロス値は前記予測されたバウンディングボックスと前記原本正解バウンディングボックス間の差を示して、図１のように、ｄｘC、ｄｙC、ｄｗ、ｄｈのように表示される。
【０００５】
まず、図１に示されたように、学習装置はコンボリューションブロックに含まれた複数のコンボリューションレイヤ、即ち、コンボリューションフィルタに入力され得る入力値としてＲＧＢイメージを獲得し得る。前記ＲＧＢイメージが前記複数のコンボリューションレイヤを通過するほどチャネル数は増加するが、前記ＲＧＢの幅と高さなどに対するサイズは小さくなる。
【０００６】
図１に示されたように、前記学習装置はＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）をもって前記コンボリューションブロックによって出力された最終の特徴マップからプロポーザルボックスを生成するようにし得て、ＲＯＩプーリングレイヤのようなプーリングレイヤをもって前記プロポーザルボックスに対応する前記特徴マップ上の領域に対するピクセルデータにマックスプーリング演算または平均プーリング演算を加えることで前記プロポーザルボックスに対応する前記特徴マップ上の前記領域を２Ｘ２のような既設定されたサイズにリサイズするようにし得る。その結果、プーリング済み特徴マップが獲得される。参考までに、前記プーリング済み特徴マップは特徴ベクタと称することもある。ここで、前記マックスプーリング演算は図１の右側下にあるように、特徴マップ上の対象領域を分けた各々の下部領域の各々の最大値が前記対象領域の各代表値に選択される演算である。
【０００７】
次に、前記プーリング済み特徴マップはＦＣ（Ｆｕｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）レイヤに入力され得る。
【０００８】
次に、前記学習装置はＦＣレイヤをもって前記ＲＧＢイメージ上の客体のカテゴリを認識するようにし得る。また、前記ＲＧＢイメージ上の前記予測されたバウンディングボックスは前記ＦＣレイヤを通じて獲得し得て、前記ロス値も前記予測されたバウンディングボックスと前記原本正解バウンディングボックスを比較することで獲得され得る。ここで、前記原本正解バウンディングボックスは前記ＲＧＢイメージ上で前記客体を正確に含むバウンディングボックスを示すが、これは人によって準備され得る。
【０００９】
最後に、図１の前記学習装置は前記ロス値を利用したバックプロパゲーションを通じて前記ＦＣレイヤ、前記ＲＰＮ、または前記複数のコンボリューションレイヤに含まれた少なくとも一つのパラメータを調整し得る。
【００１０】
その後、図示されていないが、前記調整されたパラメータを含む前記ＣＮＮを有するテスティング装置はテストイメージ上の客体を含むバウンディングボックスを獲得し得る。しかし、前記テスティング装置が前記調整されたパラメータを含むＣＮＮを有していても、テストイメージ上の客体を正確に含む前記バウンディングボックスを獲得するのは困難である。
【００１１】
従って、本発明の発明者は高い正確度でテストイメージ上の少なくとも一つの客体に対応する少なくとも一つのバウンディングボックスを獲得する方法を提案する。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明は上述した問題点をすべて解決することを目的とする。
【００１３】
本発明はイメージ上の客体に高い正確度で対応するバウンディングボックスを獲得するためにＣＮＮに含まれたトラッキングネットワークを利用する方法を提供することを他の目的とする。
【００１４】
本発明はミーンシフトトラッキングアルゴリズムを利用することで前記客体をさらに正確にトラッキングすることをまた他の目的とする。
【００１５】
本発明は前記トラッキングネットワークをもって前記ＣＮＮ上のディテクションネットワークに含まれたクラシファイアとリグレッサを再使用するようにすることで検証結果とともにトラッキング結果の信頼度を高めることをまた他の目的とする。
【課題を解決するための手段】
【００１６】
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記のとおりである。
【００１７】
本発明の一態様によれば、トラッキングネットワークを含むＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いてテストイメージ上の少なくとも一つの客体に対応する少なくとも一つのバウンディングボックスを獲得するための方法において、（ａ）現在フレームとしての前記テストイメージにコンボリューション演算を加えて特徴マップが生成され、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）によって前記特徴マップに所定の演算を加えて複数のプロポーザルボックスに対する情報が出力されると、テスティング装置が、前記複数のプロポーザルボックスを獲得するか獲得するように支援する段階；（ｂ）前記テスティング装置は、（ｉ）以前フレーム上に位置する前記客体の参照バウンディングボックスと前記各々の複数のプロポーザルボックス間の各距離を比較した結果及び（ｉｉ）前記各々のプロポーザルボックスが前記客体を含むか否かを示す確率値である各々のスコアを比較した結果のうち少なくとも一つを参照して、前記複数のプロポーザルボックスのうち少なくとも一つの特定プロポーザルボックスを選択するか選択するように支援し、前記特定プロポーザルボックスをミーンシフトトラッキングアルゴリズムに用いられるトラッキングボックス開始領域に設定するか設定するように支援する段階；（ｃ）前記テスティング装置は、前記ミーンシフトトラッキングアルゴリズムを用いて、前記以前フレームの前記客体に対するピクセルデータに対応される確率データ情報と類似すると判断される確率データ情報を有する前記現在フレームの特定領域を前記トラッキングボックスのターゲット領域に決定するか決定するように支援する段階；及び（ｄ）前記テスティング装置は、プーリングレイヤをもって前記特定領域に対応される前記特徴マップ上の領域に対してプーリングしてプーリング済み特徴マップを生成するようにし、ＦＣレイヤをもって前記プーリング済み特徴マップに対してリグレッション演算をすることでバウンディングボックスを獲得するようにする段階；を含むことを特徴とする。
【００１８】
一例として、前記（ｃ）段階で、前記以前フレーム上の前記客体に対するピクセルデータに対応される確率データ情報が前記以前フレーム上の前記バウンディングボックスのピクセルデータに対応するヒストグラムであることを特徴とする。
【００１９】
一例として、前記テスティング装置は、（ｅ）前記バウンディングボックスを次のフレーム上に位置すべき前記客体のトラッキングボックスに用いられ得る参照バウンディングボックスに決定する段階をさらに含むことを特徴とする。
【００２０】
一例として、前記（ｂ）段階で、前記テスティング装置は、前記客体の個数が複数の場合（ｉ）前記以前フレーム上の前記客体の前記参照バウンディングボックスと前記各々の複数のプロポーザルボックス間の各々の距離を比較した結果及び（ｉｉ）前記各々のプロポーザルボックスが前記客体を含むか否かを示すと判断される確率値である前記各々のスコアを比較した結果のうち少なくとも一つを参照して、前記複数のプロポーザルボックスのうち前記特定のプロポーザルボックスを選択するか選択するように支援し、前記各々の特定のプロポーザルボックスを前記各々のトラッキングボックスの各々の開始領域に設定するか設定するように支援することを特徴とする。
【００２１】
一例として、前記（ｂ）段階で、前記以前フレーム上に位置する前記客体の前記参照バウンディングボックスと前記各々の複数のプロポーザルボックス間の距離は前記参照バウンディングボックスのセンター座標と前記各々の複数のプロポーザルボックスのセンター座標間のＬ２ディスタンスであることを特徴とする。
【００２２】
一例として、学習装置が（ｉ）コンボリューションレイヤをもってトレーニング用客体を含むトレーニングイメージからトレーニング用特徴マップを獲得するようにし、（ｉｉ）前記ＲＰＮをもって前記トレーニングイメージ上の前記トレーニング用客体に対応する少なくとも一つのトレーニング用プロポーザルボックスを獲得するようにし、（ｉｉｉ）前記プーリングレイヤをもって前記トレーニング用プロポーザルボックスをプーリングしてそれに対応するトレーニング用プーリング済み特徴マップを生成するようにし、（ｉｖ）前記ＦＣレイヤをもって前記トレーニング用プーリング済み特徴マップにリグレッション演算をすることでトレーニング用バウンディングボックスに対するピクセルデータ情報を獲得するようにし、（ｖ）ロスレイヤをもって前記トレーニングイメージ上の前記バウンディングボックスに対する前記ピクセルデータ情報と原本正解イメージ上の前記バウンディングボックスのピクセルデータに対する情報を比較することで比較データを獲得するようにして、前記比較データを利用したバックプロパゲーションを遂行することで前記ＣＮＮの少なくとも一つのパラメータを調整するプロセスをすべて完了した状態で、前記テスティング装置が前記（ａ）ないし（ｄ）段階を遂行することを特徴とする。
【００２３】
一例として、前記（ｄ）段階で、前記テスティング装置は、前記プーリング済み特徴マップを生成して前記ＦＣレイヤを通じてリグレッション演算を加える過程によって、前記テストイメージ上の前記客体に対応するようにサイズが調整された前記バウンディングボックスを獲得するか獲得するように支援することを特徴とする。
【００２４】
本発明の他の態様によれば、トラッキングネットワークとディテクションネットワークを含むＣＮＮを用いてテストイメージ上の客体に対応するバウンディングボックスを獲得するための方法において、（ａ）現在フレームとしての前記テストイメージにコンボリューション演算を加えて特徴マップが生成され、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）によって前記特徴マップに所定の演算を加えて複数のプロポーザルボックスに対する情報が出力されると、テスティング装置が、前記複数のプロポーザルボックスを獲得するか獲得するように支援する段階；（ｂ）前記テスティング装置は、（ｂ−１）（ｉ）以前フレーム上に位置する前記客体の参照バウンディングボックスと前記各々の複数のプロポーザルボックス間の各距離を比較した結果及び（ｉｉ）前記各々のプロポーザルボックスが前記客体を含むか否かを示す確率値である各々のスコアを比較した結果のうち少なくとも一つを参照して、前記複数のプロポーザルボックスのうち少なくとも一つの特定のプロポーザルボックスを選択するか選択するように支援し、前記特定のプロポーザルボックスをミーンシフトトラッキングアルゴリズムに用いられるトラッキングボックス開始領域に設定するか設定するように支援し、（ｂ−２）前記複数のプロポーザルボックスのうち前記トラッキングボックスに設定されていない前記プロポーザルボックスのうち少なくとも一部を複数の未追跡ボックス（ｕｎｔｒａｃｋｅｄ  ｂｏｘ）に設定するか設定するように支援する段階；及び（ｃ）（ｃ−１）前記テスティング装置は、前記（ｂ−１）段階以後に、前記ミーンシフトトラッキングアルゴリズムを用いて、前記以前フレームの前記客体に対するピクセルデータに対応される確率データ情報と類似すると判断される確率データ情報を有する前記現在フレームの特定領域を前記トラッキングボックスのターゲット領域に決定するか決定するように支援し、第１プーリングレイヤをもって前記特定領域に対応される前記特徴マップ上の領域に対してプーリングして第１プーリング済み特徴マップを生成するようにし、ＦＣレイヤをもって前記第１プーリング済み特徴マップに対してリグレッション演算をすることで第１バウンディングボックスを獲得するようにする段階；及び（ｃ−２）前記テスティング装置は、前記（ｂ−２）段階以後に、第２プーリングレイヤをもって前記複数の未追跡ボックスのうち少なくとも一つに対応する前記特徴マップ上の領域をプーリングして第２プーリング済み特徴マップを生成し、前記ＦＣレイヤが前記第２プーリング済み特徴マップにクラシフィケーション演算を加えて新たな客体を感知すると、前記ＦＣレイヤをもって前記第２プーリング済み特徴マップにリグレッション演算を加えることで第２バウンディングボックスを獲得するようにする段階；を含むことを特徴とする方法が提供される。
【００２５】
一例として、前記（ｃ−２）段階で、前記テスティング装置は、前記新たな客体に対応する前記第２バウンディングボックスを次のフレームに含まれた前記新たな客体のトラッキングボックスに用いられ得る参照バウンディングボックスに決定することを特徴とする。
【００２６】
一例として、前記（ｂ−２）段階で、（ｉ）前記以前フレームから獲得された前記参照バウンディングボックスと前記各々の複数の未追跡ボックス間の各々のＬ２ディスタンスと（ｉｉ）前記各々の複数の未追跡ボックスが前記客体を含むか否かを示す確率値である各々のスコアのうち少なくとも一つを参照して、複数の未追跡ボックスのうち少なくとも一つの特定未追跡ボックスが選択され、前記（ｃ−２）段階で、前記テスティング装置は、前記第２プーリングレイヤをもって前記特定未追跡ボックスに対応する前記特徴マップ上の領域をプーリングして前記第２プーリング済み特徴マップを生成するようにし、前記ＦＣレイヤが前記第２プーリング済み特徴マップに前記クラシフィケーション演算を加えて前記新たな客体を感知すると、前記ＦＣレイヤをもって前記第２プーリング済み特徴マップに前記リグレッション演算を加えることで前記第２バウンディングボックスを獲得するようにすることを特徴とする。
【００２７】
本発明のまた他の態様によれば、トラッキングネットワークを含むＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いてテストイメージ上の少なくとも一つの客体に対応する少なくとも一つのバウンディングボックスを獲得するためのテスティング装置において、前記テストイメージまたは前記テストイメージから変換された特徴マップを獲得する通信部；及び（Ｉ）現在フレームとしての前記テストイメージにコンボリューション演算を加えて前記特徴マップが獲得され、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）によって前記特徴マップに所定の演算を加えて複数のプロポーザルボックスに対する情報が出力されると、前記複数のプロポーザルボックスを獲得するか獲得するように支援するプロセス；（ＩＩ）（ｉ）以前フレーム上に位置する前記客体の参照バウンディングボックスと前記各々の複数のプロポーザルボックス間の各距離を比較した結果及び（ｉｉ）前記各々のプロポーザルボックスが前記客体を含むか否かを示す確率値である各々のスコアを比較した結果のうち少なくとも一つを参照して、前記複数のプロポーザルボックスのうち少なくとも一つの特定プロポーザルボックスを選択するか選択するように支援し、前記特定プロポーザルボックスをミーンシフトトラッキングアルゴリズムに用いられるトラッキングボックス開始領域に設定するか設定するように支援するプロセス；（ＩＩＩ）前記ミーンシフトトラッキングアルゴリズムを用いて、前記以前フレームの前記客体に対するピクセルデータに対応される確率データ情報と類似すると判断される確率データ情報を有する前記現在フレームの特定領域を前記トラッキングボックスのターゲット領域に決定するか決定するように支援するプロセス；（ＩＶ）プーリングレイヤをもって前記特定領域に対応される前記特徴マップ上の領域に対してプーリングしてプーリング済み特徴マップを生成するようにし、ＦＣレイヤをもって前記プーリング済み特徴マップに対してリグレッション演算をすることでバウンディングボックスを獲得するようにするプロセスを遂行するプロセッサ；を含むことを特徴とするテスティング装置を提供する。
【００２８】
一例として、前記（ＩＩＩ）プロセスで、前記以前フレーム上の前記客体に対するピクセルデータに対応される確率データ情報が前記以前フレーム上の前記バウンディングボックスのピクセルデータに対応するヒストグラムであることを特徴とする。
【００２９】
一例として、前記プロセッサは、（Ｖ）前記バウンディングボックスを次のフレーム上に位置すべき前記客体のトラッキングボックスに用いられ得る参照バウンディングボックスに決定するプロセスをさらに遂行することを特徴とする。
【００３０】
一例として、前記（ＩＩ）プロセスで、前記プロセッサは、前記客体の個数が複数の場合（ｉ）前記以前フレーム上の前記客体の前記参照バウンディングボックスと前記各々の複数のプロポーザルボックス間の各々の距離を比較した結果及び（ｉｉ）前記各々のプロポーザルボックスが前記客体を含むか否かを示すと判断される確率値である前記各々のスコアを比較した結果のうち少なくとも一つを参照して、前記複数のプロポーザルボックスのうち前記特定のプロポーザルボックスを選択するか選択するように支援し、前記各々の特定のプロポーザルボックスを前記各々のトラッキングボックスの各々の開始領域に設定するか設定するように支援することを特徴とする。
【００３１】
一例として、前記テスティング装置は、前記（ＩＩ）プロセスで、前記以前フレーム上に位置する前記客体の前記参照バウンディングボックスと前記各々の複数のプロポーザルボックス間の距離は前記参照バウンディングボックスのセンター座標と前記各々の複数のプロポーザルボックスのセンター座標間のＬ２ディスタンスであることを特徴とする。
【００３２】
一例として、学習装置が（ｉ）コンボリューションレイヤをもってトレーニング用客体を含むトレーニングイメージからトレーニング用特徴マップを獲得するようにし、（ｉｉ）前記ＲＰＮをもって前記トレーニングイメージ上の前記トレーニング用客体に対応する少なくとも一つのトレーニング用プロポーザルボックスを獲得するようにし、（ｉｉｉ）前記プーリングレイヤをもって前記トレーニング用プロポーザルボックスをプーリングしてそれに対応するトレーニング用プーリング済み特徴マップを生成するようにし、（ｉｖ）前記ＦＣレイヤをもって前記トレーニング用プーリング済み特徴マップにリグレッション演算をすることでトレーニング用バウンディングボックスに対するピクセルデータ情報を獲得するようにし、（ｖ）ロスレイヤをもって前記トレーニングイメージ上の前記バウンディングボックスに対する前記ピクセルデータ情報と原本正解イメージ上の前記バウンディングボックスのピクセルデータに対する情報を比較することで比較データを獲得するようにして、前記比較データを利用したバックプロパゲーションを遂行することで前記ＣＮＮの少なくとも一つのパラメータを調整するプロセスをすべて完了した状態で、前記プロセッサが前記（Ｉ）ないし（ＩＶ）プロセスを遂行することを特徴とする。
【００３３】
一例として、前記（ＩＶ）プロセスで、前記プロセッサは、前記プーリング済み特徴マップを生成して前記ＦＣレイヤを通じてリグレッション演算を加える過程によって、前記テストイメージ上の前記客体に対応するようにサイズが調整された前記バウンディングボックスを獲得するか獲得するように支援することを特徴とする。
【００３４】
本発明のまた他の態様によれば、トラッキングネットワークとディテクションネットワークを含むＣＮＮを用いてテストイメージ上の客体に対応するバウンディングボックスを獲得するためのテスティング装置において、前記テストイメージまたは前記テストイメージから変換された特徴マップを獲得する通信部；及び（Ｉ）現在フレームとしての前記テストイメージにコンボリューション演算を加えて前記特徴マップが生成され、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）によって前記特徴マップに所定の演算を加えて複数のプロポーザルボックスに対する情報が出力されると、前記複数のプロポーザルボックスを獲得するか獲得するように支援するプロセス；（ＩＩ）（ＩＩ−１）（ｉ）以前フレーム上に位置する前記客体の参照バウンディングボックスと前記各々の複数のプロポーザルボックス間の各距離を比較した結果及び（ｉｉ）前記各々のプロポーザルボックスが前記客体を含むか否かを示す確率値である各々のスコアを比較した結果のうち少なくとも一つを参照して、前記複数のプロポーザルボックスのうち少なくとも一つの特定のプロポーザルボックスを選択するか選択するように支援し、前記特定のプロポーザルボックスをミーンシフトトラッキングアルゴリズムに用いられるトラッキングボックス開始領域に設定するか設定するように支援し、（ＩＩ−２）前記複数のプロポーザルボックスのうち前記トラッキングボックスに設定されていない前記プロポーザルボックスのうち少なくとも一部を複数の未追跡ボックス（ｕｎｔｒａｃｋｅｄ  ｂｏｘ）に設定するか設定するように支援するプロセス；及び（ＩＩＩ）（ＩＩＩ−１）前記（ＩＩ−１）プロセス以後に、前記ミーンシフトトラッキングアルゴリズムを用いて、前記以前フレームの前記客体に対するピクセルデータに対応される確率データ情報と類似すると判断される確率データ情報を有する前記現在フレームの特定領域を前記トラッキングボックスのターゲット領域に決定するか決定するように支援し、第１プーリングレイヤをもって前記特定領域に対応される前記特徴マップ上の領域に対してプーリングして第１プーリング済み特徴マップを生成するようにし、ＦＣレイヤをもって前記第１プーリング済み特徴マップに対してリグレッション演算をすることで第１バウンディングボックスを獲得するようにするプロセス；及び（ＩＩＩ−２）前記（ＩＩ−２）プロセス以後に、第２プーリングレイヤをもって前記複数の未追跡ボックスのうち少なくとも一つに対応する前記特徴マップ上の領域をプーリングして第２プーリング済み特徴マップを生成するようにし、前記ＦＣレイヤが前記第２プーリング済み特徴マップにクラシフィケーション演算を加えて新たな客体を感知すると、前記ＦＣレイヤをもって前記第２プーリング済み特徴マップにリグレッション演算を加えることで第２バウンディングボックスを獲得するようにするプロセスを遂行するプロセッサ；を含むことを特徴とするテスティング装置を提供する。
【００３５】
一例として、前記（ＩＩＩ−２）プロセスで、前記プロセッサは、前記新たな客体に対応する前記第２バウンディングボックスを次のフレームに含まれた前記新たな客体のトラッキングボックスに用いられ得る参照バウンディングボックスに決定することを特徴とする。
【００３６】
一例として、前記（ＩＩ−２）プロセスで、（ｉ）前記以前フレームから獲得された前記参照バウンディングボックスと前記各々の複数の未追跡ボックス間の各々のＬ２ディスタンスと（ｉｉ）前記各々の複数の未追跡ボックスが前記客体を含むか否かを示す確率値である各々のスコアのうち少なくとも一つを参照して、複数の未追跡ボックスのうち少なくとも一つの特定未追跡ボックスが選択され、前記（ＩＩＩ−２）プロセスで、前記プロセッサが、前記第２プーリングレイヤをもって前記特定未追跡ボックスに対応する前記特徴マップ上の領域をプーリングして前記第２プーリング済み特徴マップを生成するようにし、前記ＦＣレイヤが前記第２プーリング済み特徴マップに前記クラシフィケーション演算を加えて前記新たな客体を感知すると、前記ＦＣレイヤをもって前記第２プーリング済み特徴マップに前記リグレッション演算を加えることで前記第２バウンディングボックスを獲得するようにすることを特徴とする。
【発明の効果】
【００３７】
本発明によれば、次のような効果がある。
【００３８】
本発明はイメージ上の客体に対応するバウンディングボックスを高い正確度で獲得できるようになる。
【００３９】
また、本発明はミーンシフトトラッキングアルゴリズムを利用することで前記客体のトラッキングをより正確にする効果がある。
【００４０】
また、本発明はトラッキングネットワークをもって前記ＣＮＮ上のディテクションネットワークに含まれたクラシファイアとリグレッサを再使用するようにすることで検証結果とともにトラッキング結果の信頼度を高める効果がある。
【図面の簡単な説明】
【００４１】
本発明の実施例の説明に利用されるために添付された下記図面は本発明の実施例のうち単に一部に過ぎず、本発明が属する技術分野の通常の技術者においては発明的作業がなされることなく本図面に基づいて他の図面が得られることがある。
【００４２】
【図１】図１は、先行技術にかかる従来のＣＮＮの学習過程を例示的に示した図面である。
【図２】図２は。本発明の一実施例にかかるテスティング装置を概略的に示したブロック図である。
【図３Ａ】図３Ａは、本発明の一実施例によってバウンディングボックスを獲得できるＣＮＮの構成を例示的に示したブロック図である。
【図３Ｂ】図３Ｂは、本発明の一実施例によってトラッキングネットワークを含む前記ＣＮＮを用いて前記バウンディングボックスを獲得する過程をフローチャートで示した図面である。
【図４Ａ】図４Ａは、本発明の他の実施例によってバウンディングボックスを獲得できるＣＮＮの構成を例示的に示したブロック図である。
【図４Ｂ】図４Ｂは、本発明の他の実施例によってトラッキングネットワークとディテクションネットワークを含む前記ＣＮＮを利用することで前記バウンディングボックスを獲得する過程をフローチャートで示した図面である。
【図５】図５は、本発明で利用されるミーンシフトトラッキングアルゴリズムを示した図面である。
【発明を実施するための形態】
【００４３】
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例にかかる本発明の精神及び範囲を逸脱せずに他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されると、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
【００４４】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明することとする。
【００４５】
図２は本発明の一実施例にかかるテスティング装置を概略的に示したブロック図である。
【００４６】
図２に示されたように、前記テスティング装置２００は通信部２１０とプロセッサ２２０が含まれ得る。また、前記テスティング装置２００はデータベース２３０がさらに含まれ得て、場合によって図２のように前記データベース２３０を含まない場合もある。ここで、少なくとも一つのプロセッサを搭載した演算能力を備えたデジタルコンピューティング装置であればいくらでも本発明にかかるテスティング装置２００として採択され得る。
【００４７】
前記通信部２１０は少なくとも一つのテストイメージまたは前記テストイメージから得られた少なくとも一つの特徴マップを獲得する構成であり得る。
【００４８】
前記プロセッサ２２０は（ｉ）ＲＰＮから生成されたすべてのプロポーザルボックスのうち少なくとも一つのプロポーザルボックス、例えば少なくとも一つの特定プロポーザルボックスを所定基準によって選択し、（ｉｉ）前記特定プロポーザルボックスをミーンシフトトラッキング（ｍｅａｎ  ｓｈｉｆｔ  ｔｒａｃｋｉｎｇ）アルゴリズムのようなトラッキングアルゴリズムに用いられるトラッキングボックス開始領域に設定し、（ｉｉｉ）前記ミーンシフトトラッキングアルゴリズムを利用することで特定領域をトラッキングボックスのターゲット領域に決定して、（ｉｖ）プーリングレイヤをもって前記特定領域に対応される前記特徴マップ上の領域に対してプーリングしてプーリング済み特徴マップを生成するようにし、ＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）レイヤをもって前記プーリング済み特徴マップに対してリグレッション演算をすることでバウンディングボックスを獲得するようにするプロセスを遂行するように構成され得る。前述した前記プロセスについては後で詳細な説明を通じて詳細に考察することとする。
【００４９】
一方、前記データベース２３０は前記テスティング装置２００の前記通信部２１０によってアクセスが可能になり得て、前記プロポーザルボックスのスコア情報、以前フレーム上の客体に対する参照バウンディングボックスの情報、及びＣＮＮのパラメータに対する情報などが前記データベース２３０に記録され得る。
【００５０】
図３Ａは本発明の一実施例によって前記バウンディングボックスを獲得し得るＣＮＮの構成を例示的に示すブロック図であり、図３Ｂは本発明の一実施例によってトラッキングネットワークを含む前記ＣＮＮを用いて前記バウンディングボックスを獲得する過程を示す。
【００５１】
参考までに、前記テスティング装置２００は本明細書に記載された各機能または各プロセスを遂行するための互いに異なる多数のデジタルコンピューティング装置で構成され得る。但し、説明の便宜上、本発明の明細書では前記テスティング装置２００が一つのデジタルコンピューティング装置で具現されると想定して説明することとする。
【００５２】
図３Ａを参照すれば、入力イメージ３０１がコンボリューションブロック３１０に伝送されると、前記入力イメージ３０１に少なくとも一回のコンボリューション演算を加えることで前記特徴マップが生成される。その後、前記特徴マップは前記プロポーザルボックスを生成するために前記ＲＰＮ３２０に伝達される。
【００５３】
前記プロポーザルボックスがトラッキングモジュール３３０に伝送された後、（ｉ）前記プロポーザルボックスのうち前記特定プロポーザルボックスを所定の基準によって選択し、（ｉｉ）前記特定のプロポーザルボックスを前記ミーンシフトトラッキングアルゴリズムに用いられる前記トラッキングボックス開始領域、例えば初期ウインドウ領域に設定することで前記トラッキングモジュール３３０から前記トラッキングボックスを獲得する。
【００５４】
次に、前記プーリングレイヤ３４０は（ｉ）前記コンボリューションブロック３１０から前記特徴マップを、（ｉｉ）前記トラッキングモジュール３３０から前記トラッキングボックスに対する情報を受信し得て、そのようにすることで前記特徴マップ上の前記トラッキングボックス、例えば前記ＲＯＩに対応する領域をプーリングして前記プーリング済み特徴マップを生成し得る。その後、前記ＦＣレイヤ３５０は前記プーリング済み特徴マップに対する情報を利用することで、クラシファイア３５１を通じて前記客体クラス３０２を感知し得て、リグレッサ３５２を通じて前記バウンディングボックス３０３を生成し得る。
【００５５】
前記コンボリューションブロック３１０、前記ＲＰＮ３２０、前記トラッキングモジュール３３０、前記プーリングレイヤ３４０、及び前記ＦＣレイヤ３５０から構成されるものとして示された図３Ａの前記ＣＮＮを含む前記テスティング装置２００とは異なり、前記テスティング装置２００の前記ＣＮＮは場合によって前記コンボリューションブロック３１０、前記ＲＰＮ３２０、前記トラッキングモジュール３３０、前記プーリングレイヤ３４０、及び前記ＦＣレイヤ３５０のうち一部だけを含む場合もある。
【００５６】
図３Ａの構造を参照して図３Ｂを考察すると、幅は１２８０、高さは７２０、チャネルは３である前記テストイメージのような前記入力イメージ３０１がコンボリューションブロック３１０に伝送されて（Ｓ３１１）、その結果として前記入力イメージ３０１に前記コンボリューション演算を加えて幅は４０、高さは２３、チャネルは２５６である前記特徴マップ３０４が生成され得る（Ｓ３１２）。ここで、前記入力イメージ３０１は現在フレームに該当され得る。
【００５７】
参考までに、前記コンボリューションブロック３１０は一つ以上のコンボリューションレイヤから構成される。前記コンボリューション演算を経るたびに前記入力イメージの幅、高さは特定比率で減少し、チャネル数は前記特定比率で増加し得るが、これに限定されない。ここで、前記特定比率は前記コンボリューションブロック３１０に含まれた前記コンボリューションレイヤのパラメータ、例えば重み付け値のようなパラメータに基づいて決定され得る。
【００５８】
また、前記ＲＰＮ３２０は前記特徴マップ３０４から前記プロポーザルボックス３０５に対する情報を生成し得る（Ｓ３２１）。参考までに、前記プロポーザルボックス３０５は前記入力イメージ３０１上の前記客体が含まれ得る確率を各々有するボックスである。
【００５９】
また、前記テスティング装置２００の前記プロセッサ２２０は（ｉ）前記以前フレーム上に位置する前記客体の前記参照バウンディングボックス３０７と前記各々の複数のプロポーザルボックス３０５間の各距離を比較した結果、及び（ｉｉ）前記各々のプロポーザルボックス３０５が前記客体を含むか否かを示す確率値である各々のスコアを比較した結果のうち少なくとも一つを参照して、前記複数のプロポーザルボックス３０５のうち前記特定プロポーザルボックス３０６を選択し、前記特定プロポーザルボックス３０６を前記ミーンシフトトラッキングアルゴリズムに用いられる前記トラッキングボックス開始領域に設定する（Ｓ３３１）。ここで、前記客体の前記参照バウンディングボックス３０７が前記以前フレームに位置したバウンディングボックスであっても、図３Ｂは説明の便宜上、前記参照バウンディングボックス３０７を前記現在フレームに位置したものとして示す。
【００６０】
例えば、前記テスティング装置２００の前記プロセッサ２２０は前記特定プロポーザルボックス３０６をＬ２ディスタンスのような最小の距離及び／または前記プロポーザルボックス３０５各々のスコアのうち最大のスコアを有するものに決定し得る（Ｓ３３１）。
【００６１】
他の例として、前記テスティング装置２００の前記プロセッサ２２０は前記特定プロポーザルボックス３０６を最小のＬ２ディスタンス／スコアの比率を有するものに決定し得る。
【００６２】
ここで、前記スコアは原本正解バウンディングボックスの領域と前記プロポーザルボックス３０５各々の領域の和集合に対応する領域に対する、前記原本正解バウンディングボックスの領域と前記プロポーザルボックス３０５各々の領域の交差集合に対応する領域の比率を意味し得る。従って、前記スコアは０と１間の値であり得る。即ち、前記プロポーザルボックス３０５のうち選択された前記特定プロポーザルボックス３０６の前記確率値は１に近い値であり得る。
【００６３】
一方、前記プロポーザルボックス３０５は単一の同一客体に対するボックスであり得る。他の例として、前記プロポーザルボックス３０５は複数の客体に対するボックスであり得る。例えば、１００個のプロポーザルボックスが生成される場合、７０個のプロポーザルボックスは客体Ａに対して生成され得て、３０個のプロポーザルボックスは客体Ｂに対して生成され得る。
【００６４】
次に、前記テスティング装置２００の前記プロセッサ２２０は前記以前フレーム上に位置する前記客体のピクセルデータの確率情報と類似する確率情報を有する前記現在フレーム上の前記特定領域３０８を前記ミーンシフトトラッキングアルゴリズムを利用して前記トラッキングボックスのターゲット領域に決定し得る（Ｓ３４１）。
【００６５】
ここで、前記ミーンシフトトラッキングアルゴリズムは前記トラッキングモジュール３３０によって用いられるが、通常の技術者であればこれに限定されないことが分かる。
【００６６】
前記トラッキングボックスの前記ターゲット領域３０８を獲得した後、図面には示されていなかったが、前記プーリング済み特徴マップ、即ち特徴ベクタが前記特徴マップ３０４上で前記ターゲット領域３０８に対応する領域をプーリングして生成される。その後、前記バウンディングボックスは前記ＦＣレイヤ３５０の前記リグレッサ３５２を通じて前記特徴ベクタにリグレッション演算を加えて生成され、前記ＦＣレイヤ３５０の前記クラシファイア３５１を通じて前記特徴ベクタに演算をすることで前記客体の車両、歩行者、道路、建物などのようなクラスを識別し得る（Ｓ３５１）。結果的に、高い正確度を有する前記バウンディングボックスが前記トラッキングネットワークを含む前記ＣＮＮを通じて獲得され得る。
【００６７】
参考までに、前記テスティング装置２００は前記トラッキングモジュール３３０をもって前記現在フレーム上の前記トラッキングボックス３０８の位置を正確に見つけるようにし、前記ＦＣレイヤ３５０をもって前記トラッキングボックスのサイズを調整するようにして、前記原本正解バウンディングボックスに最も近い前記バウンディングボックスを獲得し得る。
【００６８】
最後に、前記テスティング装置２００は前記バウンディングボックスを次のフレームに位置すべき前記客体のトラッキングボックスに用いられ得る前記参照バウンディングボックスに決定し得る。
【００６９】
参考までに、図３Ａの前記構造を前記トラッキングネットワークと称することがある。
【００７０】
本発明の他の実施例によって、本発明の前記ＣＮＮはディテクションネットワークがさらに含まれ得る。他の実施例については後で図４Ａと図４Ｂの詳細な説明を通じて詳細に考察することとする。
【００７１】
図４Ａは本発明の他の実施例によってバウンディングボックスを獲得し得る前記ＣＮＮの構成を例示的に示したブロック図である。
【００７２】
図４Ａを参照すれば、前記テスティング装置２００に含まれた前記ＣＮＮの構造は前記トラッキングネットワークと前記ディテクションネットワークから構成され得る。前記トラッキングネットワークと前記ディテクションネットワークは前記コンボリューションブロック３１０、前記ＲＰＮ３２０、及びＦＣレイヤ４６０を互いに共有し得る。
【００７３】
但し、場合によっては図４Ａとは異なり、前記ＣＮＮは各ネットワークに対して互いに異なるＦＣレイヤから構成され得る。即ち、前記ＣＮＮは前記互いに異なるＦＣレイヤ間で調整されたパラメータを共有しない場合がある。そのようなＣＮＮは前記トラッキングネットワークに対して第１ＦＣレイヤを、前記ディテクションネットワークに対して第２ＦＣレイヤを有し得る。
【００７４】
参考までに、本発明の請求の範囲で、“ＦＣレイヤ”という表現が互いに異なる第１ＦＣレイヤと第２ＦＣレイヤを区別せずに用いられたが、本発明の請求の範囲で“ＦＣレイヤ”という表現が第１ＦＣレイヤと第２ＦＣレイヤを区別する場合を排除するとはいえない。
【００７５】
図４Ａを参照すれば、前記ＣＮＮは前記入力イメージを受信し、それを前記コンボリューションブロック３１０に伝送して前記特徴マップを獲得し得る。その後、前記特徴マップは前記ＲＰＮ３２０に伝達されて前記プロポーザルボックスを生成し得る。例えば、前記ＲＰＮ３２０によって生成された前記プロポーザルボックスの数は３００個であり得るが、これに限定されるものではない。
【００７６】
次に、前記トラッキングネットワークのトラッキングモジュール４３０は前記プロポーザルボックスに対する情報を受信し、前記トラッキングモジュール４３０内のトラッカーをもって上述したように前記Ｌ２ディスタンス及び／または前記プロポーザルボックス各々の前記スコアを参照して前記プロポーザルボックスのうち少なくとも一つの特定プロポーザルボックスを選択するようにし得る。例えば、前記以前フレームの前記参照ボックスからの距離に基づいて選択された前記特定プロポーザルボックスの数が１０の場合、未追跡ボックス（ｕｎｔｒａｃｋｅｄ  ｂｏｘ）のような選択されていない前記プロポーザルボックスの残りに対する情報が前記ディテクションネットワークに伝達され得る。即ち、２９０個の未追跡ボックスに対する情報が前記ディテクションネットワークに伝達される。
【００７７】
一方、前記トラッキングネットワークによって、第１プーリングレイヤ４４０をもって前記特徴プロポーザルボックスに対応する前記特徴マップ上の領域をプーリングして第１プーリング済み特徴マップが生成され、前記ＦＣレイヤ４６０をもって前記第１プーリング済み特徴マップに対して前記リグレッション演算をすることで第１バウンディングボックスが生成され得る。
【００７８】
反面、前記ディテクションネットワークによれば、第２プーリングレイヤ４５０をもって前記未追跡ボックスに対応する前記特徴マップ上の領域をプーリングして第２プーリング済み特徴マップが生成され、前記ＦＣレイヤ４６０をもって前記第２プーリング済み特徴マップに前記リグレッション演算を加えることで第２バウンディングボックスが生成される。
【００７９】
図４Ｂは本発明の他の実施例によって前記トラッキングネットワークと前記ディテクションネットワークを含む前記ＣＮＮを利用して前記バウンディングボックスを獲得するプロセスを示したフローチャートである。
【００８０】
参考までに、図３Ａ及び図４Ａの前記ＣＮＮの実施例が前記コンボリューションブロック３１０と前記ＲＰＮ３２０の構造で同じである場合もあるため、図４Ｂで前記入力イメージを伝送するプロセス（Ｓ４１０）、前記特徴マップを生成するプロセス（Ｓ４２０）、及び前記プロポーザルボックスを生成するプロセス（Ｓ４３０）は図３Ｂで説明されたＳ３１１、Ｓ３１２、及びＳ３２１のプロセスと同一であり得る。
【００８１】
但し、図４Ｂのプロセスは前記トラッキングボックスだけでなく前記未追跡ボックスに対しても遂行されるプロセスという面で図３Ｂのプロセスと異なる。ここで、前記プロポーザルボックスのうち前記トラッキングボックスに設定されていなかった前記複数のプロポーザルボックスのうち一部は前記未追跡ボックスに設定されるが、これに限定されない。他の例として、少なくとも一つの所定の条件によって前記プロポーザルボックスのうち前記未追跡ボックスに選択され得る。
【００８２】
参考までに、前記ミーンシフトトラッキングアルゴリズムを利用して前記トラッキングボックスを決定するプロセスについては前述したとおりであり、詳細な内容については省略する。
【００８３】
前記テスティング装置２００は、各々のプロポーザルボックスが前記トラッキングボックスか、または前記未追跡ボックスかを決定し得る（Ｓ４４０）。
【００８４】
万一プロポーザルボックスが前記トラッキングボックスに決定されると（Ｓ４５０）、前記テスティング装置２００は前記ミーンシフトトラッキングアルゴリズムを利用して前記トラッキングボックスの位置を調整し得る（Ｓ４６０）。具体的に、前記テスティング装置２００は、前記以前フレーム上の前記客体に対するピクセルデータに対応する特定領域の確率情報と類似すると判断される確率情報を有する前記現在フレームの特定領域を、前記ミーンシフトトラッキングアルゴリズムを利用して前記トラッキングボックスのターゲット領域に決定し得る（Ｓ４６０）。その後、前記テスティング装置２００は前記第１プーリングレイヤ４４０をもって前記特定領域をプーリングして前記第１プーリング済み特徴マップを生成するようにし、前記ＦＣレイヤ４６０をもって前記第１プーリング済み特徴マップに前記リグレッション演算をすることで前記第１バウンディングボックスを獲得するようにする（Ｓ４７０）。
【００８５】
その反対に、万一プロポーザルボックスが前記未追跡ボックスに決定されると（Ｓ４５０）、前記テスティング装置２００は前記第２プーリングレイヤ４５０をもって前記複数の未追跡ボックスのうち少なくとも一つに対応する前記特徴マップ上の領域をプーリングして前記第２プーリング済み特徴マップを生成するようにし、前記ＦＣレイヤ４６０が前記第２プーリング済み特徴マップにクラシフィケーション演算を加えて新たな客体を感知すると、前記ＦＣレイヤ４６０をもって前記第２プーリング済み特徴マップに前記リグレッション演算を加えることで前記第２バウンディングボックスを獲得するようにする（Ｓ４９０）。
【００８６】
他の例として、前記Ｓ４９０段階以前に、前記テスティング装置２００は、（ｉ）前記以前フレームから獲得された前記参照バウンディングボックスと前記各々の複数の未追跡ボックス間の各々のＬ２ディスタンスと（ｉｉ）前記各々の複数の未追跡ボックスが前記客体を含むか否かを示す確率値である各々のスコアのうち少なくとも一つを参照して、前記複数の未追跡ボックスのうち少なくとも一つの特定未追跡ボックスを選択し得る（Ｓ４８０）。前記Ｓ４８０段階が遂行されると、前記テスティング装置２００は前記第２プーリングレイヤ４５０をもって前記特定未追跡ボックスに対応する前記特徴マップ上の領域をプーリングして前記第２プーリング済み特徴マップを生成するようにし得て、前記ＦＣレイヤ４６０が前記第２プーリング済み特徴マップに前記クラシフィケーション演算を加えて前記新たな客体を感知すると、前記ＦＣレイヤ４６０をもって前記第２プーリング済み特徴マップに前記リグレッション演算を加えることで前記第２バウンディングボックスを獲得するようにし得る（Ｓ４９０）。
【００８７】
ここで、前記テスティング装置２００は前記新たな客体に対応する前記第２バウンディングボックスを次のフレームに含まれた前記新たな客体のトラッキングボックスに用いられ得る参照バウンディングボックスＮＥＷ＿ＲＥＦに決定し、前記参照バウンディングボックスＮＥＷ＿ＲＥＦと前記次のフレームの各複数のプロポーザルボックス間の各距離を参照して前記次のフレームの前記トラッキングボックスを設定し得る。
【００８８】
参考までに、前記クラシフィケーション演算の結果は前記客体が各クラスで定義される確率に対する情報を提供する。前記クラシフィケーション演算は前記客体が車両、歩行者、背景、及び道路などである確率を示し得る。
【００８９】
図５は本発明に用いられる前記ミーンシフトトラッキングアルゴリズムを説明する図面である。
【００９０】
図５を参照すれば、車両のような追跡しようとする客体のヒストグラム５２０が所定のイメージ５１０から得られ得る。前記ヒストグラムは各色に対する前記客体の領域に含まれたピクセルの各数を計算し、これを全体ピクセルの数で割って獲得された確率データ情報である。
【００９１】
前記ヒストグラム５２０が獲得された状態で、入力イメージ５３０をヒストグラムバックプロジェクション（ｂａｃｋ  ｐｒｏｊｅｃｔｉｏｎ）してバックプロジェクションイメージ（５４０）が獲得される。ここで、前記バックプロジェクションは入力イメージ５３０にある各ピクセルの色値が追跡しようとする前記客体にどれくらい多く含まれているかを数値化する過程である。モデルヒストグラムをＨｍ、前記入力イメージＩ５３０の各ピクセルｘでの色値をＩ（ｘ）とすると、前記バックプロジェクションの値はｗ（ｘ）＝Ｈｍ（Ｉ（ｘ））のように求められ得る。
【００９２】
前記バックプロジェクションを通じて得た値に前記ミーンシフトトラッキングアルゴリズムを適用し得る。具体的に、前記ミーンシフトトラッキングアルゴリズムは現在の位置から移動するデータ分布の中心を見つける方法であるミーンシフトを利用してイメージ上の客体を追跡するものであるため、本発明で前記現在フレームの前記特定領域を見つけるために用いられる。この時、前記現在フレームの前記特定領域は前記以前フレーム上の前記客体のピクセルデータに対応する確率情報と類似すると判断される確率情報を有しており、前記トラッキングボックス開始領域から動くようになる。
【００９３】
参考までに、前記以前フレームの前記客体の前記ピクセルデータに対応する確率情報は、前記以前フレームの第１バウンディングボックスのピクセルデータ及び／または前記以前フレームの第２バウンディングボックスのピクセルデータに対応されるヒストグラムであり得る。
【００９４】
一方、前記テスティング装置２００の前記プロセスが遂行される前に、前記テスティング装置２００に含まれた前記ＣＮＮの少なくとも一つのパラメータが学習装置（未図示）によって調整され得る。
【００９５】
具体的に、前記学習装置が（ｉ）前記コンボリューションレイヤをもってトレーニング用客体を含むトレーニングイメージからトレーニング用特徴マップを獲得するようにし、（ｉｉ）前記ＲＰＮをもって前記トレーニングイメージ上の前記トレーニング用客体に対応する少なくとも一つのトレーニング用プロポーザルボックスを獲得するようにし、（ｉｉｉ）前記プーリングレイヤをもって前記トレーニング用プロポーザルボックスをプーリングしてそれに対応するトレーニング用プーリング済み特徴マップを生成するようにし、（ｉｖ）前記ＦＣレイヤをもって前記トレーニング用プーリング済み特徴マップに前記リグレッション演算をすることでトレーニング用バウンディングボックスに対するピクセルデータ情報を獲得するようにし、（ｖ）ロスレイヤをもって前記トレーニングイメージ上の前記バウンディングボックスに対する前記ピクセルデータ情報と原本正解イメージ上の前記バウンディングボックスのピクセルデータに対する情報を比較することで比較データを獲得するようにして、前記比較データを利用したバックプロパゲーションを遂行することで前記ＣＮＮの前記パラメータ調整するプロセスをすべて完了した状態で、前記テスティング装置２００が上述された段階を遂行する。
【００９６】
参考までに、場合によって、前記トレーニング用バウンディングボックスのピクセルデータ情報は前記第１ＦＣレイヤ及び前記第２ＦＣレイヤの両方を通じて獲得され得る。上述されたように、前記第１ＦＣレイヤを含む前記トラッキングネットワークと前記第２ＦＣレイヤを含む前記ディテクションネットワークが一つのネットワークから構成されると、前記第１及び第２ＦＣレイヤに学習過程を各々遂行する必要がなくなり得る。この場合、前記第１ＦＣレイヤのパラメータは前記第２ＦＣレイヤのパラメータと同じ値を有し得る。
【００９７】
以上で説明された本発明にかかる実施例は多様なコンピュータ構成要素を通じて遂行され得るプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独または組み合わせて含まれ得る。前記コンピュータで判読可能な記録媒体に記録されるプログラム命令語は本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるものような機械語コードだけではなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は本発明にかかる処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成されることがあり、その逆も同様である。
【００９８】
以上、本発明が具体的な構成要素などのような特定の事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野において通常の知識を有する者であればかかる記載から多様な修正及び変形が行なわれ得る。   
【００９９】
従って、本発明の思想は前記説明された実施例に極限されて定められてはならず、後述する特許請求の範囲だけではなく、本特許請求の範囲と均等または等価的に変形されたすべてのものは本発明の思想の範疇に属するといえる。
【符号の説明】
【０１００】
２００…テスティング装置、２１０…通信部、２２０…プロセッサ、２３０…データベース、３１０，４１０…コンボリューションブロック、３２０，４２０…ＲＰＮ、３５０，４６０…ＦＣレイヤ、４４０…第１プーリングレイヤ、４５０…第２プーリングレイヤ。
【図１】
2019075116.tif 000003
【図２】
2019075116.tif 000004
【図３Ａ】
2019075116.tif 000005
【図３Ｂ】
2019075116.tif 000006
【図４Ａ】
2019075116.tif 000007
【図４Ｂ】
2019075116.tif 000008
【図５】
2019075116.tif 000009
【外国語明細書】
2019075116000001.pdf