(57)【要約】  本出願の実施形態は、対象検出方法、装置、機器及びコンピュータ可読記憶媒体を提供する。対象検出方法は、第一ドメインに用いられるニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行して、検出結果を獲得することであって、ニューラルネットワークは第一画像サンプルセットでトレーニングされる、ことと、検出結果の信頼性が第一閾値よりも低い画像を第二画像サンプルセットの画像サンプルとするステップと、第一画像サンプルセットから少なくとも１つの画像サンプルを選択し、且つ第二画像サンプルセットから少なくとも１つの画像サンプルを選択するステップと、ニューラルネットワークを使用して選択された各画像サンプルに対して対象検出を実行して、予測結果を出力するステップと、出力された予測結果及び選択された各画像サンプルの実際値に基づいて、ニューラルネットワークのネットワークパラメータを調整するステップと、を含む。本出願の実施形態において、ニューラルネットワークは、トレーニングされたシーンの既存の検出性能を保持するとともに、新しいシーンの対象検出要件も満たすことができる。【選択図】図１
2021530015.tif 000002
【特許請求の範囲】
【請求項１】
対象検出方法であって、
第一ドメインに用いられるニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行して、検出結果を獲得することであって、前記ニューラルネットワークは第一画像サンプルセットでトレーニングされる、ことと、
前記検出結果の信頼性が第一閾値よりも低い画像を第二画像サンプルセットの画像サンプルとすることと、
前記第一画像サンプルセットから少なくとも１つの画像サンプルを選択し、且つ前記第二画像サンプルセットから少なくとも１つの画像サンプルを選択することと、
前記ニューラルネットワークを使用して選択された各画像サンプルに対して対象検出を実行して、予測結果を出力することと、
出力された予測結果及び選択された各画像サンプルの実際値に基づいて、前記ニューラルネットワークのネットワークパラメータを調整することと、
を含む、
ことを特徴とする対象検出方法。
【請求項２】
前記方法は、
ネットワークパラメータが更新されたニューラルネットワークを利用して前記第二ドメインの画像に対して対象検出を実行することをさらに含む、
ことを特徴とする請求項１に記載の対象検出方法。
【請求項３】
前記第二ドメインは１つであり、前記第二画像サンプルセットは１つであり、前記第一画像サンプルセットの画像サンプルの数量は前記第二画像サンプルセットの画像サンプルの数量より多く、前記第一画像サンプルセットから選択された画像サンプルの数量と前記第二画像サンプルセットから選択された画像サンプルの数量との間の比率は第一比率範囲内にある、
ことを特徴とする請求項２に記載の対象検出方法。
【請求項４】
前記第二ドメインはｋ個であり、前記第二画像サンプルセットはｋ個であり、前記第一画像サンプルセットの画像サンプルの数量は各々の第二画像サンプルセットの画像サンプルの数量より多く、前記第一画像サンプルセットから選択された画像サンプルの数量と各々の第二画像サンプルセットから選択された画像サンプルの数量との間の比率は第二比率範囲内にあり、ｋは１より大きい整数である、
ことを特徴とする請求項２に記載の対象検出方法。
【請求項５】
ネットワークパラメータが更新されたニューラルネットワークを獲得した後、前記方法は、
前記第二画像サンプルセットと前記第一画像サンプルセットを合併して、新しい第一画像サンプルセットを獲得することをさらに含む、
ことを特徴とする請求項１〜４のいずれか一項に記載の対象検出方法。
【請求項６】
前記新しい第一画像サンプルセットを獲得した後、前記方法は、
前記ネットワークパラメータが更新されたニューラルネットワークによって前記新しい第一画像サンプルセットの各画像サンプルを処理して得られる処理結果及び前記新しい第一画像サンプルセットの各画像サンプルの実際値に基づいて、前記新しい第一画像サンプルセットの画像サンプルを選別することをさらに含む、
ことを特徴とする請求項５に記載の対象検出方法。
【請求項７】
前記ネットワークパラメータが更新されたニューラルネットワークによって前記新しい第一画像サンプルセットの各画像サンプルを処理して得られる処理結果及び前記新しい第一画像サンプルセットの各画像サンプルの実際値に基づいて、前記新しい第一画像サンプルセットの画像サンプルを選別することは、
前記新しい第一画像サンプルセットの各画像サンプルを前記ネットワークパラメータが更新されたニューラルネットワークに入力して、各画像サンプルの処理結果を獲得することと、
各画像サンプルの処理結果及びその実際値に基づいて、前記ネットワークパラメータが更新されたニューラルネットワークによって各画像サンプルを処理するときに生成された画像サンプルの損失値を確定することと、
前記新しい第一画像サンプルセットにおける損失値が第二閾値より小さい画像サンプルを捨てることと、
を含む。
ことを特徴とする請求項６に記載の対象検出方法。
【請求項８】
検出結果の信頼性を確定することは、
前記検出結果と前記検出結果に対応する画像の実際値を比較して、前記検出結果の信頼性を獲得することを含む、
ことを特徴とする請求項７に記載の対象検出方法。
【請求項９】
対象検出装置であって、
検出モジュールと、サンプル収集モジュールと、サンプル選択モジュールと、パラメータ調整モジュールと、を含み、
前記検出モジュールは、第一ドメインに用いられるニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行して検出結果を獲得するために用いられ、前記ニューラルネットワークは第一画像サンプルセットでトレーニングされ、
前記サンプル収集モジュールは、前記検出結果の信頼性が第一閾値よりも低い画像を第二画像サンプルセットの画像サンプルとするために用いられ、
前記サンプル選択モジュールは、前記第一画像サンプルセットから少なくとも１つの画像サンプルを選択し、且つ前記第二画像サンプルセットから少なくとも１つの画像サンプルを選択するために用いられ、
前記検出モジュールは、さらに前記ニューラルネットワークを使用して選択された各画像サンプルに対して対象検出を実行して、予測結果を出力するために用いられ、
前記パラメータ調整モジュールは、出力された予測結果及び選択された各画像サンプルの実際値に基づいて、前記ニューラルネットワークのネットワークパラメータを調整するために用いられる、
ことを特徴とする対象検出装置。
【請求項１０】
前記検出モジュールは、さらにネットワークパラメータが更新されたニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行するために用いられる、
ことを特徴とする請求項９に記載の対象検出装置。
【請求項１１】
前記第二ドメインは１つであり、前記第二画像サンプルセットは１つであり、前記第一画像サンプルセットの画像サンプルの数量は前記第二画像サンプルセットの画像サンプルの数量より多く、前記第一画像サンプルセットから選択された画像サンプルの数量と前記第二画像サンプルセットから選択された画像サンプルの数量との間の比率は第一比率範囲内にある、
ことを特徴とする請求項１０に記載の対象検出装置。
【請求項１２】
前記第二ドメインはｋ個であり、前記第二画像サンプルセットはｋ個であり、前記第一画像サンプルセットの画像サンプルの数量は各々の第二画像サンプルセットの画像サンプルの数量より多く、前記第一画像サンプルセットから選択された画像サンプルの数量と各々の第二画像サンプルセットから選択された画像サンプルの数量との間の比率は第二比率範囲内にあり、その中において、ｋは１より大きい整数である、
ことを特徴とする請求項１０に記載の対象検出装置。
【請求項１３】
前記対象検出装置は、サンプル合併モジュールをさらに含み、
前記サンプル合併モジュールは、ネットワークパラメータが更新されたニューラルネットワークを獲得した後、前記第二画像サンプルセットと前記第一画像サンプルセットを合併して、新しい第一画像サンプルセットを獲得するために用いられる、
ことを特徴とする請求項９〜１２のいずれか一項に記載の対象検出装置。
【請求項１４】
前記対象検出装置は、選別モジュールをさらに含み、
前記選別モジュールは、前記新しい第一画像サンプルセットを獲得した後、前記ネットワークパラメータが更新されたニューラルネットワークによって前記新しい第一画像サンプルセットの各画像サンプルを処理して得られる処理結果及び前記新しい第一画像サンプルセットの各画像サンプルの実際値に基づいて、前記新しい第一画像サンプルセットの画像サンプルを選別するために用いられる、
ことを特徴とする請求項１３に記載の対象検出装置。
【請求項１５】
前記選別モジュールは、処理サブモジュールと、確定サブモジュールと、削除サブモジュールと、を含み、
前記処理サブモジュールは、前記新しい第一画像サンプルセットの各画像サンプルを前記ネットワークパラメータが更新されたニューラルネットワークに入力して、各画像サンプルの処理結果を獲得するために用いられ、
前記確定サブモジュールは、各画像サンプルの処理結果及びその実際値に基づいて、前記ネットワークパラメータが更新されたニューラルネットワークによって各画像サンプルを処理するときに生成された画像サンプルの損失値を確定するために用いられ、
前記削除サブモジュールは、前記新しい第一画像サンプルセットにおける損失値が第二閾値より小さい画像サンプルを捨てるために用いられる、
ことを特徴とする請求項１４に記載の対象検出装置。
【請求項１６】
前記対象検出装置は、比較モジュールをさらに含み、
前記比較モジュールは、前記検出結果と前記検出結果に対応する画像の実際値を比較して、前記検出結果の信頼性を獲得するために用いられる、
ことを特徴とする請求項１５に記載の対象検出装置。
【請求項１７】
対象検出機器であって、
メモリ及びプロセッサを含み、前記メモリにはコンピュータ実行可能命令が格納されており、前記メモリに格納されたコンピュータ実行可能命令が前記プロセッサによって実行されると、請求項１〜８のいずれか一項に記載の対象検出方法を実行する、
ことを特徴とする対象検出機器。
【請求項１８】
コンピュータプログラムが格納されたコンピュータ可読記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されると、請求項１〜８のいずれか一項に記載の対象検出方法を実行する、
ことを特徴とするコンピュータ可読記憶媒体。
【請求項１９】
コンピュータ実行可能命令を含むコンピュータプログラム製品であって、
前記コンピュータ実行可能命令が実行されるとき、請求項１〜８のいずれか一項に記載の対象検出方法を実行する、
ことを特徴とするコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、中国特許庁に提出された中国特許出願の優先権を主張し、出願日は２０１９年５月２７日であり、出願番号はＣＮ２０１９１０４４９１０７．７であり、発明の名称は「対象検出方法、装置、機器及びコンピュータ可読記憶媒体」であり、且つ参照のためそれらの全文を本出願に組み込む。
【０００２】
本発明は、ディープラーニング技術分野に関し、特に、対象検出方法、装置、機器及びコンピュータ可読記憶媒体に関する。
【背景技術】
【０００３】
ディープラーニングニューラルネットワーク（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）の発展に伴い、ディープラーニングニューラルネットワークはさまざまな分野で広く使用されており、例えば、オブジェクト検出に応用される畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ，ＣＮＮ）、言語翻訳に応用されるリカレントニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ，ＲＮＮ）などである。
【０００４】
ディープニューラルネットワークのトレーニングの開始時に、すべてのデータが準備されていると仮定する。ニューラルネットワークのトレーニングプロセスにおいて、ニューラルネットワークのパラメータはターゲットタスクに応じて更新されるので、ニューラルネットワークをターゲットデータに成功的にフィッティング（Ｆｉｔｔｉｎｇ）させる。新しいタスクと新しいデータが到着すると、ニューラルネットワークが以前に学んだ知識はトレーニング中に書き換えられ、従ってニューラルネットワークは以前のタスクとデータに関連する性能を失う可能性がある。
【発明の概要】
【０００５】
本出願の実施形態は、対象検出方法を提供し、ニューラルネットワークはトレーニングされたシーンの既存の検出性能を保持するとともに、新しいシーンの対象検出性能を迅速に取得することができる。ニューラルネットワークは連続学習の能力を有し、即ち、ニューラルネットワークは元のシーンの処理性能を維持するとともに、新しいシーンの任務処理要件も十分に満たすことができる。
【０００６】
第一態様において、本出願の実施形態は対象検出方法を提供する。対象検出方法は、
第一ドメインに用いられるニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行して、検出結果を獲得することと、ニューラルネットワークは第一画像サンプルセットでトレーニングされる、ことと、
検出結果の信頼性が第一閾値よりも低い画像を第二画像サンプルセットの画像サンプルとすることと、
第一画像サンプルセットから少なくとも１つの画像サンプルを選択し、且つ第二画像サンプルセットから少なくとも１つの画像サンプルを選択することと、
ニューラルネットワークを使用して選択された各画像サンプルに対して対象検出を実行して、予測結果を出力することと、
出力された予測結果及び選択された各画像サンプルの実際値（ｇｒｏｕｎｄ  ｔｒｕｔｈ）に基づいて、ニューラルネットワークのネットワークパラメータを調整することと、
を含む。
【０００７】
１つの選択的な実施形態において、前記方法は、
ネットワークパラメータが更新されたニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行することをさらに含む。
【０００８】
１つの選択的な実施形態において、第二ドメインは１つであり、第二画像サンプルセットは１つであり、第一画像サンプルセットの画像サンプルの数量は第二画像サンプルセットの画像サンプルの数量より多く、第一画像サンプルセットから選択された画像サンプルの数量と第二画像サンプルセットから選択された画像サンプルの数量との間の比率は第一比率範囲内にある。
【０００９】
１つの選択的な実施形態において、第二ドメインはｋ個であり、第二画像サンプルセットはｋ個であり、第一画像サンプルセットの画像サンプルの数量は各々の第二画像サンプルセットの画像サンプルの数量より多く、第一画像サンプルセットから選択された画像サンプルの数量と各々の第二画像サンプルセットから選択された画像サンプルの数量との間の比率は第二比率範囲内にあり、ｋは１より大きい整数である。
【００１０】
１つの選択的な実施形態において、ネットワークパラメータが更新されたニューラルネットワークを獲得した後、前記方法は、
第二画像サンプルセットと第一画像サンプルセットを合併して、新しい第一画像サンプルセットを獲得することをさらに含む。
【００１１】
１つの選択的な実施形態において、新しい第一画像サンプルセットを獲得した後、前記方法は、
ネットワークパラメータが更新されたニューラルネットワークによって新しい第一画像サンプルセットの各画像サンプルを処理して得られる処理結果及び新しい第一画像サンプルセットの各画像サンプルの実際値に基づいて、新しい第一画像サンプルセットの画像サンプルを選別することをさらに含む。
【００１２】
１つの選択的な実施形態において、ネットワークパラメータが更新されたニューラルネットワークによって新しい第一画像サンプルセットの各画像サンプルを処理して得られる処理結果及び新しい第一画像サンプルセットの各画像サンプルの実際値に基づいて、新しい第一画像サンプルセットの画像サンプルを選別することは、
新しい第一画像サンプルセットの各画像サンプルをネットワークパラメータが更新されたニューラルネットワークに入力して、各画像サンプルの処理結果を獲得することと、
各画像サンプルの処理結果及びその実際値に基づいて、ネットワークパラメータが更新されたニューラルネットワークによって各画像サンプルを処理するときに生成された画像サンプルの損失値を確定することと、
新しい第一画像サンプルセットにおける損失値が第二閾値より小さい画像サンプルを捨てることと、
を含む。
【００１３】
１つの選択的な実施形態において、以下のように検出結果の信頼性を確定する。検出結果と検出結果に対応する画像の実際値を比較して、検出結果の信頼性を獲得する。
【００１４】
第二態様において、本出願の実施形態は対象検出装置を提供する。対象検出装置は、検出モジュールと、サンプル収集モジュールと、サンプル選択モジュールと、パラメータ調整モジュールと、を含む。検出モジュールは、第一ドメインに用いられるニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行して検出結果を獲得するために用いられ、ニューラルネットワークは第一画像サンプルセットでトレーニングされる。サンプル収集モジュールは、検出結果の信頼性が第一閾値よりも低い画像を第二画像サンプルセットの画像サンプルとするために用いられる。サンプル選択モジュールは、第一画像サンプルセットから少なくとも１つの画像サンプルを選択し、且つ第二画像サンプルセットから少なくとも１つの画像サンプルを選択するために用いられる。検出モジュールは、さらにニューラルネットワークを使用して選択された各画像サンプルに対して対象検出を実行して、予測結果を出力するために用いられる。パラメータ調整モジュールは、出力された予測結果及び選択された各画像サンプルの実際値に基づいて、ニューラルネットワークのネットワークパラメータを調整するために用いられる。
【００１５】
１つの選択的な実施形態において、検出モジュールは、さらにネットワークパラメータが更新されたニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行するために用いられる。
【００１６】
１つの選択的な実施形態において、第二ドメインは１つであり、第二画像サンプルセットは１つであり、第一画像サンプルセットの画像サンプルの数量は第二画像サンプルセットの画像サンプルの数量より多く、第一画像サンプルセットから選択された画像サンプルの数量と第二画像サンプルセットから選択された画像サンプルの数量との間の比率は第一比率範囲内にある。
【００１７】
１つの選択的な実施形態において、第二ドメインはｋ個であり、第二画像サンプルセットはｋ個であり、第一画像サンプルセットの画像サンプルの数量は各々の第二画像サンプルセットの画像サンプルの数量より多く、第一画像サンプルセットから選択された画像サンプルの数量と各々の第二画像サンプルセットから選択された画像サンプルの数量との間の比率は第二比率範囲内にあり、その中において、ｋは１より大きい整数である。
【００１８】
１つの選択的な実施形態において、対象検出装置は、サンプル合併モジュールをさらに含む。サンプル合併モジュールは、ネットワークパラメータが更新されたニューラルネットワークを獲得した後、第二画像サンプルセットと第一画像サンプルセットを合併して、新しい第一画像サンプルセットを獲得するために用いられる。
【００１９】
１つの選択的な実施形態において、対象検出装置は、選別モジュールをさらに含む。選別モジュールは、新しい第一画像サンプルセットを獲得した後、ネットワークパラメータが更新されたニューラルネットワークによって新しい第一画像サンプルセットの各画像サンプルを処理して得られる処理結果及び新しい第一画像サンプルセットの各画像サンプルの実際値に基づいて、新しい第一画像サンプルセットの画像サンプルを選別するために用いられる。
【００２０】
１つの選択的な実施形態において、選別モジュールは、処理サブモジュールと、確定サブモジュールと、削除サブモジュールと、を含む。
処理サブモジュールは、新しい第一画像サンプルセットの各画像サンプルをネットワークパラメータが更新されたニューラルネットワークに入力して、各画像サンプルの処理結果を獲得するために用いられる。
確定サブモジュールは、各画像サンプルの処理結果及びその実際値に基づいて、ネットワークパラメータが更新されたニューラルネットワークによって各画像サンプルを処理するときに生成された画像サンプルの損失値を確定するために用いられる。
削除サブモジュールは、新しい第一画像サンプルセットにおける損失値が第二閾値より小さい画像サンプルを捨てるために用いられる。
【００２１】
１つの選択的な実施形態において、対象検出装置は、比較モジュールをさらに含む。比較モジュールは、検出結果と検出結果に対応する画像の実際値を比較して、検出結果の信頼性を獲得するために用いられる。
【００２２】
第三態様において、本出願の実施形態は、対象検出機器を提供する。対象検出機器は、メモリ及びプロセッサを含み、メモリにはコンピュータ実行可能命令が格納されており、メモリに格納されたコンピュータ実行可能命令がプロセッサによって実行されると、第一態様の方法を実行する。
【００２３】
第四態様において、本出願の実施形態は、コンピュータプログラムが格納されたコンピュータ可読記憶媒体を提供する。コンピュータプログラムがプロセッサによって実行されると、第一態様の方法を実行する。
【００２４】
第五態様において、本出願の実施形態は、コンピュータ実行可能命令を含むコンピュータプログラム製品を提供し、コンピュータ実行可能命令が実行されるとき、第一態様の方法を実現することができる。
【００２５】
本出願の実施形態において、第二ドメインの画像に対して対象検出を実行して、検出結果を獲得した後、検出結果の信頼性が第一閾値よりも低い画像を第二画像サンプルセットの画像サンプルとしてから、ニューラルネットワークを使用して別々に第一画像サンプルセット及び第二画像サンプルセットから選択された画像サンプルに対して対象検出を実行することにより予測結果を獲得し、最後に予測結果及び選択された各画像サンプルの実際値に基づいて、ニューラルネットワークのネットワークパラメータを調整する。ニューラルネットワークをトレーニングする時、第一画像サンプルセットの画像サンプルを使用してニューラルネットワークをトレーニングするとともに、第二画像サンプルセットの画像サンプルを使用してニューラルネットワークをトレーニングするので、ニューラルネットワークは、第一ドメインの検出性能を保持するとともに、第二ドメインの検出要件を満たすことができる。即ち、ニューラルネットワークはトレーニングされたシーンの既存の検出性能を保持するとともに、新しいシーンの対象検出要件も満たすことができる。
【図面の簡単な説明】
【００２６】
本出願の実施形態の技術的解決策をより明確に説明するために、以下、実施形態を説明するために使用される図面を簡単に紹介する。
【図１】図１は、本発明の実施形態に係わる対象検出方法のフローチャートである。
【図２】図２は、本発明の実施形態に係わる別の対象検出方法のフローチャートである。
【図３】図３は、本発明の実施形態に係わるさらに別の対象検出方法のフローチャートである。
【図４】図４は、本発明の実施形態に係わる対象検出方法で使用されるニューラルネットワークのトレーニングフレームワークを示す概略図である。
【図５】図５は、本発明の実施形態に係わるデュアルプールデータの組み合わせでニューラルネットワークをトレーニングすることを示す概略図である。
【図６】図６は、本発明の実施形態に係わるマルチプールデータの組み合わせでニューラルネットワークをトレーニングすることを示す概略図である。
【図７】図７は、本発明の実施形態に係わる対象検出装置を示すブロック図である。
【図８】図８は、本発明の実施形態に係わる対象検出機器の構造を示す概略図である。
【発明を実施するための形態】
【００２７】
以下、本出願の実施形態の添付図面を参照しながら、本出願の実施形態の技術的方案を明確且つ完全に説明する。明らかに、説明された実施形態は、本発明の実施形態の一部にすぎず、すべての実施形態ではない。創造的な努力なしに本発明の実施形態に基づいて当業者によって得られる他のすべての実施形態は、本発明の保護範囲に含まれる。
【００２８】
本発明の明細書及び特許請求の範囲で使用される用語「含む」、「有する」は、記載された特徴、全体、ステップ、操作、要素及び/又は構成要素の存在を示すが、１つ又は複数の他の特徴、全体、ステップ、操作、要素、構成要素及び/又はそのコレクションの存在又は追加を除外しない。
【００２９】
また、本出願の明細書で使用される用語は、ただ特定の実施形態を説明するために用いられ、本出願を限定することを意図しないことも理解されたい。本出願の明細書及び添付された特許請求の範囲で使用されるように、文脈が他の状況を明確に示さない限り、単数の形態「一」、「１つの」及び「前記」は、複数の形態を含むことを意図する。
【００３０】
本出願の明細書及び特許請求の範囲で使用される用語「及び/又は」という用語は、リストされた関連項目の中の１つ又は複数の任意の組み合わせ及びすべての可能な組み合わせを指し、且つこれらの組み合わせを含むことを指す。
【００３１】
本明細書及び添付された特許請求の範囲で使用されるように、「もし」という用語は、文脈に応じて、「...ている時」又は「...と（...たら）」又は「確定されることに応答する」又は「検出されることに応答する」と解釈することができる。同様に、「もし確定されると」又は「もし検出されると（記述された条件又は事件）」という句は、文脈に応じて、「確定したら」又は「確定されることに応答する」又は「検出したら（記述された条件又は事件）」又は「検出されることに応答する（記述された条件又は事件）と解釈することができる。
【００３２】
さまざまな場所に快速に適用できるように、優れたニューラルネットワークは、通常、ある程度の適応性を有することを必要とする。ただし、ニューラルネットワーク自体の能力に限定され、且つ異なる地域又は異なるシーンの画像サンプルデータは異なり、例えば、複数の建物がある都市道路、複数の植生がある田舎道などであり、単一の画像サンプルデータソースを使用してトレーニングされたニューラルネットワークが他の地域又はシーンに応用されると、問題が発生する可能性がある。例えば、道路識別にとって、トレーニングに使用される画像サンプルはすべて都市道路サンプルであると、応用する時、都市道路はよく識別することができるが、田舎道を識別する場合、識別エラーが発生する可能性がある。最も安全な方法は、異なる地域に対して異なるニューラルネットワークをトレーニングすることである。しかし、このような方法は、新しいデータを収集してラベルを付ける必要があり、ニューラルネットワークを再びトレーニングする必要があるので、非常に時間と労力がかかる。
【００３３】
これに対して、本出願の実施形態は対象検出方法を提供し、ニューラルネットワークは、トレーニングされたシーンの既存の検出性能を保持するとともに、新しいシーンの対象検出性能を迅速に獲得することができる。
【００３４】
図１を参照すると、図１は本発明の実施形態に係わる対象検出方法のフローチャートである。図１に示されたように、前記方法は、以下のステップを含む。
【００３５】
１０１、第一ドメインに用いられるニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行して、検出結果を獲得し、その中において、ニューラルネットワークは第一画像サンプルセットでトレーニングされる。
【００３６】
本出願の実施形態において、第一ドメイン及び第二ドメインは、ニューラルネットワークの２つの異なる適用範囲を指す。第一ドメインと第二ドメインの違いは、次のとおりである。１、応用領域が異なり、スマートビデオ、セキュリティモニタリング、先進運転支援システム（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｉｎｇ  Ａｓｓｉｓｔａｎｔ  Ｓｙｓｔｅｍ，ＡＤＡＳ）、自動運転（Ａｕｔｏｍａｔｉｃ  Ｄｒｉｖｉｎｇ，ＡＤ）などの応用領域が含まれる。例えば、第一ドメインはセキュリティモニタリング領域でＡ対象を検出することであり、第二ドメインは自動運転領域でＡ対象又はＡ対象に類似した対象を検出することである。２、時空が異なる。３、データソースが異なり、例えば、第一ドメインはシミュレートされた環境でＡ対象を検出することであり、第二ドメインは実際の環境でＡ対象又はＡ対象に類似した対象を検出することである。上記の対象は、人、動物、自動車、非自動車、交通標識、交通灯、障害物などであることができる。
【００３７】
本出願の実施形態において、ニューラルネットワークは、任意のディープラーニングニューラルネットワークであることができる。例えば、オブジェクト検出に応用される畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ，ＣＮＮ）、言語識別に応用されるリカレントニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ，ＲＮＮ）、又はシーン識別に応用される再帰型ニューラルネットワーク（ｒｅｃｕｒｓｉｖｅ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ，ＲＮＮ）などであることができる。
【００３８】
どのようなニューラルネットワークに係わらず、ニューラルネットワークを実際に使用する前に、ニューラルネットワークが適用されるシナリオの最適な重みパラメータを取得するために、ニューラルネットワークをトレーニングすることを必要として、従ってニューラルネットワークを上記のシナリオに適用することができる。ニューラルネットワークをトレーニングする時、トレーニング用の画像サンプルを収集し、画像サンプルにラベルを付けて、画像サンプルセットを取得することを必要とする。それから、画像サンプルセットを使用して、ニューラルネットワークをトレーニングする。トレーニングされたニューラルネットワークをテストして、テスト結果が条件を満たす場合、ニューラルネットワークを実際の生産応用に適用することができる。
【００３９】
本出願の実施形態において、「第一ドメインに用いられるニューラルネットワーク（ニューラルネットワークは第一画像サンプルセットでトレーニングされる）」とは、ニューラルネットワークは第一画像サンプルセットでトレーニングされ、且つ第一ドメインに応用され、第一ドメインの画像に対して対象検出を実行するとき、対象検出の要件を満たすことができ、それから前記ニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行して、検出結果を獲得することを意味する。例えば、ニューラルネットワークがトレーニングされた後、元にエリアＡの道路画像に対して車両検出を実行するために用いられるニューラルネットワークが現在はエリアＢの道路画像に対して車両検出を実行するために直接使用されている。
【００４０】
１つの選択的な実施形態において、以下のように、第一画像サンプルセットを使用してニューラルネットワークをトレーニングする。第一画像サンプルセットの画像サンプルは事前設定された数量の画像サンプルグループに分けられ、ニューラルネットワークをトレーニングするために、事前設定された数量の画像サンプルグループが順番に使用される。単一グループの画像サンプルを使用してニューラルネットワークをトレーニングする具体的なプロセスは、１つのグループの画像サンプルをニューラルネットワークに入力して順方向伝播して、ニューラルネットワークの各層の出力結果を取得し、次に、画像サンプルのラベル付け結果を使用してニューラルネットワークの各層の誤差項を逆に計算し、最後に、勾配降下（Ｇｒａｄｉｅｎｔ  Ｄｅｓｃｅｎｔ）法を採用して、損失関数を使用してニューラルネットワークの重みパラメーターを更新する。
【００４１】
上記のトレーニング方法では、画像サンプルデータをいくつかのグループに分けて、ニューラルネットワークのパラメータはグループごとに更新される。このように、同じグループのデータが共同で勾配方向を決定するので、下降偏差が発生しにくくなり、ランダム性を減らす。一方、単一グループ内の画像サンプルの数量は画像サンプルセット全体の画像サンプルの数量よりもはるかに少ないので、計算量が削減される。その中において、損失関数を使用してニューラルネットワークの重みパラメータを更新し、その計算式は次のとおりである。
【００４２】
【数１】
2021530015.tif 000003
【００４３】
その中において、ηはステップサイズ（Ｓｔｅｐ  Ｓｉｚｅ）であり、又は学習率（Ｌｅａｒｎｉｎｇ  Ｒａｔｅ）とも呼ばれ、ｗはパラメータであり、Ｑは損失関数であり、ｎは各グループの画像サンプルの数量である。
【００４４】
１０２、検出結果の信頼性が第一閾値よりも低い画像を第二画像サンプルセットの画像サンプルとする。
【００４５】
その中において、ニューラルネットワークが第二ドメインの画像に対して対象検出を実行して検出結果を獲得してから、検出結果と検出結果に対応する画像の画像実際値を比較することにより、差値を獲得する。差値が小さければ小さいほど、検出結果が画像実際値に接近することを説明し、検出結果の信頼性は高い。差値が大きければ大きいほど、検出結果は画像実際値から逸脱し、検出結果の信頼性が低い。その中において、画像の実際値は、画像の注釈情報であることができ、画像自体（実際の画像）であることもできる。
【００４６】
実際のシーンは非常に複雑であり、さまざまな未知の状況がある。一般的なデータ収集は、非常に限られたサブセットしかカバーできない。第一画像サンプルセットを使用してニューラルネットワークをトレーニングした後、第一画像サンプルセットのカバレッジが全面ではないので、ニューラルネットワークを利用して一部のシーンの画像に対して対象検出を実行して得られる検出結果は要件を満たすことができるが、第一画像サンプルセットにカバーされていないシーンの画像に対して対象検出を実行して得られる検出結果は正確ではないことを招く。又は、第一画像サンプルセットにおいて、各シーンの画像サンプル分布は均一ではないので、ニューラルネットワークが誤検出するか、又は検出漏れを招く。例えば、異なる地域の道路画像に対して対象検出を実行するときに発生する。
【００４７】
上述した問題について、本出願の実施形態において、第一画像サンプルセットを使用してニューラルネットワークをトレーニングした後、検出要件を満たすことができるシーンに対して、前記ニューラルネットワークを使い続けて対象検出を実行するが、検出要件を満たすことができないシーンに対して対象検出を実行する場合、問題のある検出結果に対応する画像を収集してから、問題のある検出結果に対応する画像を第二画像サンプルセットの画像サンプルとする。その中において、問題のある検出結果とは、検出結果の信頼性が第一閾値よりも低い状況を指し、具体的には、検出結果と検出結果に対応する画像の実際値を比較して、上記の検出結果の信頼性を獲得する。
【００４８】
その中において、検出結果の信頼性が第一閾値よりも低いか否かを判断する場合、具体的には、検出結果と対応する正確結果を手動で比較して判断するか、又は半自動方法で判断し、例えば、より複雑な構造を有するニューラルネットワークを使用して画像処理を実行し、２つの処理結果を比較する。
【００４９】
１つの選択的な実施形態において、第二画像サンプルセットの画像サンプルは、検出結果の信頼性が第一閾値よりも低い画像に加えて、これらの画像と類似した特徴を有する画像であることができるので、第二画像サンプルセットの画像と類似した特徴を有する画像を獲得して、第二画像サンプルセットの画像サンプルとすることもできる。具体的には、ニューラルネットワークをトレーニングするために、第二ドメインでトレーニングサンプルを収集して第二画像サンプルセットの画像サンプルとすることができる。
【００５０】
１０３、第一画像サンプルセットから少なくとも１つの画像サンプルを選択し、且つ第二画像サンプルセットから少なくとも１つの画像サンプルを選択する。
【００５１】
本出願の実施形態において、第二ドメインの第二画像サンプルセットを獲得してから、第一画像サンプルセットから少なくとも１つの画像サンプルを選択し、且つ第二画像サンプルセットから少なくとも１つの画像サンプルを選択する。ニューラルネットワークを使用して選択された各画像サンプルを処理して予測結果を獲得し、従って予測結果及び選択された各画像サンプルの実際値に基づいてニューラルネットワークのパラメータを最適化及び調整し、即ち第一画像サンプルセット及び第二画像サンプルセットを使用して一緒にニューラルネットワークをトレーニングする。
【００５２】
１つの選択的な実施形態において、第二ドメインは１つであり、第二画像サンプルセットは１つであり、第一画像サンプルセットの画像サンプルの数量は第二画像サンプルセットの画像サンプルの数量より多く、第一画像サンプルセットから選択された画像サンプルの数量と第二画像サンプルセットから選択された画像サンプルの数量との間の比率は第一比率範囲内にある。
【００５３】
第一画像サンプルセットから選択した画像サンプルの数量と第二画像サンプルセットから選択した画像サンプルの数量との間の比率は第一比率範囲内にあり、第一画像サンプルセットの画像サンプルの数量は第二画像サンプルセットの画像サンプルの数量より多いので、トレーニング中にニューラルネットワークの性能パラメータを第二画像サンプルセットに素早くフィッティングさせるために、２つのサンプルセットからサンプルを選択するたびに、２つのンプルセットから選択された画像サンプルの数量の比率が第一比率範囲内にあるようにする。例えば、ニューラルネットワークが元の第一ドメインの検出性能を保持するとともに、第二ドメインの検出性能をすばやく学習して取得できるように、上述した比例は約１：１であることができる。
【００５４】
別の可能な実施形態において、１つの第二ドメインがあることに基づいて、第二ドメインの数量は複数であることもでき、即ち複数の第二ドメインが存在する。具体的には、第二ドメインはｋ個であり、第二画像サンプルセットはｋ個であり、第一画像サンプルセットの画像サンプルの数量は各々の第二画像サンプルセットの画像サンプルの数量より多く、第一画像サンプルセットから選択された画像サンプルの数量と各々の第二画像サンプルセットから選択された画像サンプルの数量との間の比率は第二比率範囲内にあり、その中において、ｋは１より大きい整数である。ニューラルネットワークが元の第一ドメインでの検出性能を保持するとともに、第二ドメインでの検出性能をすばやく学習して取得できるように、第一画像サンプルセット及び各第二画像サンプルセットから同じ数量のサンプル画像を選択することができ、即ち第二比例範囲は約１である。
【００５５】
１０４、ニューラルネットワークを使用して選択された各画像サンプルに対して対象検出を実行して、予測結果を出力し、出力された予測結果及び選択された各画像サンプルの実際値に基づいて、ニューラルネットワークのネットワークパラメータを調整する。
【００５６】
ステップ１０４において、出力された予測結果及び選択された各画像サンプルの実際値に基づいて、ニューラルネットワークのネットワークパラメータを調整することは、反復プロセス（ｉｔｅｒａｔｉｖｅ  ｐｒｏｃｅｓｓ）である。反復プロセスは、出力された予測結果及び選択された各画像サンプルの実際値の差が要件を満たすときに終了する。
【００５７】
その中において、選択された各画像サンプルの実際値は選択された各画像サンプルの注釈情報である。例えば、画像検出分類用の画像サンプルに対して、画像サンプルの対象が車両である場合、画像サンプルの実際値は画像サンプルの中の車両である。
【００５８】
ディープラーニングにおいて、トレーニングはフィッティングを意味し、即ちニューラルネットワークは特定の画像サンプルデータセットにフィッティング（Ｆｉｔｔｉｎｇ）する。一般的に、異なる画像サンプルデータは異なる分布を有する。画像サンプルデータのターゲットオブジェクトは大きい差異がある。新しい画像サンプルデータソースを使用してトレーニングすると、元の画像サンプルデータソースの性能を影響し、且つ差異が大きければ大きいほど、性能の低下は深刻である。
【００５９】
ニューラルネットワークトレーニングの本質は、次のとおりである。画像サンプルに対するニューラルネットワークの予測結果及び画像サンプルの実際値（即ち、画像サンプルの注釈情報又は実際の画像である）に基づいて、ニューラルネットワークのパラメータを絶えずに調整して、予測結果と画像サンプルの実際値の差異が要件を満たすようにする。ニューラルネットワークのトレーニング中に、特定のデータソースのアクセス頻度は、ニューラルネットワークを前記データソースにフィッティングさせることができる確率を表す。アクセス頻度が高いほど、ニューラルネットワークは前記データソースにフィッティングし易く、即ちニューラルネットワークは前記データソースに対して優れる性能を発揮する。新しいデータソースが出現された場合、ただ新しいデータソースでトレーニングすると、トレーニングされたニューラルネットワークを再び新しいデータソースにフィッティングさせて、ニューラルネットワークが以前のデータソースにフィッティングできなくなる。従って、新しいデータソースと古いデータソースのアクセス頻度を同時に維持することは、本出願の実施形態におけるニューラルネットをワークトレーニングするキーポイントである。
【００６０】
本出願の実施形態において、第一画像サンプルセットは古いデータであり、第二画像サンプルセットは新しいデータである。ニューラルネットワークが元の第一画像サンプルセット上の性能を維持するとともに第二画像サンプルセットにうまくフィッティングするように、同時に第一画像サンプルセット及び第二画像サンプルセットから画像サンプル選択してから、選択されたサンプルに対して対象検出を実行し、且つ検出結果とそれに対応する実際値（注釈結果又は実際の画像である）を利用してニューラルネットワークのパラメータを調整することを必要とする。
【００６１】
本出願の実施形態において、ニューラルネットワークが第一ドメインに対する検出性能を失うことを防ぐために、第二画像サンプルセットを収集してから、第一画像サンプルセット及び第二画像サンプルセットを使用して一緒にニューラルネットワークをトレーニングして、ニューラルネットワークのパラメータを更新し、従ってニューラルネットワークは第一ドメインの画像に対する対象検出性能を保持するとともに、第二ドメインの画像に対する対象検出性能も有する。具体的なトレーニングプロセスは、第一画像サンプルセットのみを使用してニューラルネットワークをトレーニングするプロセスと類似し、グループごとに画像サンプルセットから画像サンプルを獲得する。異なることは、各グループのサンプルは、第一画像サンプルセットから少なくもと１つの画像サンプルを選択し且つ第二画像サンプルセットから少なくもと１つの画像サンプルを選択して、１つのグループのトレーニングサンプルとする。そして、上記の式（１）を使用して、ニューラルネットワークのパラメータが最適になるまで、ニューラルネットワークの重みパラメータを更新する。
【００６２】
第一画像サンプルセット及び第二画像サンプルセットの画像サンプルを使用してニューラルネットワークをトレーニングするプロセスにおいて、毎回第一画像サンプルセット及び第二画像サンプルセットからｎ個（各グループの画像サンプルの数量である）の画像サンプルがランダムに選択される場合、各画像サンプルがサンプリングされる確率はｎ/Ｎ（Ｎは第一画像サンプルセット及び第二画像サンプルセットの画像サンプルの総数である）であるので、以下の問題が発生する可能性がある。特定の分布を有する画像サンプルデータに対して、この部分の画像サンプルデータの量が少ないと、画像サンプルデータがトレーニングに参加する機会が少なくなり、ニューラルネットワークのトレーニングに貢献する貢献度が薄れてしまく、ニューラルネットワークが特定の分布を有する画像サンプルデータにうまくフィッティングできなくなる。性能を向上させるために、十分な新しい画像サンプルデータを収集することを必要とする。なお、新しい画像サンプルデータのみを使用すると、元の画像サンプルデータはトレーニングに参加できなくなり、ニューラルネットワークは新しい画像サンプルデータにフィッティングされ、元の画像サンプルデータの性能が低下する。
【００６３】
１つの選択的な実施形態において、新しい画像サンプルデータの量が少ないのでニューラルネットワークの性能を向上させることに影響する問題を解決するために、本出願の実施形態において、順方向伝播に参与する各グループの画像サンプルデータは、第一画像サンプルセットから選択された画像サンプルと第二画像サンプルセットから選択された画像サンプルを第一比率に応じて組み合わせてなる。例えば、第一画像サンプルセットから選択された画像サンプルと第二画像サンプルセットから選択された画像サンプルの比例は１：１であり、実際の状況に応じて適切に調整することができる。例えば、現在の各グループの画像サンプル数量が３２に設定されている場合、１６個の画像サンプルは第一画像サンプルセットから獲得し、１６個の画像サンプルは第二画像サンプルセットから獲得する。なお、第一画像サンプルセットの画像サンプルの数量と第二画像サンプルセットの画像サンプルの数量は異なるので、第一画像サンプルセットの画像サンプルと第二画像サンプルセットの画像サンプルがトレーニングに参加する回数も異なる。参加回数によって異なるデータソースの比率を調整することにより、複数の画像サンプルデータソースから最適点を見つけることは、大量の新しい画像サンプルデータを収集する方法より便利である。
【００６４】
ネットワークパラメータが更新された後、ニューラルネットワークは第一ドメインに対する検出性能を維持するとともに、第二ドメインに対する検出性能も向上させるので、選択的に、第二ドメインの画像に対して対象検出を実行する場合、ネットワークパラメータが更新されたニューラルネットワークを使用することができる。図２に示されるように、本発明の実施形態に係わる別の対象検出方法は、以下のステップを含む。
【００６５】
２０１、第一ドメインに用いられるニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行して、検出結果を獲得し、その中において、ニューラルネットワークは第一画像サンプルセットでトレーニングされる。
【００６６】
２０２、検出結果の信頼性が第一閾値よりも低い画像を第二画像サンプルセットの画像サンプルとする。
【００６７】
２０３、第一画像サンプルセットから少なくとも１つの画像サンプルを選択し、且つ第二画像サンプルセットから少なくとも１つの画像サンプルを選択する。
【００６８】
２０４、ニューラルネットワークを使用して選択された各画像サンプルに対して対象検出を実行して、予測結果を出力し、出力された予測結果及び選択された各画像サンプルの実際値に基づいて、ニューラルネットワークのネットワークパラメータを調整する。
【００６９】
２０５、ネットワークパラメータが更新されたニューラルネットワークを利用して、第二ドメインの画像に対して対象検出を実行する。
【００７０】
本出願の実施形態において、ニューラルネットワークのネットワークパラメータは、第一画像サンプルセット及び第二画像サンプルセットの両方に基づいて更新されるので、ニューラルネットワークは、第一ドメインに対する検出性能を保持するとともに、第二ドメインに対する検出性能を向上させることができ、ネットワークパラメータが更新されたニューラルネットワークを使用して第二ドメインの画像に対して対象検出を実行すると、検出結果はより正確になる。
【００７１】
本出願の実施形態において、第二ドメインの画像に対して対象検出を実行して、検出結果を獲得した後、検出結果の信頼性が第一閾値よりも低い画像を第二画像サンプルセットの画像サンプルとしてから、ニューラルネットワークを使用して別々に第一画像サンプルセット及び第二画像サンプルセットから選択された画像サンプルに対して対象検出を実行することにより予測結果を獲得し、最後に新しい画像サンプルの予測結果、古い画像サンプルの予測結果及び選択された各画像サンプルの実際値に基づいて、ニューラルネットワークのネットワークパラメータを調整する。ニューラルネットワークをトレーニングする時、新しい画像サンプルセットが追加されるとともに、古い画像サンプルセットを保留することにより、トレーニングされたニューラルネットワークは、第一ドメインに対する検出性能を保持するとともに、新しい画像サンプルセットによくフィッティングすることができ、即ち、ニューラルネットワークはすでにトレーニングされたシーンの既存の検出性能を保持するとともに、新しいシーンの対象検出性能にすばやく獲得することができる。
【００７２】
図３を参照すると、図３は、本発明の実施形態に係わる別の対象検出方法のフローチャートである。図面に示されたように、前記方法は、以下のステップを含む。
【００７３】
３０１、第一ドメインに用いられるニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行して、検出結果を獲得し、その中において、ニューラルネットワークは第一画像サンプルセットでトレーニングされる。
【００７４】
３０２、検出結果の信頼性が第一閾値よりも低い画像を第二画像サンプルセットの画像サンプルとする。
【００７５】
３０３、第一画像サンプルセットから少なくとも１つの画像サンプルを選択し、且つ第二画像サンプルセットから少なくとも１つの画像サンプルを選択する。
【００７６】
３０４、ニューラルネットワークを使用して選択された各画像サンプルに対して対象検出を実行して、予測結果を出力し、出力された予測結果及び選択された各画像サンプルの実際値に基づいて、ニューラルネットワークのネットワークパラメータを調整する。
【００７７】
ネットワークパラメータが更新されたニューラルネットワークから出力された予測結果と選択された各画像サンプルの実際値の差異が要件を満たすと、ステップ３０４は終了する。
【００７８】
３０５、ネットワークパラメータが更新されたニューラルネットワークを利用して、第二ドメインの画像に対して対象検出を実行する。
【００７９】
ステップ３０４が完了した後、第二ドメインの画像に対して対象検出を実行するニューラルネットワークをアップグレードすることができ、即ち、ネットワークパラメータが更新されたニューラルネットワークを利用して、第二ドメインの画像に対して対象検出を実行する。
【００８０】
ステップ３０４の後、さらに以下のステップを含むことができる。
【００８１】
３０６、第二画像サンプルセットと第一画像サンプルセットを合併して、新しい第一画像サンプルセットを獲得する。
【００８２】
その中において、３０５と３０６は並行して実行することができ、両者の実行順序は限定されない。
【００８３】
本出願の実施形態において、第一画像サンプルセット及び第二画像サンプルセットを使用してニューラルネットワークをトレーニングした後、元の第一画像サンプルセットと第二画像サンプルセットを合併して新しい第一画像サンプルセットとする。従って、ニューラルネットワークの応用過程で再び問題が発生した場合、問題が発生したシーンに対して新しい第二画像サンプルセットを収集し、新しい第二画像サンプルセットを第二画像サンプルセットと見なし、新しい第一画像サンプルセットを第一画像サンプルセットと見なして、戻ってステップ３０１〜３０４を実行し、新しいシーン（つまり、新しい第二ドメイン）に対して、ニューラルネットワークのネットワークパラメータを再び更新及び調整する。
【００８４】
第一画像サンプルセットをトレーニングされた古い画像サンプルセットと見なすことができ、ニューラルネットワークが新しいシーン又は領域に対して学習することを必要とする場合、新しい画像サンプルセット（即ち、第二画像サンプルセット又は新しい第二画像サンプルセットである）を収集してから、新しい画像サンプルセット及び古い画像サンプルセットを一緒に使用してニューラルネットワークをトレーニングすることにより、ニューラルネットワークは新しいシーン又は領域に対して学習することができ、且つ以前に学んだものを忘れない。
【００８５】
本出願の実施形態において、新しい画像サンプルセット及び古い画像サンプルセット（即ち、第一画像サンプルセットである）を使用してニューラルネットワークをトレーニングするたびに、新しい画像サンプルセットと古い画像サンプルセットを合併して次のトレーニング用の古い画像サンプルセットを形成するので、ニューラルネットワークのアプリケーションシナリオが増えることにつれて、古い画像サンプルセットはだんだん大きくなる。ただし、ニューラルネットワークが古い画像サンプルセットの画像サンプルを適切に処理できる（検出、識別など）場合、これは前記画像サンプルがトレーニング過程で有用な情報を提供できないことを意味し、従ってトレーニングする前に前記画像サンプルを古い画像サンプルセットから削除して、不要なトレーニングを減らし、古い画像サンプルセットのサンプルの数量を減少して、ストレージスペースを節約する。
【００８６】
従って、本出願の実施形態に係わる対象検出方法は、ステップ３０６の後に、さらに以下のステップを含む。
【００８７】
３０７、ネットワークパラメータが更新されたニューラルネットワークによって新しい第一画像サンプルセットの各画像サンプルを処理して得られる処理結果及び新しい第一画像サンプルセットの各画像サンプルの実際値に基づいて、新しい第一画像サンプルセットの画像サンプルを選別する。
【００８８】
本願の実施形態において、第二画像サンプルセットと第一画像サンプルセットを合併して新しい画像サンプルセットを形成してから、新しい画像サンプルセットの各画像サンプルをネットワークパラメータが更新されたニューラルネットワークに入力して、各画像サンプルの処理結果を獲得し、ネットワークパラメータが更新されたニューラルネットワークによって新しい第一画像サンプルセットの各画像サンプルを処理して得られる処理結果及び新しい第一画像サンプルセットの各画像サンプルの実際値に基づいて、ネットワークパラメータが更新されたニューラルネットワークの損失関数を使用して、ネットワークパラメータが更新されたニューラルネットワークによって各画像サンプルを処理するときに生成された画像サンプルの損失値を計算し、最後に損失値が閾値より小さい画像サンプルを削除し、即ち、新しい第一画像サンプルセットにおけるトレーニングに寄与しない画像サンプルを削除して、新しい第一画像サンプルセットの画像サンプルを選別する目的に達成し、不要なトレーニングを減らし、トレーニング効率を向上させる。先ず古い第一画像サンプルセット及び第二画像サンプルセットの画像サンプルを選別することもでき、古い第一画像サンプルセット及び第二画像サンプルセットにおけるトレーニングに寄与しない画像サンプルを削除してから、選別した後の第一画像サンプルセット及び第二画像サンプルセットを合併して新しい第一画像サンプルセットを獲得することもできる。
【００８９】
１つの選択的な実施形態において、ネットワークパラメータが更新されたニューラルネットワークがオブジェクト検出に応用される畳み込みニューラルネットワークである場合、ネットワークパラメータが更新されたニューラルネットワークによって画像サンプルを処理するときに生成された画像サンプルの損失値は分類損失と回帰損失からなり、具体的な計算式は次のとおりである。
【００９０】
【数２】
2021530015.tif 000004
【００９１】
その中において、Ｌ（ｘ，ｃ，ｌ，ｇ）は損失を表し、Ｌｃｏｎｆ（ｘ，ｃ）は分類損失を表し、Ｌｌｏｃ（ｘ，ｌ，ｇ）は回帰損失を表し、ｘは入力された画像サンプルデータを表し、ｃは入力された画像サンプルデータのタイプを表し、ｌは予測検出フレームを表し、ｇは標識フレームを表し、Ｎは入力された画像サンプルデータの数量を表し、αは重みを表す。
【００９２】
１つの選択的な実施形態として、第一画像サンプルセットを使用してニューラルネットワークをトレーニングし且つ第一ドメインに正常に適用した後、ユーザーはニューラルネットワークを複数の第二ドメインに適用しようとする。ニューラルネットワークが複数の第二ドメインに適用されるとき、複数の第二画像サンプルセットが収集される場合がある。第一画像サンプルセット及び複数の第二画像サンプルセットを使用してニューラルネットワークをトレーニングするプロセスでは、グループごとに第一画像サンプルセット及び複数の第二画像サンプルセットから画像サンプルを抽出してニューラルネットワークをトレーニングすることができる。その中において、第一画像サンプルセットから選択された画像サンプルの数量と各々の第二画像サンプルセットから選択された画像サンプルの数量との間の比率は第二比率範囲内にある。画像サンプルセットにおけるトレーニングに参加する画像サンプルの数量が多いほど、ニューラルネットワークはこの画像サンプルセットによくフィッティングするので、ニューラルネットワークが各画像サンプルセットに均一にフィッティングできるように、第二比率範囲は約１である。
【００９３】
例えば、第一画像サンプルセットに２００個の画像サンプルがあり、２つの第二画像サンプルセットにそれぞれ１００個の画像サンプルがあると仮定する。次に、グループごとに第一画像サンプルセット及び２つの第二画像サンプルセットから６０個の画像サンプルを取得して、ニューラルネットワークをトレーニングする。各グループの画像サンプルにおいて、第一画像サンプルセットから選択された画像サンプルと２つの第二画像サンプルセットから選択された画像サンプルの比率は３：１：２であり、即ち、第一画像サンプルセットから３０個の画像サンプルを取得し、１つの第二画像サンプルセットから１０個の画像サンプルを取得し、別の第二画像サンプルセットから２０個の画像サンプルを取得する。
【００９４】
３０８、ニューラルネットワークの応用過程で再び問題が発生した場合、問題が発生したシーンに対して新しい第二画像サンプルセットを収集し、新しい第二画像サンプルセットを第二画像サンプルセットと見なし、新しい第一画像サンプルセットを第一画像サンプルセットと見なして、戻ってステップ３０１〜３０４を実行する。
【００９５】
本出願の実施形態において、第一ドメインに用いられるニューラルネットワーを第二ドメインに適用する場合、ニューラルネットワークによって第二ドメインの画像に対して対象検出を実行して検出結果を獲得し、検出結果の信頼性が第一閾値よりも低い画像を収集して第二画像サンプルとし、収集された複数の第二画像サンプルは第二画像サンプルセットを構成し、第一画像サンプルセット（第一ドメインに適用する前にニューラルネットワークをトレーニングするときに使用する画像サンプルセットである）及び第二画像サンプルセットを一緒に使用してニューラルネットワークをトレーニングする。従って第一ドメインに対するニューラルネットワークの検出性能を保持するとともに、第二ドメインに対するニューラルネットワークの検出性能を向上させることができ、即ち、ニューラルネットワークはすでに学習した知識を忘れなく、新しい知識を学習し続けることができる。
【００９６】
さらに、第一画像サンプルセット及び第二画像サンプルセットを使用してニューラルネットワークをトレーニングしてから、前記ニューラルネットワークが処理できない新しいシーン又は領域が存在する可能性があるので、新しい第二画像サンプルセットを収集し続けることができ、且つ以前の第一画像サンプルセットと第二画像サンプルセットを合併して新しい第一画像サンプルセットを形成し、新しい第一画像サンプルセット及び新しい第二画像サンプルセットを使用して、前記ニューラルネットワークをトレーニングし続ける。
【００９７】
さらに、第一画像サンプルセット及び第二画像サンプルセットを使用してニューラルネットワークをトレーニングするたびに、第二画像サンプルセットと第一画像サンプルセットを合併して次のトレーニング用の第一画像サンプルセットを形成するので、第一画像サンプルセットはトレーニング回数につれてだんだん大きくなる。ただし、ニューラルネットワークが第一画像サンプルセットの画像サンプルを適切に処理できる（検出、識別など）場合、前記画像サンプルはトレーニングに有用な情報を提供できないので、トレーニングする前にトレーニングに有用な情報を提供できない画像サンプルを第一画像サンプルセットから削除して、不要なトレーニングを減らし、第一画像サンプルセットのサンプルの数量を減少して、ストレージスペースを節約することができる。
【００９８】
図４を参照すると、図４は、本発明の実施形態に係わる対象検出方法で使用されるニューラルネットワークのトレーニングフレームワークを示す概略図である。図４に示されたように、トレーニングフレームワークは、ラージプールデータ４０１と、スモールプールデータ４０２と、デュアルプールデータ４０３と、古いターゲット検出モデル４０４（第一ドメインに適用されるニューラルネットワークに対応する）と、新しいターゲット検出モデル４０５（ネットワークパラメータが更新されたニューラルネットワークに対応する）と、を含むことができる。
【００９９】
ラージプールデータ：ラージプールデータは、第一ドメインに適用されるニューラルネットワークをトレーニングするための画像サンプルデータであり、第一画像サンプルセットに対応する。
【０１００】
スモールプールデータ：スモールプールデータは、ニューラルネットワークが第二ドメインに適用されるときに収集された画像サンプルデータであり、第二画像サンプルセットに対応する。
【０１０１】
デュアルプールデータ：デュアルプールデータは、ラージプールデータ４０１とスモールプールデータ４０２を合併して形成し、第二画像サンプルセットと第一画像サンプルセットを合併して形成された画像サンプルセットに対応する。
【０１０２】
古いターゲット検出モデル：古いターゲット検出モデルは、ラージプールデータでトレーニングされる。古いターゲット検出モデルは、第一ドメインに適用されるニューラルネットワークに対応するか、又は新しい第一画像サンプルセット及び新しい第二画像サンプルセットを使用してニューラルネットワークをトレーニングする前に、第一画像サンプルセット及び第二画像サンプルセットでトレーニングされたニューラルネットワークに対応する。
【０１０３】
新しいターゲット検出モデル：新しいターゲット検出モデルは、ラージプールデータとスモールプールデータでトレーニングされ、ネットワークパラメータが更新されたニューラルネットワークに対応し、即ち、第一画像サンプルセット及び第二画像サンプルセットでトレーニングされたニューラルネットワークに対応するか、又は新しい第一画像サンプルセット及び新しい第二画像サンプルセットでトレーニングされたニューラルネットワークに対応する。
【０１０４】
具体的には、先ず、ラージプールデータでターゲット検出モデルをトレーニングして、古いニューラルネットワークを獲得する。古いニューラルネットワークは特定のシーンに適用することができ、例えば、第一ドメインの画像に対して対象検出を実行する。古いターゲット検出モデルが第二ドメインに適用されるとき、応用又はテスト過程で発生する問題に対して、新しい画像サンプルセットが収集される。収集された新しい画像サンプルセットをスモールプールデータと見なすことができる。スモールプールデータとラージプールデータを組み合わせてデュアルプールデータを取得してから、デュアルプールデータで古いターゲット検出モデルを再びトレーニングして新しいターゲット検出モデルを取得する。最後に、新しいターゲット検出モデルと対応する損失関数でデュアルプールデータを選別して、次の反復に用いられる新しいラージプールデータを取得する。
【０１０５】
図５を参照すると、図５は、本発明の実施形態に係わる、デュアルプールデータを組み合わせてデュアルプールデータを取得し、デュアルプールデータでニューラルネットワークを再びトレーニングすることを示す概略図である。図５に示されたように、ニューラルネットワークは畳み込みニューラルネットワークである。先ず、ラージプールデータ及びスモールプールデータが入力として使用され、１：１に比率によってラージプールデータとスモールプールデータからデータを選択して畳み込みニューラルネットワークをトレーニングする。
【０１０６】
１つの選択的な実施形態として、上述したデュアルプールスキームに基づいて、マルチプールデータに改善することもでき、例えば、図６に示されたマルチプールデータ構造を用いたトレーニング方法である。その中において、異なるプールのデータは、異なる画像サンプルセットを表す。マルチプールデータスキームの原理は、デュアルプールスキームの原理と同じであり、特定のデータソースのトレーニング参与度を向上させることである。マルチプールデータスキームでは、より多いデータソースを同時に考慮することができ、複数のデータ分布から最適値を見つけることができる。具体的なプロセスは図５に示された方法と類似するので、詳しく説明しない。
【０１０７】
本出願の実施形態に係わるトレーニング方法によって、ニューラルネットワークは連続学習の能力を有することができる。即ち、ニューラルネットワークは既に学んだ知識を忘れなく、新しい知識を学び続けることができる。
【０１０８】
例えば、実際に使用されているトレーニングされたニューラルネットワークがある。ニューラルネットワークのトレーニングに使用されるデータは領域Ａから収集され、スマート運転に用いられる。ビジネス需要のために、ニューラルネットワークを領域Ｂに適用する。領域Ｂのデータでニューラルネットワークをトレーニングしないと、ニューラルネットワークの検出効果は良くない。例えば、領域Ｂの固有の車両に対して、検出器は車両を検出しない場合がある。別の例として、領域Ｂのいくつかのロードコーンも誤判定することができる。ただし、ただ領域Ｂのデータで再びトレーニングすると、忘却により領域Ａに対するニューラルネットワークの検出性能が低下する場合がある。この場合、デュアルプールトレーニング方式を採用することができる。領域Ｂのビデオを収集してスモールプールデータとすることができ、元の領域Ａのラージプールデータと協同して、ニューラルネットワークは、元のシーン（領域Ａ）での性能を保持するとともに、新しいシーン（領域Ｂ）にうまくフィッティングすることができる。トレーニングが完了すると、スモールプールデータとラージプールデータを組み合わせることができる。つまり、ニューラルネットワークの反復が完了する。
【０１０９】
別の例として、実際に使用されているトレーニングされたニューラルネットワークがある。ニューラルネットワークは一般的なデータでトレーニングされ、トレーニングされたニューラルネットワークはセキュリティ監視に使用される。トレーニングされたニューラルネットワークを遠隔地や特殊なシーンに適用すると、シーンの違いが大きいので、ニューラルネットワークは誤検出や漏検出が発生し易い。この場合、デュアルプールトレーニング方式を採用することができる。新しいシーンのビデオを収集してスモールプールデータとすることができ、元のラージプールデータと協同して、新しいシーンでのニューラルネットワークの検出性能をすばやく改善し、フィッティング過ぎることを免れる。トレーニングが完了すると、スモールプールデータとラージプールデータを組み合わせることができる。つまり、ニューラルネットワークの反復が完了する。
【０１１０】
本願の実施形態は、さらに対象検出装置を提供する。対象検出装置は、上記の方法のいずれかを実行するために用いられる。具体的には、図７を参照すると、図７は、本出願の実施形態に係わる対象検出装置を示すブロック図である。本実施形態の装置は、検出モジュール７１０、サンプル収集モジュール７２０、サンプル選択モジュール７３０及びパラメータ調整モジュール７４０を含む。
【０１１１】
検出モジュール７１０は、第一ドメインに用いられるニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行して、検出結果を獲得するために用いられ、ニューラルネットワークは第一画像サンプルセットでトレーニングされる。サンプル収集モジュール７２０は、検出結果の信頼性が第一閾値よりも低い画像を第二画像サンプルセットの画像サンプルとするために用いられる。サンプル選択モジュール７３０は、第一画像サンプルセットから少なくとも１つの画像サンプルを選択し、且つ第二画像サンプルセットから少なくとも１つの画像サンプルを選択するために用いられる。検出モジュール７１０は、さらにニューラルネットワークを使用して選択された各画像サンプルに対して対象検出を実行して、予測結果を出力するために用いられる。パラメータ調整モジュール７４０は、出力された予測結果及び選択された各画像サンプルの実際値に基づいて、ニューラルネットワークのネットワークパラメータを調整するために用いられる。
【０１１２】
１つの選択的な実施形態において、検出モジュール７１０は、さらにネットワークパラメータが更新されたニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行するために用いられる。
【０１１３】
１つの選択的な実施形態において、第二ドメインは１つであり、第二画像サンプルセットは１つであり、第一画像サンプルセットの画像サンプルの数量は第二画像サンプルセットの画像サンプルの数量より多く、第一画像サンプルセットから選択された画像サンプルの数量と第二画像サンプルセットから選択された画像サンプルの数量との間の比率は第一比率範囲内にある。
【０１１４】
１つの選択的な実施形態において、第二ドメインはｋ個であり、第二画像サンプルセットはｋ個であり、第一画像サンプルセットの画像サンプルの数量は各々の第二画像サンプルセットの画像サンプルの数量より多く、第一画像サンプルセットから選択された画像サンプルの数量と各々の第二画像サンプルセットから選択された画像サンプルの数量との間の比率は第二比率範囲内にあり、その中において、ｋは１より大きい整数である。
【０１１５】
１つの選択的な実施形態において、対象検出装置は、サンプル合併モジュール７５０をさらに含む。サンプル合併モジュール７５０は、ネットワークパラメータが更新されたニューラルネットワークを獲得した後、第二画像サンプルセットと第一画像サンプルセットを合併して、新しい第一画像サンプルセットを獲得するために用いられる。
【０１１６】
１つの選択的な実施形態において、本出願の実施形態に係わる対象検出装置は、選別モジュール７６０をさらに含む。選別モジュール７６０は、新しい第一画像サンプルセットを獲得した後、ネットワークパラメータが更新されたニューラルネットワークによって新しい第一画像サンプルセットの各画像サンプルを処理して得られる処理結果及び新しい第一画像サンプルセットの各画像サンプルの実際値に基づいて、新しい第一画像サンプルセットの画像サンプルを選別するために用いられる。
【０１１７】
１つの選択的な実施形態において、選別モジュール７６０は、処理サブモジュールと、確定サブモジュールと、削除サブモジュールと、を含む。処理サブモジュールは、新しい第一画像サンプルセットの画像サンプルをネットワークパラメータが更新されたニューラルネットワークに入力して、各画像サンプルの処理結果を獲得するために用いられる。確定サブモジュールは、各画像サンプルの処理結果及びその実際値に基づいて、ネットワークパラメータが更新されたニューラルネットワークによって各画像サンプルを処理するときに生成された画像サンプルの損失値を確定するために用いられる。削除サブモジュールは、新しい第一画像サンプルセットにおける損失値が第二閾値より小さい画像サンプルを捨てるために用いられる。
【０１１８】
１つの選択的な実施形態において、本出願の実施形態に係わる対象検出装置は、比較モジュール７７０をさらに含む。比較モジュール７７０は、検出結果と検出結果に対応する画像の実際値を比較して、検出結果の信頼性を獲得するために用いられる。
【０１１９】
本出願の実施形態において、第一ドメインに適用されたニューラルネットワーが第二ドメインに適用される場合、ニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行して検出結果を獲得し、検出結果の信頼性が第一閾値よりも低い画像を第二画像サンプルとして収集し、収集された複数の第二画像サンプルは第二画像サンプルセットを構成する。次に、ニューラルネットワークを使用して別々に第一画像サンプルセット及び第二画像サンプルセットから選択された画像サンプルに対して対象検出を実行することにより予測結果を獲得する。最後に、予測結果及び選択された各画像サンプルの実際値に基づいて、ニューラルネットワークのネットワークパラメータを調整する。つまり、ニューラルネットワークが再トレーニングされるとき、新しい画像サンプルセットを追加するとともに、古い画像サンプルセットを保留するので、再びトレーニングされたニューラルネットワークは第一ドメインに対する検出性能を維持できるだけではなく、第二ドメインに対する検出性能を向上させる。つまり、ニューラルネットワークは、トレーニングされたシーンの既存の検出性能を保持するとともに、新しいシーンの対象検出性能を迅速に獲得することができる。
【０１２０】
図８、本出願の実施形態に係わる対象検出機器の構造を示す概略図である。対象検出機器４０００は、プロセッサ４１を含む。対象検出機器４０００は、入力装置４２、出力装置４３及びメモリ４４をさらに含むことができる。入力装置４２、出力装置４３、メモリ４４及びプロセッサ４１は、バスによって互いに接続される。
【０１２１】
メモリは、ランダムアクセスメモリ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ，ＲＡＭ）、読み取り専用メモリ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ，ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ｅｒａｓａｂｌｅ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ，ＥＰＲＯＭ）又はポータブル読み取り専用メモリ（コンパクトディスクＲＯＭ（ＣＤ  ＲＯＭなど）が含まれますが、これらに限定されません。メモリは、命令とデータを格納するために用いられる。
【０１２２】
入力装置は、データ及び/又は信号を入力するために用いられる。出力装置は、データ及び/又は信号を出力するために用いられる。出力装置と入力装置は、互いに分離されていてもよく、または互いに統合されていてもよい。
【０１２３】
プロセッサは、１つ又は複数のプロセッサを含むことができる。例えば、プロセッサは、１つ又は複数の中央処理装置（ＣＰＵ）を含む。一例では、プロセッサはＣＰＵであり、ＣＰＵはシングルコアＣＰＵ又はマルチコアＣＰＵであることができる。プロセッサは、１つ又は複数の専用プロセッサをさらに含むことができる。専用プロセッサは、一般処理装置（ｇｅｎｅｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ，ＧＰＵ）、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ，ＦＰＧＡ）が含むことができ、高速処理に使用される。
【０１２４】
メモリは、ネットワークデバイスのプログラムコード及びデータを格納するために用いられる。
【０１２５】
プロセッサは、メモリに格納されたプログラムコード及びデータを呼び出して、上述した方法実装例のステップを実行するために用いられる。具体的には、方法実施例の説明を参照することができ、ここでは繰り返されない。
【０１２６】
図８は、ただ対象検出機器の簡略化された設計を示している。実際応用では、動作識別装置は、他の必要なンポーネントをさらに含むことができ、任意の数量の入力/出力装置、プロセッサ、コントローラ、メモリなどを含むがこれらに限定されない。本出願の実施形態を実施することができるすべての動作識別装置は、本出願の保護範囲に含まれる。
【０１２７】
本出願の実施形態は、コンピュータプログラムが格納されたコンピュータ可読記憶媒体をさらに提供する。コンピュータプログラムがプロセッサによって実行されると、本出願の実施形態で提供される任意の対象検出方法を実現する。本出願の実施形態は、コンピュータプログラム製品をさらに提供する。コンピュータプログラム製品には、コンピュータ実行可能命令が含まれる。コンピュータ実行可能命令が実行されると、本出願の実施形態で提供される任意の対象検出方法を実現することができる。
【０１２８】
当業者であれば、説明の便利及び簡潔さのために、上述したシステム、装置及びユニットの具体的な作業プロセスは上述したの方法実施例の対応するプロセスを参照できることを明確に理解することができ、ここでは繰り返さない。
【０１２９】
本出願で提供される幾つかの実施例において、開示されたシステム、装置及び方法は、他の方法で実現され得ることを理解されるべきである。例えば、ユニットの分割は、ロジック機能の分割に過ぎず、実際に実現するときに別の分割形態を有してもよい。例えば、複数のユニット又は部品を組み合わせ、又は別のシステムに集積し、又は若干の特徴を無視し、又は実行しなくてもよい。さらに、図示又は検討する相互間の結合や直接結合や通信接続は、いくつかのインタフェース、装置、又はユニットの間接結合や通信接続であってもよいし、電気、機械や他の形態であってもよい。
【０１３０】
分離部品として記載されたユニットは、物理的に分離してもよいし、分離しなくてもよい。ユニットとして表示される部品は、物理的なユニットであってもよいし、物理的なユニットではなくておもよい。即ち、一つの箇所に設置してもよいし、複数のネットワークユニットに設置してもよい。実際の要求に応じて一部又は全部のユニットを選択して本実施例の技術方案の目的を実現することができる。
【０１３１】
上述した実施形態において、全部又は一部はソフトウェア、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、又は任意の他の組み合わせによって実現することができる。ソフトウェアによって実現する場合、全部又は一部は、コンピュータプログラム製品の形式で実現することができる。コンピュータプログラム製品は、１つ又は複数のコンピュータ命令を含む。コンピュータにコンピュータプログラム命令をアップロードして実行される場合、本発明の実施形態のプロセス又は機能の全部または一部が実行される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラム可能な装置であることができる。コンピュータ命令は、コンピュータ可読記憶媒体に記憶することができ、又はコンピュータ可読記憶媒体によって送信することができる。例えば、コンピュータ命令は、有線（例えば、同軸ケーブル、光ファイバ、デジタル加入者線（ｄｉｇｉｔａｌ  ｓｕｂｓｃｒｉｂｅｒ  ｌｉｎｅ,  ＤＳＬ）である）又は無線（赤外線、無線、マイクロ波などである）方式によって、あるウェブサイト、コンピュータ、サーバ、又はデータセンタから別のウェブサイト、コンピュータ、サーバ、又はデータセンタに送信することができる。コンピュータ可読記憶媒体は、コンピュータがアクセスすることができる任意の利用可能な媒体、又は１つ又は複数の利用可能な媒体統合を含むサーバ、データセンタなどのデータ記憶装置であることができる。使用可能な媒体は、読み取り専用メモリ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ，ＲＯＭ）、又はランダムアクセスメモリ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ，ＲＡＭ）、又は磁気媒体（例えば、ソフトディスク、ハードディスク、磁気テープ、磁気ディスクである）、光学媒体（例えば、デジタルビデオディスク（ｄｉｇｉｔａｌ  ｖｉｄｅｏ  ｄｉｓｃ，ＤＶＤ）である）、又は半導体媒体（例えば、ソリッドステートディスク（ｓｏｌｉｄ  ｓｔａｔｅ  ｄｉｓｋ，ＳＳＤ）である）などであることができる。
【０１３２】
上述したのは、ただ本願の具体的な実施形態であり、本願の保護範囲はこれに限定されるものではない。当業者であれば、本願に開示された技術範囲内で変更又は置換を容易に想到しうることであり、このような変更又は置換は全て本出願の範囲内に含まれるべきである。従って本願の保護範囲は特許請求の範囲によって決めるべきである。
【図１】
2021530015.tif 000005
【図２】
2021530015.tif 000006
【図３】
2021530015.tif 000007
【図４】
2021530015.tif 000008
【図５】
2021530015.tif 000009
【図６】
2021530015.tif 000010
【図７】
2021530015.tif 000011
【図８】
2021530015.tif 000012
【手続補正書】
【提出日】令和2年12月18日(2020.12.18)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】  本出願は、中国特許庁に提出された中国特許出願の優先権を主張し、出願日は２０１９年５月２７日であり、出願番号はＣＮ２０１９１０４４９１０７．７であり、発明の名称は「対象検出方法、装置、機器及びコンピュータ可読記憶媒体」であり、且つ参照のためそれらの全文を本出願に組み込む。【０００２】  本発明は、ディープラーニング技術分野に関し、特に、対象検出方法、装置、機器及びコンピュータ可読記憶媒体に関する。
【背景技術】
【０００３】  ディープラーニングニューラルネットワーク（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）の発展に伴い、ディープラーニングニューラルネットワークはさまざまな分野で広く使用されており、例えば、オブジェクト検出に応用される畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ，ＣＮＮ）、言語翻訳に応用されるリカレントニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ，ＲＮＮ）などである。【０００４】  ディープニューラルネットワークのトレーニングの開始時に、すべてのデータが準備されていると仮定する。ニューラルネットワークのトレーニングプロセスにおいて、ニューラルネットワークのパラメータはターゲットタスクに応じて更新されるので、ニューラルネットワークをターゲットデータに成功的にフィッティング（Ｆｉｔｔｉｎｇ）させる。新しいタスクと新しいデータが到着すると、ニューラルネットワークが以前に学んだ知識はトレーニング中に書き換えられ、従ってニューラルネットワークは以前のタスクとデータに関連する性能を失う可能性がある。
【発明の概要】
【０００５】  本出願の実施形態は、対象検出方法を提供し、ニューラルネットワークはトレーニングされたシーンの既存の検出性能を保持するとともに、新しいシーンの対象検出性能を迅速に取得することができる。ニューラルネットワークは連続学習の能力を有し、即ち、ニューラルネットワークは元のシーンの処理性能を維持するとともに、新しいシーンの任務処理要件も十分に満たすことができる。
【０００６】  第一態様において、本出願の実施形態は対象検出方法を提供する。対象検出方法は、  第一ドメインに用いられるニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行して、検出結果を獲得することと、ニューラルネットワークは第一画像サンプルセットでトレーニングされる、ことと、  検出結果の信頼性が第一閾値よりも低い画像を第二画像サンプルセットの画像サンプルとすることと、  第一画像サンプルセットから少なくとも１つの画像サンプルを選択し、且つ第二画像サンプルセットから少なくとも１つの画像サンプルを選択することと、  ニューラルネットワークを使用して選択された各画像サンプルに対して対象検出を実行して、予測結果を出力することと、  出力された予測結果及び選択された各画像サンプルの実際値（ｇｒｏｕｎｄ  ｔｒｕｔｈ）に基づいて、ニューラルネットワークのネットワークパラメータの値を調整することと、  を含む。
【０００７】  １つの選択的な実施形態において、前記方法は、  ネットワークパラメータが更新されたニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行することをさらに含む。
【０００８】  １つの選択的な実施形態において、第二ドメインは１つであり、第二画像サンプルセットは１つであり、第一画像サンプルセットの画像サンプルの数量は第二画像サンプルセットの画像サンプルの数量より多く、第一画像サンプルセットから選択された画像サンプルの数量と第二画像サンプルセットから選択された画像サンプルの数量との間の比率は第一比率範囲内にある。
【０００９】  １つの選択的な実施形態において、第二ドメインはｋ個であり、第二画像サンプルセットはｋ個であり、第一画像サンプルセットの画像サンプルの数量は各々の第二画像サンプルセットの画像サンプルの数量より多く、第一画像サンプルセットから選択された画像サンプルの数量と各々の第二画像サンプルセットから選択された画像サンプルの数量との間の比率は第二比率範囲内にあり、ｋは１より大きい整数である。
【００１０】  １つの選択的な実施形態において、ネットワークパラメータが更新されたニューラルネットワークを獲得した後、前記方法は、  第二画像サンプルセットと第一画像サンプルセットを合併して、新しい第一画像サンプルセットを獲得することをさらに含む。
【００１１】  １つの選択的な実施形態において、新しい第一画像サンプルセットを獲得した後、前記方法は、  ネットワークパラメータが更新されたニューラルネットワークによって新しい第一画像サンプルセットの各画像サンプルを処理して得られる処理結果及び新しい第一画像サンプルセットの各画像サンプルの実際値に基づいて、新しい第一画像サンプルセットの画像サンプルを選別することをさらに含む。
【００１２】  １つの選択的な実施形態において、ネットワークパラメータが更新されたニューラルネットワークによって新しい第一画像サンプルセットの各画像サンプルを処理して得られる処理結果及び新しい第一画像サンプルセットの各画像サンプルの実際値に基づいて、新しい第一画像サンプルセットの画像サンプルを選別することは、  新しい第一画像サンプルセットの各画像サンプルをネットワークパラメータが更新されたニューラルネットワークに入力して、各画像サンプルの処理結果を獲得することと、  各画像サンプルの処理結果及びその実際値に基づいて、ネットワークパラメータが更新されたニューラルネットワークによって各画像サンプルを処理するときに生成された画像サンプルの損失値を確定することと、  新しい第一画像サンプルセットにおける損失値が第二閾値より小さい画像サンプルを捨てることと、  を含む。
【００１３】  １つの選択的な実施形態において、以下のように検出結果の信頼性を確定する。検出結果と検出結果に対応する画像の実際値を比較して、検出結果の信頼性を獲得する。
【００１４】  第二態様において、本出願の実施形態は対象検出装置を提供する。対象検出装置は、検出モジュールと、サンプル収集モジュールと、サンプル選択モジュールと、パラメータ調整モジュールと、を含む。検出モジュールは、第一ドメインに用いられるニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行して検出結果を獲得するために用いられ、ニューラルネットワークは第一画像サンプルセットでトレーニングされる。サンプル収集モジュールは、検出結果の信頼性が第一閾値よりも低い画像を第二画像サンプルセットの画像サンプルとするために用いられる。サンプル選択モジュールは、第一画像サンプルセットから少なくとも１つの画像サンプルを選択し、且つ第二画像サンプルセットから少なくとも１つの画像サンプルを選択するために用いられる。検出モジュールは、さらにニューラルネットワークを使用して選択された各画像サンプルに対して対象検出を実行して、予測結果を出力するために用いられる。パラメータ調整モジュールは、出力された予測結果及び選択された各画像サンプルの実際値に基づいて、ニューラルネットワークのネットワークパラメータの値を調整するために用いられる。
【００１５】  第三態様において、本出願の実施形態は、対象検出機器を提供する。対象検出機器は、メモリ及びプロセッサを含み、メモリにはコンピュータ実行可能命令が格納されており、メモリに格納されたコンピュータ実行可能命令がプロセッサによって実行されると、第一態様の方法を実行する。
【００１６】  第四態様において、本出願の実施形態は、コンピュータプログラムが格納されたコンピュータ可読記憶媒体を提供する。コンピュータプログラムがプロセッサによって実行されると、第一態様の方法を実行する。
【００１７】  第五態様において、本出願の実施形態は、コンピュータ実行可能命令を含むコンピュータプログラム製品を提供し、コンピュータ実行可能命令が実行されるとき、第一態様の方法を実現することができる。
【００１８】  本出願の実施形態において、第二ドメインの画像に対して対象検出を実行して、検出結果を獲得した後、検出結果の信頼性が第一閾値よりも低い画像を第二画像サンプルセットの画像サンプルとしてから、ニューラルネットワークを使用して別々に第一画像サンプルセット及び第二画像サンプルセットから選択された画像サンプルに対して対象検出を実行することにより予測結果を獲得し、最後に予測結果及び選択された各画像サンプルの実際値に基づいて、ニューラルネットワークのネットワークパラメータを調整する。ニューラルネットワークをトレーニングする時、第一画像サンプルセットの画像サンプルを使用してニューラルネットワークをトレーニングするとともに、第二画像サンプルセットの画像サンプルを使用してニューラルネットワークをトレーニングするので、ニューラルネットワークは、第一ドメインの検出性能を保持するとともに、第二ドメインの検出要件を満たすことができる。即ち、ニューラルネットワークはトレーニングされたシーンの既存の検出性能を保持するとともに、新しいシーンの対象検出要件も満たすことができる。
【図面の簡単な説明】
【００１９】  本出願の実施形態の技術的解決策をより明確に説明するために、以下、実施形態を説明するために使用される図面を簡単に紹介する。【図１】図１は、本発明の実施形態に係わる対象検出方法のフローチャートである。
【図２】図２は、本発明の実施形態に係わる別の対象検出方法のフローチャートである。
【図３】図３は、本発明の実施形態に係わるさらに別の対象検出方法のフローチャートである。
【図４】図４は、本発明の実施形態に係わる対象検出方法で使用されるニューラルネットワークのトレーニングフレームワークを示す概略図である。
【図５】図５は、本発明の実施形態に係わるデュアルプールデータの組み合わせでニューラルネットワークをトレーニングすることを示す概略図である。
【図６】図６は、本発明の実施形態に係わるマルチプールデータの組み合わせでニューラルネットワークをトレーニングすることを示す概略図である。
【図７】図７は、本発明の実施形態に係わる対象検出装置を示すブロック図である。
【図８】図８は、本発明の実施形態に係わる対象検出機器の構造を示す概略図である。
【発明を実施するための形態】
【００２０】  以下、本出願の実施形態の添付図面を参照しながら、本出願の実施形態の技術的方案を明確且つ完全に説明する。明らかに、説明された実施形態は、本発明の実施形態の一部にすぎず、すべての実施形態ではない。創造的な努力なしに本発明の実施形態に基づいて当業者によって得られる他のすべての実施形態は、本発明の保護範囲に含まれる。
【００２１】  本発明の明細書及び特許請求の範囲で使用される用語「含む」、「有する」は、記載された特徴、全体、ステップ、操作、要素及び/又は構成要素の存在を示すが、１つ又は複数の他の特徴、全体、ステップ、操作、要素、構成要素及び/又はそのコレクションの存在又は追加を除外しない。
【００２２】  また、本出願の明細書で使用される用語は、ただ特定の実施形態を説明するために用いられ、本出願を限定することを意図しないことも理解されたい。本出願の明細書及び添付された特許請求の範囲で使用されるように、文脈が他の状況を明確に示さない限り、単数の形態「一」、「１つの」及び「前記」は、複数の形態を含むことを意図する。
【００２３】  本出願の明細書及び特許請求の範囲で使用される用語「及び/又は」という用語は、リストされた関連項目の中の１つ又は複数の任意の組み合わせ及びすべての可能な組み合わせを指し、且つこれらの組み合わせを含むことを指す。
【００２４】  本明細書及び添付された特許請求の範囲で使用されるように、「もし」という用語は、文脈に応じて、「...ている時」又は「...と（...たら）」又は「確定されることに応答する」又は「検出されることに応答する」と解釈することができる。同様に、「もし確定されると」又は「もし検出されると（記述された条件又は事件）」という句は、文脈に応じて、「確定したら」又は「確定されることに応答する」又は「検出したら（記述された条件又は事件）」又は「検出されることに応答する（記述された条件又は事件）と解釈することができる。
【００２５】  さまざまな場所に快速に適用できるように、優れたニューラルネットワークは、通常、ある程度の適応性を有することを必要とする。ただし、ニューラルネットワーク自体の能力に限定され、且つ異なる地域又は異なるシーンの画像サンプルデータは異なり、例えば、複数の建物がある都市道路、複数の植生がある田舎道などであり、単一の画像サンプルデータソースを使用してトレーニングされたニューラルネットワークが他の地域又はシーンに応用されると、問題が発生する可能性がある。例えば、道路識別にとって、トレーニングに使用される画像サンプルはすべて都市道路サンプルであると、応用する時、都市道路はよく識別することができるが、田舎道を識別する場合、識別エラーが発生する可能性がある。最も安全な方法は、異なる地域に対して異なるニューラルネットワークをトレーニングすることである。しかし、このような方法は、新しいデータを収集してラベルを付ける必要があり、ニューラルネットワークを再びトレーニングする必要があるので、非常に時間と労力がかかる。
【００２６】  これに対して、本出願の実施形態は対象検出方法を提供し、ニューラルネットワークは、トレーニングされたシーンの既存の検出性能を保持するとともに、新しいシーンの対象検出性能を迅速に獲得することができる。
【００２７】  図１を参照すると、図１は本発明の実施形態に係わる対象検出方法のフローチャートである。図１に示されたように、前記方法は、以下のステップを含む。
【００２８】  １０１、第一ドメインに用いられるニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行して、検出結果を獲得し、その中において、ニューラルネットワークは第一画像サンプルセットでトレーニングされる。
【００２９】  本出願の実施形態において、第一ドメイン及び第二ドメインは、ニューラルネットワークの２つの異なる適用範囲を指す。第一ドメインと第二ドメインの違いは、次のとおりである。１、応用領域が異なり、スマートビデオ、セキュリティモニタリング、先進運転支援システム（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｉｎｇ  Ａｓｓｉｓｔａｎｔ  Ｓｙｓｔｅｍ，ＡＤＡＳ）、自動運転（Ａｕｔｏｍａｔｉｃ  Ｄｒｉｖｉｎｇ，ＡＤ）などの応用領域が含まれる。例えば、第一ドメインはセキュリティモニタリング領域でＡ対象を検出することであり、第二ドメインは自動運転領域でＡ対象又はＡ対象に類似した対象を検出することである。２、時空が異なる。３、データソースが異なり、例えば、第一ドメインはシミュレートされた環境でＡ対象を検出することであり、第二ドメインは実際の環境でＡ対象又はＡ対象に類似した対象を検出することである。上記の対象は、人、動物、自動車、非自動車、交通標識、交通灯、障害物などであることができる。
【００３０】  本出願の実施形態において、ニューラルネットワークは、任意のディープラーニングニューラルネットワークであることができる。例えば、オブジェクト検出に応用される畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ，ＣＮＮ）、言語識別に応用されるリカレントニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ，ＲＮＮ）、又はシーン識別に応用される再帰型ニューラルネットワーク（ｒｅｃｕｒｓｉｖｅ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ，ＲＮＮ）などであることができる。
【００３１】  どのようなニューラルネットワークに係わらず、ニューラルネットワークを実際に使用する前に、ニューラルネットワークが適用されるシナリオの最適な重みパラメータを取得するために、ニューラルネットワークをトレーニングすることを必要として、従ってニューラルネットワークを上記のシナリオに適用することができる。ニューラルネットワークをトレーニングする時、トレーニング用の画像サンプルを収集し、画像サンプルにラベルを付けて、画像サンプルセットを取得することを必要とする。それから、画像サンプルセットを使用して、ニューラルネットワークをトレーニングする。トレーニングされたニューラルネットワークをテストして、テスト結果が条件を満たす場合、ニューラルネットワークを実際の生産応用に適用することができる。
【００３２】  本出願の実施形態において、「第一ドメインに用いられるニューラルネットワーク（ニューラルネットワークは第一画像サンプルセットでトレーニングされる）」とは、ニューラルネットワークは第一画像サンプルセットでトレーニングされ、且つ第一ドメインに応用され、第一ドメインの画像に対して対象検出を実行するとき、対象検出の要件を満たすことができ、それから前記ニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行して、検出結果を獲得することを意味する。例えば、ニューラルネットワークがトレーニングされた後、元にエリアＡの道路画像に対して車両検出を実行するために用いられるニューラルネットワークが現在はエリアＢの道路画像に対して車両検出を実行するために直接使用されている。
【００３３】  １つの選択的な実施形態において、以下のように、第一画像サンプルセットを使用してニューラルネットワークをトレーニングする。第一画像サンプルセットの画像サンプルは事前設定された数量の画像サンプルグループに分けられ、ニューラルネットワークをトレーニングするために、事前設定された数量の画像サンプルグループが順番に使用される。単一グループの画像サンプルを使用してニューラルネットワークをトレーニングする具体的なプロセスは、１つのグループの画像サンプルをニューラルネットワークに入力して順方向伝播して、ニューラルネットワークの各層の出力結果を取得し、次に、画像サンプルのラベル付け結果を使用してニューラルネットワークの各層の誤差項を逆に計算し、最後に、勾配降下（Ｇｒａｄｉｅｎｔ  Ｄｅｓｃｅｎｔ）法を採用して、損失関数を使用してニューラルネットワークの重みパラメーターを更新する。
【００３４】  上記のトレーニング方法では、画像サンプルデータをいくつかのグループに分けて、ニューラルネットワークのパラメータはグループごとに更新される。このように、同じグループのデータが共同で勾配方向を決定するので、下降偏差が発生しにくくなり、ランダム性を減らす。一方、単一グループ内の画像サンプルの数量は画像サンプルセット全体の画像サンプルの数量よりもはるかに少ないので、計算量が削減される。その中において、損失関数を使用してニューラルネットワークの重みパラメータを更新し、その計算式は次のとおりである。
【００３５】
【数１】
2021530015.tif 000013
【００３６】  その中において、ηはステップサイズ（Ｓｔｅｐ  Ｓｉｚｅ）であり、又は学習率（Ｌｅａｒｎｉｎｇ  Ｒａｔｅ）とも呼ばれ、ｗはパラメータであり、Ｑは損失関数であり、ｎは各グループの画像サンプルの数量である。
【００３７】  １０２、検出結果の信頼性が第一閾値よりも低い画像を第二画像サンプルセットの画像サンプルとする。
【００３８】  その中において、ニューラルネットワークが第二ドメインの画像に対して対象検出を実行して検出結果を獲得してから、検出結果と検出結果に対応する画像の画像実際値を比較することにより、差値を獲得する。差値が小さければ小さいほど、検出結果が画像実際値に接近することを説明し、検出結果の信頼性は高い。差値が大きければ大きいほど、検出結果は画像実際値から逸脱し、検出結果の信頼性が低い。その中において、画像の実際値は、画像の注釈情報であることができ、画像自体（実際の画像）であることもできる。
【００３９】  実際のシーンは非常に複雑であり、さまざまな未知の状況がある。一般的なデータ収集は、非常に限られたサブセットしかカバーできない。第一画像サンプルセットを使用してニューラルネットワークをトレーニングした後、第一画像サンプルセットのカバレッジが全面ではないので、ニューラルネットワークを利用して一部のシーンの画像に対して対象検出を実行して得られる検出結果は要件を満たすことができるが、第一画像サンプルセットにカバーされていないシーンの画像に対して対象検出を実行して得られる検出結果は正確ではないことを招く。又は、第一画像サンプルセットにおいて、各シーンの画像サンプル分布は均一ではないので、ニューラルネットワークが誤検出するか、又は検出漏れを招く。例えば、異なる地域の道路画像に対して対象検出を実行するときに発生する。
【００４０】  上述した問題について、本出願の実施形態において、第一画像サンプルセットを使用してニューラルネットワークをトレーニングした後、検出要件を満たすことができるシーンに対して、前記ニューラルネットワークを使い続けて対象検出を実行するが、検出要件を満たすことができないシーンに対して対象検出を実行する場合、問題のある検出結果に対応する画像を収集してから、問題のある検出結果に対応する画像を第二画像サンプルセットの画像サンプルとする。その中において、問題のある検出結果とは、検出結果の信頼性が第一閾値よりも低い状況を指し、具体的には、検出結果と検出結果に対応する画像の実際値を比較して、上記の検出結果の信頼性を獲得する。
【００４１】  その中において、検出結果の信頼性が第一閾値よりも低いか否かを判断する場合、具体的には、検出結果と対応する正確結果（実際値）を手動で比較して判断するか、又は半自動方法で判断し、例えば、より複雑な構造を有するニューラルネットワークを使用して画像処理を実行し、２つの処理結果（より複雑な構造を有するニューラルネットワークによって得られた処理結果と上記のニューラルネットワークによって得られた処理結果）を比較する。
【００４２】  １つの選択的な実施形態において、第二画像サンプルセットの画像サンプルは、検出結果の信頼性が第一閾値よりも低い画像に加えて、これらの画像と類似した特徴を有する画像であることができるので、第二画像サンプルセットの画像と類似した特徴を有する画像を獲得して、第二画像サンプルセットの画像サンプルとすることもできる。具体的には、ニューラルネットワークをトレーニングするために、第二ドメインでトレーニングサンプルを収集して第二画像サンプルセットの画像サンプルとすることができる。
【００４３】  １０３、第一画像サンプルセットから少なくとも１つの画像サンプルを選択し、且つ第二画像サンプルセットから少なくとも１つの画像サンプルを選択する。
【００４４】  本出願の実施形態において、第二ドメインの第二画像サンプルセットを獲得してから、第一画像サンプルセットから少なくとも１つの画像サンプルを選択し、且つ第二画像サンプルセットから少なくとも１つの画像サンプルを選択する。ニューラルネットワークを使用して選択された各画像サンプルを処理して予測結果を獲得し、従って予測結果及び選択された各画像サンプルの実際値に基づいてニューラルネットワークのパラメータの値を最適化及び調整し、即ち第一画像サンプルセット及び第二画像サンプルセットを使用して一緒にニューラルネットワークをトレーニングする。
【００４５】  １つの選択的な実施形態において、第二ドメインは１つであり、第二画像サンプルセットは１つであり、第一画像サンプルセットの画像サンプルの数量は第二画像サンプルセットの画像サンプルの数量より多く、第一画像サンプルセットから選択された画像サンプルの数量と第二画像サンプルセットから選択された画像サンプルの数量との間の比率は第一比率範囲内にある。
【００４６】  第一画像サンプルセットから選択した画像サンプルの数量と第二画像サンプルセットから選択した画像サンプルの数量との間の比率は第一比率範囲内にあり、第一画像サンプルセットの画像サンプルの数量は第二画像サンプルセットの画像サンプルの数量より多いので、トレーニング中にニューラルネットワークの性能パラメータを第二画像サンプルセットに素早くフィッティングさせるために、２つのサンプルセットからサンプルを選択するたびに、２つのンプルセットから選択された画像サンプルの数量の比率が第一比率範囲内にあるようにする。例えば、ニューラルネットワークが元の第一ドメインの検出性能を保持するとともに、第二ドメインの検出性能をすばやく学習して取得できるように、上述した比例は約１：１であることができる。
【００４７】  別の可能な実施形態において、１つの第二ドメインがあることに基づいて、第二ドメインの数量は複数であることもでき、即ち複数の第二ドメインが存在する。具体的には、第二ドメインはｋ個であり、第二画像サンプルセットはｋ個であり、第一画像サンプルセットの画像サンプルの数量は各々の第二画像サンプルセットの画像サンプルの数量より多く、第一画像サンプルセットから選択された画像サンプルの数量と各々の第二画像サンプルセットから選択された画像サンプルの数量との間の比率は第二比率範囲内にあり、その中において、ｋは１より大きい整数である。ニューラルネットワークが元の第一ドメインでの検出性能を保持するとともに、第二ドメインでの検出性能をすばやく学習して取得できるように、第一画像サンプルセット及び各第二画像サンプルセットから同じ数量のサンプル画像を選択することができ、即ち第二比例範囲は約１である。
【００４８】  １０４、ニューラルネットワークを使用して選択された各画像サンプルに対して対象検出を実行して、予測結果を出力し、出力された予測結果及び選択された各画像サンプルの実際値に基づいて、ニューラルネットワークのネットワークパラメータの値を調整する。
【００４９】  ステップ１０４において、出力された予測結果及び選択された各画像サンプルの実際値に基づいて、ニューラルネットワークのネットワークパラメータの値を調整することは、反復プロセス（ｉｔｅｒａｔｉｖｅ  ｐｒｏｃｅｓｓ）である。反復プロセスは、出力された予測結果及び選択された各画像サンプルの実際値の差が要件を満たすときに終了する。
【００５０】  その中において、選択された各画像サンプルの実際値は選択された各画像サンプルの注釈情報である。例えば、画像検出分類用の画像サンプルに対して、画像サンプルの対象が車両である場合、画像サンプルの実際値は画像サンプルの中の車両である。
【００５１】  ディープラーニングにおいて、トレーニングはフィッティングを意味し、即ちニューラルネットワークは特定の画像サンプルデータセットにフィッティング（Ｆｉｔｔｉｎｇ）する。一般的に、異なる画像サンプルデータは異なる分布を有する。画像サンプルデータのターゲットオブジェクトは大きい差異がある。新しい画像サンプルデータソースを使用してトレーニングすると、元の画像サンプルデータソースの性能を影響し、且つ差異が大きければ大きいほど、性能の低下は深刻である。
【００５２】  ニューラルネットワークトレーニングの本質は、次のとおりである。画像サンプルに対するニューラルネットワークの予測結果及び画像サンプルの実際値（即ち、画像サンプルの注釈情報又は実際の画像である）に基づいて、ニューラルネットワークのパラメータの値を絶えずに調整して、予測結果と画像サンプルの実際値の差異が要件を満たすようにする。ニューラルネットワークのトレーニング中に、特定のデータソースのアクセス頻度は、ニューラルネットワークを前記データソースにフィッティングさせることができる確率を表す。アクセス頻度が高いほど、ニューラルネットワークは前記データソースにフィッティングし易く、即ちニューラルネットワークは前記データソースに対して優れる性能を発揮する。新しいデータソースが出現された場合、ただ新しいデータソースでトレーニングすると、トレーニングされたニューラルネットワークを再び新しいデータソースにフィッティングさせて、ニューラルネットワークが以前のデータソースにフィッティングできなくなる。従って、新しいデータソースと古いデータソースのアクセス頻度を同時に維持することは、本出願の実施形態におけるニューラルネットをワークトレーニングするキーポイントである。
【００５３】  本出願の実施形態において、第一画像サンプルセットは古いデータであり、第二画像サンプルセットは新しいデータである。ニューラルネットワークが元の第一画像サンプルセット上の性能を維持するとともに第二画像サンプルセットにうまくフィッティングするように、同時に第一画像サンプルセット及び第二画像サンプルセットから画像サンプル選択してから、選択されたサンプルに対して対象検出を実行し、且つ検出結果とそれに対応する実際値（注釈結果又は実際の画像である）を利用してニューラルネットワークのパラメータを調整することを必要とする。
【００５４】  本出願の実施形態において、ニューラルネットワークが第一ドメインに対する検出性能を失うことを防ぐために、第二画像サンプルセットを収集してから、第一画像サンプルセット及び第二画像サンプルセットを使用して一緒にニューラルネットワークをトレーニングして、ニューラルネットワークのパラメータを更新し、従ってニューラルネットワークは第一ドメインの画像に対する対象検出性能を保持するとともに、第二ドメインの画像に対する対象検出性能も有する。具体的なトレーニングプロセスは、第一画像サンプルセットのみを使用してニューラルネットワークをトレーニングするプロセスと類似し、グループごとに画像サンプルセットから画像サンプルを獲得する。異なることは、各グループのサンプルは、第一画像サンプルセットから少なくもと１つの画像サンプルを選択し且つ第二画像サンプルセットから少なくもと１つの画像サンプルを選択して、１つのグループのトレーニングサンプルとする。そして、上記の式（１）を使用して、ニューラルネットワークのパラメータが最適になるまで、ニューラルネットワークの重みパラメータを更新する。
【００５５】  第一画像サンプルセット及び第二画像サンプルセットの画像サンプルを使用してニューラルネットワークをトレーニングするプロセスにおいて、毎回第一画像サンプルセット及び第二画像サンプルセットからｎ個（各グループの画像サンプルの数量である）の画像サンプルがランダムに選択される場合、各画像サンプルがサンプリングされる確率はｎ/Ｎ（Ｎは第一画像サンプルセット及び第二画像サンプルセットの画像サンプルの総数である）であるので、以下の問題が発生する可能性がある。特定の分布を有する画像サンプルデータに対して、この部分の画像サンプルデータの量が少ないと、画像サンプルデータがトレーニングに参加する機会が少なくなり、ニューラルネットワークのトレーニングに貢献する貢献度が薄れてしまく、ニューラルネットワークが特定の分布を有する画像サンプルデータにうまくフィッティングできなくなる。性能を向上させるために、十分な新しい画像サンプルデータを収集することを必要とする。なお、新しい画像サンプルデータのみを使用すると、元の画像サンプルデータはトレーニングに参加できなくなり、ニューラルネットワークは新しい画像サンプルデータにフィッティングされ、元の画像サンプルデータの性能が低下する。
【００５６】  １つの選択的な実施形態において、新しい画像サンプルデータの量が少ないのでニューラルネットワークの性能を向上させることに影響する問題を解決するために、本出願の実施形態において、順方向伝播に参与する各グループの画像サンプルデータは、第一画像サンプルセットから選択された画像サンプルと第二画像サンプルセットから選択された画像サンプルを第一比率に応じて組み合わせてなる。例えば、第一画像サンプルセットから選択された画像サンプルと第二画像サンプルセットから選択された画像サンプルの比例は１：１であり、実際の状況に応じて適切に調整することができる。例えば、現在の各グループの画像サンプル数量が３２に設定されている場合、１６個の画像サンプルは第一画像サンプルセットから獲得し、１６個の画像サンプルは第二画像サンプルセットから獲得する。なお、第一画像サンプルセットの画像サンプルの数量と第二画像サンプルセットの画像サンプルの数量は異なるので、第一画像サンプルセットの画像サンプルと第二画像サンプルセットの画像サンプルがトレーニングに参加する回数も異なる。参加回数によって異なるデータソースの比率を調整することにより、複数の画像サンプルデータソースから最適点を見つけることは、大量の新しい画像サンプルデータを収集する方法より便利である。
【００５７】  ネットワークパラメータが更新された後、ニューラルネットワークは第一ドメインに対する検出性能を維持するとともに、第二ドメインに対する検出性能も向上させるので、選択的に、第二ドメインの画像に対して対象検出を実行する場合、ネットワークパラメータが更新されたニューラルネットワークを使用することができる。図２に示されるように、本発明の実施形態に係わる別の対象検出方法は、以下のステップを含む。
【００５８】  ２０１、第一ドメインに用いられるニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行して、検出結果を獲得し、その中において、ニューラルネットワークは第一画像サンプルセットでトレーニングされる。
【００５９】  ２０２、検出結果の信頼性が第一閾値よりも低い画像を第二画像サンプルセットの画像サンプルとする。
【００６０】  ２０３、第一画像サンプルセットから少なくとも１つの画像サンプルを選択し、且つ第二画像サンプルセットから少なくとも１つの画像サンプルを選択する。
【００６１】  ２０４、ニューラルネットワークを使用して選択された各画像サンプルに対して対象検出を実行して、予測結果を出力し、出力された予測結果及び選択された各画像サンプルの実際値に基づいて、ニューラルネットワークのネットワークパラメータの値を調整する。
【００６２】  ２０５、ネットワークパラメータが更新されたニューラルネットワークを利用して、第二ドメインの画像に対して対象検出を実行する。
【００６３】  本出願の実施形態において、ニューラルネットワークのネットワークパラメータは、第一画像サンプルセット及び第二画像サンプルセットの両方に基づいて更新されるので、ニューラルネットワークは、第一ドメインに対する検出性能を保持するとともに、第二ドメインに対する検出性能を向上させることができ、ネットワークパラメータが更新されたニューラルネットワークを使用して第二ドメインの画像に対して対象検出を実行すると、検出結果はより正確になる。
【００６４】  本出願の実施形態において、第二ドメインの画像に対して対象検出を実行して、検出結果を獲得した後、検出結果の信頼性が第一閾値よりも低い画像を第二画像サンプルセットの画像サンプルとしてから、ニューラルネットワークを使用して別々に第一画像サンプルセット及び第二画像サンプルセットから選択された画像サンプルに対して対象検出を実行することにより予測結果を獲得し、最後に新しい画像サンプル（第二画像サンプルセットから選択される）の予測結果、古い画像サンプル（第一画像サンプルセットから選択される）の予測結果及び選択された各画像サンプルの実際値に基づいて、ニューラルネットワークのネットワークパラメータの値を調整する。ニューラルネットワークをトレーニングする時、新しい画像サンプルセットが追加されるとともに、古い画像サンプルセットを保留することにより、トレーニングされたニューラルネットワークは、第一ドメインに対する検出性能を保持するとともに、新しい画像サンプルセットによくフィッティングすることができ、即ち、ニューラルネットワークはすでにトレーニングされたシーンの既存の検出性能を保持するとともに、新しいシーンの対象検出性能にすばやく獲得することができる。
【００６５】  図３を参照すると、図３は、本発明の実施形態に係わる別の対象検出方法のフローチャートである。図面に示されたように、前記方法は、以下のステップを含む。
【００６６】  ３０１、第一ドメインに用いられるニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行して、検出結果を獲得し、その中において、ニューラルネットワークは第一画像サンプルセットでトレーニングされる。
【００６７】  ３０２、検出結果の信頼性が第一閾値よりも低い画像を第二画像サンプルセットの画像サンプルとする。
【００６８】  ３０３、第一画像サンプルセットから少なくとも１つの画像サンプルを選択し、且つ第二画像サンプルセットから少なくとも１つの画像サンプルを選択する。
【００６９】  ３０４、ニューラルネットワークを使用して選択された各画像サンプルに対して対象検出を実行して、予測結果を出力し、出力された予測結果及び選択された各画像サンプルの実際値に基づいて、ニューラルネットワークのネットワークパラメータの値を調整する。
【００７０】  ネットワークパラメータが更新されたニューラルネットワークから出力された予測結果と選択された各画像サンプルの実際値の差異が要件を満たすと、ステップ３０４は終了する。
【００７１】  ３０５、ネットワークパラメータが更新されたニューラルネットワークを利用して、第二ドメインの画像に対して対象検出を実行する。
【００７２】  ステップ３０４が完了した後、第二ドメインの画像に対して対象検出を実行するニューラルネットワークをアップグレードすることができ、即ち、ネットワークパラメータが更新されたニューラルネットワークを利用して、第二ドメインの画像に対して対象検出を実行する。
【００７３】  ステップ３０４の後、さらに以下のステップを含むことができる。
【００７４】  ３０６、第二画像サンプルセットと第一画像サンプルセットを合併して、新しい第一画像サンプルセットを獲得する。
【００７５】  その中において、３０５と３０６は並行して実行することができ、両者の実行順序は限定されない。
【００７６】  本出願の実施形態において、第一画像サンプルセット及び第二画像サンプルセットを使用してニューラルネットワークをトレーニングした後、元の第一画像サンプルセットと第二画像サンプルセットを合併して新しい第一画像サンプルセットとする。従って、ニューラルネットワークの応用過程で再び問題が発生した場合、問題が発生したシーンに対して新しい第二画像サンプルセットを収集し、新しい第二画像サンプルセットを第二画像サンプルセットと見なし、新しい第一画像サンプルセットを第一画像サンプルセットと見なして、戻ってステップ３０１〜３０４を実行し、新しいシーン（つまり、新しい第二ドメイン）に対して、ニューラルネットワークのネットワークパラメータの値を再び更新及び調整する。
【００７７】  第一画像サンプルセットをトレーニングされた古い画像サンプルセットと見なすことができ、ニューラルネットワークが新しいシーン又は領域に対して学習することを必要とする場合、新しい画像サンプルセット（即ち、第二画像サンプルセット又は新しい第二画像サンプルセットである）を収集してから、新しい画像サンプルセット及び古い画像サンプルセットを一緒に使用してニューラルネットワークをトレーニングすることにより、ニューラルネットワークは新しいシーン又は領域に対して学習することができ、且つ以前に学んだものを忘れない。
【００７８】  本出願の実施形態において、新しい画像サンプルセット及び古い画像サンプルセット（即ち、第一画像サンプルセットである）を使用してニューラルネットワークをトレーニングするたびに、新しい画像サンプルセットと古い画像サンプルセットを合併して次のトレーニング用の古い画像サンプルセットを形成するので、ニューラルネットワークのアプリケーションシナリオが増えることにつれて、古い画像サンプルセットはだんだん大きくなる。ただし、ニューラルネットワークが古い画像サンプルセットの画像サンプルを適切に処理できる（検出、識別など）場合、これは前記画像サンプルがトレーニング過程で有用な情報を提供できないことを意味し、従ってトレーニングする前に前記画像サンプルを古い画像サンプルセットから削除して、不要なトレーニングを減らし、古い画像サンプルセットのサンプルの数量を減少して、ストレージスペースを節約する。
【００７９】  従って、本出願の実施形態に係わる対象検出方法は、ステップ３０６の後に、さらに以下のステップを含む。
【００８０】  ３０７、ネットワークパラメータが更新されたニューラルネットワークによって新しい第一画像サンプルセットの各画像サンプルを処理して得られる処理結果及び新しい第一画像サンプルセットの各画像サンプルの実際値に基づいて、新しい第一画像サンプルセットの画像サンプルを選別する。
【００８１】  本願の実施形態において、第二画像サンプルセットと第一画像サンプルセットを合併して新しい画像サンプルセットを形成してから、新しい画像サンプルセットの各画像サンプルをネットワークパラメータが更新されたニューラルネットワークに入力して、各画像サンプルの処理結果を獲得し、ネットワークパラメータが更新されたニューラルネットワークによって新しい第一画像サンプルセットの各画像サンプルを処理して得られる処理結果及び新しい第一画像サンプルセットの各画像サンプルの実際値に基づいて、ネットワークパラメータが更新されたニューラルネットワークの損失関数を使用して、ネットワークパラメータが更新されたニューラルネットワークによって各画像サンプルを処理するときに生成された画像サンプルの損失値を計算し、最後に損失値が閾値より小さい画像サンプルを削除し、即ち、新しい第一画像サンプルセットにおけるトレーニングに寄与しない画像サンプルを削除して、新しい第一画像サンプルセットの画像サンプルを選別する目的に達成し、不要なトレーニングを減らし、トレーニング効率を向上させる。先ず古い第一画像サンプルセット及び第二画像サンプルセットの画像サンプルを選別することもでき、古い第一画像サンプルセット及び第二画像サンプルセットにおけるトレーニングに寄与しない画像サンプルを削除してから、選別した後の第一画像サンプルセット及び第二画像サンプルセットを合併して新しい第一画像サンプルセットを獲得することもできる。
【００８２】  １つの選択的な実施形態において、ネットワークパラメータが更新されたニューラルネットワークがオブジェクト検出に応用される畳み込みニューラルネットワークである場合、ネットワークパラメータが更新されたニューラルネットワークによって画像サンプルを処理するときに生成された画像サンプルの損失値は分類損失と回帰損失からなり、具体的な計算式は次のとおりである。
【００８３】
【数２】
2021530015.tif 000014
【００８４】  その中において、Ｌ（ｘ，ｃ，ｌ，ｇ）は損失を表し、Ｌｃｏｎｆ（ｘ，ｃ）は分類損失を表し、Ｌｌｏｃ（ｘ，ｌ，ｇ）は回帰損失を表し、ｘは入力された画像サンプルデータを表し、ｃは入力された画像サンプルデータのタイプを表し、ｌは予測検出フレームを表し、ｇは標識フレームを表し、Ｎは入力された画像サンプルデータの数量を表し、αは重みを表す。
【００８５】  １つの選択的な実施形態として、第一画像サンプルセットを使用してニューラルネットワークをトレーニングし且つ第一ドメインに正常に適用した後、ユーザーはニューラルネットワークを複数の第二ドメインに適用しようとする。ニューラルネットワークが複数の第二ドメインに適用されるとき、複数の第二画像サンプルセットが収集される場合がある。第一画像サンプルセット及び複数の第二画像サンプルセットを使用してニューラルネットワークをトレーニングするプロセスでは、グループごとに第一画像サンプルセット及び複数の第二画像サンプルセットから画像サンプルを抽出してニューラルネットワークをトレーニングすることができる。その中において、第一画像サンプルセットから選択された画像サンプルの数量と各々の第二画像サンプルセットから選択された画像サンプルの数量との間の比率は第二比率範囲内にある。画像サンプルセットにおけるトレーニングに参加する画像サンプルの数量が多いほど、ニューラルネットワークはこの画像サンプルセットによくフィッティングするので、ニューラルネットワークが各画像サンプルセットに均一にフィッティングできるように、第二比率範囲は約１である。
【００８６】  例えば、第一画像サンプルセットに２００個の画像サンプルがあり、２つの第二画像サンプルセットにそれぞれ１００個の画像サンプルがあると仮定する。次に、グループごとに第一画像サンプルセット及び２つの第二画像サンプルセットから６０個の画像サンプルを取得して、ニューラルネットワークをトレーニングする。各グループの画像サンプルにおいて、第一画像サンプルセットから選択された画像サンプルと２つの第二画像サンプルセットから選択された画像サンプルの比率は３：１：２であり、即ち、第一画像サンプルセットから３０個の画像サンプルを取得し、１つの第二画像サンプルセットから１０個の画像サンプルを取得し、別の第二画像サンプルセットから２０個の画像サンプルを取得する。
【００８７】  ３０８、ニューラルネットワークの応用過程で再び問題が発生した場合、問題が発生したシーンに対して新しい第二画像サンプルセットを収集し、新しい第二画像サンプルセットを第二画像サンプルセットと見なし、新しい第一画像サンプルセットを第一画像サンプルセットと見なして、戻ってステップ３０１〜３０４を実行する。
【００８８】  本出願の実施形態において、第一ドメインに用いられるニューラルネットワーを第二ドメインに適用する場合、ニューラルネットワークによって第二ドメインの画像に対して対象検出を実行して検出結果を獲得し、検出結果の信頼性が第一閾値よりも低い画像を収集して第二画像サンプルとし、収集された複数の第二画像サンプルは第二画像サンプルセットを構成し、第一画像サンプルセット（第一ドメインに適用する前にニューラルネットワークをトレーニングするときに使用する画像サンプルセットである）及び第二画像サンプルセットを一緒に使用してニューラルネットワークをトレーニングする。従って第一ドメインに対するニューラルネットワークの検出性能を保持するとともに、第二ドメインに対するニューラルネットワークの検出性能を向上させることができ、即ち、ニューラルネットワークはすでに学習した知識を忘れなく、新しい知識を学習し続けることができる。
【００８９】  さらに、第一画像サンプルセット及び第二画像サンプルセットを使用してニューラルネットワークをトレーニングしてから、前記ニューラルネットワークが処理できない新しいシーン又は領域が存在する可能性があるので、新しい第二画像サンプルセットを収集し続けることができ、且つ以前の第一画像サンプルセットと第二画像サンプルセットを合併して新しい第一画像サンプルセットを形成し、新しい第一画像サンプルセット及び新しい第二画像サンプルセットを使用して、前記ニューラルネットワークをトレーニングし続ける。
【００９０】  さらに、第一画像サンプルセット及び第二画像サンプルセットを使用してニューラルネットワークをトレーニングするたびに、第二画像サンプルセットと第一画像サンプルセットを合併して次のトレーニング用の第一画像サンプルセットを形成するので、第一画像サンプルセットはトレーニング回数につれてだんだん大きくなる。ただし、ニューラルネットワークが第一画像サンプルセットの画像サンプルを適切に処理できる（検出、識別など）場合、前記画像サンプルはトレーニングに有用な情報を提供できないので、トレーニングする前にトレーニングに有用な情報を提供できない画像サンプルを第一画像サンプルセットから削除して、不要なトレーニングを減らし、第一画像サンプルセットのサンプルの数量を減少して、ストレージスペースを節約することができる。
【００９１】  図４を参照すると、図４は、本発明の実施形態に係わる対象検出方法で使用されるニューラルネットワークのトレーニングフレームワークを示す概略図である。図４に示されたように、トレーニングフレームワークは、ラージプールデータ４０１と、スモールプールデータ４０２と、デュアルプールデータ４０３と、古いターゲット検出モデル４０４（第一ドメインに適用されるニューラルネットワークに対応する）と、新しいターゲット検出モデル４０５（ネットワークパラメータが更新されたニューラルネットワークに対応する）と、を含むことができる。
【００９２】  ラージプールデータ：ラージプールデータは、第一ドメインに適用されるニューラルネットワークをトレーニングするための画像サンプルデータであり、第一画像サンプルセットに対応する。
【００９３】  スモールプールデータ：スモールプールデータは、ニューラルネットワークが第二ドメインに適用されるときに収集された画像サンプルデータであり、第二画像サンプルセットに対応する。
【００９４】  デュアルプールデータ：デュアルプールデータは、ラージプールデータ４０１とスモールプールデータ４０２を合併して形成し、第二画像サンプルセットと第一画像サンプルセットを合併して形成された画像サンプルセットに対応する。
【００９５】  古いターゲット検出モデル：古いターゲット検出モデルは、ラージプールデータでトレーニングされる。古いターゲット検出モデルは、第一ドメインに適用されるニューラルネットワークに対応するか、又は新しい第一画像サンプルセット及び新しい第二画像サンプルセットを使用してニューラルネットワークをトレーニングする前に、第一画像サンプルセット及び第二画像サンプルセットでトレーニングされたニューラルネットワークに対応する。
【００９６】  新しいターゲット検出モデル：新しいターゲット検出モデルは、ラージプールデータとスモールプールデータでトレーニングされ、ネットワークパラメータが更新されたニューラルネットワークに対応し、即ち、第一画像サンプルセット及び第二画像サンプルセットでトレーニングされたニューラルネットワークに対応するか、又は新しい第一画像サンプルセット及び新しい第二画像サンプルセットでトレーニングされたニューラルネットワークに対応する。
【００９７】  具体的には、先ず、ラージプールデータでターゲット検出モデルをトレーニングして、古いニューラルネットワーク（即ち、古いターゲット検出モデルである）を獲得する。古いニューラルネットワークは特定のシーンに適用することができ、例えば、第一ドメインの画像に対して対象検出を実行する。古いターゲット検出モデルが第二ドメインに適用されるとき、応用又はテスト過程で発生する問題に対して、新しい画像サンプルセットが収集される。収集された新しい画像サンプルセットをスモールプールデータと見なすことができる。スモールプールデータとラージプールデータを組み合わせてデュアルプールデータを取得してから、デュアルプールデータで古いターゲット検出モデルを再びトレーニングして新しいターゲット検出モデルを取得する。最後に、新しいターゲット検出モデルと対応する損失関数でデュアルプールデータを選別して、次の反復に用いられる新しいラージプールデータを取得する。
【００９８】  図５を参照すると、図５は、本発明の実施形態に係わる、デュアルプールデータを組み合わせてデュアルプールデータを取得し、デュアルプールデータでニューラルネットワークを再びトレーニングすることを示す概略図である。図５に示されたように、ニューラルネットワークは畳み込みニューラルネットワークである。先ず、ラージプールデータ及びスモールプールデータが入力として使用され、１：１に比率によってラージプールデータとスモールプールデータからデータを選択して畳み込みニューラルネットワークをトレーニングする。
【００９９】  １つの選択的な実施形態として、上述したデュアルプールスキームに基づいて、マルチプールデータに改善することもでき、例えば、図６に示されたマルチプールデータ構造を用いたトレーニング方法である。その中において、異なるプールのデータは、異なる画像サンプルセットを表す。マルチプールデータスキームの原理は、デュアルプールスキームの原理と同じであり、特定のデータソースのトレーニング参与度を向上させることである。マルチプールデータスキームでは、より多いデータソースを同時に考慮することができ、複数のデータ分布から最適値を見つけることができる。具体的なプロセスは図５に示された方法と類似するので、詳しく説明しない。
【０１００】  本出願の実施形態に係わるトレーニング方法によって、ニューラルネットワークは連続学習の能力を有することができる。即ち、ニューラルネットワークは既に学んだ知識を忘れなく、新しい知識を学び続けることができる。
【０１０１】  例えば、実際に使用されているトレーニングされたニューラルネットワークがある。ニューラルネットワークのトレーニングに使用されるデータは領域Ａから収集され、スマート運転に用いられる。ビジネス需要のために、ニューラルネットワークを領域Ｂに適用する。領域Ｂのデータでニューラルネットワークをトレーニングしないと、ニューラルネットワークの検出効果は良くない。例えば、領域Ｂの固有の車両に対して、検出器は車両を検出しない場合がある。別の例として、領域Ｂのいくつかのロードコーンも誤判定することができる。ただし、ただ領域Ｂのデータで再びトレーニングすると、忘却により領域Ａに対するニューラルネットワークの検出性能が低下する場合がある。この場合、デュアルプールトレーニング方式を採用することができる。領域Ｂのビデオを収集してスモールプールデータとすることができ、元の領域Ａのラージプールデータと協同して、ニューラルネットワークは、元のシーン（領域Ａ）での性能を保持するとともに、新しいシーン（領域Ｂ）にうまくフィッティングすることができる。トレーニングが完了すると、スモールプールデータとラージプールデータを組み合わせることができる。つまり、ニューラルネットワークの反復が完了する。
【０１０２】  別の例として、実際に使用されているトレーニングされたニューラルネットワークがある。ニューラルネットワークは一般的なデータでトレーニングされ、トレーニングされたニューラルネットワークはセキュリティ監視に使用される。トレーニングされたニューラルネットワークを遠隔地や特殊なシーンに適用すると、シーンの違いが大きいので、ニューラルネットワークは誤検出や漏検出が発生し易い。この場合、デュアルプールトレーニング方式を採用することができる。新しいシーンのビデオを収集してスモールプールデータとすることができ、元のラージプールデータと協同して、新しいシーンでのニューラルネットワークの検出性能をすばやく改善し、フィッティング過ぎることを免れる。トレーニングが完了すると、スモールプールデータとラージプールデータを組み合わせることができる。つまり、ニューラルネットワークの反復が完了する。
【０１０３】  本願の実施形態は、さらに対象検出装置を提供する。対象検出装置は、上記の方法のいずれかを実行するために用いられる。具体的には、図７を参照すると、図７は、本出願の実施形態に係わる対象検出装置を示すブロック図である。本実施形態の装置は、検出モジュール７１０、サンプル収集モジュール７２０、サンプル選択モジュール７３０及びパラメータ調整モジュール７４０を含む。
【０１０４】  検出モジュール７１０は、第一ドメインに用いられるニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行して、検出結果を獲得するために用いられ、ニューラルネットワークは第一画像サンプルセットでトレーニングされる。サンプル収集モジュール７２０は、検出結果の信頼性が第一閾値よりも低い画像を第二画像サンプルセットの画像サンプルとするために用いられる。サンプル選択モジュール７３０は、第一画像サンプルセットから少なくとも１つの画像サンプルを選択し、且つ第二画像サンプルセットから少なくとも１つの画像サンプルを選択するために用いられる。検出モジュール７１０は、さらにニューラルネットワークを使用して選択された各画像サンプルに対して対象検出を実行して、予測結果を出力するために用いられる。パラメータ調整モジュール７４０は、出力された予測結果及び選択された各画像サンプルの実際値に基づいて、ニューラルネットワークのネットワークパラメータの値を調整するために用いられる。
【０１０５】  １つの選択的な実施形態において、検出モジュール７１０は、さらにネットワークパラメータが更新されたニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行するために用いられる。
【０１０６】  １つの選択的な実施形態において、第二ドメインは１つであり、第二画像サンプルセットは１つであり、第一画像サンプルセットの画像サンプルの数量は第二画像サンプルセットの画像サンプルの数量より多く、第一画像サンプルセットから選択された画像サンプルの数量と第二画像サンプルセットから選択された画像サンプルの数量との間の比率は第一比率範囲内にある。
【０１０７】  １つの選択的な実施形態において、第二ドメインはｋ個であり、第二画像サンプルセットはｋ個であり、第一画像サンプルセットの画像サンプルの数量は各々の第二画像サンプルセットの画像サンプルの数量より多く、第一画像サンプルセットから選択された画像サンプルの数量と各々の第二画像サンプルセットから選択された画像サンプルの数量との間の比率は第二比率範囲内にあり、その中において、ｋは１より大きい整数である。
【０１０８】  １つの選択的な実施形態において、対象検出装置は、サンプル合併モジュール７５０をさらに含む。サンプル合併モジュール７５０は、ネットワークパラメータが更新されたニューラルネットワークを獲得した後、第二画像サンプルセットと第一画像サンプルセットを合併して、新しい第一画像サンプルセットを獲得するために用いられる。
【０１０９】  １つの選択的な実施形態において、本出願の実施形態に係わる対象検出装置は、選別モジュール７６０をさらに含む。選別モジュール７６０は、新しい第一画像サンプルセットを獲得した後、ネットワークパラメータが更新されたニューラルネットワークによって新しい第一画像サンプルセットの各画像サンプルを処理して得られる処理結果及び新しい第一画像サンプルセットの各画像サンプルの実際値に基づいて、新しい第一画像サンプルセットの画像サンプルを選別するために用いられる。
【０１１０】  １つの選択的な実施形態において、選別モジュール７６０は、処理サブモジュールと、確定サブモジュールと、削除サブモジュールと、を含む。処理サブモジュールは、新しい第一画像サンプルセットの画像サンプルをネットワークパラメータが更新されたニューラルネットワークに入力して、各画像サンプルの処理結果を獲得するために用いられる。確定サブモジュールは、各画像サンプルの処理結果及びその実際値に基づいて、ネットワークパラメータが更新されたニューラルネットワークによって各画像サンプルを処理するときに生成された画像サンプルの損失値を確定するために用いられる。削除サブモジュールは、新しい第一画像サンプルセットにおける損失値が第二閾値より小さい画像サンプルを捨てるために用いられる。
【０１１１】  １つの選択的な実施形態において、本出願の実施形態に係わる対象検出装置は、比較モジュール７７０をさらに含む。比較モジュール７７０は、検出結果と検出結果に対応する画像の実際値を比較して、検出結果の信頼性を獲得するために用いられる。
【０１１２】  本出願の実施形態において、第一ドメインに適用されたニューラルネットワーが第二ドメインに適用される場合、ニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行して検出結果を獲得し、検出結果の信頼性が第一閾値よりも低い画像を第二画像サンプルとして収集し、収集された複数の第二画像サンプルは第二画像サンプルセットを構成する。次に、ニューラルネットワークを使用して別々に第一画像サンプルセット及び第二画像サンプルセットから選択された画像サンプルに対して対象検出を実行することにより予測結果を獲得する。最後に、予測結果及び選択された各画像サンプルの実際値に基づいて、ニューラルネットワークのネットワークパラメータを調整する。つまり、ニューラルネットワークが再トレーニングされるとき、新しい画像サンプルセットを追加するとともに、古い画像サンプルセットを保留するので、再びトレーニングされたニューラルネットワークは第一ドメインに対する検出性能を維持できるだけではなく、第二ドメインに対する検出性能を向上させる。つまり、ニューラルネットワークは、トレーニングされたシーンの既存の検出性能を保持するとともに、新しいシーンの対象検出性能を迅速に獲得することができる。
【０１１３】  図８、本出願の実施形態に係わる対象検出機器の構造を示す概略図である。対象検出機器４０００は、プロセッサ４１を含む。対象検出機器４０００は、入力装置４２、出力装置４３及びメモリ４４をさらに含むことができる。入力装置４２、出力装置４３、メモリ４４及びプロセッサ４１は、バスによって互いに接続される。
【０１１４】  メモリは、ランダムアクセスメモリ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ，ＲＡＭ）、読み取り専用メモリ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ，ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ｅｒａｓａｂｌｅ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ，ＥＰＲＯＭ）又はポータブル読み取り専用メモリ（コンパクトディスクＲＯＭ（ＣＤ  ＲＯＭなど）が含まれますが、これらに限定されません。メモリは、命令とデータを格納するために用いられる。
【０１１５】  入力装置は、データ及び/又は信号を入力するために用いられる。出力装置は、データ及び/又は信号を出力するために用いられる。出力装置と入力装置は、互いに分離されていてもよく、または互いに統合されていてもよい。
【０１１６】  プロセッサは、１つ又は複数のプロセッサを含むことができる。例えば、プロセッサは、１つ又は複数の中央処理装置（ＣＰＵ）を含む。一例では、プロセッサはＣＰＵであり、ＣＰＵはシングルコアＣＰＵ又はマルチコアＣＰＵであることができる。プロセッサは、１つ又は複数の専用プロセッサをさらに含むことができる。専用プロセッサは、一般処理装置（ｇｅｎｅｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ，ＧＰＵ）、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ，ＦＰＧＡ）が含むことができ、高速処理に使用される。
【０１１７】  メモリは、ネットワークデバイスのプログラムコード及びデータを格納するために用いられる。
【０１１８】  プロセッサは、メモリに格納されたプログラムコード及びデータを呼び出して、上述した方法実装例のステップを実行するために用いられる。具体的には、方法実施例の説明を参照することができ、ここでは繰り返されない。
【０１１９】  図８は、ただ対象検出機器の簡略化された設計を示している。実際応用では、動作識別装置は、他の必要なンポーネントをさらに含むことができ、任意の数量の入力/出力装置、プロセッサ、コントローラ、メモリなどを含むがこれらに限定されない。本出願の実施形態を実施することができるすべての動作識別装置は、本出願の保護範囲に含まれる。
【０１２０】  本出願の実施形態は、コンピュータプログラムが格納されたコンピュータ可読記憶媒体をさらに提供する。コンピュータプログラムがプロセッサによって実行されると、本出願の実施形態で提供される任意の対象検出方法を実現する。本出願の実施形態は、コンピュータプログラム製品をさらに提供する。コンピュータプログラム製品には、コンピュータ実行可能命令が含まれる。コンピュータ実行可能命令が実行されると、本出願の実施形態で提供される任意の対象検出方法を実現することができる。
【０１２１】  当業者であれば、説明の便利及び簡潔さのために、上述したシステム、装置及びユニットの具体的な作業プロセスは上述したの方法実施例の対応するプロセスを参照できることを明確に理解することができ、ここでは繰り返さない。
【０１２２】  本出願で提供される幾つかの実施例において、開示されたシステム、装置及び方法は、他の方法で実現され得ることを理解されるべきである。例えば、ユニットの分割は、ロジック機能の分割に過ぎず、実際に実現するときに別の分割形態を有してもよい。例えば、複数のユニット又は部品を組み合わせ、又は別のシステムに集積し、又は若干の特徴を無視し、又は実行しなくてもよい。さらに、図示又は検討する相互間の結合や直接結合や通信接続は、いくつかのインタフェース、装置、又はユニットの間接結合や通信接続であってもよいし、電気、機械や他の形態であってもよい。
【０１２３】  分離部品として記載されたユニットは、物理的に分離してもよいし、分離しなくてもよい。ユニットとして表示される部品は、物理的なユニットであってもよいし、物理的なユニットではなくておもよい。即ち、一つの箇所に設置してもよいし、複数のネットワークユニットに設置してもよい。実際の要求に応じて一部又は全部のユニットを選択して本実施例の技術方案の目的を実現することができる。
【０１２４】  上述した実施形態において、全部又は一部はソフトウェア、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、又は任意の他の組み合わせによって実現することができる。ソフトウェアによって実現する場合、全部又は一部は、コンピュータプログラム製品の形式で実現することができる。コンピュータプログラム製品は、１つ又は複数のコンピュータ命令を含む。コンピュータにコンピュータプログラム命令をアップロードして実行される場合、本発明の実施形態のプロセス又は機能の全部または一部が実行される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラム可能な装置であることができる。コンピュータ命令は、コンピュータ可読記憶媒体に記憶することができ、又はコンピュータ可読記憶媒体によって送信することができる。例えば、コンピュータ命令は、有線（例えば、同軸ケーブル、光ファイバ、デジタル加入者線（ｄｉｇｉｔａｌ  ｓｕｂｓｃｒｉｂｅｒ  ｌｉｎｅ,  ＤＳＬ）である）又は無線（赤外線、無線、マイクロ波などである）方式によって、あるウェブサイト、コンピュータ、サーバ、又はデータセンタから別のウェブサイト、コンピュータ、サーバ、又はデータセンタに送信することができる。コンピュータ可読記憶媒体は、コンピュータがアクセスすることができる任意の利用可能な媒体、又は１つ又は複数の利用可能な媒体統合を含むサーバ、データセンタなどのデータ記憶装置であることができる。使用可能な媒体は、読み取り専用メモリ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ，ＲＯＭ）、又はランダムアクセスメモリ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ，ＲＡＭ）、又は磁気媒体（例えば、ソフトディスク、ハードディスク、磁気テープ、磁気ディスクである）、光学媒体（例えば、デジタルビデオディスク（ｄｉｇｉｔａｌ  ｖｉｄｅｏ  ｄｉｓｃ，ＤＶＤ）である）、又は半導体媒体（例えば、ソリッドステートディスク（ｓｏｌｉｄ  ｓｔａｔｅ  ｄｉｓｋ，ＳＳＤ）である）などであることができる。
【０１２５】  上述したのは、ただ本願の具体的な実施形態であり、本願の保護範囲はこれに限定されるものではない。当業者であれば、本願に開示された技術範囲内で変更又は置換を容易に想到しうることであり、このような変更又は置換は全て本出願の範囲内に含まれるべきである。従って本願の保護範囲は特許請求の範囲によって決めるべきである。 
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象検出方法であって、  第一ドメインに用いられるニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行して、検出結果を獲得することであって、前記ニューラルネットワークは第一画像サンプルセットでトレーニングされる、ことと、  前記検出結果の信頼性が第一閾値よりも低い画像を第二画像サンプルセットの画像サンプルとすることと、  前記第一画像サンプルセットから少なくとも１つの画像サンプルを選択し、且つ前記第二画像サンプルセットから少なくとも１つの画像サンプルを選択することと、  前記ニューラルネットワークを使用して選択された各画像サンプルに対して対象検出を実行して、予測結果を出力することと、  出力された予測結果及び選択された各画像サンプルの実際値に基づいて、前記ニューラルネットワークのネットワークパラメータの値を調整することと、  を含む、  ことを特徴とする対象検出方法。
【請求項２】
前記方法は、  ネットワークパラメータが更新されたニューラルネットワークを利用して前記第二ドメインの画像に対して対象検出を実行することをさらに含む、  ことを特徴とする請求項１に記載の対象検出方法。
【請求項３】
前記第二ドメインは１つであり、前記第二画像サンプルセットは１つであり、前記第一画像サンプルセットの画像サンプルの数量は前記第二画像サンプルセットの画像サンプルの数量より多く、前記第一画像サンプルセットから選択された画像サンプルの数量と前記第二画像サンプルセットから選択された画像サンプルの数量との間の比率は第一比率範囲内にある、  ことを特徴とする請求項２に記載の対象検出方法。
【請求項４】
前記第二ドメインはｋ個であり、前記第二画像サンプルセットはｋ個であり、前記第一画像サンプルセットの画像サンプルの数量は各々の第二画像サンプルセットの画像サンプルの数量より多く、前記第一画像サンプルセットから選択された画像サンプルの数量と各々の第二画像サンプルセットから選択された画像サンプルの数量との間の比率は第二比率範囲内にあり、ｋは１より大きい整数である、  ことを特徴とする請求項２に記載の対象検出方法。
【請求項５】
ネットワークパラメータが更新されたニューラルネットワークを獲得した後、前記方法は、  前記第二画像サンプルセットと前記第一画像サンプルセットを合併して、新しい第一画像サンプルセットを獲得することをさらに含む、  ことを特徴とする請求項１〜４のいずれか一項に記載の対象検出方法。
【請求項６】
前記新しい第一画像サンプルセットを獲得した後、前記方法は、  前記ネットワークパラメータが更新されたニューラルネットワークによって前記新しい第一画像サンプルセットの各画像サンプルを処理して得られる処理結果及び前記新しい第一画像サンプルセットの各画像サンプルの実際値に基づいて、前記新しい第一画像サンプルセットの画像サンプルを選別することをさらに含む、  ことを特徴とする請求項５に記載の対象検出方法。
【請求項７】
前記ネットワークパラメータが更新されたニューラルネットワークによって前記新しい第一画像サンプルセットの各画像サンプルを処理して得られる処理結果及び前記新しい第一画像サンプルセットの各画像サンプルの実際値に基づいて、前記新しい第一画像サンプルセットの画像サンプルを選別することは、  前記新しい第一画像サンプルセットの各画像サンプルを前記ネットワークパラメータが更新されたニューラルネットワークに入力して、各画像サンプルの処理結果を獲得することと、  各画像サンプルの処理結果及びその実際値に基づいて、前記ネットワークパラメータが更新されたニューラルネットワークによって各画像サンプルを処理するときに生成された画像サンプルの損失値を確定することと、  前記新しい第一画像サンプルセットにおける損失値が第二閾値より小さい画像サンプルを捨てることと、  を含む。  ことを特徴とする請求項６に記載の対象検出方法。
【請求項８】
検出結果の信頼性を確定することは、  前記検出結果と前記検出結果に対応する画像の実際値を比較して、前記検出結果の信頼性を獲得することを含む、  ことを特徴とする請求項７に記載の対象検出方法。
【請求項９】
対象検出装置であって、  検出モジュールと、サンプル収集モジュールと、サンプル選択モジュールと、パラメータ調整モジュールと、を含み、  前記検出モジュールは、第一ドメインに用いられるニューラルネットワークを利用して第二ドメインの画像に対して対象検出を実行して検出結果を獲得するために用いられ、前記ニューラルネットワークは第一画像サンプルセットでトレーニングされ、  前記サンプル収集モジュールは、前記検出結果の信頼性が第一閾値よりも低い画像を第二画像サンプルセットの画像サンプルとするために用いられ、  前記サンプル選択モジュールは、前記第一画像サンプルセットから少なくとも１つの画像サンプルを選択し、且つ前記第二画像サンプルセットから少なくとも１つの画像サンプルを選択するために用いられ、  前記検出モジュールは、さらに前記ニューラルネットワークを使用して選択された各画像サンプルに対して対象検出を実行して、予測結果を出力するために用いられ、  前記パラメータ調整モジュールは、出力された予測結果及び選択された各画像サンプルの実際値に基づいて、前記ニューラルネットワークのネットワークパラメータを調整するために用いられる、  ことを特徴とする対象検出装置。
【請求項１０】
対象検出機器であって、  メモリ及びプロセッサを含み、前記メモリにはコンピュータ実行可能命令が格納されており、前記メモリに格納されたコンピュータ実行可能命令が前記プロセッサによって実行されると、請求項１〜８のいずれか一項に記載の対象検出方法を実行する、  ことを特徴とする対象検出機器。
【請求項１１】
コンピュータプログラムが格納されたコンピュータ可読記憶媒体であって、  前記コンピュータプログラムがプロセッサによって実行されると、請求項１〜８のいずれか一項に記載の対象検出方法を実行する、  ことを特徴とするコンピュータ可読記憶媒体。
【請求項１２】
コンピュータ実行可能命令を含むコンピュータプログラムであって、  前記コンピュータ実行可能命令が実行されるとき、請求項１〜８のいずれか一項に記載の対象検出方法を実行する、  ことを特徴とするコンピュータプログラム。 
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2021530015.tif 000015
【図２】
2021530015.tif 000016
【図３】
2021530015.tif 000017
【図４】
2021530015.tif 000018
【図５】
2021530015.tif 000019
【図６】
2021530015.tif 000020
【図７】
2021530015.tif 000021
【図８】
2021530015.tif 000022
【国際調査報告】
2021530015.tif 000023
2021530015.tif 000024
2021530015.tif 000025
2021530015.tif 000026