(57)【要約】本開示は、ニューラルネットワーク捜索方法及び装置に関する。当該方法は、捜索対象のニューラルネットワークライブラリと訓練データセットを取得することと、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートして第１ニューラルネットワーク系列セットを得て、且つ前記第１ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークセットとすることと、前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークセットに対して第２所定値の周期数で訓練する第１段階訓練を行うことと、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークを目標ニューラルネットワークとすることと、を含む。対応する装置も開示されている。本開示の技術的手段によりニューラルネットワーク捜索にかかる計算リソースと捜索時間を減少させることができる。【選択図】図１
2022502762.tif 000002
【特許請求の範囲】
【請求項１】
捜索対象のニューラルネットワークライブラリと訓練データセットを取得することと、
前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートして第１ニューラルネットワーク系列セットを得て、前記第１ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークセットとすることと、
前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークセットに対して第２所定値の周期数で訓練する第１段階訓練を行うことと、
前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークを目標ニューラルネットワークとすることと、を含むことを特徴とするニューラルネットワーク捜索方法。
【請求項２】
前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートして第１ニューラルネットワーク系列セットを得て、前記第１ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークセットとする前に、
前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートして第２ニューラルネットワーク系列セットを得て、前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークセットとすることと、
前記訓練データセットを用いて前記第２訓練対象ニューラルネットワークセットに対して前記第３所定値との和が前記第１所定値に等しい周期数で訓練する第２段階訓練を行うこととをさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートして第２ニューラルネットワーク系列セットを得て、前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークセットとする前に、
前記捜索対象のニューラルネットワークライブラリに、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られるＲ個の進化後のニューラルネットワークを増加することをさらに含み、
前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートして第２ニューラルネットワーク系列セットを得て、前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークセットとすることは、
前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第３所定値の周期数で訓練されたニューラルネットワークと前記Ｒ個の進化後のニューラルネットワークとをソートして第３ニューラルネットワーク系列セットを得て、前記第３ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを前記第２訓練対象ニューラルネットワークセットとすることを含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークセットに対して第１段階訓練を行う後、
前記捜索対象のニューラルネットワークライブラリに、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られる、前記Ｒに等しいＳ個の進化後のニューラルネットワークを増加することと、
前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第３所定値の周期数で訓練されたニューラルネットワークと前記Ｓ個の進化後のニューラルネットワークとをソートして第４ニューラルネットワーク系列セットを得て、前記第４ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第３訓練対象ニューラルネットワークセットとし、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第１所定値の周期数で訓練されたニューラルネットワークをソートして第５ニューラルネットワーク系列セットを得て、前記第５ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第４訓練対象ニューラルネットワークセットとすることと、
前記訓練データセットを用いて前記第３訓練対象ニューラルネットワークセットに対して前記第２段階訓練を行い、前記訓練データセットを用いて前記第４訓練対象ニューラルネットワークセットに対して前記第１段階訓練を行うことと、を含む反復をＸ回実行すること、及び、
前記捜索対象のニューラルネットワークライブラリ内の、前記Ｘよりも小さいＴ回の反復で訓練されなかったニューラルネットワークを除去することをさらに含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記捜索対象のニューラルネットワークライブラリにＲ個の進化後のニューラルネットワークを増加することは、
前記捜索対象のニューラルネットワークライブラリ内のＲ個のニューラルネットワークを複製し、Ｒ個の複製後のニューラルネットワークを得ることと、
前記Ｒ個の複製後のニューラルネットワークの構造を修正することにより、前記Ｒ個の複製後のニューラルネットワークを進化させ、Ｒ個の訓練対象ニューラルネットワークを得ることと、
前記訓練データセットを用いて前記Ｒ個の訓練対象ニューラルネットワークに対して第３所定値の周期数で訓練する第３段階訓練を行い、前記Ｒ個の進化後のニューラルネットワークを得ることと、
前記Ｒ個の進化後のニューラルネットワークを前記捜索対象のニューラルネットワークライブラリに追加することとを含むことを特徴とする請求項３又は４に記載の方法。
【請求項６】
前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは、画像分類に用いられることを特徴とする請求項５に記載の方法。
【請求項７】
前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは、標準層、削減層及び分類層を含み、
前記標準層、前記削減層及び前記分類層は順次直列に接続され、
前記標準層は、前記標準層に入力された画像から特徴を抽出するために用いられ、
前記削減層は、前記削減層に入力された画像から特徴を抽出し、且つ前記削減層に入力された画像のサイズを縮小するために用いられ、
前記分類層は、前記削減層から出力された特徴に基づいて、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークに入力された画像の分類結果を得るために用いられ、
前記標準層と前記削減層はいずれも複数のニューロンを含み、前記複数のニューロンのそれぞれは順次直列に接続され、ｉ＋１番目のニューロンの入力はｉ番目のニューロンの出力とｉ−１番目のニューロンの出力を含み、前記ｉ＋１番目のニューロン、前記ｉ番目のニューロン及び前記ｉ−１番目のニューロンは前記複数のニューロンに属し、前記ｉは１よりも大きい正の整数であり、
前記ニューロンはｊ個のノードを含み、ｋ番目のノードの入力は前記ｋ番目のノードより前のｋ−１個のノードのうちの任意の２つのノードの出力であり、前記ｋは２よりも大きい正の整数であり、且つ前記ｋは前記ｊ以下であり、前記ニューロンの出力はｊ番目のノードの出力とｊ−１番目のノードの出力が融合した結果であり、
前記ノードは少なくとも２つの操作を含み、前記操作の入力は前記ノードの入力であり、前記操作は畳み込み、プーリング、マッピングのいずれか一つであることを特徴とする請求項６に記載の方法。
【請求項８】
前記Ｒ個の複製後のニューラルネットワークの構造を修正することは、
前記Ｒ個の複製後のニューラルネットワークのニューロンの入力を変換することによって前記Ｒ個の複製後のニューラルネットワークの構造を修正すること、及び／又は
前記Ｒ個の複製後のニューラルネットワークのニューロンのノード内の操作を変換することによって前記Ｒ個の複製後のニューラルネットワークの構造を修正することを含むことを特徴とする請求項６に記載の方法。
【請求項９】
前記捜索対象のニューラルネットワークライブラリを取得することは、
捜索対象ニューラルネットワークを取得することと、
前記訓練データセットを用いて前記捜索対象ニューラルネットワークに対して前記第３段階訓練を行い、第３段階訓練後の捜索対象ニューラルネットワークを含む前記捜索対象のニューラルネットワークライブラリを得ることとを含むことを特徴とする請求項５〜８のいずれか１項に記載の方法。
【請求項１０】
前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークを目標ニューラルネットワークとすることは、
前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークをソートして第５ニューラルネットワーク系列セットを得て、前記第５ニューラルネットワーク系列セットのうちの上位Ｙ個のニューラルネットワークを前記目標ニューラルネットワークとすることを含むことを特徴とする請求項１〜４及び６〜８のいずれか１項に記載の方法。
【請求項１１】
捜索対象のニューラルネットワークライブラリと訓練データセットを取得するための取得ユニットと、
前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートして第１ニューラルネットワーク系列セットを得て、前記第１ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークセットとするためのソートユニットと、
前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークセットに対して第２所定値の周期数で訓練する第１段階訓練を行うための訓練ユニットと、
前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークを目標ニューラルネットワークとするための決定ユニットと、を含むことを特徴とするニューラルネットワーク捜索装置。
【請求項１２】
前記ソートユニットは、さらに、
前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートして第１ニューラルネットワーク系列セットを得て、前記第１ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークセットとする前に、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートして第２ニューラルネットワーク系列セットを得て、前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークセットとするために用いられ、
前記訓練ユニットは、さらに、前記訓練データセットを用いて前記第２訓練対象ニューラルネットワークセットに対して前記第３所定値との和が前記第１所定値に等しい周期数で訓練する第２段階訓練を行うために用いられることを特徴とする請求項１１に記載の装置。
【請求項１３】
前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートして第２ニューラルネットワーク系列セットを得て、前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークセットとする前に、前記捜索対象のニューラルネットワークライブラリに、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られるＲ個の進化後のニューラルネットワークを増加するためのニューラルネットワーク進化ユニットをさらに含み、
前記ソートユニットは、具体的には、
前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第３所定値の周期数で訓練されたニューラルネットワークと前記Ｒ個の進化後のニューラルネットワークとをソートして第２ニューラルネットワーク系列セットを得て、前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを前記第２訓練対象ニューラルネットワークセットとするために用いられることを特徴とする請求項１２に記載の装置。
【請求項１４】
前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークセットに対して第１段階訓練を行う後、
前記捜索対象のニューラルネットワークライブラリに、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られる、前記Ｒに等しいＳ個の進化後のニューラルネットワークを増加することと、
前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第３所定値の周期数で訓練されたニューラルネットワークと前記Ｓ個の進化後のニューラルネットワークとをソートして第４ニューラルネットワーク系列セットを得て、前記第４ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第３訓練対象ニューラルネットワークセットとし、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第１所定値の周期数で訓練されたニューラルネットワークをソートして第５ニューラルネットワーク系列セットを得て、前記第５ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第４訓練対象ニューラルネットワークセットとすることと、
前記訓練データセットを用いて前記第３訓練対象ニューラルネットワークセットに対して前記第２段階訓練を行い、前記訓練データセットを用いて前記第４訓練対象ニューラルネットワークセットに対して前記第１段階訓練を行うことと、を含む反復をＸ回実行するための実行ユニットと、
前記捜索対象のニューラルネットワークライブラリ内の、前記Ｘよりも小さいＴ回の反復で訓練されなかったニューラルネットワークを除去するための除去ユニットをさらに含むことを特徴とする請求項１３に記載の装置。
【請求項１５】
前記ニューラルネットワーク進化ユニットは、具体的には、
前記捜索対象のニューラルネットワークライブラリ内のＲ個のニューラルネットワークを複製し、Ｒ個の複製後のニューラルネットワークを得て、
前記Ｒ個の複製後のニューラルネットワークの構造を修正することにより、前記Ｒ個の複製後のニューラルネットワークを進化させ、Ｒ個の訓練対象ニューラルネットワークを得て、
前記訓練データセットを用いて前記Ｒ個の訓練対象ニューラルネットワークに対して第３所定値の周期数で訓練する第３段階訓練を行い、前記Ｒ個の進化後のニューラルネットワークを得て、
前記Ｒ個の進化後のニューラルネットワークを前記捜索対象のニューラルネットワークライブラリに追加するために用いられることを特徴とする請求項１３又は１４に記載の装置。
【請求項１６】
前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは、画像分類に用いられることを特徴とする請求項１５に記載の装置。
【請求項１７】
前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは、標準層、削減層及び分類層を含み、
前記標準層、前記削減層及び前記分類層は順次直列に接続され、
前記標準層は、前記標準層に入力された画像から特徴を抽出するために用いられ、
前記削減層は、前記削減層に入力された画像から特徴を抽出し、且つ前記削減層に入力された画像のサイズを縮小するために用いられ、
前記分類層は、前記削減層から出力された特徴に基づいて、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークに入力された画像の分類結果を得るために用いられ、
前記標準層と前記削減層はいずれも複数のニューロンを含み、前記複数のニューロンのそれぞれは順次直列に接続され、ｉ＋１番目のニューロンの入力はｉ番目のニューロンの出力とｉ−１番目のニューロンの出力を含み、前記ｉ＋１番目のニューロン、前記ｉ番目のニューロン及び前記ｉ−１番目のニューロンは前記複数のニューロンに属し、前記ｉは１よりも大きい正の整数であり、
前記ニューロンはｊ個のノードを含み、ｋ番目のノードの入力は前記ｋ番目のノードより前のｋ−１個のノードのうちの任意の２つのノードの出力であり、前記ｋは２よりも大きい正の整数であり、且つ前記ｋは前記ｊ以下であり、前記ニューロンの出力はｊ番目のノードの出力とｊ−１番目のノードの出力が融合した結果であり、
前記ノードは少なくとも２つの操作を含み、前記操作の入力は前記ノードの入力であり、前記操作は畳み込み、プーリング、マッピングのいずれか一つであることを特徴とする請求項１６に記載の装置。
【請求項１８】
前記ニューラルネットワーク進化ユニットは、具体的には、
前記Ｒ個の複製後のニューラルネットワークのニューロンの入力を変換することによって前記Ｒ個の複製後のニューラルネットワークの構造を修正し、及び／又は
前記Ｒ個の複製後のニューラルネットワークのニューロンのノード内の操作を変換することによって前記Ｒ個の複製後のニューラルネットワークの構造を修正するために用いられることを特徴とする請求項１６に記載の装置。
【請求項１９】
前記取得ユニットは、具体的には、
捜索対象ニューラルネットワークを取得し、
前記訓練データセットを用いて前記捜索対象ニューラルネットワークに対して前記第３段階訓練を行い、第３段階訓練後の捜索対象ニューラルネットワークを含む前記捜索対象のニューラルネットワークライブラリを得るために用いられることを特徴とする請求項１５〜１８のいずれか１項に記載の装置。
【請求項２０】
前記決定ユニットは、具体的には、
前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークをソートして第５ニューラルネットワーク系列セットを得て、前記第５ニューラルネットワーク系列セットのうちの上位Ｙ個のニューラルネットワークを前記目標ニューラルネットワークとするために用いられることを特徴とする請求項１１〜１４及び１６〜１８のいずれか１項に記載の装置。
【請求項２１】
請求項１〜１０のいずれか１項に記載の方法を実行するために用いられることを特徴とするプロセッサ。
【請求項２２】
プロセッサと、送信装置と、入力装置と、出力装置と、コンピュータ命令を含むコンピュータプログラムコードを記憶するためのメモリとを含み、前記プロセッサが前記コンピュータ命令を実行すると、請求項１〜１０のいずれか１項に記載の方法を実行することを特徴とする電子機器。
【請求項２３】
プログラム命令を含むコンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムが電子機器のプロセッサにより実行されると、前記プロセッサに請求項１〜１０のいずれか１項に記載の方法を実行させることを特徴とするコンピュータ読取可能記憶媒体。
【請求項２４】
コンピュータ読取可能なコードを含むコンピュータプログラムであって、前記コンピュータ読取可能なコードは電子機器内で実行されると、前記電子機器内のプロセッサに請求項１〜１０のいずれか１項に記載の方法を実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理技術分野に関し、特に、ニューラルネットワーク捜索方法及び装置に関する。
【背景技術】
【０００２】
ニューラルネットワークは、コンピュータビジョンの分野で広く用いられており、ニューラルネットワークの性能はニューラルネットワークの構造と関連しており、性能の良いニューラルネットワークの構造をどのように決定するのかという点が非常に重要となる。
【発明の概要】
【０００３】
本開示は、ニューラルネットワーク捜索の技術方案を提供する。
【０００４】
第１方面は、捜索対象のニューラルネットワークライブラリと訓練データセットを取得することと、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートして第１ニューラルネットワーク系列セットを得て、且つ前記第１ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークセットとすることと、前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークセットに対して第２所定値の周期数で訓練する第１段階訓練を行うことと、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークを目標ニューラルネットワークとすることと、を含むニューラルネットワーク捜索方法を提供する。
【０００５】
第１方面において、第１訓練対象ニューラルネットワークに対して第１段階訓練を行うことにより、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークに対する段階的な訓練を実現し、即ち前段階の訓練後に性能の良いニューラルネットワークに対して次段階の訓練を行い、このようにして、前段階の訓練後、性能の悪いニューラルネットワークにかかる計算リソースと時間を減少させ、ひいては捜索過程にかかる計算リソースと時間を減少させることができる。
【０００６】
可能な一実施形態では、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートして第１ニューラルネットワーク系列セットを得て、且つ前記第１ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークセットとする前に、前記方法は、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートして第２ニューラルネットワーク系列セットを得て、且つ前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークセットとすることと、前記訓練データセットを用いて前記第２訓練対象ニューラルネットワークセットに対して前記第３所定値との和が前記第１所定値に等しい周期数で訓練する第２段階訓練を行うこととをさらに含む。
【０００７】
可能な該実現形態では、まず、捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークを認識精度でソートし、ソートされた上位Ｎ個のニューラルネットワークに対して第２段階訓練を行う。上記の実現可能な形態と併せて、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークに対して段階的訓練の方式を採用することに相当し、即ち前段階の訓練完了後に認識精度の高いニューラルネットワークに対して次段階の訓練を行い、前段階の訓練完了後に認識精度の低いニューラルネットワークに対して次段階の訓練を行わず、このようにして、ニューラルネットワーク捜索にかかる計算リソースを減少させ、且つ捜索時間を短縮することができる。
【０００８】
可能な別の実現形態では、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートして第２ニューラルネットワーク系列セットを得て、且つ前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークセットとする前に、前記方法は、前記捜索対象のニューラルネットワークライブラリに、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られるＲ個の進化後のニューラルネットワークを増加することをさらに含み、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートして第２ニューラルネットワーク系列セットを得て、且つ前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークセットとすることは、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第３所定値の周期数で訓練されたニューラルネットワークと前記Ｒ個の進化後のニューラルネットワークとをソートして第３ニューラルネットワーク系列セットを得て、且つ前記第３ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを前記第２訓練対象ニューラルネットワークセットとすることを含む。
【０００９】
可能な該実現形態では、捜索対象のニューラルネットワークライブラリにおいて進化後のニューラルネットワークを増加することにより、捜索効果を向上させ、即ち捜索によって性能の良いニューラルネットワークが取得される確率を向上させる。
【００１０】
可能なさらなる実現形態では、前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークセットに対して第１段階訓練を行う後、前記方法は、前記捜索対象のニューラルネットワークライブラリに、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られる、前記Ｒに等しいＳ個の進化後のニューラルネットワークを増加することと、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第３所定値の周期数で訓練されたニューラルネットワークと前記Ｓ個の進化後のニューラルネットワークとをソートして第４ニューラルネットワーク系列セットを得て、且つ前記第４ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第３訓練対象ニューラルネットワークセットとし、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第１所定値の周期数で訓練されたニューラルネットワークをソートして第５ニューラルネットワーク系列セットを得て、且つ前記第５ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第４訓練対象ニューラルネットワークセットとすることと、前記訓練データセットを用いて前記第３訓練対象ニューラルネットワークセットに対して前記第２段階訓練を行い、及び前記訓練データセットを用いて前記第４訓練対象ニューラルネットワークセットに対して前記第１段階訓練を行うことと、を含む反復をＸ回実行することをさらに含み、前記方法は、前記捜索対象のニューラルネットワークライブラリ内の、前記Ｘよりも小さいＴ回の反復で訓練されなかったニューラルネットワークを除去することをさらに含む。
【００１１】
可能な該実現形態では、捜索の反復過程でＴ回の反復で訓練されなかったニューラルネットワークを捜索対象のニューラルネットワークライブラリから除去することにより、ニューラルネットワーク捜索にかかる計算リソースをさらに減少させ、捜索速度を向上させる。
【００１２】
可能なさらなる実現形態では、前記捜索対象のニューラルネットワークライブラリにＲ個の進化後のニューラルネットワークを増加することは、前記捜索対象のニューラルネットワークライブラリ内のＲ個のニューラルネットワークを複製し、Ｒ個の複製後のニューラルネットワークを得ることと、前記Ｒ個の複製後のニューラルネットワークの構造を修正することにより、前記Ｒ個の複製後のニューラルネットワークを進化させ、Ｒ個の訓練対象ニューラルネットワークを得ることと、前記訓練データセットを用いて前記Ｒ個の訓練対象ニューラルネットワークに対して第３所定値の周期数で訓練する第３段階訓練を行い、前記Ｒ個の進化後のニューラルネットワークを得ることと、前記Ｒ個の進化後のニューラルネットワークを前記捜索対象のニューラルネットワークライブラリに追加することとを含む。
【００１３】
可能な該実現形態では、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークの構造を調整することにより、進化後のニューラルネットワークを得て、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークの構造を豊かにし、捜索効果を向上させることができる。
【００１４】
可能なさらなる実現形態では、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは、画像分類に用いられる。
【００１５】
第１方面及び前述の実現可能な形態のいずれかと併せて、該実現可能な形態では、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークはいずれも画像分類に用いることができる。
【００１６】
可能なさらなる実現形態では、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは、標準層、削減層及び分類層を含み、前記標準層、前記削減層及び前記分類層は順次直列に接続され、前記標準層は、前記標準層に入力された画像から特徴を抽出するために用いられ、前記削減層は、前記削減層に入力された画像から特徴を抽出し、且つ前記削減層に入力された画像のサイズを縮小するために用いられ、前記分類層は、前記削減層から出力された特徴に基づいて、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークに入力された画像の分類結果を得るために用いられ、前記標準層と前記削減層はいずれも複数のニューロンを含み、前記複数のニューロンのそれぞれは順次直列に接続され、且つｉ＋１番目のニューロンの入力はｉ番目のニューロンの出力とｉ−１番目のニューロンの出力を含み、前記ｉ＋１番目のニューロン、前記ｉ番目のニューロン及び前記ｉ−１番目のニューロンは前記複数のニューロンに属し、前記ｉは１よりも大きい正の整数であり、前記ニューロンはｊ個のノードを含み、ｋ番目のノードの入力は前記ｋ番目のノードより前のｋ−１個のノードのうちの任意の２つのノードの出力であり、前記ｋは２よりも大きい正の整数であり、且つ前記ｋは前記ｊ以下であり、前記ニューロンの出力はｊ番目のノードの出力とｊ−１番目のノードの出力が融合した結果であり、前記ノードは少なくとも２つの操作を含み、前記操作の入力は前記ノードの入力であり、前記操作は畳み込み、プーリング、マッピングのいずれか一つである。
【００１７】
可能な該実現形態では、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークの構造を豊かにするように、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークの構造を提供し、当該構造に基づいて複数の異なる構造のニューラルネットワークを得ることができる。
【００１８】
可能なさらなる実現形態では、前記Ｒ個の複製後のニューラルネットワークの構造を修正することは、前記Ｒ個の複製後のニューラルネットワークのニューロンの入力を変換することによって前記Ｒ個の複製後のニューラルネットワークの構造を修正すること、及び／又は前記Ｒ個の複製後のニューラルネットワークのニューロンのノード内の操作を変換することによって前記Ｒ個の複製後のニューラルネットワークの構造を修正することを含む。
【００１９】
可能な該実現形態では、複製後のニューラルネットワークを進化させることを実現するように、複製後のニューラルネットワークのニューロンの入力を変換すること及び／又は複製後のニューラルネットワークのニューロンのノード内の操作を変換することにより複製後のニューラルネットワークの構造を修正する。
【００２０】
可能なさらなる実現形態では、前記捜索対象のニューラルネットワークライブラリを取得することは、捜索対象ニューラルネットワークを取得することと、前記訓練データセットを用いて前記捜索対象ニューラルネットワークに対して前記第３段階訓練を行い、第３段階訓練後の捜索対象ニューラルネットワークを含む前記捜索対象のニューラルネットワークライブラリを得ることとを含む。
【００２１】
該実現可能な形態では、捜索対象ニューラルネットワークに対して第３段階訓練を行うことにより、捜索対象のニューラルネットワークライブラリを得て、その後の捜索対象のニューラルネットワークライブラリに基づくニューラルネットワーク捜索を容易にする。
【００２２】
可能なさらなる実現形態では、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークを目標ニューラルネットワークとすることは、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークをソートして第５ニューラルネットワーク系列セットを得て、且つ前記第５ニューラルネットワーク系列セットのうちの上位Ｙ個のニューラルネットワークを前記目標ニューラルネットワークとすることを含む。
【００２３】
可能なさらなる実現形態では、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークのうちの、認識精度の最も高いＹ個のニューラルネットワークを目標ニューラルネットワークとし、捜索効果をさらに向上させる。
【００２４】
第二方面は、捜索対象のニューラルネットワークライブラリと訓練データセットを取得するための取得ユニットと、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートして第１ニューラルネットワーク系列セットを得て、且つ前記第１ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークセットとするためのソートユニットと、前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークセットに対して第２所定値の周期数で訓練する第１段階訓練を行うための訓練ユニットと、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークを目標ニューラルネットワークとするための決定ユニットと、を含むニューラルネットワーク捜索装置を提供する。
【００２５】
可能な一実現形態では、前記ソートユニットは、さらに、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートして第１ニューラルネットワーク系列セットを得て、且つ前記第１ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークセットとする前に、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートして第２ニューラルネットワーク系列セットを得て、且つ前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークセットとするために用いられ、前記訓練ユニットは、さらに、前記訓練データセットを用いて前記第２訓練対象ニューラルネットワークセットに対して前記第３所定値との和が前記第１所定値に等しい周期数で訓練する第２段階訓練を行うために用いられる。
【００２６】
可能な別の実現形態では、前記ニューラルネットワーク捜索装置は、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートして第２ニューラルネットワーク系列セットを得て、且つ前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークセットとする前に、前記捜索対象のニューラルネットワークライブラリに、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られるＲ個の進化後のニューラルネットワークを増加するためのニューラルネットワーク進化ユニットをさらに含み、前記ソートユニットは、具体的には、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第３所定値の周期数で訓練されたニューラルネットワークと前記Ｒ個の進化後のニューラルネットワークとをソートして第２ニューラルネットワーク系列セットを得て、且つ前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを前記第２訓練対象ニューラルネットワークセットとするために用いられる。
【００２７】
可能なさらなる実現形態では、前記ニューラルネットワーク捜索装置は、前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークセットに対して第１段階訓練を行う後、前記捜索対象のニューラルネットワークライブラリに、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られる、前記Ｒに等しいＳ個の進化後のニューラルネットワークを増加することと、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第３所定値の周期数で訓練されたニューラルネットワークと前記Ｓ個の進化後のニューラルネットワークとをソートして第４ニューラルネットワーク系列セットを得て、且つ前記第４ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第３訓練対象ニューラルネットワークセットとし、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第１所定値の周期数で訓練されたニューラルネットワークをソートして第５ニューラルネットワーク系列セットを得て、且つ前記第５ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第４訓練対象ニューラルネットワークセットとすることと、前記訓練データセットを用いて前記第３訓練対象ニューラルネットワークセットに対して前記第２段階訓練を行い、及び前記訓練データセットを用いて前記第４訓練対象ニューラルネットワークセットに対して前記第１段階訓練を行うことと、を含む反復をＸ回実行するための実行ユニットと、前記捜索対象のニューラルネットワークライブラリ内の、前記Ｘよりも小さいＴ回の反復で訓練されなかったニューラルネットワークを除去するための除去ユニットと、をさらに含む。
【００２８】
可能なさらなる実現形態では、前記ニューラルネットワーク進化ユニットは、具体的には、前記捜索対象のニューラルネットワークライブラリ内のＲ個のニューラルネットワークを複製し、Ｒ個の複製後のニューラルネットワークを得て、及び、前記Ｒ個の複製後のニューラルネットワークの構造を修正することにより、前記Ｒ個の複製後のニューラルネットワークを進化させ、Ｒ個の訓練対象ニューラルネットワークを得て、及び、前記訓練データセットを用いて前記Ｒ個の訓練対象ニューラルネットワークに対して第３所定値の周期数で訓練する第３段階訓練を行い、前記Ｒ個の進化後のニューラルネットワークを得て、及び、前記Ｒ個の進化後のニューラルネットワークを前記捜索対象のニューラルネットワークライブラリに追加するために用いられる。
【００２９】
可能なさらなる実現形態では、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは、画像分類に用いられる。
【００３０】
可能なさらなる実現形態では、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは、標準層、削減層及び分類層を含み、前記標準層、前記削減層及び前記分類層は順次直列に接続され、前記標準層は、前記標準層に入力された画像から特徴を抽出するために用いられ、前記削減層は、前記削減層に入力された画像から特徴を抽出し、且つ前記削減層に入力された画像のサイズを縮小するために用いられ、前記分類層は、前記削減層から出力された特徴に基づいて、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークに入力された画像の分類結果を得るために用いられ、前記標準層と前記削減層はいずれも複数のニューロンを含み、前記複数のニューロンのそれぞれは順次直列に接続され、且つｉ＋１番目のニューロンの入力はｉ番目のニューロンの出力とｉ−１番目のニューロンの出力を含み、前記ｉ＋１番目のニューロン、前記ｉ番目のニューロン及び前記ｉ−１番目のニューロンは前記複数のニューロンに属し、前記ｉは１よりも大きい正の整数であり、前記ニューロンはｊ個のノードを含み、ｋ番目のノードの入力は前記ｋ番目のノードより前のｋ−１個のノードのうちの任意の２つのノードの出力であり、前記ｋは２よりも大きい正の整数であり、且つ前記ｋは前記ｊ以下であり、前記ニューロンの出力はｊ番目のノードの出力とｊ−１番目のノードの出力が融合した結果であり、前記ノードは少なくとも２つの操作を含み、前記操作の入力は前記ノードの入力であり、前記操作は畳み込み、プーリング、マッピングのいずれか一つである。
【００３１】
可能なさらなる実現形態では、前記ニューラルネットワーク進化ユニットは、具体的には、前記Ｒ個の複製後のニューラルネットワークのニューロンの入力を変換することによって前記Ｒ個の複製後のニューラルネットワークの構造を修正し、及び／又は前記Ｒ個の複製後のニューラルネットワークのニューロンのノード内の操作を変換することによって前記Ｒ個の複製後のニューラルネットワークの構造を修正するために用いられる。
【００３２】
可能なさらなる実現形態では、前記取得ユニットは、具体的には、捜索対象ニューラルネットワークを取得し、前記訓練データセットを用いて前記捜索対象ニューラルネットワークに対して前記第３段階訓練を行い、第３段階訓練後の捜索対象ニューラルネットワークを含む前記捜索対象のニューラルネットワークライブラリを得るために用いられる。
【００３３】
可能なさらなる実現形態では、前記決定ユニットは、具体的には、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークをソートして第５ニューラルネットワーク系列セットを得て、且つ前記第５ニューラルネットワーク系列セットのうちの上位Ｙ個のニューラルネットワークを前記目標ニューラルネットワークとするために用いられる。
【００３４】
第三方面は、上記のように第一方面及びそのいずれの１つ可能な実現形態を実行するためのプロセッサを提供する。
【００３５】
第四方面は、プロセッサと、送信装置と、入力装置と、出力装置と、コンピュータ命令を含むコンピュータプログラムコードを記憶するためのメモリとを含み、前記プロセッサが前記コンピュータ命令を実行すると、上記のように第一方面及びそのいずれの１つ可能な実現形態を実行する電子機器を提供する。
【００３６】
第五方面は、プログラム命令を含むコンピュータプログラムが記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラムが電子機器のプロセッサにより実行されるとき、前記プロセッサに上記のように第一方面及びそのいずれの１つ可能な実現形態を実行させるコンピュータ読取可能記憶媒体を提供する。
【００３７】
第六方面は、コンピュータ読取可能なコードを含むコンピュータプログラムであって、前記コンピュータ読取可能なコードは電子機器内で実行されると、前記電子機器内のプロセッサに上記のように第一方面及びそのいずれの１つ可能な実現形態を実行させるコンピュータプログラムを提供する。
【００３８】
なお、上述した概略的な説明及び次の詳細な説明は、例示的及び解釈的なものに過ぎず、本開示を限定するものではない。
【図面の簡単な説明】
【００３９】
以下、本開示の実施例又は背景技術における技術方案をより明確に説明するために、本開示の実施例又は背景技術における必要とする図面を説明する。
【００４０】
ここで、本明細書の一部として組み込まれる図面は、本開示の実施例に適し、明細書と共に本開示の技術方案の説明に用いられる。
【００４１】
【図１】図１は、本開示の実施例によるニューラルネットワーク捜索方法のフローチャートである。
【図２】図２は、本開示の実施例による別のニューラルネットワーク捜索方法のフローチャートである。
【図３Ａ】図３Ａは、本開示の実施例による捜索空間におけるニューラルネットワークの全体構造の模式図である。
【図３Ｂ】図３Ｂは、本開示の実施例によるニューラルネットワーク層内のニューロン間の接続関係の模式図である。
【図３Ｃ】図３Ｃは、本開示の実施例による神経層内のニューロンの構造の模式図である。
【図３Ｄ】図３Ｄは、本開示の実施例によるニューロン内のノードの構造の模式図である。
【図４Ａ】図４Ａは、本開示の実施例によるニューラルネットワークの構造調整の模式図である。
【図４Ｂ】図４Ｂは、本開示の実施例による別のニューラルネットワークの構造調整の模式図である。
【図５】図５は、本開示の実施例による別のニューラルネットワーク捜索方法のフローチャートである。
【図６】図６は、本開示の実施例によるニューラルネットワーク捜索装置の構造の模式図である。
【図７】図７は、本開示の実施例によるニューラルネットワーク捜索装置のハードウェア構造の模式図である。
【発明を実施するための形態】
【００４２】
本開示の方案を当業者によりよく理解させるために、以下、本開示の実施例における技術方案を、本開示の実施例における図面と併せて、明確に、完全に説明するが、明らかに、説明された実施例は、本開示の一部の実施例にすぎず、全ての実施例ではない。本開示の実施例に基づいて、当業者が創造的な労働を行うことなく得られる他の全ての実施例は、本開示の保護範囲内である。
【００４３】
本開示の明細書、特許請求の範囲、及び上述の図面における用語「第１」、「第２」などは、異なる対象を区別するためのものであり、特定の順序を説明するためのものではない。なお、「含む」及び「有する」という用語並びにそれらの任意の変形は、排他的でない包含をカバーすることを意図している。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は設備は、挙げられたステップ又はユニットに限定されず、場合によって記載されていないステップ又はユニットをさらに含み、あるいは、場合によってこれらのプロセス、方法、製品又は設備に固有の他のステップ又はユニットをさらに含む。
【００４４】
本明細書において「実施例」の意味は、実施例に関連して説明された特定の特徴、構造又は特性が、本開示の少なくとも１つの実施例に含まれ得る。本明細書の様々な場所に当該語句が現れることは、必ずしも全てが同じ実施例を表すことではなく、他の実施例を除いた別個の又は代替の実施例を表すことではない。当業者は、本明細書に記載された実施例を他の実施例と組み合わせることができることを明らか且つ暗黙的に理解するであろう。
【００４５】
画像処理（例えば、画像分類）する際には、異なるニューラルネットワークの構造を訓練して得られるニューラルネットワークの正確率が異なるため、画像処理する前に、画像処理のために性能の良いニューラルネットワークの構造を決定する必要がある。ここで、ニューラルネットワークの構造の性能が良いほど、当該ニューラルネットワークの構造を訓練して得られるニューラルネットワークを用いた画像処理の正確率が高いことを特徴づける。
【００４６】
ニューラルネットワーク捜索とは、捜索対象のニューラルネットワークライブラリ内の、異なる構造を有するニューラルネットワークに対して大量の訓練を行うことで、ニューラルネットワークライブラリ内の、性能の良いニューラルネットワークの構造を決定でき、ひいてはニューラルネットワークライブラリから目標ニューラルネットワークを得て、その後、目標ニューラルネットワークを画像処理に用いることができる。
【００４７】
上記の「性能の良い」及び以下に複数回現れる「性能の良い」とは、複数の異なるニューラルネットワークの構造のうち最も性能の良いいくつかを指し、ここでの「いくつか」とは具体的にはいくつかであるかは、実際の応用に応じて調整可能である。例えば、１０個の異なるニューラルネットワークの構造のうち最も性能の良い４個を性能の良いニューラルネットワークの構造と呼び、一方、これら１０個の異なるニューラルネットワークの構造のうち最も性能の良い４個のニューラルネットワークの構造をそれぞれａ、ｂ、ｃ、ｄとすれば、ａ、ｂ、ｃ、ｄは性能の良いニューラルネットワークの構造となる。
【００４８】
以下では「性能の悪い」という言葉が複数回現れ、「性能の悪い」とは複数の異なるニューラルネットワークの構造のうち最も性能の悪いいくつかを指し、ここでの「いくつか」とは具体的にはいくつかであるかは、実際の応用に応じて調整可能である。例えば、１０個の異なるニューラルネットワークの構造のうち最も性能の悪い３個を性能の悪いニューラルネットワークの構造と呼び、一方、これら１０個の異なるニューラルネットワークの構造のうち最も性能の悪い３個のニューラルネットワークの構造をそれぞれｅ、ｆ、ｇとすれば、ｅ、ｆ、ｇは性能の悪いニューラルネットワークの構造となる。
【００４９】
以下、本開示の実施例における図面を参照しながら、本開示の実施例について説明する。
【００５０】
図１を参照する。図１は、本開示の実施例（１）によるニューラルネットワーク捜索方法のフローチャートである。
【００５１】
１０１、捜索対象のニューラルネットワークライブラリと訓練データセットを取得する。
【００５２】
本開示の実施例では、捜索対象のニューラルネットワークライブラリは、複数の捜索対象ニューラルネットワークを含み、ここで、捜索対象ニューラルネットワークは本開示の実施例を実行する端末（例えば、コンピュータ）に記憶されたものであってもよいし、捜索対象ニューラルネットワークは端末に接続された記憶媒体から取得されたものであってもよいし、捜索対象ニューラルネットワークはランダムに生成することにより取得されたものであってもよいし、捜索対象ニューラルネットワークは人工設計により取得されたものであってもよい。本開示は、捜索対象ニューラルネットワークの取得方式に限定されるものではない。
【００５３】
本開示の実施例では、訓練データセットは、画像セットであってもよく、当該画像セットは、ニューラルネットワークを訓練するために用いて画像分類する画像セットを選択可能であっても良い。訓練データセットは、端末（例えば、コンピュータ）に記憶されたものであってもよいし、端末に接続された記憶媒体から取得されたものであってもよいし、端末がインターネットから取得したものであってもよい。
【００５４】
１０２、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートし、上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークとする。
【００５５】
本開示の実施例では、認識精度は、訓練データセットの分類結果の正確率であってもよい。第１所定値は正の整数であり、第１所定値は４０を選択可能である。Ｍは、任意の正の整数であってもよく、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークの数が決定されるので、Ｍは、予め設定された比率によって決定されてもよく、例えば、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークの数は１００個であり、予め設定された比率は５０％であり、即ち精度ランキングの上位５０％のニューラルネットワークを第１訓練対象ニューラルネットワークとし、つまりソートされた上位５０個のニューラルネットワークを第１訓練対象ニューラルネットワークとすることを理解する必要がある。
【００５６】
１０３、前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークに対して第２所定値の周期数で訓練する第１段階訓練を行う。
【００５７】
本開示の実施例では、第１段階訓練において第２所定値の周期数で訓練してもよく、第２所定値は２０を選択可能である。第１訓練対象ニューラルネットワークに対して第１段階訓練を行うことにより、第１訓練対象ニューラルネットワークの訓練データセットに対する認識正確率をさらに向上させることができ、同時に第１訓練対象ニューラルネットワークのネットワーク構造の性能をよりリアルに反応させることができる。
【００５８】
ニューラルネットワークライブラリからニューラルネットワークを捜索する際にニューラルネットワークを訓練することでニューラルネットワークの構造の性能を評価する必要があり、最終的に評価結果により性能の良いニューラルネットワークを選択することができるとともに、訓練の回数が多ければ多いほど、ニューラルネットワークの性能はより正確に評価される。捜索対象のニューラルネットワークライブラリ内のニューラルネットワークの数が多いため、捜索対象のニューラルネットワークライブラリ内の各ニューラルネットワークに対して大量の訓練を行うことによりニューラルネットワークの構造性能を評価すれば、膨大な計算リソースをかかるとともに、大量の時間もかかる。
【００５９】
したがって、本開示の実施例は、「性能の悪いニューラルネットワークにかかる計算リソースと捜索時間を減少させる」というポリシーを用いて捜索する。当該策略は、１０２により捜索対象のニューラルネットワークライブラリから精度の高いニューラルネットワーク（即ち性能の良いニューラルネットワーク）を決定し、１０３により性能の良いニューラルネットワークに対して第１段階訓練を行い、性能の悪いニューラルネットワークにかかる計算リソースと訓練時間を減少させことを含むことができる。このようにして、捜索対象のニューラルネットワークライブラリからのニューラルネットワーク捜索にかかる計算リソースを減少させるとともに、捜索時間を短縮することができる。
【００６０】
１０４、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークを目標ニューラルネットワークとする。
【００６１】
上述したように、第１訓練対象ニューラルネットワークが第１所定値の周期数で訓練されたものであり、第１段階訓練において第２所定値の周期数で訓練するので、第１段階訓練後のニューラルネットワークは第１所定値と第２所定値の和である周期数で訓練されたものである。
【００６２】
本開示の実施例では、目標ニューラルネットワークは、捜索によって得られるニューラルネットワークであり、その後、目標ニューラルネットワークと同じ構造を有するニューラルネットワークを訓練することができ、訓練されたニューラルネットワークを用いて画像処理（例えば、画像分類）を行う。
【００６３】
第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークが複数存在するかもしれない、且つこれらのニューラルネットワークのうち異なるニューラルネットワークの性能が異なるため、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークから性能ランキングが最も高いいくつかのニューラルネットワークを目標ニューラルネットワークとして選択することができ、例えば、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークのうち性能ランキングの上位１０のニューラルネットワークを目標ニューラルネットワークとする。
【００６４】
本実施例は、第１訓練対象ニューラルネットワークに対して第１段階訓練を行うことにより、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークに対する段階的訓練を実現し、即ち前段階の訓練後に性能の良いニューラルネットワークに対して次段階の訓練を行い、このようにして、捜索過程にかかる計算リソースと時間を減少させることができる。
【００６５】
図２を参照する。図２は、本開示の実施例による別のニューラルネットワーク捜索方法のフローチャートである。
【００６６】
２０１、捜索対象ニューラルネットワークと訓練データセットを取得する。
【００６７】
捜索対象ニューラルネットワークは、本開示の実施例を実行する端末（例えば、コンピュータ）に記憶されたものであってもよいし、捜索対象ニューラルネットワークは、端末に接続された記憶媒体から取得されたものであってもよいし、捜索対象ニューラルネットワークは、ランダムに生成することにより取得されたものであってもよいし、捜索対象ニューラルネットワークは、人工設計により取得されたものであってもよい。本開示は、捜索対象ニューラルネットワークの取得方式に限定されるものではない。
【００６８】
可能な一実施形態では、ニューラルネットワーク捜索空間に基づくネットワークアーキテクチャは、捜索対象ニューラルネットワークをランダムに生成することができ、捜索対象ニューラルネットワークは、画像分類のためのニューラルネットワークを選択可能である。捜索空間は図３を参照することができる。ここで、図３Ａは、捜索空間におけるニューラルネットワークの全体構造の模式図であり、図３Ａに示すように、当該捜索空間におけるニューラルネットワークはいずれも３つの標準層（Ｎｏｒｍａｌ  Ｃｅｌｌ）、２つの削減層（Ｒｅｄｕｃｔｉｏｎ  Ｃｅｌｌ）及び１つの分類層（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）を含み、これら６つのニューラルネットワーク層は順次直列に接続されており、即ち前の層の出力は後の層の入力であり、ここで、入力画像を例にすると、標準層の処理を経て、画像のサイズは変わらないが、削減層の処理を経て、画像のサイズは元の半分に縮小される。例えば、入力された画像のサイズは３２＊３２であり、第１層標準層の処理を経た後、出力されたものは３２＊３２サイズの画像であり、且つ第２層削減層の入力として、第２層入力層の処理を経た後、出力されたものは１６＊１６サイズの画像である。
【００６９】
図３Ｂは、ニューラルネットワーク層内のニューロン（ｃｅｌｌ）間の接続関係の模式図であり、図３Ｂに示すように、各ニューラルネットワーク層におけるｉ＋１番目のニューロンの入力は、いずれもｉ番目のニューロンとｉ−１番目のニューロンの出力であり、ここで、ｉは２以上の正の整数である。
【００７０】
図３Ｃは、図３Ｂのニューロンの構造の模式図であり、図３Ｃに示すように、各ニューロンは５つのノードを含み、各ノードの内部に対応する操作を含み、ここで、ノード０及びノード１は入力ノードであり、ノード０はｉ−１番目のニューロンの出力である。ノード１はｉ番目のニューロンの出力であり、ノード２の入力はノード０及びノード１の出力であり、ノード３の入力はノード０、ノード１、ノード２のいずれか２つのノードの出力であってもよく、つまり、ノード３の入力として、ノード０の出力、ノード１の出力、ノード２の出力から２つの出力をランダムに選択する。ノード４の入力はノード０、ノード１、ノード２、ノード３のいずれか２つのノードの出力であってもよく、つまり、ノード４の入力として、ノード０の出力、ノード１の出力、ノード２の出力及びノード３の出力から２つの出力をランダムに選択する。最後にノード２、ノード３及びノード４の出力を融合（Ｃｏｎｃａｔ）し、ニューロンの出力を得る。
【００７１】
図３Ｄは、ニューロン内のノードの構造の模式図であり、図３Ｄに示すように、各ノードの２つの入力はそれぞれ操作１及び操作２に入力され、ここで、操作１及び操作２は、畳み込み、プーリング、マッピングのいずれであってもよく、つまり、各ノードにおける操作１及び操作２は、畳み込み、プーリング及びマッピングから１つをランダムに選択することができ、最後に操作１及び操作２の出力を加算し、ノードの出力を得る。
【００７２】
このことから、各ニューロン内のノード間の接続関係をランダムに決定すること、及び各ノード内の操作をランダムに生成することで、異なるネットワーク構造を有する複数の捜索対象ニューラルネットワークをランダムに生成できることが分かる。
【００７３】
なお、上述した可能な実現形態における捜索空間は一例であって、本開示の実施例を限定するものではないと考えられる。つまり、本開示の実施例は、他の捜索空間に基づいて捜索対象ニューラルネットワークをランダムに生成することもできる。
【００７４】
訓練データセットの取得方式は、１０１を参照する。ここでは説明を省略する。
【００７５】
２０２、前記訓練データセットを用いて前記捜索対象ニューラルネットワークに対して第３段階訓練を行い、第３段階訓練後の捜索対象ニューラルネットワークを含む前記捜索対象のニューラルネットワークライブラリを得る。
【００７６】
捜索対象ニューラルネットワークが得られた後、訓練データセットを用いて前記捜索対象ニューラルネットワークに対して第３段階訓練を行い、第３段階訓練後の捜索対象ニューラルネットワークを捜索対象のニューラルネットワークライブラリに増加することができる。ここで、第３段階訓練において第３所定値の周期数で訓練し、第３所定値は正の整数であり、第３所定値は２０を選択可能である。
【００７７】
捜索によって性能の良いニューラルネットワークの構造をより多く得るために、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークから所定数のニューラルネットワークをランダムに選択し、選択されたニューラルネットワークを進化させ、進化後のニューラルネットワークを捜索対象のニューラルネットワークライブラリに追加する。ここで、訓練データセットに対する捜索対象ニューラルネットワークの認識精度が高ければ高いほど、当該ニューラルネットワークの性能が良く、即ち当該ニューラルネットワークの構造が良い。このようにして、進化性能の良いニューラルネットワークは、進化性能の悪いニューラルネットワークと比べて、性能の良いニューラルネットワークが得られる確率が高い。したがって、訓練データセットに対する捜索対象ニューラルネットワークの認識精度が高ければ高いほど、当該ニューラルネットワークが選択される確率が高くなる。ここで、進化ニューラルネットワークは、ニューラルネットワークの構造を調整すること、ニューラルネットワークのパラメータを変更すること、及びその組み合わせのいずれか１つによって実現できる。
【００７８】
可能な一実施形態では、捜索対象のニューラルネットワークライブラリにＲ個の進化後のニューラルネットワークを増加することは、捜索対象のニューラルネットワークライブラリ内のＲ個のニューラルネットワークを複製することと、Ｒ個の複製後のニューラルネットワークの構造を修正することにより、Ｒ個の複製後のニューラルネットワークを進化させ、Ｒ個の訓練対象ニューラルネットワークを得ることと、訓練データセットを用いてＲ個の訓練対象ニューラルネットワークに対して第３所定値の周期数で訓練する第３段階訓練を行い、Ｒ個の進化後のニューラルネットワークを得ることと、及びＲ個の進化後のニューラルネットワークを捜索対象のニューラルネットワークライブラリに追加することとによって実現できる。
【００７９】
例えば、捜索対象のニューラルネットワークライブラリから３つのニューラルネットワーク（それぞれＡ、Ｂ、Ｃ）をランダムに選択し、且つこれら３つのニューラルネットワークの構造を調整することにより、３つの進化後のニューラルネットワーク（それぞれＤ、Ｅ、Ｆ）を得るとともに、当該３つの進化後のニューラルネットワークを捜索対象のニューラルネットワークライブラリに追加する。このとき、捜索対象のニューラルネットワークライブラリにはＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆの６つのニューラルネットワークが含まれていることを理解する必要がある。
【００８０】
上述したＲ個の複製後のニューラルネットワークの構造を修正することは、Ｒ個の複製後のニューラルネットワークのニューロンの入力を変換することによって実現できる。また、上述したＲ個の複製後のニューラルネットワークの構造を修正することは、Ｒ個の複製後のニューラルネットワークのニューロンの操作を変換することによって実現できる。また、上述したＲ個の複製後のニューラルネットワークの構造を修正することは、Ｒ個の複製後のニューラルネットワークのニューロンとＲ個の複製後のニューラルネットワークのニューロンのノード内の操作の両方を変換することによって実現できる。
【００８１】
上で図４Ａを参照する。図４Ａは、ニューロン内のノードの入力を変換することによってニューラルネットワークの構造を調整する模式図である。図４Ａに示すように、ニューラルネットワークの構造を調整する前に、ノード４の入力はノード１及びノード２の出力であり、ノード４の入力をノード１及びノード３の出力に調整することで、ニューラルネットワークの構造を調整し、ひいてはニューラルネットワークを進化させることができる。
【００８２】
図４Ｂを参照する。図４Ｂは、ニューラルネットワークのニューロンのノード内の操作を変換することによってニューラルネットワークの構造を調整する模式図である。図４Ｂに示すように、ノード４は、操作１（畳み込み）と操作２（プーリング）とを含み、操作２を何も行わないようにすることで、ニューラルネットワークの構造を調整し、ひいてはニューラルネットワークを進化させることができる。
【００８３】
２０３、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートし、上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークとする。
【００８４】
ニューラルネットワークの性能をよりよく評価するためには、第３段階訓練（即ち、第３所定値の周期数での訓練）が完了している場合には、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークの訓練を継続する必要がある。ニューラルネットワーク捜索は、捜索対象のニューラルネットワークライブラリから性能の良いニューラルネットワークの構造を決定することを目的としているため、本開示の実施例は、第３段階訓練後に性能の良いニューラルネットワークに対して後続訓練を行う。このようにして、後続の捜索過程にかかる計算リソースを減少させ、捜索過程にかかる時間を短縮することができる。
【００８５】
上述したように、捜索対象のニューラルネットワークライブラリを取得した後、捜索対象のニューラルネットワークライブラリにＲ個の進化後のニューラルネットワークを増加することができるが、Ｒ個の進化後のニューラルネットワークは全て第３段階訓練を行ったものであり、つまりこれらＲ個の進化後のニューラルネットワークは第３所定値の周期数で訓練されたものである。なお、Ｒ個の進化後のニューラルネットワークを捜索対象のニューラルネットワークライブラリに追加する前に、捜索対象のニューラルネットワークライブラリに第３所定値の周期数で訓練されたニューラルネットワークが存在する。したがって、訓練データセットの認識精度の高い順に、捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワーク及びＲ個の進化後のニューラルネットワークをソートし、且つ上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークとする。
【００８６】
本開示の実施例では、Ｎは任意の正の整数であってもよいが、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークの数が決定されるので、Ｎは、予め設定された比率によって決定されてもよく、例えば、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークの数は１００個であり、予め設定された比率は５０％であり、即ち精度ランキングの上位５０％のニューラルネットワークを第２訓練対象ニューラルネットワークとし、つまりソートされた上位５０個のニューラルネットワークを第２訓練対象ニューラルネットワークとすることを理解する必要がある。
【００８７】
なお、以下では、Ｒ、Ｍ、Ｙなどの文字もあり、これらの文字はＮと同義であるため、説明を省略する。
【００８８】
２０４、前記訓練データセットを用いて前記第２訓練対象ニューラルネットワークに対して前記第３所定値との和が前記第１所定値に等しい周期数で訓練する第２段階訓練を行う。
【００８９】
上述したように、第２訓練対象ニューラルネットワークは第３所定値の周期数で訓練されたものであり、第２訓練対象ニューラルネットワークに対して第２段階訓練を行うことにより、第１所定値の周期数で訓練されたニューラルネットワークを得ることができ、つまり、第２段階訓練において第３所定値との和が第１所定値に等しい周期数で訓練する。例えば、第１所定値が４０であり、第３所定値が２０である場合、第２段階訓練において周期数の２０で訓練する。
【００９０】
ニューラルネットワークを訓練することはニューラルネットワークの構造が変わらなく、訓練データセットに対するニューラルネットワークの認識精度が向上する。したがって、訓練データセットを用いて第２訓練対象ニューラルネットワークに対して第２段階訓練を行って得られたニューラルネットワークの性能は、第２訓練対象ニューラルネットワークの構造の性能をより正確に反映することができ、捜索正確率の向上に寄与する。
【００９１】
２０５、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートし、上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークとする。
【００９２】
上述したように、ニューラルネットワークに対する訓練の周期数が多いほど、ニューラルネットワークの性能に対する評価が正確になり、ひいては捜索正確率も向上するため、本開示の実施例では、ニューラルネットワーク捜索の目標訓練周期数を第１所定値と第２所定値の和とし、即ち捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを最大で第１所定値と第２所定値の和である周期数で訓練し、且つ第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークを目標ニューラルネットワークとすることができる。
【００９３】
２０２〜２０４の処理を経て、捜索対象のニューラルネットワークライブラリ内の一部のニューラルネットワークが第１所定値の周期数で訓練されたため、第１所定値の周期数で訓練されたニューラルネットワークの訓練を継続する必要がある。「性能の悪いニューラルネットワークにかかる計算リソースと捜索時間を減少させる」というポリシーを継続的に用いて捜索し、訓練データセットに対する認識精度の高い順に、捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートし、且つ上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークとする。ＭはＮに等しいことを選択可能である。
【００９４】
２０６、前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークに対して第２所定値の周期数で訓練する第１段階訓練を行う。
【００９５】
本開示の実施例では、第１段階訓練において第２所定値の周期数で訓練する。訓練データセットを用いて第１訓練対象ニューラルネットワークに対して第１段階訓練を行うことにより、目標訓練周期数（即ち第１所定値と第２所定値の和）である周期数で訓練されたニューラルネットワークを得ることができる。
【００９６】
２０７、前記訓練データセットに対する認識精度の高い順に、前記第１段階訓練後のニューラルネットワークをソートし、上位Ｙ個のニューラルネットワークを前記目標ニューラルネットワークとする。
【００９７】
２０１〜２０６の処理を経て、捜索対象のニューラルネットワークライブラリ内の一部のニューラルネットワークは、既に目標訓練周期数である周期数で訓練された、つまり、当該一部のニューラルネットワークは既にニューラルネットワーク捜索における訓練過程が完了する。
【００９８】
明らかに、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークが複数存在するかもしれない、且つこれらのニューラルネットワークのうち異なるニューラルネットワークの性能が異なるため、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークから性能ランキングが最も良いいくつかのニューラルネットワークを目標ニューラルネットワークとして選択することができ、即ち訓練データセットに対する認識精度の高い順に、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークをソートし、且つ上位Ｙ個のニューラルネットワークを目標ニューラルネットワークとする。
【００９９】
本実施例は、捜索対象ニューラルネットワークに対して第３段階訓練、第２段階訓練、第１段階訓練を順次行うことにより、捜索対象ニューラルネットワークから捜索して目標ニューラルネットワークを得ることを実現する。ここで、第３段階訓練後に性能の良いニューラルネットワークに対して第２段階訓練を行い、及び第２段階訓練後に性能の良いニューラルネットワークに対して第１段階訓練を行うことにより捜索過程にかかる計算リソースと時間を大幅に減少させることができる。同時に、捜索対象のニューラルネットワークライブラリに進化後のニューラルネットワークを増加することにより、捜索効果を向上させることができる。
【０１００】
実施例（２）は、捜索対象ニューラルネットワークをランダムに生成してから目標ニューラルネットワークを得るまでの実現の過程を述べており、即ちランダムに生成された捜索対象ニューラルネットワークに対して順次に第３段階訓練、第２段階訓練、第１段階訓練を行い、目標ニューラルネットワークを得る。実際に適用する際には、より多くの訓練によって捜索正確率をさらに向上させる必要がある場合が多い。
【０１０１】
図５を参照する。図５は、本開示の実施例（３）による別のニューラルネットワーク捜索の方法のフローチャートである。
【０１０２】
５０１、前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークに対して第１段階訓練を行った後、Ｘ回の反復を実行する。
【０１０３】
本開示の実施例では、１回の反復は、順次、捜索対象のニューラルネットワークライブラリに、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られるＲに等しいＳ個の進化後のニューラルネットワークを増加することと、訓練データセットに対する認識精度の高い順に、捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークとＳ個の進化後のニューラルネットワークをソートし、且つ上位Ｎ個のニューラルネットワークを第３訓練対象ニューラルネットワークとし、同時に訓練データセットに対する認識精度の高い順に、捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートし、且つ上位Ｍ個のニューラルネットワークを第４訓練対象ニューラルネットワークとすることと、訓練データセットを用いて第３訓練対象ニューラルネットワークに対して第２段階訓練を行い、及び訓練データセットを用いて第４訓練対象ニューラルネットワークに対して第１段階訓練を行うことと、を含む。
【０１０４】
上記Ｘ回の反復は実施例（２）の２０６の後に実行され、各反復にはいずれも第１段階訓練を含み、つまり、各反復には第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワーク、即ち目標訓練周期数である周期数で訓練されたニューラルネットワークが生成される。
【０１０５】
捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは目標訓練周期数である周期数で訓練されたら、当該ニューラルネットワークは訓練されなくなることを理解する必要がある。なお、各反復の過程において、捜索対象のニューラルネットワークライブラリにＳ個の進化後のニューラルネットワークが新たに増加され（Ｓ個の進化後のニューラルネットワークを得る実現の過程は、２０２ではＲ個の進化後のニューラルネットワークを得る実現の過程を参照する）、同時に、各反復において、第３訓練対象ニューラルネットワークに対して第２段階訓練が行われるため、各反復後に、ニューラルネットワークライブラリ内の、それぞれ第１所定値、第３所定値及び目標訓練周期数である周期数で訓練されたニューラルネットワークの数は変更される。
【０１０６】
例えば、２０２を１回目の反復とし、２０３〜２０４を２回目の反復とし、２０５〜２０６を３回目の反復とし、５０１が実行するＸ回の反復は順次４回目の反復、５回目の反復、…、（Ｘ＋３）回目の反復である。
【０１０７】
なお、２０５〜２０６は、３回目の反復において、性能の良い第１所定値の周期数で訓練されたニューラルネットワークに対して第１段階訓練を行うことのみを述べている。３回目の反復には、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートし、且つ上位Ｎ個のニューラルネットワークに対して第２段階訓練を行う過程をさらに含むことを選択可能である。
【０１０８】
ランダムに生成された捜索対象ニューラルネットワークの数が３２であり、第１所定値、第２所定値及び第３所定値がいずれも２０であり、Ｎ＝８であり、Ｍ＝４であり、Ｒ＝Ｓ＝１６であると仮定すれば、各反復の前に捜索対象のニューラルネットワークライブラリ内の、それぞれ周期数の２０、４０、６０で訓練されたニューラルネットワークの数は、下記表１を参照されたい。
【０１０９】
【表１】
2022502762.tif 000003
【０１１０】
表１に示すように、３回目の反復から、以後の各反復では、周期数の６０で訓練された新たなニューラルネットワーク（即ち、目標訓練周期数である周期数で訓練されたニューラルネットワーク）が生成される。
【０１１１】
上記の例のデータは単なる例示であって、本開示を限定するものではないことを理解する必要がある。
【０１１２】
５０２、前記捜索対象のニューラルネットワークライブラリ内の、前記Ｘよりも小さいＴ回の反復で訓練されなかったニューラルネットワークを除去する。
【０１１３】
本実施例は、捜索対象のニューラルネットワークライブラリから捜索して性能の良いニューラルネットワークの構造を得るためであり、つまり、本実施例が解決するのは最適化の問題である。他の最適化方法に存在する局所最適化の問題のように、実施例（１）、実施例（２）及び５０１の方法を実施して捜索対象のニューラルネットワークライブラリから性能の良いニューラルネットワークの構造を捜索する過程においても、局所最適化の問題がある。
【０１１４】
２０２で説明したように、訓練データセットに対する捜索対象ニューラルネットワークの認識精度が高いほど（以下、これらの捜索対象ニューラルネットワークを性能の良い捜索対象ニューラルネットワークと呼ぶ）、当該捜索対象ニューラルネットワークが進化のために選択される確率は大きくなる。各反復の後、捜索対象のニューラルネットワークライブラリ内の、性能の良い捜索対象ニューラルネットワークを選択して進化させ、したがって、各反復の後、目標ランキング内に属さない性能の良い捜索ニューラルネットワークは大きな確率で進化され、つまり、捜索対象のニューラルネットワークライブラリにおいて、最も性能の良い捜索対象ニューラルネットワーク（即ち大域最適化）以外に性能の良い捜索ニューラルネットワークを進化させて得られたニューラルネットワークの数は多くなる可能性があり、これにより、端末（ここでは本開示の実施例を実施する設備を指す）がその後の捜索過程で当該進化後のニューラルネットワークを捜索することに「打ち込む」可能性があり、ひいては捜索して性能の良いニューラルネットワークを得る確率を低下させ、捜索効果を低下させることを理解する必要がある。
【０１１５】
上記の局所的最適化の問題を解決するために、本実施例は、Ｔ回の反復で訓練されなかったニューラルネットワークを捜索対象のニューラルネットワークライブラリから除去することにより、上記の局所的最適化の問題が捜索効果に与える影響を低減させ、ひいては捜索効果を向上させる。ここで、Ｔは正の整数であり、ＴはＸ未満である。
【０１１６】
例えば、Ｔ＝１０と仮定し、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークＧが４回目の反復で訓練された後、次の１０回の反復で訓練されなかった（即ち５回目の反復から始まり、１４回目の反復が完了するまで、ニューラルネットワークＧは最後まで訓練されなかった）場合、１４回目の反復終了後に、ニューラルネットワークＧを捜索対象のニューラルネットワークライブラリから除去する。
【０１１７】
２０２を１回目の反復とし、２０３〜２０４を２回目の反復とし、２０５〜２０６を３回目の反復とすることを選択可能であれば、以下の例を参照することができる。Ｔ＝１０と仮定し、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークＨが１回目の反復で訓練された後、次の１０回の反復で訓練されなかった（即ち２回目の反復から始まり、１１回目の反復が完了するまで、ニューラルネットワークＨは最後まで訓練されなかった）場合、１１回目の反復終了後に、ニューラルネットワークＨを捜索対象のニューラルネットワークライブラリから除去する。
【０１１８】
可能な別の実現形態では、Ｔ＝２と仮定し、捜索対象のニューラルネットワークライブラリ内のニューラルネットワークＫが１回目の反復で訓練された後、次の２回の反復で訓練されなかった（即ち２回目の反復から始まり、３回目の反復が完了するまで、ニューラルネットワークＫは最後まで訓練されなかった）場合、３回目の反復終了後に、ニューラルネットワークＫを捜索対象のニューラルネットワークライブラリから除去する。
【０１１９】
本実施例は、捜索対象のニューラルネットワークライブラリ内の「長期間」訓練されなかったニューラルネットワーク（即ちＴ回の反復で訓練されなかったニューラルネットワーク）を捜索対象のニューラルネットワークライブラリから除去することにより、捜索中の局所的最適化の問題が捜索効果に与える悪影響を低減する。
【０１２０】
当業者であれば、具体的な実施形態に係る上記の方法では、各ステップの記載順序は、実行順序を厳密に限定して実施の過程を限定するものではなく、各ステップの実行順序がその機能と内部の論理によって具体的に決定されることが理解すべきである。
【０１２１】
以上、本開示の実施例の方法について詳細に説明した。以下に本開示の実施例の装置を提供する。
【０１２２】
図６は、本開示の実施例によるニューラルネットワーク捜索装置の構造を示す図であり、図６を参照すると、当該ニューラルネットワーク捜索装置６００は、捜索対象のニューラルネットワークライブラリと訓練データセットを取得するための取得ユニット１１と、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートし、且つ上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークとするためのソートユニット１２と、前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークに対して第２所定値の周期数で訓練する第１段階訓練を行うための訓練ユニット１３と、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークを目標ニューラルネットワークとするための決定ユニット１４と、ニューラルネットワーク進化ユニット１５と、実行ユニット１６と、除去ユニット１７とを含む。
【０１２３】
前記ソートユニット１２は、さらに、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートし、且つ上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークとする前に、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートし、且つ上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークとするために用いられ、前記訓練ユニットは、さらに、前記訓練データセットを用いて前記第２訓練対象ニューラルネットワークに対して前記第３所定値との和が前記第１所定値に等しい周期数で訓練する第２段階訓練を行うために用いられる。
【０１２４】
可能な一実施形態では、前記ニューラルネットワーク捜索装置６００は、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートし、且つ上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークとする前に、前記捜索対象のニューラルネットワークライブラリに、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られるＲ個の進化後のニューラルネットワークを増加するためのニューラルネットワーク進化ユニット１５をさらに含み、前記ソートユニット１２は、具体的には、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第３所定値の周期数で訓練されたニューラルネットワークと前記Ｒ個の進化後のニューラルネットワークとをソートし、且つ上位Ｎ個のニューラルネットワークを前記第２訓練対象ニューラルネットワークとするために用いられる。
【０１２５】
可能な別の実現形態では、前記ニューラルネットワーク捜索装置６００は、前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークに対して第１段階訓練を行う後、前記捜索対象のニューラルネットワークライブラリに、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られる、前記Ｒに等しいＳ個の進化後のニューラルネットワークを増加することと、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第３所定値の周期数で訓練されたニューラルネットワークと前記Ｓ個の進化後のニューラルネットワークとをソートし、且つ上位Ｎ個のニューラルネットワークを第３訓練対象ニューラルネットワークとし、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第１所定値の周期数で訓練されたニューラルネットワークをソートし、且つ上位Ｍ個のニューラルネットワークを第４訓練対象ニューラルネットワークとすることと、前記訓練データセットを用いて前記第３訓練対象ニューラルネットワークに対して前記第２段階訓練を行い、及び前記訓練データセットを用いて前記第４訓練対象ニューラルネットワークに対して前記第１段階訓練を行うことと、を含む反復をＸ回実行するための実行ユニット１６と、前記捜索対象のニューラルネットワークライブラリ内の、前記Ｘよりも小さいＴ回の反復で訓練されなかったニューラルネットワークを除去するための除去ユニット１７と、をさらに含む。
【０１２６】
可能なさらなる実現形態では、前記ニューラルネットワーク進化ユニット１５は、具体的には、前記捜索対象のニューラルネットワークライブラリ内のＲ個のニューラルネットワークを複製し、及び、Ｒ個の複製後のニューラルネットワークの構造を修正することにより、前記Ｒ個の複製後のニューラルネットワークを進化させ、Ｒ個の訓練対象ニューラルネットワークを得て、及び、前記訓練データセットを用いて前記Ｒ個の訓練対象ニューラルネットワークに対して第３所定値の周期数で訓練する第３段階訓練を行い、前記Ｒ個の進化後のニューラルネットワークを得て、及び、前記Ｒ個の進化後のニューラルネットワークを前記捜索対象のニューラルネットワークライブラリに追加するために用いられる。
【０１２７】
可能なさらなる実現形態では、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは、画像分類に用いられる。
【０１２８】
可能なさらなる実現形態では、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは、標準層、削減層及び分類層を含み、前記標準層、前記削減層及び前記分類層は順次直列に接続され、前記標準層は、前記標準層に入力された画像から特徴を抽出するために用いられ、前記削減層は、前記削減層に入力された画像から特徴を抽出し、且つ前記削減層に入力された画像のサイズを縮小するために用いられ、前記分類層は、前記削減層から出力された特徴に基づいて、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークに入力された画像の分類結果を得るために用いられ、前記標準層と前記削減層はいずれも複数のニューロンを含み、前記複数のニューロンのそれぞれは順次直列に接続され、且つｉ＋１番目のニューロンの入力はｉ番目のニューロンの出力とｉ−１番目のニューロンの出力を含み、前記ｉ＋１番目のニューロン、前記ｉ番目のニューロン及び前記ｉ−１番目のニューロンは前記複数のニューロンに属し、前記ｉは１よりも大きい正の整数であり、前記ニューロンはｊ個のノードを含み、ｋ番目のノードの入力は前記ｋ番目のノードより前のｋ−１個のノードのうちの任意の２つのノードの出力であり、前記ｋは２よりも大きい正の整数であり、且つ前記ｋは前記ｊ以下であり、前記ニューロンの出力はｊ番目のノードの出力とｊ−１番目のノードの出力が融合した結果であり、前記ノードは少なくとも２つの操作を含み、前記操作の入力は前記ノードの入力であり、前記操作は畳み込み、プーリング、マッピングのいずれか一つである。
【０１２９】
可能なさらなる実現形態では、前記ニューラルネットワーク進化ユニットは、具体的には、前記Ｒ個の複製後のニューラルネットワークのニューロンの入力を変換することによって前記Ｒ個の複製後のニューラルネットワークの構造を修正し、及び／又は前記Ｒ個の複製後のニューラルネットワークのニューロンのノード内の操作を変換することによって前記Ｒ個の複製後のニューラルネットワークの構造を修正するために用いられる。
【０１３０】
可能なさらなる実現形態では、前記取得ユニット１１は、具体的には、捜索対象ニューラルネットワークを取得し、前記訓練データセットを用いて前記捜索対象ニューラルネットワークに対して前記第３段階訓練を行い、第３段階訓練後の捜索対象ニューラルネットワークを含む前記捜索対象のニューラルネットワークライブラリを得るために用いられる。
【０１３１】
可能なさらなる実現形態では、前記決定ユニット１４は、具体的には、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークをソートし、且つ上位Ｙ個のニューラルネットワークを前記目標ニューラルネットワークとするために用いられる。
【０１３２】
いくつかの実施例では、本開示の実施例による装置が有する機能又は含まれるモジュールは上記方法の実施例に説明される方法を実行するために利用でき、その具体的な実現について、上記方法の実施例の説明を参照すればよく、簡潔化のために、ここで詳細な説明を省略する。
【０１３３】
本開示の実施例は、上記方法を実行するためのプロセッサをさらに提案する。
【０１３４】
本開示の実施例は、プロセッサと、送信装置と、入力装置と、出力装置と、コンピュータ命令を含むコンピュータプログラムコードを記憶するためのメモリとを含み、前記プロセッサが前記コンピュータ命令を実行すると、上記方法を実行する電子機器をさらに提案する。
【０１３５】
本開示の実施例は、前記プロセッサに上記方法を実行させるプログラム命令を含むコンピュータプログラムが記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラム命令は電子機器のプロセッサによって実行されると、上記の方法を実現させるコンピュータ可読記憶媒体がさらに提供される。当該コンピュータ読取可能記憶媒体は、不揮発性のコンピュータ読取可能記憶媒体又は揮発性のコンピュータ読取可能記憶媒体であってもよい。
【０１３６】
本開示の実施例は、コンピュータ読取可能なコードを含むコンピュータプログラムであって、前記コンピュータ読取可能なコードは電子機器内で実行されると、前記電子機器のプロセッサが上記方法を実行させるコンピュータプログラムをさらに提案する。
【０１３７】
図７は、本開示の実施例によるニューラルネットワーク捜索装置のハードウェア構造の模式図である。当該ニューラルネットワーク捜索装置７００は、プロセッサ２１と、メモリ２２と、入力装置２３と、出力装置２４とを含む。当該プロセッサ２１、メモリ２２、入力装置２３及び出力装置２４は、各種インタフェース、伝送線又はバスなどを含むコネクタを介して結合されており、本開示の実施例はこれについて限定しない。本開示の様々な実施例において、結合とは、直接接続又は他の設備を介した間接的な接続を含む特定の方法による相互接続を意味し、例えば、各種インタフェース、伝送線、バスなどを介して接続することができることを理解すべきである。
【０１３８】
プロセッサ２１は、１つ以上のグラフィックスプロセッサ（ｇｒａｐｈｉｃｓ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ、ＧＰＵ）であってもよい。プロセッサ２１が１つのＧＰＵである場合、当該ＧＰＵは、シングルコアＧＰＵであってもよいし、マルチコアＧＰＵであってもよい。プロセッサ２１は、複数のＧＰＵからなるプロセッサ群であり、複数のプロセッサの間は１つ以上のバスを介して相互に結合されることを選択可能であっても良い。当該プロセッサは、他のタイプのプロセッサなどを選択可能であっても良く、本開示の実施例は限定しない。
【０１３９】
メモリ２２は、コンピュータプログラム命令、及び本開示の方案を実行するためのプログラムコードを含む様々なコンピュータプログラムコードを記憶するために使用でき。メモリは、ランダムアクセスメモリ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ、ＲＡＭ）、リードオンリーメモリ（ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ、ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ｅｒａｓａｂｌｅ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ、ＥＰＲＯＭ）、又はコンパクトディスクリードオンリーメモリ（ｃｏｍｐａｃｔ  ｄｉｓｃ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ、ＣＤ−ＲＯＭ）を選択可能に含むが、これらに限定されず、当該メモリは関連命令及びデータのために使用される。
【０１４０】
入力装置２３は、データ及び／又は信号を入力するために用いられ、及び出力装置２４は、データ及び／又は信号を出力するために用いられる。入力装置２３及び出力装置２４は、独立したデバイスであってもよいし、一体のデバイスであってもよい。
【０１４１】
本開示の実施例では、メモリ２２は、関連する命令を記憶するために用いることができるだけでなく、関連画像を記憶するために用いることもでき、例えば当該メモリ２２は、入力装置２３により取得された捜索対象ニューラルネットワークを記憶するために用いることができ、又は当該メモリ２２は、さらにプロセッサ２１により捜索して得られた目標ニューラルネットワークなどを記憶するために用いることができ、本開示の実施例は、当該メモリに具体的に記憶されたデータを限定するものではないと理解することができる。
【０１４２】
図７は、ニューラルネットワーク捜索処理装置の簡略化された設計のみを示している。実際の応用では、ニューラルネットワーク捜索装置は、任意の数の入力／出力装置、プロセッサ、メモリなど必要な他の要素をそれぞれ含んでいてもよいが、これらに限定されなく、本開示の実施例を実現することができる全てのニューラルネットワーク捜索装置が本開示の範囲内にあると理解することができる。
【０１４３】
当業者であれば、本明細書に開示された実施例に関連して説明された様々な例示的なユニット及びアルゴリズムステップは、電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアとの組み合わせで実現され得ることを認識するであろう。これらの機能がハードウェアで実行されるかソフトウェアで実行されるかは、技術方案の特定の応用や設計制約条件に依存する。当業者は特定の応用ごとに異なる方法を用いて説明した機能を実現することができるが、この実現は本開示の範囲を超えているとは考えられない。
【０１４４】
当業者には明らかなように、説明の容易さと簡潔さのために、上述したシステム、装置及びユニットの具体的な動作過程は、前述した方法の実施例における対応の過程を参照することができ、ここでは説明を省略する。当業者には明らかなように、本開示の各実施例はそれぞれに重点を置いて説明し、説明の容易さと簡潔さのために、異なる実施例において、同一又は類似の部分は説明が省略されている場合があり、したがって、ある実施例において説明されない又は詳細に説明されない部分は他の実施例の記載を参照することができる。
【０１４５】
本開示によって提供されるいくつかの実施例において、開示されたシステム、装置及び方法は、他の方式によって実現されることが理解すべきである。例えば、上述した装置の実施例は例示的なものにすぎず、例えば、前記ユニットの分割は論理的な機能分割のみであり、実際に実現される場合には別の分割方式があってもよく、例えば、複数のユニット又はコンポーネントを集積したり、別のシステムに集積したり、一部の特徴を無視したり、実行しなかったりしてもよい。別の点として、表示又は議論された相互間の結合又は直接結合又は通信接続は、いくつかのインタフェース、装置又はユニットを介した間接的な結合又は通信接続であってもよく、電気的、機械的又は他の形態であってもよい。
【０１４６】
分離部材として説明した前記ユニットは物理的に分離されていてもよいし、物理的に分離されていなくてもよく、ユニットとして表示される部材は物理的なユニットであってもよいし、物理的なユニットでなくてもよく、即ち１つの場所にあってもよいし、複数のネットワークユニットに分散されていてもよい。実際の需要に応じてその中の一部又は全部のユニットを選択して本実施例の手段の目的を達成することができる。
【０１４７】
また、本開示の各実施例における各機能ユニットは、１つの処理ユニットに集積されていてもよいし、各処理ユニットが個別に物理的に存在していてもよいし、２つ以上の処理ユニットが１つの処理ユニットに集積されていてもよい。
【０１４８】
上述した実施例において、ソフトウェア、ハードウェア、ファームウェア、又はそれらの組み合わせにより、その全部又は一部を実現するようにしてもよい。ソフトウェアを用いて実現する場合には、その全部又は一部をコンピュータプログラム製品として実現してもよい。前記コンピュータプログラム製品は１つ以上のコンピュータ命令を含む。コンピュータ上で前記コンピュータプログラム命令がロードされて実行されると、その全部又は一部は、本開示の実施例に記載されたフロー又は機能を生成する。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラム可能な装置であってもよい。前記コンピュータ命令は、コンピュータ読取可能記憶媒体に記憶されてもよいし、前記コンピュータ読取可能記憶媒体を介して伝送されてもよい。前記コンピュータ命令は、１つのウェブサイト、コンピュータ、サーバ、又はデータセンタから、有線（例えば、同軸ケーブル、光ファイバ、デジタル加入者線（ｄｉｇｉｔａｌ  ｓｕｂｓｃｒｉｂｅｒ  ｌｉｎｅ、ＤＳＬ））又は無線（例えば、赤外線、無線、マイクロ波など）により、別のウェブサイト、コンピュータ、サーバ、又はデータセンタへ伝送されてもよい。前記コンピュータ読取可能記憶媒体は、コンピュータがアクセス可能な任意の利用可能な媒体であってもよいし、１つ以上の利用可能な媒体が集積されたサーバ、データセンタなどのデータ記憶装置であってもよい。前記利用可能な媒体は、磁気媒体（例えば、フロッピーディスク、ハードディスク、磁気テープ）、光媒体（例えば、デジタルユニバーサルディスク（ｄｉｇｉｔａｌ  ｖｅｒｓａｔｉｌｅ  ｄｉｓｃ、ＤＶＤ））、又は半導体媒体（例えば、ソリッドステートドライブ（ｓｏｌｉｄ  ｓｔａｔｅ  ｄｉｓｋ、ＳＳＤ））などであってもよい。
【０１４９】
論理に反しない場合は、本開示の異なる実施例の間で互いに結合されてもよく、異なる実施例は重点を置いて説明し、重点を置いて説明する部分は他の実施例の記載を参照することができる。
【０１５０】
当業者は上記実施例の方法を実現するフローの全部又は一部を理解することができ、当該フローはコンピュータプログラムによって関連するハードウェアに命令して完成することができ、当該プログラムはコンピュータ読取可能記憶媒体に記憶されて、当該プログラムが実行されるとき、上記各方法の実施例のようなフローを含むことができる。また、前述した記憶媒体には、リードオンリーメモリ（ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ、ＲＯＭ）又はランダムアクセスメモリ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク、光ディスクなどのプログラムコードを記憶可能な各種媒体が含まれる。
【０１５１】
本願は、２０１９年５月３１日に中国国家知識産権局に提出された、出願番号２０１９１０４７１３２３．１で、発明の名称「ニューラルネットワーク捜索方法及び装置」である中国特許出願の優先権を主張し、その全ての内容は援用することによって本願に組み込まれる。
【図１】
2022502762.tif 000004
【図２】
2022502762.tif 000005
【図３Ａ】
2022502762.tif 000006
【図３Ｂ】
2022502762.tif 000007
【図３Ｃ】
2022502762.tif 000008
【図３Ｄ】
2022502762.tif 000009
【図４Ａ】
2022502762.tif 000010
【図４Ｂ】
2022502762.tif 000011
【図５】
2022502762.tif 000012
【図６】
2022502762.tif 000013
【図７】
2022502762.tif 000014
【手続補正書】
【提出日】令和3年3月25日(2021.3.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
捜索対象のニューラルネットワークライブラリと訓練データセットを取得することと、
前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートして第１ニューラルネットワーク系列セットを得て、前記第１ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークセットとすることと、
前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークセットに対して第２所定値の周期数で訓練する第１段階訓練を行うことと、
前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークを目標ニューラルネットワークとすることと、を含むことを特徴とするニューラルネットワーク捜索方法。
【請求項２】
前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートして第１ニューラルネットワーク系列セットを得て、前記第１ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークセットとする前に、
前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートして第２ニューラルネットワーク系列セットを得て、前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークセットとすることと、
前記訓練データセットを用いて前記第２訓練対象ニューラルネットワークセットに対して前記第３所定値との和が前記第１所定値に等しい周期数で訓練する第２段階訓練を行うこととをさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートして第２ニューラルネットワーク系列セットを得て、前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークセットとする前に、
前記捜索対象のニューラルネットワークライブラリに、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られるＲ個の進化後のニューラルネットワークを増加することをさらに含み、
前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第３所定値の周期数で訓練されたニューラルネットワークをソートして第２ニューラルネットワーク系列セットを得て、前記第２ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第２訓練対象ニューラルネットワークセットとすることは、
前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第３所定値の周期数で訓練されたニューラルネットワークと前記Ｒ個の進化後のニューラルネットワークとをソートして第３ニューラルネットワーク系列セットを得て、前記第３ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを前記第２訓練対象ニューラルネットワークセットとすることを含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークセットに対して第１段階訓練を行う後、
前記捜索対象のニューラルネットワークライブラリに、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークを進化させて得られる、前記Ｒに等しいＳ個の進化後のニューラルネットワークを増加することと、
前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第３所定値の周期数で訓練されたニューラルネットワークと前記Ｓ個の進化後のニューラルネットワークとをソートして第４ニューラルネットワーク系列セットを得て、前記第４ニューラルネットワーク系列セットのうちの上位Ｎ個のニューラルネットワークを第３訓練対象ニューラルネットワークセットとし、前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、前記第１所定値の周期数で訓練されたニューラルネットワークをソートして第５ニューラルネットワーク系列セットを得て、前記第５ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第４訓練対象ニューラルネットワークセットとすることと、
前記訓練データセットを用いて前記第３訓練対象ニューラルネットワークセットに対して前記第２段階訓練を行い、前記訓練データセットを用いて前記第４訓練対象ニューラルネットワークセットに対して前記第１段階訓練を行うことと、を含む反復をＸ回実行すること、及び、
前記捜索対象のニューラルネットワークライブラリ内の、前記Ｘよりも小さいＴ回の反復で訓練されなかったニューラルネットワークを除去することをさらに含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記捜索対象のニューラルネットワークライブラリにＲ個の進化後のニューラルネットワークを増加することは、
前記捜索対象のニューラルネットワークライブラリ内のＲ個のニューラルネットワークを複製し、Ｒ個の複製後のニューラルネットワークを得ることと、
前記Ｒ個の複製後のニューラルネットワークの構造を修正することにより、前記Ｒ個の複製後のニューラルネットワークを進化させ、Ｒ個の訓練対象ニューラルネットワークを得ることと、
前記訓練データセットを用いて前記Ｒ個の訓練対象ニューラルネットワークに対して第３所定値の周期数で訓練する第３段階訓練を行い、前記Ｒ個の進化後のニューラルネットワークを得ることと、
前記Ｒ個の進化後のニューラルネットワークを前記捜索対象のニューラルネットワークライブラリに追加することとを含むことを特徴とする請求項３又は４に記載の方法。
【請求項６】
前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは、画像分類に用いられることを特徴とする請求項５に記載の方法。
【請求項７】
前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークは、標準層、削減層及び分類層を含み、
前記標準層、前記削減層及び前記分類層は順次直列に接続され、
前記標準層は、前記標準層に入力された画像から特徴を抽出するために用いられ、
前記削減層は、前記削減層に入力された画像から特徴を抽出し、且つ前記削減層に入力された画像のサイズを縮小するために用いられ、
前記分類層は、前記削減層から出力された特徴に基づいて、前記捜索対象のニューラルネットワークライブラリ内のニューラルネットワークに入力された画像の分類結果を得るために用いられ、
前記標準層と前記削減層はいずれも複数のニューロンを含み、前記複数のニューロンのそれぞれは順次直列に接続され、ｉ＋１番目のニューロンの入力はｉ番目のニューロンの出力とｉ−１番目のニューロンの出力を含み、前記ｉ＋１番目のニューロン、前記ｉ番目のニューロン及び前記ｉ−１番目のニューロンは前記複数のニューロンに属し、前記ｉは１よりも大きい正の整数であり、
前記ニューロンはｊ個のノードを含み、ｋ番目のノードの入力は前記ｋ番目のノードより前のｋ−１個のノードのうちの任意の２つのノードの出力であり、前記ｋは２よりも大きい正の整数であり、且つ前記ｋは前記ｊ以下であり、前記ニューロンの出力はｊ番目のノードの出力とｊ−１番目のノードの出力が融合した結果であり、
前記ノードは少なくとも２つの操作を含み、前記操作の入力は前記ノードの入力であり、前記操作は畳み込み、プーリング、マッピングのいずれか一つであることを特徴とする請求項６に記載の方法。
【請求項８】
前記Ｒ個の複製後のニューラルネットワークの構造を修正することは、
前記Ｒ個の複製後のニューラルネットワークのニューロンの入力を変換することによって前記Ｒ個の複製後のニューラルネットワークの構造を修正すること、及び／又は
前記Ｒ個の複製後のニューラルネットワークのニューロンのノード内の操作を変換することによって前記Ｒ個の複製後のニューラルネットワークの構造を修正することを含むことを特徴とする請求項６に記載の方法。
【請求項９】
前記捜索対象のニューラルネットワークライブラリを取得することは、
捜索対象ニューラルネットワークを取得することと、
前記訓練データセットを用いて前記捜索対象ニューラルネットワークに対して前記第３段階訓練を行い、第３段階訓練後の捜索対象ニューラルネットワークを含む前記捜索対象のニューラルネットワークライブラリを得ることとを含むことを特徴とする請求項５〜８のいずれか１項に記載の方法。
【請求項１０】
前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークを目標ニューラルネットワークとすることは、
前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークをソートして第５ニューラルネットワーク系列セットを得て、前記第５ニューラルネットワーク系列セットのうちの上位Ｙ個のニューラルネットワークを前記目標ニューラルネットワークとすることを含むことを特徴とする請求項１〜４及び６〜８のいずれか１項に記載の方法。
【請求項１１】
捜索対象のニューラルネットワークライブラリと訓練データセットを取得するための取得ユニットと、
前記訓練データセットに対する認識精度の高い順に、前記捜索対象のニューラルネットワークライブラリ内の、第１所定値の周期数で訓練されたニューラルネットワークをソートして第１ニューラルネットワーク系列セットを得て、前記第１ニューラルネットワーク系列セットのうちの上位Ｍ個のニューラルネットワークを第１訓練対象ニューラルネットワークセットとするためのソートユニットと、
前記訓練データセットを用いて前記第１訓練対象ニューラルネットワークセットに対して第２所定値の周期数で訓練する第１段階訓練を行うための訓練ユニットと、
前記捜索対象のニューラルネットワークライブラリ内の、第１所定値と第２所定値の和である周期数で訓練されたニューラルネットワークを目標ニューラルネットワークとするための決定ユニットと、を含むことを特徴とするニューラルネットワーク捜索装置。
【請求項１２】
請求項１〜１０のいずれか１項に記載の方法を実行するために用いられることを特徴とするプロセッサ。
【請求項１３】
プロセッサと、送信装置と、入力装置と、出力装置と、コンピュータ命令を含むコンピュータプログラムコードを記憶するためのメモリとを含み、前記プロセッサが前記コンピュータ命令を実行すると、請求項１〜１０のいずれか１項に記載の方法を実行することを特徴とする電子機器。
【請求項１４】
プログラム命令を含むコンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムが電子機器のプロセッサにより実行されると、前記プロセッサに請求項１〜１０のいずれか１項に記載の方法を実行させることを特徴とするコンピュータ読取可能記憶媒体。
【請求項１５】
コンピュータ読取可能なコードを含むコンピュータプログラムであって、前記コンピュータ読取可能なコードは電子機器内で実行されると、前記電子機器内のプロセッサに請求項１〜１０のいずれか１項に記載の方法を実行させることを特徴とするコンピュータプログラム。
【国際調査報告】
2022502762.tif 000015
2022502762.tif 000016
2022502762.tif 000017
2022502762.tif 000018