АВТОМАТИЧЕСКАЯ ГЕНЕРАЦИЯ МОДЕЛЕЙ МАШИННОГО ОБУЧЕНИЯ

1. Способ, выполняемый на вычислительном устройстве, причем способ содержит этапы, на которых:
выполняют две или более итераций итеративного процесса роста модели, причем итеративный процесс роста модели содержит этапы, на которых:
выбирают конкретную родительскую модель из пула родительских моделей, состоящего из одной или более родительских моделей;
генерируют множество потенциально подходящих слоев и инициализируют это множество потенциально подходящих слоев при повторном использовании параметров упомянутой конкретной родительской модели, полученных в результате обучения;
выбирают конкретные потенциально подходящие слои для включения в дочерние модели для тренировки, причем соответствующие дочерние модели включают в себя упомянутую конкретную родительскую модель и один или более из упомянутых конкретных потенциально подходящих слоев;
выполняют тренировку упомянутого множества дочерних моделей для получения тренированных дочерних моделей;
оценивают тренированные дочерние модели с использованием одного или более критериев; и
на основе, по меньшей мере, данного оценивания, назначают отдельную тренированную дочернюю модель в качестве новой родительской модели и добавляют эту новую родительскую модель к пулу родительских моделей; и
после упомянутых двух или более итераций, выбирают по меньшей мере одну тренированную дочернюю модель в качестве окончательной модели и выводят окончательную модель.
2. Способ по п.1, дополнительно содержащий этапы, на которых:
определяют вычислительные затраты на тренировку или тестирование дочерних моделей; и
используют вычислительные затраты в качестве первого критерия при оценивании тренированных дочерних моделей.
3. Способ по п.2, дополнительно содержащий этапы, на которых:
определяют потери, связанные с тренированными дочерними моделями; и
используют потери в качестве второго критерия при оценивании тренированных дочерних моделей.
4. Способ по п.3, дополнительно содержащий этапы, на которых:
наносят дочерние модели на график, имеющий первую ось, отражающую вычислительные затраты, и вторую ось, отражающую потери; и
выбирают новую родительскую модель на основе, по меньшей мере, соответствующего местоположения новой родительской модели на графике.
5. Способ по п.4, дополнительно содержащий этапы, на которых:
определяют по меньшей мере одно из нижней выпуклой оболочки и границы Парето на упомянутом графике; и
выбирают новую родительскую модель на основе, по меньшей мере, близости новой родительской модели к нижней выпуклой оболочке или границе Парето.
6. Способ по п.5, в котором упомянутый выбор содержит этапы, на которых:
идентифицируют поднабор тренированных дочерних моделей, которые находятся в пределах заранее определенной окрестности нижней выпуклой оболочки или границы Парето;
определяют соответствующие вероятности для данного поднабора тренированных дочерних моделей; и
выбирают новую родительскую модель на основе, по меньшей мере, этих соответствующих вероятностей.
7. Способ по п.1, в котором упомянутое генерирование отдельного потенциально подходящего слоя содержит этапы, на которых:
выбирают целевой слой из упомянутой конкретной родительской модели для приема выходов отдельного потенциально подходящего слоя;
выбирают один или более входных слоев из упомянутой конкретной родительской модели для обеспечения входов в этот отдельный потенциально подходящий слой; и
выбирают конкретную операцию, которая должна выполняться данным отдельным потенциально подходящим слоем в отношении входов.
8. Способ по п.7, в котором упомянутый выбор конкретной операции содержит этапы, на которых:
задают группу операций;
случайным образом выбирают конкретную операцию из этой группы операций.
9. Способ по п.7, дополнительно содержащий этап, на котором выбирают целевой слой и по меньшей мере один входной слой случайным образом из упомянутой конкретной родительской модели.
10. Способ по п.1, в котором окончательная модель является нейронной сетью.
11. Система, содержащая:
аппаратный блок обработки; и
ресурс хранения, хранящий машиночитаемые инструкции, которые при их исполнении аппаратным блоком обработки предписывают аппаратному блоку обработки:
выполнять итеративный процесс роста модели, который включает в себя модификацию родительских моделей для получения дочерних моделей, причем итеративный процесс роста модели содержит выбор потенциально подходящих слоев для включения в дочерние модели на основе, по меньшей мере, весов, полученных в результате обучения в процессе инициализации потенциально подходящих слоев; и
выводить окончательную модель, причем окончательная модель выбирается из дочерних моделей.
12. Система по п.11, в которой машиночитаемые инструкции, при их исполнении аппаратным блоком обработки, предписывают аппаратному блоку обработки:
генерировать различные потенциально подходящие слои, которые совместно используют связность с родительскими моделями и выполняют различные операции; и
инициализировать эти различные потенциально подходящие слои вместе для получения различных весов для этих различных потенциально подходящих слоев.
13. Система по п.12, в которой машиночитаемые инструкции, при их исполнении аппаратным блоком обработки, предписывают аппаратному блоку обработки: на основе, по меньшей мере, различных весов различных потенциально подходящих слоев, выбирать отдельные потенциально подходящие слои для включения в дочерние модели.
14. Система по п.11, в которой машиночитаемые инструкции, при их исполнении аппаратным блоком обработки, предписывают аппаратному блоку обработки:
тренировать окончательную модель с использованием тренировочных данных для по меньшей мере одной задачи классификации, машинного перевода или распознавания образов; и
предоставлять окончательную модель для исполнения, причем окончательная модель приспособлена для выполнения этой по меньшей мере одной задачи классификации, машинного перевода или распознавания образов.
15. Система по п.11, в котором машиночитаемые инструкции, при их исполнении аппаратным блоком обработки, предписывают аппаратному блоку обработки исполнять окончательную модель для выполнения по меньшей мере одной задачи классификации, машинного перевода или распознавания.