ОБУЧЕНИЕ DNN-СТУДЕНТА ПОСРЕДСТВОМ РАСПРЕДЕЛЕНИЯ ВЫВОДА

1. Один или более машиночитаемых носителей, на которых воплощены машиноисполняемые инструкции, которые при их исполнении вычислительной системой, имеющей процессор и память, предписывают вычислительной системе выполнять способ генерирования классификатора DNN для развертывания на вычислительном устройстве, причем способ содержит этапы, на которых:
определяют первую модель DNN как модель DNN-учителя;
инициализируют вторую модель DNN как модель DNN-студента;
принимают набор непомеченных обучающих данных;
в течение некоторого числа итераций:
(a) с использованием поднабора из набора обучающих данных, определяют распределение вывода учителя для модели DNN-учителя и распределение вывода студента для модели DNN-студента;
(b) определяют оценку распределения вывода студента по отношению к распределению вывода учителя, каковая оценка включает в себя разницу;
(c) на основе данной оценки, обновляют модель DNN-студента для минимизации разницы; и
предоставляют модель DNN-студента в качестве обученного классификатора DNN, при этом число итераций основывается на упомянутой определенной оценке.
2. Один или более машиночитаемых носителей по п. 1, при этом определение оценки распределения вывода студента по отношению к распределению вывода учителя содержит определение схождения между распределением вывода студента и распределением вывода учителя, и при этом число итераций является числом раз, которое этапы (a)-(c) выполняются, пока не будет определено схождение.
3. Один или более машиночитаемых носителей по п. 1, при этом для определения оценки распределения вывода студента по отношению к распределению вывода учителя используется расхождение Кульбака-Лейблера, причем упомянутая определенная оценка содержит сигнал ошибки, при этом модель DNN-студента обновляется с использованием обратного распространения на основе сигнала ошибки, причем распределение вывода учителя и распределение вывода студента определяются посредством прямого распространения с использованием поднабора данных.
4. Один или более машиночитаемых носителей по п. 1, при этом первая модель DNN содержит модель ансамблевой DNN, причем вторая модель DNN инициализируется на основе первой модели DNN или инициализируется со случайными весовыми значениями, при этом вторая модель DNN является частью инфраструктуры CD-DNN-HMM.
5. Один или более машиночитаемых носителей по п. 1, при этом упомянутый поднабор из набора обучающих данных содержит мини-пакет, причем отличающийся от других мини-пакет данных используется для каждой итерации из упомянутого числа итераций, пока не будут использованы все из набора обучающих данных.
6. Классификатор DNN, развернутый на клиентском устройстве и сгенерированный в результате исполнения вычислительной системой машиноисполняемых инструкций по п. 1.
7. Компьютерно-реализуемый способ генерирования обученной модели DNN для развертывания в качестве классификатора на компьютерной системе, содержащий этапы, на которых:
определяют множество моделей DNN, которые должны быть включены как под-DNN в модель ансамблевой DNN;
собирают модель ансамблевой DNN с использованием под-DNN, тем самым делая каждую из множества под-DNN членом ансамбля;
обучают модель ансамблевой DNN;
инициализируют модель DNN-студента;
обучают модель DNN-студента с использованием обученной модели ансамблевой DNN в качестве DNN-учителя; и
предоставляют модель DNN-студента в качестве классификатора DNN.
8. Компьютерно-реализуемый способ по п. 7, в котором множество моделей DNN, которые должны быть включены как под-DNN в модель ансамблевой DNN, определяются на основе намеченного приложения для классификатора DNN, развернутого на компьютерной системе, при этом под-DNN содержат модели DNN, которые (a) имеют разные нелинейные блоки, (b) имеют разные типы структур, (c) обучаются согласно разным стратегиям обучения, (d) имеют разные топологии или (e) обучаются с помощью разных данных.
9. Компьютерно-реализуемый способ по п. 7, в котором обучение модели ансамблевой DNN содержит этап, на котором комбинируют распределения выводов членов ансамбля посредством обученной комбинации коэффициентов с использованием критерия перекрестной энтропии, последовательного критерия, критерия ошибки по методу наименьших квадратов или критерия ошибки по методу наименьших квадратов с неотрицательным ограничением.
10. Компьютерно-реализуемый способ по п. 7, в котором обучение модели DNN-студента содержит этапы, на которых:
(a) принимают мини-пакет непомеченных обучающих данных;
(b) с использованием мини-пакета, определяют распределение вывода учителя для модели DNN-учителя и распределение вывода студента для модели DNN-студента посредством прямого распространения мини-пакета в модели DNN-студента и модели DNN-учителя;
(c) определяют оценку распределения вывода студента по отношению к распределению вывода учителя, каковая оценка содержит сигнал ошибки; и
(d) на основе этой оценки определяют, достигли ли распределение вывода студента и распределение вывода учителя схождения:
(i) если определено, что распределение вывода студента и распределение вывода учителя сошлись, то предоставляют модель DNN-студента для развертывания на клиентском устройстве, и
(ii) если определено, что распределение вывода студента и распределение вывода учителя не сошлись, то обновляют модель DNN-студента на основе упомянутой определенной оценки и повторяют этапы (a)-(d).