СПОСОБ СЖАТИЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ НА ОСНОВЕ ПРИМЕНЕНИЯ ТЕНЗОРНЫХ АППРОКСИМАЦИЙ С ЗАМКНУТОЙ СТРУКТУРОЙ

Компьютерно-реализуемый способ сжатия искусственных нейронных сетей (НС) на основе применения замкнутых тензорных аппроксимаций, выполняющийся на вычислительном устройстве, содержащем процессор и память, хранящую инструкции исполняемые процессором, устройство сжатия, которое состоит из модуля автоматического определения параметров сжатия и модуля, осуществляющего замену параметров сверточных/полносвязных слоев НС на их малоранговую аппроксимацию, полученную с помощью тензорных/матричных разложений, и устройство тонкой настройки, при этом:
устройство сжатия принимает на вход НС, модуль автоматического определения параметров сжатия автоматически, для каждого сверточного/полносвязного слоя НС, подбирает ранг тензорного разложения, который используется при аппроксимации весового тензора, причем ранг тензорного разложения подбирается для каждого слоя как минимальный ранг, при котором ошибка тензорной аппроксимации веса данного слоя не превышает заданного порога, после чего модуль осуществляющий замену параметров сверточных/полносвязных слоев НС на их малоранговую аппроксимацию осуществляет замену веса слоя на его малоранговую аппроксимацию так, что суммарное число параметров новых тензоров меньше, чем число параметров в исходном тензоре,
в результате чего, при обработке сверточного/полносвязного слоя устройством сжатия, исходный слой заменяется на декомпозированный слой, который представляет собой последовательность нескольких сверточных/полносвязных слоев, при этом веса новых слоев инициализируются факторами тензорного разложения, с помощью которого выполнена аппроксимация;
устройство тонкой настройки принимает на вход преобразованную устройством сжатия НС и выдает на выход оптимизированную НС, обладающую лучшей предсказательной способностью за счет корректировки параметров модели, которая производится методом обратного распространения ошибки с использованием базы данных сигналов.