Особенности использования метода эластичного закрепления весов в прикладных задачах машинного обучения
Authors: Куталев А.А. , Лапина А.А. 
Published: December 2024

Данное исследование посвящено особенностям практического применения метода эластичного закрепления весов (Elastic Weight Consolidation, EWC) при последовательном обучении нейронных сетей на нескольких обучающих наборах. В ней мы более строго сравним известные методологии расчета важностей весов, применяемые в методе закрепления весов. Это методологии Memory Aware Synapses (MAS), Synaptic Intelligence (SI) и расчет важностей весов на основе информационной матрицы Фишера из оригинальной работы по EWC. Мы рассмотрим эти методологии в применении к глубоким нейронным сетям с полносвязными и сверточными слоями, найдем оптимальные гиперпараметры для каждой из методологий и сравним результаты последовательного обучения нейронной сети при их использовании. Далее, мы укажем на проблемы, возникающие при применении метода эластичного закрепления весов в глубоких нейронных сетях со сверточными слоями и слоями с самовниманием, такие как «взрыв градиентов» и потеря значащей информации в градиенте при использовании ограничения его нормы. Затем, мы предложим способ стабилизации метода эластичного закрепления весов, помогающий решить эти проблемы, проведем оценку этого способа в сравнении с оригинальной методологией и покажем, что предложенный способ стабилизации справляется с задачей сохранения навыков при последовательном обучении не хуже, чем оригинальный EWC, но, при этом, не обладает его недостатками. В заключение приведем интересный факт об использовании различных типов важностей весов в задаче прунинга нейронной сети.

This work focuses on the practical application of Elastic Weight Consolidation, EWC for sequential training of neural networks on several training sets. In it, we will more rigorously compare the well-known methodologies for calculating the importance of weights used in the method of fixing weights. These are the Memory Aware Synapses (MAS), Synaptic Intelligence (SI) methodologies and the calculation of the importance of weights based on the Fisher information matrix from the original work on EWC. We will review these methodologies in the application to deep neural networks with fully connected and matched layers, find optimal hyperparameters for each of the methodologies, and compare the results of sequential learning of the neural network when using them. Next, we will point out the problems that arise when applying the method of elastic weight pinning in deep neural networks with convolutional layers and self-attention layers, such as the “explosion of gradients” and the loss of significant information in the gradient when using its norm constraint (gradient clipping). Then, we will propose a method for stabilizing the elastic weight fixing method that helps to solve these problems, evaluate this method in comparison with the original methodology, and show that the proposed stabilization method copes with the task of retaining skills in sequential training no worse than the original EWC, but, at the same time, does not have its disadvantages. In conclusion, it is interesting to note the use of different types of weights in the neural network’s pruning problem.