ПАРАЛЛЕЛЬНАЯ РЕАЛИЗАЦИЯ МНОГОСЛОЙНОЙ НЕЙРОННОЙ СЕТИ С ЭЛЕМЕНТАМИ САМООБУЧЕНИЯ НА ГЕТЕРОГЕННОМ КОМПЬЮТЕРЕ
Authors: Малявко А.А. 
Published: October 2024

В статье рассматриваются возможные способы уменьшения затрат времени на симуляцию искусственной нейронной сети, архитектура которой ориентирована на изучение механизмов самообучения. На основе сопоставления с биологическими нейронными системами, заведомо способными к самообучению, формулируются некоторые предположения о возможной структуре такой сети в виде совокупности нескольких функционально разнотипных многослойных блоков нейронов. Связи между нейронами направлены преимущественно от входа сети к ее к выходу, но имеются и связи между нейронами одного слоя, а также связи обратной направленности. Эффект самообучения возможно, будет достигнут при реализации непрерывного циклического моделирования работы сети, что полностью соответствует механизмам функционирования биологических прототипов. Непрерывная симуляция сети с большим количеством нейронов требует очень больших затрат компьютерного времени. Поэтому актуальной является ориентация на использование гетерогенных компьютеров, предоставляющих значительно большие вычислительные мощности по сравнению с компьютерами традиционной архитектуры. Описывается параллельная программная модель, разработанная для проведения экспериментов по изучению механизмов самообучения на многоядерных компьютерах с несколькими графическими процессорами, и реализованный в этой модели алгоритм распределения и балансировки нагрузки графических процессоров и ядер центрального процессора. Приводятся результаты экспериментов на двух различных гетерогенных компьютерах, показывающие сравнительно слабый эффект ускорения вычислений за счет использования нескольких GPU. Этот эффект можно объяснить необходимостью постоянного перемещения больших объемов данных между основной памятью и памятью графических процессоров вследствие непрерывного переконфигурирования параметров межнейронных связей, осуществляемого симулятором при исследовании алгоритмов самообучения.

Abstract The article discusses possible ways to reduce the time spent on the simulation of an artificial neural network, whose architecture is focused on the study of selflearning mechanisms. On the basis of comparison with biological neural systems that are known to be capable of selflearning, some assumptions are formulated about the possible structure of such a network as a combination of several functionally diverse types of multilayer neuron blocks. Connections between neurons are directed mainly from the network input to its output, but there are also connections between neurons of the same layer, as well as connections of the reverse direction. The effect of selfstudy may be achieved with the implementation of continuous cyclic modeling of the network, which is fully consistent with the mechanisms of functioning of biological prototypes. Continuous simulation of a network with a large number of neurons requires very large expenditures of computer time. Therefore, the focus is on the use of heterogeneous computers that provide significantly greater computing power compared to computers of traditional architecture. It describes a parallel software model developed for conducting experiments on the study of selflearning mechanisms on multicore computers with several graphics processors, and the algorithm implemented in this model for the distribution and load balancing of graphics processors and cores of the central processor. The results of experiments on two different heterogeneous computers, showing a relatively weak effect of accelerating calculations if use of one or several GPUs, are presented. This effect can be explained by the need to constantly move large amounts of data between the main memory and the memory of graphics processors due to the continuous reconfiguration of the parameters of interneuron connections carried out by the simulator in the study of selflearning algorithms.