Влияние свойств негладких функций активации цифровых нейропроцессоров на динамические характеристики нейронных сетей

Секция вычислительной техники

УДК 681.3.001.63.005

В. Ф. Гузик, В. Н. Решетник, В. Г. Сидоренко,

А. С. Мееров

АВТОМАТИЗИРОВАННОЕ ПРОЕКТИРОВАНИЕ ТОПОЛОГИИ ИНФОРМАЦИОННО-ВЫЧИСЛИТЕЛЬНЫХ СЕТЕЙ

Говоря о задаче проектирования топологии информационно-вычислительных сетей (ИВС), необходимо отметить ее сложность, многокритериальность и муль-типараметризм. Решение этой задачи методом полного перебора ведет к огромным затратам машинного времени. Вот почему встает задача создания интерактивных систем для автоматизированного проектирования топологии ИВС.

Одним из основных этапов, выполняемых при топологическом синтезе ИВС, является процесс регионально-территориальной декомпозиции исходного множества городов-узлов, подлежащих объединению в единую ИВС. В результате выполнения этого процесса определяется совокупность кластеров (подрегионов), входящих в проектируемую сеть. Процесс декомпозиции осуществляется на основе анализа матрицы расстояний, формируемой по географическим координатам городов. Результатом данного этапа является совокупность кластеров и множества городов, входящих в каждый кластер. Затем путем анализа матрицы тяготения передачи информации городов для каждого кластера определяется его статус (вертикальный или вертикально-горизонтальный). После чего для всех полученных кластеров решаются соответствующие задачи: задача синтеза вертикальной сети передачи данных (СПД) для вертикальных кластеров и ЛВС для вертикально-горизонтальных кластеров. Результатом является топологический синтез СПД во всех отдельных кластерах.

На завершающем этапе проектирования решается задача горизонтального синтеза. В качестве исходных данных для нее выступают узлы, содержащие Host-ЭВМ вертикальных СПД и шлюзы ЛВС, определенные на предыдущем этапе. Результатом является топологическая структура ИВС.

УДК 007:573.6:681.5

Ю. В. Чсриухин, Г. П. Радионов

ВЛИЯНИЕ СВОЙСТВ НЕГЛАДКИХ ФУНКЦИЙ АКТИВАЦИИ ЦИФРОВЫХ НЕЙРОПРОЦЕССОРОВ НА ДИНАМИЧЕСКИЕ ХАРАКТЕРИСТИКИ НЕЙРОННЫХ СЕТЕЙ

Использование цифровой техники в нейрокомпьютинге приводит к появлению ряда принципиальных проблем из-за дискретного характера представления данных, конечной точности решения и ограниченной величины параметров. В общем случае технологические ограничения ведут к нарушению условий устойчивости, которым удовлетворяют нейронные сети (НС), работающие в непрерывном пространстве, а в ряде случаев приводят к невоз-' можности функционирования НС. Одним из примеров нарушения условий функционирования НС является переход от непрерывного представления выходной функции активации (ФА) нейроэлемента к дискретному. Такой

Известия ТРТУ

Специальный выпуск

переход ограничивает или делает невозможным применение процедур обучения НС, использующих правило обратного распространения ошибки (ОРО), которое требует наличия гладкой, имеющей непрерывную первую производную ФА нейроэлементов. Поэтому необходимо применять такие методы аппроксимации гладкой ФА, которые, с одной стороны, вели бы к минимизации влияния ошибки метода аппроксимации на динамические характеристики НС, а с другой — характеризовались бы минимальными затратами на ее аппаратную или программную реализацию.

В результате проведенных исследований удалось показать, что для решения рассмотренной задачи может быть использован ряд методов аппроксимации, в качестве которых рассмотрены кусочно-линейная и кусочно-нели-нейная аппроксимация, аппроксимация конечномерными рядами и получение ФА в виде решений определяющих дифференциальных уравнений. При этом учет влияния погрешности аппроксимации может быть произведен путем введения дополнительных термов в алгоритм ОРО, что улучшает динамические характеристики НС. Использование негладких ФА в этом случае позволяет управлять качеством итерационного процесса обучения НС, а именно, расширять область устойчивости и сходимости метода ОРО, а также сокращать время обучения.

Полученные результаты позволяют строить НС с заранее: определяемыми характеристиками качества процесса обучения, а также боотее эффективно использовать цифровые нейропроцессоры для реализации НС, работающих по методу ОРО.

УДК 007:573.6:681.3

Ю. В. Чернухин, М. А. Самарин ;; ; , ОБ ОДНОЙ АРХИТЕКТУРЕ НЕЙРОСУПЕРТРАНСПЫОТЕРА

Специалисты, работающие в области нейроинформатики, сталкиваются с проблемой низкой производительности традиционной вычислительной техники при моделировании поведения нейроподобных элементов и нейросетей, что происходит из-за низких коммутационных возможностей нейроэлемента и большого объема вычислений значений выходных функций.

Существуют различные схемные решения этой проблемы, одним из которых является использование нескольких простейших процессоров или микрокомпьютеров, каждый из которых выполняет функции отдельного нейрона. Однако в этом случае оказывается неэффективным использование параллельных портов связи подобных устройств.

Наиболее оптимальным вариантом может стать применение транспьютеров, которые наряду с высоким быстродействием имеют несколько последовательных портов связи. Еще более эффективным было бы применение специализированной элементной базы, которая включала бы в себя схемы расширения коммуникационных возможностей нейроэлементов и специализированные нейротранспьютеры (НТ).

Разработанное устройство представляет собой простейший нейротрансг пьютер, специализированный для нейровычислений. Он сохраняет такие архитектурные особенности транспьютеров, как наличие шести последовательных портов; использование в качестве регистров общего назначения