Artificial Neural Network Generalization and Simplification via Pruning/ Mākslīgo neironu tīklu vispārināšana un vienkāršošana, izmantojot samazināšanu/ Обобщение и упрощение искусственных нейронных сетей через урезание

Abstract Artificial neural networks (ANNs) are well known for their classification abilities. Although choosing hyperparameters such as neuron layer count and size can be a quite tedious task. Pruning approaches assume that a sufficiently large ANN has already been trained and can be simplified with acceptable classification accuracy loss. The current paper presents a node pruning algorithm and gives experimental results for pruned network accuracy rates versus their non-pruned counterparts. Šobrīd mēs piedzīvojam otro mākslīgo neironu tīklu (MNT) renesansi. Iemesls - veiksmes apmācības nozarē. Pašlaik kļuvis iespējams apmācīt daudzslāņu tīklus, izmantojot lielus datu apjomus. Tomēr, tāpat kā iepriekš, MNT izmantošanu ierobežo tas, ka dotais modelis ir melna kaste, kura nepaskaidro, kā notiek klasifikācija, kādi faktori un kādā veidā ietekmē klasifikācijas rezultātu. Vēl viena problēma, izmantojot MNT, ir tīkla hiperparametru atlase. Viens no tiem − tīkla arhitektūra ievērojami ietekmē MNT vispārināšanas iespējas. Lai zināšanas izvilktu no tīkla (likumu iegūšana) un vienkāršotu tīklu, kā arī lai palielinātu vispārināšanas iespējas, ir divas pieejas: apmācīt ļoti lielu tīklu, un pēc tam to vienkāršot, vai pakāpeniski apmācīt mazu tīklu, palielinot neironu skaitu. Šis raksts sniedz pārskatu par MNT samazināšanas metodēm. Ir dots pārskats par šādām samazināšanas metodes klasēm: jutīguma analīzes metode, neironu svaru soda metode, neironu svaru pakāpeniska samazināšana, interaktīva samazināšana, automātiska samazināšana u. c. Šajā rakstā tiek ierosināts un apskatīts algoritms, kurš samazina tīklu. Testiem ir izmantoti dati no UCI glabātuves. Metode balstās uz neironu izņemšanu un, ja vajag, atdošanu tīklā. Izmantotais neironu tīkls − daudzslāņu perceptrons − apmācīts svaru samazināšanai. Algoritmam ir automātiskās apstāšanās kritērijs. Iegūtie rezultāti liecina, ka atkarībā no datu sarežģītības, samazinātais un vienkāršotais MNT var būt ievērojami mazāks un vispārīgāks, nekā oriģinālais tīkls. Bieži vienkāršošana samazina klasifikācijas kļūdu. Iegūtais MNT visos gadījumos ir mazāks par oriģināliem tīkliem un to var izmantot noteikumu iegūšanai. В данный момент мы наблюдаем второй ренессанс искусственных нейронных сетей (ИНС). Причина этого - успехи в области глубокого обучения. На данный момент стало возможным обучение многослойных сетей на больших объемах данных. Однако, как и прежде, ограничением к использованию ИНС является то, что данный вид модели является черным ящиком, не дающим объяснения, как проводится классификация и какие факторы и как влияют на результат классификации. Другой проблемой при использовании ИНС является подбор гиперпараметров сети. Один из них - архитектура сети значительно влияет на обобщающие возможности ИНС. Как для формализации модели (извлечение правил), так и для упрощения сети и частично увеличения обобщающих возможностей проводят обучение излишне большой сети с последующим урезанием, либо обучение маленькой сети с последующим добавлением нейронов. В данной статье приведен обзор методов урезания. Рассмотрены такие подходы, как: анализ чувствительности, методы на основе штрафа, методы распада весов нейроных связей, интерактивного урезания, автоурезания и другие. В данной статье предложен и рассмотрен алгоритм урезания сети на примере данных из UCI репозитория на основе удаления и, по необходимости, возврата нейронов в сеть. Нейронная сеть - многослойный персептрон, обученный при помощи обратного распространения ошибки. Алгоритм обладает критерием остановки. Полученные результаты говорят о том, что в зависимости от сложности данных модель ИНС может быть значительно упрощена и обобщена. Зачастую урезание уменьшает классификационную ошибку. Полученные ИНС во всех случаях становятся меньше оригинальной сети и могут быть использованы для извлечения правил.