Жасанды нейронды желі

Жасанды нейрондық желі (ЖНЖ) — өзара әрекеттесетін жасанды нейрондар жиынтығы. Нейрон — ақпаратты қабылдап алатын, онымен қарапайым есептеулер жасап, әрі қарай тарататын есептеу бірлігі.

Жасанды нейрондық желі өзара байланысқан бірліктерден немесе түйіндерден (нейрондардан) тұрады, олар мидағы биологиялық нейрондардың жұмысын шамамен модельдейді. Жақында биологиялық нейрондарға ұқсас жетілдірілген жасанды нейрондық модельдер зерттеліп, олардың өнімділікті айтарлықтай арттыратыны дәлелденді. Бұл нейрондар байланыстар (синапстар) арқылы бір-бірімен қосылады. Әрбір жасанды нейрон басқа нейрондардан сигнал алады, оны өңдейді және нәтижені келесі нейрондарға жібереді.

Жұмыс принципі

Әрбір нейрон кіріс сигналдарын қабылдайды, олар нақты сандар түрінде беріледі. Осы кірістердің салмақталған қосындысы белгілі бір белсендіру функциясы (activation function) арқылы өңделіп, шығыс мәні есептеледі. Байланыстардағы сигналдың күші салмақтар (weights) арқылы реттеледі, және олар оқыту процесінде өзгертіліп отырады.

Қабаттар және терең нейрондық желілер

Нейрондар әдетте қабаттарға біріктіріледі. Әр қабат кіріс деректеріне әртүрлі түрлендірулер жүргізуі мүмкін. Сигнал бірінші қабаттан (кіріс қабаты) басталып, соңғы қабатқа (шығыс қабаты) дейін өтеді, ал арада бірнеше жасырын қабаттар (hidden layers) болуы мүмкін. Егер нейрондық желіде екі немесе одан да көп жасырын қабаттар болса, онда ол терең нейрондық желі (deep neural network) деп аталады.

Қолданылуы

Жасанды нейрондық желілер әртүрлі салаларда кеңінен қолданылады, соның ішінде:

 Болжамды модельдеу (predictive modeling)
 Адаптивті басқару (adaptive control)
 Жасанды интеллект мәселелерін  шешу (artificial intelligence)

Олар тәжірибе негізінде үйреніп, күрделі және байланыссыз болып көрінетін ақпарат жиынтығынан қорытынды жасай алады.

 Нейрондық желілердің артықшылықтары 

 Нейронды желілер тарихы 
Ерте кезеңдегі зерттеулер

Бүгінгі терең нейрондық желілер 200 жылдан астам уақыт бұрынғы статистика саласындағы зерттеулерге негізделген. Ең қарапайым алға бағытталған нейрондық желі (FNN) — бұл сызықтық желі, ол бір қабатты шығыс түйіндерінен және сызықтық активация функцияларынан тұрады. Кірістер тікелей шығысқа салмақ коэффициенттері арқылы беріледі. Әрбір түйінде осы салмақтар мен кірістердің көбейтінділерінің қосындысы есептеледі. Бұл есептелген нәтижелер мен мақсатты мәндер арасындағы орташа квадраттық қателіктерді азайту үшін салмақтарға түзету енгізіледі. Бұл әдіс екі ғасырдан астам уақыттан бері белгілі және оны ең кіші квадраттар әдісі немесе сызықтық регрессия деп атайды. Бұл тәсілді Лежандр (1805) және Гаусс (1795) планеталардың қозғалысын болжау үшін қолданған.Мэнсфилд Мерриман, «Ең кіші квадраттар әдісіне қатысты жазбалар тізімі»Стиглер SM (1981). «Гаусс және ең кіші квадраттардың өнертабысы». Анн. Стат. 9 (3): 465–474.Bretscher O (1995). Linear Algebra With Applications (3rd ed.). Upper Saddle River, NJ: Prentice Hall.Шмидхубер Дж (2022). «Қазіргі АИ және терең оқытудың аннотацияланған тарихы».

Нейрондық желілер мен цифрлық компьютерлердің айырмашылығы

Тарихи тұрғыда, фон Нейман моделіндегі цифрлық компьютерлер процессорлардың жадқа қол жеткізе отырып, нақты нұсқауларды орындау арқылы жұмыс істейді. Ал кейбір нейрондық желілер биологиялық жүйелердегі ақпаратты өңдеу үдерісін модельдеу мақсатында жасалған. Фон Нейман моделінен айырмашылығы, коннекционистік есептеулерде жад пен өңдеу процестері бөлек қарастырылмайды.

1943 жылы Уоррен МакКаллок пен Уолтер Питтс нейрондық желілерге арналған оқытусыз есептеу моделін ұсынды. Бұл модель зерттеулердің екі бағытқа бөлінуіне жол ашты: бір бағыт биологиялық процестерге негізделсе, екіншісі жасанды интеллект үшін нейрондық желілерді қолдануға бағытталды.Kleene S (1956). "Representation of Events in Nerve Nets and Finite Automata". Annals of Mathematics Studies. No. 34. Princeton University Press. pp. 3–41. Retrieved

1940-жылдардың соңында Д. О. Хебб нейрондық пластикалық механизмге негізделген оқу гипотезасын ұсынды, бұл кейіннен Хебб ережесі деп аталды. Бұл әдіс Розенблаттың персептроны және Хопфилд желісі сияқты ерте нейрондық желілерде қолданылды. 1954 жылы Фарли мен Кларк есептеуіш машиналарды пайдаланып, Хебб желісін модельдеді. 1956 жылы Рочестер, Голланд, Хабит және Дуда нейрондық желілерге арналған басқа да есептеуіш машиналарды жасап шығарды.Rochester N, J.H. Holland, L.H. Habit, W.L. Duda (1956). "Tests on a cell assembly theory of the action of the brain, using a large digital computer". IRE Transactions on Information Theory. 2 (3): 80–93.

Персептрон және алғашқы нейрондық желілер

1958 жылы психолог Фрэнк Розенблат алғашқы жүзеге асырылған жасанды нейрондық желілердің бірі — персептронды сипаттады.Haykin (2008) Neural Networks and Learning Machines, 3rd edition Rosenblatt F (1958). "The Perceptron: A Probabilistic Model For Information Storage And Organization in the Brain". Psychological Review. 65 (6): 386–408.Werbos P (1975). Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences.Бұл зерттеу Америка Құрама Штаттарының Әскери-теңіз зерттеу басқармасы тарапынан қаржыландырылды. 1960 жылы Р. Д. Джозеф MIT Lincoln зертханасындағы Фарли мен Кларктың Розенблаттан бұрын персептронға ұқсас құрылғы жасағанын атап өтті. Алайда, олар бұл тақырыпты әрі қарай зерттемеді. Персептрон жасанды нейрондық желілерге деген қызығушылықты арттырды және АҚШ үкіметі бұл бағыттағы зерттеулерді қаржыландыруды күшейтті, бұл жасанды интеллекттің "алтын дәуірінің" басталуына ықпал етті.

Персептрондарда бейімделетін жасырын қабаттар болған жоқ. Алайда, Джозеф (1960) бейімделетін жасырын қабаты бар көпқабатты персептрондарды сипаттады. Розенблат (1962) бұл идеяларды қабылдап, оларды әрі қарай дамытты. Дегенмен, бұл ерте зерттеулер жасырын қабаттар үшін тиімді оқыту алгоритмін жасауға әкелген жоқ, яғни тереңінен оқыту мүмкін болмады.

1960-1970 жылдардағы тереңінен оқыту жетістіктері

1960-1970 жылдары жасанды нейрондық желілерге (ANN) қатысты маңызды зерттеулер жүргізілді. Алғашқы жұмыс істейтін тереңінен оқыту алгоритмі — деректерді өңдеудің топтық әдісі (Group Method of Data Handling, GMDH) 1965 жылы Кеңес Одағында Алексей Ивахненко мен Лапа тарапынан ұсынылды. Бұл әдіс полиномдық регрессия немесе Розенблаттың персептронының жалпыланған түрі ретінде қарастырылды.Ivakhnenko A (March 1970). "Heuristic self-organization in problems of engineering cybernetics". Automatica. 6 (2): 207–219. doi:10.1016/0005-1098(70)90092-0 1971 жылы сегіз қабатты терең желі осы әдіспен жаттықтырылды.Ivakhnenko A (1971). "Polynomial theory of complex systems" (PDF). IEEE Transactions on Systems, Man, and Cybernetics. SMC-1 (4): 364–378. doi:10.1109/TSMC.1971.4308320 Бұл әдіс қабат-қабат жаттықтыру арқылы регрессиялық талдауды қолданды. Жасырын қабаттар артық болған жағдайда, оларды алып тастау үшін бөлек тексеру жиынтығы пайдаланылды.

1967 жылы Сюнъичи Амари стохастикалық градиенттік түсу әдісін пайдаланып, көпқабатты персептронды оқыту алгоритмін ұсынды. Бұл әдіс кейінгі аппараттық құралдардың жетілдірілуімен және гиперпараметрлерді баптаумен бірге қазіргі кезде кеңінен қолданылатын тәсілге айналды.

1969 жылы Кунихико Фукушима ректификациялық сызықтық бірлік (ReLU) активация функциясын ұсынды. Бұл функция қазіргі тереңінен оқытуда ең танымал активация әдістерінің біріне айналды.Fukushima K (1979). "Neural network model for a mechanism of pattern recognition unaffected by shift in position—Neocognitron". Trans. IECE (In Japanese). J62-A (10): 658–665.Fukushima K (1980). "Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position". Biol. Cybern. 36 (4): 193–202. Schmidhuber J (2015). "Deep Learning in Neural Networks: An Overview". Neural Networks. 61: 85–117.

Кері тарату (Backpropagation) әдісі

Кері тарату әдісі Готфрид Вильгельм Лейбництің 1673 жылы әзірлеген тізбекті ереже тұжырымдамасына негізделген. Бұл терминді алғаш рет 1962 жылы Розенблат енгізгенімен, оны қалай жүзеге асыру керектігін білмеген. 1970 жылы Сеппо Линнайнмаа өз магистрлік диссертациясында қазіргі заманғы кері тарату әдісін сипаттады. 1982 жылы Пол Вербос бұл әдісті нейрондық желілерге қолданды, ал 1986 жылы Дэвид Румелхарт және оның әріптестері оны кеңінен танымал етті.

Конволюциялық нейрондық желілер (CNN)

1979 жылы Кунихико Фукушима конволюциялық нейрондық желі (CNN) архитектурасын және максималды біріктіру (max pooling) әдісін енгізді. Бұл әдістер қазіргі кезде компьютерлік көру жүйелерінде кеңінен қолданылады. 1989 жылы Янн Лекун қолжазбадағы ZIP кодтарды тану үшін CNN LeNet желісін жасады. 1998 жылы LeNet-5 нұсқасы 32×32 пиксельдік кескіндердегі сандарды тану үшін банктерде қолданылды.

Қайталанатын нейрондық желілер (RNN)

Қайталанатын нейрондық желілердің (RNN) бастапқы идеясы статистикалық механикадан шыққан. 1972 жылы Сюнъичи Амари Изинг моделінің салмақтарын Хебб ережесімен өзгерту арқылы ассоциативті жад моделін жасады. Кейін бұл тәсіл 1982 жылы Джон Хопфилд тарапынан танымал болды. 1986 жылы Джордан, ал 1990 жылы Элман қайталанатын нейрондық желілерді когнитивтік психологияны зерттеу үшін қолданды.

1991 жылы Юрген Шмидхубер "нейрондық тізбекті қысқартқыш" әдісін ұсынып, қазіргі кездегі алдын ала оқытудың (pre-training) негізін қалады.

Дереккөздер
Қазақ тілі терминдерінің салалық ғылыми түсіндірме сөздігі: Информатика және компьютерлік техника / Жалпы редакциясын басқарған – түсіндірме сөздіктер топтамасын шығару жөніндегі ғылыми-баспа бағдарламасының ғылыми жетекшісі, педагогика ғылымдарының докторы, профессор, Қазақстан Республикасы Мемлекеттік сыйлығының лауреаты А. Қ. Құсайынов. – Алматы: «Мектеп» баспасы» ЖАҚ, 2002 жыл. – 456 бет. ISBN 5-7667-8284-5

Санат:Ақпараттану
Санат:Компьютерлік техника

ar:شبكات عصبونية اصطناعية
bg:Невронна мрежа
bn:নিউরাল নেটওয়ার্ক
ca:Xarxa neuronal
cs:Neuronová síť
da:Neuralt netværk
de:Künstliches neuronales Netz
el:Νευρωνικό δίκτυο
en:Artificial neural network
eo:Artefarita neŭra reto
es:Red neuronal artificial
fi:Neuroverkot
fr:Réseau de neurones (biologie)
he:רשת עצבית מלאכותית
hi:कृत्रिम तंत्रिका नेटवर्क
hr:Neuronska mreža
hu:Neurális hálózat
id:Jaringan saraf tiruan
it:Rete neurale
ja:ニューラルネットワーク
ka:ხელოვნური ნეირონული ქსელი
ko:인공신경망
lt:Dirbtinis neuroninis tinklas
nl:Neuraal netwerk
pl:Sieć neuronowa
simple:Neural network
sk:Neurónová sieť
sl:Nevronska mreža
sr:Неуронске мреже
ta:செயற்கை நரம்பணுப் பிணையம்
th:ข่ายงานประสาทเทียม
tr:Yapay sinir ağları
uk:Штучні нейронні мережі
vi:Mạng nơ-ron nhân tạo
zh:人工神经网络