Жасанды нейронды желі

Жасанды нейрондық желі (ЖНЖ) — өзара әрекеттесетін жасанды нейрондар жиынтығы. Нейрон — ақпаратты қабылдап алатын, онымен қарапайым есептеулер жасап, әрі қарай тарататын есептеу бірлігі. Жасанды нейрондық желі өзара байланысқан бірліктерден немесе түйіндерден (нейрондардан) тұрады, олар мидағы биологиялық нейрондардың жұмысын шамамен модельдейді. Жақында биологиялық нейрондарға ұқсас жетілдірілген жасанды нейрондық модельдер зерттеліп, олардың өнімділікті айтарлықтай арттыратыны дәлелденді. Бұл нейрондар байланыстар (синапстар) арқылы бір-бірімен қосылады. Әрбір жасанды нейрон басқа нейрондардан сигнал алады, оны өңдейді және нәтижені келесі нейрондарға жібереді. Жұмыс принципі Әрбір нейрон кіріс сигналдарын қабылдайды, олар нақты сандар түрінде беріледі. Осы кірістердің салмақталған қосындысы белгілі бір белсендіру функциясы (activation function) арқылы өңделіп, шығыс мәні есептеледі. Байланыстардағы сигналдың күші салмақтар (weights) арқылы реттеледі, және олар оқыту процесінде өзгертіліп отырады. Қабаттар және терең нейрондық желілер Нейрондар әдетте қабаттарға біріктіріледі. Әр қабат кіріс деректеріне әртүрлі түрлендірулер жүргізуі мүмкін. Сигнал бірінші қабаттан (кіріс қабаты) басталып, соңғы қабатқа (шығыс қабаты) дейін өтеді, ал арада бірнеше жасырын қабаттар (hidden layers) болуы мүмкін. Егер нейрондық желіде екі немесе одан да көп жасырын қабаттар болса, онда ол терең нейрондық желі (deep neural network) деп аталады. Қолданылуы Жасанды нейрондық желілер әртүрлі салаларда кеңінен қолданылады, соның ішінде: * Болжамды модельдеу (predictive modeling) * Адаптивті басқару (adaptive control) * Жасанды интеллект мәселелерін шешу (artificial intelligence) Олар тәжірибе негізінде үйреніп, күрделі және байланыссыз болып көрінетін ақпарат жиынтығынан қорытынды жасай алады. Нейрондық желілердің артықшылықтары Нейронды желілер тарихы Ерте кезеңдегі зерттеулер Бүгінгі терең нейрондық желілер 200 жылдан астам уақыт бұрынғы статистика саласындағы зерттеулерге негізделген. Ең қарапайым алға бағытталған нейрондық желі (FNN) — бұл сызықтық желі, ол бір қабатты шығыс түйіндерінен және сызықтық активация функцияларынан тұрады. Кірістер тікелей шығысқа салмақ коэффициенттері арқылы беріледі. Әрбір түйінде осы салмақтар мен кірістердің көбейтінділерінің қосындысы есептеледі. Бұл есептелген нәтижелер мен мақсатты мәндер арасындағы орташа квадраттық қателіктерді азайту үшін салмақтарға түзету енгізіледі. Бұл әдіс екі ғасырдан астам уақыттан бері белгілі және оны ең кіші квадраттар әдісі немесе сызықтық регрессия деп атайды. Бұл тәсілді Лежандр (1805) және Гаусс (1795) планеталардың қозғалысын болжау үшін қолданған. Нейрондық желілер мен цифрлық компьютерлердің айырмашылығы Тарихи тұрғыда, фон Нейман моделі ндегі цифрлық компьютерлер процессорлардың жадқа қол жеткізе отырып, нақты нұсқауларды орындау арқылы жұмыс істейді. Ал кейбір нейрондық желілер биологиялық жүйелердегі ақпаратты өңдеу үдерісін модельдеу мақсатында жасалған. Фон Нейман моделінен айырмашылығы, коннекционистік есептеулерде жад пен өңдеу процестері бөлек қарастырылмайды. 1943 жылы Уоррен МакКаллок пен Уолтер Питтс нейрондық желілерге арналған оқытусыз есептеу моделін ұсынды. Бұл модель зерттеулердің екі бағытқа бөлінуіне жол ашты: бір бағыт биологиялық процестерге негізделсе, екіншісі жасанды интеллект үшін нейрондық желілерді қолдануға бағытталды. 1940-жылдардың соңында Д. О. Хебб нейрондық пластикалық механизмге негізделген оқу гипотеза сын ұсынды, бұл кейіннен Хебб ережесі деп аталды. Бұл әдіс Розенблаттың персептроны және Хопфилд желісі сияқты ерте нейрондық желілерде қолданылды. 1954 жылы Фарли мен Кларк есептеуіш машиналарды пайдаланып, Хебб желісін модельдеді. 1956 жылы Рочестер, Голланд, Хабит және Дуда нейрондық желілерге арналған басқа да есептеуіш машиналарды жасап шығарды. Персептрон және алғашқы нейрондық желілер 1958 жылы психолог Фрэнк Розенблат алғашқы жүзеге асырылған жасанды нейрондық желілердің бірі — персептронды сипаттады. Бұл зерттеу Америка Құрама Штаттарының Әскери-теңіз зерттеу басқармасы тарапынан қаржыландырылды. 1960 жылы Р. Д. Джозеф MIT Lincoln зертханасындағы Фарли мен Кларктың Розенблаттан бұрын персептронға ұқсас құрылғы жасағанын атап өтті. Алайда, олар бұл тақырыпты әрі қарай зерттемеді. Персептрон жасанды нейрондық желілерге деген қызығушылықты арттырды және АҚШ үкіметі бұл бағыттағы зерттеулерді қаржыландыруды күшейтті, бұл жасанды интеллекттің "алтын дәуірінің" басталуына ықпал етті. Персептрондарда бейімделетін жасырын қабаттар болған жоқ. Алайда, Джозеф (1960) бейімделетін жасырын қабаты бар көпқабатты персептрондарды сипаттады. Розенблат (1962) бұл идеяларды қабылдап, оларды әрі қарай дамытты. Дегенмен, бұл ерте зерттеулер жасырын қабаттар үшін тиімді оқыту алгоритмін жасауға әкелген жоқ, яғни тереңінен оқыту мүмкін болмады. 1960-1970 жылдардағы тереңінен оқыту жетістіктері 1960-1970 жылдары жасанды нейрондық желілерге (ANN) қатысты маңызды зерттеулер жүргізілді. Алғашқы жұмыс істейтін тереңінен оқыту алгоритмі — деректерді өңдеудің топтық әдісі (Group Method of Data Handling, GMDH) 1965 жылы Кеңес Одағы нда Алексей Ивахненко мен Лапа тарапынан ұсынылды. Бұл әдіс полиномдық регрессия немесе Розенблаттың персептронының жалпыланған түрі ретінде қарастырылды. 1971 жылы сегіз қабатты терең желі осы әдіспен жаттықтырылды. Бұл әдіс қабат-қабат жаттықтыру арқылы регрессиялық талдауды қолданды. Жасырын қабаттар артық болған жағдайда, оларды алып тастау үшін бөлек тексеру жиынтығы пайдаланылды. 1967 жылы Сюнъичи Амари стохастикалық градиенттік түсу әдісін пайдаланып, көпқабатты персептронды оқыту алгоритмін ұсынды. Бұл әдіс кейінгі аппараттық құралдардың жетілдірілуімен және гиперпараметрлерді баптаумен бірге қазіргі кезде кеңінен қолданылатын тәсілге айналды. 1969 жылы Кунихико Фукушима ректификациялық сызықтық бірлік (ReLU) активация функциясын ұсынды. Бұл функция қазіргі тереңінен оқытуда ең танымал активация әдістерінің біріне айналды. Кері тарату (Backpropagation) әдісі Кері тарату әдісі Готфрид Вильгельм Лейбництің 1673 жылы әзірлеген тізбекті ереже тұжырымдамасына негізделген. Бұл терминді алғаш рет 1962 жылы Розенблат енгізгенімен, оны қалай жүзеге асыру керектігін білмеген. 1970 жылы Сеппо Линнайнмаа өз магистрлік диссертациясында қазіргі заманғы кері тарату әдісін сипаттады. 1982 жылы Пол Вербос бұл әдісті нейрондық желілерге қолданды, ал 1986 жылы Дэвид Румелхарт және оның әріптестері оны кеңінен танымал етті. Конволюциялық нейрондық желілер (CNN) 1979 жылы Кунихико Фукушима конволюциялық нейрондық желі (CNN) архитектурасын және максималды біріктіру (max pooling) әдісін енгізді. Бұл әдістер қазіргі кезде компьютерлік көру жүйелерінде кеңінен қолданылады. 1989 жылы Янн Лекун қолжазбадағы ZIP кодтарды тану үшін CNN LeNet желісін жасады. 1998 жылы LeNet-5 нұсқасы 32×32 пиксельдік кескіндердегі сандарды тану үшін банктерде қолданылды. Қайталанатын нейрондық желілер (RNN) Қайталанатын нейрондық желілердің (RNN) бастапқы идеясы статистикалық механикадан шыққан. 1972 жылы Сюнъичи Амари Изинг моделінің салмақтарын Хебб ережесімен өзгерту арқылы ассоциативті жад моделін жасады. Кейін бұл тәсіл 1982 жылы Джон Хопфилд тарапынан танымал болды. 1986 жылы Джордан, ал 1990 жылы Элман қайталанатын нейрондық желілерді когнитивтік психологияны зерттеу үшін қолданды. 1991 жылы Юрген Шмидхубер "нейрондық тізбекті қысқартқыш" әдісін ұсынып, қазіргі кездегі алдын ала оқытудың (pre-training) негізін қалады. Дереккөздер *Қазақ тілі терминдерінің салалық ғылыми түсіндірме сөздігі: Информатика және компьютерлік техника / Жалпы редакциясын басқарған – түсіндірме сөздіктер топтамасын шығару жөніндегі ғылыми-баспа бағдарламасының ғылыми жетекшісі, педагогика ғылымдарының докторы, профессор, Қазақстан Республикасы Мемлекеттік сыйлығының лауреаты А. Қ. Құсайынов. – Алматы: «Мектеп» баспасы» ЖАҚ, 2002 жыл. – 456 бет. ISBN 5-7667-8284-5 ar:شبكات عصبونية اصطناعية bg:Невронна мрежа bn:নিউরাল নেটওয়ার্ক ca:Xarxa neuronal cs:Neuronová síť da:Neuralt netværk de:Künstliches neuronales Netz el:Νευρωνικό δίκτυο en:Artificial neural network eo:Artefarita neŭra reto es:Red neuronal artificial fi:Neuroverkot fr:Réseau de neurones (biologie) he:רשת עצבית מלאכותית hi:कृत्रिम तंत्रिका नेटवर्क hr:Neuronska mreža hu:Neurális hálózat id:Jaringan saraf tiruan it:Rete neurale ja:ニューラルネットワーク ka:ხელოვნური ნეირონული ქსელი ko:인공신경망 lt:Dirbtinis neuroninis tinklas nl:Neuraal netwerk pl:Sieć neuronowa simple:Neural network sk:Neurónová sieť sl:Nevronska mreža sr:Неуронске мреже ta:செயற்கை நரம்பணுப் பிணையம் th:ข่ายงานประสาทเทียม tr:Yapay sinir ağları uk:Штучні нейронні мережі vi:Mạng nơ-ron nhân tạo zh:人工神经网络