Արհեստական նեյրոնային ցանց

Մեքենայական ուսուցման մեջ, նեյրոնային ցանցը կամ արհեստական նեյրոնային ցանցը (կրճատ՝ ԱՆՑ կամ ՆՑ), կենդանիների ուղեղի կենսաբանական նեյրոնային ցանցերի կառուցվածքի և գործառույթների վրա հիմնված մոդել է։

ԱՆՑ-ն բաղկացած է կապակցված միավորներից կամ հանգույցներից, որոնք կոչվում են արհեստական ​​նեյրոններ, որոնք մոտավոր մոդելավորում են ուղեղի նեյրոնները։ Դրանք միացված են կողերով, որոնք մոդելավորում են ուղեղի սինապսները։ Յուրաքանչյուր արհեստական ​​նեյրոն ազդանշաններ է ստանում կապակցված նեյրոններից, այնուհետև դրանք մշակում և ազդանշան է ուղարկում իր հետ կապակցված այլ նեյրոններին։ «Ազդանշանը» իրական թիվ է, և  հաշվարկվում է նեյրոնի մուտքերի գումարի ոչ գծային ֆունկցիայի միջոցով, որը կոչվում է ակտիվացման ֆունկցիա։ Յուրաքանչյուր միացման ազդանշանի ուժը որոշվում է կշռով, որն ուսուցման ընթացքում ճշգրտվում է։

Սովորաբար, նեյրոնները համախմբված են շերտերի մեջ։ Տարբեր շերտերը իրենց մուտքերի վրա տարբեր փոխակերպումներ կարող են կատարել։ Ազդանշաններն առաջին շերտից (մուտքային շերտ) փոխանցվում են վերջին շերտ (ելքային շերտ)՝ հնարավոր է անցնելով մի քանի միջանկյալ շերտերով (թաքնված շերտեր)։ Ցանցը սովորաբար կոչվում է խորը նեյրոնային ցանց, եթե այն առնվազն 2 թաքնված շերտ ունի։

Արհեստական նեյրոնային ցանցերն օգտագործվում են կանխատեսող մոդելավորման, հարմարվողական կառավարման, արհեստական ինտելեկտի և այլ խնդիրներ լուծելու համար։ Նրանք կարող են սովորել փորձից և կարող են եզրակացություններ անել բարդ և թվացյալ կապ չունեցող տեղեկատվությունների բազմությունից։

 Ուսուցում 
Նեյրոնային ցանցերը սովորաբար վերապատրաստվում են էմպիրիկ ռիսկերի նվազեցման միջոցով։ Այս մեթոդը հիմնված է ցանցի պարամետրերի օպտիմալացման գաղափարի վրա՝ կանխատեսվող արդյունքի և  տվյալ տվյալների բազայի իրական նպատակային արժեքների միջև տարբերությունը՝ էմպիրիկ ռիսկը, նվազագույնի հասցնելու վրա։ Ցանցի պարամետրերը գնահատելու համար սովորաբար օգտագործվում են գրադիենտի մեթոդներ, ինչպիսիք են սխալի հետտարածումը։ Ուսուցման փուլում ԱՆՑ-ները սովորում են նշված ուսուցող տվյալներից՝ պարբերաբար թարմացնելով իրենց պարամետրերը՝ կորստի ֆունկցիան նվազագույնի հասցնելով համար։ Այս մեթոդը ցանցին թույլ է տալիս ընդհանրացնել չերևացող տվյալները։

 Պատմություն 
Պատմականորեն թվային համակարգիչները առաջացել են ֆոն Նեյմանի մոդելից և գործում են մի շարք պրոցեսորների կողմից հիշողության  նկատմամբ հստակ հրահանգների կատարման միջոցով։ Մյուս կողմից, նեյրոնային ցանցերը առաջացել են կենսաբանական համակարգերի կապակցվածության հաշվարկով տեղեկատվության մշակման մոդելավորման արդյունքում։ Ի տարբերություն ֆոն Նեյմանի մոդելի, կապակցական հաշվարկը հիշողությունը մշակումից չի տարանջատում։

Ուղիղ կապով նեյրոնային ցանցի (FNN) ամենապարզ տեսակը դա գծային ցանցն է, որը բաղկացած է ելքային հանգույցների մեկ շերտից. մուտքերը ուղղակիորեն տրվում են ելքերին մի շարք կշիռների միջոցով։ Յուրաքանչյուր հանգույցում հաշվարկվում է kշիռների արտադրյալների և մուտքերի գումարը։ Այս հաշվարկված արդյունքների և տրված թիրախային արժեքների միջև միջին քառակուսի սխալները նվազագույնի են հասցվում կշիռների ճշգրտման միջոցով։ Այս տեխնիկան հայտնի է ավելի քան երկու դար որպես նվազագույն քառակուսիների կամ գծային ռեգրեսիայի մեթոդ։ Լեժանդրը (1805) և Գաուսը (1795) այն օգտագործել են մի շարք կետերին լավ կոպիտ գծային համապատասխանություն գտնելու միջոց՝ մոլորակների շարժման կանխատեսման համարMansfield Merriman, "A List of Writings Relating to the Method of Least Squares"։

Ուորեն ՄաքՔալոկը և Ուոլթեր Փիթսը (1943) նեյրոնային ցանցերի համար նույնպես դիտարկել են սովորել չպահանջող հաշվողական մոդելը։

1940-ականների վերջին Դոնալդ Հեբբը ստեղծեց ուսուցման վարկած՝ հիմնված նեյրոնային պլաստիկության մեխանիզմի վրա, որը հայտնի դարձավ որպես Հեբբի ուսուցում։ Հեբբի ուսուցումը համարվում է «տիպիկ» ինքնուսուցման կանոն, և դրա հետագա տարբերակները երկարաժամկետ հզորացման վաղ մոդելներ էին։ Այս գաղափարները սկսեցին կիրառվել հաշվողական մոդելների՝ 1948 թվականին Թյուրինգի «անկազմակերպ մեքենաների» վրա։ Ֆարլին և Ուեսլի Ա. Քլարկը առաջինն էին, ովքեր 1954 թվականին MIT-ում նմանակեցին Հեբբի ցանցը։ Նրանք օգտագործում էին հաշվողական մեքենաներ, որոնք այն ժամանակ կոչվում էին «հաշվիչներ»։ Նեյրոնային ցանցի այլ հաշվողական մեքենաներ ստեղծվել են Ռոչեսթերի, Հոլանդի, Հաբիթի և Դուդայի կողմից 1956 թվականին։ 1958 թվականին հոգեբան Ֆրենկ Ռոզենբլատը հորինել է պերցեպտրոնը՝ առաջին ներդրված արհեստական ​​նեյրոնային ցանցըHaykin (2008) Neural Networks and Learning Machines, 3rd edition, որը ֆինանսավորվել էր Միացյալ Նահանգների ռազմածովային հետազոտությունների գրասենյակի կողմից։

Պերցեպտրոնի գյուտը բարձրացրեց հանրային ոգևորությունը արհեստական ​​նեյրոնային ցանցերում հետազոտությունների նկատմամբ՝ ինչը ԱՄՆ կառավարությանը ստիպեց կտրուկ ավելացնել խորը ուսուցման հետազոտության ֆինանսավորումը։ Սա հանգեցրեց «AI-ի ոսկե դարաշրջանին», ինչին օժանդակում էին համակարգչային գիտնականների  լավատեսական հայտարարությունները՝ պերցեպտրոնների՝ մարդկային ինտելեկտը ընդօրինակելու կարողության վերաբերյալ։ Օրինակ, 1957 թվականին Հերբերտ Սայմոնը հայտարարել է․
Այնուամենայնիվ, դա այդքան էլ այդպես չէր, քանի որ Մինսկու և Փեյպերտի (1969) աշխատանքից հետո Միացյալ Նահանգներում հետազոտությունները լճացել էին, ովքեր հայտնաբերեցին, որ հիմնական պերցեպտրոններն ի վիճակի չեն մշակել բացառիկ կամ համապարփակ շրջան, և որ համակարգիչները բավարար հզորություն չունեն օգտակար նեյրոնային ցանցեր մշակելու համար։ Սա, ի թիվս այլ գործոնների, ինչպիսիք են 1973 թվականին Ջեյմս Լայթհիլի զեկույցը, որում ասվում է, որ Արհեստական ​​ինտելեկտի հետազոտությունը «չի տվել այն ժամանակ խոստացված մեծ ազդեցությունը», բերեց ԱԻ-ի հետազոտությունների ֆինանսավորման փակմանը Մեծ Բրիտանիայում և աշխարհի բազմաթիվ խոշոր հաստատություններում, բացառությամբ երկու համալսարանի։ Սա ԱԻ Ձմեռ դարաշրջանի սկիզբ դրեց՝ պայմանավորված Միացյալ Նահանգներում և այլ արևմտյան երկրներում պետական ​​ֆինանսավորման նվազմամբ և արհեստական ​​ինտելեկտի նկատմամբ ուշադրության անկմամբ։

ԱԻ Ձմեռ շրջանում, սակայն, ԱՄՆ-ից դուրս, հատկապես Արևելյան Եվրոպայում, հետազոտությունները շարունակվեցին։ Մինսկու և Փեյփերտի «Պերցեպտրոնների մասին» գրքի հրատարակվելու պահին,  բազմաշերտ պերցեպտրոնների (ԲՇՊ) ուսուցման մեթոդները արդեն հայտնի էին։ Առաջին խորը ուսուցման ԲՇՊ-ն, որպես տվյալների մշակման խմբային մեթոդ, 1965 թվականին հրատարակվել է Ալեքսեյ Գրիգորևիչ Իվախնենկոյի և Վալենտին Լապայի կողմից, որպես տվյալների մշակման խմբային մեթոդ։ Առաջին խորը ուսուցման ԲՇՊ-ն, որը ուսուցանվել է ստոխաստիկ գրադիենտ մեթոդով 1967 թվականին հրատարակվել է Շունիչի Ամարիի կողմից։

1982 թվականին Տևո Կոհոնենը նկարագրել է ինքնակազմակերպվող քարտեզները (ԻԿՔ)։ ԻԿՔ-ները նեյրոնային ցանցեր են, որոնք սովորում են լայնածավալ տվյալների փոքր չափերի ներկայացումներ՝ պահպանելով տվյալների տոպոլոգիական կառուցվածքը։ Դրանք սովորում են մրցակցային ուսուցման եղանակով։

 Մոդելներ 
Արհեստական նեյրոնային ցանցերը (ԱՆՑ) սկիզբ դրվեց որպես փորձ՝  մարդկային ուղեղի ճարտարապետությունը օգտագործելու այնպիսի առաջադրանքներ կատարելու համար, որոնցում սովորական ալգորիթմներն առանձնապես մեծ հաջողություն չունեին։ Նրանք շուտով շրջվեցին դեպի էմպիրիկ արդյունքների բարելավում՝ հրաժարվելով իրենց կենսաբանական նախորդներին հավատարիմ մնալուց։ ԱՆՑ-երն ունեն ոչ գծային և բարդ հարաբերություններ սովորելու և մոդելավորելու ունակություն։ Սա ձեռք է բերվում տարբեր ձևերով միացված նեյրոնների միջոցով, ինչը թույլ է տալիս որոշ նեյրոնների ելքը դառնալ մյուսների մուտքը։ Ցանցն իրենից ներկայացնում է ուղղորդված, կշիռներով գրաֆ։

Արհեստական ​​նեյրոնային ցանցը բաղկացած է մոդելավորված նեյրոններից։ Յուրաքանչյուր նեյրոն, կենսաբանական աքսոն-սինապս-դենդրիտ կապի նման կապերի միջոցով, կապված է այլ գագաթների՝ հանգույցների հետ։ Կապերով միացած բոլոր հանգույցները վերցնում են որոշ տվյալներ և դրանք օգտագործում հատուկ գործողություններ և առաջադրանքներ կատարելու համար։ Յուրաքանչյուր կապ ունի կշիռ, որը ներկայացնում է մեկ հանգույցի ազդեցության ուժը մյուսի վրա։
 Արհեստական ​​նեյրոններ 
ԱՆՑ-երը կազմված են արհեստական ​​նեյրոններից, որոնք գաղափարապես բխում են կենսաբանական նեյրոններից։ Յուրաքանչյուր արհեստական ​​նեյրոն ունի մուտքեր և արտադրում է մեկ ելք, որը կարող է ուղարկվել բազմաթիվ այլ նեյրոնների։ Մուտքերը կարող են լինել արտաքին տվյալների նմուշի հատկությունների արժեքները, ինչպիսիք են պատկերները կամ փաստաթղթերը, կամ դրանք կարող են լինել այլ նեյրոնների ելքեր։ Նյարդային ցանցի վերջնական ելքային նեյրոնների ելքերը ամբողջացնում են առաջադրանքը, օրինակ՝ պատկերի մեջ օբյեկտի ճանաչումը։

Նեյրոնի ելքը գտնելու համար մենք վերցնում ենք մուտքերից դեպի նեյրոն կապերի կշիռների գումարը։ Այս գումարին ավելացնում ենք շեղումը։ Այս կշռված գումարը երբեմն կոչվում է ակտիվացում։ Արդյունքը ստանալու համար այս կշռված գումարն անցնում է (սովորաբար ոչ գծային) ակտիվացման ֆունկցիայի միջով։ Սկզբնական մուտքերը արտաքին տվյալներ են, ինչպիսիք են պատկերները և փաստաթղթերը։ Վերջնական արդյունքները կատարում են առաջադրանքը, օրինակ՝ պատկերի մեջ օբյեկտի ճանաչումը։
 Կառուցվածք 
Նեյրոնային ցանցը սովորաբար կազմված է մի քանի շերտերից, հատկապես խորը ուսուցման մեջ։ Մեկ շերտի նեյրոնները միանում են միայն անմիջապես նախորդող և անմիջապես հաջորդող շերտերի նեյրոններին։ Արտաքին տվյալներ ստացող շերտը մուտքային շերտն է։ Շերտը, որը վերջնական արդյունք է տալիս, ելքային շերտն է։ Նրանց կարող են լինել կամ չլինել թաքնված շերտեր։ Լինում են նաև միաշերտ և անշերտ ցանցեր։ Երկու շերտերի միջև հնարավոր են միացման մի քանի ձևեր։ Դրանք կարող են «ամբողջովին միացած» լինել՝ մի շերտի յուրաքանչյուր նեյրոն կապված լինի հաջորդ շերտի յուրաքանչյուր նեյրոնին։ Նրանք կարող են խմբավորված լինել՝ մի շերտի նեյրոնների խումբը կապված է հաջորդ շերտի մեկ նեյրոնին։ Միայն նման կապերով նեյրոնները կազմում են ուղղորդված ացիկլիկ գրաֆ և հայտնի են որպես ուղիղ կապերով նեյրոնային ցանցեր։. Այլընտրանքային, ցանցերը, որոնք թույլ են տալիս կապեր նույն կամ նախորդ շերտերի նեյրոնների միջև, հայտնի են որպես պարբերական ցանցեր։
 Հիպերպարամետր 

Հիպերպարամետրը հաստատուն պարամետր է, որի արժեքը սահմանվում է ուսուցման գործընթացի սկսվելուց առաջ, ի տարբերություն այլ պարամետրերի, որոնց արժեքները ստացվում են ուսուցման միջոցով։ Հիպերպարամետրերի օրինակներ են սովորելու արագությունը, թաքնված շերտերի քանակը և փաթեթի չափը։ Օրինակ, որոշ շերտերի չափը կարող է կախված լինել շերտերի ընդհանուր քանակից։
 Ուսուցում 

Ուսուցումը դա նմուշային օրինակների դիտարկման միջոցով ցանցի հարմարեցումն է առաջադրանքն ավելի լավ կատարելու համար։ Ուսուցումը ներառում է ցանցի կշիռների (և ընտրովի շեմերի) սրբագրումը՝ արդյունքի ճշգրտությունը բարելավելու համար։ Դա արվում է նշմարված սխալները նվազագույնի հասցնելու միջոցով։ Ուսուցումն ավարտվում է, երբ լրացուցիչ դիտարկումների ուսումնասիրությունը չի բերում սխալների չափաբաժնի նվազմանը։ Նույնիսկ սովորելուց հետո չափաբաժինը սովորաբար չի հասնում 0-ի։ Եթե սովորելուց հետո սխալների քանակը չափազանց բարձր է, ցանցը անհրաժեշտ է վերանախագծել։ Գործնականում դա արվում է ծախսերի ֆունկցիայի որոշման միջոցով, որն ուսուցման ընթացքում պարբերաբար գնահատվում է։ Քանի դեռ դրա արժեքը շարունակում է նվազել, ուսումը շարունակվում է։ Արժեքը հաճախ դիտարկվում է որպես վիճակագրություն, որի արժեքը կարող է միայն մոտավոր լինել։ Արդյունքները իրականում թվեր են, ուստի արդյունքի՝ (գրեթե անկասկած կատու) և ճիշտ պատասխանի՝ (կատու) միջև տարբերությունը փոքր է։ Ուսուցումը փորձում է նվազեցնել դիտարկումների միջև եղած տարբերությունների ընդհանուր ցուցանիշը։ Ուսուցման մոդելների մեծ մասը կարող է դիտվել որպես օպտիմիզացիոն տեսության և վիճակագրական գնահատման ուղղակի կիրառություն։

 Ուսուցման մակարդակը 
Յուրաքանչյուր դիտարկման ժամանակ սխալներն ուղղելու համար մոդելի ձեռնարկած քայլերի քանակը որոշում է ուսուցման արագությունը։
 Ուսուցման բարձր արագությունը կրճատում է ուսուցման ժամանակը, բայց ավելի ցածր վերջնական ճշգրտությամբ, մինչդեռ ցածր ուսուցման արագությունը ավելի երկար է տևում, բայց ավելի մեծ ճշգրտություն է ապահովում։ Օպտիմալացումները, ինչպիսիք են Quickprop-ը հիմնականում ուղղված են արագացնելու սխալների նվազեցնելը, մինչդեռ այլ բարելավումները հիմնականում փորձում են բարձրացնել հուսալիությունը։ Ցանցի ներսում տատանումներից խուսափելու համար, ինչպիսիք են կապի փոփոխական կշիռները, և բարելավելու զուգամիտման արագությունը, ճշգրտումները օգտագործում են հարմարվողական ուսուցման արագությունը, որը մեծանում կամ նվազում է ըստ անհրաժեշտության։
 Ուսուցման պարադիգմներ 
Մեքենայական ուսուցումը սովորաբար բաժանվում է երեք հիմնական ուսուցման պարադիգմների՝ վերահսկվող ուսուցում, չվերահսկվող ուսուցում և ամրապնդող ուսուցում։ Յուրաքանչյուրը համապատասխանում է որոշակի ուսումնական առաջադրանքի։
 Վերահսկվող ուսուցում 
Վերահսկվող ուսուցումն օգտագործում է մուտքերի և ցանկալի արդյունքների զույգերի հավաքածու։ Ուսուցման խնդիրն է յուրաքանչյուր մուտքի համար ցանկալի արդյունք ստանալ։ Այս դեպքում ծախսերի ֆունկցիան կապված է սխալ արդյունքները վերացնելու հետ։ Սովորաբար օգտագործվող արժեքը միջին քառակուսի սխալն է, որը փորձում է նվազագույնի հասցնել ցանցի ելքի և ցանկալի արդյունքի միջև միջին քառակուսի սխալը։ Վերահսկվող ուսուցման համար հարմար առաջադրանքներ են օրինաչափությունների ճանաչումը (հայտնի է նաև որպես դասակարգում) և ռեգրեսիան (նաև հայտնի է որպես ֆունկցիայի մոտարկում)։ Վերահսկվող ուսուցումը կիրառելի է նաև հաջորդական տվյալների համար (օրինակ՝ ձեռագրի, խոսքի և ժեստերի ճանաչման համար)։ Սա կարելի է ընկալել որպես «ուսուցչի» հետ ուսուցում՝ ֆունկցիայի տեսքով, որն ապահովում է մինչ այժմ ստացված լուծումների որակի վերաբերյալ շարունակական հետադարձ կապ։

 Ժամանակագրություն 
 1943 թվականին Ու. ՄակՔալոկը և Ու. Պիտսը ձևավորում են նեյրոնային ցանցի հասկացությունը նյարդային ակտիվության և գաղափարների տրամաբանական հաշվարկի վերաբերյալ հիմքային հոդվածում.
 1948 թվականին Նորբերտ Վիները գործընկերների հետ միասին հրատարակեցին կիբերնետիկայի մասին աշխատանքը։ Հիմնական գաղափարը հանդիսանում է մաթեմատիկական մոդելների միջոցով բարդ բիոլոգիական պրոցեսների ներկայացումը։
 1949 թվականին Դ. Խեբբը առաջարկում է ուսուցման առաջին ալգորիթը։
 1958 թվականին Ֆ. Ռոզենբատտը ստեղծում է միաշերտ պերսեպտրոն և ցույց է տալիս դասակարգման խնդիրները լուծելու նրա կարողությունը։ Պերսեպտրոնը կիրառում էին կերպարների ճանաչման, եղանակի կանխատեսման և այլ խնդիրներում։ Պերսեպտրոնի հայտնագործման պահին ավարտվել էր Վինների «կիբերնետիկայի» հետ ՄակՔալոնի տարակարծությունը։ Թվում էր, թե ամբողջական արհեստական ինտելեկտի կառուցումը այլևս սարերի ետևում չէ։ ՄակՔալոկը և նրա հետնորդները դուրս եկան «Կիբերնետիկական ակումբի» կազմից։
 1960 թվականին Ուիդրոուն իր ուսանող Խոֆֆոմի հետ համատեղ դելտա-կանոնի հիման վրա (Ուիդրոուի բանաձևեր) մշակեցին Ադալինը, որը անմիջապես սկսեց կիրառվել կանխատեսման և արդյունավետ կառավարման խնդիրներում։ Ադալինը կառուցվել էր նրանց (Ուիդրոու - Խոֆֆոմ) իսկ կողմից արդեն ստեղծված սկուզբունքորեն նոր էլեմենտների բազայի հիման վրա՝ մեմիստորի հիման վրա. Այժմ Ադալինը հանդիսանում է ազդանշանների մշակման բազմաթիվ համակարգերի ստանդարտ էլեմենտըՈւիդրոու Վ., Ստիրնս Ս.,Ազդանշանների արդյունավետ կառավարում։ Ռադիո և կապ, 1989. — 440 էջ։
 1963 թվականին ԽՍՀՄ ԳԱ Ինֆորմացիայի փոխանցման խնդիրների ինստիտուտում Ա. Պ. Պետրովի կողմից կատարվում է պերցեպտրոնի համար «բարդ» խնդիրների մանրակրկիտ ուսումնասիրություն. ԱՆՑ մոդելավորման ոլորտում այդ պիոներական աշխատանքը ԽՍՀՄ-ում ծառայեց որպես Մ. Մ. Բոնգարդի համար նոր գաղափարների կոմպլեքսի աղբյուր, որպես «պերցեպտրոնի ալգորիթմի փոքր համեմատական ձևափոխություն թերությունները ուղղելու համար: Ա. Պետրովի և Մ. Մ. Բոնգարդի աշխատանքները նպաստեցին, որ ԽՍՀՄ-ում ԱՆՑ վերաբերյալ առաջին էյֆորիայի ալիքը հարթվի։
 1969 թվականին Մ. Մինսկին հրապարակում է պերցեպտրոնի սահմանափակության փաստերը և ցույց է տալիս, որ այն ունակ չէ լուծելու մի շարք խնդիրներ ("Ազնվության" և "միայնակ բլոկում" խնդիրներ)` կապված ներկայացումների այլաձևության հետ։ Նեյրոնային ցանցերի նկատմամբ հետաքրքրությունը կտրուկ ընկնում է։
 1973 թվականին Վ. Վ. Խակիոմովը առաջարկում է սպլայների հիման վրա սինապսներով ոչ գծային մոդել և ներդնում է այն բժշկության, էկոլոգիայի, երկրաբանության խնդիրների լուծման համար։ Խակիմով Վ. Վ. Սպլայներով կոռելյացիոն կախվածությունների մոդելավորում երկրաբանության և էկոլոգիայի օրինակներով . — Մ.: «ՄՊՀ»։ «Նևա»,2003, 144 էջ.
 1974 թվականին Պոլ Ջ. ՎերբոսըWerbos P. J., Beyond regression: New tools for prediction and analysis in the behavioral sciences. Ph.D. thesis, Harvard University, Cambridge, MA, 1974. և Ա. Ի. ԳալուշկինըԳալուշկին Ա. Ի. Կերպարների ճանաչման բազմաշերտ համակարգի սինթեզ — Մ.: «Էներգիա», 1974. միաժամանակ ստեղծում են սխալների հետադարձ տարածման ալգորիթը բազմաշերտ պերցեպտրոնների ուսումնասիրման համար։ Հայտնագործությունը առանձնապես ուշադրության չի արժանանում։
 1975 թվականին Կունիխիկո Ֆուկսիման ներկայացնում է կոգնիտրոնը. ինքնաձևավորվող ցանց` նախատեսված այլընտրանքային պատկերների ճանաչման համար, սակայն դա հասանելի է փաստացիորեն պատկերների բոլոր վիճակների հիշման պարագայում։
 1982 թվականին մոռացության էտապից հետո նեյրոնային ցանցերի նկատմամբ հետաքրքրությունը կրկին աճում է։ Ջոն Հոպֆիլդը (:en:John Joseph Hopfield) ցույց տվեց, որ հետադարձ կապերով նեյրոնային ցանցը կարող է իրենից ներկայացնել համակարգ, որը նվազեցնում է էներգիան (այսպես կոչված Հոպֆիլդի ցանց) ։ Կոխոնենի կողմից ներկայացված են անցերի մոդելներ, որոնք ուսուցանվում են առանց ուսուցչի (Կոխոնենի նեյրոնային ցանց)և լուծում են կլաստերիզացիայի խնդիրներ,տվյալների վիզուալիզացիա (Կոխոնենի ինքնակազմակերպվող քարտ)և տվյալների վերլուծության այլ խնդիրներ։
 1986 թվականին Դեվիդ Ի. Ռումելխարտի, Ջեֆրի Հինթոնի և Ռոնալդ Ջ. ՎիլյամսիRumelhart D.E., Hinton G.E., Williams R.J., Learning Internal Representations by Error Propagation. In: Parallel Distributed Processing, vol. 1, pp. 318—362. Cambridge, MA, MIT Press. 1986. և իրարից անկախ ու միաժամանակ Ս. Ի. Բարցևի և Վ. Ա. Օխոնինի կողմից (Կրասնոյարսկյան խումբ)Բարցև Ս. Ի., Օխոնին Վ. Ա. Ինֆորմացիայի մշակման արդյունավետ ցանցեր. Կրասնոյարսկ։ АН СССР, 1986. Препринт N 59Б. — 20 с. մշակվել և զարգացել է սխալների հետադարձ տարածման մեթոդը։ Սկսվեց ուսուցանվող նեյրոնային ցանցերի նկատմամբ հետաքրքրությունը։

 Ինչ է նեյրոնային ցանցը 
 Նեյրոն 
Նեյրոնը հաշվողական միավոր է, որը տեղեկատվություն է ստանում, պարզ հաշվարկներ է կատարում դրա վրա և փոխանցում։ Դրանք բաժանվում են երեք հիմնական տեսակի՝ մուտքային, թաքնված և ելքային։ Այն դեպքում, երբ նեյրոնային ցանցը բաղկացած է մեծ թվով նեյրոններից, ներմուծվում է շերտ տերմինը։ Համապատասխանաբար, կա մուտքային շերտ, որը ստանում է տեղեկատվություն, թաքնված շերտեր, որոնք մշակում են այն, և ելքային շերտ, որը ցուցադրում է արդյունքը։ Նեյրոններից յուրաքանչյուրն ունի 2 հիմնական պարամետր՝ մուտքային տվյալներ (input data) և ելքային տվյալներ (output data)։ Մուտքային նեյրոնի դեպքում՝ input=output։ Մնացած մասում մուտքագրման դաշտը պարունակում է նախորդ շերտի բոլոր նեյրոնների ընդհանուր տեղեկատվությունը, որից հետո այն նորմալացվում է՝ օգտագործելով ակտիվացման ֆունկցիան։

Նեյրոնը կատարում է պարզագույն գործողություն՝

,

Որտեղ wi – սինապսի կշիռը, xi – նեյրոնի արժեքը, b – կոնստանտ, որը նույնպես փոփոխվում է նեյրոնային ցանցի սովորելու ընթացքում։

 Սինապս 
Սինապսը կապ է երկու նեյրոնների միջև։ Սինապսներն ունեն 1 պարամետր՝ կշիռ (weight)։ Նրա շնորհիվ մուտքային տեղեկատվությունը փոխվում է, երբ այն փոխանցվում է մի նեյրոնից մյուսը։ Ենթադրենք կան 3 նեյրոններ, որոնք տեղեկատվություն են փոխանցում հաջորդին։ Այնուհետև մենք ունենք 3 կշիռ, որոնք համապատասխանում են սինապսներից յուրաքանչյուրին։ Ավելի մեծ քաշ ունեցող սինապսի համար այդ տեղեկատվությունը գերիշխող կլինի հաջորդ նեյրոնում։ Նեյրոնային ցանցի կշիռների հավաքածուն կամ քաշի մատրիցը ամբողջ համակարգի ուղեղն է։ Այդ կշիռների շնորհիվ է, որ մուտքային տեղեկատվությունը մշակվում և վերածվում է արդյունքի։

 Նեյրոնային Ցանցը՝ որպես ամբողջություն 
Նեյրոնային ցանցը նեյրոնների հաջորդականություն է, որոնք միացված են սինապսներով։ Նեյրոնային ցանցի կառուցվածքը եկել է անմիջապես կենսաբանությունից։ Այս կառուցվածքի շնորհիվ մեքենան ձեռք է բերում տարբեր տեղեկություններ վերլուծելու ունակություն։ Նեյրոնային ցանցերը նաև ունակ են ոչ միայն վերլուծել մուտքային տեղեկատվությունը, այլև վերարտադրել այն իրենց հիշողությունից։ Այլ կերպ ասած, նեյրոնային ցանցը մարդու ուղեղի մեքենայական մեկնաբանությունն է, որը պարունակում է միլիոնավոր նեյրոններ, որոնք տեղեկատվություն են փոխանցում էլեկտրական իմպուլսների տեսքով։

 Հայտնի կիրառություններ 
 Կերպարների ճանաչում և դասակարգում 

Որպես կերպարներ կարող են հանդես գալ տարբեր օբյեկտներ ` տեքստի սիմվոլներ, պատկերներ, երաժշտության օրինակներ և այլն։ Ուսուցման ժամանակ ցանցին առաջարկվում են կերպարների տարբեր օրինակներ ` նշելով, թե որ դասին է այն պատկանում։ Օրինակը, որպես կանոն, ներկայացվում է որպես արժեքների նախանշանների վեկտոր։ Այդ դեպքում բոլոր նախանշանների ամբողջությունը պետք է միանշանակ որոշի դասը, որին վերաբերում է օրինակը։ Եթե նախանշանները բավարար չեն, ցանցը կարող է միևնույն կերպարը վերագրել մի քանի դասերի, ինչը հավանաբարBaseGroup Labs — Նեյրոցանցերի պրակտիկ կիրառումն է դասակարգման խնդիրներում: Ցանցերի ուսուցման ավարտին նրանց կարելի է ներկայացնել անհայտ վաղեմի կերպարներ և ստանալ որոշակի դասին պատկանելության վերաբերյալ պատասխան։

Նման ցանցի տրամաբանությունը բնութագրվում է նրանով, որ ելքային շերտում նեյրոնների քանակը, որպես կանոն, հավասար է որոշվող դասերի քանակին։ Այդ դեպքում նեյրոնային ցանցի ելքի և դասի միջև հաստատվում է համապատասխանություն, որն այն ներկայացնում է։ Երբ ցանցին ներկայացվում է որոշակի կերպար, ելքերից մեկում պետք է հայտնվի այն բանի նախանշանը, որ կերպարը պատկանում է այդ դասին։ Միևնույն ժամանակ այլ ելքերում պետք է լինի այն բանի նախանշանը, որ կերպարը տվյալ դասին չի պատկանումԿոդավորման նման տեսքը հաճախ անվանում են կոդ «1-ը N-ից»։ Եթե երկու կամ ավելի ելքերում առկա է դասին պատկանելիության նախանշան, ապա համարվում է, որ ցանցը «վստահ չէ» իր պատասխանում։

 Որոշումների ընդունում և կառավարում 
Այս խնդիրը մոտ է դասակարգման խնդրին։ Դասակարգումը ենթակա է իրավիճակին,որի բնութագրերը մուտքգրվում են նեյրոնային ցանցի մուտքում։ Ցանցի ելքում պետք է այդ պարագայում հայտնվի լուծման կանխատեսումը, որը ցանցը ընդունել է։ Այդ պարագայում որպես մուտքային ազդանշաներ կիրառվում են կառավարվող համակարգի վիճակը բնութագրող տարբեր չափանիշներԲաց համակարգեր — նեյրոցանցերում ներդնումը.

 Կլաստերիզացիա 
Կլաստերիզացիայի ներքո հասկացվում է բազմաթիվ մուտքային ազդանշանների բաժանումը դասերի, ընդ որում այնպես, որ ոչ քանակը և ոչ էլ դասերի նախանշանները նախապես հայտնի չեն։ Ուսումնասիրումից հետո նման ցանցը կարող է որոշել, թե որ դասին է պատկանում մուտքային ազդանշանը։ Ցանցը կարող է ազդանշան տալ նաև այն մասին, որ մուտքային ազանշանը չի պատկանում առանձնացված դասերից և ոչ մեկին, ինչն էլ հանդիսանում է նոր, ուսուցանվող ընտրանքում բացակայող տվյալների նախանշանը։ Այդ պարագայում, նման ցանցը կարող է առաջացնել նոր, նախկինում անհայտ ազդանշանների դասեր ։ Դասերի միջև դասերի և ցանցի կողմից առանձնացված, առարկայական տիրույթում գոյություն ունեցող համապատասխանությունը հաստատվւոմ է մարդու կողմից։ Կլաստերիզացիան իրականացնում են օրինակ ՝ Կոխոնենի նեյրոնային ցանցը։

Նեյրոնային ցանցերը Կոխոնենի պարզ տարբերակում չեն կարող մեծ լինել, այդ իսկ պատճառով էլ դրանք բաժանում են հիպերշերտերի (հիպերսյունակների) և միջուկի (միկրոսյուների):Եթե համեմատել մարդու ուղեղի հետ, ապա զուգահեռ շերտերի իդեալական քանակը չպետք է գերազանցի 112-ը։ Այդ շերտերը իրենց հերթին կազմում են հիպերշերտեր (հիպերսյունակ), որոնցում առկա է 500 -ից 2000 միկրոսյունակ (միջուկ)։ Այդ պարագայում յուրաքանչյուր շերտ բաժանվում է բազմաթիվ հիպերսյունակների, որոնք ներտափանցում են շերտերի մեջ։ Միկրոսյունակները կոդավորվում են թվերով և միավորներով,որոնք ելքում որպես արդյունք են ստացվում։ Եթե անհրաժեշտ է, ապա ավելորդ շերտերը կամ նեյրոնները հեռացվում են կամ ավելացվում։ Նեյրոնների կամ շերտերի քանակի որոշման համար իդեալական է սուպերհամակարգիչների կիրառումը։ Այդպիսի համակարգը թույլ է տալիս, որ նեյրոնային ցանցերը լինեն ճկուն։

 Կանխատեսում 
Նեյրոնային ցանցերի կանխատեսման հնարավորությունները ուղղակիորեն հետևում են նրա ելքային և մուտքային տվյալների միջև թաքնված կախվածությունների ընդհանրացման և առանձնացման հնարավորություններից։ Ուսուցումից հետո ցանցը ունակ է գուշակելու որոշակի գործունեության ապագա սպասվող արժեքը` մի քանի նախկին արժեքների հիման վրա և/կամ ներկա պարագայում գոյություն ունեցող մի քանի փաստերի հիման վրա։ Պետք է նշել, որ կանխատեսումը հնարավոր է միայն այն դեպքում, երբ " նախկին փոփոխությունները ինչ-որ մակարդակում որոշում են ապագան ": Օրինակ, բաժնետոմսերի գների կանխատեսումը նախորդ շաբաթվա համեմատ կարող է հաջող հանդիսանալ (կարող է նաև անհաջող լինել), այն դեպքում, երբ վաղվա խաղատոմսի արդյունքների կանխատեսումը վերջին 50 տարվա արդյունքների հիման վրա հավանաբար ոչ մի արդյունք չի տա։

 Ապրոքսիմացիա 
Նեյրոնային ցանցերը կարող են ապրոկսիմացնել անընդհատ ֆունկցիաներ։ Ապացուցված է ընդհանրացված ապրոկսիմացիոն թեորեմըԳորբան Ա.Ն., Ընդհանրացված ապրոկսիմացիոն թեորեմ և նեյրոնային ցանցերի հաշվողական հնարավորություններ , Հաշվողական մաթեմատիկայի սիբիրյան ամսագիր, 1998. Т.1, № 1. С. 12-24.։ շնորհիվ գծային օպերցիաների և կասկադային կապերի ՝
կարելի է սկզբնական ոչ գծային էլեմենտներից ստանալ սարք, որը հաշվում է ցանկացած անընդհատ ֆունկցիա սկզբնապես տրված որոշակի ճշտությամբ։ Դա նշանակում է, որ նեյրոնի ոչ գծային բնութագիրը կարող է լինել կամայական ՝ սիգմոդիայինից մինչև կամայական փաթեթ կամ վեյվլետ, սինուսի կամ բազմանդամի։ Ոչ գծային ֆունկցիայի ընտրությունից կարող է կախված լինել կոնկրետ ցանցի բարդությունը, սակայն ցանկացած ոչ գծայնությամբ ցանցը մնում է ունիվերսալ ապրոկսիմատոր և կառուցվածքի ճիշտ ընտրության դեպքում կարելի է հստակ ապրոկսիմացնել ցանցակացած նեյրոնային ապարատի ֆունկցիայավորումը։

 Տվյալների սեղմում և ասոցիատիվ հիշողություն 
Նեյրոցանցերի հնարավորությունը տարբեր պարամետրերի միջև փոխկապվածությունների հայտնաբերման հնարավորություն է տալիս մեծ չափերի տվյալները ավելի կոմպակտ ներկայացնել, եթե տվյալները սերտորեն կապված են միմյանց հետ։ Հակառակ պրոցեսը ` ինֆորմացիայի մասից տվյալների մուտքային հավաքածուի վերականգնումը կոչվում է ասոցիատիվ հիշողություն։ Ասոցիատիվ հիշողությունը թուլ է տալիս նաև վերկականգնելու մուտքային ազդանշան/կերպարը աղավաղված/վնասված մուտքային տվյալներից։ Հետերոասոցիատիվ հիշողության լուծումը թույլ է տալի իրականացնել հիշողություն, որը հասցեավորվում է ըստ պարունակության։

 Որոշումների ընդունման փուլեր 
 Ուսուցման համար տվյալների հավաքագրում;
 Տվյալների նախապատրաստում և նորմալացում;
 Ցանցի տրամաբանության ընտրություն;
 Ցանցի բնութագրերի էքսպերիմենտալ ընտրություն;
 Ուսուցման պարամետրերի էքսպերիմենտալ ընտրություն;
 Ինքնուսուցում ;
 Ուսուցման արդյունավետության ստուգում;
 Պարամետրերի ուղղում,վերջնական ուսուցում;
 Ցանցի վերբալիզացիաՄիրկես Ե. Մ.,Տրամաբանական թափանցիկ նեյրոնային ցանցեր և ակնհայտ տվյալների գիտելիքների ստեղծում, գրքում։ Նեյրոինֆորմատիկա / Ա. Ն. Գորբան, Վ. Լ. Դունին-Բորկովսկի, Ա. Ն. Կիրդին և այլք — Նովոսիբիրսկ։ Գիտություն. Սիբիրյան ընկերություն РАН, 1998. — 296 с ISBN 5-02-031410-2 հետագա կիրառման նպատակով։

Արժե այս էտապներից որոշները մանրամասնորեն ուսումնասիրել։

 Ուսուցման համար տվյալների հավաքագրում 
Տվյալների հավաքագրումը ցանցի ուսուցման և մշակման համար հանդիսանում է խնդրի լուծման ամենաբարդ փուլը։ Տվյալների հավաքագրրումը պետք է բավարարի մի շարք չափանիշների .
 Ներկայացվածություն — տվյալները պետք է ցույց տան առարկայական տիրույթի իրերի և առարկաների իրական վիճակը,
 Հակադրության բացակայություն — հակադրվող տվյալները ուսուցանվող ընտրանքում կարող են բերել ուսուցանվող ցանցի վատ որակի,

Մուտքային տվյալները բերվում են այնպիսի տեսքի, որով դրանք կարելի է տալ ցանցի մուտքին։ Տվյալների ֆայլում յուրաքանչյուր գրառում կոչվում է "ուսուցանվող զույգ" կամ "ուսուցանվող վեկտոր": Ուսուցանվող վեկտորը պարունակում է ցանցի յուրաքանչյուր մուտքի մեկական արժեք և կախված ուսուցման տիպից (ուսուցչի հետ կամ առանց) մեկական արժեք ցանցի յուրաքանչյուր ելքի համար։ Ցանցի ուսուցումը «հուքային» ընտրանքում, որպես կանոն, որակյալ արդյուքներ չի տալիս։ Գոյություն ունեն ցանցի «ընկալման» բարելավման մի շարք հնարավորություններ .
 Նորմալացումը կատարվում է, երբ տարբեր մուտքերում հանդիպում են տարբեր չափողականության տվյալներ։ Օրինակ, ցանցի առաջին մուտքին տրվում են 0-ից մինչև միավոր մեծության արժեքներ, իսկ երկրորդին ՝ 100-իc մինչև 1000։ Երկրորդ մուտքում արժեքների նորմավորման բացակայության դեպքում ցանցի ելքի վրա մեծ ազդեցություն կունենա, քան արժեքը առաջին մուտքի դեպքում։ Բոլոր մուտքային և ելքային տվյալների չափողականության նորմավորումը կատարվում է միասին,
 Քվանտավորումը կատարվում է անընդհատ մեծությունների նկատմամբ, որոնց համար առանձնացվում է դիսկրետ արժեքների հավաքածու։ Օրինակ, քվանտավորումը կիրառվում է ձայնային ազդանշանների հաճախականության տրման ժամանակ ՝ բանավոր խոսքի ճանաչման համար,
 Ֆիլտրացիան իրականացվում է «աղավաղված» տվյալների համար։

Բացի այդ, մեծ դեր է խաղում ինչպես մուտքային, այնպես էլ ելքային տվյալների ներկայացումը։ Ենթադրենք ցանցը ուսուցանում է տառերի ճանաչումը նկարներով և ունի մեկ թվային ելք ՝ այբուբենում տառի համարը։ Այդ դեպքում ցանցը կստանա ոչ ճշմարիտ տեղեկություն այն մասին, որ 1 և 2 համարի տառերը իրար ավելի նման են, քան 1 և 3 համարներինը, ինչը ընդհանուր առմամբ ճիշտ չէ։ Այդ դեպքում, նման իրավիճակներից խուսափելու համար, կիրառում են մեծ թվով ելքերով ցանցի տրամաբանությունը, երբ յուրաքանչյուր ելք ունի իր իմաստը։ Որքան ցանցի ելքերը շատ են, այնքան դասերի միջև հեռավորությունը շատ է և ավելի բարդ է զիջումը։

 Ցանցի տրամաբանության ընտրություն 
Ցանցի տիպը ընտրելիս պետք է ելնել խնդրի դրվածքից և առկա ուսումնասիրվող տվյալներից։ Ուսուցչի միջոցով ուսուցման դեպքում անհրաժեշտ է ընտրանքի յուրաքանչյուր էլեմենտի համար «փորձագիտական» գնահատական։ Երբեմն նման գնահատականի ստացումը մեծ տվյալների զանգվածների համար ուղղակիորեն անհնար է։ Այդպիսի դեպքերում ճիշտ ընտրություն է հանդիսանում առանց ուսուցչի ուսուցանվող ցանցի ընտրությունը, օրինակ ՝ Կոխոնենի ինքնաձևավորվող քարտը կամ Խոպֆիլդի նեյրոնային ցանցը։ Այլ խնդիրների լուծման դեպքում, ինչպիսիք են ժամանակային շարքերի կանխատեսումը, փորձագիտական գնահատականները, արդեն պարունակվում են մուտքային տվյալներում և կարող են առանձնացվել դրանց մշակման դեպքում։ Այդ դեպքում կարելի է օգտագործել բազմաշերտ պերցեպտրոնը կամ Վորդի ցանցը։

 Ցանցի հատկությունների փորձագիտական ընտրություն 
Ընդհանուր կառուցվածքի ընտրությունից հետո կարելի է փորձագիտորեն ընտրել ցանցի պարամետրերը։ Պերցեպտրոնի տիպի ցանցերի համար դա կլինի շերտերի թիվը, թաքնված շերտերում բլոկների թիվը (Վորդի ցանցի համար), շրջանցող կապերի առկայությունը կամ բացակայությունը,նեյրոնների փոխանցելիության գործառույթները։ Շերտերի և նեյրոնների քանակի ընտրության դեպքում պետք է ելնել նրանից, որ "ցանցի ընդհանուր հնարավորությունները այնքան մեծ են, որքան շատ են նեյրոնների միջև գումարային կապերը": Մյուս կողմից, կապերի քանակը վերևից սահմանափակված է ուսուցանվող տվյալներում գրառումների քանակով։

 Ուսուցման պարամետրերի փորձագիտական ընտրություն 
Կոնկրետ տրամաբանության ընտրությունից հետո անհրաժեշտ է ընտրել ուսուցանվող նեյրոնային ցանցի պարամետրերը։ Այս էտապը առավելապես կարևոր է ուսուցչի օգնությամբ ուսուցանվող ցանցերի համար։ Պարամետրերի ճիշտ ընտրությունից կախված է ոչ միայն այն, թե որքան արագ ցանցը ճիշտպատասխաններ կտա։ Օրինակ, ցածր արագությամբ ուսուցման ընտրությունը կմեծացնի գեներացիայի ժամանակը, սակայն միևնույն ժամանակ թույլ կտա խուսափելու ցանցի անդամալուծությունից։ Ուսուցման ժամանակի մեծացումը կարող է բերել ինչպես գեներացման ժամանակի մեծացմանը, այնպես էլնվազեցմանը ՝ կախված սխալների մակերեսի ձևից։ Ելնելով պարամետրերի նման հակազդեցությունից, կարելի է ենթադրել, որ նրանց արժեքները պետք է փորձագիտորեն ընտրել ՝ ղեկավարվելով ուսուցման պարամետրերով (օրինակ ՝ սխալների նվազեցում կամ ուսուցման ժամանակահատվածի կրճատում) ։

 Ցանցի փաստացի ուսուցում 
Ուսուցման պրոցեսում ցանցը որոշակի հերթականությամբ ուսումնասիրում է ուսուցանվող ընտրանքը։ Ուսումնասիրման հերթականությունը կարող է լինել հետևողական, պատահական և այլն։ Առանց ուսուցչի ուսուցանվող որոշ ցանցեր,օրինակ, Խոպֆիլդի ցանցերը դիտարկում են ընտրանքը մեկ անգամ։ Այլք, օրինակ՝ Կոխոնենի ցանցը,ինչպես նաև ցանցեր,որոնք ուսուցանվում են ուսուցչի միջոցով, ընտրանքը դիտարկում են բազմաթիվ անգամներ, և այդ դեպքում ընտրանքով մեկ ամբողջական անցումը կոչվում է "ուսուցման դարաշրջան": Ուսուցչի օգնությամբ ուսուցման ժամանակ մուտքայինտվյալների հավաքածուն բաժանվումէ երկու մասի ՝ փաստացի ուսուցանվող ընտրանք և թեսթային տվյալներ, իսկ բաժանման սկզբունքը կարող է լինել կամայական։ Ուսուցանվող տվյալները տրվում են ցանցին ուսուցման համար, իսկ ստուգողները օգտագործվում են ցանցի սխալների հաշվարկման համար (ստուգող տվյալները երբեք ցանցի ուսուցման համար չեն կիրառվում) ։ Այդ պարագայում, եթե ստուգող տվյալների միջոցով սխալները նվազեցվում են, ապա իսկապես կատարվում է ընդհանրացում։ Եթե սխալը ուսուցանվող տվյալներում շարունակում է նվազել, իսկ թեսթային տվյալներում ավելանալ, դա նշանակում է, որ ցանցը դադարել է ընդհանրացում կատարել և ուղղակի «հիշում է » ուսուցանվող տվյալները։ Այդ հայտնությունը կոչվում է ցանցի վերաուսուցում կամ օվերֆիտտինգ ։ Նման դեպքերում սովորաբարուսուցումը ընդհատում են։ Ուսուցման պրոցեսում կարող են ի հայտ գալ նաև այլ խնդիրներ, ինչպիսիք են անդամալուծությունը կամ ցանցի հայտնվելը լոկալ սխալների մակերևույթ։ Հնարավոր չէ նախապես գուշակել այս կամ այն խնդրի առաջացումը և տալ դրանց լուծման ցուցումներ։

 Ուսուցման համարժեքության ստուգում 
Նույնիսկ առաջին հայացքից հաջող ուսուցման դեպքում ցանցը ոչ միշտ է ուսուցանվում հենց նրան, ինչին ստեղծողը ձգտել է հասնել։ Հայտնի դեպք է, երբ ցանցւ ուսուցանվել է նկարներով տանկերի ճանաչման համար, սակայնավելի ուշ պարզվել է, որ բոլոր տանկերը նկարվել են միևնույն ֆոնի վրա։ Արդյունքում ցանցը «սովորել է » ճանաչել լանդշաֆտի այդ տիպը այն բանի փոխարեն, որպեսզի «սովորի» ճանաչել տանկերը։ Այդ պարագայում, ցանցը «հասկանում է » ոչ այն, ինչը նրանից պահանջվում է, այլ այն, ինչը հնարավոր է ընդհանրացնել։

 Դասակարգում ըստ մուտքային ինֆորմացիայի տեսակի 
 Նմանատիպ նեյրոնային ցանցեր (օգտագործում են ինֆորմացիան իրական թվերի ձևով );
 Երկակի նեյրոնային ցանցեր (մշակում են երկուական տեսքով ներկայացված ինֆորմացիան)։

 Դասակարգում ըստ ուսուցման բնութագրի 
 Ուսուցչի հետ ուսուցում — նեյրոնային ցանցի որոշումների ելքային տիրույթը հայտնի է ;
 Ուսուցում առանց ուսուցչի — նեյրոնային ցանցը ձևավորում է որոշումների ելքային տիրույթը ՝ միայն մուտքային ազդեցությունների հիման վրա։ Այդպիսի ցանցերը կոչվում են ինքնակազմակերպվող ;
 Ուսուցում կցորդով — շրջակա միջավայրի խրախուսումների և տուգանքների նշանակման համակարգ։

 Դասակարգում ըստ սինապսների կարգավորումների բնութագրի 
 Ֆիքսված կապերով ցանցեր (ցանցի կշռային գործակիցները ընտրվում են անմիջապես՝ ելնելով խնդրի պայմաններից, այդ դեպքում , որտեղ՝ W — ցանցի կշռային գործակիցներն են );
 դինամիկ կապերով ցանցեր (նրանց համար ուսուցման պրոցեսը կատարվում է սինապտիկական կապերի կարգավորմամբ, այսինքն ՝ , որտեղ՝ W — ցանցի կշռային գործակիցներն են)։

 Դասակարգում ըստ ազդանշանների փոխանցման ժամանակի 
Նեյրոնային ցանցերի շարքում ակտիվացնող ֆունկցիան կարող է կախված լինել ոչ միայն կապերի կշռային գործակիցներից , այլ նաև կապի կանալներով իմպուլսների (ազդանշանների) փոխանցման ժամանակից : Այդ պատճառով ընդհանուր տեսքով կապի ակտիվացնող (փոխանցող) ֆունկցիան  էլեմենտից  էլեմենտին  ունի հետևյալ տեսքը .
.
Այդ դեպքում սինխրոն ցանց անվանում են ցանցը, որի  փոխանցման ժամանակը յուրաքանչյուր կապի հավասար է կամ զրոյի, կամ ֆիքսված հաստատունի : Ոչ սինխրոն'' անվանում են ցանցը, որի  փոխանցման ժամանակը յուրաքանչյուր կապի համար  и  էլեմենտների միջև նույնպես անընդհատ է։

 Դասակարգում ըստ կապերի բնութագրերի 
 Ուղիղ տարածման ցանցեր (Feedforward) 
Բոլոր կապերը խստորեն ուղղված են մուտքային նեյրոններից ելքայիններին։ Նմնանատիպ ցանցերի օրինակներ են հանդիսանում Ռոզենբլատի պերցեպտրոնը, բազմաշերտ պերցեպտրոնը, Վորդի ցանցը ։

 Ռեկուրենտիվ նեյրոնային ցանցեր 
Ելքային նեյրոնից կամ նեյրոններից ազդանշանը թաքնված շերտից մասնակիորեն փոխանցվում է ետ նեյրոնի մուտքային շերտին (ետադարձ կապ)։ Ռեկուրենտիվ Խոպֆիլդի ցանցը «ֆիլտրում է» մուտքային տվյալները, վերադառնալով կայուն վիճակի, և այդ կերպ թույլ է տալիս լուծել տվյալների սեղմման և ասոցիատիվ հիշողությանկառուցման խնդիրներINTUIT.ru — Ռեկուրենտիվ ցանցերը ինչպես ասոցիատիվ հիշող սարքեր։ Ռեկուրենտիվ ցանցերի մասնավոր դեպք են հանդիսանում երկուղղվածության ցանցերը։ Նման ցանցերում շերտերի միջև առկա են կապեր ինչպես մուտքային շերտից ելքայինին, այնպես էլ ընդհակառակը։ Դասական օրինակ է հանդիսանում Կոսկոյի նեյրոնային ցանցը։

 Ռադիկալ-բազիսային ֆունկցիաներ 
Արհեստական նեյրոնային ցանցերը որպես ակտիվացնող ֆունկցիա կիրառում են ռադիկալ-բազիսային ֆունկցիաները (նման ցանցերը կարճ անվանվում են RBF-ցանցեր)։ Ռադիկալ-բազիսային ֆունկցիաների ընդհանուր տեսքը հետևյալն է .

, օրինակ,

որտեղ`  — նեյրոնի մուտքային ազդանշանների վեկտոր,  —ֆունկցիայի պատուհանի լայնություն,  — նվազող ֆունկցիա (առավել հաճախ հավասար է զրոյի ոչ վեկտորային հատվածում )։

Ռադիկալ-բազիսային ցանցը բնութագրվում է երեք առանձնահատկություններով.

1. Միակ թաքնված շերտ

2. Միայն թաքնված շերտի նեյրոնները ունեն ոչ գծային ակտիվացնող ֆունկցիա

3. Մուտքային և տաքնված շերտի կապերի սինապտիկական կշիռները հավասար են միավորի

Ուսուցման պրոցեսը նայել գրականությունում։

 Ինքնակազմակերպվող քարտեզ 
Նմանատիպ ցանցերը իրենցից ներկայացնում են ուսուցչի հետ ուսուցանվող մրցակցային նեյրոնային ցանց,որը իրականացնում է վիզուալիզացիայի և կլաստերիզացիայի խնդիր։ Հանդիսանում է բազմաչափ տարածության նախագծման մեթոդ ավելի փոքր չափողականություն ունեցող տարածությունում (առավել հաճախ երկչափ), կիրառվում է նաև մոդելավորման խնդիրներում, կանխատեսման խնդիրներում և այլն։ Հանդիսանում է Կոխոնենի նեյրոնային ցանցի տեսակներից մեկըKohonen, T. (1989/1997/2001), Self-Organizing Maps, Berlin — New York: Springer-Verlag. First edition 1989, second edition 1997, third extended edition 2001, ISBN 0-387-51387-6, ISBN 3-540-67921-9։ Կոխոնենի ինքնաձևավորվող քարտեզները առաջին հերթին ծառայում են վիզուալիզացիայի և սկզբնական («բանական») տվյալների վերլուծության համար։

Կոխոնենի ցանցում ազդանշանը միանգամից տարածվում է բոլոր նեյրոնների վրա, սինապսների բացակայող կշիռները ստացվում են որպես հանգույցի վիճակի կոորդինատներ և ելքային ազդանշանը ձևավորվում է «հաղթողը տանում է ամեն ինչ» սկզբունքով, այսինքն՝ ոչ զրոյական ելքային ազդանշանը ունի մուտքի օբյեկտին փոխանցվողին մոտ նեյրոն (սինապսների կշիռների իմաստով ) ։ Ուսուցման պրոցեսում սինապսների կշիռները կարգավորվում են այնպես, որ հանգուցային վանդակները «տեղավորվում են » լոկալ տվյալների տեղերում, այսինքն ՝ նկարագրում են տվյալների ամպի կլաստերային կառուցվածքը, մյուս կողմից ՝ նեյրոնների միջև կապերը համապատասխանում են նախանշանների տարածությունում հարևան կլաստերների համապատասխան կապերի հետ։

Հարմար է դիտարկել այնպիսի քարտեզներ, ինչպիսիք են հանգույցների երկչափ ցանցը, որոնք տեղակայված են բազմաչափ տարածությունում։ Սկզբնապես ինքնաձևավորվող քարտեզը իրենից ներկայացնում է հանգույցների ցանց, որոնք փոխկապված են։ Կոխոնենը դիտարկել է հանգույցների միջև կապերի երկու տարբերակ ՝ ուղղանկյուն և բազմանկյուն ցանց։ Տարբերությունը կայանում է նրանում, որ ուղղանկյուն ցանցում յուրաքանչյուր հանգույց կապված է 4 հարևաններով, իսկա բազմանկյունում՝ 6 մոտակա հանգույցներով։ Այդպիսի երկու ցանցերի համար Կոխոնենի ցանցի կառուցման պրոցեսը տարբերվում է միայն այն տեղում, որտեղ մոտենում են այդ հանգույցի հարևանները։

Ցանցի նախնական ներդրումը տվյալների ցանցում իրականացվում է կամայականորեն։ SOM_PAK հեղինակային փաթեթում առաջարկվում է տվյալների տիրույթում հանգույցների նախնական տեղակայման պատահական տարբերակներ և հանգույցների տեղակայման տարբերակը հարթությունում։ Դրանից հետո հանգույցները սկսում են տեղաբաշխվել տարածությունում համաձայն հետևյալ ալգորիթմի .
 Պատահականորեն ընտրվում են տվյալների կետերը .
 Որոշվում է  մոտակա քարտեզի հանգույցը (BMU — Best Matching Unit).
 Այդ հանգույցը տեղակայվում է տրված քայլում x -ի ուղղությամբ։ Սակայն, այն միայնակ չի տեղակայվում, այլ իր հետ ներառում է որոշակի քանակության մոտակա հանգույցներ քարտեզի հարևանությամբ։ Բոլոր տեղաշարժվող հանգույցներից առավել ուժեղ տեղափոխվում է կենտրոնական ՝ տվյալների կետին մոտ հանգույցը,իսկ մնացածները, որքն հեռու են BMU-ից, այնքան ավելի դանդաղ են տարհանվում։ Քարտեզի կարգավորման ժամանակ առանձնացնում են 2 էտապներ ՝ կոպիտկարգավորման (fine-tuning) և ճշգրիտ կարգավորման (fine-tuning) փուլեր։ Առաջին փուլում ընտրվում են շատ հարևան արժեքներ և հանգույցների տեղաշարժը կրում է կոլեկտիվ բնույթ։ Արդյունքում քարտեզը « ուղղվում է » և կոպիտ կերպով արտապատկերում է տվյալների կառուցվածքը, իակ ճշգրիտ կարգավորման փուլում հարևանության շառավիղը 1-2 է և կարգավորվում են արդեն հանգույցների անհատական դիրքերը։ Բացի այդ, տեղաշարժման մեծությունը ժամանակի ընթացքում համամասնորեն նվազում է, այսինքն ՝ ուսուցման առաջին փուլում ավելի մեծ է, իսկ ավարտին հասնելիս հավասարվում է զրոյի։
 Ալգորիթմը որոշակի ժամանակահատվածի ընթացքում կրկնվում է (իհարկե, մի շարք քայլեր, կարող են տարբեր լինել՝ կախված առաջադրանքից)։

 Հայտնի ցանցերի տիպեր 
 Ռոզենբլատի պերցեպտրոն
 Խակիմովի սպլայն-մոդել
 Բազմաշերտ պերցեպտրոն
 Ջորդանի ցանց
 Էլմանի ցանց
 Հեմինգի ցանց
 Վորդի ցանց
 Խոպֆիլդի ցանց
 Կոխոնենի ցանց
 Նեյրոնային գազMartinetz, T.M., Berkovich, S.G., and Schulten K.J., Neural-gas network for vector quantization and its application to time-series prediction. IEEE Transactions on Neural Networks, 4 (1993) #4, 558—569. На сайте PCA
 Կոգնիտրոն
 Նեոկոգնիտրոն
 Քաոսային նեյրոնային ցանց
 Օսցիլյատորային նեյրոնային ցանց
 Հանդիպակաց տարածման ցանց
 Ռադիկալ բազիսային ֆունկցիաների ցանց (RBF-ցանց)
 Ամբողջական ռեգրեսիայի ցանց
 Հավանականային ցանց
 Ռեշետովի հավանականային նեյրոնային ցանց
 Սիամական նեյրոնային ցանց
 Արդյունավետ ռեզոնանսի ցանցեր
 Փաթույթային նեյրոնային ցանց (convolutional neural network):

 Տարբերությունը Ֆոն Նեյմանի ճարտարապետությամբ մեքենաներից 
Հաշվողական համակարգերը, հիմնված արհեստական նեյրոնային ցանցերի վրա, օժտված են մի շարք որակներով, որոնք բացակայում են Ֆոն Նեյմանի ճարտարապետությամբ մեքենաներում (սակայն բնորոշ են մարդկային ուղեղին).
 Մասսայական զուգահեռականություն;
 Ինֆորմացիայի և հաշվարկների բաշխված ներկայացում;
 Ընդհանրացման և ուսուցման ունակություն;
 Արդյունավետություն;
 Ինֆորմացիայի բովանդակային մշակման կարողություն;
 Սխալների նկատմամբ տոլերանտություն;
 Ցածր էներգատարություն։

 Հավելվածների օրինակներ 
 Ֆինանսական ժամանակային շարքերի կանխատեսում 

Մուտքայինտվյալներ - տարվա ընթացքում աճուրդի կուրսը։ Խնդիրն է որոշել վաղվա կուրսը։ Կատարվում է հետևյալ վերափոխումը ՝ կառուցվում է շարք այսօրվա, երեկվա և նախորդ օրվա կուրսերով։ Հաջորդ շարքում տեղակայվում են նախորդից մեկ օր առաջվա տվյալները և այդպես շարունակ։ Ստացված հավաքածուում ուսումնասիրվում է ցանց 3 մուտքով և 1 ելքով ՝ վաղվա օրվա կուրսը։ Մուտքերը կուրսերն են ՝ 1 օր առաջ, 2 օր առաջ և 3 օր առաջ։ Ուսումնասիրվող ցանցի մուտքին տալիս ենք մուտքային տվյալների արժեքները, իսկ ելքում ստանում ենք վաղվա կուրսը։ Դժվար չէ նկատել,որ այս դեպքում ցանցը ուղղակիորեն ելքագրում է մյուս երեք պարամետրերից կախված ելք։ Եթե ցանկալի է հաշվի առնել նաև ինչ-որ այլ պարամետր (օրինակ ինչ-որ ինդեքս), ապա այն պետք է մուտքագրել որպես մուտքային պարամետր, ուսումնասիրել այն և ստանալ նոր արդյունք։
Առավել ճշգրիտ ուսուցման համար անհրաժեշտ է կիրառել [Սխալների հետադարձ տարածման մեթոդը,որպես առավել կանխատեսելի և ոչ բարդ իրականացվելի մեթոդ։

 Հոգեդիագնոստիկա 
Մ. Գ. Դոռեռի և իր համահեղինակների աշխատանքները նվիրված են նեյրոնային ցանցերի փորձագիտական համակարգերի հոգեբանական ինտուիցիայի զարգացման հնարավորությունների հարցերի քննարկմանըGorban A.N., Rossiyev D.A., Dorrer M.G., MultiNeuron — Neural Networks Simulator For Medical, Physiological, and Psychological Applications, Wcnn’95, Washington, D.C.: World Congress on Neural Networks 1995 International Neural Network Society Annual Meeting: Renaissance Hotel, Washington, D.C., USA, July 17-21, 1995.Доррер М. Г., Արհեստական նեյրոնային ցանցերի հոգեբանական ինտուիցիա, Դիսս. … 1998: Օնլայն այլ պատճեններ.  , ։ Ստացված արդյունքները հնարավորություն են տալիս բացահայտելու նեյրոնային ցանցերի ինտուիցիայի մեխանիզմը, որը նրանց կողմից ցուցաբերվում է հոգեվերլուծական խնդիրների լուծման ժամանակ։ Համակարգչային մեթոդների կողքին ստեղծվել է ոչ ստանդարտ ՛՛ինտուիտիվ՛՛ մեթոդ։

 Հեմոինֆորմատիկա 
Նեյրոնային ցանցերը լայնորեն կիրառվում են քիմիական և բիոքիմիական հետազոտություններումԲասկի Ի. Ի., Պլյուկլին Վ. Ա., Զեֆիրով Ն. Ս., Արհեստական նեյրոնային ցանցերի կիրառումը քիմիական և բիոքիմիական հետազոտություններում, Քիմիա 1999. Т.40. № 5. Ներկայումս նեյրոնային ցանցերը հանդիսանում են խեմոինֆորմատիկայի ամենատարծված մեթոդներից մեկը գույքային հարաբերությունների քանակական կապերի որոնման համար,որոնց շնորհիվ ակտիվորեն կիրառվում են որպես ֆիզիկա- քիմիական և բիոլոգիական ակտիվությունների կանխատեսման համար, ինչպես նաև նոր դեղորայքային պարագաների մշակման համար։

 Նեյրոկառավարում 
Նեյրոնային ցանցերը հաջող կերպով ընդունվում են կառավարման համակարգերի սինթեզի համար դինամիկ օբյեկտներովԱ. Ն. Չերնոդուբ, Դ. Ա. Ձյուբա Նեյրոկառավարման մեթոդների ներկայացում // Ծրագրավորման խնդիրներ. — 2011. — No 2. — Էջ 79-94.։ Նեյրոցանցերը օժտված են ունիկալ հատկությունների շարքով, որոնք դրանք ավելի հզոր գործիք են դարձնում ղեկավարման համակարգերի ստեղծման համար։ Դրանք են ՝ օրինակների վրա ուսուցման հնարավորությունը և տվյալների ընդհանրացում, կառավարման օբյեկտի հատկություններին և արտաքին միջավայրի փոփոխություններին հարմարվելու ունակությունը, ոչ գծային կարգավորիչների սինթեզին հարմարվելու ունակություն, վնասված տարերրի բարձր դիմադրողականությունը ի սկզբանե ներդրված է երկակի նեյրոցանցային կառուցվածքում։

 Արտաքին հղումներ 


 Գրականություն 



  PDF




created for National Science Foundation, Contract Number EET-8716324, and Defense Advanced Research Projects Agency (DOD), ARPA Order No. 4976 under Contract F33615-87-C-1499. 















 Ծանոթագրություններ 

*
Կատեգորիա:Տեղեկատվական տեխնոլոգիաներ