Neuroverkot

Neuroverkot ovat informaation käsittelyn, matematiikan tai laskennan malleja, jotka ovat saaneet inspiraationsa aivojen rakenteesta. Neuroverkko on graafi, joka koostuu "neuroneista", joita yhdistävät "synapsit". Neuroni saa signaaleja ja laskee niistä painotetun summan, jonka tietyn rajan ylitettyään lähettää eteenpäin. Signaalit ovat neuroverkoissa yksinkertaisesti lukuja. Neuroverkko järjestetään tasoiksi, joiden läpi signaali kulkee. Neuroverkko koulutetaan syöttämällä sille esimerkkejä vastaantulevista syötteistä. Oppimisprosessin aikana verkko muodostaa todennäköisyyksin painotetun sisäisen mallin syötteen ja tuloksen välisestä suhteesta. Perinteisempiin koneoppimismalleihin verrattuna neuroverkkojen keskeinen etu on, että ne kykenevät hyödyntämään koulutuksessa syntynyttä malliaan tilanteissa, jotka eivät ole esiintyneet koulutusaineistossa.
Siinä missä perinteisemmissä asiantuntijajärjestelmissä käytetään ”jos–niin”-sääntöpareja (esimerkiksi jos raidat, niin seepra; jos pitkät korvat, niin aasi), neuroverkkoa opetetaan esimerkkien avulla (nämä ovat eri-ikäisiä seeproja ja nämä aaseja). Tällä pyritään siihen, että neuroverkko itse havaitsee muuttujien epälineaariset riippuvuussuhteet suoraan havaintoaineistosta (em. esimerkissä neuroverkko oppii tarkastelemaan korvia ja värin kuvioita, ei esimerkiksi jalkojen pituutta). Muilta osin neuraalilaskenta muistuttaa tilastotieteessä käytettyjä yleistettyjä lineaarisia malleja (GLM).
Neuroni ja neuroverkon kerrokset.
Neuroverkot koostuvat joukosta (keinotekoisia) neuroneita. Neuronit ovat yksinkertaisia, toisiinsa kytkettyjä tiedonkäsittely-yksiköitä. Keinotekoinen neuroni muistuttaa karkeasti biologista hermosolua, ja koostuu seuraavista osista:
Synapsi on kahden neuronin välinen kytkentä, jolle on määritelty kytkentäkohtainen paino. Summaajan tehtävä on laskea kaikilta syötesynapseilta tulleiden signaalien summa. Lopulta neuroni tuottaa tämän summan perusteella epälineaarisen aktivaation. Kustakin neuronista lähteviä synapseja, summaajia ja aktivaatioita voidaan mallintaa yhdistetyllä funktiolla, joka koostuu lineaarikuvauksesta, vakiotermistä ja aktivaatiofunktiosta.
Keinotekoisessa neuroverkossa neuronit järjestetään peräkkäisiksi kerroksiksi (), joissa on tietty joukko vektoriksi järjestettyjä neuroneja. Syväoppivassa () neuroverkossa on useita tällaisia kerroksia, joilla voi olla toisistaan poikkeavia tehtäviä. Kunkin kerroksen aktivaatio on seuraavan kerrokseen sisään tuleva signaali. Koska syöte- ja ulostulokerrosten välissä olevat kerrokset eivät näy ulospäin, niitä nimitetään piilokerroksiksi ().
Lineaarikuvaus ja vakiotermi.
Neuronin formula_1 summaaja laskee syöttösynapseilta tulleiden signaalien summan
 formula_2
jossa formula_3 ovat syötesignaaleita ja formula_4 on vakiotermi (bias). Tämä esitetään usein matriisimuodossa
 formula_5
notaation ja derivaattojen laskennan selkeyttämiseksi.
Aktivaatiofunktio.
Aktivaatiofunktio formula_6 laskee summasta formula_7 epälineaarisen kuvauksen
 formula_8
jossa formula_9 on ulostulosignaali. Aktivaatiofunktio lasketaan yleensä jokaiselle kerroksen neuronille erikseen. Aktivaatiofunktion keskeisiä ominaisuuksia ovat: 
Aktivointifuntion on myös käytännöllistä olla rajoitettu, sillä tällöin neuroverkko oppii tehokkaammin.
Juuri aktivointifunktion epälineaarisuus mahdollistaa mielivaltaisen funktion approksimoimisen. Itse asiassa voidaan todistaa, että tällainen neuroverkko, jossa on vähintään yksi neuronikerros (sisääntulon ja ulostulon lisäksi), kykenee approksimoimaan mitä tahansa riittävän sileää funktiota mielivaltaisella tarkkuudella, kunhan neuroneita on riittävän paljon! Aktivaatiofunktio voi olla esimerkiksi askelfunktio
 formula_10
tai logistinen (sigmoidi) funktio
 formula_11
Nykyisin yleisin aktivaatiofunktio on ReLU ()
 formula_12
muun muassa sen helpon derivoituvuuden vuoksi. ReLU ei myöskään kärsi häviävien gradienttien ongelmasta toisin kuin sigmoidiset funktiot.
Neuroverkkorakenteet.
Neuroverkkokerroksia yhdistelemällä voidaan rakentaa erilaisia neuroverkkoja. Yleisin neuroverkkorakenne on "eteenpäinsyöttävä verkko" (, FFNN), jossa kaikki edellisen kerroksen neuronit on kytketty kaikkiin seuraavan kerroksen neuroneihin. Eri tarkoituksiin on kehitetty lisäksi monia erilaisia neuroverkkorakenteita.
Neuroverkon kouluttaminen.
Neuroverkkojen opettamisessa kytkentöjen synaptiset painot optimoidaan siten, että opetusnäytteiden vasteiden ja haluttujen vasteiden ero minimoituu.
Opetusnopeutta voidaan parantaa nolla-keskiarvoistamalla opetusdata sekä vähentämällä opetusnäytteen piirteiden keskinäistä riippuvuutta esimerkiksi pääkomponenttianalyysillä.
Hukkafunktio, gradientti ja vastavirta-algoritmi.
Jotta neuroverkkoa voidaan opettaa, sille on ensin määriteltävä "hukkafunktio" (). Hukkafunktio antaa numeerisen mittarin sille, kuinka hyvin neuroverkon ennustukset vastaavat havaittua dataa. Regressiotehtävissä käytetään usein virheiden neliösummaa
 formula_13
jossa formula_14 on neuroverkon ennuste datapisteen formula_15 perusteella, ja luokittelutehtävissä ristientropiaa ()
 formula_16
jossa formula_17 on datapisteen formula_18 oikea luokka.
Kun hukkafunktio on määritelty, käytetään gradienttimenetelmää () sen minimoimiseksi. Siinä virhefunktion gradientti lasketaan painokertoimien suhteen ja siirrytään askel askeleelta vastakkaiseen suuntaan gradienttiin nähden. Askeleen pituus voi olla osa gradientin pituudesta, esimerkiksi 0,02, tai se voidaan määrittää. Yleensä gradientin laskemiseksi ei käytetä koko datasettiä joka askelmalla, vaan gradientti lasketaan satunnaistetusta alijoukosta dataa ().
Monikerroksisten neuroverkkojen opetuksessa käytetään vastavirta-algoritmia (), , joka nopeuttaa gradientin laskemista. Vastavirta-algoritmi aloittaa gradientin laskemisen verkon viimeisestä kerroksesta. Se laskee gradientin aina yhdelle kerrokselle kerrallaan ja käyttää tätä gradienttia edellisen laskemiseen.
Yli- ja alisovittaminen.
Neuroverkon koulutuksessa on otettava huomioon samoja virhelähteitä kuin minkä tahansa muunkin mallisovituksen tapauksessa. Erityisesti ylisovittaminen on laajojen neuroverkkojen keskeinen ongelma, jos opetusmateriaalia on liian vähän suhteessa neuroverkon kokoon. Ylisovittunut malli on alkanut kiinnittää huomiota opetusdatan epäolennaisuuksiin ja satunnaisvaihteluun. Ylisovitettu malli suoriutuu hyvin opetusaineistosta, muttei osaakaan yleistää oppimaansa uusiin tilanteisiin. Ilmiselvä tapa korjata asia on lisätä opetusmateriaalin määrää, mutta se voi usein olla käytännössä vaikeaa. Yleinen tapa torjua ilmiötä on sammuttaa satunnaisesti osa neuroneista kullakin opetuskerralla. Näin yksittäisten neuronien riippuvuus viereisistä neuroneista vähenee jolloin niistä tulee itsenäisempiä ja verkon rakenne karkeistuu.
Alisovituksessa malli on dataan verrattuna liian yksinkertainen. Alisovituksessa neuroverkko oppii huonosti ja painot päivittyvät hitaasti.
Neuroverkkojen historiaa.
Aivotutkijat Warren McCulloch ja Walter Pitts esittivät ensimmäisen ihmisaivojen toimintaa ja matemaattista logiikkaa yhdistelevän laskentamallin vuonna 1943. Ensimmäinen varsinainen neuroverkko on Frank Rosenblattin perseptroni vuodelta 1958. Vaikka neuroverkkojen perusajatus perustuu luonnollisiin hermoverkkoihin, jo David Rumelhart, Geoffrey Hinton ja Ronald J. Williams vuoden 1986 artikkelissaan huomauttivat, ettei niiden kehittely enää perustu luonnollisten hermoverkkojen jäljittelyyn. Neuroverkkotekniikoiden kehittäminen oli jo tuolloin siirtynyt enemmän tilastotieteeseen ja signaalinkäsittelyn teoriaan.
Monikerroksisen neuroverkon toimivuus edellyttää tapaa, jolla verkon piilokerroksissa olevien neuronien painokertoimet saadaan päivitettyä. Ratkaisu tähän on vastavirta-algoritmi. Tekoälytutkimuksen pioneereihin kuuluva Jürgen Schmidhuber huomauttaa, että algoritmin ensimmäisen implementaation julkaisi Seppo Linnainmaa pro gradu -työssään vuonna 1970 nimellä "the reverse mode of automatic differentiation". Käytännössä kaikki nykyisin tuotantokäytössä olevat neuroverkkototeutukset perustuvat Linnainmaan algoritmiin.
Takaisinkytketyt neuroverkot (RNN) perustuvat David Rumelhartin, Geoffrey Hintonin ja Ronald J. Williamsin julkaisuun "Learning representations by back-propagating errors" vuodelta 1986. Hopfieldin verkko (aiemmin assosiatiivinen neuroverkko) on RNN:n erikoistapaus, jonka kehitti John Hopfield vuonna 1982.
Pitkä-lyhytkestomuistiverkon esittelivät Sepp Hochreiter ja Jürgen Schmidhuber 1997. LSTM-verkot mullistivat puheentunnistuksen. käsialantunnistuksen, konekäännöksen ja kielimallinnuksen vuodesta 2007 eteenpäin.
Google Brain -tutkimusryhmä julkaisi vuonna 2017 Transformer-mallin, joka on käytännössä korvannut RNN ja LSTM-mallit. Transformer helpottaa rinnakkaista koulutusta ja sen pohjalta tuotettu generatiivisia tekoälymalleja kuten OpenAI:n GPT-mallit (), jotka on koulutettu valtavan laajoilla tekstiaineistoilla.
Avoimia ohjelmakirjastoja.
Vapaasti käytettäviä ohjelmakirjastoja neuroverkkojen kehittelyyn ja toteutukseen ovat ainakin: