Nevrale nettverk består av et stort antall relativt enkle noder, alle kjører den samme algoritmen. Opprinnelig var disse ment som en emulasjon av en enkelt nervecelle eller nevron. Hvert nevron kommuniserer med et subset av de andre kunstige nevronene i nettverket. Hver input et nevron får fra andre nevroner har en vekt assosiert. Vekten sier hvor viktig denne inputen er for nevronet. Nevroner har også en aktiveringsfunksjon som prosesserer summen av påtrykket, og et tilhørende bias. Bias fungerer som en terskel i et perceptron. Det er i noen tilfeller enklest å skille ut bias i en egen parameter, mens det i andre tilfeller er enklere å se på bias som et konstantpådrag i en av inngangsnodene.