Et nevralt nettverk er bygget opp av nevroner, som i sin enkleste og eldste form også kalles perceptrons, og bindingene mellom disse og påtrykk fra foregående lag. Bindinger er i noen sammenhenger brukt om de enkelte vektene i nettverket, i andre sammenhenger er de brukt om de enkelte utganger fra foregående lag. I mange typer er det veldefinerte inngangsnoder (), som vektes og prosesseres med overføringsfunksjonen (), hvoretter de leveres til veldefinerte utgangsnoder (). Disse blir gjerne kalt Feed-forward nettverk hvis de ikke har læring aktivert.