Herbert Spenceri isa oli koolijuhataja, kes kasutas oma koolis progressiivseid Pestallozzi õpetamismeetodeid. Ta oli ka ametis Derby Filosoofiaühingu (Derby Philosophical Society) sekretariaadis. Selle ühingu oli 1790. aastal asutanud Charles Darwini vanaisa Erasmus Darwin.