તેમના પિતા, વિલિયમ જ્યોર્જ સ્પેન્સર, તે સમયના બળવાખોર હતા અને હર્બર્ટમાં એક સરમુખત્યારશાહી વલણ વિરોધી વલણ હતું.