Hans farfar, fritenkeren og agnostikeren Erasmus Darwin (1731–1802), var naturfilosof og en tidlig representant for evolusjonstanken. Faktisk foregrep han alle hovedtrekk av det system som Charles senere skulle utvikle, med unntak av hypotesen om naturlig seleksjon. I Erasmus’ forfatterskap finner man også kretsing rundt tanken om at menneskeheten burde legge religionen til side, og heller finne næring i «vitenskapens melk». Han hadde lite til overs for Charles’ andre bestefar, forretningsmannen Josiah Wedgwoods avslappede unitarisme, som han syrlig kritiserte som «en fjærseng for å ta imot en mislykket kristen».