Til tross for stammingen var Erasmus Darwin kjent som en mann med sjarm, vennlig og attraktiv for kvinner. Han ble gift to ganger, hadde iallfall én elskerinne etter sin første kones død. Han fikk tolv legitime barn og to (dokumenterte) utenfor ekteskap. Kun ved sjeldne anledninger gikk han utenom sin ellers vennlige natur, som da en rival gjennom mange år forsøkte å albu seg inn ved det hospital hans sønn hadde praksis. Erasmus Darwin forslo å publisere rivalens vane med gratulere sine pasienter med deres helse rett før de døde!