I 1775 møtte Darwin Elizabeth Pole, datter av Charles Colyear, 2. jarl av Portmore, og hustru av oberst Edward Pole (1718–1780); men da hun var gift kunne Darwin kun gjøre sine følelser kjent via poesi. Edward Pole døde i 1780 og året etter giftet Darwin seg med Elizabeth Pole og flyttet til hennes hjem i Radbourne Hall, 6 km vest for Derby. Huset og landsbyen er i dag kjent som Radbourne. I 1782 flyttet de til Full Street, Derby. De fikk fire sønner hvorav en døde i barndommen, og dessuten tre døtre.