I 1839 giftet Darwin seg med sin kusine Emma Wedgwood, og sammen flyttet de fra London til Downe. Samme år ble deres første sønn William Erasmus født. Mellom 1841 og 1856 fikk ekteparet ytterligere ni barn (Anne Elizabeth, Mary Eleanor, Henrietta Emma, George Howard, Elizabeth, Francis, Leonard, Horace og Charles Waring). Charles var en hengiven pappa og uvanlig oppmerksom overfor sine barn. Når barna ble syke fryktet han at de hadde arvet svakheter som skyldtes innavl på grunn av det nære slektskapet han hadde med sin hustru og kusin Emma. Han undersøkte dette spørsmålet i sine skrifter. Tre av barna døde i ung alder, men til tross for hans redsel hadde de fleste av de overlevende barnene senere fremgangsrike karrierer som fremstående medlemmer av den prominente familien Darwin-Wedgwood.