Charles Darwin

Setelah pertama-tama tinggal di Gower Street, London, pasangan ini pindah pada 17 September 1842 ke Down House di Downe (yang kini terbuka untuk kunjungan masyarakat, di selatan Orpington). Keluarga Darwin mempunyai sepuluh orang anak, tiga di antaranya meninggal dalam usia dini. Banyak dari mereka dan cucu-cucu mereka kelak menjadi terkenal (lihat keluarga Darwin — Wedgwood)Beberapa dari anak-anak mereka menderita penyakit atau lemah tubuhnya. Charles Darwin kuatir bahwa hal ini mungkin disebabkan karena garis keturunannya dengan Emma cukup dekat. Hal ini diungkapkannya dalam tulisan-tulisannya tentang akibat-akibat buruk yang ditimbulkan dari perkawinan antar kerabat dekat dan keuntungan dari perkawinan silang.