Da Charles Darwin flyttet hit og til huset Down House i 1842 var stedet kjent som Down. Stavingen av navnet ble senere endret til Downe. Darwin ble boende her i 40 år.