Hasta comienzos del Siglo XX la familia mantuvo su residencia en Londres en la Casa Spencer, que hoy es la única mansión londinense del siglo XVIII que permaneció intacta después de la Segunda Guerra Mundial.