Durante esos años la pareja se retiró a Kent House en la isla de Wight, residencia que le obsequió a Victoria su tía Luisa, duquesa de Argyll.