Cuando su padre terminó su servicio, su familia regresó a Inglaterra y empezó a residir en Clarence House y en Eastwell Park.