Al cabo de algunos años empezó a resultarle imposible pasar mucho tiempo fuera de Inglaterra, y renunció a la villa que había compartido en Trouville con lord Henry, así como a la blanca casita de Argel, aislada por un alto muro, donde ambos habían pasado más de una vez el invierno.