En 1867, pidió a Théophile Gautier la mano de su hija Estelle, pero el escritor, que había dado la espalda a sus años de bohemia, no dejó que su hija casara con un escritor con tan poco futuro, fuera de que la propia familia de Villiers desaprobaba también esa unión.