En 1816 fueron oficialmente expulsados de la Universidad y condenados al destierro en Figeac, el sitio que los vio nacer, compartiendo la casa familiar con su anciano y alcohólico padre y dos de sus tres hermanas, las solteras Thérèse y Marie-Jeanne.