En 1768, cuando Lafayette tenía 11 años, fue convocado a París para vivir con su madre y bisabuelo en la casa del conde en el Palacio de Luxemburgo.