Tras el 10 de agosto de 1792, al estar en desacuerdo con el nuevo rumbo adoptado por la Revolución, se retiró a sus propiedades de Vaux-le-Pénil, que habían sido adquiridas por su abuelo Héracle Fréteau de Saint-Just en 1728, y sobre la que su padre mandó construir el castillo que aún existe en nuestros días.