Pero debido a la inquina que le profesaba María Antonieta, no pudo retirarse en el castillo de Véretz, castillo feudal situado sobre el Cher, cercano a Tours y que había restaurado a su gusto, sino que fue exiliado en el castillo de Aiguillon, a unas doscientas leguas de Versalles, destartalado, casi en ruinas y sin muebles.