En 1568, odiado por los Guisas, fue despedido y se retiró a su castillo de Vignay, cerca de Étampes.