Enemistado con la Casa de Guisa, abandona la vida pública entre 1541 y 1547, retornando con la llegada al trono de Enrique II de Francia.