Debido a los problemas surgidos entre él y Fernando de Valenzuela, nuevo valido de la reina regente, decidió retirarse de la política.