Sus continuos enfrentamientos con funcionarios eclesiásticos y civiles y su mal estado de salud, le obligaron a solicitar varias veces su cese, que fue continuamente rechazado, hasta que, vista las repetidas denuncias que llegaban a la corte, Felipe II decidió relevarle del cargo de Virrey, eligiendo en su reemplazo a Martín Enríquez de Almansa, por cédula del 26 de mayo de 1580.