Eso cambió cuando la segunda esposa del rey, Isabel de Portugal, madre de Isabel la Católica, temerosa del inmenso poder del condestable, conocedora de sus intrigas, abusos y ciertos asesinatos dispuestos por él, urgió con insistencia a su marido a prescindir del favorito.