Desde entonces, el fiscal del Consejo de Castilla se dedicó a desprestigiar al obispo y promovió su remoción.