En atención a su mal estado de salud y a las precarias condiciones de su encierro, en mayo de 1580 Fadrique fue liberado de su prisión, bajo la condición de residir en la villa de Alba, de donde se le prohibió salir.