Sin embargo, durante la estancia en 1464 del rey Enrique IV en Jerez, éste tuvo que ser albergado en una vivienda particular al encontrarse la residencia del Alcázar en muy mal estado, señal del grado de deterioro en el que se hallaba.