En un informe emitido en 1588 y en diversas referencias de los distintos tenientes del alcázar, podemos observar hasta que grado llegó el deterioro, que culminará en el siglo XVIII con la construcción, por parte de Lorenzo Fernández de Villavicencio y Benitez según la creencia más extendida, sobre las ruinas de la residencia islámica, del palacio barroco que existe en la actualidad.