La Alcazaba se destruye a fines del siglo XV (se extendía desde la calle de los Herreros hasta la Plaza de Claudio Moyano) y algunas de sus piedras se emplearon en la construcción del Palacio de los Condes de Alba y Aliste (actual parador).