En el año 1507 comienza la construcción del Castillo de los Fajardo; para ello fue necesario demoler parte de la alcazaba árabe y sobre sus cimientos se levanta el nuevo edificio.