El segundo duque de Medina Sidonia, Enrique Pérez de Guzmán, partidario de Isabel de Castilla en la Guerra de Sucesión Castellana, hizo construir el Castillo de Santiago, en el que se alojaron Isabel y Fernando cuando visitaron la ciudad en 1477.