A finales del siglo XVI, el marqués de Cerralbo construyó un castillo cerca del antiguo mercado de pescado, que en el siglo XVIII llegó a tener 12 cañones.