A partir de 1850 comenzó un periodo de fuerte declive para el castillo: el Ayuntamiento vendió los muros y utilizó sus piedras para construir unas cuadras públicas y un mercado adosados a las murallas, arrendó el interior como zona de pastos, e incluso permitió su explanación para ubicar un campo de fútbol.