Sin embargo, tras la unión del Reino a Castilla, la ciudad inicia un largo periodo de decadencia que sólo acabará con la llegada del ferrocarril, en el siglo XIX, y con la industrialización, ya en el siglo XX.