Den var ända till början af sista seklet den andra staden i Sverige ifråga om folkmängden.