I 1881 var det en stor brann ved Union, men det var likevel bare en forsmak på det som skulle komme. I 1885 kom et nytt forvarsel, da Cappelens residens på Gjemsø kloster brant ned. I 1886 brant byen igjen. Den var den største brann i byens historie. Hele 244 bygårder brant ned til grunnen. Sentrum ble fullstendig rasert. På 1890-tallet ble sentrum på nytt bygd opp. Det ble laget en ny byplan, og det ble innført murtvang i sentrum av byen.