Bybrannen i 1861 medførte at byen skulle gjennomgå store forandringer, også med hensyn til selve byplanen. Det daværende rådhuset i Tollbodgaten var en av mange bygninger som ble offer for flammenes rov. Øvregaten, som før brannen het Smalgaten, var 436 alen lang og 3 til 6 alen bred. I Raadhusgaten lå byens avholdslokaler «Knipetrappe». Gamle torvet lå der hvor Carstensens gate ligger i dag. Dette var 72 alen langt og 34 alen bred og var tidligere en hage tilhørende N. Steen og N. Houge. På nordsiden lå en kanal som ble kalt Bommen. Denne gikk fra Tjenna eller tjernet. På torvets syd side under Kirkeberget lå Øvre Bommens gate. Bybrannen medførte at de gamle smau og stræder ble erstattet med dagens gatenett, men uten at byen mistet sin umiskjennelige intimitet og sjarme av den grunn.