I begynnelsen av 1800-tallet hadde byen få offentlige bygninger. I 1830-årene begynte behovet for kommunale bygninger å bli påtrengende. Det ble planlagt et rådhus som skulle inneholde tinghus med rom for rettslokaler, skattefogd, politimester, magistrat, byfogdkontor – og fengsel til erstatning for det skrøpelige, gamle fengslet i byen. Formannskapet henvendte seg til landets mest anerkjente arkitekter. Høye byggekostnader førte imidlertid til at planene ble lagt til side. På slutten av 1850-årene tilbød staten seg å betale store bidrag til kommuner som reiste nye fengselsbygg. Den sjansen lot ikke byen gå fra seg.