Magistraten foreslo i 1860 å bygge rådhus og fengsel på torvet. Arkitekt Carl Emil Kaurin i Christiania tegnet rådhuset. Rådhuset med fengsel ble oppført av arbeidere fra hovedstaden i 1863-1864.