Frem til 1819 fungerte «Opfostringssalen» i Fattigskolehuset ved Thamsegangen nær Bragernes Torg som møtested for de eligerte menn i det nylige sammenslåtte Drammen by. I 1819 ble kjøpmann Bugges gård på den andre siden av Bragernes Torg opp mot Engene kjøpt til det samlede Drammens nye rådhus. I 1838 ble en del av Friskolens bygning ved Bragernes Torg innredet til rådhus, dessuten leide kommunen Albumgården til sine møter. Denne ble innkjøpt i 1848, men først tatt i bruk som rådhus i 1857. Albumgården brant ned i 1866, og etter provisoriske løsninger ble et nytt rådhus bygget på Bragernes Torg.