På sjøsida var det en rekke hus mellom dagens Burger King (tidligere Hauge på Torget) og Ankerbygget, bare avbrutt av en gatestubb ned til Gårdsbrygga. Det var blant annet det Anders Bærheim kalte Worsegården – og som han mente var modell for skipper Worses hus i Alexander Kiellands romaner og Fruehuset. Av huset der Burgerking er i dag (tidligere Hauge på Torget) ble det revet 7 alen (ca. 5,5 meter) for å få forbindelse mellom Torvbryggen og Byfogdbryggen (nederst i Byfogdsmauet) på 1850-tallet. Utvidelsene startet for alvor i 1863 da Fruehuset ble revet og brukt til torg. Så Løwolds hus på oppsiden av Torget. I 1867 ble det også bygget en tidsmessig landgangsbrygge utenfor Fruehuset.