Deler av området var i middelalderen en grunn forlengelse av Vågen og denne viken gikk over i myr. Ved Hollendergaten stakk det ut et lite nes med Korskirkens tomt. Byggearealet ble utvidet da den indre del av Vågen ble fylt opp med blant annet søppel og bygningsrester. Særlig skomakerne tømte store mengder barkeavfal fra garvingen. Det pågikk også planmessig utfylling for å vinne land. Opprinnelig kunne mindre båter gå helt til Domkirken hvor det i muren er påvist fortøyningsringer. Ved Kong Oscars gate 45 er det funnet rester etter et naust. Tidlig på 1600-tallet var det fortsatt en kanal, , som gikk inn mellom bebyggelsen omtrent der statuen av Ludvig Holberg står på Vågsallmenningen (på den tiden ble Torgallmenningen kalt Vågsallmenningen). På 1630-tallet ble det argumentert for å mudre opp Dybesund slik at gårdene lenger inne (særlig Bollergaarden) igjen fikk sjøforbindelse. Før Dybesund ble oppfylt lå Torget trolig omtrent der gamle Norges Banks bygg ligger. Rundt 1660 ble Dybesund fylt opp og Torget ble da utvidet og flyttet utover (nordover). Christian Koren-Wiberg antok at Dybesund ble fylt opp kort etter brannen i 1623. Byleksikonet oppgir at Dybesund ble gjenfylt i 1646.