Fram til utvidelsen av Torget på 1860-tallet var Torget et lite område. Skagen gikk som en sammenhengende gate over dagens torg og fortsatte i Nedre Strandgate. Grensen mellom Nedre Strandgate og Skagen gikk ved Gårdsbryggen. To hus mellom Gårdsbryggen og dagens dagens bygg med Burger King er revet. Dette var Fruehuset og et hus som antas å være modell for Skipper Worses hus i Alexander Kiellands romaner.