Byen som vokste fram var opprinnelig begrenset til en smal stripe med land langs elven grunnet den bratte siden av elvebredden. Til sist ble byen for trang og overbefolket, og på 1700-tallet begynte man å reise bygninger på platået 20 meter over de gamle, svært lite sanitære boligene langs elven. De bedrestilte, forretningsfolk og skipseiere, bodde i høyden, mens arbeidsfolk og fattige nedenfor. Festningen Clifford's Fort, lokalisert ved Fish Quay, ble reist på 1600-tallet som kystforsvar mot nederlenderne, men spilte også en rolle under Napoleonskrigene. Stedet for festningen ble senere benyttet for å bygge nye fasiliteter for å prosessere fisk, og svært lite gjenstår nå av den opprinnelige festningen.