I 1803 ble den opprinnelige kirkebygningen fra 1571 erstattet og utvidet, til en formgivning av Alexander Morrice, for å ha plass til 1000 mennesker. Auld Kirk skulle være den stående autoriteten i byen fram til 1840-årene. Denne perioden så også utvidelsen av havnen, med en nordlig brygge på 300 meter som ble bygget mellom 1807–1812, og i 1818 ble en sørlig brygge bygget etter en parlamentslov.