I tillegg til Goreys torghus fra 1700-tallet, dateres mange av de større bygningene i selve byen til midten av 1800-tallet. Disse omfatter Goreys jernbanestasjon som dateres til 1863,[21] Church of Ireland-kirken (Kilmakilloge) som dateres til 1861, og den katolske kirken (viet til erkeengelen Mikael) ferdigstilt i 1843. Gorey var sentrum for flere konflikter under opprøret i 1798, og et minnesmerke over disse hendelsene ble reist i byen i opprørets hundreårsjubileum (1898).