Den 7. juni 1692 ble byen rammet av et kraftig jordskjelv som gjorde sanden under byen flytende. Resultatet var at store deler av byen gled ut i havet. Jordskjelvet ble etterfulgt av en tsunami, som la en større del av byen under vann. Disse to naturkatastrofene tok livet av mellom 1000 og 3000 mennesker. Det ble gjort forsøk på å bygge byen opp igjen, men uten suksess. I 1704 ble mye av det som var bygd opp, ødelagt i en brann, og i første halvdel av 1700-tallet ble kysten rammet av flere kraftige orkaner. Etter hvert ble Port Royals rolle som hovedstad overtatt av Spanish Town og senere av Kingston.