På 1200-tallet ble mye av byen vasket bort av sjøen. Så, i 1339 og 1377 ble den raidet og brent av franskmennene. Deretter ser det ut til at en langvarig nedgangsperiode startet. Som havn hadde Hastings den svakhet at det ikke er noen naturlig havn, og den var da helt avhengig av et omfattende havneanlegg. Fiskeflåten hadde mindre problemer enn transportskip, ettersom den var strandbasert. Først i 1897 begynte man konstruksjonen av et anlegg i betong. Det var ikke nok penger til å fullføre hele anlegget, og deler av det har aldri blitt fullført.