I 1339 og 1377 ble Hastings angrepet av franske styrker, og mange hus ble brent ned. Borgen ble ikke restaurert, og gjennom det neste århundret gled stadig mer ut i havet. I midten av det 16. århundre ble klostrene oppløst, og dermed var det ikke lenger noen kirkelig tilstedeværelse ved borgen. Pelhamslekten kjøpte eiendommen, og brukte den til jordbruk. Ruinene ble så overgrodd at man glemte hvor de befant seg.