FitzAlanslekten oppgav slottet i 1270-årene for å konsentrere ressursene på Arundel Castle. Etter at de forlot det begynte det å forfalle. I det 16. århundre flyttet de siste beboere ut, og kronen tok over.