I løpet av Romerrikets tilbakegang ble Rutupiæ og Richborough til sist oppgitt av romerne, og etter at de var bort, ble festningen overtatt av de angelsaksere som den ble reist for å beskytte mot. Det synes som om den ble benyttet for en religiøs virksomhet i en aller annen form.