Etter at Vest-Romerriket falt sammen på 500-tallet fungerte ruinene av den keiserlige boligen som tilfluktssted for de lokale beboerne. Senere da befolkningen flyttet til de nærliggende forhøyningen St. Magnus for å unngå de sykdomsbesatte myrområdene og angrep fra sarasenere (muslimske pirater og slavefangere). Faren fra piratene er synbart fortsatt ved de mange vakttårn som ble satt opp langs kysten til Gaeta. I 1534 ble det lille senteret ødelagt av soldatene til islamske lederen Khair ed-Din, også kjent som «Barbarossa» (av italiensk barbarossa, «rødskjegg»).